CN112163584A - 电子设备及其基于宽动态范围的图像特征提取方法和介质 - Google Patents

电子设备及其基于宽动态范围的图像特征提取方法和介质 Download PDF

Info

Publication number
CN112163584A
CN112163584A CN202011091721.XA CN202011091721A CN112163584A CN 112163584 A CN112163584 A CN 112163584A CN 202011091721 A CN202011091721 A CN 202011091721A CN 112163584 A CN112163584 A CN 112163584A
Authority
CN
China
Prior art keywords
image
wide dynamic
processing
characteristic layer
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011091721.XA
Other languages
English (en)
Inventor
孙滨璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Technology China Co Ltd
Original Assignee
ARM Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Technology China Co Ltd filed Critical ARM Technology China Co Ltd
Priority to CN202011091721.XA priority Critical patent/CN112163584A/zh
Publication of CN112163584A publication Critical patent/CN112163584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请涉及计算机视觉领域，公开了电子设备及其基于宽动态范围的图像特征提取方法及其目标检测方法、装置、介质和电子设备，包括：将待处理图像中的像素值每次进行卷积处理和或池化处理后得到的特征层，再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。如此，可将待处理图像的亮区域和暗区域进行宽动态调整，均衡亮区域和暗区域的对比度值，从而避免暗区域的特征值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，提高目特征提取的准确度。

Description

电子设备及其基于宽动态范围的图像特征提取方法和介质
技术领域
本申请涉及计算机视觉领域，尤其涉及电子设备及其基于宽动态范围的图像特征提取方法及其目标检测方法、装置、介质和电子设备。
背景技术
当在强光源(日光、灯具或反光等)照射下的高亮度区域，以及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑色区域因曝光不足成为灰色或者黑色，严重影响图像质量。在对上述具有明显亮度差的的图像进行目标物体检测时，往往存在，在特征提取的过程中，因暗区域的像素值较小，利用卷积核对暗区域的像素值进行卷积操作得到的卷积结果较小，在多层特征提取的过程中，暗区域的像素值被滤除，从而导致无法准确识别到暗区域中的物体。
发明内容
本申请实施例提供了电子设备及其基于宽动态范围的图像特征提取方法和介质，计算机视觉的任务很多，有图像分类、目标检测、语义分割、实例分割和全景分割等。其中，以目标检测进行说明，目标检测用于检测图片里面有什么。当图片中存在亮区域和暗区域，基于卷积神经网络利用卷积核对亮区域和暗区域进行特征提取时，因卷积核相同，表示相同的权重。暗区域的像素值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，因此，暗区域中的目标极有可能识别不到，导致目标检测不准确。为此，本申请提出了基于宽动态范围的图像特征提取方法，将亮区域和暗区域进行宽动态调整，均衡亮区域和暗区域的图像特征值，例如图像像素值，避免暗区域的像素值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，提高目标检测的准确度。
本申请的第一方面提供了一种基于宽动态范围的图像特征提取方法，包括：
将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层，再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
如此，可将待处理图像的亮区域和暗区域进行宽动态调整，均衡亮区域和暗区域的对比度值，从而避免暗区域的像素值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，提高目标特征提取的准确度。
在上述第一方面的一种可能的实现中，还包括：将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层；
或者；
将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层。
在上述第一方面的一种可能的实现中，将待处理图像中的像素值每次进行卷积处理后得到的第一特征层；再进行宽动态处理，得到第二特征层；
对所述第二特征层每次进行池化处理得到的第三特征层；再进行宽动态处理，得到结果特征层。
在上述第一方面的一种可能的实现中，还包括：将待处理图像分成多个图像子区域；
对多个图像子区域中的每个图像子区域进行卷积处理和或池化处理得到特征层。
在上述第一方面的一种可能的实现中，在多个图像子区域中相邻图像子区域间存在重叠区域，对重叠区域做平滑处理。
在上述第一方面的一种可能的实现中，所述重叠区域中像素点r的取值公式为r＝d2×h1+d1×h2，其中d2和d1为像素点r至重叠区域两边的距离，h1和h2为像素点至重叠区域两边边界的经过直方图均衡算法处理过后的像素值。
本申请的第二方面提供了一种基于宽动态范围的图像特征提取的目标检测方法，包括：
将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层；
再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度，将结果特征层输入分类器，得到待处理图像中的分类结果。
如此，可将待处理图像亮区域和暗区域进行宽动态调整，均衡亮区域和暗区域的对比度值，从而避免暗区域的像素值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，提高目标检测的准确度。
本申请的第三方面提供了一种基于宽动态范围的图像特征提取装置，其特征在于，包括：
特征层确定模块，用于将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层；
结果特征层确定模块，用于再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
本申请的第四方面提供了一种计算机可读介质，其特征在于，所述可读介质中存储有指令，该指令被终端设备运行时，所述终端设备执行如上述第一方面或第二方面任一所述的基于宽动态范围的图像特征提取方法。
本申请的第五方面提供了一种电子设备，包括：
存储器，所述存储器中存储有指令，和
处理器，用于读取并执行所述存储器中的指令，以使得所述电子设备执行如上述第一方面或第二方面任一所述的基于宽动态范围的图像特征提取方法。
附图说明
图1根据本申请实施例，示出了一种基于宽动态范围的图像特征提取方法的应用场景示意图。
图2根据本申请实施例，示出了一种传统技术中基于宽动态范围的图像特征提取方法的应用场景示意图。
图3根据本申请实施例，示出了一种基于宽动态范围的图像特征提取方法的流程示意图。
图4根据本申请的一些实施例，示出了一种待处理图像分成多个图像子区域的示意图。
图5是根据本申请的一些实施例，示出的一种经过卷积处理的特征层和经过宽动态处理的特征层实例。
图6根据本申请实施例，示出了一种基于宽动态范围的图像特征提取过程示意图。
图7根据本申请的一些实施例，示出了一种基于宽动态范围的图像特征提取装置。
图8根据本申请的一些实施例，示出了一种电子设备100的结构示意图。
图9根据本申请的一些实施例，示出了片上系统(SystemonChip，SOC)的系统框图。
具体实施方式
本申请的说明性实施例包括但不限于电子设备及其基于宽动态范围的图像特征提取方法及其目标检测方法、装置、介质和电子设备等。
计算机视觉的任务很多，有图像分类、目标检测、语义分割、实例分割和全景分割等。其中，以目标检测进行说明，目标检测用于检测图片里面有什么。当图片中存在亮区域和暗区域，基于卷积神经网络利用卷积核对亮区域和暗区域进行特征提取时，因卷积核相同，表示相同的权重。暗区域的像素值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，因此，暗区域中的目标极有可能识别不到，导致目标检测不准确。为此，本申请提出了基于宽动态范围的图像特征提取方法，将亮区域和暗区域进行宽动态调整，均衡亮区域和暗区域的图像特征值，避免暗区域的特征值因为过小在层层卷积操作的过程中被忽略掉或者被压制掉，提高目标检测的准确度。
下面对本申请实施例中所涉及的目标检测相关的术语进行解释，以方便理解。
卷积神经网络是专门针对图像而设计，主要特点在于卷积层的特征是由前一层的局部特征通过卷积共享的权重得到。卷积神经网络是一个层次模型，主要包括输入层，卷积层，池化层、全连接层以及输出层。在卷积神经网络中，输入图像通过多个卷积层和池化层进行特征提取，逐步由底层特征变为高层特征；高层特征再经过全连接层和输出层进行特征分类，产生一维向量，表示当前输入图像的类别。
根据每层的功能，卷积神经网络可划分为两个部分：由输入层、卷积层和池化层构成特征提取器，以及由全连接层和输出层构成分类器。其中：
输入层：作用是接收输入图像，输入层的大小与输入图像的大小一致。
卷积层：作用是运用卷积操作提取特征，卷积层越多，特征表达能力越强。
池化层：通过设置在卷积层之后，通过对特征图的局部区域进行池化操作，使特征具有一定的空间不变性。常用的池化操作有均值池化和最大值池化。池化层具有类似于特征选择的功能，根据一定规则从卷积特征图的局部区域计算出重要的特征值，通常情况下，池化层会无重叠地选择局部区域，因此，池化操作降低了特征维度，同时保证了特征具有抗形变的能力。池化层与卷积层的特征图是一一对应，因此，池化层的特征图个数与卷积层的特征图个数一致。
全连接层：位于特征提取之后，将前一层的所有神经元与当前层的每个神经元相连接。全连接层会根据输出层的具体任务，有针对性地对高层特征进行映射。
输出层：输出层的形式面向具体任务，如果将卷积神经网络作为分类器使用，输出层采用softmax回归，产生一个图形类别的预测向量y＝(y1，…,ym)T，其中，M表示类别的个数。
宽动态范围(WideDynamicRange，WDR):宽动态就是场景中特别亮的部位和特别暗的部位同时都能看得特别清楚。宽动态范围是图像能分辨最亮的亮度信号值与能分辨的最暗的亮光信号值的比值。
特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征的好坏对泛化性能有至关重要的影响。
直方图均衡化处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图均衡化就是把给定图像的直方图分布改变成“均匀”分布直方图分布。
直方图均衡的方法的target&motivation：提高图像对比度。
下面以卷积神经网络(Convolutional Neural Network，CNN)为例具体说明本申请实施例的用于目标检测的神经网络模型100。可以理解的是，除了卷积神经网络，本申请的技术方案还可以基于其他的神经网络实现，例如深度神经网络(Deep Neural Networks，DNN)以及循环神经网络(Recurrent Neural Networks，RNN)、二值神经网络(BinaryNeural Network，BNN)等。
图1根据本申请实施例，示出了一种基于宽动态范围的图像特征提取方法的应用场景示意图，如图1所示，用于图像目标检测的神经网络模型包括特征提取器110和分类器120。特征提取器110接收待处理图像，待处理图像包括亮区域和暗区域。特征提取器110对每一次经过卷积或者池化处理得到的特征层进行宽动态范围处理。RGB色彩空间的图像中每个像素点包括红(R)、绿(G)、蓝(B)三个颜色通道的色彩值来表示一个像素点。以RGB为例，特征层的数量为R、G或B每个分量的卷积核数量确定的，例如，若卷积核为3个，则R、G或B每个分量对应三个特征层，总的特征层为3×3＝9个。得到待处理图像暗区域的特征值与亮区域的特征值有着相同或者相似的宽动态范围(例如对比度值)，从而将经过特征提取器110得到的特征层输入分类器120，分类器用于预测图像中图形的类别，由此得到目标检测的检测结果。例如，亮区域检测结果为一把椅子，暗区域检测结果同样也为一把椅子。
图2根据本申请实施例，示出了一种传统技术中基于宽动态范围的图像特征提取方法的应用场景示意图，如图2所示，用于图像目标检测的神经网络模型包括特征提取器210和分类器220。特征提取器210接收待处理图像，待处理图像包括亮区域和暗区域。特征提取器210对每一次经过卷积或者池化处理得到特征层，从而将经过特征提取器110得到的特征层输入分类器120得到目标检测的检测结果。例如，亮区域检测结果为一把椅子，暗区域检测结果为未检测出来任何任何目标物体。
如此，本申请实施例与传统技术方案对比，本申请实施例可以避免，因为暗区域的特征值过小，导致该特征值在层层卷积操作的过程中被忽略掉或者被压制掉，从而能够提高目标检测的准确度。
下面结合附图进一步详细介绍本申请实施例的特征提取器的的处理过程。图3根据本申请实施例，示出了一种基于宽动态范围的图像特征提取方法的流程示意图。
步骤S301:将待处理图像中的像素值每次进行卷积处理和或池化处理后得到特征层。
本申请的宽动态技术主要指数字宽动态，即通过数字信号处理的方式提高图像视觉上的动态范围。图像领域的WDR技术就是作用在RGB或灰度图像上，改变图像夫人局部亮度和对比度，使得图像整体上每个部分都有更好的视觉效果。如此，在一些实施例中，将待处理图像分成多个图像子区域；例如，可以将待处理图像分成N×N个大小相等的图像子区域,N为自然数。每个图像子区域的像素值具有相同的多对比度值。图4根据本申请的一些实施例，示出了一种待处理图像分成多个图像子区域的示意图，如图4所示，将待处理图像分为外部实线和内部实线组成的2×2个图像子区域，每个图像子区域如图4中虚线所示的区域，图中虚线仅为了说明图像子区域，并不对图像子区域的内容构成限定。除此之外，还可以为4×4个图像子区域，图像子区域的个数可以根据实际情况确定。
可以理解，若待处理图像为黑白图像，则所述像素值为灰度值；若待处理图像为黑白图像，则所述像素值为亮度值。卷积网络中的特征层可以是对图像中的像素值做卷积或者池化处理的结果，其有三个维度宽度W、高度H和通道数C(也就是特征层的层数)。
可以将特征层认为是与图像类似的数据结构，只不过一般图像有RGB三层或只有灰度一层，而图像可以由若干个卷积核经过特征提取得到的若干个特征层。
本申请实施例中，以RGB图像为例，分别对R层、G层和B层的像素值进行卷积处理，用卷积核，从图像的第一个像素点开始卷积操作，由卷积核中的参数值与对应位置图像像素值逐位相乘后累加作为一次卷积操作结果，得到经过卷积处理的特征层，例如，图5是根据本申请的一些实施例，示出的一种经过卷积处理的特征层和经过宽动态处理的特征层实例，如图5所示，利用1×1的卷积核分别对R层、G层和B层的像素值进行卷积处理得到特征层，再对特征层进行宽动态处理，得到结果特征层。
步骤S302:再对进行卷积处理和或池化处理后得到的特征层进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
在特征层上做WDR操作与图像上的WDR操作类似，即在每一层上或所有层同时做局部的直方图均衡，相当于改变了每一层特征层上的像素值表征的像素点的局部亮度和/或对比度。而且整个特征层上每个局部位置图像的对比度都比较一致。在每一个特征层上面都进行宽动态操作，输入输出的特征层的尺寸和通道数均保持不变。
在一些实施例中，对经过卷积处理的特征层进行进一步处理，例如，利用直方图均衡算法对经过卷积处理的特征层进行进一步处理。例如可以采用局部直方图均衡算法对每个图像子区域内的图像像素值单独做直方图均衡操作，相邻块的直方图均衡的结果之间做平滑滤波，这部分使用相邻的直方图结果进行混合，以防止图像子区域的边缘出现突变。
低对比度图像的直方图窄而且集中于灰度级的中部。高对比度的图像中，直方图的成分覆盖了灰度级很宽的范围，而且像素分布比较平均。直观上说，可以看到，如果一副图像起像素占有全部可能的灰度级，并且分布均匀，则这样的图像有高对比度。
待增强的像素点v,映射函数h，增强像素点S，下面示例性说明满足S＝h(v)灰度直方图均衡化算法实现步骤如下：
(1)统计原始图像各灰度级的像素数目ni,0≤i<L,L是图像中所有的灰度数(通常为256)；
(2)图像中灰度为i的像素的出现概率是:px(i)＝p(x＝i)＝ni/n,n是图像中所有的像素数，px(i)实际上是像素值为i的图像的直方图，归一化到[0,1]；
(3)px的累积分布函数,是图像的累计归一化直方图：
Figure BDA0002722319610000061
(4)直方图均衡化计算公式,cdfmin为累积分布函数最小值，M和N分别代表了图像的长宽像素个数，而L则是灰度级数(如图像为8位深度，则灰度级别共有2^8＝256级数，这也是最常见的灰度级数)，v为原始图像中为v的像素值：
Figure BDA0002722319610000071
其中round为向下取整函数。
彩色图像直方图均衡化：上面描述了灰度图像上使用直方图均衡化的方法，但是通过将这种方法分别用于图像RGB颜色值的红色、绿色和蓝色分量，从而也可以对彩色图像进行处理。实际上，对彩色分量RGB分别做均衡化，会产生奇异的点，图像不和谐。一般采用的是用yuv空间进行亮度的均衡即可。
块效应(BlockingArtifact)基于块的变换编码在图像压缩编码中得到广泛应用，随着码率的降低,量化变得粗糙,在块的边界会出现不连续,形成重建图像的明显缺陷,称为块效应。为了避免块效应，需将相邻图像子区域间存在的重叠区域进行平滑处理；例如，如图4所示的重叠区域中像素点r的取值公式为r＝d2×h1+d1×h2，其中d2和d1为像素点r至重叠区域两边的距离，h1和h2为像素点至重叠区域两边边界的经过直方图均衡算法处理过后的像素值。
在一些实施例中，图6根据本申请实施例，示出了一种基于宽动态范围的图像特征提取过程示意图，如图6所示，对待处理图像的像素值进行处理后得到经过卷积处理的特征层，然后再对经过卷积处理的特征层进行宽动态处理(直方图均衡处理)，进而再对经过宽动态处理的特征层进行池化处理，再对经过池化处理的特征层进行宽动态处理。图中仅示出了一次卷积处理、一次池化处理，但卷积或者池化处理并不限于一次，也可为多次，并且每次卷积或者池化处理后都进行宽动态处理。在其他一些实施例中，将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层；或者；将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层。但不限于此。
在一些实施例中，将经过宽动态处理的特征层输入分类器，得到待处理图像中的分类结果。例如，如图1所示，识别出待处理图像中的两把椅子。
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
本申请实施例还提供了一种基于宽动态范围的图像特征提取装置，图7根据本申请的一些实施例，示出了一种基于宽动态范围的图像特征提取装置，该装置包括：
特征层确定模块701，用于将待处理图像中的像素值每次进行卷积处理和或池化处理后得到的特征层；
结果特征层确定模块702，用于再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
如图8所示，为根据本申请的实施例公开的一种电子设备100的结构示意图。电子设备100可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键201以及显示屏202等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如，可以包括CPU、ISP、图形处理器(Graphics Processing Unit，GPU)、DSP、微处理器(Micro-programmed ControlUnit，MCU)、人工智能(Artificial Intelligence，AI)处理器或可编程逻辑器件(FieldProgrammable Gate Array，FPGA)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。处理器110可以执行本申请实施中的基于宽动态范围的图像特征提取方法。
电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏202，摄像头170，及无线通信模块120等供电。
移动通信模块130可以包括但不限于天线、功率放大器、滤波器、LNA(Lownoiseamplify，低噪声放大器)等。
无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在电子设备100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。电子设备100可以通过无线通信技术与网络以及其他设备进行通信。
在一些实施例中，电子设备100的移动通信模块130和无线通信模块120也可以位于同一模块中。
显示屏202用于显示人机交互界面、图像、视频等。显示屏202包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。
传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
摄像头170用于捕获静态图像或视频。物体通过镜头101生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。电子设备100可以通过ISP103，摄像头170，视频编解码器，图形处理器(Graphic ProcessingUnit，GPU)，显示屏202以及应用处理器等实现拍摄功能。
接口模块160包括外部存储器接口、通用串行总线(universal serial bus，USB)接口及用户标识模块(subscriber identification module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如MicroSD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于电子设备100和其他电子设备进行通信。用户标识模块卡接口用于与安装至电子设备100的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。
在一些实施例中，手机10还包括按键201、马达以及指示器等。其中，按键201可以包括音量键、开/关机键等。
如图9所示，为根据本申请的一些实施例公开的一种片上系统(System on Chip，SOC)900的系统框图。在图9中，相似的部件具有同样的附图标记。另外，虚线框是更先进的SOC的可选特征。在图9中，SOC900包括：互连单元950，其被耦合至应用处理器915；系统代理单元970；总线控制器单元980；集成存储器控制器单元940；一组或一个或多个协处理器920，其可包括集成图形逻辑、ISP、音频处理器和视频处理器；静态随机存取存储器单元930；直接存储器存取单元960。在一个实施例中，协处理器920包括专用处理器，诸如例如网络或通信处理器、压缩引擎、GPU、高吞吐量MIC处理器、或嵌入式处理器等等。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的基于宽动态范围的图像特征提取方法。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(digital signal processor，DSP)、微控制器、ISP、专用集成电路ASIC或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述基于宽动态范围的图像特征提取方法的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种基于宽动态范围的图像特征提取方法，其特征在于，包括：
将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层，再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层；
或者；
将待处理图像中的像素值进行卷积处理后得到的特征层，再进行宽动态处理，得到结果特征层。
3.根据权利要求1所述的方法，其特征在于，所述方法包括：将待处理图像中的像素值每次进行卷积处理后得到的第一特征层；再进行宽动态处理，得到第二特征层；
对所述第二特征层每次进行池化处理得到的第三特征层；再进行宽动态处理，得到结果特征层。
4.根据权利要求1所述的方法，其特征在于，所述方法包括：
将待处理图像分成多个图像子区域；
对多个图像子区域中的每个图像子区域进行卷积处理和或池化处理得到特征层。
5.根据权利要求4所述的方法，其特征在于，还包括：在多个图像子区域中相邻图像子区域间存在重叠区域，对重叠区域做平滑处理。
6.根据权利要求5所述的方法，其特征在于，包括：所述重叠区域中像素点r的取值公式为r＝d2×h1+d1×h2，其中d2和d1为像素点r至重叠区域两边的距离，h1和h2为像素点至重叠区域两边边界的经过直方图均衡算法处理过后的像素值。
7.一种基于宽动态范围的图像特征提取的目标检测方法，其特征在于，包括：
将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层；
再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度，将结果特征层输入分类器，得到待处理图像中的分类结果。
8.一种基于宽动态范围的图像特征提取装置，其特征在于，包括：
特征层确定模块，用于将待处理图像中的像素值每次进行卷积处理和/或池化处理后得到的特征层；
结果特征层确定模块，用于再进行宽动态处理，得到结果特征层，所述像素值表征像素点的明暗程度。
9.一种计算机可读介质，其特征在于，所述可读介质中存储有指令，该指令被终端设备运行时，所述终端设备执行如权利要求1-7中任意一项所述的基于宽动态范围的图像特征提取方法。
10.一种电子设备，其特征在于，包括：
存储器，所述存储器中存储有指令，和
处理器，用于读取并执行所述存储器中的指令，以使得所述电子设备执行如权利要求1-7中任意一项所述的基于宽动态范围的图像特征提取方法。
CN202011091721.XA 2020-10-13 2020-10-13 电子设备及其基于宽动态范围的图像特征提取方法和介质 Pending CN112163584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091721.XA CN112163584A (zh) 2020-10-13 2020-10-13 电子设备及其基于宽动态范围的图像特征提取方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091721.XA CN112163584A (zh) 2020-10-13 2020-10-13 电子设备及其基于宽动态范围的图像特征提取方法和介质

Publications (1)

Publication Number Publication Date
CN112163584A true CN112163584A (zh) 2021-01-01

Family

ID=73866658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091721.XA Pending CN112163584A (zh) 2020-10-13 2020-10-13 电子设备及其基于宽动态范围的图像特征提取方法和介质

Country Status (1)

Country Link
CN (1) CN112163584A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960414A (zh) * 2016-12-12 2017-07-18 天津大学 一种多视角ldr图像生成高分辨率hdr图像的方法
CN107257452A (zh) * 2017-07-21 2017-10-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算设备
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
CN110189714A (zh) * 2019-06-25 2019-08-30 京东方科技集团股份有限公司 具有区域调节背光的显示方法及装置、电子设备、介质
CN110557572A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及卷积神经网络系统
CN110781899A (zh) * 2019-10-23 2020-02-11 维沃移动通信有限公司 图像处理方法及电子设备
CN110969164A (zh) * 2019-12-20 2020-04-07 湖南千视通信息科技有限公司 基于深度学习端对端的低照度成像车牌识别方法及装置
CN111080595A (zh) * 2019-12-09 2020-04-28 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960414A (zh) * 2016-12-12 2017-07-18 天津大学 一种多视角ldr图像生成高分辨率hdr图像的方法
CN107257452A (zh) * 2017-07-21 2017-10-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算设备
CN110557572A (zh) * 2018-05-31 2019-12-10 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及卷积神经网络系统
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
CN110189714A (zh) * 2019-06-25 2019-08-30 京东方科技集团股份有限公司 具有区域调节背光的显示方法及装置、电子设备、介质
CN110781899A (zh) * 2019-10-23 2020-02-11 维沃移动通信有限公司 图像处理方法及电子设备
CN111080595A (zh) * 2019-12-09 2020-04-28 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN110969164A (zh) * 2019-12-20 2020-04-07 湖南千视通信息科技有限公司 基于深度学习端对端的低照度成像车牌识别方法及装置
CN111476806A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111418201B (zh) 一种拍摄方法及设备
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
US10708525B2 (en) Systems and methods for processing low light images
US9451173B2 (en) Electronic device and control method of the same
CN108234882B (zh) 一种图像虚化方法及移动终端
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
CN112529775A (zh) 一种图像处理的方法和装置
CN115601244B (zh) 图像处理方法、装置和电子设备
CN112950499B (zh) 图像处理方法、装置、电子设备及存储介质
CN104380727A (zh) 图像处理装置和图像处理方法
CN112700368A (zh) 图像处理方法、装置及电子设备
WO2024011976A1 (zh) 一种扩展图像动态范围的方法及电子设备
CN109104578B (zh) 一种图像处理方法及移动终端
CN114096994A (zh) 图像对齐方法及装置、电子设备、存储介质
CN110570370B (zh) 图像信息的处理方法、装置、存储介质及电子设备
WO2023137956A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110163816B (zh) 图像信息的处理方法、装置、存储介质及电子设备
CN117274109A (zh) 图像处理方法、降噪模型训练方法及电子设备
CN110473156B (zh) 图像信息的处理方法、装置、存储介质及电子设备
CN115239570A (zh) 图像处理方法、图像处理装置及存储介质
CN112330546A (zh) 图像增强方法及相关产品
CN111797694A (zh) 一种车牌检测方法及装置
CN111160240A (zh) 图像对象的识别处理方法、装置及智能设备、存储介质
CN112163584A (zh) 电子设备及其基于宽动态范围的图像特征提取方法和介质
CN114067275A (zh) 监控场景中目标物体提醒方法、系统与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101