CN104065863B - 图像处理方法及处理装置 - Google Patents

Abstract

一种图像处理方法，包括以下步骤：获取一个场景的多张图像；获取该多张图像中各图像之间的相邻关系信息；分别获取该多张图像中各图像的曝光值；分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像。此外，本发明还提供一种图像处理装置。上述的图像质量处理方法及装置具有更高的处理效率。

Description

图像处理方法及处理装置

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法及处理装置。

背景技术

利用相机拍摄出的图像时常会因为拍摄时曝光量设置不当，或者受其它的客观及主观因素的影响，发生曝光过度或曝光不充分的情况，从而影响其视觉效果，此时需要对这些照片进行曝光校正，而在曝光校正前，需要先检测图像是否具有曝光异常现象。

当今，各种图像相关的应用越来越受欢迎，例如各种拍摄应用、街景地图应用等，所要处理的图像的量也越来越大。尤其是街景地图中，需要同时处理海量的图像。因此，如何能更加高效的进行曝光异常的检测成为需要解决的问题。

发明内容

有鉴于此，本发明提供一种图像处理方法及处理装置，其具有更高的处理效率。

一种图像处理方法，包括以下步骤：获取一个场景的多张图像；获取该多张图像中各图像之间的相邻关系信息；分别获取该多张图像中各图像的曝光值；分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像。

一种图像处理装置，包括：图像获取模块，用于获取一个场景的多张图像；相邻关系获取模块，用于获取该多张图像中各图像之间的相邻关系信息；第一计算模块，用于分别获取该多张图像中各图像的曝光值；第二计算模块，用于分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及第一确定模块，用于若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像。

在上述的图像处理方法及装置中，通过获取一个场景的多张图像的相邻关系信息，从而可以计算各图像与其相邻的图像之间的曝光值的差值平均值，此差值平均值可用于确定该图像是否属于曝光异常图像。由于曝光值的计算具有高效的特点，因此上述的图像处理方法同样可以高效的识别出曝光异常图像。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为第一实施例提供的图像处理方法的流程图。

图2为一个场景的多张图像的示意图。

图3为第二实施例的图像处理方法的部分步骤流程图。

图4为第三实施例的图像处理方法的部分步骤流程图。

图5为第四实施例的图像处理方法的流程图。

图6为第五实施例的图像处理方法的部分步骤流程图。

图7为一个拍摄装置阵列的示意图。

图8为第六实施例提供的图像处理装置的结构框图。

图9为图8的图像处理装置的相邻关系获取模块的一个实施方式的结构框图。

图10为图8的图像处理装置的相邻关系获取模块的另一个实施方式的结构框图。

图11为第七实施例提供的图像处理装置的结构框图。

图12为第八实施例提供的图像处理装置的结构框图。

图13为第九实施例提供的图像处理装置的结构框图。

图14为图8的图像处理装置的相邻关系获取模块的再一个实施方式的结构框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

图1为第一实施例提供的图像处理方法的流程图。其可由一个图像处理装置，如一台计算机执行。如图1所示，上述的图像处理方法包括以下步骤：

步骤101、获取一个场景的多张图像。

步骤102、获取该多张图像中各图像之间的相邻关系信息。

步骤103、分别获取该多张图像中各图像的曝光值；

步骤104、分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及

步骤105、若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像。

在上述的图像处理方法中，通过获取一个场景的多张图像的相邻关系信息，从而可以计算各图像与其相邻的图像之间的曝光值的差值平均值，此差值平均值可用于确定该图像是否属于曝光异常图像。由于曝光值的计算具有高效的特点，一般来说，上述步骤可以10毫秒内执行完成，因此上述的图像处理方法效率非常高。

以下结合更加具体的应用实例对上述的图像处理方法作进一步说明：

步骤101中所述场景例如是指一个室外或者室内地点、一幢建筑等。多张图像是指在该场景由一台设备或者多台设备、一人或多人拍摄的图像。多张图像内所包含的标的（拍摄的目标）应具有相同的部分。

参阅图2，其为一个场景的多张图像的示意图。如图2所示，图像2拍摄的目标位于图像1拍摄的目标的上方，图像3拍摄的目标位于图像1拍摄的目标的下方，图像4拍摄的目标位于图像1拍摄的目标的左方，图像5拍摄的目标位于图像1拍摄的目标的右方。且各图像相邻的部分包含相同的目标。

上述图像之间的相邻关系信息例如是指图像拍摄的目标主体的空间位置相邻信息。各图像之间的相邻关系在拍摄时就已经确定，此相邻关系可以被存储于数据库中。例如，先对各图像进行编号，然后对每个图像记录其相邻的图像编号。更加具体地，还可记录每个相邻的图像的具体方位，例如，是上、下、左或者右。如图2所示的5张图像，就被分别编号为1、2、3、4、5。

当相邻关系信息被存储于数据库中时，则步骤S102中可向该数据库发送查询请求，并提供要查询的图像的识别符，以查询与该识别符对应的图像相邻的图像的识别符。

然而，可以理解，上述的相邻关系并不限于存储于数据库中，其可采用任何可能的方式。例如，直接在各图像的文件名称中存储其编号以及与其相邻的图像编号；还可在将文件编号及相邻图像的编号信息直接嵌入图像文件内。在此种情形下，则步骤S102中可以通过解析文件名或者文件内容获取各图像之间的相邻关系信息。

在步骤S103中，计算曝光值（Ev）例如可按以下公式进行：

其中，N表示光圈值，t表示曝光时间，s表示感光度（iso值），c表示曝光补偿。上述的N、t、s、c可以直接从图像文件中读取。

例如，一般图像文件中均包括可交换图像文件（Exchangeable Image File，EXIF）信息，EXIF信息中包括各种拍摄参数，直接读取即可。然而，上述信息并不限于从图像文件中读取，EXIF信息同样可被单独保存于数据库中，此时向数据库查询相应有EXIF信息即可。

根据步骤S103中获取的曝光值，再参考步骤S102中获取的相邻关系信息，即可计算某张图像与其相邻的图像之间的曝光值的差值平均值。

例如，上述的差值平均值（D_A）可按以下公式计算：

其中n表示与要进行计算的图像相邻图像的数目，E_v0表示要进行计算的图像的曝光值，E_vi表示相邻的图像的曝光值。

步骤S105中，判断上述获取的D_A是否超过给定的第一阈值，若高于此阈值，则认为该图像存在过曝或者逆光的可能，即确定该图像为曝光异常图像。上述的第一阈值例如可取3，但可以理解，此值并不受具体限制，依据不同的具体需要及标准，此值可以相应变化。

上述的过曝是指由于光圈过大、快门过慢等原因造成的画面中亮度过高、图像泛白的现象。逆光是指是由于被摄目标恰好处于光源和照相机之间而造成的被摄目标曝光不充分的现象。

图3为第二实施例的图像处理方法的部分步骤流程图。如图3所示，本实施例的图像处理方法与第一实施例相似，其不同之处在于，还包括：

步骤S201，根据各图像的曝光值计算该多张图像的曝光值平均值。

曝光值平均值（E_VA）例如可根据以下公式计算：

其中n为该多张图像的总数目，E_vi表示每张图像的曝光值，其可根据公式1计算。

步骤S202，若该曝光异常图像的曝光值大于该多张图像的曝光值平均值则确定该曝光异常图像为疑似逆光图像；以及

步骤S203，若该曝光异常图像的曝光值小于该多张图像的曝光值平均值则确定该曝光异常图像为疑似过曝图像。

本实施例的图像处理方法中，通过比较曝光异常图像的曝光值与该多张图像曝光值的平均值，可进一步判定曝光异常的具体类型，可进一步方便后续进行处理。

图4为第三实施例的图像处理方法的部分步骤流程图。如图4所示，本实施例的图像处理方法与第一实施例相似，其不同之处在于，还包括：

步骤S301，获取该曝光异常图像及与其相邻的图像之间的匹配点对集合；以及

步骤S302（曝光异常判定步骤）：根据该曝光异常图像及该相邻的图像的匹配点对集合中各匹配点对附近给定大小区域的灰度直方图的相似度判断该曝光异常图像的曝光异常信息。

如图2中所示，各相邻的图像之间具有部分重叠的部分，而这些重叠的部分可以通过图像识别算法识别出来。例如，可以利用哈里斯（Harris）算法或者尺度不变特征转换（Scale-invariant feature transform，Sift）算法对相邻的图像进行处理，获取图像与其相邻图像的匹配点对集合。可以理解，上述的匹配点对可以是Harris角点或者Sift特征点。

该曝光异常判定步骤包括：

获取各匹配点对附近给定大小区域的灰度直方图的相似度的平均值；以及若该相似度的平均值大于给定的第二阈值则确定该曝光异常图像的曝光异常信息。

上述的灰度直方图（histogram）表示图像中具有每种灰度级的像素的个数，反映图像中每种灰度出现的频率，其横坐标是灰度级，纵坐标是该灰度级出现的频率。

上述的给定大小区域例如是指以匹配点为中心周围n*n像素范围内的正方形区域。n可取值10左右，例如11。

上述的灰度直方图的相似度（Similarity）例如可按以下公式计算：

其中L表示灰度直方图的阶数（通常L为256，即8位灰度级），k∈[1,L]，其中k与L均为正整数，且L大于1。

对于每个匹配点对，可以根据公式4获取一个相似度值。然后可以计算相似度值的平均值S_A。

其中n匹配点对的数目，S_i表示每个匹配点对附近给定大小区域灰度直方图的相似度，可根据公式4计算。

可以理解，相似度越接近于1，则匹配点附近的灰度分布差异越小。由此，可比较平均值S_A与1差值绝对值（|S_A-1|）是否大于给定的第二阈值。若是，则确定该图像中存在曝光异常现象。若结合第二实施例中的步骤S202或步骤S203，则可确定该曝光异常现象是属于逆光还是过曝。

本实施例的图像处理方法中，通过图像识别算法获取相邻图像的匹配点对，进而可以计算匹配点对附近的灰度直方图的相似度，根据此相似度判定是否存在曝光异常现象，具有更高的准确度。

图5为第四实施例的图像处理方法的流程图。如图5所示，本实施例的图像处理方法与第一实施例相似，其不同之处在于，还包括：

步骤S401，对该曝光异常图像进行校正处理。

上述的校正处理例如是指根据曝光异常的类别对图像进行补偿处理。而且，对于同一场景的多张图像，使其曝光参数一致，以获取最匹配的显示效果。

本实施例的图像处理方法中，除了对曝光异常现象进行检测识别，还进一步进行校正处理，可以提升图像的质量，加强图像的显示效果。

图6为第五实施例的图像处理方法的部分步骤流程图。如图6所示，本实施例的图像处理方法与第一实施例相似，其不同之处在于，步骤102中获取该多张图像中各图像之间的相邻关系信息具体包括以下步骤：

步骤S501，获取该多张图像各自拍摄设备的标识符；

步骤S502，根据拍摄设备的预定位置关系获取该相邻关系信息。

参阅图7，其为一个拍摄装置阵列的示意图，此拍摄装置陈列包括三个取景方向（图7中虚线为各拍摄装置镜头的光轴）不同的拍摄装置。通过设置拍摄装置之间的角度，可以同时拍摄三张相邻的图像，且两相邻的图像之间具有部分重叠的部分。因此，采用图7所示的拍摄装置可以同时拍摄如图2所示的图像4、1、5。

此外，可以理解，在实际应用于，拍摄装置的角度设置并不限于如图7所示，其可以根据实际需要任意调整。但只要拍摄装置的位置关系确定了，其在同一时候拍摄的图像之间相邻关系也就确定。

拍摄设备的标识符可由拍摄设备自行记录，例如，拍摄设备在保存图像文件时，直接将设备标识符写入图像文件或者图像文件的文件名中。此后即可按照预定的方式从图像文件或其文件名中解析出拍摄设备的标识符。拍摄设备的标识符还可以是从拍摄设备的存储装置中导入图像时予以保存。拍摄设备的标识符同样可写入图像文件或者图像文件的文件名中。

由于拍摄设备的相对位置关系是预定的，只要获取了不同拍摄设备在同一时候拍摄的图像，各图像之间的相邻关系也就确定了。

本实施例的图像处理方法中，通过将拍摄设备的标识符与图像的相邻关系关联起来，可以快速确定各图像之间的相邻关系信息，提升图像处理的效率。

图8为第六实施例提供的图像处理装置的结构框图。如图8所示，图像处理装置100包括：

图像获取模块110，用于获取一个场景的多张图像；

相邻关系获取模块120，用于获取该多张图像中各图像之间的相邻关系信息；

第一计算模块130，用于分别获取该多张图像中各图像的曝光值；

第二计算模块140，用于分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及

第一确定模块150，用于若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像。

各图像的编号以及与其相邻的图像的编号例如可存储在图像的文件名中。此时，参阅图9，相邻关系获取模块120可包括：

文件名获取单元121，用于获取该多张图像中各图像的文件名称；以及编号解析单元122，用于从该文件名称中解析出各图像的编号以及与该图像相邻的图像的编号。

此外，相邻关系信息还可存储于数据库中，此时，参阅图10，相邻关系获取模块120可包括：

标识符获取单元123，用于获取该多张图像中各图像的标识符；以及

相邻关系查询单元124，用于根据该标识符向服务器查询与该标识符对应图像相邻的图像。

关于图像处理装置100的其他细节，还可进一步参考第一实施例的图像处理方法及相关描述，在此不再赘述。

在上述的图像处理装置中，通过获取一个场景的多张图像的相邻关系信息，从而可以计算各图像与其相邻的图像之间的曝光值的差值平均值，此差值平均值可用于确定该图像是否属于曝光异常图像。由于曝光值的计算具有高效的特点，因此上述的图像处理方法同样可以高效的识别出曝光异常图像。

图11为第七实施例提供的图像处理装置的结构框图。如图11所示，图像处理装置200与图8所示相似，其不同之处在于，还包括：

第三计算模块210，用于根据各图像的曝光值计算该多张图像的曝光值平均值；

第二确定模块220，用于若该曝光异常图像的曝光值大于该多张图像的曝光值平均值则确定该曝光异常图像为疑似逆光图像；以及若该曝光异常图像的曝光值小于该多张图像的曝光值平均值则确定该曝光异常图像为疑似过曝图像。

关于图像处理装置200的其他细节，还可进一步参考第二实施例的图像处理方法及相关描述，在此不再赘述。

本实施例的图像处理装置中，通过比较曝光异常图像的曝光值与该多张图像曝光值的平均值，可进一步判定曝光异常的具体类型，可进一步方便后续进行处理。

图12为第八实施例提供的图像处理装置的结构框图。如图12所示，图像处理装置300与图8所示相似，其不同之处在于，还包括：

匹配点获取模块310，用于获取该曝光异常图像及与其相邻的图像之间的匹配点对集合；以及

第三确定模块320，用于根据该曝光异常图像及该相邻的图像的匹配点对集合中各匹配点对附近给定大小区域的灰度直方图的相似度判断该曝光异常图像的曝光异常信息。

第三确定模块320包括：

获取单元321，用于获取该各匹配点对附近给定大小区域的灰度直方图的相似度的平均值；以及

异常确定单元322，用于若该相似度的平均值大于给定的第二阈值则确定该曝光异常图像的曝光异常信息。

关于图像处理装置300的其他细节，还可进一步参考第三实施例的图像处理方法及相关描述，在此不再赘述。

本实施例的图像处理装置中，通过图像识别算法获取相邻图像的匹配点对，进而可以计算匹配点对附近的灰度直方图的相似度，根据此相似度判定是否存在曝光异常现象，具有更高的准确度。

图13为第九实施例提供的图像处理装置的结构框图。如图13所示，图像处理装置400与图8所示相似，其不同之处在于，还包括：

校正模块410，用于对该曝光异常图像进行校正处理。

上述的校正处理例如是指根据曝光异常的类别对图像进行补偿处理。而且，对于同一场景的多张图像，使其曝光参数一致，以获取最匹配的显示效果。

本实施例的图像处理装置中，除了对曝光异常现象进行检测识别，还进一步进行校正处理，可以提升图像的质量，加强图像的显示效果。

图14为图8的图像处理装置的相邻关系获取模块的再一个实施方式的结构框图。如图14所示，相邻关系获取模块120包括：

拍摄设备获取单元125，用于获取该多张图像各自拍摄设备的标识符；以及相邻关系获取单元126，用于根据拍摄设备的预定位置关系获取该相邻关系信息。

关于图像处理装置500的其他细节，还可进一步参考第五实施例的图像处理方法及相关描述，在此不再赘述。

本实施例的图像处理装置中，通过将拍摄设备的标识符与图像的相邻关系关联起来，可以快速确定各图像之间的相邻关系信息，提升图像处理的效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。任何本领域技术人员，在不脱离本发明精神范围内，当可利用上述揭示的技术内容做出些许更动或修饰，例如将各实施例进行组合而得到新的实施方式，或者采用本领域常见的其他技术手段替代上述实施例中采用的技术手段。

Claims (14)

1.一种图像处理方法，其特征在于，包括以下步骤：

获取一个场景的多张图像；

获取该多张图像中各图像之间的相邻关系信息；

分别获取该多张图像中各图像的曝光值；

分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及

若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像；

获取该曝光异常图像及与其相邻的图像之间的匹配点对集合；以及

曝光异常判定步骤：根据该曝光异常图像及该相邻的图像的匹配点对集合中各匹配点对附近给定大小区域的灰度直方图的相似度判断该曝光异常图像的曝光异常信息。

2.如权利要求1所述的图像处理方法，其特征在于，还包括：

根据各图像的曝光值计算该多张图像的曝光值平均值；

若该曝光异常图像的曝光值大于该多张图像的曝光值平均值则确定该曝光异常图像为疑似逆光图像；以及

若该曝光异常图像的曝光值小于该多张图像的曝光值平均值则确定该曝光异常图像为疑似过曝图像。

3.如权利要求2所述的图像处理方法，其特征在于，该曝光异常判定步骤包括：

获取该各匹配点对附近给定大小区域的灰度直方图的相似度的平均值；以及

若该相似度的平均值大于给定的第二阈值则确定该曝光异常图像的曝光异常信息。

4.如权利要求1-2任一项所述的图像处理方法，其特征在于，还包括：

对该曝光异常图像进行校正处理。

5.如权利要求1所述的图像处理方法，其特征在于，获取该多张图像中各图像之间的相邻关系信息包括：

获取该多张图像中各图像的文件名称；以及

从该文件名称中解析出各图像的编号以及与该图像相邻的图像的编号。

6.如权利要求1所述的图像处理方法，其特征在于，获取该多张图像中各图像之间的相邻关系信息包括：

获取该多张图像中各图像的标识符；以及

根据该标识符向服务器查询与该标识符对应图像相邻的图像。

7.如权利要求1所述的图像处理方法，其特征在于，获取该多张图像中各图像之间的相邻关系信息包括：

获取该多张图像各自拍摄设备的标识符；以及

根据拍摄设备的预定位置关系获取该相邻关系信息。

8.一种图像处理装置，其特征在于，包括以下步骤：

图像获取模块，用于获取一个场景的多张图像；

相邻关系获取模块，用于获取该多张图像中各图像之间的相邻关系信息；

第一计算模块，用于分别获取该多张图像中各图像的曝光值；

第二计算模块，用于分别获取该多张图像中各图像与其相邻的图像之间曝光值的差值平均值；以及

第一确定模块，用于若与该多张图像中一张图像对应的该差值平均值大于给定的第一阈值则确定该张图像为曝光异常图像；

匹配点获取模块，用于获取该曝光异常图像及与其相邻的图像之间的匹配点对集合；以及

第三确定模块，用于根据该曝光异常图像及该相邻的图像的匹配点对集合中各匹配点对附近给定大小区域的灰度直方图的相似度判断该曝光异常图像的曝光异常信息。

9.如权利要求8所述的图像处理装置，其特征在于，还包括：

第三计算模块，用于根据各图像的曝光值计算该多张图像的曝光值平均值；

第二确定模块，用于若该曝光异常图像的曝光值大于该多张图像的曝光值平均值则确定该曝光异常图像为疑似逆光图像；以及若该曝光异常图像的曝光值小于该多张图像的曝光值平均值则确定该曝光异常图像为疑似过曝图像。

10.如权利要求9所述的图像处理装置，其特征在于，该第三确定模块包括：

获取单元，用于获取该各匹配点对附近给定大小区域的灰度直方图的相似度的平均值；以及

异常确定单元，用于若该相似度的平均值大于给定的第二阈值则确定该曝光异常图像的曝光异常信息。

11.如权利要求8-9任一项所述的图像处理装置，其特征在于，还包括：

校正模块，用于对该曝光异常图像进行校正处理。

12.如权利要求8所述的图像处理装置，其特征在于，该相邻关系获取模块包括：

文件名获取单元，用于获取该多张图像中各图像的文件名称；以及

编号解析单元，用于从该文件名称中解析出各图像的编号以及与该图像相邻的图像的编号。

13.如权利要求8所述的图像处理装置，其特征在于，该相邻关系获取模块包括：

标识符获取单元，用于获取该多张图像中各图像的标识符；以及

相邻关系查询单元，用于根据该标识符向服务器查询与该标识符对应图像相邻的图像。

14.如权利要求8所述的图像处理装置，其特征在于，该相邻关系获取模块包括：

拍摄设备获取单元，用于获取该多张图像各自拍摄设备的标识符；以及

相邻关系获取单元，用于根据拍摄设备的预定位置关系获取该相邻关系信息。