CN105184763B

CN105184763B - 图像处理方法和装置

Info

Publication number: CN105184763B
Application number: CN201410283573.XA
Authority: CN
Inventors: 刘楠
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2020-12-01
Anticipated expiration: 2034-06-23
Also published as: CN105184763A

Abstract

本发明公开了一种图像处理方法和装置，其中，该方法包括：根据待处理的图像中像素的参数，确定像素的显著性；根据确定的显著性确定相应的像素属于显著区域或背景区域；根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。本发明通过确定图像中像素的参数来确定像素的显著性，进而确定图像的显著区域和背景区域，能够避免采用复杂的计算，同时可以借助参数的灵活选择来避免特征之间的冗余，提高了检测的效率和准确性，而且能够适用于实际拍摄的复杂图像。

Description

图像处理方法和装置

技术领域

本发明涉及图像处理领域，并且特别地，涉及一种图像处理方法和装置。

背景技术

显著区域与背景区域的区分一直是图像处理领域内非常关键的一环。论文《Amodel for saliency-based visual attention for rapid scene analysis》是该领域的早期工作，也是引用非常广泛的论文之一。作者在这篇论文中，运用了数量庞大的特征来模拟人类对于显著物体的视觉感知，这些特征共有42个特征图谱(feature map)，分别为12种颜色的feature map，即，在R，G，B各通道的强度信息的基础上利用不同的尺度的高斯金字塔模型与下采样方法构造12种颜色的feature map；并且，该论文还提出了6种图像像素灰度强度信息、以及四方向六尺度下构造的24种Gabor纹理方向feature map。在获得这些feature map的基础上，作者提出中心区域与周围区域的差异(center surroundingdifference)方法，计算同类型不同尺度feature map之间中心区域同周围区域的差异度，最终通过线性组合的方式将不同类型的feature map利用权重的方式进行组合获得最终的显著图(saliency map)。

但是，该算法在实际应用中存在以下缺点：

(1)检测精度低，仅仅能检测到显著目标(salient object)的一小部分；

(2)该方法基于简单的视觉特征，如像素强度、灰度等信息，而没有考虑saliency的本身特性；

(3)由于该方法使用多种特征计算saliency map，所以在特征之间将存在信息冗余，同时加大了算法的计算量；

(4)该算法仅采用权重组合的简单方式获得saliency map，因此检测的鲁棒性差。

此外，在论文《Contrast Approach:Frequency-tuned Salient RegionDetection》中，提出了仅使用一种特征来构造saliency map，作者通过对图像进行频域低通滤波的方式去除图像中的噪声以及过细的纹理信息，利用原始图像减去滤波后的图像获得一张简单的saliency map。在这个saliency map上利用自适应阈值将saliency map划分为显著区域(saliency区域)与背景区域。同时，在原始图像上，利用mean shift算法对图像进行分割。最后，利用saliency map上对应位置处像素的标签(saliency或者背景)，对于分割区域进行判断，获得更加完整的分割结果。

该算法虽然能够克服特征冗余的问题，但是仍然存在以下缺点：

(1)仅利用一种saliency map，一旦特征出现问题，将很容易导致最终的检测结果出现差错；

(2)该方法需要使用复杂的图像分割方法对图像进行分割，尽管作者希望利用图像分割的结果，来提升saliency map的性能，但是，这种复杂的图像分割方法本身的计算复杂度较高，因此很难用于资源有限的平台(如DSP等)，导致其使用的范围受到很大限制。

此外，在论文《Main Subject Detection via Adaptive Feature Selection》中，作者选用了具有50％overlap的滑动窗口，在图像中选择像素，计算窗口中的像素与窗口外像素的亮度、颜色、对比度、锐利度以及边缘强度的差异性，构成五种feature map，同时假设靠近图像中心区域的窗口更加的重要，将这些窗口赋予高权重。基于上述特征以及权重计算方法，利用线性组合的方式，将feature map进行组合得到初步的saliency map。在saliency map的基础上，利用阈值选取saliency value大于一定阈值的点，以这些点的边界作为初始的bounding box的位置，随后利用cluster density自动优化bounding box，最终再次通过阈值选择合适的bounding box位置。

虽然该算法在理论上来说也具有一定的准确性，但是，该算法具有以下缺点：

(1)该算法是在微软公开的实验数据集上进行的算法设计，未考虑实际用户所拍摄照片的复杂度，在实现时，考虑到的特征过于简单，很难直接用于实际拍摄得到的图像数据；

(2)使用多种特征计算saliency map，例如，光照、对比度以及颜色特征都属于图像像素在不同颜色空间中的不同表达，将会导致多种特征之间存在冗余性；

(3)算法采用50％的滑动窗口进行扫描，加大了计算量；

(4)假设显著目标位于图像的中心。这种假设过于主观。部分图像符合该假设，但仍有大部分图像不符合。

综上所述，目前对于显著区域和背景区域的检测方法只要存在检测精度不高、难以适应实际拍摄图像的复杂度、算法复杂(计算量大、计算速度慢)、特征之间存在冗余而导致程序结构复杂等问题。但是，针对上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种图像处理方法和装置，能够提高检测的准确性和效率，并且适用于实际应用中的各种复杂情况。

为了实现上述目的，根据本发明的一个方面，提供了一种图像处理方法。

该方法包括：

根据待处理的图像中像素的参数，确定像素的显著性；

根据确定的显著性确定相应的像素属于显著区域或背景区域；

根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

其中，确定图像中像素的显著性包括以下至少之一：

对于每个需要确定显著性的像素，确定该像素到达图像边界处的参数变化最小路径，并确定该像素的参数相对于该路径上位于图像边界处像素的参数的变化情况，将该确定的参数变化情况作为该像素的第一显著性；和/或

对于每个需要确定显著性的像素，确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的第二显著性。

并且，上述参考背景区域可以包括图像的至少部分边缘区域。

并且，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，对图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。

其中，上述多次扫描包括第一扫描和第二扫描，并且，第一扫描和第二扫描的扫描顺序相反。

此外，确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度包括：

对图像中所有像素的颜色进行划分，得到多个颜色区间；

根据参考背景区域中像素的颜色区间分布、以及图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

其中，可选地，对所有像素进行划分，得到多个颜色区间的方法包括以下至少之一：中位切分算法、流行色算法、八叉树颜色量化算法。

此外，该方法可以进一步包括：

确定图像中各种颜色的分布情况；

根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

另外，在确定了第一和第二显著性的情况下，该方法可以进一步包括：

确定图像中各种颜色的分布情况，并对图像进行划分，得到多个图像块；

对于每个图像块，根据该图像块中的颜色分布、该图像块中像素的第一显著性、以及第二显著性，确定图像中是否包含显著目标；

确定图像中显著目标的位置。

根据本发明的另一方面，提供了一种图像处理装置。

该装置包括：

第一确定模块，用于根据待处理的图像中像素的参数，确定像素的显著性；

第二确定模块，用于根据确定的显著性确定相应的像素属于显著区域或背景区域；

第三确定模块，用于根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

其中，在确定图像中像素的显著性时，第二确定模块用于对每个需要确定显著性的像素，确定该像素到达图像边界处的参数变化最小路径，并确定该像素的参数相对于该路径上位于图像边界处像素的参数的变化情况，将该确定的参数变化情况作为该像素的第一显著性；和/或

第二确定模块用于对每个需要确定显著性的像素，确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的第二显著性。

可选地，参考背景区域包括图像的至少部分边缘区域。

此外，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，第二确定模块用于对图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。

并且，上述多次扫描包括第一扫描和第二扫描，并且，第一扫描和第二扫描的扫描顺序相反。

此外，在确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度时，第二确定模块用于对图像中所有像素的颜色进行划分，得到多个颜色区间；以及用于根据参考背景区域中像素的颜色区间分布、以及图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

可选地，第二确定模块用于根据以下方法中的至少之一对所有像素进行划分，得到多个颜色区间：中位切分算法、流行色算法、八叉树颜色量化算法。

此外，该装置可以进一步包括：

第四确定模块，用于确定图像中各种颜色的分布情况；

第五确定模块，用于根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

另外，在确定第一和第二显著性的情况下，该装置可以进一步包括：

第四确定模块，用于确定图像中各种颜色的分布情况，并对图像进行划分，得到多个图像块；

第五确定模块，用于对每个图像块，根据该图像块中的颜色分布、该图像块中像素的第一显著性、以及第二显著性，确定图像中是否包含显著目标，以及确定图像中显著目标的位置。

根据本发明的再一方面，提供了一种图像处理方法。

该方法包括：

根据待处理的图像中像素的参数，确定像素的显著性；

根据图像中像素所属的区域确定图像中的显著区域和/或背景区域；

确定图像中各种颜色的分布情况，并根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

根据本发明的另一方面，提供了一种图像处理装置。

该装置包括：

第三确定模块，用于根据图像中像素所属的区域确定图像中的显著区域和/或背景区域；

第四确定模块，用于确定图像中各种颜色的分布情况；

本发明通过确定图像中像素的参数来确定像素的显著性，进而确定图像的显著区域和背景区域，能够避免采用复杂的计算，同时可以借助参数的灵活选择来避免特征之间的冗余，提高了检测的效率和准确性，而且能够适用于实际拍摄的复杂图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的图像处理方法的流程图；

图2a和图2b分别示出了对于包含显著目标和不包含显著目标的图像进行目标提取的示意图；

图3是根据本发明实施例的图像处理方法的处理实例的示意图；

图4、图5a以及图5b是对由9个像素构成的图像进行两次扫描的示意图；

图6是根据本发明实施例的图像处理装置的框图；

图7是根据本发明另一实施例的图像处理方法的流程图；

图8是实现本发明技术方案的计算机的示例性结构框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

根据本发明的实施例，提供了一种图像处理方法。

如图1所示，根据本发明的图像处理方法包括：

步骤S101，根据待处理的图像中像素的参数，确定像素的显著性；

步骤S103，根据确定的显著性确定相应的像素属于显著区域或背景区域；

步骤S105，根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

在上述方法中，像素的显著性用于表示一像素的参数与图像中其他像素的参数之间的差异，差异越大则说明该像素的显著性越高，差异越小则该像素的显著性越低。

其中，在确定图像中像素的显著性时，所执行的步骤可以包括以下至少之一：

对于每个需要确定显著性的像素，确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的第二显著性。在一个实施例中，参考背景区域包括图像的至少部分边缘区域。例如，可以将距离图像边界一定距离与图像边界之间的区域作为图像的边缘区域，而参考背景区域可以是该区域，也可以是该区域的一部分。在其他实施例中，参考背景区域可以由用户预先指定。

可选地，在确定显著性时，可以参照的参数包括像素的颜色、强度、灰度等。不论是确定第一显著性还是确定第二显著性，均可以参照一个或多个参数进行确定。并且，在确定第一显著性和第二显著性时，可以使用相同或不同的参数。

在一个实施例中，可以组合使用第一显著性和第二显著性得到像素的显著性。在其他实施例中，可以单独使用第一显著性或第二显著性来得到像素的显著性。

具体而言，在确定第一显著性的过程中，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，对图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。例如，在一次扫描中，在确定一像素的参数变化最小路径值时，根据本次扫描完成的像素的参数变化最小路径值确定当前像素的参数变化最小路径值。

并且，在一个实施例中，多次扫描包括第一扫描和第二扫描，并且，第一扫描和第二扫描的扫描顺序相反。在其他实施例中，扫描的次数可以多于两次。

此外，在确定第二显著性的过程中，在确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度时，可以对图像中所有像素的颜色进行划分，得到多个颜色区间；根据参考背景区域中像素的颜色区间分布、以及图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

可选地，对所有像素进行划分，得到多个颜色区间的方法包括以下至少之一：中位切分算法、流行色算法、八叉树颜色量化算法。在其他实施例中，还可以采用以上没有列举的其他方法。

例如，在采用中为切分算法时，可以确定图像中所有像素的颜色在空间颜色坐标系中的分布，并且在颜色坐标系中确定包含所有像素的最小立方体，并对最小立方体进行多次划分，得到多个子立方体，将每个子立方体作为一个颜色区间。

本发明的技术方案不仅能够有效区分显著区域和背景区域，而且能够确定图像中是否存在显著目标，并且确定图像中显著目标的位置，从而有助于提取显著目标。

在实际应用中，有些用户会为了拍摄某个目标而拍照，这样，图像中的目标就是显著目标，是用户主要关注的对象。但是，在很多情况下，用户仅仅是为了拍摄风景，例如，拍摄一些建筑物，此时，虽然图像中的建筑物存在于显著区域，但是，图像中并没有特定的需要关注的显著目标。

为了确定图像中的显著目标，论文《Existence Detection of Objects inImages for Robot Vision Using Saliency Histogram Features》提出，直接将其他saliency detection算法中得到的简单的saliency map，按照saliency map中value的强度，统计为直方图，并利用主成分分析方法，获得直方图特征中最具有判别力的部分，作为特征，辅以机器学习的方法，判断图像中是否存在显著对象(salient object，即上述的显著目标)。这种方法存在以下缺陷：

1.只利用了一种简单的直方图信息，未能充分考虑不同模态信息(颜色、纹理)之间信息的互补融合，如果输入的saliency map中包含错误，后续计算的结果中不可避免的产生错误。

2.没有考虑到saliency map中value的空间分布信息，空间分布信息往往是最有用的一种特征。

3.没有设计专属特征，仅依赖于其他saliency detection方法中的output。

根据本发明的技术方案，为了准确判断图像中是否存在显著目标，根据本发明实施例的上述方法可以进一步包括：确定图像中各种颜色的分布情况；根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标，在确定了图像中存在显著目标的情况下，就可以进一步确定显著目标的位置，还可以进一步提取显著目标。

例如，本发明的技术方案能够基于上述第一显著性和第二显著性进一步确定显著目标是否存在。具体而言，首先，确定图像中各种颜色的分布情况，并对图像进行划分，得到多个图像块；之后，对于每个图像块，根据该图像块中的颜色分布、该图像块中像素的第一显著性、以及第二显著性，确定图像中是否包含显著目标；最后，可以确定图像中显著目标的位置。

这样，如果目标图像中包含显著目标，例如，参照图2a所示的图像，则可以将其中的显著目标提取。如图目标图像中不包含显著目标，例如，参照图2b所示的图像，此时则不会提取图像中的内容。

如图3所示，根据本发明实施例的图像处理方法可以首先对原图像进行显著区域划分，得到显著区域图；之后，进行显著目标检测，在判断存在显著目标的情况下，提取显著目标，得到显著目标图；如果判断图像中不能存在显著目标，则处理结束。

在实际应用中，根据本发明一个实施例的图像处理方法包括以下步骤：

步骤1.1，对一帧图像的显著区域和背景区域用不同的方式显示，以增强显著区域和背景区域的差异度

步骤1.2，对显著区域进行进一步判断，判断其是否为具有实际意义的显著目标，并进行分割。

其中，可以使用算法分割出显著区域和背景区域，该算法包括以下步骤：

步骤2.1，计算back diff，其中，back diff是指像素的颜色与图像背景区域中的颜色的相似性。具体地，计算图像中像素颜色的显著性，将图像进行颜色量子化，对于量子化的结果，选择默认的前景区域和背景区域，计算前景区域与背景区域颜色的相似度，得到颜色显著图(即，参照颜色确定像素的第二显著性，多个像素的第二显著性构成颜色显著图)。其中，如果像素与图像背景区域中所含有的颜色越不相似，其属于saliency的概率就越高。

步骤2.2，计算short path，其中，short path是指像素到图像的边界处颜色(强度)的变化情况。具体地，计算图像中像素强度的显著性，选定图像的边界作为背景区域，寻找图像中每个像素到边界处强度变化最小的路径上所包含的所有像素，计算上述像素上的强度变化，得到强度显著图(即，参照强度确定像素的第一显著性，多个像素的第一显著性构成强度显著图)。其中，如果像素到图像的边界区域颜色(强度)变化越大的像素，其属于saliency的概率就越高。

步骤2.3，对于图像中的每一个像素，在步骤2.1和2.2得到的两张显著图中的相应的位置上，找到对应的特征值，利用机器学习的方法对特征值进行分类，获得最终的分类结果，显著区域或是背景区域。例如，可以针对步骤2.1和步骤2.2得到的结果分别计算其属于显著区域/背景区域的概率，之后可以借助于分类器(例如，贝叶斯分类器(Bayesianclassifier)对两种特征值进行融合并分类)，确定该像素是否属于显著区域。

在一个实施例中，假设一个像素属于背景区域的概率为p(back|x)，属于显著区域的概率为p(saliency|x)，则可以在以下条件满足时，确定该像素属于显著区域：

其中，Th_s为预设的阈值(可以是ROC曲线中的阈值)。

在检测出显著区域后，反馈给照相装置的自动控制系统，用于提高自动对焦精度，改善自动白平衡，自动曝光等。

此外，该方法还可以进一步判断图像中是否存在有实际意义的显著目标，可以执行以下步骤：

步骤3.1，计算图像颜色分布显著性图，将图像进行颜色量子化(例如，可以进行16色的颜色量子化)，对于量子化结果，统计每一种颜色的空间分布情况，并利用机器学习的方法预测每一种颜色的分布形式同显著颜色分布的相似性，以相似性的值作为像素的值，获得图像颜色分布显著性图。其中，在计算图像颜色分布显著性图时，可以将图像进行颜色量子化，对于量子化结果，统计每一种颜色的空间分布，利用k均值聚类算法，将分布映射为视觉词包，借助AdaBoost分类器预测每一种颜色的分布形式同显著颜色分布的相似性，以相似性的值作为像素的值，获得图像颜色分布显著性图。

基于步骤2.1、2.2、3.1所得到的三个显著图，对于其中的每一个显著图进行如下操作，将显著图分为N块(例如，可以分为8*8个块)，以图像块中的均值作为特征值构成N维特征。对于所有显著图提取3*N维特征，利用机器学习的方法，判断图像中是否存在具有实际意义的显著目标。

如果存在具有实际意义的显著目标，根据步骤2.1、2.2与3.1得到的结果，利用机器学习的方法进行分类，获得最终的分类结果，显著目标或是背景。

具体地，根据步骤2.2和步骤2.2的结果(颜色显著图和强度显著图)，结合步骤3.1的结果(图像颜色分布显著性图)，可以计算像素是否属于显著目标的概率

可选地，在判断出图像是否有具有实际意义的显著目标后，可以将结果反馈给图像处理程序或用户，对图像的构图进行进一步评价，指导用户进行智能构图或者评价用户照片质量；或者分割主体目标进行图像增强，更换背景等操作。

在本发明的上述处理中，在确定像素的第一显著性时(对应于步骤S2.2)，对于一个像素，可以向该像素的八个方向寻找路径，选择与其颜色(或其他参数)变化最小的下一个像素作为其路径，并且朝向图像的边界方向逐个进行这样的计算，直到抵达图像的边界，并计算这个路径上所有的点的颜色变化的值作为这个像素的short path值，到达图像边界颜色变化越大，其值越高。

但是，如果在实际应用中按照该方式进行计算，将需要极大的计算量。本发明提出，通过更少的计算来确定像素的最短路径。

参照图4，示出了包含9个像素的图像。对于其中的像素0，可以参照图5a所示的方向进行第一次扫描，并且参照图5b所示的方向进行第二次扫描。

在进行第一次扫描时，可以利用左上四个点计算S₀：

S₀＝min(S_(0,1),S_(0,2),S_(0,3),S_(0,4))；

在进行第二次扫描时，可以利用右下四个点计算S₀：

S₀＝min(S₀,S_(0,5),S_(0,6),S_(0,7),S_(0,8))；

其中，像素0的RGB值为(r₀，g₀，b₀)，S₀为short path值。

并且：

S_(0,1)＝Dist(0,1)+S₁+1

S_(0,2)＝Dist(0,2)+S₂+1

S_(0,3)＝Dist(0,3)+S₃+1

S_(0,4)＝Dist(0,4)+S₄+1

S_(0,5)＝Dist(0,5)+S₅+1

S_(0,6)＝Dist(0,6)+S₆+1

S_(0,7)＝Dist(0,7)+S₇+1

S_(0,8)＝Dist(0,8)+S₈+1

其中，像素i同像素j的颜色差异的确定方法如下：

Dist(i,j)＝(r_i-r_j)²+(b_i-b_j)²+(g_i-g_j)²

S₁、S₂、S₃、S₄、S₅、S₆、S₇、S₈分别为像素1、2、3、4、5、6、7、8的short path值。

应当注意的是，除了以上描述的第一次扫描和第二次扫描之外，更多次不同方向的扫描能够进一步优化每个像素的short path，但是，两次扫描已经能够在一定程度上保证路径的准确性。

根据本发明的实施例，还提供了一种图像处理装置。

如图6所示，根据本发明的图像处理装置包括：

第一确定模块61，用于根据待处理的图像中像素的参数，确定像素的显著性；

第二确定模块62，用于根据确定的显著性确定相应的像素属于显著区域或背景区域；

第三确定模块63，用于根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

其中，在确定图像中像素的显著性时，第二确定模块62用于对每个需要确定显著性的像素，确定该像素到达图像边界处的参数变化最小路径，并确定该像素的参数相对于该路径上位于图像边界处像素的参数的变化情况，将该确定的参数变化情况作为该像素的第一显著性；和/或

第二确定模块62用于对每个需要确定显著性的像素，确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的第二显著性。

可选地，参考背景区域包括图像的至少部分边缘区域。

此外，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，第二确定模块62用于对图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。

可选地，上述多次扫描包括第一扫描和第二扫描，并且，第一扫描和第二扫描的扫描顺序相反。

此外，在确定该像素的参数与图像中预先确定的参考背景区域中像素的参数之间的相似程度时，第二确定模块62用于对图像中所有像素的颜色进行划分，得到多个颜色区间；以及用于根据参考背景区域中像素的颜色区间分布、以及图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

可选地，第二确定模块62用于根据以下方法中的至少之一对所有像素进行划分，得到多个颜色区间：中位切分算法、流行色算法、八叉树颜色量化算法。

此外，该装置可以进一步包括：

第四确定模块(未示出)，用于确定图像中各种颜色的分布情况；

第五确定模块(未示出)，用于根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

第四确定模块和第五确定模块可以基于之前描述的第一和第二显著性确定图像中的显著目标，此时，第四确定模块用于确定图像中各种颜色的分布情况，并对图像进行划分，得到多个图像块；第五确定模块用于对每个图像块，根据该图像块中的颜色分布、该图像块中像素的第一显著性、以及第二显著性，确定图像中是否包含显著目标，以及确定图像中显著目标的位置。

根据本发明的实施例，还提供了一种图像处理方法。

如图7所示，根据本实施例的图像处理方法包括：

步骤S701，根据待处理的图像中像素的参数，确定像素的显著性；

步骤S703，根据确定的显著性确定相应的像素属于显著区域或背景区域；

步骤S705，根据图像中像素所属的区域确定图像中的显著区域和/或背景区域；

步骤S707，确定图像中各种颜色的分布情况，并根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

根据本发明的实施例，还提供了一种图像处理装置。

根据本实施例的图像处理装置包括：

第四确定模块，用于确定图像中各种颜色的分布情况；

综上所述，借助于本发明的上述技术方案，通过确定图像中像素的参数来确定像素的显著性，进而确定图像的显著区域和背景区域，能够避免采用复杂的计算，同时可以借助参数的灵活选择来避免特征之间的冗余，提高了检测的效率和准确性，而且能够适用于实际拍摄的复杂图像。

本发明的技术方案可以应用于多种场景，例如，可以用于相机，改善对焦系统，例如，可应用于自动对焦(AF)、自动白平衡(AWB)、自动曝光(AE)等方面。

以AF为例，本发明的技术方案在实现自动对焦时，能够自动检测图像中最为显著的区域，并进行结果标注，驱动相机的对焦系统，对这些显著的区域进行优先对焦，从而实现自动对焦。本发明的精确度远高于传统算法，同时能提高相机自动对焦的性能。本发明的技术方案在实现半自动动对焦时，如果用户使用相机拍摄，选择一些感兴趣的区域、点或者目标，则根据用户的意图，结合算法，寻找用户意图区域中或附近的显著区域进行对焦。

此外，本发明的技术方案还能够实现图像智能构图。例如，对于用户所拍摄的照片，要挑选失败的照片是一件比较麻烦的事情。使用本发明，可以自动的挑选出失败照片(如构图有问题的照片)，或者和其它技术(比如Blur detection)相结合，判断用户想拍摄的主目标是否清楚，如果主目标模糊则判断失败。另外，在智能构图时，本发明的方案可以分析场景中的显著目标的位置，指导用户将显著的目标设置到系统自动推荐的构图点上，进行重新构图，以得到质量更好的照片。

此外，本发明的技术方案还能够用于图像后处理。例如，可以用于检测显著目标，并自动分割。对于显著目标进行各种图像增强或者处理。或者可以更换图像的背景。

应当注意的是，本发明的方案并不局限于以上场景，根据实际需要，可以应用到其他没有列举的场景中。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

根据本发明的实施例，提供了一种存储介质(该存储介质可以是ROM、RAM、硬盘、可拆卸存储器等)，该存储介质中嵌入有用于进行图像处理的计算机程序，该计算机程序具有被配置用于执行以下步骤的代码段：根据待处理的图像中像素的参数，确定像素的显著性；根据确定的显著性确定相应的像素属于显著区域或背景区域；根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

根据本发明的实施例，还提供了一种计算机程序，该计算机程序具有被配置用于执行以下图像处理步骤的代码段：根据待处理的图像中像素的参数，确定像素的显著性；根据确定的显著性确定相应的像素属于显著区域或背景区域；根据图像中像素所属的区域确定图像中的显著区域和/或背景区域。

根据本发明的实施例，提供了一种存储介质(该存储介质可以是ROM、RAM、硬盘、可拆卸存储器等)，该存储介质中嵌入有用于进行图像处理的计算机程序，该计算机程序具有被配置用于执行以下步骤的代码段：根据待处理的图像中像素的参数，确定像素的显著性；根据确定的显著性确定相应的像素属于显著区域或背景区域；根据图像中像素所属的区域确定图像中的显著区域和/或背景区域；确定图像中各种颜色的分布情况，并根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

根据本发明的实施例，还提供了一种计算机程序，该计算机程序具有被配置用于执行以下图像处理步骤的代码段：根据待处理的图像中像素的参数，确定像素的显著性；根据确定的显著性确定相应的像素属于显著区域或背景区域；根据图像中像素所属的区域确定图像中的显著区域和/或背景区域；确定图像中各种颜色的分布情况，并根据图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定图像中是否包含显著目标。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图8所示的通用计算机800安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图8中，中央处理模块(CPU)801根据只读存储器(ROM)802中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执行各种处理。在RAM803中，也根据需要存储当CPU801执行各种处理等等时所需的数据。CPU801、ROM802和RAM803经由总线804彼此连接。输入/输出接口805也连接到总线804。

下述部件连接到输入/输出接口805：输入部分806，包括键盘、鼠标等等；输出部分807，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分808，包括硬盘等等；和通信部分809，包括网络接口卡比如LAN卡、调制解调器等等。通信部分809经由网络比如因特网执行通信处理。

根据需要，驱动器810也连接到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与装置相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的装置一起被分发给用户。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

虽然已经详细说明了本发明及其优点，但是应当理解在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

Claims

1.一种图像处理方法，其特征在于，包括：

根据待处理的图像中像素的参数，确定像素的显著性，得到由第一显著性构成的第一显著图和由第二显著性构成的第二显著图；

根据所述图像中像素所属的区域确定所述图像中的显著区域和/或背景区域；

在确定所述图像中的显著区域和/或背景区域后，计算所述图像的颜色分布与显著颜色分布的相似程度以获得图像颜色分布显著性图；以及

根据所述第一显著图和/或所述第二显著图以及所述图像颜色分布显著性图确定图像中是否包含显著目标；

其中，确定所述图像中像素的显著性包括：

对于每个需要确定显著性的像素，确定该像素到达图像边界处的参数变化最小路径，并确定该像素的参数相对于该路径上位于图像边界处像素的参数的变化情况，将该确定的参数变化情况作为该像素的所述第一显著性，其中，所述图像边界是限定所述图像的边界线。

2.根据权利要求1所述的图像处理方法，其特征在于，确定所述图像中像素的显著性还包括：

对于每个需要确定显著性的像素，确定该像素的参数与所述图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的所述第二显著性。

3.根据权利要求2所述的图像处理方法，其特征在于，所述参考背景区域包括所述图像的至少部分边缘区域。

4.根据权利要求1所述的图像处理方法，其特征在于，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，对所述图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。

5.根据权利要求4所述的图像处理方法，其特征在于，所述多次扫描包括第一扫描和第二扫描，并且，所述第一扫描和第二扫描的扫描顺序相反。

6.根据权利要求2所述的图像处理方法，其特征在于，确定该像素的参数与所述图像中预先确定的参考背景区域中像素的参数之间的相似程度包括：

对所述图像中所有像素的颜色进行划分，得到多个颜色区间；

根据所述参考背景区域中像素的颜色区间分布、以及所述图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

7.根据权利要求6所述的图像处理方法，其特征在于，对所有像素进行划分，得到多个颜色区间的方法包括以下至少之一：中位切分算法、流行色算法、八叉树颜色量化算法。

8.根据权利要求1所述的图像处理方法，其特征在于，进一步包括：

确定所述图像中各种颜色的分布情况；

根据所述图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定所述图像中是否包含显著目标。

9.根据权利要求2所述的图像处理方法，其特征在于，进一步包括：

确定所述图像中各种颜色的分布情况，并对所述图像进行划分，得到多个图像块；

确定所述图像中显著目标的位置。

10.一种图像处理装置，其特征在于，包括：

第一确定模块，用于根据待处理的图像中像素的参数，确定像素的显著性，得到由第一显著性构成的第一显著图和由第二显著性构成的第二显著图；

第三确定模块，用于根据所述图像中像素所属的区域确定所述图像中的显著区域和/或背景区域；

其中，在确定所述图像中像素的显著性时，所述第二确定模块用于对每个需要确定显著性的像素，确定该像素到达图像边界处的参数变化最小路径，并确定该像素的参数相对于该路径上位于图像边界处像素的参数的变化情况，将该确定的参数变化情况作为该像素的所述第一显著性，其中，所述图像边界是限定所述图像的边界线。

11.根据权利要求10所述的图像处理装置，其特征在于，在确定所述图像中像素的显著性时，所述第二确定模块用于对每个需要确定显著性的像素，确定该像素的参数与所述图像中预先确定的参考背景区域中像素的参数之间的相似程度，将该相似程度作为该像素的所述第二显著性。

12.根据权利要求11所述的图像处理装置，其特征在于，所述参考背景区域包括所述图像的至少部分边缘区域。

13.根据权利要求11所述的图像处理装置，其特征在于，在确定每个需要确定显著性的像素到达图像边界处的参数变化最小路径时，所述第二确定模块用于对所述图像进行多次扫描，确定每个像素的参数变化最小路径值，每次扫描时采用的扫描顺序不同。

14.根据权利要求13所述的图像处理装置，其特征在于，所述多次扫描包括第一扫描和第二扫描，并且，所述第一扫描和第二扫描的扫描顺序相反。

15.根据权利要求11所述的图像处理装置，其特征在于，在确定该像素的参数与所述图像中预先确定的参考背景区域中像素的参数之间的相似程度时，所述第二确定模块用于对所述图像中所有像素的颜色进行划分，得到多个颜色区间；以及用于根据所述参考背景区域中像素的颜色区间分布、以及所述图像中需要确定显著性的像素的所在的颜色区间，确定每个需要确定显著性的像素与参考背景区域的像素之间的相似程度。

16.根据权利要求15所述的图像处理装置，其特征在于，所述第二确定模块用于根据以下方法中的至少之一对所有像素进行划分，得到多个颜色区间：中位切分算法、流行色算法、八叉树颜色量化算法。

17.根据权利要求10所述的图像处理装置，其特征在于，进一步包括：

第四确定模块，用于确定所述图像中各种颜色的分布情况；

第五确定模块，用于根据所述图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定所述图像中是否包含显著目标。

18.根据权利要求11所述的图像处理装置，其特征在于，进一步包括：

第四确定模块，用于确定所述图像中各种颜色的分布情况，并对所述图像进行划分，得到多个图像块；

第五确定模块，用于对每个图像块，根据该图像块中的颜色分布、该图像块中像素的第一显著性、以及第二显著性，确定图像中是否包含显著目标，以及确定所述图像中显著目标的位置。

19.一种图像处理方法，其特征在于，包括：

根据待处理的图像中像素的参数，确定像素的显著性，得到由第一显著性构成的第一显著图和由第二显著性构成的第二显著图；根据确定的显著性确定相应的像素属于显著区域或背景区域；

根据所述图像中像素所属的区域确定所述图像中的显著区域和/或背景区域；确定所述图像中各种颜色的分布情况，并根据所述图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定所述图像中是否包含显著目标；

其中，确定所述图像中像素的显著性包括：

20.一种图像处理装置，其特征在于，包括：

第四确定模块，用于确定所述图像中各种颜色的分布情况；

第五确定模块，用于根据所述图像中每个像素的颜色、每种颜色的分布情况以及像素的显著性，确定所述图像中是否包含显著目标；