CN102779338B - 图像处理方法和图像处理装置 - Google Patents

Abstract

本发明公开了一种图像处理方法和图像处理装置，基于区域对比度检测图像视觉显著性。该方法包括：分割步骤，采用自动分割算法把输入图像分割为多个区域；以及计算步骤，利用所述多个区域中的一个区域和其它区域颜色差异的加权和计算该区域的显著性值。本发明能够自动地分析图像中的视觉显著性区域，分析结果可以应用于重要目标分割、物体识别、自适应图像压缩、内容敏感的图像缩放、和图像检索等应用领域。

Description

图像处理方法和图像处理装置

技术领域

本发明属于图像处理技术领域，涉及一种检测图像视觉显著性的图像处理方法和图像处理装置，更具体地，涉及一种基于区域对比度检测图像视觉显著性的图像处理方法和图像处理装置。

背景技术

视觉注意是帮助人类视觉系统准确有效地识别场景的一种重要机制。通过计算方法获取图像中的显著性区域是计算机视觉领域一个重要的研究课题。它可以帮助图像处理系统在后续处理步骤中合理地分配计算资源。显著性图(Saliency map)被广泛地应用于许多计算机视觉应用当中，如感兴趣物体分割(参照中国专利200910046276，200910081069)、物体识别、自适应图像压缩、内容敏感的图像缩放(参照中国专利200910092756)、图像检索(参照中国专利200910081069)等。

图像视觉显著性检测一直以来是一个备受研究者关注的课题。关于视觉注意的理论研究将视觉注意分为两类：快速、任务无关、数据驱动的显著性检测；和较慢、任务相关、目标驱动的显著性检测。本中国专利所涉及的方法属于前一类。生理学研究表明，人类视觉细胞优先响应感知场内具有较高对比度的刺激。现有数据驱动的视觉显著性检测研究大多通过计算各种形式的图像内容和场景的对比度来计算视觉显著性。为了方便介绍，我们进一步将该类研究细分为两个子类：基于局部对比度的方法、基于全局对比度的方法。

基于局部对比度的方法通过图像区域在其相对较小邻域的罕见度来计算显著性。Itti等人于1998年提出了“Amodel of saliency-based visual attention for rapidscene analysis”(IEEE TPAMI，20(11)：1254-1259，1998)。该方法通过多尺度图像特征间的中心与邻域差异来定义图像显著性。Ma和Zhang于2003年提出了“Contrast-based imageattention analysis by using fuzzy growing”(In ACM Multimedia，pages 374-381，2003)。该方法通过局部对比度分析来得到显著性图。Liu等人于2007年提出了“Learningto detect a salient object”(IEEE TPAMI，33(2)：353-367，2011)。该方法通过学习方式找到颜色空间分布、多尺度对比度，中心邻域直方图差异等显著性检测方法结果的最优组合权值。Goferman等人在其2010年的工作“Context-aware saliency detection”(InCVPR，2010)中对底层线索、全局考虑、组织规则和高层特征进行建模。这些局部方法的结果通常在物体边缘附近产生更高的显著性值，而不是均匀地突出整个视觉显著性物体。

基于全局对比度的方法通过度量图像区域和整幅图像的差异来评价其显著性。Zhai和Shah于2006年提出了“Visual attention detection in video sequences usingspatiotemporal cues”(In ACM Multimedia，pages 815-824，2006)。该方法通过一个像素和其它所有图像像素的亮度差异来计算该像素的显著性值。基于效率方面的考虑，该方法仅利用图像的亮度信息，忽略了其它颜色通道中的区分性。Achanta等人于2009年提出了“Frequency-tuned salient region detection”(In CVPR，pages 1597-1604，2009)。该方法通过计算每个像素和平均色之间的差异来获取显著性值。然而，这种简单的方法不足以有效分析复杂多变的自然图像。

该领域目前国内相关中国专利有：基于学习的视频中显著物体序列自动检测方法(中国专利号200810150324)。该方法处理一幅图片通常需要若干秒的时间，难以满足很多实时处理的应用需求。

发明内容

(一)要解决的技术问题

本发明鉴于本领域现有技术的不足而完成，其要解决的技术问题是：如何快速而有效地分析图像像素的显著性值，使得图像中重要物体区域可以被均匀地凸显出来。

(二)技术方案

为了解决上述技术问题，本发明提出了一种基于区域对比度检测(计算)图像视觉显著性的图像处理方法和图像处理装置。所得显著性图可以用于一系列的计算机视觉应用。

本发明提供的技术方案1的图像处理方法，基于区域对比度检测图像视觉显著性，其特征在于，包括：

分割步骤，采用自动分割算法把输入图像分割为多个区域；以及

计算步骤，利用所述多个区域中的一个区域和其它区域颜色差异的加权和计算该区域的显著性值。

技术方案2.在技术方案1的图像处理方法中，在所述计算步骤中，所述多个区域中的区域r_k的显著性S(r_k)可以由以下公式定义：

其中，D_s(r_k，r_i)和D_c(r_k，r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。

技术方案3.在技术方案2的图像处理方法中，在将图像像素的空间坐标规范化至0到1之间时，所述为0.1以上1.0以下。

技术方案4.在技术方案2所述的图像处理方法中，将所述区域r_i包含的像素点数目作为所述区域r_i的权值w(r_i)。

技术方案5.在技术方案2所述的图像处理方法中，所述区域r_k和区域r_i的颜色差异D_c(r_k，r_i)可以由以下公式定义：

其中，f(c_k，i)为区域r_k包含的n_k种颜色的第i个c_k的出现频率，D(c_1，i，c_2，j)为两个颜色c_1，i，c_2，j在色彩空间中的欧氏距离，k＝{1，2}。

技术方案6.在技术方案5所述的图像处理方法中，在每个色彩通道以8级以上128级以下彩色进行近似。

技术方案7.在技术方案1至6任一项所述的图像处理方法中，还可以包括以下步骤的至少一个步骤：

输出步骤，输出所计算的显著性值；

显示步骤，显示所计算的显著性值；以及

存储步骤，存储所计算的显著性值。

技术方案8.一种图像处理装置，基于区域对比度检测图像视觉显著性，其特征在于，包括：

分割单元，采用自动分割算法把输入图像分割为多个区域；以及

计算单元，利用所述多个区域中的一个区域和其它区域颜色差异的加权和计算该区域的显著性值。

技术方案9.在技术方案8的图像处理装置中，所述多个区域中的区域rk的显著性S(r_k)可以由以下公式定义：

其中，D_s(r_k，r_i)和D_c(r_k，r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。技术方案10.在技术方案9的图像处理装置中，在将图像像素的空间坐标规范化至0到1之间时，所述为0.1以上1.0以下。

技术方案11.在技术方案9的图像处理装置中，将所述区域ri包含的像素点数目作为所述区域r_i的权值w(r_i)。

技术方案12.在技术方案9的图像处理装置中，所述区域r_k和区域r_i的颜色差异D_c(r_k，r_i)可以由以下公式定义：

其中，f(c_k，i)为区域r_k包含的n_k种颜色的第i个c_k的出现频率，D(c_1，i，c_2，j)为两个颜色c_1，i，c_2，j在色彩空间中的欧氏距离，k＝{1，2}。

技术方案13.在技术方案12的图像处理装置中，在每个色彩通道以8级以上128级以下彩色进行近似。

技术方案14.在技术方案8至13任一项所述的图像处理装置中，还可以包括以下单元的至少一个单元：

输出单元，输出所计算的显著性值；

显示单元，显示所计算的显著性值；以及

存储单元，存储所计算的显著性值。

(三)有益效果

根据本发明的上述技术方案，本发明的基于区域对比度检测(计算)图像视觉显著性的图像处理方法和图像处理装置利用自动分割算法所分割的每一个区域与其余区域颜色差异的加权和来计算其显著性值，可快速有效地分析图像像素的显著性值，使得图像中重要物体区域可以被均匀地凸显出来。通过本方法进行试验，在国际上现有最大的图像视觉显著性测试集上可取得明显优于传统方法的结果。通过本发明，既可有效分析复杂多变的自然图像，也能满足很多实时处理的应用需求。本发明能够自动地分析图像中的视觉显著性区域，分析结果可以应用于重要目标分割、物体识别、自适应图像压缩、内容敏感的图像缩放、和图像检索等应用领域。

附图说明

图1是说明本发明一实施方式的图像处理方法的流程图。

图2是说明本发明另一实施方式的图像处理方法的流程图。

图3是说明本发明一实施方式的图像处理装置的方框图。

图4是说明本发明另一实施方式的图像处理装置的方框图。

图5是表示本发明的对输入图像进行处理的一例的图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明公开了一种通过计算图像区域与其余区域颜色差异加权和来计算该区域显著性值的图像处理方法和图像处理装置。通过该方法和装置检测出的图像像素显著性值可以为一系列的图像处理应用提供支持，这些应用包括：重要目标分割、内容敏感图像缩放、图像检索等。

图1是说明本发明一实施方式的图像处理方法的流程图。

如图1所示，在分割步骤S1，对于用户等输入的任意的一幅图像(例如图5(a)所示的输入图像)，通过任意一种图像自动分割算法将该输入图像分割为多个区域块。所述输入图像可以从装置外部通过有线或无线方式输入，也可以将拍摄装置拍摄的图像实时地或延迟地输入，也可以从装置内置的或外接的存储单元读取图像作为输入图像。用于自动分割输入图像的自动分割算法，例如采用Felzenszwalb和Huttenlocher于2004年提出的“Efficient graph-based image segmentation”(IJCV，59(2)：167-181)方法。当然也可以采用其他的现有的图像自动分割算法。

在计算步骤S2，对于在分割步骤S1中通过自动分割算法而分割为多个区域的输入图像(例如图5(b)所示)，对于所分割的每个区域，通过计算一个区域和其它区域颜色差异的加权和来计算出(检测出)该区域的显著性值。若对所有区域分别计算则可获得如图5(c)所示的图像显著性。

通过上述图像处理方法，可快速而有效地分析图像像素的显著性值。既可有效分析复杂多变的自然图像，也能满足很多实时处理的应用需求。

另外，在该图像处理方法中，所分割的多个区域(1，2，...k...m)中的区域r_k的显著性S(r_k)可以由以下公式定义：

其中，D_s(r_k，r_i)和D_c(r_k，r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k、m为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。另外，在该图像处理方法中，距离因素影响控制参数越大，距离因素的影响越减小，反之，越小，距离因素的影响越增大。在将图像像素的空间坐标规范化(线性缩放)至0到1之间时，所述距离因素影响控制参数可取0.01以上10以下的值。优选距离因素影响控制参数为0.1以上1.0以下。在时，即可获得较好的图像显著性检测(计算)效果。

另外，在该图像处理方法中，可以将所述区域r_i包含的像素点数目作为所述区域r_i的权值w(r_i)。

另外，在该图像处理方法中，所述区域r_k和区域r_i的颜色差异D_c(r_k，r_i)可以由以下公式定义：

其中，f(c_k，i)为区域r_k包含的n_k种颜色的第i个c_k的出现频率，D(c_1，i，c_2，j)为两个颜色c_1，i，c_2，j在色彩空间中的欧氏距离(Euclidean distance)，k＝{1，2}。

另外，在该图像处理方法中，在每个色彩通道可以采用2级以上256级以下彩色进行计算。采用的彩色的级越低，计算量越小，精度也越差，反之，采用的彩色的级越高，计算量越大，精度也越高。为了加速计算，每个色彩通道不必采用256级全彩色，例如优选在每个色彩通道以8级以上128级以下彩色进行近似。根据本发明的显著性检测方法，在每个色彩通道通过12级近似就能取得很好的效果。因此，在保证所检测的图像显著性的精度的同时可使计算量大幅降低。

图2是说明本发明另一实施方式的图像处理方法的流程图。

如图2所示，在所述图像处理方法中，除分割步骤S1和计算步骤S2外，还可以包括步骤S3～S5中的至少一个步骤：输出步骤S3，输出所计算的显著性值；显示步骤S4，显示所计算的显著性值；以及存储步骤S5，存储所计算的显著性值。即，可以任意组合输出步骤、显示步骤、存储步骤，从而对获得的显著性检测结果进行所期望的应用。对输出步骤、显示步骤、存储步骤的先后顺序没有限制。

图3是说明本发明一实施方式的图像处理装置的方框图。

如图3所示，本实施方式的图像处理装置1，基于区域对比度检测图像视觉显著性，包括：分割单元10，采用自动分割算法把输入图像分割为多个区域；以及计算单元20，利用所述多个区域中的一个区域和其它所有区域颜色差异的加权和计算该区域的显著性值。

对于用户等输入的任意的一幅图像(例如图5(a)所示的输入图像)，分割单元10通过任意一种图像自动分割算法将该输入图像分割为多个区域块。所述输入图像可以从装置外部通过有线或无线方式输入，也可以将拍摄装置拍摄的图像实时地或延迟地输入，也可以从装置内置的或外接的存储单元读取图像作为输入图像。用于自动分割输入图像的自动分割算法，例如采用Felzenszwalb和Huttenlocher于2004年提出的“Efficient graph-based image segmentation”(IJCV，59(2)：167-181)方法。当然也可以采用其他的现有的图像自动分割算法。

对于在分割单元10中通过自动分割算法而分割为多个区域的输入图像(例如图5(b)所示)，对于所分割的每个区域，通过计算一个区域和其它区域颜色差异的加权和来计算出(检测出)该区域的显著性值。对所有区域分别计算则可获得如图5(c)所示的图像显著性。

通过上述图像处理装置，可快速而有效地分析图像像素的显著性值。通过本发明，既可有效分析复杂多变的自然图像，也能满足很多实时处理的应用需求。

在该图像处理装置1中，所述多个区域(1，2，...k...m)中的区域r_k的显著性S(r_k)可以由以下公式定义：

其中，D_s(r_k，r_i)和D_c(r_k，r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k、m为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。

另外，在该图像处理装置1中，距离因素影响控制参数越大，距离因素的影响越减小，反之，越小，距离因素的影响越增大。在将图像像素的空间坐标规范化(线性缩放)至0到1之间时，所述距离因素影响控制参数可取0.01以上10以下的值。优选距离因素影响控制参数为0.1以上1.0以下。在时，即可获得较好的图像显著性检测(计算)效果。

另外，在该图像处理装置1中，可以将所述区域r_i包含的像素点数目作为所述区域r_i的权值w(r_i)。

另外，在该图像处理装置1中，所述区域r_k和区域r_i的颜色差异D_c(r_k，r_i)可以由以下公式定义：

其中，f(c_k，i)为区域r_k包含的n_k种颜色的第i个c_k的出现频率，D(c_1，i，c_2，j)为两个颜色c_1，i，c_2，j在色彩空间中的欧氏距离(Euclidean distance)，k＝{1，2}。

另外，在该图像处理装置1中，在每个色彩通道可以采用2级以上256级以下彩色进行计算。采用的彩色的级越低，计算量越小，精度也越差，反之，采用的彩色的级越高，计算量越大，精度也越高。为了加速计算，每个色彩通道不必采用256级全彩色，例如优选在每个色彩通道以8级以上128级以下彩色进行近似。根据本发明的显著性检测方法，在每个色彩通道通过12级近似就能取得很好的效果。因此，在保证所检测的图像显著性的精度的同时可使计算量大幅降低。既可有效分析复杂多变的自然图像，也能满足很多实时处理的应用需求。

图4是说明本发明另一实施方式的图像处理装置的方框图。

如图4所示，在图像处理装置1中，除分割单元10和计算单元20外，还可以包括以下单元的至少一个单元：输出单元30，输出所计算的显著性值；显示单元40，显示所计算的显著性值；以及存储单元50，存储所计算的显著性值。即，可以任意组合输出单元30、显示单元40、存储单元50，从而对获得的显著性检测结果进行所期望的应用。通过本发明，在保证所检测的图像显著性的精度的同时可使计算量大幅降低。既可有效分析复杂多变的自然图像，也能满足很多实时处理的应用需求。

以上，参照特定的实施例说明了本发明，但这些只不过是例示，本领域的技术人员应该理解各种变形例、修正例、代替例、置换例。为了促进对发明的理解而使用具体的数值例进行了说明，但只要没有特别的事先说明，这些数值只不过是一例，可以使用适当的任何值。对于本发明，实施例或者项目的区分不是实质性的，可以根据需要组合在两个以上的实施例或者项目中记载的事项而使用。为了便于说明，使用功能性的方框图说明了本发明的实施例的装置，但这样的装置可以通过硬件、软件或者其组合来实现。本发明不限定于上述实施例，各种变形例、修正例、代替例、置换例包含在本发明中，而不会脱离本发明的精神。

Claims (12)

1.一种图像处理方法，基于区域对比度检测图像视觉显著性，其特征在于，包括：

分割步骤，采用自动分割算法把输入图像分割为多个区域；以及

计算步骤，利用所述多个区域中的一个区域和其它区域颜色差异的加权和计算该区域的显著性值，

在所述计算步骤中，所述多个区域中的区域r_k的显著性S(r_k)由以下公式定义:

$S\left(r_k\right)={\mathrm{\Σ}}_{r_k\≠r_i}\exp (-\frac{D_s(r_k,r_i)}{{\mathrm{\σ}}_s^2})w\left(r_i\right)D_c(r_k,r_i)$

其中，D_s(r_k,r_i)和D_c(r_k,r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。

2.如权利要求1所述的图像处理方法，其特征在于，在将图像像素的空间坐标规范化至0到1之间时，所述为0.1以上1.0以下。

3.如权利要求1所述的图像处理方法，其特征在于，将所述区域r_i包含的像素点数目作为所述区域r_i的权值w(r_i)。

4.如权利要求1所述的图像处理方法，其特征在于，所述区域r_k和区域r_i的颜色差异D_c(r_k,r_i)由以下公式定义:

$D_c(r_k,r_i)=\underset{m=1}{\overset{n_1}{\Σ}}\underset{j=1}{\overset{n_2}{\Σ}}f\left(c_{1,m}\right)f\left(c_{2,j}\right)D(c_{1,m},c_{2,j})$

其中，n₁、n₂分别为区域r_k和区域r_i的颜色的种类数，f(c_1,m)和f(c_2,j)分别为区域r_k的第m个颜色c_1,m和区域r_i的第j个颜色c_2,j的出现频率，D(c_1,m,c_2,j)为两个颜色c_1,m，c_2,j在色彩空间中的欧氏距离。

5.如权利要求4所述的图像处理方法，其特征在于，在每个色彩通道以8级以上128级以下彩色进行近似。

6.如权利要求1至5任一项所述的图像处理方法，其特征在于，还包括以下步骤的至少一个步骤：

输出步骤，输出所计算的显著性值；

显示步骤，显示所计算的显著性值；以及

存储步骤，存储所计算的显著性值。

7.一种图像处理装置，基于区域对比度检测图像视觉显著性，其特征在于，包括：

分割单元，采用自动分割算法把输入图像分割为多个区域；以及

计算单元，利用所述多个区域中的一个区域和其它区域颜色差异的加权和计算该区域的显著性值，

所述多个区域中的区域r_k的显著性S(r_k)由以下公式定义:

$S\left(r_k\right)={\mathrm{\Σ}}_{r_k\≠r_i}\exp (-\frac{D_s(r_k,r_i)}{{\mathrm{\σ}}_s^2})w\left(r_i\right)D_c(r_k,r_i)$

其中，D_s(r_k,r_i)和D_c(r_k,r_i)分别为区域r_k和区域r_i的空间距离和颜色差异，i、k为自然数，w(r_i)为区域r_i的权值，为距离因素影响控制参数。

8.如权利要求7所述的图像处理装置，其特征在于，在将图像像素的空间坐标规范化至0到1之间时，所述为0.1以上1.0以下。

9.如权利要求7所述的图像处理装置，其特征在于，将所述区域r_i包含的像素点数目作为所述区域r_i的权值w(r_i)。

10.如权利要求7所述的图像处理装置，其特征在于，所述区域r_k和区域r_i的颜色差异D_c(r_k,r_i)由以下公式定义:

$D_c(r_k,r_i)=\underset{m=1}{\overset{n_1}{\Σ}}\underset{j=1}{\overset{n_2}{\Σ}}f\left(c_{1,m}\right)f\left(c_{2,j}\right)D(c_{1,m},c_{2,j})$

其中，n₁、n₂分别为区域r_k和区域r_i的颜色的种类数，f(c_1,m)和f(c_2,j)分别为区域r_k的第m个颜色c_1,m和区域r_i的第j个颜色c_2,j的出现频率，D(c_1,m,c_2,j)为两个颜色c_1,m，c_2,j在色彩空间中的欧氏距离。

11.如权利要求10所述的图像处理装置，其特征在于，在每个色彩通道以8级以上128级以下彩色进行近似。

12.如权利要求7至11任一项所述的图像处理装置，其特征在于，还包括以下单元的至少一个单元：

输出单元，输出所计算的显著性值；

显示单元，显示所计算的显著性值；以及

存储单元，存储所计算的显著性值。