CN103514595B - 图像显著区域检测方法 - Google Patents

Abstract

本发明提供一种图像显著区域检测方法，包括：步骤1、边缘检测，得到边缘图像；步骤2、计算像素点视觉显著值和空间权重值；其中，每种颜色的视觉显著值由这种颜色在所述边缘图像里的像素点数目除以这种颜色在原始图像里的像素点数目得到，每个像素点的视觉显著值等于它颜色的视觉显著值；其中，每个像素点的空间权重值由它离核心点的距离决定，离核心点越近，其空间权重值越大，离核心点越远，其空间权重值越小；步骤3、综合视觉显著值和空间权重值得到像素点的最终显著值；和步骤4、基于最终显著值，利用均值飘移算法确定显著区域的像素点。该方法提高显著区域像素的检出数量，避免对背景颜色交界处的误检测。

Description

图像显著区域检测方法

技术领域

本发明涉及计算机图像处理领域，尤其涉及一种图像显著区域检测方法。

背景技术

图像显著区域检测是一个热点问题，广泛应用于图像分割、图像/视频压缩、自适应图像/视频显示、图像检索等领域中，显著区域即图像中最吸引人注意的区域。

目前，业内普遍认识到基于图像特定区域的检索和处理比基于全部图像更加高效。而且，在不同的设备（如手机、平板电脑等）上自适应显示图像和视频也需要决定最重要的、最具代表性的区域。这种特定区域就是显著区域，它被定义为图像中最吸引人注意的区域，代表最重要的图像内容。因此，图像显著区域检测作为人类视觉注意力机制在计算机视觉领域的发展，一直受到广泛的关注。

如何定义显著区域的特性，并根据特性寻找显著区域一直是图像显著区域检测的核心问题。传统的方法将显著区域特性定义为显著区域与其四周邻域有明显视觉差异。这些方法使用视觉底层特征如颜色，亮度，纹理等计算每个像素点与其邻域的对比度，得到每个像素点的显著值，显著值较高的像素点即代表显著区域。然而，传统方法只能找出显著区域轮廓的像素点，对于如何找到显著区域的全部像素点，仍然缺乏有效地解决方法。

更进一步的，面对复杂背景的图像，传统方法容易被背景干扰，将背景中不同颜色交界处的区域判断为显著区域，而且还会将一些虽然跟其邻域视觉区别很大，但尺寸太小以至于无法被人所注意的区域误判为显著区域。

发明内容

本发明的目的是提供一种图像显著区域检测方法，提高显著区域像素的检出数量。

根据本发明一个方面，提供一种图像显著区域检测方法，包括：

步骤1、对待检测图像进行边缘检测，得到边缘图像；

步骤2、计算像素点视觉显著值和空间权重值；其中，每种颜色的视觉显著值由这种颜色在所述边缘图像里的像素点数目除以这种颜色在原始图像里的像素点数目得到，每个像素点的视觉显著值等于它颜色的视觉显著值；其中，每个像素点的空间权重值由它离核心点的距离决定，离核心点越近，其空间权重值越大，离核心点越远，其空间权重值越小；

步骤3、根据视觉显著值和空间权重值得到像素点的最终显著值；和

步骤4、基于最终显著值，利用均值飘移算法确定显著区域的像素点。

可选的，所述图像显著区域检测方法中，步骤1的边缘检测进一步包括：

步骤11、把待检测图像由RGB颜色图像转化为Lab颜色图像，并在Lab颜色图像上用Canny算法检测边缘；

步骤12、把待检测图像转化为灰度图像，并在灰度图像上用Canny算法检测边缘；和

步骤13、对上述两次边缘检测结果进行交集运算，得到边缘检测最终结果。

可选的，所述图像显著区域检测方法中，Canny算法的两个阈值分别设为0.5和0.6。

可选的，所述图像显著区域检测方法中，步骤2中的计算像素点视觉显著值进一步包括：

步骤211、利用边缘点得到边缘图像；

步骤212、将边缘图像和待检测始图像量化到N种颜色；

步骤213、统计每种颜色在边缘图像中的像素点个数和在待检测图像中的像素点个数；和

步骤214、每种颜色的视觉显著值为其在边缘图像中的像素点个数和在待检测图像中的像素点个数的比值，每个像素点的视觉显著值等于它所属颜色的视觉显著值。

可选的，所述图像显著区域检测方法中，步骤212中的N=120；

并且，步骤212中的颜色量化在Lab空间进行，L被量化为10个等级，a、b被量化为22个等级，使得颜色空间共有22*22*10=4840种量化颜色，然后统计多幅图像，只保留这4840种颜色中出现得最频繁的120种颜色，所有颜色都被归类到这120种颜色中与其欧式距离最近的颜色。

可选的，所述图像显著区域检测方法中，步骤2中的计算像素点空间权重值进一步包括：

步骤221、建立一个与待检测图像同宽高的矩阵，将边缘点在矩阵中对应位置的元素置为1，其余元素置为0；

步骤222、然后将这个矩阵进行多次高斯平滑，每次平滑选用不同大小的高斯核；

步骤223、每次平滑后找出矩阵中数值最大的元素，得到一个有序的最大值元素集合，此集合的每个元素与由小到大的平滑高斯核一一对应；

步骤224、在最大值元素集合中找到最长相同元素序列，序列元素a在该序列中第一个位置所对应的平滑高斯核为s，a在图像对应位置上的像素点为A；和

步骤225、根据a和s，计算待检测图像中所有像素点的空间权重值如下：像素点A的坐标为(x_c,y_c)，任一像素点B(x,y)的空间权重值W(x,y)可以由下列公式给出：

$W(x,y)=\frac{1}{2\mathrm{\π}{s}^2}{e}^{(-\frac{{(x-x_c)}^2+{(y-y_c)}^2}{2s^2})}.$

可选的，所述图像显著区域检测方法中，步骤222中的进行多次高斯平滑包括：第一次平滑选用的高斯核大小为图像宽和高中较大的值除以5，以后每次平滑的高斯核大小都是前一次的1.1倍，直到高斯核大小超过图像宽和高中较小的值除以2为止。

可选的，所述图像显著区域检测方法中，步骤3进一步包括：

步骤31、把所有像素的视觉显著值和空间权重值分别归一到单位区间；和

步骤32、所有像素最终显著值等于它视觉显著值和空间权重值相乘，得到最终显著值。

可选的，所述图像显著区域检测方法中，步骤4进一步包括：

使用均值飘移算法找出最终显著值的最佳分水岭T，最终显著值大于T的像素点即为显著区域的像素点，最终显著值小于等于的T的像素点即为非显著区域的像素点。

与现有技术相比，本发明的优点在于：

1）能够检测显著区域的整体而不只是轮廓；

2）能够避免对背景颜色交界处的误检测；

3）能避免把和邻域视觉对比较大但尺寸过小的区域检测为显著区域；

4）利用空间密度信息定位显著检测中心，给予显著区域更大的空间权重。

附图说明

图1是本发明一个实施例中提供的图像显著区域检测方法的流程图；

图2是本发明一个实施例中边缘检测结果示意图；

图3是本发明一个实施例中视觉显著值结果示意图；

图4是本发明一个实施例中空间权重值结果示意图；

图5是本发明一个实施例中图像显著区域检测方法的结果示意图，其中包括：视觉显著值图，空间权重值图，最终显著值图，显著区域图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了克服现有技术中图像显著区域检测的缺点，发明人在研究中提出一种图像显著区域检测方法，首先利用边缘检测寻找出与其邻域视觉差异较大的边缘点；然后对这些边缘点的颜色信息以及原始图像中每个像素点的颜色信息进行统计，依此计算出原始图像中每个像素点的视觉显著值；再分析边缘点的位置分布，根据它们分布的密度，计算出原始图像中每个像素点的空间权重值；最后综合像素点的视觉显著值和空间权重值来判断该像素点是否显著区域的像素点。

根据本发明一个实施例，提供一种图像显著区域检测方法。如图1所示，包括：

步骤S10、对待检测图像进行边缘检测；

步骤S20、计算像素点视觉显著值和空间权重值；

步骤S30、根据视觉显著值和空间权重值得到像素点的最终显著值；

步骤S40、基于最终显著值确定显著区域的像素点。

其中，在步骤S10中，可以使用Canny算法来检测边缘像素点。

在步骤S20中，包括计算像素点视觉显著值（步骤S21），该步骤S21包括：将边缘点组成的边缘图像和原始图像进行颜色量化，然后分别在边缘图像和原始图像中统计出每种量化颜色的像素点数目。每种颜色的视觉显著值由这种颜色在边缘图像里的像素点数目除以这种颜色在原始图像里的像素点数目得到。每个像素点的视觉显著值等于它颜色的视觉显著值。

步骤S20还包括计算像素点空间权重值（步骤S22），步骤S22包括：首先建立一个与原图像同宽高的矩阵，将边缘点在矩阵中对应位置的元素置为1，其余元素置为0。然后将这个矩阵进行多次高斯平滑，每次平滑选用不同大小的高斯核。在多次平滑中会有一个元素总是取得最高的值，这个元素就是一个理想区域的中心，在这个区域里边缘点密度最大，这个元素在原始图像对应位置上的像素点被称为核心点。每个像素点的空间权重值由它离核心点的距离决定，离核心点越近，其空间权重值越大，离核心点越远，其空间权重值越小。

在步骤S30中，将所有像素点的视觉显著值都归一到0到1之间，再将所有像素点的空间权重值同样归一到0到1之间。像素点的最终显著值即由其归一后的视觉显著值与空间权重值相乘得到。

在步骤S40中，基于最终显著值，利用均值飘移算法（mean-shift算法）决定每个像素点是否显著区域像素点。

根据本发明另一个实施例，步骤S10的边缘检测进一步包括：

S11、把原图像由RGB颜色图像转化为Lab颜色图像，并在Lab颜色图像上用Canny算法检测边缘；

S12、把原图像转化为灰度图像，并在灰度图像上用Canny算法检测边缘；

S13、两次边缘检测结果的交集作为最终结果。

图2给出了上述实施例的结果图示，其中，左图是原始图像，右图是边缘图像，是步骤S10的最终结果。

其中，经过实验分析，优选的，Canny算法的两个阈值分别设为0.5和0.6实验效果最好（Canny边缘检测算法由JohnF.Canny于1986年提出，该算法所需要的参数为两个阈值：高阈值T2与低阈值T1，该算法同时使用两个阈值检测边缘）。

根据本发明另一个实施例，步骤S20中的计算像素点视觉显著值进一步包括：

S211、利用边缘点得到边缘图像，即只保留原图像中的边缘像素点得到的图像；

S212、将边缘图像和原始图像量化到120种颜色；

S213、统计每种颜色在边缘图像中的像素点个数和在原始图像中的像素点个数；

S214、每种颜色的视觉显著值为其在边缘图像中的像素点个数和在原始图像中的像素点个数的比值，每个像素点的视觉显著值等于它所属颜色的视觉显著值。

如图3所示，其中左图分别为边缘图像和原始图像（左图中的上图为边缘图像，左图中的下图为原始图像），右图为像素点视觉显著值的图像表示。我们用灰度值来描述像素点的视觉显著值，视觉显著值越高的像素点灰度值越高（越亮）。

本实施例中，步骤S212中的颜色量化在Lab空间进行，L被量化为10个等级，a、b被量化为22个等级，这样颜色空间共有22*22*10=4840种量化颜色。然后统计多幅图像，只保留这4840种颜色中出现得最频繁的120种颜色，所有颜色都被归类到这120种颜色中与其欧式距离最近的颜色。

其中，L，a，b是一种常用颜色空间，可由计算机上图像显示所使用的RGB颜色空间计算得到。Lab色彩模型是由亮度（L）和有关色彩的a，b三个要素组成。

本领域技术人员可以理解，上述量化等级的选择和120种颜色的选择并不是唯一的选择方式，在本发明其他实施例中，将边缘图像和原始图像量化到其他数量也可以；本实施例中的上述具体数值的选择是一个综合了速度和精度考量的数值（例如量化到120种颜色）。

根据本发明另一个实施例，步骤S20中的计算像素点空间权重值进一步包括：

S221、建立一个与原图像同宽高的矩阵，将边缘点在矩阵中对应位置的元素置为1，其余元素置为0；

S222、将这个矩阵进行多次高斯平滑，第一次平滑选用的高斯核大小为图像宽和高中较大的值除以5，以后每次平滑的高斯核大小都是前一次的1.1倍，直到高斯核大小超过图像宽和高中较小的值除以2为止；

S223、每次平滑后找出矩阵中数值最大的元素，得到一个有序的最大值元素集合，此集合的每个元素与由小到大的平滑高斯核一一对应；

S224、在最大值元素集合中找到最长相同元素序列，序列元素a在该序列中第一个位置所对应的平滑高斯核为s，a在图像对应位置上的像素点为A；和

例如，对于序列：[BAABBBBCCCAACCCAAA]，应该选BBBB作为最长相同元素序列，然后B在这个最长相同元素序列出现的第一个位置为第4位，后面使用这个位置4（不是B出现的第一个位置1）对应的平滑高斯核s；

S225、根据a和s，计算原图像中所有像素点的空间权重值。

其中，在步骤S222中，数值5、1.1倍、2都是实验阈值，取这三个值经过实验证明可以得到较好的结果，但并不是唯一的选择方式；在本发明其他实施例中，也可以选择使用其他数值作为参数来进行多次高斯平滑操作。

如图4所示，左边图像为矩阵的图像显示，灰度值为255的像素（白色像素）即为值为1的元素，灰度值为0的像素（黑色像素）即为值为0的元素；中间图像中的白色圆形的圆心代表a所在位置，半径长度代表s的大小；右边图像为各像素点的空间权重值的图像表示，灰度值越高（越亮）说明空间权重值越大。

像素点A的坐标为(x_c,y_c)，任一像素点B(x,y)的空间权重值W(x,y)可以由下列公式给出：

$W(x,y)=\frac{1}{2\mathrm{\π}{s}^2}{e}^{(-\frac{{(x-x_c)}^2+{(y-y_c)}^2}{2s^2})}$

根据本发明另一个实施例，步骤S30进一步包括：

S31、把所有像素的视觉显著值和空间权重值分别归一到单位区间，例如[0，1]区间；

S32、所有像素最终显著值等于它视觉显著值和空间权重值相乘，得到最终显著值。

步骤S40进一步包括：使用均值飘移算法（mean-shift算法）找出最终显著值的最佳分水岭T，最终显著值大于T的像素点即为显著区域的像素点，最终显著值小于等于的T的像素点即为非显著区域的像素点。如图5所示，从左到右分别为视觉显著值图，空间权重值图，最终显著值图，显著区域图。

应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (8)

1.一种图像显著区域检测方法，包括：

步骤1、对待检测图像进行边缘检测，得到边缘图像；

步骤2、计算像素点视觉显著值和空间权重值；其中，每种颜色的视觉显著值由这种颜色在所述边缘图像里的像素点数目除以这种颜色在原始图像里的像素点数目得到，每个像素点的视觉显著值等于它颜色的视觉显著值；其中，每个像素点的空间权重值由它离核心点的距离决定，离核心点越近，其空间权重值越大，离核心点越远，其空间权重值越小；所述核心点是所述待检测图像上的像素点，其位置对应于所述边缘图像里的像素点密度最大的区域的中心；

步骤3、把所述视觉显著值和所述空间权重值分别归一到单位区间，并令所述视觉显著值和所述空间权重值相乘，得到像素点的最终显著值；和

步骤4、基于最终显著值，利用均值飘移算法确定显著区域的像素点。

2.根据权利要求1所述图像显著区域检测方法，其中，步骤1的边缘检测进一步包括：

步骤11、把待检测图像由RGB颜色图像转化为Lab颜色图像，并在Lab颜色图像上用Canny算法检测边缘；

步骤12、把待检测图像转化为灰度图像，并在灰度图像上用Canny算法检测边缘；和

步骤13、对上述两次边缘检测结果进行交集运算，得到边缘检测最终结果。

3.根据权利要求2所述图像显著区域检测方法，其中，Canny算法的两个阈值分别设为0.5和0.6。

4.根据权利要求1所述图像显著区域检测方法，其中，步骤2中的计算像素点视觉显著值进一步包括：

步骤211、利用边缘点得到边缘图像；

步骤212、将边缘图像和待检测图像量化到N种颜色；

步骤213、统计每种颜色在边缘图像中的像素点个数和在待检测图像中的像素点个数；和

步骤214、每种颜色的视觉显著值为其在边缘图像中的像素点个数和在待检测图像中的像素点个数的比值，每个像素点的视觉显著值等于它所属颜色的视觉显著值。

5.根据权利要求4所述图像显著区域检测方法，其中，步骤212中的N＝120；并且，

步骤212中的颜色量化在Lab空间进行，L被量化为10个等级，a、b被量化为22个等级，使得颜色空间共有22*22*10＝4840种量化颜色，然后统计多幅图像，只保留这4840种颜色中出现得最频繁的120种颜色，所有颜色都被归类到这120种颜色中与其欧式距离最近的颜色。

6.根据权利要求1所述图像显著区域检测方法，其中，步骤2中的计算像素点空间权重值进一步包括：

步骤221、建立一个与待检测图像同宽高的矩阵，将边缘点在矩阵中对应位置的元素置为1，其余元素置为0；

步骤222、然后将这个矩阵进行多次高斯平滑，每次平滑选用不同大小的高斯核；

步骤223、每次平滑后找出矩阵中数值最大的元素，得到一个有序的最大值元素集合，此集合的每个元素与由小到大的平滑高斯核一一对应；

步骤224、在最大值元素集合中找到最长相同元素序列，序列元素a在该序列中第一个位置所对应的平滑高斯核为s，a在图像对应位置上的像素点为A；和

步骤225、根据a和s，计算待检测图像中所有像素点的空间权重值如下：像素点A的坐标为(x_c,y_c)，任一像素点B(x,y)的空间权重值W(x,y)可以由下列公式给出：

$W(x,y)={\frac{1}{2{\mathrm{\πs}}^2}}^{(-\frac{{(x-x_c)}^2+{(y-y_c)}^2}{2s^2})}.$

7.根据权利要求6所述图像显著区域检测方法，其中，步骤222中的进行多次高斯平滑包括：第一次平滑选用的高斯核大小为图像宽和高中较大的值除以5，以后每次平滑的高斯核大小都是前一次的1.1倍，直到高斯核大小超过图像宽和高中较小的值除以2为止。

8.根据权利要求1所述图像显著区域检测方法，其中，步骤4进一步包括：

使用均值飘移算法找出最终显著值的最佳分水岭T，最终显著值大于T的像素点即为显著区域的像素点，最终显著值小于等于的T的像素点即为非显著区域的像素点。