CN106373126B - 基于融合类测地线和边界对比的图像显著性检测方法 - Google Patents

Abstract

本发明基于融合类测地线和边界对比的图像显著性检测方法，涉及一般的图像数据处理中的图像分析，步骤是，输入彩色图像；超像素分割，包括规则的超像素分割和不规则的超像素分割；计算边界对比图S_c；计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n，包括预处理、计算邻接矩阵和计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n；融合三种特征图得到显著图。本发明克服了现有技术无法一致地高亮显著目标的缺陷。

Description

基于融合类测地线和边界对比的图像显著性检测方法

技术领域

本发明的技术方案涉及一般的图像数据处理中的图像分析，具体地说是基于融合类测地线和边界对比的图像显著性检测方法。

背景技术

图像的显著性反映了人眼对图像中不同区域的感兴趣程度。如今图像显著检测已广泛应用到了图像压缩、图像缩放、目标识别和图像分割等领域。然而随着计算机的智能发展，显著性检测应用的不断普及，人们对图像显著性检测的性能要求也在不断提升，希望计算机可以更加智能化地模仿人类视觉系统，在图像显著信息的提取中获得更高质量的显著图。如何精准、快速地从海量图片中定位图像中的显著区域，提取人们所需要的信息是目前亟待解决的问题。

图像显著性的研究首先出现在生物学上。最具代表性的是Itti等人基于Koch和Ullman提出的一种生物结构基础，模拟人的视觉注意力机制，认为像素与背景的对比是吸引人注意的重要因素，综合考虑颜色、亮度、方向多种图像特征，提出了图像显著性检测方法。目前，很多方法突破了严格的生物学模型，采用纯计算的模型，使计算机对图像的显著性检测更简单化。如Achanta等人在2009年提出的频率调制方法(FT)，将图像进行相同带宽下的多带通滤波，采用全局对比方法，在LAB空间上对比各像素点与图像的其它所有像素点，对图像进行显著性检测。采用纯计算的图像显著性算法检测效果相对于基于生物学模型的算法有所提高，但相比于人的主观识别仍有些差距。

无论是基于生物学还是纯计算的显著性检测算法，大多采用了对比优先的思想。图像显著性检测根据对比的范围分为全局对比方法和局部对比方法。除了FT算法外，程明明等人在2015年提出的基于区域对比方法(RC)也是一种全局对比算法，在将图像进行超像素分割的基础上，在LAB空间上进行区域对比，并与各区域间的空间距离相结合，从图像中提取显著目标。全局对比方法通过各像素点或超像素与整幅图像的特征相对比计算各点或各区域的显著性，当图像背景复杂或目标较大时，显著目标与图像整体的特征差别不明显，图像的显著区域则无法被高亮，因此全局对比方法针对背景复杂或显著目标较大的图像效果较差。采用局部对比的图像显著性检测算法有2008年Achanta等人提出的AC方法，它在LAB空间上以像素点为单位，在不同尺度邻域上分别进行局部对比计算中心-周围距离，并融合各尺度邻域下的特征图，从而计算图像的显著性。局部对比方法利用局部邻域与中心相对比，当显著区域内部较平滑时，局部对比会因为内部区域对比不明显而无法高亮这一区域，因此局部对比方法存在削弱目标内部，无法一致高亮整个显著目标的缺点。

对比优先思想的方法，根据出发点不同，分为前景优先思想和背景优先思想。上文提到的RC方法，属于前景优先思想，即从图像前景出发，除了颜色和亮度特征外，根据图像的前景区域一般不居于边界位置的特点为离中心更近的区域赋予更大的权重。背景优先思想，从假定图像的狭小边界为背景区域出发，利用相邻区域之间颜色和亮度的累加，从而得到的显著图比前景优先算法得到的显著图能更有效地削弱复杂背景，高亮显著目标。2012年Wei等人在测地线方法(GS)中采用了背景优先思想，根据这样的先验知识即图像的边界大多属于背景，结合图像背景间的连接特性，通过计算各区域到图像边界的最短距离估计各区域的显著性，得到的显著图更加完整，并且一致高亮。

CN104103082A公开了一种基于区域描述和先验知识的图像显著性检测方法，运用了图像的颜色特征、纹理特征以及空间特征，通过粗检和精检两次检测，来突出图像的显著区域，但检测的时间效率低，且未考虑前景与背景对比度小的图像，不具有普遍的适用性。

CN105139018A公开了一种基于颜色和纹理聚集度的图像显著性检测方法，从颜色和纹理特征图中提取有用信息，该方法忽略了图像的空间特征，图像中具有相似颜色和纹理特征但位于不同位置的像素块很可能不同时属于图像的背景或前景，因此这种方法不具备鲁棒性。

目前的显著性检测算法采用纯计算的算法检测效果相对于基于生物学模型的算法在效率和效果上均有所提高，一些基于背景优先思想的算法得到的显著图相比于基于前景优先思想的算法在复杂背景的图像检测上取得了较好的效果，但针对前景与背景对比度小的图像，现有技术仍然无法一致地高亮显著目标。

发明内容

本发明所要解决的技术问题是：提供一种基于融合类测地线和边界对比的图像显著性检测方法，采用背景优先思想，以图像边界区域大多为背景这一先验知识，将各区域与背景区域对比得到边界对比图，然后线性融合边界对比图和有颜色对比的测地线图，并与含空间特征的无颜色对比的测地线图相乘，得到显著图，克服了现有技术无法一致地高亮显著目标的缺陷。

本发明解决该技术问题所采用的技术方案是：基于融合类测地线和边界对比的图像显著性检测方法，具体步骤如下：

第一步，输入彩色图像：

通过USB接口向计算机输入RGB图像I₀，大小为M×N像素；

第二步，超像素分割：

对上述第一步输入的图像I₀进行规则的超像素分割和不规则的超像素分割，具体步骤如下：

(2.1)规则的超像素分割：

对上述第一步输入的图像I₀，以s×s像素的正方形像素块为分割单位对其分割，得到M′×N′个规则的超像素，其中M’＝<M/s>，N’＝<N/s>，<.>为取整，分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用规则超像素各通道灰度特征的平均值代替像素块在该通道上的特征值，从而得到规则超像素分割后的图像I₁；

(2.2)不规则的超像素分割：

对上述第一步输入的图像I₀，利用SLIC算法进行不规则的超像素分割，设定一幅图像分割的超像素个数为x，将分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用不规则超像素在L、A、B三通道的平均值代替像素块在该通道上的特征值，从而得到不规则超像素分割后的LAB图像I₂；

第三步，计算边界对比图S_c：

以上述(2.1)步中规则超像素分割后的图像I₁为输入，为各规则超像素编号i＝1,…,M′×N′，并存储处于图像边界的规则超像素编号j＝1,…,W，其中W为边界规则超像素个数，计算图像的每个规则超像素rp_i(i＝1,…,M′×N′)与所有的边界规则超像素rp_j(j＝1,…,W)在LAB空间上的L、A、B三个通道的距离平方和，作为边界对比特征，得到边界对比图S_c：

第四步，计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

(4.1)预处理：

输入上述(2.2)步中的不规则超像素分割后的LAB图像I₂，为各不规则超像素编号,第i个不规则超像素为sp_i，然后将图像边界的不规则超像素编号存储于V；

(4.2)计算邻接矩阵：

设八邻域像素点为邻接点，对于任意两个不规则超像素sp_a和sp_b，若从不规则超像素sp_a和sp_b中各取一点p₁和p₂，点p₁位于点p₂的八邻域内，则这两个不规则超像素邻接，根据不规则超像素之间的邻接关系，计算邻接矩阵，规则如下：

不规则超像素sp_a和不规则超像素sp_b邻接，则邻接矩阵中第a行第b列的值和第b行第a列的值标记为1，否则标记为0；

(4.3)计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

这里所述的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n也统称为类测地线图，根据上述(4.2)步得到的邻接矩阵，得到与不规则超像素sp_i相邻的不规则超像素个数为n(i)，并将第k个与sp_i相邻的不规则超像素标记为其中k＝0时的代表不规则超像素sp_i本身，然后将边界不规则超像素sp_i(i∈V)的测地线值设定为0，同时为其它不规则超像素的类测地线值设定初值T，将所有与不规则超像素sp_i相邻接的不规则超像素的测地线值与对应的两个邻接不规则超像素间的距离相加，从中寻找最小值作为本次遍历得到的不规则超像素sp_i的测地线值Geo(sp_i)：

其中，

多次遍历各不规则超像素，并更新各不规则超像素的测地线值，直至遍历结果不再发生改变，从而得到有颜色对比的测地线图G_c和无颜色对比的测地线图G_n，即类测地线图；

第五步，融合三种特征图得到显著图：

融合上述第三步得到的边界对比图S_c、第四步得到的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n求解显著图S，采用的融合公式如下：

S＝(S_c+G_c)×G_n (5)。

上述基于融合类测地线和边界对比的图像显著性检测方法，所述“SLIC算法”是公知的。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明所采用的边界对比方法，将图像边界区域作为背景，通过对比图像各区域与边界区域，能够一致地高亮显著目标；

(2)本发明方法通过计算有颜色对比的测地线距离图，从图像边界到内部进行颜色和亮度对比的累加，可以有效地削弱与边界相连接的背景区域，抑制复杂背景图像中被高亮的部分背景区域，并有效地去除了具有复杂背景的图像中的背景区域；

(3)本发明方法在融合边界对比图和有颜色对比的测地线图的基础上，利用无颜色对比的测地线图来增强显著物体，通过增加图像各区域的空间特征可以有效地减弱显著图中背景区域的显著性，尤其在对比度小的图像上，空间特征的增加使检测效果得到了较大改善。

下面的实施例将进一步证明本发明的显著进步。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明方法的流程示意图；

图2是本发明计算边界对比图时，规则超像素特征计算和边界规则像素块标识示意图，其中：

图2(a)显示边界的规则超像素；

图2(b)显示用规则超像素包含的像素点各通道灰度特征的平均值代替像素块在该通道上的特征值。

图3是本发明方法在显著性检测步骤中得到的各特征图图示，其中：

图3(a)是原图；

图3(b)是边界对比图；

图3(c)是有颜色对比的测地线图；

图3(d)是无颜色对比的测地线图；

图3(e)是显著图；

图3(f)是人工标记图。

具体实施方式

图1所示实施例表明，本发明方法的流程是：输入彩色图像→超像素分割(包括规则的超像素分割和不规则的超像素分割)：规则的超像素分割→计算边界对比图S_c；不规则的超像素分割→计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n→融合三种特征图得到显著图。

图2所示实施例显示了本发明在计算边界对比图时，规则超像素块特征计算和边界像素块标识示意图，其中：

图2(a)显示边界的规则超像素，阴影部分即图像中位于图像边界的规则超像素，它们将用于计算边界对比图；

图2(b)显示用规则超像素包含的像素点各通道灰度特征的平均值代替像素块在该通道上的特征值，针对输入的图像I₀，以s×s像素大小的规则超像素为分割单位对其分割，在LAB空间上，用规则超像素中s×s各像素在L、A、B三个通道上灰度特征的平均值代替规则超像素在该通道上的特征值，进而在上述第三步中计算图像的每个规则超像素与图2(a)所示的所有的边界规则超像素在LAB空间上L、A、B三个通道上特征值的距离平方和，作为边界对比特征，得到边界对比图S_c；

图3所示实施例显示了按照本发明在显著性检测过程的上述第三步中通过边界对比一致高亮显著目标得到的边界对比图S_c，按照上述第四步通过计算各像素块到图像边界的最短LAB颜色距离得到的有颜色对比的测地线图G_c和仅通过空间特征求最短距离得到的无颜色对比的测地线图G_n，以及融合这三个特征图而得到的显著图S的效果，其中：

图3(a)是原图，即通过USB接口向计算机输入的RGB图像；

图3(b)是边界对比图，即对输入的原图分别通过上述步骤(2.1)和第三步进行规则的超像素分割和边界对比图的计算得到的特征图；

图3(c)是有颜色对比的测地线图，即对输入的原图分别通过上述步骤(2.2)和第四步进行不规则的超像素分割和有颜色对比的测地线图的计算得到的特征图；

图3(d)是无颜色对比的测地线图，即对输入的原图分别通过上述步骤(2.2)和第四步进行不规则的超像素分割和无颜色对比的测地线图的计算得到的特征图；

图3(e)是显著图，即对上述第三步中得到的边界对比图、上述第四步中得到的有颜色对比的测地线图和无颜色对比的测地线图，按照公式(5)融合得到的显著图；

图3(f)是人工标记图，即数据库所提供的人工标记的显著图图示；

实施例

本实施例的基于融合类测地线和边界对比的图像显著性检测方法，具体步骤如下：

第一步，输入彩色图像：

通过USB接口向计算机输入RGB图像I₀，大小为M×N像素；

第二步，超像素分割：

对上述第一步输入的图像I₀进行规则的超像素分割和不规则的超像素分割，具体步骤如下：

(2.1)规则的超像素分割：

对上述第一步输入的图像I₀，以s×s像素的正方形像素块为分割单位对其分割，本实施例中s取10，得到M′×N′个规则的超像素，其中M’＝<M/s>，N’＝<N/s>，<.>为取整，分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用规则超像素各通道灰度特征的平均值代替像素块在该通道上的特征值，从而得到规则超像素分割后的图像I₁；

(2.2)不规则的超像素分割：

对上述第一步输入的图像I₀，利用SLIC算法进行不规则的超像素分割，设定一幅图像分割的超像素个数为x，本实施例中使每个不规则的超像素包含200个像素点，即x＝<M×N/200>，将分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用不规则超像素在L、A、B三通道的平均值代替像素块在该通道上的特征值，从而得到不规则超像素分割后的LAB图像I₂；

第三步，计算边界对比图S_c：

以上述(2.1)步中规则超像素分割后的图像I₁为输入，为各规则超像素编号i＝1,…,M′×N′，并存储处于图像边界的规则超像素编号j＝1,…,W，其中W为边界规则超像素个数，计算图像的每个规则超像素rp_i(i＝1,…,M′×N′)与所有的边界规则超像素rp_j(j＝1,…,W)在LAB空间上的L、A、B三个通道的距离平方和，作为边界对比特征，得到边界对比图S_c：

第四步，计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

(4.1)预处理：

输入上述(2.2)步中的不规则超像素分割后的LAB图像I₂，为各不规则超像素编号,第i个不规则超像素为sp_i，然后将图像边界的不规则超像素编号存储于V；

(4.2)计算邻接矩阵：

设八邻域像素点为邻接点，对于任意两个不规则超像素sp_a和sp_b，若从不规则超像素sp_a和sp_b中各取一点p₁和p₂，点p₁位于点p₂的八邻域内，则这两个不规则超像素邻接，根据不规则超像素之间的邻接关系，计算邻接矩阵，规则如下：

不规则超像素sp_a和不规则超像素sp_b邻接，则邻接矩阵中第a行第b列的值和第b行第a列的值标记为1，否则标记为0；

(4.3)计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

这里所述的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n也统称为类测地线图，根据上述(4.2)步得到的邻接矩阵，得到与不规则超像素sp_i相邻的不规则超像素个数为n(i)，并将第k个与sp_i相邻的不规则超像素标记为其中k＝0时的代表不规则超像素sp_i本身，然后将边界不规则超像素sp_i(i∈V)的测地线值设定为0，同时为其它不规则超像素的类测地线值设定初值T，本实施例中T取经验值10000，将所有与不规则超像素sp_i相邻接的不规则超像素的测地线值与对应的两个邻接不规则超像素间的距离相加，从中寻找最小值作为本次遍历得到的不规则超像素sp_i的测地线值Geo(sp_i)：

其中，

多次遍历各不规则超像素，并更新各不规则超像素的测地线值，直至遍历结果不再发生改变，从而得到有颜色对比的测地线图G_c和无颜色对比的测地线图G_n，即类测地线图；

第五步，融合三种特征图得到显著图：

融合上述第三步得到的边界对比图S_c、第四步得到的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n求解显著图S，采用的融合公式如下：

S＝(S_c+G_c)×G_n (5)。

表1列出了在数据库MSRA、ECSSD、SED2、sMSRA、sECSSD、sSED2上，用本实施例方法和其它目前最具代表性的七种显著性检测方法检测得到的AUC值列表。其中数据库“sMSRA、sECSSD、sSED2”分别为从数据库“MSRA、ECSSD、SED2”中选取的前景与背景对比度小的图像组成的数据库。其它七种显著性检测方法分别为：FT(Frequency-Tuned)、GS(GeodesicSaliency)、MR(Manifold Ranking)、RC(Region Based Contrast)、RBD(RobustBackground Detection)、HDCT(High-Dimensional Color Transform)、RW(Imagesaliency estimation via random walk guided by informativeness and latentsignal correlations)。选取这些方法作为对比方法原因如下：FT为提出较早的一种经典的仅考虑颜色和亮度特征的全局对比显著性检测方法；GS和MR为以测地线思想引导的显著性检测方法；RC是一种结合颜色对比和空间对比的全局对比显著性检测方法；RBD和HDCT为目前显著性检测中效果最好的两种显著性检测方法；RW为一种通过机器学习挖掘图像的潜在信息，从而基于图的随机行走来估计显著性的图像显著性检测方法。

表1各算法在不同图库上的AUC值列表

从表1中的数据可以得到，本实施例方法在包含所有图像的图库上具有很好的检测效果，同时，本实施例方法在对比度小的图像上的检测效果占有明显优势。

表1中所提及的显著性检测算法“FT、GS、MR、RC、RBD、HDCT、RW”，评价指标“AUC值”和数据库“MSRA、ECSSD、SED2”都是公知的，其中，数据库“MSRA、ECSSD、SED2”分别包含10000、1000、100张图像。

本实施例中，所述“SLIC算法”是公知的。

Claims (1)

1.基于融合类测地线和边界对比的图像显著性检测方法，其特征在于具体步骤如下：

第一步，输入彩色图像：

通过USB接口向计算机输入RGB图像I₀，大小为M×N像素；

第二步，超像素分割：

对上述第一步输入的图像I₀进行规则的超像素分割和不规则的超像素分割，具体步骤如下：

(2.1)规则的超像素分割：

对上述第一步输入的图像I₀，以s×s像素的正方形像素块为分割单位对其分割，得到M′×N′个规则的超像素，其中M’＝<M/s>，N’＝<N/s>，<.>为取整，分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用规则超像素各通道灰度特征的平均值代替像素块在该通道上的特征值，从而得到规则超像素分割后的图像I₁；

(2.2)不规则的超像素分割：

对上述第一步输入的图像I₀，利用SLIC算法进行不规则的超像素分割，设定一幅图像分割的超像素个数为x，将分割后的图像由RGB空间转化到LAB空间，在LAB空间上，用不规则超像素在L、A、B三通道的平均值代替像素块在该通道上的特征值，从而得到不规则超像素分割后的LAB图像I₂；

第三步，计算边界对比图S_c：

以上述(2.1)步中规则超像素分割后的图像I₁为输入，为各规则超像素编号i＝1,…,M′×N′，并存储处于图像边界的规则超像素编号j＝1,…,W，其中W为边界规则超像素个数，计算图像的每个规则超像素rp_i(i＝1,…,M′×N′)与所有的边界规则超像素rp_j(j＝1,…,W)在LAB空间上的L、A、B三个通道的距离平方和，作为边界对比特征，得到边界对比图S_c：

第四步，计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

(4.1)预处理：

输入上述(2.2)步中的不规则超像素分割后的LAB图像I₂，为各不规则超像素编号,第i个不规则超像素为sp_i，然后将图像边界的不规则超像素编号存储于V；

(4.2)计算邻接矩阵：

设八邻域像素点为邻接点，对于任意两个不规则超像素sp_a和sp_b，若从不规则超像素sp_a和sp_b中各取一点p₁和p₂，点p₁位于点p₂的八邻域内，则这两个不规则超像素邻接，根据不规则超像素之间的邻接关系，计算邻接矩阵，规则如下：

不规则超像素sp_a和不规则超像素sp_b邻接，则邻接矩阵中第a行第b列的值和第b行第a列的值标记为1，否则标记为0；

(4.3)计算有颜色对比的测地线图G_c和无颜色对比的测地线图G_n：

这里所述的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n也统称为类测地线图，根据上述(4.2)步得到的邻接矩阵，得到与不规则超像素sp_i相邻的不规则超像素个数为n(i)，并将第k个与sp_i相邻的不规则超像素标记为其中k＝0时的代表不规则超像素sp_i本身，然后将边界不规则超像素sp_i(i∈V)的测地线值设定为0，同时为其它不规则超像素的类测地线值设定初值T，将所有与不规则超像素sp_i相邻接的不规则超像素的测地线值与对应的两个邻接不规则超像素间的距离相加，从中寻找最小值作为本次遍历得到的不规则超像素sp_i的测地线值Geo(sp_i)：

其中，

多次遍历各不规则超像素，并更新各不规则超像素的测地线值，直至遍历结果不再发生改变，从而得到有颜色对比的测地线图G_c和无颜色对比的测地线图G_n，即类测地线图；

第五步，融合三种特征图得到显著图：

融合上述第三步得到的边界对比图S_c、第四步得到的有颜色对比的测地线图G_c和无颜色对比的测地线图G_n求解显著图S，采用的融合公式如下：

S＝(S_c+G_c)×G_n (5)。