CN106815842B - 一种改进的基于超像素的图像显著性检测方法 - Google Patents

Abstract

本发明公开了一种改进的基于超像素的图像显著性检测方法，该方法首先采用简单线性迭代聚类的超像素分割算法将原始图像分割为具有颜色和纹理一致性的超像素；第二，针对图像超像素分割结果，基于稀疏表示理论计算原始图像初始显著图；第三，针对图像超像素分割结果，基于中心‑边缘思想计算原始图像中心‑边缘权重图；第四，针对图像超像素分割结果，基于归一化割理论对其进行聚类，得到若干聚类区域；第五，基于上述结果，计算原始图像最终显著图。本发明与传统的基于超像素的图像显著性检测方法相比，解决了显著性对象边界模糊、内部常被抑制等问题，能够更加均匀地突出显著对象，有效地抑制背景，获得更好的检测结果。

Description

一种改进的基于超像素的图像显著性检测方法

技术领域

本发明涉及一种图像视觉显著性检测方法，特别是涉及一种改进的基于超像素的图像显著性检测方法，属于计算机视觉技术领域。

背景技术

随着信息技术的不断发展，人们拥有大量的数据资源。其中，图像资源因其直观性，出现了前所未有的增长速度，但是随之而来的信息冗余问题也成为了图像处理的一大难题。视觉显著性是人类视觉中非常重要的一部分，它通过过滤人眼所及之处的冗余信息，突出人们最感兴趣(显著性)的目标，从而减少后续信息的处理量。目前，图像显著性检测在图像视频压缩、图像检索、目标检测和识别等领域有着广泛的应用。

根据图像所要检测的目标是否基于任务驱动，可以将显著性检测分为两大类：无监督的自下而上(bottom-up)方法和有监督的自上而下(top-down)方法。近几年的研究更加倾向于不需要基于任何任务，由数据本身驱动的自下而上的显著性检测方法。

在自下而上方法的研究领域中，有很多经典的方法相继被提出，如早先的Itti算法，GBVS算法，SR算法，基于稀疏表示的算法等。其中，Itti、GBVS和SR这些经典算法实现起来比较容易，也能够产生较为清晰的显著性图，但是他们对诸如图像的边缘或噪声等高频部分，表现出了很大的敏感性，所以显著图像总是更倾向于突显出目标边界轮廓，而目标的内部往往被抑制。基于稀疏表示的算法可以通过重构误差来定义图像显著性，但是这种方法不可避免的丢失了图像内在的一部分相关的信息，从而使检测出的显著目标不准确。

发明内容

本发明所要解决的技术问题是：提供一种改进的基于超像素的图像显著性检测方法，能够均匀突出显著对象，清晰保留显著区域的边缘信息，并较好的抑制背景的图像视觉显著性检测方法。

本发明为解决上述技术问题采用以下技术方案：

一种改进的基于超像素的图像显著性检测方法，包括如下步骤：

步骤1，利用简单线性迭代聚类方法对原始图像进行超像素分割，得到超像素分割结果；

步骤2，针对超像素分割结果，基于稀疏编码模型计算超像素分割结果的重构误差，根据重构误差得到原始图像的初始显著图；

步骤3，针对超像素分割结果，基于中心-边缘思想对超像素分割结果进行权重赋值，得到原始图像的中心-边缘权重图；

步骤4，针对超像素分割结果，利用归一化割方法进行聚类，得到超像素归一化聚类结果；

步骤5，将步骤2得到的初始显著图与步骤3得到的中心-边缘权重图，按比例1:1进行加权融合，针对步骤4得到的超像素归一化聚类结果，对每一个聚类区域，计算该区域包含的所有超像素融合结果的平均值，从而得到原始图像的显著图。

作为本发明的一种优选方案，步骤2所述超像素分割结果的重构误差计算公式为：

其中，e_i表示第i个超像素y_i的重构误差，D为Y＝[y₁,y₂,…,y_N]的稀疏表示的重构字典，N为超像素的个数，x_i为y_i在字典D下的稀疏编码系数。

作为本发明的一种优选方案，所述步骤3的具体过程为：计算每一个超像素距离原始图像中心位置的距离，用1减去归一化后的距离值，将得到的值作为该超像素的权重，得到原始图像的中心-边缘权重图。

作为本发明的一种优选方案，所述计算每一个超像素距离原始图像中心位置的距离的具体做法为：将每一个超像素中的所有像素坐标的均值作为该超像素的空间位置，计算该空间位置到原始图像中心位置的欧氏距离，得到每个超像素距离原始图像中心位置的距离。

作为本发明的一种优选方案，步骤5所述加权融合的计算公式为：

其中，d_i表示第i个超像素距离原始图像中心位置的距离值归一化后的值，e_i表示第i个超像素y_i的重构误差，表示第i个超像素加权融合后的结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明深入挖掘超像素、稀疏表示等方法和理论在图像显著性检测中的应用，解决了显著性对象边界模糊、内部常被抑制等问题，能够更加均匀地突出显著对象，有效地抑制背景，获得更好的检测结果。

2、本发明采用简单线性迭代聚类方法进行超像素分割，相比较一般的以像素或者图像块为处理单位的分割方法，在时间和效率上有较大优势，所分割的超像素块在颜色和纹理上具有同质性，更容易保留图像的边缘信息。

附图说明

图1是本发明改进的基于超像素的图像显著性检测方法的流程图。

图2是本发明实施例的检测结果图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明改进的基于超像素的图像显著性检测方法的步骤如下：

1、输入原始图像I，对其进行超像素分割得到图像I₁。

2、对图像I₁进行稀疏重构，得到初始显著性图像I₂。

3、对图像I₁进行中心-边缘权重赋值，得到中心-边缘权重图像I₃。

4、对图像I₁归一化割聚类，得到聚类结果图像I₄。

5、将图像I₂与图像I₃加权融合，并依据I₄平均加权融合的结果，最终得到原始图像显著图I₅。详细步骤如下：

1、基于简单线性迭代聚类的图像超像素分割

本发明对输入原始图像首先采用简单线性迭代聚类(Simple Linear IterativeClustering，SLIC)方法进行超像素分割。该方法相比较一般的以像素或者图像块为处理单位的分割方法，在时间和效率上有较大优势，所分割的超像素块在颜色和纹理上具有同质性，更容易保留图像的边缘信息。

该算法具体过程如下：

a.输入原始图像I，初始化种子点(聚类中心)。按照设定的超像素块个数，在本发明中，种子点的个数N的取值为200，在图像内均匀的分配种子点。

b.在种子点的t×t邻域内，依据像素点的梯度值，将种子点移动到梯度最小的地方。在本发明中，t取值为3。

c.在每个种子点邻域内，为每个像素点分配类标签。

d.距离度量。包括颜色距离和空间距离。每个像素用五维的特性向量[l,a,b,x,y]表示。[l,a,b]为像素在CIElab颜色空间的颜色特征，[x,y]为像素的空间坐标距离，分别计算如下：

式中，j、k分别表示图像的第j、k个像素，j＝1,…,M；k＝1,…,M；j≠k，dc代表颜色距离，ds代表空间距离，Ns是类内最大空间距离，定义为Ns＝S＝sqrt(M/N)，M为图像像素总个数，适用于每个聚类。最大的颜色距离Nc既随图片不同而不同，也随聚类不同而不同，所以我们取一个固定常数m代替，m的取值范围是[1,40]，在本发明中的取值为40。由此，可得最终的距离度量D'：

由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。

e.迭代c、d两步优化。理论上上述步骤不断迭代直到误差收敛，实践发现10次迭代对绝大部分图片都可以得到较理想效果，所以本发明迭代次数取10。

f.增强连通性。经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决，保证每个像素点隶属于唯一一个超像素块。

由上述步骤可以得出输入图像I的超像素分割图像I₁。

2、超像素稀疏表示原始图像初始显著图计算

本发明采用了模拟人类神经细胞的标准稀疏编码模型，此模型可以突出图像中的显著部分(该部分具有独特性、稀少性和不可预测性)，基于该模型计算得到的超像素重构误差越大，则该超像素块被认为越显著，最终这种方式得到了原始图像的初始显著图。

设Y＝[y₁,y₂,…,y_N]∈R^n×N为输入信号(本发明中，y₁,y₂,…,y_N代表超像素块)，D为Y的稀疏表示的重构字典，则稀疏表示的目标函数可如下：

式中，表示重构残差。D＝[d₁,d₂,…,d_H]∈R^n×H为学习字典，其中，n的取值为M/N，H为字典D中的原子个数，且H>n，所以D是过完备字典。X＝[x₁,x₂,…,x_N]∈R^H×N，是输入信号Y在字典D下的稀疏编码系数。||·||₀是L₀范数，表示向量中非零元素的个数。T是稀疏度阈值，每一个x_i含有的非零元素的个数都不得超过T(T<<n)。

在稀疏编码过程中，字典D是固定的，可通过如下式子计算输入信号y_i的稀疏编码系数x_i，i＝1,…,N：

基于稀疏表示理论，本发明将计算每个超像素所对应的稀疏重构误差：

对一幅图像而言，显著目标的分布比较紧凑，如果某一超像素属于显著目标，由于图像字典中大部分的基都属于背景，这个超像素就不能用字典很好的表示，因此该超像素对应的重构误差较大。反正，当某一超像素属于背景时，该超像素可以由字典很好的表示，则其重构误差就相对较小。基于此，通过稀疏误差的求解，可以得到原始图像的初始显著性图I₂。

3、超像素中心-边缘权重图生成

本发明针对超像素分割结果，利用中心-边缘思想，生成原始图像中心-边缘权重图。该方法认为越靠近图像中心位置的超像素块越显著(这一特征符合人眼视觉机制)，基于此，给靠近中心的超像素块赋较大的权重，反之，给远离中心位置的超像素块赋较小的权重(具体赋值基于欧氏距离)。最终，我们可以得到基于超像素的原始图像中心-边缘权重图。

本发明在计算每一个超像素y_i距离图像中心位置的距离时，是把该超像素中的所有像素坐标的均值作为该超像素的空间位置；然后计算该位置到图像中心位置的欧式距离d_i；最后用1减去归一化后的距离值(即1-d_i)，得到的值作为该超像素的权重，即可得到超像素中心-边缘权重图I₃。

4、超像素归一化割聚类

本发明针对图像超像素分割结果，基于归一化割理论对其进行聚类，得到若干聚类区域。该方法将可能属于同一显著性目标的超像素块聚在较少的区域中(更为理想的情况是，通过归一化割，某一个聚类区域只包含一个显著性目标)。该方法同时还极大地保留了显著性区域的边缘信息。

归一化割准则是一种无监督图像分割/聚类技术，具有三个主要的特点：①它将图像分割问题转换为图的划分问题；②它是一个全局准则；③它同时最大化不同组之间的不相似性和同一组内的相似性。

一幅加权无向图G＝(V,E)可以通过删去某些边，将其分为两个非连接性点集A、B，使得A∪B＝V，A∩B＝φ，这两个部分的不相似程度可以定义为原先连接两部分而现在被删去的所有边的权的总和，在图论中称之为割—Cut：

式中，w(p,q)即连接点p和点q的边的权，它表示两点之间的相似程度。

一幅图的最优二分法即是使Cut的值最小，但由于割直接与割中边的数目成比例，因此最小割(Minimum Cut)通常并非就是最优割。针对这个缺点Shi和Maiik提出了一种新的不同组之间的不相似性度量，即归一化割：

式中，assoc(A,V)＝∑_p∈A,v∈Vw(p,v)表示A中的点和图中所有点之间总的联系程度，assoc(B,V)＝∑_q∈B,v∈Vw(q,v)同理。

我们采用归一化割作为最优化准则，从而提出一种有效的图的划分算法。NCut可以重写成：

式中，x_p表示A中点p的值，x_q表示B中点q的值，d_p＝∑_qw(p,q)表示点p与其他点之间的联系程度。

通过递归的方法处理超像素分割后的图像，最终可以得到图像的最优聚类结果I₄。

5、最终显著图计算

基于上述步骤2、3、4的结果，计算原始图像最终显著图。首先，将步骤2求得的超像素稀疏表示原始图像初始显著图I₂和步骤3求得的超像素中心-边缘权重图I₃进行加权融合(加权比例1:1)。具体每个超像素块的融合可以表示为：

然后，针对步骤4求得的超像素归一化聚类结果I₄，对每一个聚类区域，求该区域所有超像素块融合结果的平均值：

式中，S_r是每个分割的显著性值，|S_r|是此分割的超像素块的个数。最后将该值赋给整个区域，即可得到整幅图像的显著图I₅。

值得一提的是，通过步骤2得到的初始显著图I₂，当背景中存在噪声或其他干扰目标时，显著性目标检测结果会存在一定的误差，然后通过步骤3得到的超像素中心-边缘权重图I₃，对初始显著图I₂进行融合，可以有效改善检测结果。此外，通过步骤4对超像素分割结果进行归一化割聚类，聚类后的结果I₄很好地保持了图像的边界信息；同时，基于归一化割，将每一个聚类区域内部的超像素融合结果进行平均，然后赋值给整个区域，能够很好的保证显著性区域的完整性和一致性。本发明实施例的检测结果如图2所示。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种改进的基于超像素的图像显著性检测方法，其特征在于，包括如下步骤：

步骤1，利用简单线性迭代聚类方法对原始图像进行超像素分割，得到超像素分割结果；

步骤2，针对超像素分割结果，基于稀疏编码模型计算超像素分割结果的重构误差，根据重构误差得到原始图像的初始显著图；

步骤3，针对超像素分割结果，基于中心-边缘思想对超像素分割结果进行权重赋值，得到原始图像的中心-边缘权重图；

步骤4，针对超像素分割结果，利用归一化割方法进行聚类，得到超像素归一化聚类结果；

步骤5，将步骤2得到的初始显著图与步骤3得到的中心-边缘权重图，按比例1:1进行加权融合，针对步骤4得到的超像素归一化聚类结果，对每一个聚类区域，计算该区域包含的所有超像素融合结果的平均值，从而得到原始图像的显著图。

2.根据权利要求1所述改进的基于超像素的图像显著性检测方法，其特征在于，步骤2所述超像素分割结果的重构误差计算公式为：

其中，e_i表示第i个超像素y_i的重构误差，D为Y＝[y₁,y₂,…,y_N]的稀疏表示的重构字典，N为超像素的个数，x_i为y_i在字典D下的稀疏编码系数。

3.根据权利要求1所述改进的基于超像素的图像显著性检测方法，其特征在于，所述步骤3的具体过程为：计算每一个超像素距离原始图像中心位置的距离，用1减去归一化后的距离值，将得到的值作为该超像素的权重，得到原始图像的中心-边缘权重图。

4.根据权利要求3所述改进的基于超像素的图像显著性检测方法，其特征在于，所述计算每一个超像素距离原始图像中心位置的距离的具体做法为：将每一个超像素中的所有像素坐标的均值作为该超像素的空间位置，计算该空间位置到原始图像中心位置的欧氏距离，得到每个超像素距离原始图像中心位置的距离。

5.根据权利要求1所述改进的基于超像素的图像显著性检测方法，其特征在于，步骤5所述加权融合的计算公式为：

其中，d_i表示第i个超像素距离原始图像中心位置的距离值归一化后的值，e_i表示第i个超像素y_i的重构误差，表示第i个超像素加权融合后的结果。