CN104933738B - 一种基于局部结构检测和对比度的视觉显著图生成方法 - Google Patents

Abstract

本发明提供一种基于局部结构检测和对比度的视觉显著图生成方法，包括：对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息；计算原始图像中各像素点的颜色特征与背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图；计算原始图像中各像素点与目标区域的质心坐标之间的空间距离，并基于空间距离生成原始图像中各像素点的位置关系权重值；根据原始图像中各像素点的位置关系权重值对初始显著图进行优化以生成原始图像的优化显著图。该方法以像素为基本单位，所获得的是全分辨率显著图，使得所获得的显著图更加突出了目标区域，抑制了背景区域的干扰。

Description

一种基于局部结构检测和对比度的视觉显著图生成方法

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种基于局部结构检测和对比度的视觉显著图生成方法。

背景技术

目前图像的视觉显著性检测方法主要分为两大类：数据驱动的自底向上模型和任务驱动的自顶向下模型。任务驱动模型的思想是利用已知任务的先验知识对特定对象在场景中进行视觉搜索，提取相应的显著特征，计算得到的显著图都是与具体的任务相关。数据驱动的自底向上模型所定义的显著性是指图像中具有差异性、不可预测性、稀少性和奇异性的对象，其采取的思路是提取图像的底层特征，如亮度、颜色、纹理等，进而通过“中心-周围”算子的差异性来衡量局部区域的显著度，最后合并所有的特征形成以灰度表示的显著图。

现有的基于底层特征进行显著性检测的方法主要是依赖于像素点(或区域)间的相互对比，对空间关系的引入不合理，以及缺乏对显著目标自身特性的分析和利用。

发明内容

针对上述问题和不足，本发明提供一种基于局部结构检测和对比度的视觉显著图生成方法，以生产全分辨率显著图，使得所获得的显著图更加突出了目标区域，抑制了背景区域的干扰。

本发明提供一种基于局部结构检测和对比度的视觉显著图生成方法，包括：

对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息；

根据所述背景区域的分布信息，计算所述原始图像中各像素点的颜色特征与所述背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图；

根据所述目标区域的分布信息，计算所述原始图像中各像素点与所述目标区域的质心坐标之间的空间距离，并基于空间距离生成所述原始图像中各像素点的位置关系权重值；

根据所述原始图像中各像素点的位置关系权重值对所述初始显著图进行优化以生成所述原始图像的优化显著图。

具体地，在上述方案的基础上，所述对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息包括：

步骤1、对输入的原始图像进行灰度变换提取灰度特征，并对所述原始图像进行分块操作，计算以所述原始图像中某一像素点为中心的N×N邻域图块的一阶局部梯度向量

步骤2、定义所述邻域图块的局部结构张量，即局部梯度协方差矩阵计算所述局部梯度协方差矩阵的特征值λ₁和λ₂；

步骤3、若max(λ₁,λ₂)≥λ则所述某一像素点属于目标区域，若max(λ₁,λ₂)＜λ则所述某一像素点属于背景区域，其中λ为预设的经验阈值；

采用步骤1～步骤3遍历分析所述原始图像中所有像素点以获取原始图像中目标区域和背景区域的分布信息。

具体地，在上述方案的基础上，所述对输入的原始图像进行灰度变换提取灰度特征之后，对所述原始图像进行分块操作之前，还包括：

采用高斯滤波方法减少所述原始图像的噪声。

具体地，在上述方案的基础上，所述N为40，经验阈值λ设定为5×10⁴。

具体地，在上述方案的基础上，所述根据所述背景区域的分布信息，计算所述原始图像中各像素点的颜色特征与所述背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图包括：

提取所述原始图像在CIE Lab颜色空间的三个颜色通道特征，以每个像素点所对应的l，a，b颜色特征分量作为所述像素点的颜色特征C＝(l,a,b)；

根据所述原始图像中目标区域和背景区域的分布信息建立二值化掩膜S_mask，其中背景区域设为0，目标区域设为1，利用所述二值化掩膜S_mask计算所述背景区域中所有像素点的颜色均值C_m＝(l_m,a_m,b_m)；

以所述背景区域中所有像素点的颜色均值作为参考衡量标准，计算所述原始图像中所有像素点的颜色特征与所述颜色均值之间的欧氏距离d_color＝||C-C_m||，并以所述欧氏距离作为全局颜色对比度显著性度量值；

根据所述全局颜色对比度显著性度量值生成原始图像的初始显著图。

具体地，在上述方案的基础上，所述根据所述目标区域的分布信息，计算所述原始图像中各像素点与所述目标区域的质心坐标之间的空间距离，并基于空间距离生成所述原始图像中各像素点的位置关系权重值包括：

根据所述目标区域的分布信息，定义所述原始图像中目标区域的质心位置P_m＝(x_m,y_m)，即目标区域的像素点坐标均值；

以所述质心位置为参考点，计算每个像素点的空间距离度量关系d_position＝||P-P_m||，其中P为某个像素点的坐标值；

生成每个像素点的空间关系权重值w＝exp(-1/2σd_position)，其中σ为衡量空间距离权重对显著度的影响因子。

具体地，在上述方案的基础上，根据所述原始图像中各像素点的位置关系权重值对所述初始显著图进行优化以生成所述原始图像的优化显著图包括：

定义优化公式S_optimization＝log(1+wd_color)，其中S_optimization为优化的显著性检测结果，w为空间位置关系权重，d_color为全局颜色对比度显著性度量值；

根据所述S_optimization，为原始图像每个像素点分配显著值，并以此作为灰度值生成所述原始图像的优化显著图。

相对于现有的其他图像视觉显著性进行检测方法，本发明提供的方法在基于图像的局部结构特征分析基础上，获得了关于图像中目标和背景区域的大致分布信息后，再对图像的全局颜色对比度进行定义和计算显著性。以像素为单位计算显著性确保了所得到的显著图具有全分辨率，能反映出更多显著目标的细节。对背景分布信息和目标分布信息的合理利用和引入，使得所获得的显著图更加突出了目标区域，抑制了背景的干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于局部结构检测和对比度的视觉显著图生成方法实施例的流程图；

图2为软件实验仿真图1的方法与其他方法的客观性能评价图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的基于局部结构检测和对比度的视觉显著图生成方法实施例的流程图，如图1所示，该方法可以包括：

步骤101、对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息；

步骤102、根据所述背景区域的分布信息，计算所述原始图像中各像素点的颜色特征与所述背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图；

图像中的对比度信息(即颜色距离值)是引起视觉注意的非常重要的一个因素。自然场景图像中，人们很容易注意到与背景形成鲜明对比的区域，颜色对比度是相对于灰度信息而言更全面的对物体的表达，基于全局颜色对比度的显著性计算主要考虑突出图像中与背景对比度差异明显的目标区域。

步骤103、根据所述目标区域的分布信息，计算所述原始图像中各像素点与所述目标区域的质心坐标之间的空间距离，并基于空间距离生成所述原始图像中各像素点的位置关系权重值；

其中，所述目标区域的质心坐标是目标区域的所有像素点的坐标均值。

步骤104、根据所述原始图像中各像素点的位置关系权重值对所述初始显著图进行优化以生成所述原始图像的优化显著图。因上述步骤均是以像素为单位进行计算，因此生成的所述原始图像的优化显著图具有全分辨率。

在从全局计算每个像素的颜色特征相对于背景颜色均值的对比度时，还应该注意到目标通常在图像中是集中分布的特性，即需要考虑以目标的空间位置为参考的空间关系，并以此来优化全局颜色对比度显著图。

本发明提供的方法在基于图像的局部结构特征分析基础上，获得了关于图像中目标和背景区域的大致分布信息后，再对图像的全局颜色对比度进行定义和计算显著性。以像素为单位计算显著性确保了所得到的显著图具有全分辨率，能反映出更多显著目标的细节。对背景分布信息和目标分布信息的合理利用和引入，使得所获得的显著图更加突出了目标区域，抑制了背景的干扰。

在上述实施例的步骤中，具体地，步骤101可以包括：

步骤1、对输入的原始图像进行灰度变换提取灰度特征，并对所述原始图像进行分块操作，计算以所述原始图像中某一像素点为中心的N×N邻域图块的一阶局部梯度向量比如设定N为40。

步骤2、定义所述邻域图块的局部结构张量，即局部梯度协方差矩阵计算所述局部梯度协方差矩阵的特征值λ₁和λ₂

特征值的大小反应了图像中相应特征方向上结构变化的程度；

步骤3、若max(λ₁,λ₂)≥λ则所述某一像素点属于目标区域，若max(λ₁,λ₂)＜λ则所述某一像素点属于背景区域，其中λ为预设的经验阈值，比如经验阈值λ可以设定为5×10⁴；

采用步骤1～步骤3遍历分析所述原始图像中所有像素点以获取原始图像中目标区域和背景区域的分布信息。

在上述实施例的步骤中，具体地，步骤102可以包括：

提取所述原始图像在CIE Lab颜色空间的三个颜色通道特征，以每个像素点所对应的l，a，b颜色特征分量作为所述像素点的颜色特征C＝(l,a,b)；

根据所述原始图像中目标区域和背景区域的分布信息建立二值化掩膜S_mask，其中背景区域设为0，目标区域设为1，利用所述二值化掩膜S_mask计算所述背景区域中所有像素点的颜色均值C_m＝(l_m,a_m,b_m)；

以所述背景区域中所有像素点的颜色均值作为参考衡量标准，计算所述原始图像中所有像素点的颜色特征与所述颜色均值之间的欧氏距离d_color＝||C-C_m||，并以所述欧氏距离作为全局颜色对比度显著性度量值；

根据所述全局颜色对比度显著性度量值生成原始图像的初始显著图。

在上述实施例的步骤中，具体地，步骤103可以包括：

根据所述目标区域的分布信息，定义所述原始图像中目标区域的质心位置P_m＝(x_m,y_m)，即目标区域的像素点坐标均值；

以所述质心位置为参考点，计算每个像素点的空间距离度量关系d_position＝||P-P_m||。其中P为某个像素点的坐标值；

生成每个像素点的空间关系权重值w＝exp(-12σd_position)，其中σ为衡量空间距离权重对显著度的影响因子。

在上述实施例的步骤中，具体地，步骤104可以包括：

定义优化公式S_optimization＝log(1+wd_color)，其中S_optimization为优化的显著性检测结果，w为空间位置关系权重，d_color为全局颜色对比度显著性度量值；公式等号左边为优化后得到的结果，右边是通过权值w，对之前检测得到的结果d进行优化。具体优化的方式可以是：w是取值范围小于1的正数，假定在计算某一个像素点的显著值时，w很小，则反映了该像素点偏离目标区域的位置较远，此时w对计算结果S_optimization的影响也越大，举例而言，极端情况下若w取0，即像素点偏离目标无限远，则根据该公式S_optimization即为0，也就是显著值为0。反之，当w取1时，即该像素点恰好位于目标区域的质心处，此时根据公式来计算S_optimization时起影响作用的就是d_color，即距离权重w此时影响最弱。

根据所述S_optimization，为原始图像每个像素点分配显著值，并以此作为灰度值生成所述原始图像的优化显著图。

图2为软件实验仿真图1的方法与其他方法的客观性能评价图，如图2所示，和其它相关类似方法(SR、GB、AC、FT、HC)的对比，客观评价采用了准确率-召回率曲线。准确率反映了检测算法的有效性，即算法所检测到的显著性像素同时是人工标注显著区域像素与整个显著检测区域的比值，召回率反映了算法检测的完整性，是人工标注的参考区域中能被正确检测的像素的比值。其中：

从图2可以看出，准确率-召回率曲线与采用类似方法的现有最好技术相比，均具有很高的结果，本发明的技术效果在于：

1.本发明所提出的方法以像素为基本单位，所获得的是全分辨率显著图；

2.本发明利用基于局部结构特征分析的方法，获得背景区域的分布信息，以此作为参考，提高了所检测的图像中目标与背景之间的显著性差异度，对背景的有效估计提高了显著目标检测的可靠性；

3.本发明利用基于局部结构特征分析的方法，获得目标区域的分布信息，以此计算每个像素的空间距离关系并作为权重，优化了最终的显著性检测结果，取得了抑制背景和突出目标的效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，包括：

对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息；

根据所述背景区域的分布信息，计算所述原始图像中各像素点的颜色特征与所述背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图；

根据所述目标区域的分布信息，计算所述原始图像中各像素点与所述目标区域的质心坐标之间的空间距离，并基于空间距离生成所述原始图像中各像素点的位置关系权重值；

根据所述原始图像中各像素点的位置关系权重值对所述初始显著图进行优化以生成所述原始图像的优化显著图。

2.根据权利要求1所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，所述对原始图像进行局部结构特征分析，以获取原始图像中目标区域和背景区域的分布信息包括：

步骤1、对输入的原始图像进行灰度变换提取灰度特征，并对所述原始图像进行分块操作，计算以所述原始图像中某一像素点为中心的N×N邻域图块的一阶局部梯度向量

步骤2、定义所述邻域图块的局部结构张量，即局部梯度协方差矩阵计算所述局部梯度协方差矩阵的特征值λ₁和λ₂；

步骤3、若max(λ₁,λ₂)≥λ则所述某一像素点属于目标区域，若max(λ₁,λ₂)＜λ则所述某一像素点属于背景区域，其中λ为预设的经验阈值；

采用步骤1～步骤3遍历分析所述原始图像中所有像素点以获取原始图像中目标区域和背景区域的分布信息。

3.根据权利要求2所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，所述对输入的原始图像进行灰度变换提取灰度特征之后，对所述原始图像进行分块操作之前，还包括：

采用高斯滤波方法减少所述原始图像的噪声。

4.根据权利要求2所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，所述N为40，经验阈值λ设定为5×10⁴。

5.根据权利要求1所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，所述根据所述背景区域的分布信息，计算所述原始图像中各像素点的颜色特征与所述背景区域颜色均值之间的颜色距离值，并基于颜色距离值生成原始图像的初始显著图包括：

提取所述原始图像在CIE Lab颜色空间的三个颜色通道特征，以每个像素点所对应的l，a，b颜色特征分量作为所述像素点的颜色特征C＝(l,a,b)；

根据所述原始图像中目标区域和背景区域的分布信息建立二值化掩膜S_mask，其中背景区域设为0，目标区域设为1，利用所述二值化掩膜S_mask计算所述背景区域中所有像素点的颜色均值C_m＝(l_m,a_m,b_m)；

以所述背景区域中所有像素点的颜色均值作为参考衡量标准，计算所述原始图像中所有像素点的颜色特征与所述颜色均值之间的欧氏距离d_color＝||C-C_m||，并以所述欧氏距离作为全局颜色对比度显著性度量值；

根据所述全局颜色对比度显著性度量值生成原始图像的初始显著图。

6.根据权利要求5所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，所述根据所述目标区域的分布信息，计算所述原始图像中各像素点与所述目标区域的质心坐标之间的空间距离，并基于空间距离生成所述原始图像中各像素点的位置关系权重值包括：

根据所述目标区域的分布信息，定义所述原始图像中目标区域的质心位置P_m＝(x_m,y_m)，即目标区域的像素点坐标均值；

以所述质心位置为参考点，计算每个像素点的空间距离度量关系d_position＝||P-P_m||，其中P为某个像素点的坐标值；

生成每个像素点的空间关系权重值w＝exp(-1/2σd_position)，其中σ为衡量空间距离权重对显著度的影响因子。

7.根据权利要求6所述的基于局部结构检测和对比度的视觉显著图生成方法，其特征在于，根据所述原始图像中各像素点的位置关系权重值对所述初始显著图进行优化以生成所述原始图像的优化显著图包括：

定义优化公式S_optimization＝log(1+wd_color)，其中S_optimization为优化的显著性检测结果，w为空间位置关系权重，d_color为全局颜色对比度显著性度量值；

根据所述S_optimization，为原始图像每个像素点分配显著值，并以此作为灰度值生成所述原始图像的优化显著图。