CN105825238A - 一种视觉显著性目标的检测方法 - Google Patents

Abstract

本发明公开了一种视觉显著性目标的检测方法，其步骤是：(1)输入待检测图像，在基于Itti视觉注意力模型的基础上运用谱残差和频率调制模型来提取改进后的颜色，亮度和方向的显著性图；(2)通过k均值聚类得到各个通道显著性图像中显著性区域与非显著性区的对比差，获得各个通道显著性图像的最优权值；(3)对各个通道的显著性图像加权，得到原始图像的显著性图，该显著性图的显著性区域即为目标区域。本发明能够改善现有视觉注意力模型的不足，有效地突出显著性区域和抑制非显著性区域，从而更好的模拟人类视觉注意力对自然场景目标的定位。

Description

一种视觉显著性目标的检测方法

技术领域

本发明涉及机器视觉注意力，用于目标识别，尤其涉及到一种视觉显著性目标的检测方法。

背景技术

机器视觉注意力可以用来提取自然场景中的显著性的区域，是计算机视觉和模式识别系统中的关键技术，也是计算机视觉的后期处理的前提，视觉注意力的检测结果会直接影响计算机视觉的后期处理的效果，随着科技的发展，人们发现图像内容具有很强的复杂性，不适和将全部内容进行计算机视觉处理，研究者们受到人类视觉注意力系统的启发，希望机器视觉也像人类视觉系统那样具有高效的数据筛选能力，因此提出了机器视觉的视觉注意力模型。

视觉注意力系统是是人类视觉系统的重要的前期处理系统，可以非均匀的分配感知资源，对原始的图像数据进行高效的筛选，将大部分的处理单元分配在感兴趣的区域上，从而提高视觉系统的处理能力。

注意力是一个神经生理学的概念，许多神经生理学和心理学家都提出了很多人类视觉系统注意力的模型，用来解释人类在自然场景中可以将注意力集中在某个目标上的能力，受此启发，如何将计算机视觉也具有视觉注意力模型的能力就成了各国的研究者们研究的热门课题。

视觉注意力模型分为两个大部分，一个是自下而上得数据驱动的模型，另一个是自上而下的任务驱动的模型，目前大多数模型都是基于自下而上的模型，首个机器视觉的注意力模型是由Milanese于1994年实现的，Milanese基于人类视觉系统的视觉感受野的中央—周围感受野的互相抑制原理，提出了中心—边缘操视觉注意力模型分为两个大部分，一个是自下而上得数据驱动的模型，另一个是自上而下的任务驱动的模型，目前大多数模型都是基于自下而上的模型，首个机器视觉的注意力模型是由Milanese于1994年实现的，Milanese基于人类视觉系统的视觉感受野的中央—周围感受野的互相抑制原理，提出了中心—边缘操作，产生对比度信息，目前最为经典的机器视觉注意力模型是由Itti(美国南加州大学教授)提出的，他在Milanese的中心—边缘操作的基础上，提出了多分辨率分解金字塔，通过多分辨率分解和中心—边缘操作来提取颜色，亮度，方向三个通道的特征图，并将这些特征图跨尺度整合到一个显著图中，从而显示出视觉系统的感兴趣区域，此模型不需要任何先验知识，在没有特定观测任务下，完全由输入图像的初级视觉特征决定，是一种初级的视觉注意力提取模型，Itti和koch在“Amodelofsaliency—basedvisualattentionforrapidsceneanalysis,IEEEtransactionsonpatternanalysisandmachineintelligence.VOL20,NO.11,november,1998”改进了该模型，取得了代表性的结果，受此启发，研究者们提出了各自的模型，在文献“Frequency-turnedSalientRegionDetectioncvpr2009”中，SabineSusstrunk等人提出了一种频域调制模型，此模型的显著性的检测效果一般，但具有很好的区域分割性能，在文献“SaliencyDetection:ASpectralResidualcvpr2007”中，侯晓迪先生提出了基于谱残差的模型，此模型不同于Itti等人关注图片上的突出部分的思路，而是关注图片的背景，找出图片背景的通用特性，但此模型忽略了图片的目标特性，这些模型在显著性区域提取的过程中，都有上述各自的不足，并将所有的特征等同对待，采用简单的线性加和的方法进行特征的整合，没有利用特征的权值进行特征的整合，所以在自然场景中的检测具有准确率低，易受背景环境的干扰的不足。

本发明是主要解决现有的视觉注意力模型在自然各种场景中的目标检测中正确率低，易受自然场景中非显著区域的干扰的不足。

发明内容

针对现有的视觉注意力模型在自然各种场景中的目标检测中正确率低，易受自然场景中非显著区域的干扰的不足，本发明提供一种视觉显著性目标的检测方法。

本发明一种视觉显著性目标的检测方法是通过如下技术方案实现的：

一种视觉显著性目标的检测方法，包括如下步骤：

步骤1将原始图像分为三个特征通道，包括颜色，亮度和方向通道图像；

步骤2提取颜色通道的显著性图像：将颜色通道分为三个部分，分别是亮度部分、RG部分和BY部分；

步骤2.1对步骤2中亮度部分、RG部分和BY部分分别运用Itti视觉注意力模型进行多分辨率分解，用中央—周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得到颜色通道的三个部分的显著性初次提取显著性图；

步骤2.2对步骤2.1中进行初次提取的亮度、RG和BY显著性图像进行重构，构成RGB图像；

步骤2.3运用频率调制模型对于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图C；

步骤3提取步骤1中亮度和方向通道的显著性图像；

步骤3.1对步骤3中亮度和方向通道的显著性图像分别做傅里叶变换，得到其各自的谱残差R(f)和相位谱p(f)，再将谱残差R(f)和相位谱p(f)做二维离散傅里叶反变换，从而得到亮度和方向两个通道上的原始图像显著性初次提取的显著性图；

步骤3.2对步骤3.1亮度和方向两个通道上初次提取的显著性图运用Itti视觉注意力模型对所得的显著性图分别进行多分辨率分解，再用中央—周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得到亮度和方向两个通道上的显著性的再次提取的显著性图B，D；

步骤4对步骤2.3得到的颜色通道的显著性图C、步骤3.2得到的亮度和方向两个通道上的显著性的再次提取的显著性图B，D三个通道的显著性图像进行进一步地突出显著的特征；

步骤5运用k均值聚类的算法将三个通道的显著性图像C、B、D中每幅显著性图像均聚为两类，即为显著性区域和非显著性区域，计算显著性区域centroid1和非显著性区域centroid2的对比差，公式为：

compare＝|centroid1-centroid2|

其中，颜色、亮度、方向通道的对比差分别为compare(1)、compare(2)、compare(3)；

权值公式为：

$weight\left(x\right)=\frac{compare\left(x\right)}{compare\left(1\right)+compare\left(2\right)+compare\left(3\right)}$

其中，x取值为1、2、3。

步骤6利用步骤5得到的各个通道的权值，对三个通道的显著性图像进行线性加和，从而得到原始图像的显著性图，公式为：

SD＝weight(1)×C+weight(2)×B+weight(3)×D

其中，C为颜色通道的显著性图，B为亮度通道的显著性图，D为方向通道的显著性图，SD为原始图像显著性图像。

进一步的，对步骤2中颜色通道进行分类：分成亮度、RG和BY部分，其公式如下：

$R=r-\frac{(g+b)}{2},G=g-\frac{(r+b)}{2},B=b-\frac{(r+g)}{2},Y=\frac{(r+g)}{2},\frac{|r-g|}{2}-b,$

RG＝|R-G|，BY＝|B-Y|

其中，r，g，b为原始图像的红绿蓝三个分量，light，RG，BY即为颜色通道中的亮度、RG和BY三个部分；

进一步的，对步骤2.2中重构的RGB图像，其重构公式为：

RGB＝cat(3，salien(light)，salien(RG)，salien(BY))；

其中，salien(light)，salien(RG)，salien(BY)分别为颜色通道中的亮度，RG，BY三个部分的显著性初次提取的显著性图。

进一步的，对步骤2.3对于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图C；先将重构后的RGB图像C进行高斯滤波，然后转化为Lab颜色空间，其中RGB图像的salien(light)对应于Lab颜色空间的照度通道L，最后再次提取显著性图，其公式如下：

S(x，y)＝||I_u-I_whc(x，y)||

其中，I_u为Lab颜色空间像素值在L，a，b这三个色彩通道上的全局平均，I_whc(x，y)是高斯滤波后的图像在空间上某一点的Lab像素值，||.||是求得I_u与I_whc(x，y)的欧式距离，S(x，y)即为颜色通道显著性再次提取后的显著性图。

进一步的，对于步骤3所述的提取亮度，方向上的显著性图：得到亮度特征图light＝(r+g+b)/3，方向特征图为不同角度的Gabor滤波器与亮度特征图卷积得到。

有益效果：

1.该方法可以解决现有的视觉注意力模型在自然各种场景中的目标检测中正确率低，易受自然场景中非显著区域的干扰的问题，有效地突出显著性区域和抑制非显著性区域，从而更好的模拟人类视觉注意力对自然场景目标的定位。

2.本发明在Itti视觉注意力模型的颜色，亮度，方向这三个原始的通道上融合了频域范围的显著性区域提取方法，进行了显著性区域的分割和背景干扰的滤除，分别利用了频率调制模型和基于谱残差的模型，提高了显著性区域提取的准确性，与此同时利用k均值聚类算法将三个通道的显著性图像进行聚类，计算显著性区域中心与非显著性区域中心的对比差，从而确定每个通道的显著性图像的权值，提高了显著性区域提取的准确性，避免了背景的干扰。

附图说明

图1为本发明流程图；

图2为本发明模块工作流程图；

具体实施方式

现结合附图对本发明做进一步的描述：

结合附图1对本发明阐述的方法进行描述：

步骤1输入原始图像并将该原始图像分为三个特征通道，包括色彩、亮度和方向三个部分：首先提取颜色通道的显著性图，提取亮度和方向的显著性图；

步骤2.对输入的图像进行处理，即提取颜色通道的显著性图；

在自然场景中显著性受亮度的影响较大，因此在提取颜色通道的显著性图像时也引入亮度因素；

步骤2.1将颜色通道分为三个部分，分别为亮度、分别为亮度、RG、BY部分，运用Itti模型对三个部分分别进行多分辨率分解；

亮度，RG和BY，其公式如下：

$R=r-\frac{(g+b)}{2},G=g-\frac{(r+b)}{2},B=b-\frac{(r+g)}{2},Y=\frac{(r+g)}{2}-\frac{|r-g|}{2}-b,$

RG＝|R-G|，BY＝|B-Y|

其中r，g，b为原始图像的红绿蓝三个分量，light，RG，BY即为颜色通道的三个部分；

步骤2.2对不同尺度大小的分解图像进行跨尺度的图像合并得到特征图，再进行突出特征图的显著部分，即先将各个特征图平方，再乘以其中M为特征图的最大值，m为其余所有局部极值点的平均值，n为数值大于M/2de极值点的个数，r，c分别为特征图的高和宽；

步骤2.3对不同尺度大小的特征图，先进行跨尺度的图像合并，然后归一化操作，从而得到三个部分的显著性初次提取显著性图；

步骤2.4将三个部分的显著性图像进行重构成RGB图像，公式如下：RGB＝cat(3，salien(light)，salien(RG)，salien(BY))其中salien(light)，salien(RG)，salien(BY)分别为颜色通道中的亮度，RG，BY三个部分的显著性初次提取的显著性图，此时salien(light)对应于下一步骤中转化为Lab彩色空间中的照度L，salien(RG)，salien(BY)分别对应于Lab彩色空间中的a，b色彩；

步骤2.5将重构所得RGB的图像转化为Lab空间的图像，其中亮度部分的显著性的初次提取显著性图对应于Lab空间的照度L；

步骤1.6运用频率调制模型进行显著性再次提取，公式如下：

S(x，y)＝||I_u-I_whc(x，y)||

其中I_u是Lab颜色空间像素值在L，a，b这三个色彩通道上的全局平均，I_whc(x，y)是高斯滤波后的图像在空间上某一点的Lab像素值，||.||是求得I_u与I_whc(x，y)的欧式距离，S(x，y)为显著性再次提取后的显著性图像，即为颜色通道的显著性图像C；

步骤3提取亮度和方向的显著性图；

步骤3.1产生亮度，方向通道的特征图，所述亮度通道的特征图是通过公式为：light＝(r+g+b)/3，方向通道的特征图是通过亮度的特征图与四个不同角度的Gabor滤波器卷积得到；二维Gabor滤波器的公式如下：

$G=\exp (-\frac{{(x*cos\mathrm{\θ}+y*\sin \mathrm{\θ})}^2+{\mathrm{\ψ}}^2{(y*cos\mathrm{\θ}-x*\sin \mathrm{\θ})}^2}{2*a^2})*cos\left(2\mathrm{\π}\frac{x*cos\mathrm{\θ}+y*\sin \mathrm{\θ}}{\mathrm{\λ}}\right)$

其中，角度θ∈{0⁰，45⁰，90⁰，135⁰}，ψ是方向曲率，α标准差，λ是波长，G即为Gabor滤波器；

步骤3.2生成谱残差与相位差：通过对所得特征图进行傅里叶变换，得到幅值谱与相位谱，进而得到log谱，谱残差即为log谱与其进行均值滤波后的差；

谱残差R(f)和相位谱p(f)，公式如下：

A(f)＝|F(i(x))|，

L(f)＝log(A(f))，

T(f)＝h(f)＊L(f)

其中，|.|是求幅值，F()是进行二维离散傅里叶变换，i(x)分别是亮度特征图和四个角度的方向特征图，A(f)是幅度谱，p(f)是相位谱，是相位，L(f)是log谱，h(f)是均值滤波器，＊表示卷积，所以谱残差就是log谱与其进行均值滤波后的差，公式为：

R(f)＝L(f)-T(f)

步骤3.3基于谱残差的显著性初次提取：对各个特征图所得的各自的谱残差和相位差进行二维离散傅里叶反变换，得到显著性初次提取的一个亮度通道和四个不同角度的方向通道的显著性图；

S(x)＝|F^-1(exp(R(f)+i*p(f)))|²

其中，S(x)即为显著性初次提取后的显著性图像,i代表复数，*表示相乘；

步骤3.4运用Itti模型的显著性再次提取：运用Itti视觉注意力模型对所得的五幅显著性图分别进行多分辨率分解，中央—周边算子，跨尺度合并，突出各个显著图的显著部分和归一化，得到亮度和方向两个通道上的显著性再次提取的显著性图B，D；

步骤4对所得的三个通道C、B，D；的显著性图像进行进一步地突出显著的特征，具体应用公式如下：

其中，I是三个通道的显著性图像，number为各个显著性图像中超过阈值thresh的个数，在本模型中阈值取最大像素值的一半，I'为显著性加强后的显著性图像；

步骤5确定各个显著性图像的权值；

步骤5.1对三个显著性图像进行k均值聚类；一般地，初始聚类中心的确定，将显著性图分为两类，分别是显著性区域(初始聚类中心为200)和非显著性区域(初始聚类中心为20)，对样本进行聚类：按照就近原则，将某一样本归入的最近的聚类中心所代表的类中，重新计算样本均值，更新聚类中心，然后取下个样本，重复以上操作，直到所有样本取完；判断聚类是否合理：运用相邻两次更新的聚类中心的距离小于0.001为标准，判断聚类是否合理。

步骤6三个通道的显著性图的权值的确定：通过计算每幅显著性图中的显著性区域与非显著性区域的对比差在所有图像的对比差的占比，来获得权值。

步骤7生成原始图像的显著性图：对三个通道的显著性图进行线性加和，得到原始图像的显著性图像。

结合附图2对本发明所用模块进行说明：

提取亮度，方向通道的显著性图模块，包括：产生亮度，方向通道的特征图子模块；生成谱残差与相位差的子模块，通过对所得特征图进行傅里叶变换，得到幅值谱与相位谱，进而得到log谱，谱残差即为log谱与其进行均值滤波后的差；基于谱残差的显著性初次提取的显著性图的子模块，对各个特征图所得的各自的谱残差和相位差进行二维离散傅里叶反变换，得到显著性初次提取的五幅显著性图；基于Itti模型的显著性再次提取子模块，运用Itti视觉注意力模型对所得的五幅显著性图分别进行多分辨率分解，中央—周边算子，突出各个特征图的显著部分和跨尺度合并，归一化，得到亮度和方向两个通道上的显著性的再次提取的两幅显著性图B，D；对三个通道的显著性图像进行进一步地突出显著性图像模块；

k均值聚类模板，包括如下子模块初始聚类中心的确定子模块，将显著性图分为两类，分别是显著性区域(初始聚类中心为200)和非显著性区域(初始聚类中心为20)聚类子模块，按照就近原则，将某一样本归入的最近的聚类中心所代表的类中，重新计算样本均值，更新聚类中心，然后取下个样本，重复以上操作，直到所有样本取完；判断聚类是否合理子模块，运用相邻两次更新的聚类中心的距离小于0.001为标准，判断聚类是否合理；三个通道的显著性图的权值的确定模块，通过计算每幅显著性图中的显著性区域与非显著性区域的对比差在所有图像的对比差的占比，来获得权值；输出模块，对三个通道的显著性图进行线性加和，得到原始图像的显著性图像。

本发明方法的实现是在如下模块相结合的作用下实现的：

首先，输入图像，利用提取颜色通道的显著性图像模块和提取亮度、方向通道的显著性图模块对颜色、亮度和方向进行提取；

对提取后的颜色采用Itti视觉注意力模型初次提取显著图子模块对图像进行初次显著性处理，采用突出各个特征图的显著部分子模块对经过初次显著性处理的颜色通道显著性图进行突出显著性处理，对颜色通道的三个部分，分别是亮度部分、RG部分和BY部分利用RGB颜色图像重构子模块进行重构，运用频率调制模型进行显著性再次提取子模块对于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图像C；

对提取后的亮度、方向通道的显著性图像利用产生亮度，方向通道的特征图子模块进行初次显著性处理，利用生成谱残差与相位差的子模块、基于谱残差的显著性初次提取的显著性图的子模块、基于Itti模型的显著性再次提取子模块对亮度、方向通道进行显著性处理，得到显著性图像B，D；

对显著性图像C、B，D运用显著性图像进行进一步的突出显著性图像模块对图像进一步的处理，k均值聚类模块、初始聚类中心的确定子模块、判断聚类是否合理子模块、三个通道的显著性图的权值的确定模块对图像进行处理，从而得到原始图像的显著性图，利用输出模块输出。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (5)

1.一种视觉显著性目标的检测方法，其特征在于：包括如下步骤：

步骤1将原始图像分为三个特征通道，包括颜色，亮度和方向通道图像；

步骤2提取颜色通道的显著性图像：将颜色通道分为三个部分，分别是亮度部分、RG颜色部分和BY颜色部分；

步骤2.1对步骤2中亮度部分、RG部分和BY部分分别运用Itti视觉注意力模型进行多分辨率分解，用中央—周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得到颜色通道的三个部分的显著性初次提取显著性图；

步骤2.2对步骤2.1中进行初次提取的亮度、RG和BY显著性图像进行重构，构成RGB图像；

步骤2.3运用频率调制模型对于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图C；

步骤3提取步骤1中亮度和方向通道的显著性图像；

步骤3.1对步骤3中亮度和方向通道的显著性图像分别做傅里叶变换，得到其各自的谱残差R(f)和相位谱p(f)，再将谱残差R(f)和相位谱p(f)做二维离散傅里叶反变换，从而得到亮度和方向两个通道上的原始图像显著性初次提取的显著性图；

步骤3.2对步骤3.1亮度和方向两个通道上初次提取的显著性图运用Itti视觉注意力模型对所得的显著性图分别进行多分辨率分解，再用中央—周边算子，突出各个特征图的显著部分和跨尺度合并，归一化后得到亮度和方向两个通道上的显著性的再次提取的显著性图B，D；

步骤4对步骤2.3得到的颜色通道的显著性图C、步骤3.2得到的亮度和方向两个通道上的显著性的再次提取的显著性图B，D三个通道的显著性图像进行进一步地突出显著的特征；

步骤5运用k均值聚类的算法将三个通道的显著性图像C、B、D中每幅显著性图像均聚为两类，即为显著性区域和非显著性区域，计算显著性区域centroid1和非显著性区域centroid2的对比差，公式为：

compare＝|centroid1-centroid2|

其中，颜色、亮度、方向通道的对比差分别为compare(1)、compare(2)、compare(3)；

权值公式为：

$weight\left(x\right)=\frac{compare\left(x\right)}{compare\left(1\right)+compare\left(2\right)+compare\left(3\right)}$

其中，x取值为1、2、3。

步骤6利用步骤5得到的各个通道的权值，对三个通道的显著性图像进行线性加和，从而得到原始图像的显著性图，公式为：

SD＝weight(1)×C+weight(2)×B+weight(3)×D

其中，C为颜色通道的显著性图，B为亮度通道的显著性图，D为方向通道的显著性图，SD为原始图像显著性图像。

2.根据权利要求1所述的视觉显著性目标的检测方法，其特征在于：对步骤2中颜色通道进行分类：分成亮度、RG和BY部分，其公式如下：

$\begin{array}{c}R=r-\frac{(g+b)}{2},G=g-\frac{r+b)}{2},B=b-\frac{(r+g)}{2},Y=\frac{(r+g)}{2}-\frac{\left|r-g\right|}{2}-b,\\ light=\frac{(r+g+b)}{3},RG=\left|R-G\right|,BY=\left|B-Y\right|\end{array}$

其中，r，g，b为原始图像的红绿蓝三个分量，light，RG，BY即为颜色通道中的亮度、RG和BY三个部分；

3.根据权利要求1所述的视觉显著性目标的检测方法，其特征在于：对步骤2.2中重构的RGB图像，其重构公式为：

RGB＝cat(3，salien(light)，salien(RG)，salien(BY))；

其中，salien(light)，salien(RG)，salien(BY)分别为颜色通道中的亮度，RG，BY三个部分的显著性初次提取的显著性图。

4.根据权利要求1所述的视觉显著性目标的检测方法，其特征在于：对步骤2.3对于重构后的RGB图像进行显著性的再次提取，得到颜色通道的显著性图C；先将重构后的RGB图像C进行高斯滤波，然后转化为Lab颜色空间，其中RGB图像的salien(light)对应于Lab颜色空间的照度通道L，最后再次提取显著性图，其公式如下：

S(x，y)＝||I_u-I_whc(x，y)||

其中，I_u为Lab颜色空间像素值在L，a，b这三个色彩通道上的全局平均，I_whc(x，y)是高斯滤波后的图像在空间上某一点的Lab像素值，||.||是求得I_u与I_whc(x，y)的欧式距离，S(x，y)即为颜色通道显著性再次提取后的显著性图。

5.根据权利要求1所述的视觉显著性目标的检测方法，其特征在于：对于步骤3所述的提取亮度，方向上的显著性图：得到亮度特征图light＝(r+g+b)/3，方向特征图为不同角度的Gabor滤波器与亮度特征图卷积得到。