CN102867313A - 一种融合区域颜色和HoG特征的视觉显著性检测方法 - Google Patents

一种融合区域颜色和HoG特征的视觉显著性检测方法 Download PDF

Info

Publication number
CN102867313A
CN102867313A CN2012103118044A CN201210311804A CN102867313A CN 102867313 A CN102867313 A CN 102867313A CN 2012103118044 A CN2012103118044 A CN 2012103118044A CN 201210311804 A CN201210311804 A CN 201210311804A CN 102867313 A CN102867313 A CN 102867313A
Authority
CN
China
Prior art keywords
pixel region
super pixel
color
local rectangular
chrominance component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103118044A
Other languages
English (en)
Other versions
CN102867313B (zh
Inventor
周文晖
宋腾
孙志海
张桦
韦学辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining Dingcheng Intelligent Equipment Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201210311804.4A priority Critical patent/CN102867313B/zh
Publication of CN102867313A publication Critical patent/CN102867313A/zh
Application granted granted Critical
Publication of CN102867313B publication Critical patent/CN102867313B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种融合区域颜色和HoG特征的视觉显著性检测方法。目前方法通常都基于区域颜色特征的纯计算模型，对于纹理的显著性差异不敏感。本发明方法首先在原始图像的CIELAB空间彩色分量图上，通过分析超像素区域的颜色对比度和分布特性，计算每个像素的颜色显著性值；然后在原始图像的RGB空间彩色分量图上，提取基于HoG的局部矩形区域纹理特征，并通过分析局部矩形区域的纹理对比度和分布特性，计算每个像素的纹理显著性值；最后采用二次非线性融合方法将每个像素的颜色显著性值和纹理显著性值融合为该像素的最终显著性值。本发明方法获得不仅可获得符合人眼视觉感官的全分辨率显著性图像，并且对显著性目标具有更强的区分能力。

Description

一种融合区域颜色和HoG特征的视觉显著性检测方法
技术领域
本发明属于计算机视觉领域，具体来说是一种融合区域颜色对比度和梯度方向直方图（以下采用其英文简写“HoG”代替）特征的视觉显著性检测方法。
背景技术
视觉显著性被定义为视觉的不可预测性、稀缺性。由于相关的人类视觉注意理论的支持，视觉显著性模型提供了一种快速且高效的方法，在计算机视觉和图像处理中作为重要的预处理机制。
目前的研究成果表明，多数视觉显著性模型基于底层特征驱动的自底向上的过程。其中，具有深远意义的工作是L. Itti等人提出的特征融合理论。在他们的模型中，颜色、亮度和方向特征分别从输入图像中提取，标注地理特征地图，然后使用线性融合方式合成主显著性图像。A. Borji等人提出基于区域稀有性的分析方法。该方法是在Lab和RGB空间学习全局和局部的颜色特征，分配图像显著性。这些方法模拟人类眼球运动，追踪眼部的关注焦点，在生物学中有重要研究价值，但存在明显的不足：低分辨率，高亮局部轮廓，缺少完整的区域意识。
为此，R. Achanta等人提出了一种简单的频域协调方法，度量像素与图像平均色的差异决定图像的显著性。该方法得到全分辨率的显著性图。之后，R. Achanta等人改用最大对称环绕的检测算子，降低背景干扰。M.-M. Cheng等人用图分割抽象区域颜色，提出基于全局的区域空间相关性的计算模型，该方法是对区域对比理论的解释。最近，F. Perazzi等人引入显著性滤波器的概念，分别从元素独立性和空间分布两方面实现显著性滤波，得到与输入图像大小一致的高质量显著性图。这些方法都面向纯计算模型，表现出区域完整，物体轮廓清晰，复杂度低的优点。然而上述这些方法都是基于区域颜色，对于纹理的显著性差异不敏感。
发明内容
本发明针对现有技术的不足，融合区域颜色和HoG特征，提供了一种基于区域对比度的视觉显著性检测方法。
本发明方法的具体步骤如下：
步骤(1)：采用彩色变换方法，分别提取输入图像在Lab空间的l彩色分量图、a彩色分量图和b彩色分量图。
步骤(2)：采用SLIC超像素聚类方法，将输入图像划分为多个互不相交且区域面积近似相等的超像素区域。
步骤(3)：根据步骤(2)的结果，计算每个超像素区域的颜色特征，具体为：
对于超像素区域r i ，其颜色特征是由超像素区域r i 的颜色均值矢量                                               
Figure 2012103118044100002DEST_PATH_IMAGE002
、超像素区域r i 的质心坐标
Figure 2012103118044100002DEST_PATH_IMAGE004
和超像素区域r i 的面积率
Figure 2012103118044100002DEST_PATH_IMAGE006
组成。
所述的超像素区域r i 的颜色均值矢量
Figure 957607DEST_PATH_IMAGE002
表示为
Figure 2012103118044100002DEST_PATH_IMAGE008
，其中
Figure 2012103118044100002DEST_PATH_IMAGE010
为超像素区域r i 内所有像素的l彩色分量均值，
Figure 2012103118044100002DEST_PATH_IMAGE012
为超像素区域r i 内所有像素的a彩色分量均值，
Figure 2012103118044100002DEST_PATH_IMAGE014
为超像素区域r i 内所有像素的b彩色分量均值。
所述的超像素区域r i 的质心坐标
Figure 310966DEST_PATH_IMAGE004
表示为
Figure 2012103118044100002DEST_PATH_IMAGE016
，其中
Figure 2012103118044100002DEST_PATH_IMAGE018
为超像素区域r i 内所有像素垂直方向坐标的均值与输入图像高度的比值，
Figure 2012103118044100002DEST_PATH_IMAGE020
为超像素区域r i 内所有像素水平方向坐标的均值与输入图像宽度的比值。
所述的超像素区域r i 的面积率
Figure 966070DEST_PATH_IMAGE006
表示超像素区域r i 内的像素个数与输入图像总像素的比值。
步骤(4)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色独特性，具体为：
对于超像素区域r i ，其颜色独特性表示为：
      
Figure 2012103118044100002DEST_PATH_IMAGE024
其中
Figure 2012103118044100002DEST_PATH_IMAGE026
为超像素区域r i 和超像素区域r j 在Lab空间的颜色距离；
Figure 2012103118044100002DEST_PATH_IMAGE028
为超像素区域r i 和超像素区域r j 的空间相关性权重；n为步骤(2)中划分出的超像素个数。
所述的超像素区域r i 和超像素区域r j 在Lab空间的颜色距离
Figure 548229DEST_PATH_IMAGE026
表示为超像素区域r i 的颜色均值矢量与超像素区域r j 的颜色均值矢量
Figure 2012103118044100002DEST_PATH_IMAGE030
的L2距离，具体描述为：
      
Figure 2012103118044100002DEST_PATH_IMAGE032
所述的超像素区域r i 和超像素区域r j 的空间相关性权重
Figure 457220DEST_PATH_IMAGE028
具体表示为：
Figure 2012103118044100002DEST_PATH_IMAGE034
其中
Figure 2012103118044100002DEST_PATH_IMAGE036
为高斯函数标准差，
Figure 2012103118044100002DEST_PATH_IMAGE038
为超像素区域r i 的质心坐标
Figure 599619DEST_PATH_IMAGE004
与超像素区域r j 的质心坐标
Figure 2012103118044100002DEST_PATH_IMAGE040
的L2距离。
步骤(5)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色空间分布特性，具体为：
对于超像素区域r i ，其颜色空间分布特性
Figure 2012103118044100002DEST_PATH_IMAGE042
表示为：
      
Figure 2012103118044100002DEST_PATH_IMAGE044
其中
Figure 2012103118044100002DEST_PATH_IMAGE046
为超像素区域r i 和超像素区域r j 的空间距离；
Figure 2012103118044100002DEST_PATH_IMAGE048
为超像素区域r i 和超像素区域r j 的颜色相关性权重。
所述超像素区域r i 和超像素区域r j 的空间距离表示为超像素区域r i 的质心坐标
Figure 716666DEST_PATH_IMAGE004
与超像素区域r j 的质心坐标
Figure 21614DEST_PATH_IMAGE040
的L2距离，具体描述为：
          
Figure 2012103118044100002DEST_PATH_IMAGE050
所述的超像素区域r i 和超像素区域r j 的颜色相关性权重
Figure 838260DEST_PATH_IMAGE048
具体表示为：
      
Figure 2012103118044100002DEST_PATH_IMAGE052
其中
Figure 2012103118044100002DEST_PATH_IMAGE054
为高斯函数标准差，
Figure 2012103118044100002DEST_PATH_IMAGE056
为超像素区域r i 的颜色均值矢量
Figure 450639DEST_PATH_IMAGE002
与超像素区域r j 的颜色均值矢量
Figure 285608DEST_PATH_IMAGE030
的L2距离。 
步骤(6)：根据步骤(4)和步骤(5)的结果，计算每个超像素区域的颜色显著性值，具体为：
对于超像素区域r i ，其颜色显著性值
Figure 2012103118044100002DEST_PATH_IMAGE058
表示为：
        
Figure 2012103118044100002DEST_PATH_IMAGE060
其中
Figure 2012103118044100002DEST_PATH_IMAGE062
为高斯函数标准差。
步骤(7)：根据步骤(4)中得到的超像素区域的颜色独特性值，对超像素区域的颜色显著性值进行平滑优化，以保证颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的超像素区域的颜色显著性值的平滑优化方法具体为：
   对于超像素区域r i ，其颜色显著性值经平滑优化后结果
Figure 2012103118044100002DEST_PATH_IMAGE064
表示为：
            
Figure 2012103118044100002DEST_PATH_IMAGE066
其中
Figure 2012103118044100002DEST_PATH_IMAGE068
表示超像素区域r i 颜色独特性和超像素区域r j 颜色独特性的距离，
Figure 2012103118044100002DEST_PATH_IMAGE070
为距离归一化值。
步骤(8)：为输入图像中每个像素分配颜色显著性值，具体为：
对于超像素区域r i 中的像素
Figure 2012103118044100002DEST_PATH_IMAGE072
，其颜色显著性值
Figure 2012103118044100002DEST_PATH_IMAGE074
表示为：
         
步骤(9)：采用彩色变换方法，分别提取输入图像在RGB空间的r彩色分量图、g彩色分量图和b彩色分量图；计算r彩色分量图、g彩色分量图和b彩色分量图的积分图。
步骤(10)：利用步骤(9)的积分图结果，采用梯度方向直方图提取方法，将输入图像从图像左上角开始按序划分为若干个不重叠的8×8像素的局部矩形区域，并提取每个局部矩形区域的纹理特征。
所述的局部矩形区域的纹理特征提取方法具体为：
对于局部矩形区域t i ，其纹理特征是由局部矩形区域t i 的HoG矢量
Figure 2012103118044100002DEST_PATH_IMAGE078
和局部矩形区域t i 的质心坐标
Figure 2012103118044100002DEST_PATH_IMAGE080
组成。
所述的局部矩形区域t i 的HoG矢量
Figure 213988DEST_PATH_IMAGE078
表示为
Figure 2012103118044100002DEST_PATH_IMAGE082
，其中
Figure 2012103118044100002DEST_PATH_IMAGE084
，
Figure 2012103118044100002DEST_PATH_IMAGE086
为在
Figure 2012103118044100002DEST_PATH_IMAGE088
所属的彩色分量图上局部矩形区域t i 中所有像素在梯度方向为0°、20°、40°、60°、80°、100°、120°、140°、160°下的梯度幅度值。
所述的局部矩形区域t i 的质心坐标
Figure 393296DEST_PATH_IMAGE080
表示为
Figure 2012103118044100002DEST_PATH_IMAGE090
，其中
Figure 2012103118044100002DEST_PATH_IMAGE092
为局部矩形区域t i 内所有像素垂直方向坐标的均值，
Figure 2012103118044100002DEST_PATH_IMAGE094
为局部矩形区域t i 内所有像素水平方向坐标的均值。
步骤(11)：根据步骤(10)得到的每个局部矩形区域的纹理特征，计算每个局部矩形区域的纹理空间分布特性。
所述的局部矩形区域的纹理空间分布特性计算方法具体为：
对于局部矩形区域t i ，其纹理空间分布特性
Figure 2012103118044100002DEST_PATH_IMAGE096
表示为：
Figure 2012103118044100002DEST_PATH_IMAGE098
其中为局部矩形区域t i 在所属的彩色分量图上的纹理空间分布特性；
Figure 2012103118044100002DEST_PATH_IMAGE102
为梯度方向取值；
Figure 2012103118044100002DEST_PATH_IMAGE104
为在
Figure 872743DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化方差；为在
Figure 270226DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化期望。
    所述的
Figure 812197DEST_PATH_IMAGE104
和
Figure 891011DEST_PATH_IMAGE106
归一化方法为：
Figure 2012103118044100002DEST_PATH_IMAGE108
，
其中
Figure 2012103118044100002DEST_PATH_IMAGE112
为在
Figure 762890DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的方差；为在
Figure 409903DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的期望。
步骤(12)：为输入图像中每个像素分配纹理显著性值，具体为：
对于局部矩形区域t i 中的像素p，其纹理显著性值
Figure 2012103118044100002DEST_PATH_IMAGE116
表示为：
Figure 2012103118044100002DEST_PATH_IMAGE118
步骤(13)：根据步骤(8)和步骤(12)的结果，计算输入图像中每个像素的最终显著性值，具体为： 
对输入图像中像素p，其最终显著性值
Figure 2012103118044100002DEST_PATH_IMAGE120
表示为：
    
Figure 2012103118044100002DEST_PATH_IMAGE122
本发明提供了一种融合区域颜色和HoG特征的视觉显著性检测方法，该方法考虑颜色和HoG特征融合策略，提取和融合区域颜色对比度和区域纹理对比度，从而获得符合人眼视觉感官的全分辨率显著性图像。该方法要优于目前已有方法，并且对显著性目标具有更强的区分能力。
附图说明
图1为本发明中的方法流程图；
图2为本发明方法与现有方法的显著性检测结果图像比较。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，一种融合区域颜色和HoG特征的视觉显著性检测方法具体步骤如下：
步骤(1)：采用彩色变换方法，分别提取输入图像在Lab空间的l彩色分量图、a彩色分量图和b彩色分量图；所述的彩色变换方法为成熟技术。 
步骤(2)：采用SLIC超像素聚类方法，将输入图像划分为多个互不相交且区域面积近似相等的超像素区域；所述的SLIC超像素聚类方法由R. Achanta等人提出[1]。
步骤(3)：根据步骤(2)的结果，计算每个超像素区域的颜色特征，具体为：
对于超像素区域r i ，其颜色特征是由超像素区域r i 的颜色均值矢量
Figure 734443DEST_PATH_IMAGE002
、超像素区域r i 的质心坐标
Figure 679265DEST_PATH_IMAGE004
和超像素区域r i 的面积率
Figure 31749DEST_PATH_IMAGE006
组成。
所述的超像素区域r i 的颜色均值矢量
Figure 787347DEST_PATH_IMAGE002
表示为
Figure 225282DEST_PATH_IMAGE008
，其中
Figure 708215DEST_PATH_IMAGE010
为超像素区域r i 内所有像素的l彩色分量均值，
Figure 180785DEST_PATH_IMAGE012
为超像素区域r i 内所有像素的a彩色分量均值，为超像素区域r i 内所有像素的b彩色分量均值。
所述的超像素区域r i 的质心坐标
Figure 531050DEST_PATH_IMAGE004
表示为
Figure 817675DEST_PATH_IMAGE016
，其中
Figure 879172DEST_PATH_IMAGE018
为超像素区域r i 内所有像素垂直方向坐标的均值与输入图像高度的比值，
Figure 976572DEST_PATH_IMAGE020
为超像素区域r i 内所有像素水平方向坐标的均值与输入图像宽度的比值。
所述的超像素区域r i 的面积率
Figure 389098DEST_PATH_IMAGE006
表示超像素区域r i 内的像素个数与输入图像总像素的比值。
步骤(4)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色独特性，具体为：
对于超像素区域r i ，其颜色独特性
Figure 417097DEST_PATH_IMAGE022
表示为：
      
Figure 660997DEST_PATH_IMAGE024
其中为超像素区域r i 和超像素区域r j 在Lab空间的颜色距离；
Figure 124394DEST_PATH_IMAGE028
为超像素区域r i 和超像素区域r j 的空间相关性权重；n为步骤(2)中划分出的超像素个数。
所述的超像素区域r i 和超像素区域r j 在Lab空间的颜色距离
Figure 690505DEST_PATH_IMAGE026
表示为超像素区域r i 的颜色均值矢量
Figure 805222DEST_PATH_IMAGE002
与超像素区域r j 的颜色均值矢量
Figure 165796DEST_PATH_IMAGE030
的L2距离，具体描述为：
Figure 615232DEST_PATH_IMAGE032
所述的超像素区域r i 和超像素区域r j 的空间相关性权重
Figure 296618DEST_PATH_IMAGE028
具体表示为：
Figure 187214DEST_PATH_IMAGE034
其中
Figure 46585DEST_PATH_IMAGE036
为高斯函数标准差，
Figure 468471DEST_PATH_IMAGE038
为超像素区域r i 的质心坐标
Figure 641963DEST_PATH_IMAGE004
与超像素区域r j 的质心坐标
Figure 714961DEST_PATH_IMAGE040
的L2距离。
步骤(5)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色空间分布特性，具体为：
对于超像素区域r i ，其颜色空间分布特性
Figure 682917DEST_PATH_IMAGE042
表示为：
      
其中为超像素区域r i 和超像素区域r j 的空间距离；
Figure 729742DEST_PATH_IMAGE048
为超像素区域r i 和超像素区域r j 的颜色相关性权重。
所述超像素区域r i 和超像素区域r j 的空间距离
Figure 681649DEST_PATH_IMAGE046
表示为超像素区域r i 的质心坐标
Figure 265077DEST_PATH_IMAGE004
与超像素区域r j 的质心坐标
Figure 577110DEST_PATH_IMAGE040
的L2距离，具体描述为：
          
Figure 562383DEST_PATH_IMAGE050
所述的超像素区域r i 和超像素区域r j 的颜色相关性权重
Figure 183726DEST_PATH_IMAGE048
具体表示为：
      
Figure 254451DEST_PATH_IMAGE052
其中
Figure 370174DEST_PATH_IMAGE054
为高斯函数标准差，
Figure 23004DEST_PATH_IMAGE056
为超像素区域r i 的颜色均值矢量
Figure 503663DEST_PATH_IMAGE002
与超像素区域r j 的颜色均值矢量的L2距离。 
步骤(6)：根据步骤(4)和步骤(5)的结果，计算每个超像素区域的颜色显著性值，具体为：
对于超像素区域r i ，其颜色显著性值
Figure 715519DEST_PATH_IMAGE058
表示为：
        
Figure 721390DEST_PATH_IMAGE060
其中为高斯函数标准差。
步骤(7)：根据步骤(4)中得到的超像素区域的颜色独特性值，对超像素区域的颜色显著性值进行平滑优化，以保证颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。
所述的超像素区域的颜色显著性值的平滑优化方法具体为：
   对于超像素区域r i ，其颜色显著性值经平滑优化后结果
Figure 480584DEST_PATH_IMAGE064
表示为：
            
其中
Figure 237636DEST_PATH_IMAGE068
表示超像素区域r i 颜色独特性和超像素区域r j 颜色独特性的距离，
Figure 387995DEST_PATH_IMAGE070
为距离归一化值。
步骤(8)：为输入图像中每个像素分配颜色显著性值，具体为：
对于超像素区域r i 中的像素
Figure 655028DEST_PATH_IMAGE072
，其颜色显著性值
Figure 188950DEST_PATH_IMAGE074
表示为：
         
Figure 592250DEST_PATH_IMAGE076
步骤(9)：采用彩色变换方法，分别提取输入图像在RGB空间的r彩色分量图、g彩色分量图和b彩色分量图；计算r彩色分量图、g彩色分量图和b彩色分量图的积分图。
步骤(10)：利用步骤(9)的积分图结果，采用梯度方向直方图提取方法，将输入图像从图像左上角开始按序划分为若干个不重叠的8×8像素的局部矩形区域，并提取每个局部矩形区域的纹理特征；所述的梯度方向直方图提取方法由N.Dalal等人提出。
所述的局部矩形区域的纹理特征提取方法具体为：
对于局部矩形区域t i ，其纹理特征是由局部矩形区域t i 的HoG矢量
Figure 913509DEST_PATH_IMAGE078
和局部矩形区域t i 的质心坐标
Figure 667839DEST_PATH_IMAGE080
组成。
所述的局部矩形区域t i 的HoG矢量表示为，其中
Figure 233446DEST_PATH_IMAGE084
，
Figure 521077DEST_PATH_IMAGE086
为在所属的彩色分量图上局部矩形区域t i 中所有像素在梯度方向为0°、20°、40°、60°、80°、100°、120°、140°、160°下的梯度幅度值。
所述的局部矩形区域t i 的质心坐标
Figure 767568DEST_PATH_IMAGE080
表示为
Figure 102734DEST_PATH_IMAGE090
，其中为局部矩形区域t i 内所有像素垂直方向坐标的均值，
Figure 785836DEST_PATH_IMAGE094
为局部矩形区域t i 内所有像素水平方向坐标的均值。
步骤(11)：根据步骤(10)得到的每个局部矩形区域的纹理特征，计算每个局部矩形区域的纹理空间分布特性。
所述的局部矩形区域的纹理空间分布特性计算方法具体为：
对于局部矩形区域t i ，其纹理空间分布特性
Figure 283814DEST_PATH_IMAGE096
表示为：
Figure 163783DEST_PATH_IMAGE098
其中
Figure 380001DEST_PATH_IMAGE100
为局部矩形区域t i 在
Figure 75555DEST_PATH_IMAGE088
所属的彩色分量图上的纹理空间分布特性；
Figure 490356DEST_PATH_IMAGE102
为梯度方向取值；
Figure 432904DEST_PATH_IMAGE104
为在
Figure 182423DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化方差；
Figure 603040DEST_PATH_IMAGE106
为在
Figure 137927DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化期望。
    所述的
Figure 798847DEST_PATH_IMAGE104
和归一化方法为：
Figure 10702DEST_PATH_IMAGE108
，
Figure 649363DEST_PATH_IMAGE110
其中
Figure 996030DEST_PATH_IMAGE112
为在
Figure 408557DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的方差；
Figure 984026DEST_PATH_IMAGE114
为在
Figure 165609DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的期望。
步骤(12)：为输入图像中每个像素分配纹理显著性值，具体为：
对于局部矩形区域t i 中的像素p，其纹理显著性值
Figure 683178DEST_PATH_IMAGE116
表示为：
Figure 583001DEST_PATH_IMAGE118
步骤(13)：根据步骤(8)和步骤(12)的结果，计算输入图像中每个像素的最终显著性值，具体为： 
对输入图像中像素p，其最终显著性值
Figure 460696DEST_PATH_IMAGE120
表示为：
    
Figure 559102DEST_PATH_IMAGE122
如图2所示，本发明方法与现有方法的显著性检测结果图像比较说明如下：第一列为输入图像，第二列为人工标记的正确视觉显著性区域，第三列为本发明方法检测结果，第四列为F. Perazzi 等人提出的SF方法的检测结果，第五列是M.-M. Cheng等人提出的HC方法[4]的检测结果，第六列是M.-M. Cheng等人提出的RC方法的检测结果，第7列是R. Achanta等人提出的FT方法的检测结果，第8列是R. Achanta等人提出的AC方法的检测结果, 第9列是S. Goferman等人提出的CA方法的检测结果。

Claims (1)

1. 一种融合区域颜色和HoG特征的视觉显著性检测方法，其特征在于该方法包括如下步骤：
步骤(1)：采用彩色变换方法，分别提取输入图像在Lab空间的l彩色分量图、a彩色分量图和b彩色分量图； 
步骤(2)：采用SLIC超像素聚类方法，将输入图像划分为多个互不相交且区域面积近似相等的超像素区域；
步骤(3)：根据步骤(2)的结果，计算每个超像素区域的颜色特征，具体为：
对于超像素区域r i ，其颜色特征是由超像素区域r i 的颜色均值矢量                                               
Figure 2012103118044100001DEST_PATH_IMAGE002
、超像素区域r i 的质心坐标
Figure 2012103118044100001DEST_PATH_IMAGE004
和超像素区域r i 的面积率
Figure 2012103118044100001DEST_PATH_IMAGE006
组成；
所述的超像素区域r i 的颜色均值矢量
Figure 748060DEST_PATH_IMAGE002
表示为
Figure 2012103118044100001DEST_PATH_IMAGE008
，其中为超像素区域r i 内所有像素的l彩色分量均值，
Figure 2012103118044100001DEST_PATH_IMAGE012
为超像素区域r i 内所有像素的a彩色分量均值，
Figure 2012103118044100001DEST_PATH_IMAGE014
为超像素区域r i 内所有像素的b彩色分量均值；
所述的超像素区域r i 的质心坐标表示为
Figure 2012103118044100001DEST_PATH_IMAGE016
，其中
Figure 2012103118044100001DEST_PATH_IMAGE018
为超像素区域r i 内所有像素垂直方向坐标的均值与输入图像高度的比值，
Figure 2012103118044100001DEST_PATH_IMAGE020
为超像素区域r i 内所有像素水平方向坐标的均值与输入图像宽度的比值；
所述的超像素区域r i 的面积率
Figure 488669DEST_PATH_IMAGE006
表示超像素区域r i 内的像素个数与输入图像总像素的比值；
步骤(4)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色独特性，具体为：
对于超像素区域r i ，其颜色独特性
Figure 2012103118044100001DEST_PATH_IMAGE022
表示为：
      
Figure 2012103118044100001DEST_PATH_IMAGE024
其中
Figure 2012103118044100001DEST_PATH_IMAGE026
为超像素区域r i 和超像素区域r j 在Lab空间的颜色距离；为超像素区域r i 和超像素区域r j 的空间相关性权重；n为步骤(2)中划分出的超像素个数；
所述的超像素区域r i 和超像素区域r j 在Lab空间的颜色距离
Figure 81062DEST_PATH_IMAGE026
表示为超像素区域r i 的颜色均值矢量
Figure 691166DEST_PATH_IMAGE002
与超像素区域r j 的颜色均值矢量
Figure 2012103118044100001DEST_PATH_IMAGE030
的L2距离，具体描述为：
      
Figure DEST_PATH_IMAGE032
所述的超像素区域r i 和超像素区域r j 的空间相关性权重具体表示为：
      
Figure DEST_PATH_IMAGE034
其中
Figure DEST_PATH_IMAGE036
为高斯函数标准差，
Figure DEST_PATH_IMAGE038
为超像素区域r i 的质心坐标
Figure 722762DEST_PATH_IMAGE004
与超像素区域r j 的质心坐标
Figure DEST_PATH_IMAGE040
的L2距离；
步骤(5)：根据步骤(3)得到的各超像素区域的颜色特征，计算每个超像素区域的颜色空间分布特性，具体为：
对于超像素区域r i ，其颜色空间分布特性
Figure DEST_PATH_IMAGE042
表示为：
      
其中为超像素区域r i 和超像素区域r j 的空间距离；
Figure DEST_PATH_IMAGE048
为超像素区域r i 和超像素区域r j 的颜色相关性权重；
所述超像素区域r i 和超像素区域r j 的空间距离
Figure 982711DEST_PATH_IMAGE046
表示为超像素区域r i 的质心坐标与超像素区域r j 的质心坐标
Figure 109116DEST_PATH_IMAGE040
的L2距离，具体描述为：
          
Figure DEST_PATH_IMAGE050
所述的超像素区域r i 和超像素区域r j 的颜色相关性权重
Figure 866725DEST_PATH_IMAGE048
具体表示为：
      
Figure DEST_PATH_IMAGE052
其中
Figure DEST_PATH_IMAGE054
为高斯函数标准差，为超像素区域r i 的颜色均值矢量
Figure 872858DEST_PATH_IMAGE002
与超像素区域r j 的颜色均值矢量的L2距离； 
步骤(6)：根据步骤(4)和步骤(5)的结果，计算每个超像素区域的颜色显著性值，具体为：
对于超像素区域r i ，其颜色显著性值
Figure DEST_PATH_IMAGE058
表示为：
        
Figure DEST_PATH_IMAGE060
其中
Figure DEST_PATH_IMAGE062
为高斯函数标准差；
步骤(7)：根据步骤(4)中得到的超像素区域的颜色独特性值，对超像素区域的颜色显著性值进行平滑优化，以保证颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑；
所述的超像素区域的颜色显著性值的平滑优化方法具体为：
   对于超像素区域r i ，其颜色显著性值经平滑优化后结果
Figure DEST_PATH_IMAGE064
表示为：
            
Figure DEST_PATH_IMAGE066
其中
Figure DEST_PATH_IMAGE068
表示超像素区域r i 颜色独特性和超像素区域r j 颜色独特性的距离，为距离归一化值；
步骤(8)：为输入图像中每个像素分配颜色显著性值，具体为：
对于超像素区域r i 中的像素，其颜色显著性值表示为：
         
Figure DEST_PATH_IMAGE076
步骤(9)：采用彩色变换方法，分别提取输入图像在RGB空间的r彩色分量图、g彩色分量图和b彩色分量图；计算r彩色分量图、g彩色分量图和b彩色分量图的积分图；
步骤(10)：利用步骤(9)的积分图结果，采用梯度方向直方图提取方法，将输入图像从图像左上角开始按序划分为若干个不重叠的8×8像素的局部矩形区域，并提取每个局部矩形区域的纹理特征；
所述的局部矩形区域的纹理特征提取方法具体为：
对于局部矩形区域t i ，其纹理特征是由局部矩形区域t i 的HoG矢量
Figure DEST_PATH_IMAGE078
和局部矩形区域t i 的质心坐标
Figure DEST_PATH_IMAGE080
组成；
所述的局部矩形区域t i 的HoG矢量
Figure 155996DEST_PATH_IMAGE078
表示为
Figure DEST_PATH_IMAGE082
，其中
Figure DEST_PATH_IMAGE084
，
Figure DEST_PATH_IMAGE086
为在
Figure DEST_PATH_IMAGE088
所属的彩色分量图上局部矩形区域t i 中所有像素在梯度方向为0°、20°、40°、60°、80°、100°、120°、140°、160°下的梯度幅度值；
所述的局部矩形区域t i 的质心坐标
Figure 592662DEST_PATH_IMAGE080
表示为，其中
Figure DEST_PATH_IMAGE092
为局部矩形区域t i 内所有像素垂直方向坐标的均值，为局部矩形区域t i 内所有像素水平方向坐标的均值；
步骤(11)：根据步骤(10)得到的每个局部矩形区域的纹理特征，计算每个局部矩形区域的纹理空间分布特性；
所述的局部矩形区域的纹理空间分布特性计算方法具体为：
对于局部矩形区域t i ，其纹理空间分布特性
Figure DEST_PATH_IMAGE096
表示为：
Figure DEST_PATH_IMAGE098
其中
Figure DEST_PATH_IMAGE100
为局部矩形区域t i 在
Figure 827203DEST_PATH_IMAGE088
所属的彩色分量图上的纹理空间分布特性；
Figure DEST_PATH_IMAGE102
为梯度方向取值；
Figure DEST_PATH_IMAGE104
为在
Figure 199279DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化方差；
Figure DEST_PATH_IMAGE106
为在
Figure 581588DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的归一化期望；
    所述的
Figure 697311DEST_PATH_IMAGE104
和
Figure 537091DEST_PATH_IMAGE106
归一化方法为：
         
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE110
其中
Figure DEST_PATH_IMAGE112
为在所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的方差；
Figure DEST_PATH_IMAGE114
为在
Figure 559460DEST_PATH_IMAGE088
所属的彩色分量图上所有局部矩形区域在第j个梯度方向下梯度幅度值的期望；
步骤(12)：为输入图像中每个像素分配纹理显著性值，具体为：
对于局部矩形区域t i 中的像素p，其纹理显著性值
Figure DEST_PATH_IMAGE116
表示为：
Figure DEST_PATH_IMAGE118
步骤(13)：根据步骤(8)和步骤(12)的结果，计算输入图像中每个像素的最终显著性值，具体为： 
对输入图像中像素p，其最终显著性值
Figure DEST_PATH_IMAGE120
表示为：
    
Figure DEST_PATH_IMAGE122
。
CN201210311804.4A 2012-08-29 2012-08-29 一种融合区域颜色和HoG特征的视觉显著性检测方法 Expired - Fee Related CN102867313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210311804.4A CN102867313B (zh) 2012-08-29 2012-08-29 一种融合区域颜色和HoG特征的视觉显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210311804.4A CN102867313B (zh) 2012-08-29 2012-08-29 一种融合区域颜色和HoG特征的视觉显著性检测方法

Publications (2)

Publication Number Publication Date
CN102867313A true CN102867313A (zh) 2013-01-09
CN102867313B CN102867313B (zh) 2015-04-22

Family

ID=47446169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210311804.4A Expired - Fee Related CN102867313B (zh) 2012-08-29 2012-08-29 一种融合区域颜色和HoG特征的视觉显著性检测方法

Country Status (1)

Country Link
CN (1) CN102867313B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996198A (zh) * 2014-06-04 2014-08-20 天津工业大学 复杂自然环境下感兴趣区域的检测方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN104933738A (zh) * 2015-06-16 2015-09-23 中国人民解放军国防科学技术大学 一种基于局部结构检测和对比度的视觉显著图生成方法
CN105118051A (zh) * 2015-07-29 2015-12-02 广东工业大学 一种应用于静态图像人体分割的显著性检测方法
CN105469392A (zh) * 2015-11-18 2016-04-06 西北工业大学 基于区域光谱梯度特征对比的高光谱图像显著性检测方法
WO2016127883A1 (zh) * 2015-02-12 2016-08-18 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
CN106056593A (zh) * 2016-05-26 2016-10-26 招商局重庆交通科研设计院有限公司 一种基于图像建模的危岩位移监测方法
CN106096615A (zh) * 2015-11-25 2016-11-09 北京邮电大学 一种基于随机游走的图像显著区域提取方法
CN103632153B (zh) * 2013-12-05 2017-01-11 宁波大学 一种基于区域的图像显著图提取方法
CN106952251A (zh) * 2017-02-28 2017-07-14 华南理工大学 一种基于吸附模型的图像显著性检测方法
CN107256547A (zh) * 2017-05-26 2017-10-17 浙江工业大学 一种基于显著性检测的表面裂纹识别方法
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN108520539A (zh) * 2018-03-13 2018-09-11 中国海洋大学 一种基于稀疏学习可变模型的图像目标检测方法
CN109034066A (zh) * 2018-07-27 2018-12-18 北方工业大学 基于多特征融合的建筑物识别方法
CN110097569A (zh) * 2019-04-04 2019-08-06 北京航空航天大学 基于颜色马尔科夫链显著性模型的油罐目标检测方法
CN113705579A (zh) * 2021-08-27 2021-11-26 河海大学 一种视觉显著性驱动的图像自动标注方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976338A (zh) * 2010-10-29 2011-02-16 杭州电子科技大学 一种基于梯度方向直方图的判决式视觉显著性检测方法
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image
CN101976338A (zh) * 2010-10-29 2011-02-16 杭州电子科技大学 一种基于梯度方向直方图的判决式视觉显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LAURENT ITTI, CHRISTOF KOCH, AND ERNST NIEBUR: "《A Model of Saliency-Based Visual Attention》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 20, no. 11, 30 November 1998 (1998-11-30), pages 1254 - 1259 *
田明辉等: "《自然场景中的视觉显著对象检测》", 《中国图象图形学报》, vol. 15, no. 11, 30 November 2010 (2010-11-30) *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632153B (zh) * 2013-12-05 2017-01-11 宁波大学 一种基于区域的图像显著图提取方法
CN103996198A (zh) * 2014-06-04 2014-08-20 天津工业大学 复杂自然环境下感兴趣区域的检测方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN105989594B (zh) * 2015-02-12 2019-02-12 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
WO2016127883A1 (zh) * 2015-02-12 2016-08-18 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
CN105989594A (zh) * 2015-02-12 2016-10-05 阿里巴巴集团控股有限公司 一种图像区域检测方法及装置
CN104933738B (zh) * 2015-06-16 2017-09-15 中国人民解放军国防科学技术大学 一种基于局部结构检测和对比度的视觉显著图生成方法
CN104933738A (zh) * 2015-06-16 2015-09-23 中国人民解放军国防科学技术大学 一种基于局部结构检测和对比度的视觉显著图生成方法
CN105118051A (zh) * 2015-07-29 2015-12-02 广东工业大学 一种应用于静态图像人体分割的显著性检测方法
CN105118051B (zh) * 2015-07-29 2017-12-26 广东工业大学 一种应用于静态图像人体分割的显著性检测方法
CN105469392B (zh) * 2015-11-18 2019-02-01 西北工业大学 基于区域光谱梯度特征对比的高光谱图像显著性检测方法
CN105469392A (zh) * 2015-11-18 2016-04-06 西北工业大学 基于区域光谱梯度特征对比的高光谱图像显著性检测方法
CN106096615A (zh) * 2015-11-25 2016-11-09 北京邮电大学 一种基于随机游走的图像显著区域提取方法
CN106056593B (zh) * 2016-05-26 2018-07-20 招商局重庆交通科研设计院有限公司 一种基于图像建模的危岩位移监测方法
CN106056593A (zh) * 2016-05-26 2016-10-26 招商局重庆交通科研设计院有限公司 一种基于图像建模的危岩位移监测方法
CN106952251B (zh) * 2017-02-28 2019-07-16 华南理工大学 一种基于吸附模型的图像显著性检测方法
CN106952251A (zh) * 2017-02-28 2017-07-14 华南理工大学 一种基于吸附模型的图像显著性检测方法
CN107424142A (zh) * 2017-03-30 2017-12-01 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN107424142B (zh) * 2017-03-30 2020-05-19 上海万如科技发展有限公司 一种基于图像显著性检测的焊缝识别方法
CN107256547A (zh) * 2017-05-26 2017-10-17 浙江工业大学 一种基于显著性检测的表面裂纹识别方法
CN108520539B (zh) * 2018-03-13 2021-08-31 中国海洋大学 一种基于稀疏学习可变模型的图像目标检测方法
CN108520539A (zh) * 2018-03-13 2018-09-11 中国海洋大学 一种基于稀疏学习可变模型的图像目标检测方法
CN109034066A (zh) * 2018-07-27 2018-12-18 北方工业大学 基于多特征融合的建筑物识别方法
CN109034066B (zh) * 2018-07-27 2022-05-03 北方工业大学 基于多特征融合的建筑物识别方法
CN110097569A (zh) * 2019-04-04 2019-08-06 北京航空航天大学 基于颜色马尔科夫链显著性模型的油罐目标检测方法
CN113705579A (zh) * 2021-08-27 2021-11-26 河海大学 一种视觉显著性驱动的图像自动标注方法
CN113705579B (zh) * 2021-08-27 2024-03-15 河海大学 一种视觉显著性驱动的图像自动标注方法

Also Published As

Publication number Publication date
CN102867313B (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
CN102867313A (zh) 一种融合区域颜色和HoG特征的视觉显著性检测方法
AU2017307115B2 (en) A method of extracting road targets based on saliency in a night vision infrared image
CN104537634B (zh) 动态图像中去除雨滴影响的方法和系统
CN101651772B (zh) 一种基于视觉注意的视频感兴趣区域的提取方法
CN103248906B (zh) 一种双目立体视频序列的深度图获取方法与系统
CN103020993A (zh) 一种双通道颜色对比度融合的视觉显著性检测方法
CN102222328B (zh) 一种边缘保持的自然场景图像自适应加权滤波方法
CN107818303B (zh) 无人机油气管线影像自动对比分析方法、系统及软件存储器
CN103996198A (zh) 复杂自然环境下感兴趣区域的检测方法
CN103186904A (zh) 图片轮廓提取方法及装置
CN104408733B (zh) 基于对象随机游走的遥感图像视觉显著性检测方法及系统
CN103020965A (zh) 一种基于显著性检测的前景分割方法
CN102999916A (zh) 一种彩色图像的边缘提取方法
CN107527054A (zh) 基于多视角融合的前景自动提取方法
CN107154044A (zh) 一种中餐食物图像的分割方法
CN103034983A (zh) 一种基于各向异性滤波的去雾方法
CN104217440A (zh) 一种从遥感图像中提取建成区的方法
CN104392233A (zh) 一种基于区域的图像显著图提取方法
CN109948461A (zh) 一种基于质心定位和距离变换的手语图像分割方法
CN104778691A (zh) 一种三维点云数据的处理方法
CN107105214A (zh) 一种三维视频图像重定位方法
CN104268509B (zh) 泥头车车牌检测的方法及系统
CN103164847A (zh) 视频图像中运动目标阴影消除方法
CN107392953A (zh) 基于等高线的深度图像识别方法
CN102073878B (zh) 非穿戴指势视觉识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210702

Address after: 314400 room 609, block a, 128 Shuanglian Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province

Patentee after: Haining Dingcheng Intelligent Equipment Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150422