CN105023264A - 一种结合对象性和背景性的红外图像显著特征检测方法 - Google Patents

Abstract

本发明提出一种结合对象性和背景性的红外图像显著特征检测方法。本发明利用显著物体的对象性，判定显著物体在图像中的位置和区域，并保全显著区域的完整性，得到对象性下的显著图；同时利用图像的背景性，以图像的四个边界为起始点，平滑图像大部分的背景区域，得到背景性下的显著图。最后特征整合理论，将两种显著图结合起来，得到最终的显著图。本发明提高了目标检测的准确度和识别效率。

Description

一种结合对象性和背景性的红外图像显著特征检测方法

技术领域

本发明属于图像理解领域，具体涉及一种结合对象性和背景性的红外图像显著特征检测方法。 

背景技术

显著性检测在夜视图像(包括微光、红外图像)理解分析方法发挥着重要作用，它也在机器视觉应用中起着重要的作用。 

文献一(P.Jiang,H.Ling,J.Yu,and J.Peng.Salient Region Detection by UFO:Uniqueness,Focusness and Objectness,IEEE International Conference on Computer Vision (ICCV),2013.)采用三种线索相结合的方法，该方法利用独立性、对象性、关注性相互关系来检测图像中的显著特征区域。 

文献二(C.Yang,L.Zhang,H.Lu,X.Ruan,and M.-H.Yang.Saliency Detection via Graph-Based Manifold Ranking.In CVPR,2013)利用流行排序的方法，该方法探索数据的流行结构，利用流行排序的特性，排序图像中显著区域的像素，进而可以检测到显著的特征区域。 

文献三(M.M.Cheng,G.X.Zhang,N.J.Mitra,X.Huang,and S.M.Hu.Global contrast based salient region detection.In CVPR,409–416,2011)利用全局区域像素对比的方法，该方法利用全局区域和局部区域像素的差异对比，计算显著区域和非显著区域颜色的差异，检测到显著的区域。 

然而，上述方法只是单单的利用像素级的差异，在检测显著区域时，部分显著区域被抑制或背景噪声严重干扰显著区域，未能检测到完整的显著特征区域。 

发明内容

本发明提出一种结合对象性和背景性的红外图像显著特征检测方法，提高了目标检测的准确度和识别效率。 

为了解决上述技术问题，本发明提供一种结合对象性和背景性的红外图像显著特征检测方法，包括以下步骤： 

步骤一：对给定一幅输入图像ff，计算图像对象性的特征，图像对象性的特征包括图像多尺度显著性MS、图像颜色对比CC和超像素跨越SS三种图像特征线索，在图像窗口中推断图像显著性的概率，在贝叶斯模型下推理获得图像对象性的显著图Sal_o； 

步骤二：对图像ff进行超像素分割得到超像素图像，并将超像素图像构建一个稀疏图G(V,E)，其中稀疏图中的节点V表示超像素图像中颜色值的集合，稀疏图中的边E表示超像素图像中像素距离；然后计算稀疏图边E的权重相似度矩阵WW； 

步骤三：对图像ff的超像素图像的四个边界进行分离，以超像素图像四个边界为初始区域，分别加权相似度矩阵WW，得到上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl，将边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl进行合并获得背景性的显著图Sal_b； 

步骤四：根据特征整合理论计算获得最终的显著图Sal。 

本发明与现有技术相比，其显著优点在于，本发明方法利用两种图像线索，相互作用检测显著区域，利用对象性检测显著区域的位置和完整性，并利用背景性抑制背景区 域，保留显著区域；通过对象性和背景性的相互作用得到最终的显著区域，高了目标检测的准确度和识别效率。 

附图说明

图1本发明方法流程图。 

图2是本发明实验中对象性显著检测结果示意图。 

图3是本发明实验中背景性显著检测结果示意图。 

图4是本发明实验最终显著检测效果图。 

具体实施方式

如图1所示，本发明一种结合对象性和背景性的红外图像显著特征检测方法，包括以下步骤： 

步骤一：对给定一幅输入图像ff，计算图像对象性的特征，图像对象性的特征包括图像多尺度显著性MS、图像颜色对比CC和超像素跨越SS三种图像特征线索，在图像窗口中推断图像显著性的概率，在贝叶斯模型下推理获得图像对象性的显著图Sal_o。 

所述多尺度显著性MS的计算方式如公式(1)所示， 

$\mathrm{MS}(w,{\mathrm{\θ}}^{\mathrm{sc}})=\underset{p\∈w}{\mathrm{\Σ}}{I}^{\mathrm{sc}}\left(p\right)\×\frac{|p\∈w|I^{\mathrm{sc}}>{\mathrm{\θ}}^{\mathrm{sc}}|}{\left|w\right|}---\left(1\right)$

公式(1)中，w表示选取的图像ff中一个窗口，sc表示多尺度的尺寸,θ表示阈值，I(p)表示全局显著性效果图，计算公式如(2)所示： 

I(p)＝g(p)*Γ^-1[exp(f₁(ff)+f₂(ff))]²(2) 

公式(2)中，p表示图像ff中的像素，Γ^-1(·)表示傅里叶反变换函数，f₁(·)和f₂(·)分别表示光谱残差和相位光谱函数。 

多尺度显著性MS的计算方式可以参见文献Hou(X,Hou&L,Zhang.Saliency Detection:A spectral residual approach.IEEE Conference on Computer Vision and Pattern Recognition,2007,pp.1-8)等人提出基于傅里叶光谱残差的方法。 

所述图像颜色对比CC的计算方式为： 

先将图像ff转换到CIELAB颜色空间，对图像进行超像素分割，获得窗口中的超像素，然后根据超像素之间的颜色差异和距离计算图像颜色对比CC，计算方法如公式(3)所示： 

$\mathrm{CC}\left(w\right)=\frac{\underset{j\≠i\∈w}{\mathrm{\Σ}}\left|\right|c_i-c_j\left|\right|\·\exp (-\frac{{\left|\right|p_i-p_j\left|\right|}^2}{2{\mathrm{\σ}}^2})}{\left|w\right|}---\left(3\right)$

公式(3)中，c_i和c_j分别表示超像素i和j在CIELAB颜色空间的均值，p_i和p_j分别表示超像素i和j在CIELAB颜色空间的距离均值。 

所述超像素跨越SS的计算方式为： 

采用超像素跨越计算目标闭合轮廓内像素的显著性，也即获取超像素跨越SS。在超像素分割的基础上，计算属于相同超像素区域在同一图像窗口中的概率，即超像素跨越SS，计算方法如公式(4)所示： 

$\mathrm{SS}\left(w\right)=1-\underset{s\∈{\mathrm{SS}}_1}{\mathrm{\Σ}}\frac{\min \left(\right|s\backslash w,|s\∩w|)}{\left|w\right|}---\left(4\right)$

公式(4)中，s表示超像素区域，w表示图像窗口区域，|s∩w|表示超像素区域s在图像窗口w内的像素区域，|s\w|表示超像素区域s在图像窗口w外的像素区域，SS₁表示一系列超像素集。 

所述在贝叶斯概率推理下获得对象性的显著图Sal_o的计算方法如公式(5)所示： 

$P\left(\mathrm{obj}\right|E)=\frac{p\left(E\right|\mathrm{obj})p\left(\mathrm{obj}\right)}{p\left(E\right)p\left(E\right|\mathrm{obj})+p(1-\mathrm{obj})p\left(E\right|(1-\mathrm{obj}))}---\left(5\right)$

公式(5)中，E表示三种特征下推断显著性的概率，Ε＝{MS,CC,SS}，p(obj)表示目标的先验知识，p(1-obj)表示背景的先验知识。 

步骤二：对给定的输入图像ff进行超像素分割得到超像素图像，并将超像素图像构建一个稀疏图G(V,E)，其中稀疏图中的节点V表示超像素图像中颜色值的集合，稀疏图中的边E表示超像素图像中像素距离；然后计算稀疏图边E的权重相似度矩阵ww_ij∈WW，ww_ij是相似度矩阵WW中的元素，计算方法如公式(6)所示： 

${\mathrm{ww}}_{\mathrm{ij}}=\exp (-\frac{\left|\right|c_i-c_j\left|\right|}{{2\mathrm{\σ}}_{\mathrm{ww}}^2})---\left(6\right)$

公式(6)中，c_i和c_j分别表示超像素i和j在CIELAB颜色空间的均值，σ_ww表示权重关系。 

步骤三：对给定输入图像ff的超像素图像的四个边界进行分离，以超像素图像四个边界为初始区域，分别加权相似度矩阵WW，得到四种显著图，分别为上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl，将四种显 著图进行合并获得背景性的显著图Sal_b， 

所述上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl的计算方法依此如公式(7)、(8)、(9)、(10)所示： 

Sal_bt(i)＝I_t·ww_ij(7) 

Sal_bd(i)＝I_d·ww_ij(8) 

Sal_br(i)＝I_r·ww_ij(9) 

Sal_bl(i)＝I_l·ww_ij(10) 

公式(7)、(8)、(9)、(10)中，I_t、I_d、I_r、I_l分别表示以上边界、下边界、右边界和左边界为初始区域的超像素图。 

本发明采用相乘的策略将四种显著图进行合并获得背景性的显著图Sal_b，计算方法如公式(11)所示： 

Sal_b(i)＝Sal_br(i)·Sal_bd(i)·Sal_br(i)·Sal_bl(i)(11) 

步骤四：根据特征整合理论计算最终的显著图Sal，计算方法如公式(12)所示： 

Sal＝Sal_o·exp(k·Sal_b)(12) 

公式(12)中，k表示量化参数，衡量图像对象性的显著图Sal_o和图像背景性的显著图Sal_b的整合关系，exp(·)为指数函数。 

本发明的实验效果可以通过实验进一步说明： 

1实验环境 

本实验中进行三组实验，实验平台是Matlab2012a。 

2实验步骤与结果 

实验一：计算对象性下的显著图 

本实验选取一组三幅自然图像，如图2中第a列所示，依据步骤一，可以得到对象性下的显著图Sal_o，分别如图2第b列三幅图所示，图2第c列为对应的三幅人工标定的二值图像，第b与第c列相比，第b列中显著的目标区域可以很好地被检测出来，保证了显著区域的完整性。但由于步骤一只检测显著区域，不可避免地包含噪声，可以清晰地发现图，第b列显著区域周边有噪声的存在。 

实验二：计算背景性的显著图 

本实验选取一组三幅自然图像，如图3中第a列所示。依据步骤二、三，可以得到对象性下的显著图Sal_b，分别如图3第b列所示，第c列为人工标定的二值图像，第b 与第c列相比，第b列中背景区域有效地抑制，但由于显著区域和背景区域有很大的颜色对照，因而显著的轮廓区域也部分被抑制，未能保证显著区域轮廓的完整性，降低了显著区域识别的正确性。 

实验三：本发明的检测结果 

本发明选取一组多类型图像，其中包含两幅红外图像和两幅自然图像，一次入如图4第a列所示，上两幅为红外图像，下两幅为自然图像。依据本发明的方法，可以得到本发明的检测结果，如图4第b列所示，第c列为人工标定的二值图像，第b与第c列相比，第b列中显著的区域可以很好地被检测，同时背景区域被有效地抑制，有效地提高了显著区域的识别率。 

Claims (9)

1.一种结合对象性和背景性的红外图像显著特征检测方法，其特征在于，包括以下步骤：

步骤一：对给定一幅输入图像ff，计算图像对象性的特征，图像对象性的特征包括图像多尺度显著性MS、图像颜色对比CC和超像素跨越SS三种图像特征线索，在图像窗口中推断图像显著性的概率，在贝叶斯模型下推理获得图像对象性的显著图Sal_o；

步骤二：对图像ff进行超像素分割得到超像素图像，并将超像素图像构建一个稀疏图G(V,E)，其中稀疏图中的节点V表示超像素图像中颜色值的集合，稀疏图中的边E表示超像素图像中像素距离；然后计算稀疏图边E的权重相似度矩阵WW；

步骤三：对图像ff的超像素图像的四个边界进行分离，以超像素图像四个边界为初始区域，分别加权相似度矩阵WW，得到上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl，将边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl进行合并获得背景性的显著图Sal_b；

步骤四：根据特征整合理论计算获得最终的显著图Sal。

2.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤一中，所述多尺度显著性MS的计算方式如公式(1)所示，

$\mathrm{MS}(w,{\mathrm{\θ}}^{\mathrm{sc}})=\underset{p\∈w}{\mathrm{\Σ}}{I}^{\mathrm{sc}}\left(p\right)\×\frac{|p\∈w|I^{\mathrm{sc}}>{\mathrm{\θ}}^{\mathrm{sc}}|}{\left|w\right|}---\left(1\right)$

公式(1)中，w表示选取的图像ff中一个窗口，sc表示多尺度的尺寸,θ表示阈值，I(p)表示全局显著性效果图，计算公式如(2)所示：

I(p)＝g(p)*Γ^-1[exp(f₁(ff)+f₂(ff))]²(2)

公式(2)中，p表示图像ff中的像素，Γ^-1(·)表示傅里叶反变换函数，f₁(·)和f₂(·)分别表示光谱残差和相位光谱函数。

3.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤一中，所述图像颜色对比CC的计算方式为：

先将图像ff转换到CIELAB颜色空间，对图像进行超像素分割，获得窗口中的超像素，然后根据超像素之间的颜色差异和距离计算图像颜色对比CC，计算公式如公式(3)所示：

$\mathrm{CC}\left(w\right)=\frac{\underset{j\≠i\∈w}{\mathrm{\Σ}}\left|\right|c_i-c_j\left|\right|\·\exp (-\frac{{\left|\right|p_i-p_j\left|\right|}^2}{2{\mathrm{\σ}}^2})}{\left|w\right|}---\left(3\right)$

公式(3)中，c_i和c_j分别表示超像素i和j在CIELAB颜色空间的均值，p_i和p_j分别表示超像素i和j在CIELAB颜色空间的距离均值。

4.如权利要求3所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤一中，所述超像素跨越SS的计算方式为：

在超像素分割的基础上，计算属于相同超像素区域在同一图像窗口中的概率，即超像素跨越SS，计算公式如公式(4)所示：

$\mathrm{SS}\left(w\right)=1-\underset{s\∈{\mathrm{SS}}_1}{\mathrm{\Σ}}\frac{\min \left(\right|s\backslash w,|s\∩w|)}{\left|w\right|}---\left(4\right)$

公式(4)中，s表示超像素区域，w表示图像窗口区域，s∩w表示超像素区域s在图像窗口w内的像素区域，s\w表示超像素区域s在图像窗口w外的像素区域，SS₁表示一系列超像素集。

5.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤一中，所述在贝叶斯概率推理下获得对象性的显著图Sal_o的计算方法如公式(5)所示：

$P\left(\mathrm{obj}\right|E)=\frac{p\left(E\right|\mathrm{obj})p\left(\mathrm{obj}\right)}{p\left(E\right)p\left(E\right|\mathrm{obj})+p(1-\mathrm{obj})p\left(E\right|(1-\mathrm{obj}))}---\left(5\right)$

公式(5)中，E表示三种特征下推断显著性的概率，Ε＝{MS,CC,SS}，p(obj)表示目标的先验知识，p(1-obj)表示背景的先验知识。

6.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤二中，相似度矩阵WW中的元素ww_ij的计算方法如公式(6)所示：

${\mathrm{ww}}_{\mathrm{ij}}=\exp (-\frac{\left|\right|c_i-c_j\left|\right|}{{2\mathrm{\σ}}_{\mathrm{ww}}^2})---\left(6\right)$

公式(6)中，c_i和c_j分别表示超像素i和j在CIELAB颜色空间的均值，σ_ww表示权重关系。

7.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤三中，所述上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl的计算方法依此如公式(7)、(8)、(9)、(10)所示：

Sal_bt(i)＝I_t·wwi_j(7)

Sal_bd(i)＝I_d·ww_ij(8)

Sal_br(i)＝I_r·ww_ij(9)

Sal_bl(i)＝I_l·ww_ij(10)

公式(7)、(8)、(9)、(10)中，I_t、I_d、I_r、I_l分别表示以上边界、下边界、右边界和左边界为初始区域的超像素图。

8.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤三中，采用相乘的策略将上边界显著图Sal_bt、下边界显著图Sal_bd、右边界显著图Sal_br和左边界显著图Sal_bl进行合并获得背景性的显著图Sal_b，计算方法如公式(11)所示：

Sal_b(i)＝Sal_br(i)·Sal_bd(i)·Sal_br(i)·Sal_bl(i)   (11)

9.如权利要求1所述的结合对象性和背景性的红外图像显著特征检测方法，其特征在于，步骤四的计算方法如公式(12)所示：

Sal＝Sal_o·exp(k·Sal_b)    (12)

公式(12)中，k表示量化参数，衡量图像对象性的显著图Sal_o和图像背景性的显著图Sal_b的整合关系，exp(·)为指数函数。