CN103413303A - 基于联合显著性的红外目标分割方法 - Google Patents

Abstract

本发明公开了一种基于联合显著性的红外目标分割方法，用于解决现有基于显著性模型的可见光图像目标分割方法适应性差的技术问题。技术方案是首先将原始图像分成均匀同质的小像素块；然后根据红外图像色彩缺乏、且目标亮于背景的特点，利用像素块之间的灰度对比度和空间对比度建立像素块的全局区域对比度；进而，根据红外目标的边缘对噪声具有鲁棒性的特点，利用梯度信息建立像素块的边缘对比度显著性；接着利用这两种显著性的线性组合得到整幅图像的联合显著性映射；最后通过设定阈值进行二值化得到候选目标区域并且通过相似性滤波进一步去除误分割区域得到最终结果。测试显示，目标分割的准确率超过了90%，召回率接近80%，F-测量超过90%。

Description

基于联合显著性的红外目标分割方法

技术领域

本发明涉及一种红外目标分割方法，特别是涉及一种基于联合显著性的红外目标分割方法。 

背景技术

在红外图像中，快速、准确的目标分割对于后续的目标跟踪和识别等高级图像处理具有非常重要的意义。现有的红外目标分割方法主要有：自适应阈值的分割方法，边缘检测的分割方法和基于显著性的分割方法。其中，边缘检测方法主要利用图像的梯度信息标记出目标边缘，从而将目标区域和背景区分开来；在显著性方法中，显著性描述的是图像区域对人眼的吸引程度，人眼则利用目标和背景的显著性差异将目标从背景中分离出来，因此，该类方法主要是通过建立数学模型来模拟这一生物过程。 

文献“Global contrast based salient region detection,IEEE Proceedings on Computer Vision and Pattern Recognition,2011,p409-416”公开了一种基于显著性模型的可见光图像目标分割方法。该方法首先采用图割(Graph Cut)的方法将图像分成若干均匀同质的像素块；之后基于像素块进行显著性计算，获取显著性图像；最后，在显著性图像上选定固定阈值或者自适应阈值进行目标分割。其核心是利用可见光图像色彩丰富的特点引入全局的色彩对比度和空间对比度来定义显著性，然而，在红外图像中，色彩信息匮乏并且常常伴随有较大的噪声，因此该显著性模型并不能很好的区分红外目标与背景，出现了较多的漏分割和误分割。 

发明内容

为了克服现有基于显著性模型的可见光图像目标分割方法适应性差的不足，本发明提供一种基于联合显著性的红外目标分割方法。该方法首先将原始图像分成均匀同质的小像素块；然后根据红外图像色彩缺乏，并且红外目标一般亮于背景的特点，利用像素块之间的灰度对比度和空间对比度建立像素块的全局区域对比度，即像素块的区域对比度显著性；进而，根据红外目标的边缘对噪声具有鲁棒性的特点，利用梯度信息建立像素块的边缘对比度显著性；接着利用这两种显著性的线性组合得到整幅图像的联合显著性映射；最后通过设定阈值进行二值化得到候选目标区域并且通过相似性滤波进一步去除误分割区域得到最终结果。适用于红外目标的分割。 

本发明解决其技术问题所采用的技术方案是：一种基于联合显著性的红外目标分割方法，其特点是包括以下步骤： 

步骤一、输入一幅红外图像，使用Mean-Shift聚类方法将原始图像分割成均匀同质的N个像素块； 

步骤二、对每一个像素块r_i(i=1,2,...,N)，图像中任一个像素块r_k的区域对比度显著性计算如下： 

统计得到整幅图像的平均灰度值

和每一个像素块r_i的灰度直方图，在灰度直方图结果中，

用来表示像素块r_i的第p种灰度的出现频率； 

统计每一个像素块r_i的面积大小w_s(r_i)，平均灰度值g_i和质心坐标； 

计算像素块r_k和图像中任一像素块r_i(i=1,2,...,k-1,k+1,...,N)的色彩对比度C(r_k,r_i)： 

$C(r_k,r_i)=\underset{p=1}{\overset{n_k}{\mathrm{\Σ}}}\underset{q=1}{\overset{n_i}{\mathrm{\Σ}}}{f}_k^{c_p}{f}_i^{c_q}{D}_c(c_p,c_q)---\left(1\right)$

其中，n_k,n_i分别表示像素块r_k和r_i内部的灰度种类数，c_p,c_q分别表示像素块r_k和r_i内部的第p和第q种灰度，D_c(c_p,c_q)表示两种灰度c_p,c_q之间差的绝对值； 

计算像素块r_k和图像中任一像素块r_i(i=1,2,...,k-1,k+1,...,N)的空间对比度S(r_k,r_i)： 

S(r_k,r_i)＝exp(-D_s(r_k,r_i)/σ_s)            （2） 

其中，D_s(r_k,r_i)表示两个像素块r_k和r_i质心之间的欧式距离，σ_s控制质心距离对空间对比度的影响； 

计算像素块r_k和图像中任一像素块r_i(i=1,2,...,k-1,k+1,...,N)的区域对比度R_c(r_k,r_i)： 

R_c(r_k,r_i)＝w_s(r_i)S(r_k,r_i)C(r_k,r_i)            （3） 

计算像素块r_k的全局区域对比度，即就是r_k的区域对比度显著性R_k： 

$R_k=\left\{\begin{array}{cc}\underset{r_k\&NotEqual;r_i}{\mathrm{\&Sigma;}}{R}_c(r_k,r_i),& g_k\&GreaterEqual;\stackrel{\&OverBar;}{g}\\ 0,& g_k<\stackrel{\&OverBar;}{g}\end{array}\right.---\left(4\right)$

步骤三、对于每一个像素块r_k，使用Sobel边缘检测算子，得到像素块r_k边界上每一个像素P_i(i=1,2,...,M)的梯度绝对值|G_i|，M为r_k边界上的像素总个数，边界上的边缘像素点集合为

像素块r_k的总梯度Sum初始化为Sum=0，设与像素块r_k在边界像素点P_i(i=1,2,...,M) 处相邻的像素块为r_l，R_k和R_l分别为像素块r_k和r_l的区域对比度显著性。依次对每一个边界像素点P_i作如下处理: 

如果

如果R_k＞R_l，则Sum=Sum+|G_i| 

否则Sum=Sum-|G_i| 

否则，Sum=Sum+|G_i| 

计算像素块r_k的平均梯度

${\stackrel{\&OverBar;}{G}}_k=\frac{1}{M}\&CenterDot;\mathrm{Sum}---\left(5\right)$

获得像素块r_k的边缘对比度显著性E_k: 

$E_k=\exp ({\stackrel{\&OverBar;}{G}}_k/{\mathrm{\&sigma;}}_e)---\left(6\right)$

其中,σ_e是控制平均梯度对边缘对比度显著性的影响值。 

步骤四、计算每一个像素块r_k的联合显著性U_k: 

U_k＝αR_k+(1-α)E_k             （7） 

其中,R_k和E_k分别为像素块r_k的区域对比度显著性和边缘对比度显著性； 

将每一个像素块r_k的联合显著性U_k赋值给r_k内的每一个像素。 

步骤五、选择固定阈值T，对联合显著性映射图I(x,y)进行二值化处理： 

$f(x,y)=\left\{\begin{array}{cc}1,& I(x,y)\&GreaterEqual;T_1\\ 0,& I(x,y)<T_1\end{array}\right.---\left(8\right)$

得到候选目标区域；f(x,y)中，像素为1的区域为目标区域，0为背景区域。 

步骤六、对于候选目标区域进行相似滤波处理，去除候选目标区域中的非目标部分。对二值化结果中为1的区域进行8邻域的连通域标记； 

对于每一个连通域C_k，以其质心为中心重新建立一个面积为原来区域外接矩形4倍的矩形区域A_k，g₁为C_k在原图中的平均灰度，g₂为A_k在原图中的平均灰度，设定阈值T₂=58： 

如果g₁-g₂>T₂,则C_k为目标区域，保留； 

否则C_k背景区域，去除。 

本发明的有益效果是：该方法首先将原始图像分成均匀同质的小像素块；然后根据红外图像色彩缺乏，并且红外目标一般亮于背景的特点，利用像素块之间的灰度对比度和空间对比度建立像素块的全局区域对比度，即像素块的区域对比度显著性；进而，根据红外目标的边缘对噪声具有鲁棒性的特点，利用梯度信息建立像素块的边缘对比度显著性；接着利用这两种显著性的线性组合得到整幅图像的联合显著性映射；最后通过设定阈值进行二值化得到候选目标区域并且通过相似性滤波进一步去除误分割区域得到最终结果。本发明方法在OSU Thermal pedestrian Database红外图像库上的测试结果显示，目标分割的准确率(Precision Rate)超过了90%，召回率(Recall Rate)接近80%，F-测量(F-measurement)超过90%，在三个评价指标上均明显优于背景技术的方法。 

下面结合附图和实施例对本发明作详细说明。 

附图说明

图1是本发明基于联合显著性的红外目标分割方法的流程图。 

具体实施方式

参照图1。本发明基于联合显著性的红外目标分割方法的具体步骤如下： 

1、像素块划分。 

输入一幅红外图像，使用Mean-Shift聚类方法在灰度和空间位置组成的三维空间中进行区域划分。将得到的像素块作为后续联合显著性计算的基本单元来提高计算效率。为了保证像素块均匀同质，并且能很好的保持图像的边缘信息，实验中，Mean-Shift的参数设置为，空间分辨率R_s=6，色彩分辨率R_c=5.5。 

2、区域对比度显著性计算。 

生物视觉研究表明，人眼对于强烈的信号对比度更为敏感，因此一般使用信号的对比度来定义图像区域的显著性。本实施例采用灰度对比度和空间对比度来定义像素块的区域对比度。另外为了避免局部噪声点的影响，采用全局的区域对比度来定义像素块的区域对比度显著性。设图像被分成N个像素块，r_i(i=1,2,...,N)为每一个像素块。图像中任一个像素块r_k的区域对比度显著性可以计算如下： 

(1)统计得到整幅图像的平均灰度值和每一个像素块r_i(i=1,2,...,N)的灰度直方图，在直方图结果中，用来表示像素块r_i的第p种灰度的出现频率，其中，出现频率归一化到[0,1]范围内； 

(2)统计每一个像素块r_i(i=1,2,...,N)的面积大小（包含像素的数量）w_s(r_i)，平均灰度值g_i和质心坐标，其中，质心坐标归一化到[0,1]范围内； 

(3)计算像素块r_k和图像中任一其他像素块r_i(i=1,2,...,k-1,k+1,...,N)的色彩对比度C(r_k,r_i)： 

$C(r_k,r_i)=\underset{p=1}{\overset{n_k}{\mathrm{\&Sigma;}}}\underset{q=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{f}_k^{c_p}{f}_i^{c_q}{D}_c(c_p,c_q)---\left(1\right)$

其中，n_k,n_i分别表示像素块r_k和r_i内部的灰度种类数，c_p,c_q分别表示像素块r_k和r_i内部的第p和第q种灰度，D_c(c_p,c_q)表示两种灰度c_p,c_q之间差的绝对值； 

(4)计算像素块rk和图像中任一其他像素块ri(i=1,2,...,k-1,k+1,...,N)的空间对比度S(r_k,r_i)： 

S(r_k,r_i)＝exp(-D_s(r_k,r_i)/σ_s)             （2） 

其中，D_s(r_k,r_i)表示两个像素块r_k和r_i质心之间的欧式距离，σ_s控制质心距离对空间对比度的影响且σ_s=0.4； 

(5)计算像素块rk和图像中任一其他像素块ri(i=1,2,...,k-1,k+1,...,N)的区域对比度R_c(r_k,r_i)： 

R_c(r_k,r_i)＝w_s(r_i)S(r_k,r_i)C(r_k,r_i)           （3） 

(6)计算像素块rk的全局区域对比度，即就是rk的区域对比度显著性R_k： 

$R_k=\left\{\begin{array}{cc}\underset{r_k\&NotEqual;r_i}{\mathrm{\&Sigma;}}{R}_c(r_k,r_i),& g_k\&GreaterEqual;\stackrel{\&OverBar;}{g}\\ 0,& g_k<\stackrel{\&OverBar;}{g}\end{array}\right.---\left(4\right)$

由于红外目标常常比背景具有更高的亮度，因此在步骤(6)中仅计算亮度较高像素块的区域对比度显著性，亮度较低的像素块的区域对比度显著性直接赋值0。步骤(5)中引入像素块的面积表示，大的区域会对rk产生较大的区域对比度。 

3、边缘对比度显著性计算。 

红外图像中较高的噪声干扰往往会导致目标灰度对比度较低，因此单一的区域对比度显著性并不能鲁棒地将目标和背景区分开来。在红外图像中，目标的边缘信息对于噪声具有很好的鲁棒性，所以本发明根据这一特性，提出一种全新的基于梯度的边缘对比度显著性。图像中每一个像素块r_k的边缘对比度显著性的计算步骤如下： 

(1)使用Sobel边缘检测算子，得到像素块r_k边界上每一个像素P_i(i=1,2,...,M)的梯度绝对值|G_i|，M为r_k边界上的像素总个数，边界上的边缘像素点集合为

(2)像素块rk的总梯度Sum初始化为Sum=0，设与像素块rk在边界像素点Pi(i=1,2,...,M)处相邻的像素块为rl，R_k和R_l分别为像素块rk和rl的区域对比度显著性。依次对每一个边界像素点Pi作如下处理: 

如果

如果R_k＞R_l，则Sum=Sum+|G_i| 

否则Sum=Sum-|G_i| 

否则，Sum=Sum+|G_i| 

(3)计算像素块rk的平均梯度

${\stackrel{\&OverBar;}{G}}_k=\frac{1}{M}\&CenterDot;\mathrm{Sum}---\left(5\right)$

(4)获得像素块rk的边缘对比度显著性E_k: 

$E_k=\exp ({\stackrel{\&OverBar;}{G}}_k/{\mathrm{\&sigma;}}_e)---\left(6\right)$

其中,σ_e控制平均梯度对边缘对比度显著性的影响且σ_e=100。 

4、联合显著性映射。 

使用区域对比度显著性和边缘对比度显著性这两种相互独立的显著性的线性组合来计算联合显著性。具体的联合显著性映射获取的步骤如下： 

(1)计算每一个像素块r_k的联合显著性U_k: 

U_k＝αR_k+(1-α)E_k                （7）其中,R_k和E_k分别为像素块r_k的区域对比度显著性和边缘对比度显著性，在求线性组合之前R_k和E_k需要归一化到[0,255]内，其中α为线性参数且α=0.5； 

(2)将每一个像素块rk的联合显著性U_k赋值给rk内的每一个像素。 

5、二值化。 

设定阈值T₁=100，对联合显著性映射图I(x,y)进行二值化，如式（8）所示： 

$f(x,y)=\left\{\begin{array}{cc}1,& I(x,y)\&GreaterEqual;T_1\\ 0,& I(x,y)<T_1\end{array}\right.---\left(8\right)$

在二值化结果f(x,y)中，像素为1的区域为目标区域，0为背景区域。 

6、后处理。 

利用红外目标比周围背景亮的特点，对二值化的结果进行相似性滤波处理，去除误分割为目标的背景区域。后处理的过程如下： 

(1)对二值化结果中为1的区域进行8邻域的连通域标记； 

(2)对于每一个连通域Ck，以其质心为中心重新建立一个面积为原来区域外接矩形4倍的矩形区域Ak，g1为Ck在原图中的平均灰度，g2为Ak在原图中的平均灰度，设定阈值T2=58： 

如果g₁-g₂>T₂,则C_k为目标区域，保留； 

否则C_k背景区域，去除。 

Claims (1)

1.一种基于联合显著性的红外目标分割方法，其特征在于包括以下步骤：

步骤一、输入一幅红外图像，使用Mean-Shift聚类方法将原始图像分割成均匀同质的N个像素块；

步骤二、对每一个像素块r_i(i=1,2,...,N)，图像中任一个像素块r_k的区域对比度显著性计算如下：

统计得到整幅图像的平均灰度值

和每一个像素块r_i的灰度直方图，在灰度直方图结果中，

用来表示像素块r_i的第p种灰度的出现频率；

统计每一个像素块r_i的面积大小w_s(r_i)，平均灰度值g_i和质心坐标；

计算像素块r_k和图像中任一像素块r_i(i=1,2,...,k-1,k+1,...,N)的色彩对比度C(r_k,r_i)：

$C(r_k,r_i)=\underset{p=1}{\overset{n_k}{\mathrm{\&Sigma;}}}\underset{q=1}{\overset{n_i}{\mathrm{\&Sigma;}}}{f}_k^{c_p}{f}_i^{c_q}{D}_c(c_p,c_q)---\left(1\right)$

其中，n_k,n_i分别表示像素块r_k和r_i内部的灰度种类数，c_p,c_q分别表示像素块r_k和r_i内部的第p和第q种灰度，D_c(c_p,c_q)表示两种灰度c_p,c_q之间差的绝对值；

计算像素块r_k和图像中任一像素块r_i(i=1,2...,k-1,k+1,...,N)的空间对比度S(r_k,r_i)：

S(_rk,r_i)＝exp(-D_s(r_k,r_i)/σ_s)            （2）

其中，D_s(r_k,r_i)表示两个像素块r_k和r_i质心之间的欧式距离，σ_s控制质心距离对空间对比度的影响；

计算像素块r_k和图像中任一像素块r_i(i=1,2,...,k-1,k+1,...,N)的区域对比度R_c(r_k,r_i)：

R_c(r_k,r_i)＝w_s(r_i)S(r_k,r_i)C(r_k,r_i)                （3）

计算像素块r_k的全局区域对比度，即就是r_k的区域对比度显著性R_k：

$R_k=\left\{\begin{array}{cc}\underset{r_k\&NotEqual;r_i}{\mathrm{\&Sigma;}}{R}_c(r_k,r_i),& g_k\&GreaterEqual;\stackrel{\&OverBar;}{g}\\ 0,& g_k<\stackrel{\&OverBar;}{g}\end{array}\right.---\left(4\right)$

步骤三、对于每一个像素块r_k，使用Sobel边缘检测算子，得到像素块r_k边界上每一个像素P_i(i=1,2,...,M)的梯度绝对值|G_i|，M为r_k边界上的像素总个数，边界上的边缘像素点集合为

像素块r_k的总梯度Sum初始化为Sum=0，设与像素块r_k在边界像素点P_i(i=1,2,...,M)处相邻的像素块为r_l，R_k和R_l分别为像素块r_k和r_l的区域对比度显著性；依次对每一个边界像素点P_i作如下处理:

如果

如果R_k＞R_l，则Sum=Sum+|G_i|

否则Sum=Sum-|G_i|

否则，Sum=Sum+|G_i|

计算像素块r_k的平均梯度

${\stackrel{\&OverBar;}{G}}_k=\frac{1}{M}\&CenterDot;\mathrm{Sum}---\left(5\right)$

获得像素块r_k的边缘对比度显著性E_k:

$E_k=\exp ({\stackrel{\&OverBar;}{G}}_k/{\mathrm{\&sigma;}}_e)---\left(6\right)$

其中,σ_e是控制平均梯度对边缘对比度显著性的影响值；

步骤四、计算每一个像素块r_k的联合显著性U_k:

U_k＝αR_k+(1-α)E_k            （7）

其中,R_k和E_k分别为像素块r_k的区域对比度显著性和边缘对比度显著性；

将每一个像素块r_k的联合显著性U_k赋值给r_k内的每一个像素；

步骤五、选择固定阈值T，对联合显著性映射图I(x,y)进行二值化处理：

$f(x,y)=\left\{\begin{array}{cc}1,& I(x,y)\&GreaterEqual;T_1\\ 0,& I(x,y)<T_1\end{array}\right.---\left(8\right)$ 得到候选目标区域；f(x,y)中，像素为1的区域为目标区域，0为背景区域；

步骤六、对于候选目标区域进行相似滤波处理，去除候选目标区域中的非目标部分；对二值化结果中为1的区域进行8邻域的连通域标记；

对于每一个连通域C_k，以其质心为中心重新建立一个面积为原来区域外接矩形4倍的矩形区域A_k，g₁为C_k在原图中的平均灰度，g₂为A_k在原图中的平均灰度，设定阈值T₂=58：

如果g₁-g₂>T₂,则C_k为目标区域，保留；

否则C_k背景区域，去除。

Images