CN103996209B - 一种基于显著性区域检测的红外舰船目标分割方法 - Google Patents

Abstract

一种基于显著性区域检测的红外舰船目标分割方法，包含七个步骤：一、局部行对比度检测；二、边缘强度检测；三、显著线性结构检测；四、亮前景区域检测；五、显著性区域检测；六、局部显著性区域分割，对显著性图像分区域用基于均值、标准差和估计背景构造的自适应阈值处理得到初步舰船分割结果；七、显著性区域筛选，对于初步结果用显著性特征和形状特征进行筛选判别，最终得到舰船目标分割结果。本发明能够有效分割红外舰船图像，并能有效抑制复杂背景和光照不均带来的影响。

Description

一种基于显著性区域检测的红外舰船目标分割方法

技术领域

本发明一种基于显著性区域检测的红外舰船目标分割方法，属于数字图像处理，模式识别和传感器技术领域。它主要涉及红外舰船目标分割、局部自适应阈值、显著性区域检测和目标筛选技术，能广泛应用于红外舰船目标分割、定位、识别与跟踪。

背景技术

基于视场中物体红外辐射特性的红外成像系统，其输出图像反映目标与背景之间温度及红外发射率的差异。近年来，红外图像在海航监控和海上搜寻中的应用使其取得了广泛关注。自动红外舰船目标分割通常是感兴趣目标分析如自动船只分类、识别与跟踪等等研究的首要关键步骤。然而一幅海面红外图像中包含了舰船目标、背景辐射、大气效应和海面波动信息，这使得红外图像具有低分辨率、低信噪比和低前景背景对比度的特点。同时，受距离、场景、天气、大气条件变化影响，红外目标和背景混叠程度大不相同，这都加大了红外舰船目标分割的难度。

基于Mean-shift的算法依靠区域融合实现目标检测，然而当红外图像对比度较低时一些小尺寸目标可能会被滤除或者被融合到背景(W.B Tao,J Liu,H Jin:Unified meanshift segmentation and graph region merging algorithm for infrared shiptarget segmentation.Optical Engineering46(12)(2007).(陶文兵等：红外舰船检测的归一化均值漂移分割与图融合算法.光学工程46(12)(2007).))。改进的活动轮廓模型如AC-LFE方法能够一定程度上抑制亮度不均的影响，但细分结果对初值敏感(K.H Zhang,H.HSong,L Zhang:Active contours driven by local image fitting energy.Patternrecognition,43(4)(2010).(张开华等:局部图像能量控制的活动轮廓.模式识别43(4)(2010).))。FCM聚类是一类经典红外图像分割方法，经典FCM因不考虑空间信息而对噪声敏感，因此加入空间信息度量的FCM算法能够改善分割结果(J Wu,J Li,J Liu,J Tian:Infrared image segmentation via fast fuzzy C-means with spatialinformation.Robotics and Biomimetics,2004.ROBIO2004.IEEE InternationalConference on.IEEE,2004.(吴谨等:基于快速空间模糊C均值的红外图像分割.2004年IEEE机器人与仿生技术国际学会.))。阈值法诸如大津阈值法、最大熵法和最小误差阈值法简单有效，但阈值法只考虑灰度信息而忽略空间信息。加入空间信息改进的阈值法如2D大津阈值法(J Zhang,J Hu:Image segmentation based on2D Otsu method withhistogram analysis.Computer Science and Software Engineering,2008International Conference on.IEEE,2008,6.(张军等:基于直方图分析的2D大津阈值法图像分割.2008年IEEE计算机科学与软件工程国际会议第六卷.))、2D熵阈值法(F Du,W Shi,L Chen,Y Deng,Z Zhu:Infrared image segmentation with2-D maximum entropymethod based on particle swarm optimization(PSO).Pattern Recognition Letters,2005,26(5).(杜峰等:基于粒子群优化的2D最大熵法红外图像分割.模式识别快报,2005,26(5).))能在一定程度抑制噪声，然而阈值法受目标和背景之间的像素比率影响，如果目标像素比背景少太多则无法分割出目标。另外这些方法对于前景背景对比度较低的图像均无法取得良好分割效果。

通常舰船目标在视觉上具有显著的轮廓，因此检测显著性区域并用阈值分割每个显著性区域实现舰船分割的方案是可行的。

发明内容

1、目的：为了提高分割精度、改善分割效果，本发明提供了一种基于显著性检测的红外舰船目标分割方法，为红外舰船目标分割、定位、识别与跟踪等应用提供了有效工具。

2、技术方案：为了实现这个目的，本发明一种基于显著性区域检测的红外舰船目标分割方法，该方法具体步骤如下：

步骤一：局部行对比度检测。将原始图像双边滤波的结果作为后续输入图像。将整幅输入图像分块，以块矩阵为单位用当前块矩阵减去该行块矩阵均值得到差矩阵，取差矩阵每个元素的符号函数与差矩阵2范数的乘积作为局部行对比度度量值；

步骤二：边缘强度检测。分尺度分方向对图像检测边缘，并用不同尺度响应的乘积作为方向边缘，对两个方向边缘求和开方得到边缘强度特征图，进一步得到二值边缘特征图；

步骤三：显著线性结构检测。由海森矩阵构造检测线性结构的度量，并按不同尺度计算结果取最大来计算线性结构特征图及其对应二值图；

步骤四：亮前景区域检测。用滤波后的输入图减去基于高斯模型的估计背景，得到前景图并阈值处理得到二值前景图；

步骤五：显著性区域检测。将上述四步得到的行对比度特征图，边缘强度特征图，显著线性结构特征图，前景图及二值前景图，和输入图通过归一化多元特征图融合来检测显著性区域，得到显著性图像；

步骤六：局部显著性区域分割。对于显著性图像中每一个显著性区域分别用基于均值、标准差和估计背景构造的自适应阈值处理得到初步舰船分割结果；

步骤七：显著性区域筛选对于上一步得到的初步舰船分割结果，通过设定最大区域显著度Max_rs和显著性边缘强度比E_r的参数范围以进一步滤除虚警，并对保留的显著性区域进行形状特征判别，包括对面积、紧密度、长短轴比率、顶部底部长度比设定阈值进行筛选，最终得到红外舰船目标分割结果。

本发明一种基于显著性区域检测的红外舰船目标分割方法。对于双边滤波后的图像，计算表征局部行对比度、边缘强度、线性结构信息以及亮前景区域信息等几幅特征图，将这些特征图进行归一化融合得到显著性图像。对于显著性图像按照显著性区域位置分别用基于均值、标准差和估计背景构造的自适应阈值进行处理，再将结果用几何特征筛选滤除虚警，得到红外舰船目标分割结果。

3、本发明的优点及功效是：本发明充分利用各种工具和信息，综合利用表征不同特性的特征图巧妙获取显著性图像，通过定义合理的自适应阈值，将显著性区域中的虚警进行一定程度滤除，最后利用舰船形状特征进一步滤除虚警得到目标。本发明为红外舰船目标分割、定位、识别与跟踪等应用提供了有效工具，具有广阔的市场前景与应用价值。

附图说明

图1为本发明基于显著性区域检测分割方法的流程框图。

图2为原始图像经过双边滤波处理的结果。

图3为局部行对比度的特征图。

图4为边缘强度的特征图。

图5为显著线性结构对应的二值图。

图6为亮前景区域对应的二值图。

图7为归一化融合多幅特征图的显著性图像。

图8为局部显著性区域分割结果。

图9为最终舰船目标的分割结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明一种基于显著性区域检测的红外舰船目标分割方法，其工作流程如图1所示，各部分具体实施细节步骤如下：

步骤一：局部行对比度检测

将原始图像双边滤波的结果作为输入图像I_f。将整幅图像分块成M×N个互不相交的子块{P₁₁,…,P_1N;…,P_iN;P_M1,…,P_MN}，其中P_ij(1≤i≤M,1≤j≤N)为固定宽度大小为w的方块，第i行的平均块矩阵是该行所有块矩阵的均值矩阵记为meanRow_i，定义以块为单位的局部行对比度为：I_lrc(P_ij)=sign(P_ij-meanRow_i)·||P_ij-meanRow_i||₂，其中sign是符号函数： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{cc}1,& x>0\\ 0,& x=0\\ -1,& x<0\end{array}\right.,$ 依此计算局部行对比度，生成局部对比度的特征图I_lrc。

步骤二：边缘强度检测

用大小不同的两个尺度s₁和s₂分别检测x和y边缘： ${P_I}^x(x,y)={H_x}^{s_1}(x,y)\&CenterDot;{H_x}^{s_2}(x,y),{P_I}^y(x,y)={H_y}^{s_1}(x,y)\&CenterDot;{H_y}^{s_2}(x,y),$ 其中和分别是输入图像对x和y方向多尺度Canny边缘检测的响应结果(P Bao,Z Lei,X.L Wu:Cannyedge detection enhancement by scale multiplication.IEEE Transactions onPAMI27(9)(2005).(鲍等：基于多尺度乘积的Canny边缘检测增强.电气和电子工程师协会模式分析与机器智能会报27(9)(2005).))。将x，y两个方向边缘和相加开方作为初始边缘强度模值对I_em用阈值T_m=meanM+ρ·stdM处理得到二值边缘强度图像 ${\mathrm{BW}}_{\mathrm{em}}(x,y)=\left\{\begin{array}{cc}1,& I_{\mathrm{em}}(x,y)\&GreaterEqual;T_m\\ 0,& \mathrm{otherwise}\end{array}\right.,$ 然后按I′_em=I_em·BW_em调整边缘强度图像，其中meanM为I_em的全局均值，stdM为全局标准差，ρ为控制参数在步骤六中说明。由此得到滤除部分虚警的边缘强度图像。

步骤三：显著线性结构检测

计算每一点的海森矩阵并求其特征值λ₁和λ₂，由此计算各点在不同尺度s（5，7，9）情况下的线性结构度量： ${H_s}^{\&prime;}(x,y)=\left\{\begin{array}{cc}0,& \mathrm{if}({\mathrm{\&lambda;}}_1+{\mathrm{\&lambda;}}_2)>0,\\ \exp (-\frac{R_{\mathrm{\&beta;}}^2}{{2\mathrm{\&beta;}}^2})(1-\exp \left(\frac{Q^2}{{2c}^2}\right))\exp \left(\mathrm{sign}({\mathrm{\&lambda;}}_1+{\mathrm{\&lambda;}}_2)\right),& \mathrm{else}.\end{array}\right.,$ 其中R_β=|λ₁|/|λ₂|，β和c是手动设定的常数，sign是符号函数： $\mathrm{sign}\left(x\right)=\left\{\begin{array}{cc}1,& x>0\\ 0,& x=0\\ -1,& x<0\end{array}\right..$ 根据H_s′取不同尺度响应最大值作为增强的线性结构图像：I_ls(x,y)=max{H_s′(x,y)|s∈(5,7,9)}。然后设定阈值T_ls=20处理： ${\mathrm{BW}}_{\mathrm{outer}}(x,y)=\left\{\begin{array}{cc}1,& I_{\mathrm{ls}}(x,y)\&GreaterEqual;T_{\mathrm{ls}}\\ 0,& \mathrm{otherwise}\end{array}\right.,$ 得到显著线性结构二值图像BW_outer，用以滤除细小线性结构虚警。

步骤四：亮前景区域检测

用高斯分布函数N(μ,σ²)对背景进行估计，然后用输入图像减去估计背景得到亮前景区域检测结果：I_t=I_f-I_b，I_f为原始图像滤波结果，I_b为估计背景。设定阈值T_D=γ·(μ_f+σ_f)，其中μ_f和σ_f分别为I_t的均值和标准差，γ为控制参数在步骤六中说明。用阈值TD处理亮前景图像得到其二值图像： ${\mathrm{BW}}_{\mathrm{brigth}}(x,y)=\left\{\begin{array}{cc}1,& I_t(x,y)\&GreaterEqual;T_D\\ 0,& \mathrm{otherwise}\end{array}\right..$

步骤五：显著性区域检测

通过归一化融合来检测显著性区域，将上述四步得到的结果包括局部行对比度图像I_lrc，边缘强度图像I′_em，显著线性结构图像BW_outer，亮前景区域图像I_t及其二值图像BW_bright，和滤波后图像I_f分别用将像素归一化到(0,1)范围，其中f_max是图像f的最大值，f_min是图像f的最小值。将上述多源图像进行融合，方法为：I_com=I_fnorm·BW_target+(I_lrcnorm·I_emnorm+I_tnorm)·BW_bright，其中BW_target=BW_bright-BW_outer以此滤除海岸线或海港之类的线性结构。融合数据结果I_com是具有高灰度值、强边缘值以及高局部行对比度值的显著性图像。

步骤六：局部显著性区域分割

对于显著性图像I_com通过设定阈值T_sal=0.07处理得到显著性区域对应的二值图像 ${\mathrm{BW}}_{\mathrm{sal}}(x,y)=\left\{\begin{array}{cc}1,& I_{\mathrm{com}}(x,y)\&GreaterEqual;T_{\mathrm{sal}}\\ 0,& \mathrm{otherwise}\end{array}\right..$ 对于BW_sal中每一个显著性区域S_i，用其局部均值meanS_i和局部标准差stdS_i构造自适应阈值T_si=meanS_i+sign(α-1)·α·stdS_i，α为控制参数。对于高对比度红外目标，目标区域比背景更亮一些，对应的阈值也应当更低一些。对于低对比度红外目标，目标和背景的区分度不大，阈值应当高一些。据此设定参数α=meanb/(maxb-meanb)，其中meanb和maxb分别是估计背景I_b的均值和最大值。用α将估计背景信息融入，得到局部自适应阈值T_si，用T_si分割每一个显著性区域S_i得到初步分割结果 ${\mathrm{BW}}_{\mathrm{si}}(x,y)=\left\{\begin{array}{cc}1,& S_i(x,y)\&GreaterEqual;T_{\mathrm{si}}\\ 0,& \mathrm{otherwise}\end{array}\right..$ 之前步骤四中参数γ取值为γ=α，步骤二中参数ρ取值为ρ=α^sign(stdM-b)，其中stdM是边缘强度图像I_em的标准差，b为常数设为0.01。

步骤一：显著性区域筛选

对于上一步得到的初始分割结果，依然有虚警需要滤除。这里用最大区域显著度Maxrs和显著性边缘强度比Er两个参数做进一步处理，两者分别定义如下：

$M_{\mathrm{rs}}^i=\max \left(I_{\mathrm{com}}^i(x,y)\right),(x,y)\&Element;{\mathrm{BW}}_{\mathrm{si}},(i=1,...,n)$

$E_r^i=\frac{\mathrm{\&Sigma;}{\mathrm{BW}}_{\mathrm{em}}^i}{\mathrm{\&Sigma;}{\mathrm{BW}}_{\mathrm{si}}},(i=1,...,n)$

其中BW_si为上一步中各个显著性区域分割结果，其中I_com为步骤五中多特征图融合结果，为对应显著性区域边缘强度的二值图像。根据Max_rs和E_r对显著性区域进行滤除条件判断：其中t_rs和t_er为设定阈值，这里分别取0.8和0.2。对于通过检测保留下来的具有高显著性和高边缘强度的区域，应用形状特征进行进一步筛选，具体形状特征可参考文献(Z.Y Liu,F.G Zhou,X.W Chen,X.Z Bai,C.M Sun,Iterative infrared ship target segmentation based on multiplefeatures.Pattern Recognition,2014,47(9).(刘兆英等:基于多特征的迭代红外舰船目标分割.模式识别,2014,47(9).))。这里选用区域面积Area，紧密度C_p，目标长短轴比率（L_MajorAxis为目标椭圆长轴长度，L_MinorAxis为短轴长度），顶部底部长度比R_ub四个参数。按该参数组对显著性区域进行滤除，判断条件为：t_a1<Area<t_a2,C_p>t_c,t_m1<R_mm<t_m2,R_ub<t_ub，其中t_a1,t_a2,t_c,t_m1,t_m2,t_ub为参数，这里t_a1=50,t_a2=20000,t_c=0.1,t_m1=0.9,t_m2=12,t_ub=1.1，用该参数组描述舰船目标的面积范围，紧密度范围，顶部底部长度比范围，长短轴比率范围等形状特征。经过了显著性条件筛选和形状特征筛选得到最终舰船分割结果。

为了展示本发明的效果，利用舰船分割实例详细介绍本发明各步骤以及最终效果。本发明首先利用双边滤波对图像进行降噪处理，结果如图2。当然，预处理可以由其他方法如直方图均衡、形态学运算等等实现不同效果。计算滤波后图像的局部行对比度特征图，如图3所示。计算输入图像边缘强度特征图，如图4所示。计算输入图像显著线性结构并求其二值图，如图5所示。计算输入图像的亮前景区域并求其二值图，如图6所示。图7为综合了四种特征图归一化融合计算得到的显著性图像。图8为利用局部显著性区域进行自适应阈值分割的结果。图9为通过了显著度筛选条件和形状特征筛选条件的最终红外舰船目标分割结果。

Claims (1)

1.一种基于显著性区域检测的红外舰船目标分割方法，其特征在于：它包括以下具体步骤：

步骤一：局部行对比度检测；将原始图像双边滤波的结果作为后续输入图像，将输入图像分为M×N个互不相交的块{P₁₁,…,P_1N；…,P_iN；P_M1,…,P_MN}，其中P_ij(1≤i≤M,1≤j≤N)为固定宽度大小为w的方块，第i行平均块是该行所有块的均值块记为meanRow_i，定义以块为单位的局部行对比度I_lrc(P_ij)＝sign(P_ij-meanRow_i)·||P_ij-meanRow_i||₂，其中sign是符号函数：依此计算局部行对比度特征图I_lrc；

步骤二：边缘强度检测；用大小不同的两个尺度s₁和s₂分别检测x和y两个方向边缘：其中和分别是输入图像对x和y方向多尺度Canny边缘检测的响应结果；将x，y两个方向边缘和相加开方作为初始边缘强度模值用阈值T_m＝meanM+ρ·stdM处理得到边缘强度二值图其中meanM为I_em的全局均值，stdM为全局标准差，ρ为控制参数在步骤六中说明，最后调整边缘强度模值为I_e′_m＝I_em·BW_em；

步骤三：显著线性结构检测；计算每一点的海森矩阵并求得其特征值λ₁和λ₂，由此计算在不同尺度s下的线性结构度量值：其中R_β＝|λ₁|/|λ₂|，β和c是人工设定的常数，sign是符号函数：根据H_s′对不同尺度s的响应取最大得到表征线性结构的特征图I_ls(x,y)＝max{H_s′(x,y)|s∈(5,7,9)}；然后设定阈值T_ls＝20处理：得到显著线性结构二值图像BW_outer，用以滤除细小线性结构虚警；

步骤四：亮前景区域检测；用高斯分布函数N(μ,σ²)对背景进行估计，用输入图像减去估计背景得到亮前景区域检测结果：I_t＝I_f-I_b，I_f为原始图像滤波结果，I_b为估计背景，设定阈值T_D＝γ·(μ_f+σ_f)，其中μ_f和σ_f分别为I_t的均值和标准差，γ为控制参数在步骤六中说明，用阈值T_D处理亮前景图像得到其二值图像：

步骤五：显著性区域检测通过归一化融合来检测显著性区域，将上述四步得到的结果包括局部行对比度图像I_lrc，边缘强度图像I_e′_m，显著线性结构图像BW_outer，亮前景区域图像I_t及其二值图像BW_bright，和滤波后图像I_f分别用将像素归一化到(0,1)范围，其中f_max是图像f的最大值，f_min是图像f的最小值；将上述多源图像进行融合，方法为：I_com＝I_fnorm·BW_target+(I_lrcnorm·I_emnorm+I_tnorm)·BW_bright，其中BW_target＝BW_bright-BW_outer以此滤除海岸线或海港之类的线性结构，融合数据结果I_com是具有高灰度值、强边缘值以及高局部行对比度值的显著性区域图像；

步骤六：局部显著性区域分割；对于显著性图像I_com通过设定阈值T_sal＝0.07处理得到显著性区域对应的二值图像对于BW_sal中每一个显著性区域S_i，用其局部均值meanS_i和局部标准差stdS_i构造自适应阈值T_si＝meanS_i+sign(α-1)·α·stdS_i，α为控制参数，取值为α＝meanb/(maxb-meanb)，其中meanb和maxb分别是估计背景图像I_b的均值和最大值，用T_si分割每一个显著性区域S_i得到初步分割结果之前步骤四中参数γ取值为γ＝α，步骤二中参数ρ取值为ρ＝α^sign(stdM-b)，其中stdM是边缘强度图像I_em的标准差，b为常数设为0.01；

步骤七：显著性区域筛选；对于上一步得到的初步分割结果，通过设定最大区域显著度Max_rs和显著性边缘强度比E_r的参数范围进一步滤除虚警，两者分别定义为：和其中I_com为步骤五中多特征图融合结果，BW_si为上一步中各个显著性区域分割结果，为对应显著性区域边缘强度的二值图像；根据Max_rs和E_r对显著性区域进行滤除条件判断：其中t_rs和t_er为设定阈值，这里分别取0.8和0.2；最后对保留的显著性区域进行形状特征判别，包括对面积、紧密度、长短轴比率、顶部底部长度比设定阈值进行范围筛选，最终得到红外舰船目标分割结果。