CN101359402A - 复杂背景下红外背景预测算子的自动选择方法 - Google Patents

Abstract

本发明一种复杂背景下红外背景预测算子的自动选择方法，可概括为：首先对单帧图像中的每个点进行邻域操作得到以该点为中心的子图像邻域，并计算该子图像的平滑度，然后根据子图像的平滑度选择对应的背景预测算子，以获得背景图像。对具有不同图像平滑度的局部邻域自动采用不同的预测算子进行背景预测，比单独采用某一种预测算子计算得到的背景图像更接近原图，能够更大程度上的抑制背景噪声。

Description

复杂背景下红外背景预测算子的自动选择方法

(一)技术领域：

本发明涉及一种算子的自动选择方法，尤其是指复杂背景下红外背景预测算子的自动选择方法。属于红外图像目标检测领域。

(二)背景技术：

根据现有的红外辐射理论，所有具有温度的物体每时每刻都在向外辐射红外能量，且物体的温度和材质等因素决定了物体的红外辐射强度。因此可以利用被动式红外成像对特定的目标进行全天的检测和监控。然而红外成像系统也具有自身的弱点：1.对于远距离的运动目标进行捕获时，此类目标在红外图像中所占像素尺寸小、目标强度低且无明显的几何形状和纹理特性，本领域将此类目标称为弱小运动目标；2.目标所在的背景可能是较为复杂的背景，如强起伏的云层背景、带有阳光反射的海面背景、海天背景、复杂的地面背景以及复杂的低空地面混合背景等，复杂的背景对目标检测会带来很大的干扰，甚至会将本身强度不大的弱小目标淹没。复杂背景环境下红外弱小目标检测是红外预警、红外自动寻的系统中关键技术之一，并已经成为国内外的研究热点。单帧目标检测算法对于红外弱小运动目标检测的鲁棒性不强。目前，本领域使用跟踪前检测(DBT)的方法来解决此类问题，其思路可概括为：对红外成像器所获得的图像序列逐帧进行单帧检测，获得所有的疑似目标，然后根据图像序列中帧与帧的相关性进行多帧判别，剔除虚假目标和干扰噪声，最终得到真实目标的运动轨迹。

背景预测的算法思想最早由Narayanan于1981年12月在IEEE Transaction on Systems.Man.and Cybernetics发表的Image Smoothing by Local Use of Global Information一文中提出，此后被越来越多的研究者接受，开始应用于弱小目标检测领域。红外背景预测算法实质是用于红外图像弱小目标检测的一类方法的统称，如图1所示，它利用某种背景预测算子计算出红外图像的背景，然后通过与原图像进行做差，以获得包含目标和部分噪声的残差图像，最后通过多帧联合判别的方法检测出目标。两种采用不同背景预测算子的红外背景预测算法实际上是两种不同的算法。

红外背景预测算法的核心是背景预测算子，通过背景预测算子计算图像中每一像素点的背景预测值。背景预测算子在计算某一像素点的背景预测值的时候首先需要定义该点所在领域的大小，一般采用奇数尺寸的领域，如以该点为中心7×7的领域或者9×9的领域。背景预测值的计算方法是根据该点所在领域的灰度值来计算该点的背景预测值，而且对于邻域中不同的点一般赋予的计算权重也不同。

经过对现有的文献资料的研究发现，徐军2004年在西安电子科技大学发表的博士学位论文《红外弱小目标检测技术研究》中提出一种基于背景预测的红外弱小目标检测方法(如图1所示)，首先通过对单帧图像进行背景预测获得背景图像，然后通过原始图像和背景图像的差获得残差图像，即包含目标和噪音的图像，残差图像中背景的成分得到大幅度的削弱，将残差图像二值化然后根据多帧判断算法进行目标的最终检测。该论文提出了三种背景预测算子：基本加权背景预测、最大化背景预测以及最相似背景预测，并比较了它们的性能差别。但是该论文中并没有提到将三种背景预测算子的性能优点加以综合考量，另外该论文中的目标图像的背景也较为简单，而且也没有提到若遇到复杂背景条件，该如何处理。

(三)发明内容：

本发明的目的在于提出一种复杂背景下红外背景预测算子的自动选择方法，用来解决现有技术不能在复杂背景下进行预测算子的自动选择，以克服现有技术中的缺陷。

本发明的技术方案概括为：首先对单帧图像中的每个点进行邻域操作得到以该点为中心的子图像邻域并计算该子图像的平滑度，然后根据子图像的平滑度选择对应的背景预测算子，以获得背景图像。

以下对本发明的技术方案作进一步的说明。

本发明一种复杂背景下红外背景预测算子的自动选择方法，其具体步骤如下：

(1)获取子图像邻域：

本发明采用红外成像系统获得红外弱小目标图像并对其直接进行处理。现有的红外成像系统一般为红外焦平面，按照自身的帧频拍摄产生连续帧的红外图像。本发明是对红外成像系统产生的单帧图像进行处理，将图像中的部分区域作为子图像邻域，该区域的大小为7×7。该红外成像系统的成像参数如下：光学系统有效面积A₀＝12.0(cm²)，探测器星响应度 $D^{*}=2\×{10}^{10}(\mathrm{cm}\sqrt{\mathrm{Hz}}/W),$ 可探测最小信噪比SNR＝4，探测器面积A_d＝0.4(mm²)，等效噪声带宽Δf＝2000.0(Hz)，光学系统红外辐射透过率τ₀＝0.8，信号衰减因子δ≈1；“目标成像系统”和“辅助成像系统”的成像波段为红外中波波段(3μm-5μm)。

(2)计算局部图像的平滑度

复杂背景下红外弱小运动目标中的图像目标信息很弱，对获得的子图像邻域首先计算局部图像的平滑度，然后根据计算结果判断是否需要进一步计算局部图像灰度均值，以选择最适合的背景预测算子。具体步骤如下：

计算局部图像的平滑度：

平滑度用于描述图像灰度的偏移，设方差为v，则平滑度R可表示为：

$R=1-\frac{1}{1+v}---\left(1\right)$

显然R∈[0，1]，且R越小表示图像越平滑。方差v的计算公式如下：

$v=\underset{i=\mathrm{0,1}L,L-1}{\mathrm{\Σ}}[(z_i-m)\·P\left(z_i\right)]---\left(2\right)$

式中，L表示图像的灰度级，z_i表示图像的灰度随机变量，P(z_i)表示该灰度随机变量的概率，m表示局部图像灰度均值。

(3)根据局部图像的平滑度计算结果选择背景预测算子

3.1计算局部图像灰度均值m

当平滑度小于平滑度阈值T_R时，需要计算局部图像灰度均值m。局部图像灰度均值m表示图像的整体灰度，其计算公式如下：

$m=\underset{i=\mathrm{0,1}\·\·\·,L-1}{\mathrm{\Σ}}{z}_{i}P\left(z_i\right)---\left(3\right)$

式中，L表示图像的灰度级，z_i表示图像的灰度随机变量，P(z_i)表示该灰度随机变量的概率。

3.2基本加权背景预测

当平滑度R大于平滑度阈值T_R时，选择基本加权背景预测算子。基本加权背景预测算子计算较为简单，具体计算方法如下(4)-(5)所示。

所有的背景预测算子均由同一个背景预测的算法模型衍生出来，此背景预测的算法模型可表示为：

$Y(i,j)=\underset{S}{\mathrm{\Σ}}\mathrm{\Σ}[W_n(l,k)\·X(i-l,j-k)]---\left(6\right)$

式中，(i，j)表示图像中某点的坐标，Y(i，j)表示该点的背景预测值，S表示以该点为中心的邻域，X(i-l，j-k)表示原图像中该邻域中某点的像素值，W_n(l，k)表示该点的权重。

基本加权背景预测算子在背景预测算法模型的基础上定义了邻域各点的权重，如下所示：

$W_n(l,k)=\frac{r(i,j)}{\underset{i,j\∈S}{\mathrm{\Σ}}\mathrm{\Σr}(i,j)}---\left(7\right)$

式中，W_n(l，k)表示邻域S中的某一点的权重，r(i，j)表示该点到中心点的距离。本发明采用7×7的模板进行背景预测，权重W_n(l，k)用矩阵形式W_n可表示为：

$W_n=\left[\begin{array}{ccccccc}9& 9& 9& 9& 9& 9& 9\\ 9& 4& 4& 4& 4& 4& 9\\ 9& 4& 1& 1& 1& 4& 9\\ 9& 4& 1& 0& 1& 4& 9\\ 9& 4& 1& 1& 1& 4& 9\\ 9& 4& 4& 4& 4& 4& 9\\ 9& 9& 9& 9& 9& 9& 9\end{array}\right]---\left(8\right)$

将式(6)代入式(4)，即可求出基本加权背景预测算子的计算结果。

(4)选择背景预测算子

根据局部图像平滑度和局部图像灰度均值的计算结果，在下列4种背景预测算子中选择合适的算子作为当前邻域的背景预测算子：即基本加权背景预测算子、最大化背景预测算子、最小化背景预测算子以及最相似背景预测算子。

以图像中某点为中心邻域S，以该点为中心划分为4个象限，用数字i表示为i＝1，2，3，4。根据基本加权背景预测的计算方法(将式(6)代入式(4))，计算4个象限对应的预测值，分别为：Y₁，Y₂，Y₃，Y₄。最小背景预测算子取其中最小值作为背景预测值，用Y_min表示最小背景预测算子计算得到的背景预测值，用于计算背景灰度均值较小区域的背景预测值。如下式所示：

$Y_{\min }=\underset{i=\mathrm{1,2,3,4}}{\min }\left(Y_i\right)---\left(9\right)$

最大背景预测算子取其中最大值作为背景预测值，用Y_max表示最大背景预测算子计算得到的背景预测值，如下式所示：

$Y_{\max }=\underset{i=\mathrm{1,2,3,4}}{\max }\left(Y_i\right)---\left(10\right)$

最相似背景预测算子取Y₁～Y₄中与原图像的点灰度值最接近的值作为背景预测值，如下式所示：

$Y_s=\mathrm{Arg}\left\{\underset{i=\mathrm{1,2,3,4}}{\min }\left(\mathrm{abs}(Y_i-X)\right)\right\}---\left(11\right)$

式(12)中abs(Y₁-X)分别表示4个象限的预测值和原图像素值X差的绝对值。

如果当前领域S的局部图像灰度均值m小于T_m1，则中心点的灰度值低的可能性大，因此选择最小化背景预测算子(如式(7))；同理，如果当前领域S的局部图像灰度值m大于T_m2，则采用最大化背景预测算子(如式(8))；如果当前领域S的局部图像灰度值m属于[T_m1，T_m2]，则选择最相似背景预测算子(如式(9))。

根据蒙特卡洛实验结果，灰度阈值取值如下：T_m1＝0.2，T_m2＝0.5。

本发明优点及功效在于：对具有不同图像平滑度的局部邻域自动采用不同的预测算子进行背景预测，比单独采用某一种预测算子计算得到的背景图像更接近原图，能够更大程度上的抑制背景噪声。

(四)附图说明：

图1为基于红外背景预测的弱小目标检测的经典算法框架图。

图2为基于红外背景预测的红外弱小目标图像。

其中，图2(a1)，图2(b1)，图2(c1)为典型复杂背景下红外弱小目标图像；

图2(a2)，图2(b2)，图2(c2)为不同标记标识目标在图2(a1)，图2(b1)，图2(c1)为图像中的位置。

图3为本发明提出的复杂背景下红外背景预测算子的自动选择方法框图。

图4为本发明的方法和传统方法的对比结果。

其中，图4(a)为背景预测的红外弱小目标图像；

图4(b)为传统的加权背景预测算法所得到的残差图像；

图4(c)为本方明方法所得到的残差图像。

(五)具体实施方法：

下面结合附图对本发明的技术方案作进一步的详细描述。

在现有技术中，如图1所示，基于红外背景预测的弱小目标检测的经典算法框架图，首先通过背景预测算法获得单帧图像的背景图像，然后与原图像做差获得残差图像。如果背景预测算法鲁棒性好，残差图像中将包括目标和少量的噪声。最后，残差图像通过多帧判别算法获得目标的运动轨迹。其中，背景预测算法的鲁棒性是解决该算法是否有效的关键，尤其是当处理较为复杂的背景。

红外背景预测算法主要受到局部背景图像的影响，提高复杂背景预测算法的鲁棒性，即为提高局部区域背景预测算法的可靠性。如图2所示，显然，不同局部背景下的目标和背景的相对特性差异很大。在实际应用中，一般采用经验的方法对不同的预测算子进行人工选择，即，根据成像器所拍摄图像的背景环境，用人工的方法挑选。例如人们会对简单天空背景中的图像和复杂海面背景中的图像人为选择不同的方法进行处理。本发明复杂背景下红外背景预测算子的自动选择方法解决了该问题在实际应用中的不足。

本发明主要针对红外背景预测算法进行改进，如图3所示，对于当前像素点的7×7邻域图像，首先计算局部图像的平滑度，然后根据计算结果判断是否需要进一步计算局部图像灰度值以选择最适合的背景预测算子。图4所示为本发明的方法和传统方法的对比结果图，其中图4(a)为红外弱小运动目标图像。现以结合图4中的具体实例详细说明具体实施步骤(本发明中的灰度值的范围均采用归一化表示，即灰度值的范围为[0，1]，线性对于8位灰度值[0，255])。

(1)采集红外图像

利用红外成像设备直接获得红外弱小运动目标的图像，本发明内容部分提供了该红外成像设备的参数。成像气候条件应本着能够获取远距离运动目标的原则，即尽量避免雨雪天气，拍摄时间白天夜晚均可，图4(a)的拍摄气候条件为多云的白天。

(2)计算局部图像的平滑度

取出步骤(1)拍摄的任意一副包含红外弱小运动目标的图像，如图4(a)。图4(a)的大小为128×128。针对图4(a)的每一点，均以此点为中心获取一个局部图像，并计算该局部图像的平滑度，局部图像的大小为7×7。以图4(a)中第64行，第64列的点为例，该点坐标可记为(64，64)，则该点的局部图像的坐标范围为：(61，61)，(61，62)，…，(61，67)，(62，61)，(62，62)，…，(62，67)，……，(67，61)，(67，62)，…，(67，67)。先利用式(2)计算方差，然后根据式(1)计算平滑度，结算结果为4.42×10^-4。图4(a)的(82，64)所在局部图像采用相同的方法计算出平滑度为1.27×10^-3。

(3)根据局部图像的平滑度计算结果选择背景预测算子

3.1计算局部图像灰度均值m

当平滑度小于平滑度阈值T_R时需要计算局部图像灰度均值m。根据对大量图像源进行蒙特卡洛实验得到的结果，这里的平滑度阈值T_R取值为5×10^-4。步骤2中点(64，64)所在局部图像平滑度的计算结果为4.42×10^-4，小于阈值T_R，因此需要根据式(3)计算该局部图像的均值，计算结果为0.6834。而(82，64)所在局部图像的平滑度大于阈值T_R不需要计算均值。

3.2基本加权背景预测

平滑度计算结果图4(a)的(64，64)所在局部图像的计算结果4.42×10^-4小于阈值T_R，因此该局部图像不采用基本加权背景预测。图4(a)的(82，64)所在局部图像的平滑度为1.27×10^-3，大于阈值T_R，因此，将式(6)的权重矩阵代入式(4)以计算该点的基本加权背景预测值，计算结果为0.0235。

(4)根据均值计算结果选择背景预测算子

将均值计算结果与均值双阈值进行比较。如果当前局部图像灰度均值m小于T_m1，则采用最小化背景预测算子(如式(7))计算背景预测值；同理，如果局部图像灰度均值m大于T_m2，则采用最大化背景预测算子(如式(8))计算背景预测值；如果局部图像灰度均值m属于[T_m1，T_m2]，则采用最相似背景预测算子(如式(9))计算背景预测值。根据蒙特卡洛实验结果，灰度阈值取值如下：T_m1＝0.2，T_m2＝0.5。

图4(a)中点(64，64)所在局部图像的均值为0.6834大于T_m2，因此采用最大化背景预测算子计算背景预测值，计算结果为0.0196。

重复进行步骤(2)～步骤(4)即可以完成整幅图像的背景预测值的计算，然后其计算结果通过与原图求差即可获得残差图像。背景预测算法的性能通过以下标准来衡量：1.残差图像中必须包含目标；2.残差图像中除目标以外的信号越弱，表明背景预测算法的性能越强。在图4中，图4(b)为传统的加权背景预测算法所得到的残差图像；图4(c)为本方明提供的方法所得到的残差图像。将图4(b)和图4(c)进行对比可以得出结论：本发明的方法在保留了目标之外，对其它信号的抑制作用很好，特别对抑制复杂背景中的边缘噪声有更好的效果。因此，本发明具有良好的性能。

Claims (1)

1、一种复杂背景下红外背景预测算子的自动选择方法，其特征在于，包括下述几个步骤：

(1)获取子图像邻域：

采用红外成像系统获得红外弱小目标图像并对其直接进行处理，即对红外成像系统产生的单帧图像进行处理，来获取子图像邻域，该红外成像系统的成像参数如下：光学系统有效面积A₀＝12.0(cm²)，探测器星响应度 $D^{*}=2\×{10}^{10}(\mathrm{cm}\sqrt{\mathrm{Hz}}/W),$ 可探测最小信噪比SNR＝4，探测器面积A_d＝0.4(mm²)，等效噪声带宽Δf＝2000.0(Hz)，光学系统红外辐射透过率τ₀＝0.8，信号衰减因子δ≈1；“目标成像系统”和“辅助成像系统”的成像波段为红外中波波段(3μm-5μm)；

(2)计算局部图像的平滑度

复杂背景下红外弱小运动目标中的图像目标信息很弱，对获得的子图像邻域首先计算局部图像的平滑度，然后根据计算结果判断是否需要进一步计算局部图像灰度均值，以选择最适合的背景预测算子，具体步骤如下：

计算局部图像的平滑度：

平滑度用于描述图像灰度的偏移，设方差为v，则平滑度R可表示为：

$R=1-\frac{1}{1+v}---\left(13\right)$

显然R∈[0，1]，且R越小表示图像越平滑，方差v的计算公式如下：

$v=\underset{i=\mathrm{0,1}L,L-1}{\mathrm{\Σ}}[(z_i-m)\·P\left(z_i\right)]---\left(14\right)$

式中，L表示图像的灰度级，z_i表示图像的灰度随机变量，P(z_i)表示该灰度随机变量的概率，m表示局部图像灰度均值；

(3)根据局部图像的平滑度计算结果选择背景预测算子

3.1计算局部图像灰度均值m

当平滑度小于平滑度阈值T_R时，需要计算局部图像灰度均值m，局部图像灰度均值m表示图像的整体灰度，其计算公式如下：

$m=\underset{i=\mathrm{0,1}\·\·\·,L-1}{\mathrm{\Σ}}{z}_{i}P\left(z_i\right)---\left(15\right)$

式中，L表示图像的灰度级，z_i表示图像的灰度随机变量，P(z_i)表示该灰度随机变量的概率；

3.2基本加权背景预测

当平滑度R大于平滑度阈值T_R时，选择基本加权背景预测算子，基本加权背景预测算子计算较为简单，具体计算方法如下(16)-(17)所示；

所有的背景预测算子均由同一个背景预测的算法模型衍生出来，此背景预测的算法模型可表示为：

$Y(i,j)=\underset{S}{\mathrm{\Σ}}\mathrm{\Σ}[W_n(l,k)\·X(i-l,j-k)]---\left(18\right)$

式中，(i，j)表示图像中某点的坐标，Y(i，j)表示该点的背景预测值，S表示以该点为中心的邻域，X(i-l，j-k)表示原图像中该邻域中某点的像素值，W_n(l，k)表示该点的权重；

基本加权背景预测算子在背景预测算法模型的基础上定义了邻域各点的权重，如下所示：

$W_n(l,k)=\frac{r(i,j)}{\underset{i,j\∈S}{\mathrm{\Σ}}\mathrm{\Σr}(i,j)}---\left(19\right)$

式中，W_n(l，k)表示邻域S中的某一点的权重，r(i，j)表示该点到中心点的距离，本发明采用7×7的模板进行背景预测，权重W_n(l，k)用矩阵形式W_n可表示为：

$W_n=\left[\begin{array}{ccccccc}9& 9& 9& 9& 9& 9& 9\\ 9& 4& 4& 4& 4& 4& 9\\ 9& 4& 1& 1& 1& 4& 9\\ 9& 4& 1& 0& 1& 4& 9\\ 9& 4& 1& 1& 1& 4& 9\\ 9& 4& 4& 4& 4& 4& 9\\ 9& 9& 9& 9& 9& 9& 9\end{array}\right]---\left(20\right)$

将式(6)代入式(4)，即可求出基本加权背景预测算子的计算结果；

(4)选择背景预测算子

根据局部图像平滑度和局部图像灰度均值的计算结果，在下列4种背景预测算子中选择合适的算子作为当前邻域的背景预测算子：即基本加权背景预测算子、最大化背景预测算子、最小化背景预测算子以及最相似背景预测算子；

以图像中某点为中心邻域S，以该点为中心划分为4个象限，用数字i表示为i＝1，2，3，4，根据基本加权背景预测的计算方法(将式(6)代入式(4))，计算4个象限对应的预测值，分别为：Y₁，Y₂，Y₃，Y₄，最小背景预测算子取其中最小值作为背景预测值，用Y_min表示最小背景预测算子计算得到的背景预测值，用于计算背景灰度均值较小区域的背景预测值，如下式所示：

$Y_{\min }=\underset{i=\mathrm{1,2,3,4}}{\min }\left(Y_i\right)---\left(21\right)$

最大背景预测算子取其中最大值作为背景预测值，用Y_max表示最大背景预测算子计算得到的背景预测值，如下式所示：

$Y_{\max }=\underset{i=\mathrm{1,2,3,4}}{\max }\left(Y_i\right)---\left(22\right)$

最相似背景预测算子取Y₁～Y₄中与原图像的点灰度值最接近的值作为背景预测值，如下式所示：

$Y_s=\mathrm{Arg}\left\{\underset{i=\mathrm{1,2,3,4}}{\min }\left(\mathrm{abs}(Y_i-X)\right)\right\}---\left(23\right)$

式(24)中abs(Y_i-X)分别表示4个象限的预测值和原图像素值X差的绝对值；

如果当前领域S的局部图像灰度均值m小于T_m1，则中心点的灰度值低的可能性大，因此选择最小化背景预测算子(如式(7))；同理，如果当前领域S的局部图像灰度值m大于T_m2，则采用最大化背景预测算子(如式(8))；如果当前领域S的局部图像灰度值m属于[T_m1，T_m2]，则选择最相似背景预测算子(如式(9))；

根据蒙特卡洛实验结果，灰度阈值取值如下：T_m1＝0.2，T_m2＝0.5。

Images