CN102184550A - 一种动平台地面运动目标检测方法 - Google Patents

Abstract

本发明公开了一种动平台地面运动目标检测方法，包括：(1)分别计算图像序列的第(n-m)帧、第n帧和第(n+m)帧图像的SIFT特征描述子(2)以第n帧图像为参考，将第(n-m)帧和第(n+m)帧图像分别进行配准得到配准图像(3)将两幅配准图像分别与第n帧图像进行空间多尺度运动显著性检验；(4)计算第n帧图像和第(n-m)帧配准图像以及第n帧图像和第(n+m)帧配准图像的差分绝对值图像(5)分别计算第(n-m)帧和第n帧以及第n帧和第(n+m)帧的差分图(6)将两幅差分图混合得到三帧差分图再进行二值化(7)对二值分割图进行形态学处理，然后进行区域标记，得到最终的检测结果图。本发明解决了动平台情况下的背景补偿问题，对场景中的光线变化和背景干扰以及由于平台运动产生的图像变形都有很好的鲁棒性。

Description

一种动平台地面运动目标检测方法

技术领域

本发明属于计算机视觉与航空航天技术交叉的科学技术领域，具体涉及到一种动平台地面运动目标检测方法。

背景技术

运动目标检测主要有静平台和动平台两种模式。静平台情况下的运动目标检测和跟踪技术已经比较成熟，动平台情况下的运动目标检测和跟踪技术还在发展之中。对于静平台运动目标检测任务，图像背景保持不变，背景模型通常已知，运动目标检测相对容易。动平台运动目标检测是计算机视觉、视频图像跟踪等应用领域的重要研究问题。动平台运动目标检测算法要比静平台运动目标检测算法复杂得多，平台的运动导致背景图像的表观变化，同时待检测的目标也在运动，整幅图像的前景运动和平台运动产生的背景运动混合在一起，只有很好地把这两种运动分开，才能够准确的检测出运动目标，这给背景的补偿问题提出了很大的挑战。

在国外，1992年就有人开始研究动平台情况下的运动目标检测，而国内的研究还处于起步阶段。Lee Jin-Sung等人提出了基于运动矢量置信度的目标跟踪的算法。但是该算法在求运动矢量时用的是块匹配法，准确性不能保证，而且用两帧差分法检测运动目标，检测出来的目标结构不完整。

顾樑等提出的基于稀疏采样的局部补偿误差函数泰勒展开算法能快速寻找出背景运动的仿射模型参数，但该算法易受光照、噪声、矢量聚类的门限以及设定的步长的影响。

赖作镁等提出了基于鲁棒背景运动补偿的动目标检测算法，该算法能有效消除平台运动引起的背景运动，在平台运动的情况下得到完整的目标。该算法是在补偿后的前一帧和当前帧之间做光流，用光流的大小判定前景和背景，而光流易受光照和灰度等级变化的影响，在判断前景背景上容易出现问题，而且该算法计算复杂、运算时间长。

本发明中所采用的SIFT特征提取算法是由D.G.Lowe 1999年提出的，并于2004年完善总结(见文献：David G.Lowe Distinctive image features from scale invariant keypoints.International Journal of Computer Vision，2004)。后来Y.Ke将其描述子部分用PCA代替直方图的方式，对其进行改进。SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。它广泛地运用于各个领域，例如立体视觉、模式识别以及运动分析等领域都要用到图像配准。但是，该算法运算量大，实时配准存在困难，为解决上述技术难点，必须发明有效的技术途径。

发明内容

本发明提供一种动平台地面运动目标检测方法，能够解决平台运动情况下的图像配准、运动显著性检验、运动目标检测问题，快速准确地将运动物体从图像中提取出来，为后续目标跟踪、识别等图像处理提供基础。

本发明提供的一种动平台地面运动目标检测方法，包括利用SIFT特征进行快速图像配准、运动目标预检测即多尺度运动显著性检验、多帧差分等发明点。SIFT特征提取算法是一种稳定的局部特征描述子算法，可以处理两幅图像之间发生平移、旋转、仿射变换情况下的配准问题。本发明将SIFT特征用于图像配准，提出了一种鲁棒的配准算法，将相邻帧图像进行背景配准以补偿平台运动引起的背景表观运动。该配准算法具有很强的稳健性，适用于平台运动复杂的场合，而且在实时性方面优于传统的配准算法。运动显著性检验是一种空间多尺度运动目标预检测方法，该方法通过对子块进行多尺度运动显著性检验，来限制潜在运动区域的数量，同时也对运动目标区域进行了预检测，为后续确认运动目标作必要准备。

针对运动的成像器平台所拍摄的地面运动目标的图像序列，对于该序列中的任意帧图像比如第n帧，本发明的主要步骤包括：

(1)设第(n-m)帧、第n帧、第(n+m)帧图像分别为f_n-m(x，y)、f_n(x，y)、f_n+m(x，y)，分别计算其SIFT特征描述子，其中n为图像帧号，m为帧间隔即时间尺度(m的取值与目标运动速度有关，对于快速运动目标m取较小值，对于慢速运动目标m取较大值)；

(2)以第n帧图像为参考，将第(n-m)帧和第(n+m)帧图像分别进行配准，得到第(n-m)帧、第(n+m)帧配准图像，设为g_n-m(x，y)和g_n+m(x，y)；

(3)将两幅配准图像分别与第n帧图像进行空间多尺度运动显著性检验，得到第(n-m)帧和第n帧运动显著区域分割图：h_n-m，n(x，y)以及第n帧和第(n+m)帧运动显著区域分割图：h_n，n+m(x，y)；

(4)计算第n帧图像和第(n-m)帧配准图像的差分绝对值图像：

d_n-m，n(x，y)＝|f_n(x，y)-g_n-m，n(x，y)|

计算第n帧图像和第(n+m)帧配准图像的差分绝对值图像：

d_n，n+m(x，y)＝|f_n(x，y)-g_n，n+m(x，y)|；

(5)分别计算第(n-m)帧、第n帧以及第n帧、第(n+m)帧在运动显著区域图像掩模下的差分图：

d′_n-m，n(x，y)＝d_n-m，n(x，y)×h_n-m，n(x，y)/255

d′_n，n+m(x，y)＝d_n，n+m(x，y)×h_n，n+m(x，y)/255；

(6)将两幅差分图d′_n-m，n(x，y)、d′_n，n+m(x，y)混合，得到三帧差分图d_n(x，y)并二值化：

$d_n(x,y)=\sqrt{d_{n-m,n}^{\′}(x,y)\×d_{n,n+m}^{\′}(x,y)};$

(7)通过对d_n(x，y)的二值分割图进行形态学处理，去除噪声物体的干扰。然后对处理后的图像进行区域标记，得到最终的检测结果图。

本发明针对动平台情况下的运动目标检测存在的难点，提出了一种动平台地面运动目标检测方法。该方法的发明点以及技术效果体现在：

本发明将SIFT算法用于图像配准，解决了动平台情况下的背景补偿问题。采用SIFT算法精确定位极值点位置，生成了稳定的关键点特征描述子，利用欧氏距离作为相似度判决准则快速匹配相邻两幅图像的关键点。该配准算法对场景中的光线变化和背景干扰以及由于平台运动产生的图像变形都有很好的鲁棒性。

将空间多尺度运动显著性检验用于目标预检测，通过运动显著性检验划分运动显著区域，在有限区域内进行目标检测，这样不仅减少了运动目标检测的计算量，而且消除了大部分背景的干扰，降低了运动目标检测的误检率。

运用多帧差分法将相邻几幅图像进行多帧差分运算，通过最大类间方差法(OTSU阈值分割算法)和形态学处理提取运动目标。差分法具有快速有效、算法简单、易于硬件实现的优点。OTSU阈值分割算法通过最大类间方差选择一个全局最优的阈值，使得背景和目标之间分离性最好，该算法基于灰度直方图的一阶统计特性，具有运算速度快，适合于实时处理的优点。同时，本发明中还采用形态学处理中的开运算消除差分图中的噪声点，提高运动目标检测的准确度。

附图说明

图1是本发明总体流程图；

图(2a)第(n-m)帧图像；

图(2b)是第(n-m)帧图像的SIFT特征检测结果；

图(2c)是第n帧图像；

图(2d)是第n帧图像的SIFT特征检测结果；

图(2e)是第(n+m)帧图像；

图(2f)是第(n+m)帧图像的SIFT特征检测结果；

图(3a)是第(n-m)帧配准图像；

图(3b)是第(n+m)帧配准图像；

图(4a)是第(n-m)帧和第n帧运动显著区域图像；

图(4b)是第n帧和第(n+m)帧运动显著区域图像；

图(4c)是第(n-m)帧和第n帧运动显著区域分割图像；

图(4d)是第n帧和第(n+m)帧运动显著区域分割图像；

图(5a)是第(n-m)帧和第n帧两帧差分图像；

图(5b)是第n帧和第(n+m)帧两帧差分图像；

图(6a)是第(n-m)帧、第n帧和第(n+m)帧三帧差分图像；

图(6b)是第(n-m)帧、第n帧和第(n+m)帧三帧差分结果分割图像；

图7是第n帧最终的检测结果图像；

具体实施方式

本发明总体流程图如图1所示。下面结合附图和实例对本发明作进一步详细的说明。

(1)设第(n-m)帧、第n帧、第(n+m)帧图像分别为f_n-m(x，y)、f_n(x，y)、f_n+m(x，y)，分别计算其SIFT特征描述子，n和m为正整数，n-m＞0；

详细的SIFT特征描述子计算过程包括检测尺度空间极值点、精确定位极值点、为每个关键点指定方向参数和关键点描述子生成，计算方法属于现有技术中成熟的技术。

图(2a)为第(n-m)帧图像，图(2b)为其对应的SIFT特征检测结果，其中箭头为SIFT特征描述子，箭头的起点为该描述子所对应的关键点坐标、箭头的方向为关键点梯度的主方向；图(2c)为第n帧图像，图(2d)为其对应的SIFT特征检测结果；图(2e)为第(n+m)帧图像，图(2f)为其对应的SIFT特征检测结果。

(2)以第n帧图像为参考，将第(n-m)帧和第(n+m)帧图像分别进行配准，得到第(n-m)帧、第(n+m)帧配准图像，设为g_n-m(x，y)和g_n+m(x，y)；

图(3a)为第(n-m)帧图像的配准图像，图(3b)为第(n+m)帧图像的配准图像。其中，对配准后图像的边缘进行了处理，将图像边缘的灰度置零。

(3)将两幅配准图像分别与第n帧图像进行运动显著性检验，得到第(n-m)帧和第n帧运动显著区域分割图：h_n-m，n(x，y)以及第n帧和第(n+m)帧运动显著区域分割图：h_n，n+m(x，y)；

首先将图像切割成与运动目标相近的子块，子块的尺寸由大到小或者由小到大变化，构建多尺度的图像金字塔，

然后计算两幅图像相应子块的灰度互相关，通过计算各子块的灰度互相关，并据此进行OTSU阈值分割，得到最后的运动显著性检验图。设两幅图像子块分别为s(x，y)，t(x，y)，则去均值归一化的灰度互相关为：

$r(u,v)=\frac{E_{\mathrm{st}}(u,v)}{\sqrt{D_s(u,v)\×D_t(u,v)}},$ r(u，v)∈[-1，1]

其中，E_st(u，v)为图像子块s(x，y)，t(x，y)，x∈[u，u+U-1]，y∈[v，v+V-1]的联合期望，D_s(u，v)、D_t(u，v)分别为两者s(x，y)，t(x，y)的方差，U和V分别为图像子块的长度和宽度：

$E_{\mathrm{st}}(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}[s(x,y)-\stackrel{\‾}{s_{u,v}}]\×[t(x,y)-\stackrel{\‾}{t_{u,v}}]$

$D_s(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[s(x,y)-\stackrel{\‾}{s_{u,v}}]}^2$

$D_t(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[t(x,y)-\stackrel{\‾}{t_{u,v}}]}^2$

最后利用OTSU阈值分割方法，对各子块的灰度互相关求分割阈值，将高于阈值的分割块作为运动显著区域，得到第(n-m)帧和第n帧运动显著区域分割图：h_n-m，n(x，y)以及第n帧和第(n+m)帧运动显著区域分割图：h_n，n+m(x，y)；

图(4a)为第(n-m)帧和第n帧运动显著区域图像，图(4c)为其对应的分割图；图(4b)为第n帧和第(n+m)帧运动显著区域图像，图(4d)为其对应的分割图。

(4)计算第n帧图像和第(n-m)帧配准图像的差分绝对值图像：

d_n-m，n(x，y)＝|f_n(x，y)-g_n-m，n(x，y)|

计算第n帧图像和第(n+m)帧配准图像的差分绝对值图像：

d_n，n+m(x，y)＝|f_n(x，y)-g_n，n+m(x，y)|；

再分别计算第(n-m)帧、第n帧以及第n帧、第(n+m)帧在运动显著区域图像掩模下的差分图：

d′_n-m，n(x，y)＝d_n-m，n(x，y)×h_n-m，n(x，y)/255

d′_n，n+m(x，y)＝d_n，n+m(x，y)×h_n，n+m(x，y)/255；

图(5a)为第n帧图像和第(n-m)帧图像之间的运动显著区域图像掩模下的差分图；图(5b)为第n帧图像和第(n-m)帧图像之间的运动显著区域图像掩模下的差分图。

(5)将两幅差分图d′_n-m，n(x，y)、d′_n，n+m(x，y)混合，得到三帧差分图d_n(x，y)并二值化：

$d_n(x,y)=\sqrt{d_{n-m,n}^{\′}(x,y)\×d_{n,n+m}^{\′}(x,y)};$

图(6a)为三帧差分图，而图(6b)为其对应的二值分割图。

(6)通过对d_n(x，y)的二值分割图进行形态学处理，去除噪声物体的干扰。然后对处理后的图像进行区域标记，得到最终的检测结果图。

图7为最终的检测结果，图方框所标识的即为运动目标。

附图2-7所示的反映了本发明在典型实施例中使用上述方法的有效性，采用SIFT算法精确定位极值点位置，生成关键点特征描述子。利用欧氏距离作为相似度判决准则快速匹配相邻两幅图像的关键点。采用最小二乘法精确求得仿射模型的参数，对图像作仿射变换，消除由于平台运动产生的背景运动，完成图像配准工作。采用运动显著性检验方法对图像运动区域作预检测，将相邻两幅图像划分为与运动目标尺寸相近的图像子块，计算图像子块的去均值归一化互相关，提取图像中的运动显著区域。运用三帧差分法将相邻三幅图像进行三帧差分运算，通过OTSU阈值分割和形态学处理提取运动目标。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (4)

1.一种动平台地面运动目标检测方法，通过对地面运动目标的图像序列进行检测处理，以检测出地面运动目标，该方法具体包括如下步骤：

(1)设所述图像序列的第(n-m)帧、第n帧和第(n+m)帧图像分别为f_n-m(x，y)、f_n(x，y)和f_n+m(x，y)，分别计算该三帧图像的SIFT特征描述子，其中n为图像序列中任一帧图像的帧号，m为差分步长；

(2)以该第n帧图像为参考，将第(n-m)帧和第(n+m)帧图像分别进行配准，得到第(n-m)帧和第(n+m)帧配准图像，记为g_n-m(x，y)和g_n+m(x，y)；

(3)将两幅配准图像分别与第n帧图像进行空间多尺度运动显著性检验，具体为：

首先将图像切割成与运动目标相近的子块，子块的尺寸由大到小或者由小到大变化；

然后计算两幅图像相应子块的灰度互相关；

最后，利用OTSU阈值分割对各子块的灰度互相关求得分割阈值，并将高于所述分割阈值的分割块作为运动显著区域，得到第(n-m)帧和第n帧运动显著区域分割图h_n-m，n(x，y)以及第n帧和第(n+m)帧运动显著区域分割图h_n，n+m(x，y)；

(4)计算该第n帧图像和第(n-m)帧配准图像的差分绝对值图像：

d_n-m，n(x，y)＝|f_n(x，y)-g_n-m，n(x，y)|

以及第n帧图像和第(n+m)帧配准图像的差分绝对值图像：

d_n，n+m(x，y)＝|f_n(x，y)-g_n，n+m(x，y)|；

(5)分别计算该第(n-m)帧和第n帧以及第n帧和第(n+m)帧在运动显著区域分割图像掩模下的差分图：

d′_n-m，n(x，y)＝d_n-m，n(x，y)×h_n-m，n(x，y)/255

d′_n，n+m(x，y)＝d_n，n+m(x，y)×g_n，n+m(x，y)/255

(6)将两幅差分图d′_n-m，n(x，y)和d′_n，n+m(x，y)混合，得到三帧差分图d_n(x，y)，再对d_n(x，y)二值化：

$d_n(x,y)=\sqrt{d_{n-m,n}^{\′}(x,y)\×d_{n,n+m}^{\′}(x,y)};$

(7)通过对d_n(x，y)的二值分割图进行形态学处理，去除噪声物体的干扰，然后对处理后的图像进行区域标记，即得到最终的检测结果图。

2.根据权利要求1所述的方法，其特征在于，所述两幅图像相应子块的灰度互相关通过如下过程计算得到：

设两幅图像子块分别为s(x，y)，t(x，y)，则去均值归一化的灰度互相关为：

$r(u,v)=\frac{E_{\mathrm{st}}(u,v)}{\sqrt{D_s(u,v)\×D_t(u,v)}},$ r(u，v)∈[-1，1]

式中，E_st(u，v)为图像子块s(x，y)，t(x，y)的联合期望，其中x∈[u，u+U-1]，y∈[v，v+V-1]，D_s(u，v)、D_t(u，v)分别为s(x，y)，t(x，y)的方差，U和V分别为s(x，y)，t(x，y)的长度和宽度。

3.根据权利要求2所述的方法，其特征在于，所述联合期望E_st(u，v)通过如下公式计算：

$E_{\mathrm{st}}(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}[s(x,y)-\stackrel{\‾}{s_{u,v}}]\×[t(x,y)-\stackrel{\‾}{t_{u,v}}]$

其中，

和分别为图像子块s(x，y)，t(x，y)的灰度均值，U和V分别为图像子块s(x，y)，t(x，y)的长度和宽度。

4.根据权利要求1-3之一所述的方法，其特征在于，所述方差D_s(u，v)和D_t(u，v)分别通过如下公式计算：

$D_s(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[s(x,y)-\stackrel{\‾}{s_{u,v}}]}^2$

$D_t(u,v)=\underset{x=u}{\overset{u+U-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+V-1}{\mathrm{\Σ}}}{[t(x,y)-\stackrel{\‾}{t_{u,v}}]}^2$

其中，

和

分别为图像子块s(x，y)，t(x，y)的灰度均值，U和V分别为图像子块s(x，y)，t(x，y)的长度和宽度。

Images