CN103456026A - 一种公路地标约束下的地面运动目标检测方法 - Google Patents

Abstract

本发明公开了一种公路地标约束的动平台动目标检测方法，包括：从卫星图片中选取形状特征明显的公路地标，根据公路地标所在的卫星图片生成公路参考图，将生成的公路参考图中直道部分的中心作为选取地标约束中心点，并以该地标约束中心点为中心在公路地标上选取一矩形区域，其宽度和公路地标的宽度相同，长度为出现在视场范围内公路地标直道部分的长度，获取实时图，根据实时图的实时成像行数和实时成像列数、以及动平台的飞行保障参数对公路参考图进行透视变换。本发明解决动平台条件下运动目标尺度变化导致难以检测、地面背景下存在较多干扰而导致虚警、以及运动目标检测实时性差的技术问题。

Description

一种公路地标约束下的地面运动目标检测方法

技术领域

本发明属于成像自动目标识别与导航制导交叉的技术领域，更具体地，涉及一种公路地标约束下的地面运动目标检测方法。

背景技术

动目标检测技术在现代军事和民用中均占有非常重要的地位，提供可靠而准确的高质量目标信息始终是动目标检测技术的主要任务。为此，国内外许多研究人员一直致力于该课题的研究。动目标检测系统一般是基于对图像序列的处理，力图从复杂的背景中识别出目标，并对目标的运动规律加以预测，实现对目标的连续、准确的跟踪。

对点源运动目标的检测，有所谓“先检测后跟踪”和“先跟踪后检测”等两类方法研究的广泛报道。在现实的场景中，特别是复杂背景条件下，存在各种大小尺寸的运动对象及各种运动速度的对象需要我们一并检测和分析。然而，现有的大多数方法和算法是单一时间尺度的，即依据相邻帧的逐帧检测。这样当成像平台逐渐靠近目标，目标在实时图中的尺度就会发生变化，传统的运动目标检测仅考虑一种尺度，不能适应目标尺度变化，这样在动平台条件下现有方法算法不能有效检测运动目标。

再者，现有的动目标检测识别方法都是就运动目标的本身而言，对目标所处的背景以及场景约束没有考虑到。许多地面运动目标都会有一定的场景约束，比如公路、桥梁、飞机跑道等，传统的运动目标检测没有考虑到运动目标的约束范围，而对全图进行搜索，使得背景区域中的干扰也被当做目标，导致大量虚警。

而对全图进行运动目标检测，算法开销很大，使得动目标检测的实时性没有保障。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种公路地标约束下的地面运动目标检测方法，其目的在于解决动平台条件下运动目标尺度变化导致难以检测、地面背景下存在较多干扰而导致虚警、以及运动目标检测实时性差的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种公路地标约束的动平台动目标检测方法，包括以下步骤：

（1）从卫星图片中选取形状特征明显的公路地标；

（2）根据公路地标所在的卫星图片生成公路参考图；

（3）将生成的公路参考图中直道部分的中心作为选取地标约束中心点T₁，其坐标为(x_c,y_c)，并以该地标约束中心点T₁为中心在公路地标上选取一矩形区域Area_c，其宽度和公路地标的宽度相同，长度为出现在视场范围内公路地标直道部分的长度，其四个顶点坐标分别为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)以及(x₄,y₄)；

（4）获取实时图，根据实时图的实时成像行数和实时成像列数、以及动平台的飞行保障参数对公路参考图进行透视变换，以得到变换后的地标约束中心点和地标约束区域；

（5）根据步骤（4）中变换后的地标约束中心点和地标约束区域确定其在实时图中的位置，并提取实时图中的地标约束区域；

（6）在动平台下对两帧实时图进行配准，并在步骤（5）提取的地标约束区域中进行多尺度运动目标窗口选择，以获得每帧实时图中每一像素点对应的窗口区域；

（7）使用时空多尺度运动目标检测方法计算步骤（6）获得的不同窗口区域的运动显著性度量值，确定最大的运动显著性度量值对应的窗口区域作为运动显著性区域，并获得该运动显著性区域的最佳时间间隔；

（8）利用最佳时间间隔、多帧累积差分方法和标记方法对步骤（5）提取的地标约束区域中每个运动显著性区域提取区域内运动目标，以完成对公路地标约束下的运动目标检测。

优选地，特征明显的公路地标为环状公路及其直道部分作为，且该公路地标的数量至少为一个。

优选地，步骤（4）包括以下子步骤：

（4-1）根据动平台的飞行保障参数计算地标约束中心点在前视图中的位置坐标（X_r，Y_r），具体采用以下公式：

X_r＝ROW/2+(∠OMP-θ)*ROW/φ

其中

OT₀＝h/tanθ

OM＝OT₀+(y_c-y₀)×cosα+(x_c-x₀)×sinα

tan(∠OMP)＝h/OM

(x₀,y₀)为大地坐标系下动平台的光轴瞄准点，OT₀为动平台的光轴指向与大地水平面交点T₀与动平台成像仪在大地水平面上的水平投影点O之间的距离，M为地标约束中心点T₁在光轴纵向方向的投影与OT₀直线的交点，OM为水平投影点O与M点之间的距离，φ为动平台成像仪的纵向成像视场角，

为成像仪的横向成像角，ROW为实时图的实时成像行数，COL为实时图的实时成像列数，α为动平台成像仪的成像方位角，θ为动平台成像仪的成像俯仰角，h为动平台成像仪的成像高度；

（4-2）根据地标约束区域的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)计算地标约束区域的四个顶点在前视图中的位置坐标(x'₁,y'₁)、(x'₂,y'₂)、(x'₃,y'₃)以及(x'₄,y'₄)。

优选地，步骤（6）包括以下子步骤：

（6-1）选择初始时间间隔Δt，采用SIFT方法对两帧实时图f(x,y,t_c)和f(x,y,t_c+Δt)进行配准；其中x为其中一帧实时图的横坐标，y为其纵坐标，t_c为实时图的当前图像帧；

（6-2）在步骤（5）提取的地标约束区域中确定K个窗口，其尺寸从小到大依次为：S_{min_x}×S_{min_y}，(S_{min_x}+ΔS_x)×(S_{min_y}+ΔS_y)，…，(S_{min_x}+(K-1)ΔS_x)×(S_{min_y}+(K-1)ΔS_y)，S_{min_x}表示窗口长度的最小值，S_{min_y}表示窗口宽度的最小值，ΔS_x表示长度增量，ΔS_y表示宽度增量；

（6-3）利用最小窗口(S_{min_x}×S_{min_y})分别对两帧实时图f(x,y,_ct)和f(x,y,t_c+Δt)进行逐像素点遍历，以分别得到每帧实时图中每一像素点(x,y)对应的窗口区域和

优选地，步骤（7）具体包括以下子步骤：

（7-1）计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value(x,y)；

（7-2）针对每一个运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值Value(x′,y′)中确定最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′，从而对于步骤（5）提取的地标约束区域中的N个运动标记像素点而言，可得到N个运动显著性区域，记为

其中i＝1,2,...N；

（7-3）在步骤（5）提取的地标约束区域中，计算每一运动显著性区域ω_x′,y′的最佳时间间隔

优选地，步骤（8）具体为，对每个运动显著性区域取图像对f_t(x,y)与

或

在两幅图像的区域

内做多帧累积差分，多帧累积差分的过程参见中国专利“时空多尺度运动目标检测方法”中所述。前后对称两帧与当前帧分别进行累积差分，分别提取步骤（5）提取的地标约束区域中的累积差分图像，然后通过图像融合增强累积差分图像之间的差异，再通过OTSU算法对累积差分图像进行阈值分割、形态学处理和标记，以提取累积差分图像中的运动目标，最终得到运动目标检测结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、由于采用了步骤（4）和步骤（5）提取目标所在的地标约束区域，而不是对全图进行运动目标检测，因而将动目标的检测限定在约束区域内，有效的排除了大量的背景干扰，很大程度降低了虚警。

2、由于采用了步骤（4）和步骤（5）提取目标所在的地标约束区域，而不是对全图进行运动目标检测，因而减小了运动目标检测算法开销，保障了实时性；

3、由于采用了步骤（6）对地标约束区域内进行多尺度运动窗口选择，使得运动目标检测具有多尺度的特性，能检测动平台条件下有不同时—空位置、尺寸的目标。

附图说明

图1是本发明公路地标约束的动平台动目标检测方法的总体流程图。

图2是正射影像图中公路位置示意图。

图3是公路地标参考图。

图4是透视变换几何模型示意图。

图5是透视变换结果图。

图6是原始前视红外图。

图7是公路地标约束区域提取结果。

图8是第1帧和第10帧SIFT角点提取结果。

图9是第10帧实时图地标约束区域内运动显著性区域提取结果。

图10是第10帧实时图公路地标约束下运动目标分割结果。

图11是第10帧实时图运动目标检测结果。

图12是第100帧实时图运动目标检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明公路地标约束的动平台动目标检测方法包括以下步骤：

（1）从卫星图片中选取形状特征明显的公路地标；具体而言，本发明以公路场景中存在公路上的运动目标可用为实施条件，图2为获得的卫星图片，该图片分辨率为0.8米，大小为1000×1000像素，本发明选取环状公路（如图3所示）及其直道部分作为特征明显的公路地标，该公路地标的数量至少为一个；

（2）根据公路地标所在的卫星图片生成公路参考图；具体生成公路参考图的过程已经在本申请人提交的中国专利“一种用于前视导航制导的平面地标选择和参考图制备方法”（专利号ZL200910273308.2）中予以披露，在此不再赘述，图3为所选择的公路地标参考图，其包含一段直道与部分环形枢纽；

（3）将生成的公路参考图中直道部分的中心作为选取地标约束中心点T₁，其坐标为(x_c,y_c)，并以该地标约束中心点T₁为中心在公路地标上选取一矩形区域Area_c，其宽度和公路地标的宽度相同，长度为出现在视场范围内公路地标直道部分的长度，其四个顶点坐标分别为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)以及(x₄,y₄)；具体而言，图3中地标约束中心的坐标(x_c,y_c)＝(86,292)，矩形区域的四个顶点坐标分别为(x₁,y₁)＝(120,90)，(x₂,y₂)＝(70,305)，(x₃,y₃)＝(98,312)，(x₄,y₄)＝(148,98)，虚线框为选取的地标约束区域Area_c。

（4）获取实时图，根据实时图的实时成像行数和实时成像列数、以及动平台的飞行保障参数对公路参考图进行透视变换，以得到变换后的地标约束中心点和地标约束区域；本步骤包括以下子步骤：

（4-1）根据动平台的飞行保障参数计算地标约束中心点在前视图中的位置坐标（X_r，Y_r）；具体采用以下公式：

X_r＝ROW/2+(∠OMP-θ)*ROW/φ

以上公式中，

OT₀＝h/tanθ

OM＝OT₀+(y_c-y₀)×cosα+(x_c-x₀)×sinα

tan(∠OMP)＝h/OM

(x₀,y₀)为大地坐标系下动平台的光轴瞄准点，OT₀为动平台的光轴指向与大地水平面交点T₀与动平台成像仪在大地水平面上的水平投影点O之间的距离，M为地标约束中心点T₁在光轴纵向方向的投影与OT₀直线的交点，OM为水平投影点O与M点之间的距离，φ为动平台成像仪的纵向成像视场角，

为成像仪的横向成像角，ROW为实时图的实时成像行数，COL为实时图的实时成像列数，α为动平台成像仪的成像方位角，θ为动平台成像仪的成像俯仰角，h为动平台成像仪的成像高度。

通过以上计算可知，图3的地标约束中心点在前视图中的位置坐标为(x_r,y_r)＝(178,106)。

（4-2）根据地标约束区域的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)计算地标约束区域的四个顶点在前视图中的位置坐标(x'₁,y'₁)、(x'₂,y'₂)、(x'₃,y'₃)以及(x'₄,y'₄)；其计算公式与以上步骤（4-1）完全相同，唯一的区别在于分别使用地标约束区域的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)去替换地标约束中心点T₁的坐标(x_c,y_c)。

经过计算，可得到图3中光电传感器获取的实时成像图中对应地标约束矩形区域四个顶点的结果分别为(x'₁,y'₁)＝(282,90)，(x'₂,y'₂)＝(82,145)，(x'₃,y'₃)＝(74,128)，(x'₄,y'₄)＝(275,70)，四个顶点构成的地标约束区域Area_c在透视变换结果中的位置Area_r如图5所示的白色方框内区域所示。

（5）根据步骤（4）中变换后的地标约束中心点和地标约束区域确定其在实时图中的位置，并提取实时图中的地标约束区域；

每一帧透视变换结果与一帧实时图相对应，如图6所示为第一帧实时图，与步骤（4）所得第一帧透视变换结果和图5相对应。通过图5中地标约束中心点映射到实时图6中约束点的对应位置，也为(x_r,y_r)＝(178,106)，同时地标约束矩形区域四个顶点对应实时图中一块区域

的四个顶点(x'₁,y'₁)＝(282,90)，(x'₂,y'₂)＝(82,145)，(x'₃,y'₃)＝(74,128)，(x'₄,y'₄)＝(275,70)，所得的实时图区域Area_r即为地标约束，如图7所示。

（6）在动平台下对两帧实时图进行配准，并在步骤（5）提取的地标约束区域中进行多尺度运动目标窗口选择，以获得每帧实时图中每一像素点对应的窗口区域；本步骤包括以下子步骤：

（6-1）选择初始时间间隔Δt，采用尺度不变特征转换（Scale-invariantfeature transform，简称SIFT）方法对两帧实时图f(x,y,t_c)和f(x,y,t_c+Δt)进行配准；其中x为其中一帧实时图的横坐标，y为其纵坐标，t_c为实时图的当前图像帧，Δt为大于5的正整数，优选地，其取值为10帧帧间间隔，第1帧和第10帧实时图像的配准结果如图8所示。

（6-2）在步骤（5）提取的地标约束区域中确定K个窗口，其尺寸从小到大依次为：S_{min_x}×S_{min_y}，(S_{min_x}+ΔS_x)×(S_{min_y}+ΔS_y)，…，(S_{min_x}+(K-1)ΔS_x)×(S_{min_y}+(K-1)ΔS_y)，其中K为正整数，S_{min_x}表示窗口长度的最小值，其取值范围是大于2个像素，S_{min_y}表示窗口宽度的最小值，其取值范围是大于2个像素，ΔS_x表示长度增量，其取值等于2，ΔS_y表示宽度增量，其取值等于2；

（6-3）利用最小窗口(S_{min_x}×S_{min_y})分别对两帧实时图f(x,y,_ct)和f(x,y,t_c+Δt)进行逐像素点遍历，以分别得到每帧实时图中每一像素点(x,y)对应的窗口区域

和

（7）使用时空多尺度运动目标检测方法计算步骤（6）获得的不同窗口区域的运动显著性度量值，确定最大的运动显著性度量值对应的窗口区域作为运动显著性区域，并获得该运动显著性区域的最佳时间间隔；本步骤具体包括以下子步骤：

（7-1）计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value(x,y)；具体运动显著性度量值推导的过程已经在本申请人提交的中国专利“时空多尺度运动目标检测方法”（申请号201210591104.5）中已经予以披露，在此不再赘述。其中，若运动显著性度量值Value(x,y)大于等于预定阈值，则区域Ω_x,y属于候选运动显著性区域，其对应的像素点为运动标记像素点(x′,y′)，否则，区域Ω_x,y不属于候选运动显著性区域，预订阈值的取值范围是0到1，优选为0.6；

（7-2）针对每一个运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值Value(x′,y′)中确定最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′，从而对于步骤（5）提取的地标约束区域中的N个运动标记像素点而言，可得到N个运动显著性区域，记为

其中i＝1,2,...N。如图9所示为第10帧实时图地标约束区域内运动显著性区域提取结果。

（7-3）在步骤（5）提取的地标约束区域中，计算每一运动显著性区域ω_x′,y′的最佳时间间隔

具体最佳时间间隔的计算过程参见本申请人提交的中国专利“时空多尺度运动目标检测方法”中所述。

（8）利用最佳时间间隔多帧累积差分方法和标记方法对步骤（5）提取的地标约束区域中每个运动显著性区域提取区域内运动目标，以完成对公路地标约束下的运动目标检测。

具体而言，对于每个运动显著性区域

其最佳帧间间隔

已在上一步中求出。对每个运动显著性区域取图像对f_t(x,y)与

或

在两幅图像的区域

内做多帧累积差分，多帧累积差分的过程参见中国专利“时空多尺度运动目标检测方法”中所述。前后对称两帧与当前帧分别进行累积差分，分别提取步骤（5）提取的地标约束区域中的累积差分图像，然后通过图像融合增强累积差分图像之间的差异。

再通过OTSU算法对累积差分图像进行阈值分割、形态学处理和标记，以提取累积差分图像中的运动目标，最终得到运动目标检测结果。

如图10所示为第10帧实时图公路地标约束下运动目标分割结果；

如图11和图12所示分别为第10帧和第100帧实时图运动目标检测结果，从检测结果可以看到，在第10帧距离很远时目标在实时图尺寸比较小，而第100帧中目标尺寸有一定增加，并且考虑到动平台条件的影响，该方法均能可靠检测出公路地标约束内的动目标。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种公路地标约束的动平台动目标检测方法，其特征在于，包括以下步骤：

（1）从卫星图片中选取形状特征明显的公路地标；

（2）根据公路地标所在的卫星图片生成公路参考图；

（3）将生成的公路参考图中直道部分的中心作为选取地标约束中心点T₁，其坐标为(x_c,y_c)，并以该地标约束中心点T₁为中心在公路地标上选取一矩形区域Area_c，其宽度和公路地标的宽度相同，长度为出现在视场范围内公路地标直道部分的长度，其四个顶点坐标分别为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)以及(x₄,y₄)；

（4）获取实时图，根据实时图的实时成像行数和实时成像列数、以及动平台的飞行保障参数对公路参考图进行透视变换，以得到变换后的地标约束中心点和地标约束区域；

（5）根据步骤（4）中变换后的地标约束中心点和地标约束区域确定其在实时图中的位置，并提取实时图中的地标约束区域；

（6）在动平台下对两帧实时图进行配准，并在步骤（5）提取的地标约束区域中进行多尺度运动目标窗口选择，以获得每帧实时图中每一像素点对应的窗口区域；

（7）使用时空多尺度运动目标检测方法计算步骤（6）获得的不同窗口区域的运动显著性度量值，确定最大的运动显著性度量值对应的窗口区域作为运动显著性区域，并获得该运动显著性区域的最佳时间间隔；

（8）利用最佳时间间隔、多帧累积差分方法和标记方法对步骤（5）提取的地标约束区域中每个运动显著性区域提取区域内运动目标，以完成对公路地标约束下的运动目标检测。

2.根据权利要求1所述的动平台动目标检测方法，其特征在于，特征明显的公路地标为环状公路及其直道部分作为，且该公路地标的数量至少为一个。

3.根据权利要求1所述的动平台动目标检测方法，其特征在于，步骤（4）包括以下子步骤：

（4-1）根据动平台的飞行保障参数计算地标约束中心点在前视图中的位置坐标（X_r，Y_r），具体采用以下公式：

X_r＝ROW/2+(∠OMP-θ)*ROW/φ

其中

OT₀＝h/tanθ

OM＝OT₀+(y_c-y₀)×cosα+(x_c-x₀)×sinα

tan(∠OMP)＝h/OM

(x₀,y₀)为大地坐标系下动平台的光轴瞄准点，OT₀为动平台的光轴指向与大地水平面交点T₀与动平台成像仪在大地水平面上的水平投影点O之间的距离，M为地标约束中心点T₁在光轴纵向方向的投影与OT₀直线的交点，OM为水平投影点O与M点之间的距离，φ为动平台成像仪的纵向成像视场角，

为成像仪的横向成像角，ROW为实时图的实时成像行数，COL为实时图的实时成像列数，α为动平台成像仪的成像方位角，θ为动平台成像仪的成像俯仰角，h为动平台成像仪的成像高度；

（4-2）根据地标约束区域的顶点坐标(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)计算地标约束区域的四个顶点在前视图中的位置坐标(x'₁,y'₁)、(x'₂,y'₂)、(x'₃,y'₃)以及(x'₄,y'₄)。

4.根据权利要求3所述的动平台动目标检测方法，其特征在于，步骤（6）包括以下子步骤：

（6-1）选择初始时间间隔Δt，采用SIFT方法对两帧实时图f(x,y,t_c)和f(x,y,t_c+Δt)进行配准；其中x为其中一帧实时图的横坐标，y为其纵坐标，t_c为实时图的当前图像帧；

（6-2）在步骤（5）提取的地标约束区域中确定K个窗口，其尺寸从小到大依次为：S_{min_x}×S_{min_y}，(S_{min_x}+ΔS_x)×(S_{min_y}+ΔS_y)，…，(S_{min_x}+(K-1)ΔS_x)×(S_{min_y}+(K-1)ΔS_y)，S_{min_x}表示窗口长度的最小值，S_{min_y}表示窗口宽度的最小值，ΔS_x表示长度增量，ΔS_y表示宽度增量；

（6-3）利用最小窗口(S_{min_x}×S_{min_y})分别对两帧实时图f(x,y,_ct)和f(x,y,t_c+Δt)进行逐像素点遍历，以分别得到每帧实时图中每一像素点(x,y)对应的窗口区域

和

5.根据权利要求3所述的动平台动目标检测方法，其特征在于，步骤（7）具体包括以下子步骤：

（7-1）计算最小窗口(S_{min_x},S_{min_y})在像素点(x,y)处的覆盖区域Ω_x,y的运动显著性度量值Value(x,y)；

（7-2）针对每一个运动标记像素点(x′,y′)，从其对应的M个运动显著性度量值Value(x′,y′)中确定最大值，该最大值对应的覆盖区域即为运动显著性区域，记为ω_x′,y′，从而对于步骤（5）提取的地标约束区域中的N个运动标记像素点而言，可得到N个运动显著性区域，记为

其中i＝1,2,...N；

（7-3）在步骤（5）提取的地标约束区域中，计算每一运动显著性区域ω_x′,y′的最佳时间间隔

6.根据权利要求3所述的动平台动目标检测方法，其特征在于，步骤（8）具体为，对每个运动显著性区域

取图像对f_t(x,y)与

或

在两幅图像的区域

内做多帧累积差分，多帧累积差分的过程参见中国专利“时空多尺度运动目标检测方法”中所述。前后对称两帧与当前帧分别进行累积差分，分别提取步骤（5）提取的地标约束区域中的累积差分图像，然后通过图像融合增强累积差分图像之间的差异，再通过OTSU算法对累积差分图像进行阈值分割、形态学处理和标记，以提取累积差分图像中的运动目标，最终得到运动目标检测结果。

Images