CN105549614A - 无人机目标跟踪方法 - Google Patents

Abstract

一种无人机目标跟踪方法，包括：连续拍摄二幅地面图像，在每幅图像中标注无人机的地面坐标、航向角及获取地面图像时的时刻；将每幅地面图像处于同一坐标系中；对二幅地面图像进行滤波，从滤波后的图像中取出包括目标图像的前景图像，从前景图像中提取特征点，提取前一幅前景图像中的每一区域特征点并与被跟踪目标的模板的特征点进行匹配，利用匹配成功的区域更新被跟踪目标的模板，利用更新后的模板特征点与当前幅前景图像中的每一区域的特征点进行匹配；根据匹配成功的两幅前景图像中的区域的特征点的位置关系确定被跟踪目标的速度和方向；根据被跟踪目标的速度和方向调整无人机的航速和航向。本发明提供的方法计算速度快，跟踪目标的速度快。

Description

无人机目标跟踪方法

技术领域

本发明涉及一种无人机目标跟踪方法，属于数据处理技术领域。

背景技术

利用无人机可以获得地面的重要信息，如图像，包括静止图片和视频，从中获得及时准确的战场信息和精确的定位信息，以捕捉战略打击目标，完成打击效果评估等任务。

空中对地观察过程中，地面或水面的运动目标(如火车、汽车、舰艇等)包含着重要军事价值，是侦察重点，常常需要在飞行过程中对其持续关注。由于运动目标与无人机同样处于运动状态，时常会因目标运动超出无人机图像视野而难于持续捕获。因而空中对地观测跟踪运动目标的关键是如何能够尽快准确检测出运动目标，以调整摄像头云台及飞行参数，实现持续跟踪，以待对目标做出进一步分析与反应。

发明内容

为克服现有技术中存在的技术问题，本发明的发明目的是提供一种无人机目标跟踪方法，其能够持续地跟踪目标。

为实现所述发明目的，本发明提供一种无人机目标跟踪方法，一种无人机目标跟踪方法，其特征在于，包括：

S01：利用无人机载摄像机连续拍摄至少二幅地面图像，并在每幅图像中标注无人机的地面坐标、航向角及获取地面图像时的时刻；

S02：将每幅地面图像进行坐标以使它们处于同一图像坐标系中；

S03：对二幅地面图像进行滤波，而后从滤波后的地面图像中取出包括目标图像的前景图像，从前景图像中提取特征点，提取前一幅前景图像中的每一区域特征点并与被跟踪目标的模板的特征点进行匹配，利用匹配成功的区域更新被跟踪目标的模板，利用更新后的被跟踪目标的模板的特征点与当前幅前景图像中的每一区域的特征点进行匹配；

S04：根据匹配成功的两幅前景图像中的区域的特征点的位置关系确定被跟踪目标的速度和运行方向；

S05：根据被跟踪目标的速度和运行方向调整无人机的航速和航向，从而跟踪目标。

优选地，利用仿射变换将每幅图像变换到同一图像坐标系中。

与现有技术相比，利用本发明提供的方法计算速度快，跟踪目标的速度快。

附图说明

图1是本发明提供的无人飞机外形结构示意图；

图2是无人机载控制系统的组成框图；

图3是地面服务站的组成框图；

图4本发明提供跟踪目标跟踪流程图；

图5是目标2D轨迹示意图；

图6是坐标关系统示意图。

具体实施方式

本发明提供的无人机目标跟踪系统包括无人机载控制系统及地面服务器，无人机载控制系统用于获取地面图像、飞行参数并将所述地面图像、飞行参数等发送给地面服务器，还接收地面服务器的指令，并根据在指令进行飞行。地面服务器用于接受无人机载控制系统的传送来的信息，对接收的信息进行处理，并根据处理结果给无机载控制系统发送控制指令以跟踪地面目标。

下面结合附图详细说明本发明。

图1是本发明提供的无人飞机外形结构示意图。如图1所示，本发明无人飞机包括机架132，机架32中设置有主涵道143，所述主涵道143内设置有支架134，支架134上设置有主桨叶133。所述机架132两侧分别设置有固定翼135和固定翼136，飞行时，两侧的固定翼产生气动升力，降低主体涵道内的燃油发动机的耗油率。机架132两侧的固定翼中分别设置有小涵道143和小涵道142，小涵道内分别设置有小桨叶(图中未示)。机架的前面和后面设置有前缘138和后翼137，前缘138和后翼137中分别设置有小涵道141和小涵道144，前缘和后翼137的小涵道内分别设置有小桨叶(图中未示)。后翼上设置尾翼129和尾翼140，尾翼129和尾翼140呈V型，用以增加飞行稳定性。主桨叶由燃油发动机提供动力。小桨叶电动机提供动力，电动机由电池提供能源。电池为可充电电池。在涵道桨叶面设置反扭力导流片，用以平衡涵道桨叶或风扇转动时产生的转动力矩。同时在涵道桨叶或风扇下面设置推力导流片，产生前行推力。

机架、前缘、后翼和尾翼采用铝合金骨架，外铺碳纤维复合材料，在保证强度的同时减轻机身重量。支架为碳纤维杆用于支撑燃油发动机，作为涵道无人机的主动力，发动机的油箱安置在主体涵道的外围周边。四个小涵道内的电机采复合材料螺旋桨。

图2是无人机载控制系统的组成框图，如图2所示，无人机载控制系统包括：三轴加速度传感器1、A/D转换器2、陀螺仪3、A/D转换器4、磁性传感器5、A/D转换器件、气压高度计7、A/D转换器8、摄像机9、编码器10、导航授时系统11、存储器13、数据处理器12、飞行控制器和存储器17，其中，加速度传感器1用于测量无人机的三个相互垂直的轴的加速度，并将加速度信息转换为电信息；A/D转换器2，将加速度传感器1提供的电信息进行A/D转换而后提供给数据处理器。陀螺仪3用于测量无人机的滚角、府仰角和偏航角，并将角度信息转换为电信息，A/D转换器4将陀螺仪3提供的电信息进行A/D转换而后提供给数据处理器。气压高度计7用于获取无人机的飞行高度，A/D转换器8用于将无人机的高度信息转换为数字信息并提供给数据处理器。摄像机9用于连续地拍摄地面的图像，并将图像信息提供给编码器，所述视频编码器用于将摄像机提供的图像信息进行编码，而后提供的数据处理器。导航授时系统11用于获取无人机的位置信息，并将位置信息及时间信息提供给数据处理器。数据处理器将上述部件测量的信息存储到存储器中，数据处理器将所获取的信息存储到存储器13中。无人机载控制系统还包括通信模块14和天线18，其中，数据处理器12将所获取的信息打包成数据帧而后发送给通信模块14，通信模块14将所述数据帧调制到射频上，而后通过天线发送给地面服务器，通信模块和天线也接收地面服务器发送的飞行指令数据帧以提供给数据处理器。。

无人机目标跟踪系统还包括飞行控制器15和存储器17，数据处理器解包飞行指令数据帧取出飞行指令而后传送给飞行控制器15，飞行控制器将飞行指令暂时存储到存储器17，并根据飞行指令驱动无人机伺服机构19进行飞行以跟踪地面目标。

磁传感器5用于测量无人机的磁航向，A/D转换器6将磁航向信息转换为数字信息而后提供给数据处理器，数据处理器12根据数字磁航向校正陀螺仪，同时利用陀螺仪的稳定性减小磁性传感器的飞行。飞行控制器根据数据处理器提供的信息对无人机进行飞行控制。

本发明中，摄像机通过万向节固定于无人机平台上，使摄像机的摄影轴无人机的机体坐标系的o_bz_b重合，使摄像机的像平面的o_px_p轴与无人机的机体坐标系的o_bx_b平行，摄像机的像平面的o_py_p轴与无人机的机体坐标系的o_by_b平行，可以通过测量无人机的姿态角而推算出摄影轴的姿态角。

图3是地面服务器的组成框图，如图3所示，本发明提供的地面服务器包括处理器20、输入/输出接口、网络适配器23、通信模块23、收发天线24和存储器25，其中，收发天线24用于将空间电磁波信号转换为电信号，并提供给通信模块23，通信模块23将无人机载控制系统发送来的信号提供给处理器20，处理器20对无人机载控制系统发送来的数据帧进行解包并通过输入/输出接口21在显示器上进行显示，处理器根据用户指令对所获取得图像进行处理，判断地面目标的位置，根据地面目标的位置制作无人机飞行指令，而后将无人机飞行指令打包成飞行指令帧，通过通信模块14和天线18发送给无人机载飞行控制系统。地面报务器器将所接收的无人同载控制系统发送来的图像通过打印机进行打印，还可存储到存储器25中，还通过网络适配器发送给其它用户或者服务器。输入输出接口21还可连接键盘和鼠标，键盘用于输入指令或者执行某些操作，鼠标用于执行某些操作。

图4本发明提供无人机目标跟踪流程图。如图4所示，本发明提供的无人机目标跟踪方法，包括：

S01：利用无人机载摄像机连续拍摄地面图像，并在每幅图像中标注无人机的地面

坐标、航向角、姿态角及获取地面图像时的时刻等；

S02：搜索最近所拍摄的多幅地面图像，并将每幅地面图像变换到同一坐标系中，

本发明的一个或多个实施例利用基于仿射变换将每幅所拍摄的地面图像变换到同

上一坐标系中，例如采用下面所述的线性变换：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{a}_0+a_{1}u+a_{2}v\\ b_0+b_{1}u+b_{2}v\end{array}\right]---\left(1\right)$

其中(x，y)是(u，v)的新变换坐标，a₀，a₁，a₂，b₀，b₁，b₂，是变换参数集，它们可以由无人机的航向角及姿态角计算得出，也可以通过最小二乘法计算出来。

S03，对多幅地面图像进行滤波，而后从滤波后的地面图像中取出前景图像，对前景图像进行特征提取，而后进行特征匹配；

S04：根据空间共线方程，计算出目标的平均速度和方向；

S05：根据被跟踪目标的速度和运行方向调整无人机的航速和航向，从而跟踪目标。

步骤S03中，为了测量地面目标的运行速度，必须在的拍摄的图像中通过提取地面目标不变的特征量来进行匹配，以便计算地面移动目标的位移。由于特征的可靠提取直接影响匹配结果的可靠性，因此选择合适的特征量和特征提取算法十分关键。通常可选择图像中的直线对象或者点作为匹配的特征量。对于直线的提取主要使用的方法有Hough变换、随机Hough变换(randomHoughtransform)等；而提取点的常用方法有边缘检测、角点检测等。本发明优选Harris角点检测算法，具体采用如下方法：

S311：对于前景图像I中的每一个像素，计算其x和y方向导数I_x和I_y，并且计算I_xy＝I_xI_y。

S312：应用窗口函数A，即，h_x＝AI_x，h_y＝AI_y，h_xy＝AI_xy，

S313：计算(k是常数)以测量两个方向的变化。

S314：设置H的阈值并查找局部极大值以获得角特征点。

利用Harris角点检测算法分别对前一幅图像和本幅图像进行角点检测形成角点集合分别记为 $E_{(t-1)}=\{(x_{{(t-1)}_1},y_{{(1-1)}_1}),(x_{(t-1)2},y_{{(t-1)}_2}),...,(x_{{(1-1)}_k},y_{{(t-1)}_k}),...,(x_{{(t-1)}_K},y_{{(t-1)}_K})\}$ 和 $E_t=\{(x_{t_1},y_{t_1}),(x_{t_2},y_{t_2})...,(x_{t_l},y_{t_l}),...,(x_{t_L},y_{t_L})\},$ 在获得E_(t-1)和E_t这两个特征集合之后，就需要将对应特征点进行匹配。本发明优选正规化后的关联系数，这是一种高效的统计方法。通过在点周围的小窗口上最大化关联系数，实现实际特征匹配。关联系数由下式给出：

${\mathrm{\ρ}}_{(t-1)t}=\underset{r=1}{\overset{R}{\Σ}}\underset{c=1}{\overset{C}{\Σ}}\frac{\[v_{t-1}(r,c)-{\stackrel{\‾}{v}}_{t-1}\]\·\[v_t(r,c)-{\stackrel{\‾}{v}}_t\]}{{\[v_{t-1}(r,c)-{\stackrel{\‾}{v}}_{t-1}\]}^2{\[v_t(r,c)-{\stackrel{\‾}{v}}_t\]}^2}---\left(2\right)$

其中，v_t-1(r，c)表示前一幅图像中被跟踪目标的个体灰度值；

表示前一幅图像中被跟踪目标的平均灰度值；

v_t(r，c)表示当前帧图像中被跟踪目标的个体灰度值；

表示当前帧图像中被跟踪目标的平均灰度值

R、C表示模板矩阵的行数和列数。

当上述协方差最大时，说明两点匹配。本发明仅针对特征点实现块匹配算法。因此，计算开销可以明显降低。通过角点集合和的关联计算，将两集合虽中相匹配的点保留下来，其它的点去除，分别计为匹配的点集：

$E_{(t-1)}^{\′}=\{(x_{{(t-1)}_1},y_{{(t-1)}_1})(x_{(t-1)2},y_{{(t-1)}_2}),...,(x_{{(t-1)}_m},y_{{(t-1)}_m}),...,(x_{{(t-1)}_M},y_{{(t-1)}_M})\}$

和 $E_t^{\′}=\{(x_{t_1},y_{t_1})(x_{t_2},y_{t_2})...,(x_{t_m},y_{t_m}),...,(x_{{(t-1)}_M},y_{{(t-1)}_M})\}.$

为了获得准确的跟踪结果，可以动态更新目标模型，模型更新使用最近跟踪结果和较旧目标模型两者以影响物体跟踪的当前目标模型。更新过程用公式表示为：

$q_o^t=(1-\mathrm{\α})q_o^{t-1}+{\mathrm{\αp}}_o^t---\left(3\right)$

表示目标o的模型当前时刻的模型，表示目标o的模型前一时刻的模型，表示目标o在时刻t的候选模型；α对最近跟踪结果的贡献进行加权(通常＜0.1)。

在无人机跟踪的目标中，会出现形状和性质相似的多个区域，如运行在道路中的汽车，行人等，而实际应用中，无人机的任务可能只要求跟踪一个目标，而被跟踪的目标与其它区域的形态相同，因此，常常会引起误跟踪，为解决该问题，本发明还包括计算每个跟踪轨迹的最佳分值，每个目标的轨迹在图像坐标系中可以用2D点序列[V₀，V₁，…，V_N-1]表示，该目标轨迹的分值可以通过下式计算：

$S\left(T\right)=\frac{1}{N-1}\underset{k=N-1}{\overset{1}{\Σ}}\frac{1-{\mathrm{cos\β}}_k}{2}---\left(4\right)$

式中β_i是如图5所示的一个轨迹点与其相邻的两个轨迹点的连线的夹角，S(T)大于或者等于0，并小于或者等于1。S(T)越高，跟踪目标的轨迹越光滑，越是感兴趣的被跟踪的目标。利用本发明提供的方法可以从多个相似的目标区域中筛选出被跟踪的目标，而排除其它目标。

步骤S04中，根据空间共线方程，计算出目标的平均速度和方向具体包括：

S04-1从存储器中取出无人机t_m时刻获取的图像数据并在显示器中显示，同时取出拍摄图像时的无人机位置，该位置为地面坐标，根据无人机的位置经坐标变换可计算出t_m时刻图像的投影中心的地面坐标

S04-2：将图像由像素坐标系变换到图像平面坐标系；

S04-3：根据无人机载摄像机获取的图像建立共线定位数学模型为：

$\left[\begin{array}{c}{X}_{t_m}\\ Y_{t_m}\\ Z_{t_m}\end{array}\right]=\left[\begin{array}{c}{X}_{t_0}\\ Y_{t_0}\\ Z_{t_0}\end{array}\right]+\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right]\left[\begin{array}{c}{x}_{t_m}\\ y_{t_m}\\ -f\end{array}\right]---\left(5\right)$

式中：是被拍摄目标的地面坐标，是图像的平面坐标。

f为摄像机焦距，各坐标的关系如图6所示。

a₁＝cosφ·cosκ

a₂＝cosω·sinκ+sinω·sinφ·cosκ

a₃＝sinω·sinκ-cosω·sinφ·sinκ；

b₁＝-cosφ·sinκ；

b₂＝cosω·cosκ-sinω·sinφ·sinκ

b₃＝sinω·sinκ+cosω·sinφ·sinκ

c₁＝sinφ；

c₂＝-sinω·cosφ；

c₃＝cosω·cosφ

其中，ω，κ为摄影轴的姿态角，分别为摄像设备轴绕空间坐标系的y轴的旋角，绕空间坐标系的x轴的旋角，绕空间坐标系的z轴的旋角。

将(5)式进行变换得：

$\left\{\begin{array}{c}{X}_{t_m}=X_{t_0}+(Z_{t_m}-Z_{t_0})\frac{a_1{x}_{t_m}+a_2{y}_{t_m}-a_{3}f}{c_1{x}_{t_m}+c_2{y}_{t_m}-c_{3}f}\\ Y=Y_{t_0}+(Z_{t_m}-Z_{t_0})\frac{b_1{x}_{t_m}+b_2{y}_{t_m}-b_{3}f}{c_1{x}_{t_m}+c_2{y}_{t_m}-c_{3}f}\end{array}\right.---\left(6\right)$

S04-4：从图像中选取三个控制像点，其平面坐标分别为并从DEM模型中取出这三个控制像点对应的物点的地面坐标 将值代入(4)式，共得六方程组，共有六个未知数ω，κ方程组精确求得ω、κ的值，而后代入(6)式得到定位图像中包含目标每一个像点的地面坐标。

根据下式计算目标的速度和运行方向：

$\mathrm{\δ}=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}arctg\frac{Y_{t_m}-Y_{(t-1)m}}{X_{t_m}-X_{(t-1)m}}$

本发明提供的无人机目标跟踪方法可以作成一种系统，所述系统包括不同软件模块。软件模块可以包括实现上述方法的任何或全部组件。在实施例中，软件模块包括视频流服务模块、坐标变换模块、滤波模块、图像提取模块、特征点匹配模块、跟踪模块、DEM数据库服务站模块、用户接口模块以及可视化控制台模块，这些模块例如可以在一个或多个硬件处理器上运行。然后可以使用所述系统的不同软件模块执行所述方法步骤。

此外，本发明提供的方法可以通过计算机可用程序代码的计算机程序来实现，计算机可用程序代码被存储在数据处理系统内的计算机可读存储介质中，并且计算机可用程序代码通过网络从远程数据处理系统下载。此外，在本发明的实施例中，计算机程序可以包括被存储在服务站数据处理系统内的计算机可读存储介质中的计算机可用程序代码，计算机可用程序代码通过网络下载到远程数据处理系统，以便在远程系统的计算机可读存储介质中使用。

所属技术领域的技术人员知道，本发明的各个方面可以实现为系统或者方法。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或软件和硬件方面结合的实施方式，这里可以统称为“模块”或“系统”。

本发明的实施例可以以装置的形式实现，所述装置包括存储器和至少一个处理器，所述至少一个处理器耦合到所述存储器并可操作以执行示例性方法步骤。

以上结合附图描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (2)

1.一种无人机目标跟踪系统，其特征在于，包括：

S01：利用无人机载摄像机连续拍摄至少二幅地面图像，并在每幅图像中标注无人机的地面坐标、航向角及获取地面图像时的时刻；

S02：将每幅地面图像进行坐标以使它们处于同一图像坐标系中；

S03：对二幅地面图像进行滤波，而后从滤波后的地面图像中取出包括目标图像的前景图像，从前景图像中提取特征点，提取前一幅前景图像中的每一区域特征点并与被跟踪目标的模板的特征点进行匹配，利用匹配成功的区域更新被跟踪目标的模板，利用更新后的被跟踪目标的模板的特征点与当前幅前景图像中的每一区域的特征点进行匹配；

S04：根据匹配成功的两幅前景图像中的区域的特征点的位置关系确定被跟踪目标的速度和运行方向；

S05：根据被跟踪目标的速度和运行方向调整无人机的航速和航向，从而跟踪目标。

2.根据权利要求1所述的无人机目标跟踪方法，其特征在于，利用仿射变换将每幅图像变换到同一图像坐标系中。