CN108830286A - 一种侦察无人机动目标自动检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种侦察无人机动目标自动检测与跟踪方法，无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域。任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集。利用获得的数据来训练回归量和训练分类器，通过上述的基于回归分析的深度学习方法来检测目标，并提取其特征及有用的信息。将视频恢复正常显示，依据步骤二中获得的目标特征来对机动目标做自动检测，通过上述介绍的混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标。能够在目标很远且很小，无运动轨迹以及使用快速运动的相机时正确的将目标检测出来。

Description

一种侦察无人机动目标自动检测与跟踪方法

技术领域

本发明属于无人机目标检测及跟踪技术，具体涉及一种侦察无人机动目标自动检测与跟踪方法。

背景技术

现如今，我们可以通过利用便宜而且很轻的传感器例如相机等来对行人和汽车进行检测以达到避免碰撞的目的。许多好的方法已被研发出来来解决此类问题，且已经开发了许多商用产品。然而在飞行器目标检测领域，大多数的解决方法是估计一个精确的位置并通过一个或者多个相机进行定位。然而简单的将行人和汽车的检测方法延伸到飞行器领域的可行性不高，因为飞行器的目标检测有一些独特的挑战，如目标有着不同的形状，且背景复杂可变；考虑到飞行器目标检测的应用，即使目标还在很远的时候，也需要将目标检测出来。以上原因导致了运动轨迹对检测目标变得至关重要。然而，当图像是被运动的相机捕获并且特征背景很难建立时这些轨迹就很难被采集，因为它们不再是在二维平面且在快速的变化。此外，由于在屏幕上还有其他的运动的目标时，除了待检测的运动目标外，其他运动目标的外形也必须被考虑到。在这种情况下，依赖于光流法或者背景消除的最新技术将变得无效。一般检测运动目标的方法主要有三类：

1.基于外形的方法该方法依赖于深度学习并且被证明即使在复杂的光照变换下或者混乱的背景下也是有效的。它们一般基于Deformable Part Models(DPM)﹑卷积神经网络(CNN)﹑随机树以及ACF。当检测目标在单帧中足够的大或者清晰可见时这些方法都能够工作的很好，但是当目标很小并且在没有运动轨迹的情况下是几乎不可能将其从背景中辨析出来；

2.基于运动的方法该方法还可以被细分成两类。一类依赖于背景消除，另一类依赖于两幅连续的图像间的光流法。当相机是静止或者它的运动足够小而很容易被补偿时背景消除技术能够工作的很好，但其不适用于一个快速运动的载体上的相机。基于光流的方法在这种情况下更为可靠，但是光流法严重依赖于流向量的质量，当目标物很小且模糊时流向量将变得很小；

3.混合方法该方法结合了目标外形和运动模式的信息来做目标检测。这种算法在行人检测中工作的很好而且胜过大多数使用单帧的算法。然而，当目标物变得愈来愈小且很难被发现时，这种流估计的方法变得越来越不可信，而且这种方法和基于光流的方法一样变得越来越无效。

所以综合上面三种方法所述，急需要一种稳定可靠的方法来对机动目标进行有效的检测和跟踪，以克服上面三种方法提到的不足。

发明内容

要解决的技术问题

本发明旨在解决无人机对机动目标有效检测和跟踪问题，从而克服机载侦查设备检测远小、无运动轨迹目标的实现难度。

技术方案

一种侦察无人机动目标自动检测与跟踪方法，其特征在于步骤如下：

步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；

步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；

具体步骤如下：

2a)训练两个方向的回归量训练模型：利用Gradient Boosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φ_v(·)，一个用于学习飞行器垂直方向运动φ_h(·)；每一个模型用表示，其中α_j＝1..T是真实的权重，h_j是弱学习器，m是输入图像块，T是弱学习器的个数。

2b)通过优化来训练各个弱学习器：所述的弱学习器为回归树h_j(m)＝T(θ_j,HoG(m))，其中θ_j代表树参数，HOG(m)代表了图像块m的梯度直方图，T(,)表示此回归树的模型；在每一次迭代过程中，boosting都训练各个弱学习器，使得其二次损失函数最小化，其中N是训练图像块m_i的个数，r_i是该训练图像块的真实输出响应，是第i个图像块输入时第j个弱学习器的权重，x_i是i个输入的图像块；训练了水平和垂直方向的回归量，得到了两个方向的训练模型；

3c)检测目标并提取特征：在水平和垂直运动的回归量都被训练后，通过迭代的方法来补偿时空数据库b_i,j,t内飞行器的运动，并估计和校正飞行器偏移；假设m_k为时空数据库b_i,j,t内的一个片段，m_i,j,p为从m_k内的第I_p帧内的(i,j)点提取到的图像块；设当前帧的初始位置为(i₀,j₀)，记为图像块m₀，则根据(i₀,j₀)位置通过回归模型计算水平和垂直方向的偏移量(sh_h,sh_v)＝(φ_h(m₀),φ_v(m₀))，根据该偏移量估计中心位置(i₁,j₁)＝(i₀-sh_v,j₀-sh_v)，从而图像块从m₀变为m₁，再带入回归模型计算由m₁得到的水平和垂直方向的偏移量；依此规律在第I_p帧中循环搜索直到满足(i_n-i_n+1)²+(j_n-j_n+1)²＜ε，其中ε定义为1；此时就找到了在第I_p帧中目标的中心位置即定位了目标位置，检测到了目标；按照此补偿方法在每一帧中都可以定位到目标的中心位置附近，所以时空数据库保持飞行器在b_i,j,t内全部的块中靠近中心，S_t表示时空数据库中时间轴上第t时刻；

步骤3：将视频恢复正常显示，依据步骤2中获得的目标特征来对机动目标做自动检测，通过混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标；

具体步骤如下：

3a)采用均值漂移的跟踪方法跟踪目标，首先利用直方图分别计算目标区域和候选区域内像素的特征值概率得到特征空间，然后利用基于巴氏系数的度量法来度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的均值漂移向量，即得到目标由初始位置向正确位置移动的向量；

3b)采用基于KLT的跟踪算法跟踪目标，KLT算法假设亮度恒定，时间连续或者运动是“小运动”而且空间一致，临近点有相似运动，保持相邻；所以根据上述关系可以知道设在相邻的两帧I_i和I_j内窗口为w的两个图像块m_i,w和m_j,w相同，则有m_i,w(x,y,t)＝m_j,w(x`,y`,t+τ)；其中(x,y,t)表示t时刻时图片I_i中的一个点(x,y)，τ表示一个微小的时间变化，(x`,y`,t+τ)表示t+τ时刻时图片I_j中的一个点(x`,y`)，即在窗口w内所有的点(x,y)都向一个方向移动了(Δx,Δy)，故得到了(x`,y`)；首先在当前帧得到目标的位置中心点，并检测出目标；然后在下一帧的到的图像中根据目标块的大小在上一帧目标中心位置附近搜索取得图像块，然后与上一帧中取得的目标模板进行匹配并计算差值，最优化的解为使得函数取得最小值，即得到了下一帧中目标的位置；其中I(x,y)表示第I帧图像中的点(x,y)，J(x+d_x,y+d_y)表示第J帧图像中的点(x+d_x,y+d_y)，d_x表示横轴上的偏移量，d_y表示纵轴上的偏移量，(u_x,u_y)表示第I帧图像的中心点，w_x为搜索模板水平方向的大小，w_y为搜索模板垂直方向的大小；

3c)最后，使用最新的跟踪结果和先前得到的目标模型来对先前的模型进行更新以得到最新的目标模型，目标模型更新的方式为q_i ^t＝(1-α)q_i ^t-1+αp_i ^t，其中q_i ^t是在时刻t时目标i的目标模型，p_i ^t是在时刻t被检测到的目标i的目标模型，α是学习速率。

有益效果

本发明采用基于回归分析的深度学习的方法来进行机动目标的自动检测并结合多种跟踪方式来进行机动目标跟踪，克服常用三种检测方法的不足，能够在目标很远且很小，无运动轨迹以及使用快速运动的相机时正确的将目标检测出来，并利用多种跟踪方法的结合来进行目标的跟踪和目标模型的动态更新。

附图说明

图1本发明中采用的运动补偿算法的主要步骤示意图

图2常用检测方法和我们采用的方法的结果对比图：(a)无运动补偿；(b)Lucas-Kanade光流法；(c)本文所采用方法。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的目的在于提出一种新的稳定可靠的无人侦察机动目标的自动检测和跟踪的方法。

1.目标检测方法该方法通过基于回归分析的深度学习目标检测算法来克服使用光流法﹑帧检测﹑背景消除和其他深度学习方法做运动目标检测和跟踪的不足。本发明是通过以下技术方式实现目标检测的：

首先对于AdaBoost分类器，我们使用S_x和S_y做作为空间维度，S_t作为一个时空数据集内的时间维度。设置一对坐标(b_i,y_i)，i∈[1,N]，其中是一个时空数据集，坐标y_i∈[-1,1]表示是否包含一个目标。我们可以来训练AdaBoost分类器：

其中α_j是学习权重，T是算法中学习到的弱分类器f_j的个数。我们使用的f_j的形式：

这些弱分类器被b中的一个盒子R，一个方向o和一个阈值τ参数化。E(b,R,o)是归一化的在R区域内的方向o上的图像梯度能量。AdaBoost算法有一个问题就是其梯度方向偏向于目标整体的运动，该偏向是独立于目标的形状。这使得学习变得困难，所以我们引入运动稳定性来解决这个问题。我们通过引入一个基于回归分析的深度学习来做运动补偿，这样就可以在即使目标的形状发生显著变化的时候也能够保持在图像的中心。

·训练回归量我们训练两个Boosting的回归树，一个用于飞行器的水平方向运动，一个用于其垂直方向运动。该方法的强大之处在于它不利用连续帧之间的相似性且能够仅仅基于一个图像块预期在水平方向或者垂直方向上目标离中心有多远。我们使用Gradient Boosting来学习垂直运动φ_v(·)和水平运动φ_h(·)的回归方法。每一个模型能够用的形式表示，其中α_j＝1..T是真实的权重，是弱学习者，m∈Rⁿ是输入图像块。Gradient Boosting算法可以被看做是传统AdaBoost算法的延伸。作为代表性的Gradient Boosting，我们使用回归树h_j(m)＝T(θ_j,HoG(m))作为本方法的弱学习器。其中θ_j代表树参数。HOG(m)代表了块m的梯度直方图。对于每一次迭代j，Boosting方法发现弱学习器h_j(·)，并使得二次损失函数最小化：

其中N是训练样品m_i的个数，该训练样品的期望响应是r_i，通过对损失函数求微分，权重在每一次迭代过程中都被估计一次。我们使用HoG(·)来表示块m_i＝1..N，因为它能够很快被计算并被证明有鲁棒性，用来在许多应用下表示光照变化。因此回归量能够在户外环境下工作，这种环境下光照从视频序列的一部分到另一部分有明显的变化。

·基于回归分析的运动补偿在水平和垂直运动的回归量都被训练后，我们通过迭代的方法来使用它们来补偿时空数据库b_i,j,t内飞行器的运动。附图1展示了运动补偿方法用来估计和校正飞行器偏移的主要步骤。结果时空数据库保持飞行器在b_i,j,t内全部的块中靠近中心。这种方法不仅提供了一个更好的预期，也允许估计飞行器的运动方向﹑飞行器的速度﹑相机的帧率以及目标物体的大小。这些附加的信息被不同的跟踪算法使用来提高它们的性能。

2.目标跟踪方法为了跟踪目标，我们采用均值漂移的跟踪方法作为我们主要的跟踪器。为了有效的表征目标，我们采用了基于直方图的特征空间。基于巴氏系数的度量法被用来定义目标跟踪中的相似特征。在这样一个有挑战的环境中，没有一个跟踪算法有能力完成的尽善尽美。为了使跟踪更加具有鲁棒性，我们也实现了一个基于KLT的跟踪算法。这种跟踪算法是采用基于具有鲁棒性的KLT特征匹配找到两个连续帧之间的放射变换。然后，我们将均值漂移，KLT和上述基于回归分析的深度学习运动检测的到的各种结果结合起来。此外，为了获得精确的跟踪结果，我们所建立的目标模型必须被动态更新。我们使用最新的跟踪结果和先前得到的目标模型来对先前的模型进行更新以得到最新的目标模型，如方程式(4)所示。这一步很重要，考虑到没有目标模型更新的均值漂移的方法经常受到目标模型突然的变化，这样的变化导致了漂移的产生。

q_i ^t＝(1-α)q_i ^t-1+αp_i ^t (4)

其中q_i是目标i的目标模型，p_i ^t是在时刻t被检测到的目标i的目标模型，α是学习速率。

本发明已经应用于ASN209型无人机系统中。在该系统中，本方法被包含于地面控制车上的信息显示软件中。信息显示软件通过网络与数据链系统的地面数据终端进行数据交互，并通过地面数据终端向飞机发送任务控制指令。步骤如下：

步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；

步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；

具体步骤如下：

2a)训练两个方向的回归量训练模型：利用Gradient Boosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φ_v(·)，一个用于学习飞行器垂直方向运动φ_h(·)；每一个模型用表示，其中α_j＝1..T是真实的权重，h_j是弱学习器，m是输入图像块，T是弱学习器的个数。

2b)通过优化来训练各个弱学习器：所述的弱学习器为回归树h_j(m)＝T(θ_j,HoG(m))，其中θ_j代表树参数，HOG(m)代表了图像块m的梯度直方图，T(,)表示此回归树的模型；在每一次迭代过程中，boosting都训练各个弱学习器，使得其二次损失函数最小化，其中N是训练图像块m_i的个数，r_i是该训练图像块的真实输出响应，是第i个图像块输入时第j个弱学习器的权重，x_i是i个输入的图像块；训练了水平和垂直方向的回归量，得到了两个方向的训练模型；

3c)检测目标并提取特征：在水平和垂直运动的回归量都被训练后，通过迭代的方法来补偿时空数据库b_i,j,t内飞行器的运动，并估计和校正飞行器偏移；假设m_k为时空数据库b_i,j,t内的一个片段，m_i,j,p为从m_k内的第I_p帧内的(i,j)点提取到的图像块；设当前帧的初始位置为(i₀,j₀)，记为图像块m₀，则根据(i₀,j₀)位置通过回归模型计算水平和垂直方向的偏移量(sh_h,sh_v)＝(φ_h(m₀),φ_v(m₀))，根据该偏移量估计中心位置(i₁,j₁)＝(i₀-sh_v,j₀-sh_v)，从而图像块从m₀变为m₁，再带入回归模型计算由m₁得到的水平和垂直方向的偏移量；依此规律在第I_p帧中循环搜索直到满足(i_n-i_n+1)²+(j_n-j_n+1)²＜ε，其中ε定义为1；此时就找到了在第I_p帧中目标的中心位置即定位了目标位置，检测到了目标；按照此补偿方法在每一帧中都可以定位到目标的中心位置附近，所以时空数据库保持飞行器在b_i,j,t内全部的块中靠近中心，S_t表示时空数据库中时间轴上第t时刻；

步骤3：将视频恢复正常显示，依据步骤2中获得的目标特征来对机动目标做自动检测，通过混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标；

具体步骤如下：

3a)采用均值漂移的跟踪方法跟踪目标，首先利用直方图分别计算目标区域和候选区域内像素的特征值概率得到特征空间，然后利用基于巴氏系数的度量法来度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的均值漂移向量，即得到目标由初始位置向正确位置移动的向量；

3b)采用基于KLT的跟踪算法跟踪目标，KLT算法假设亮度恒定，时间连续或者运动是“小运动”而且空间一致，临近点有相似运动，保持相邻；所以根据上述关系可以知道设在相邻的两帧I_i和I_j内窗口为w的两个图像块m_i,w和m_j,w相同，则有m_i,w(x,y,t)＝m_j,w(x`,y`,t+τ)；其中(x,y,t)表示t时刻时图片I_i中的一个点(x,y)，τ表示一个微小的时间变化，(x`,y`,t+τ)表示t+τ时刻时图片I_j中的一个点(x`,y`)，即在窗口w内所有的点(x,y)都向一个方向移动了(Δx,Δy)，故得到了(x`,y`)；首先在当前帧得到目标的位置中心点，并检测出目标；然后在下一帧的到的图像中根据目标块的大小在上一帧目标中心位置附近搜索取得图像块，然后与上一帧中取得的目标模板进行匹配并计算差值，最优化的解为使得函数取得最小值，即得到了下一帧中目标的位置；其中I(x,y)表示第I帧图像中的点(x,y)，J(x+d_x,y+d_y)表示第J帧图像中的点(x+d_x,y+d_y)，d_x表示横轴上的偏移量，d_y表示纵轴上的偏移量，(u_x,u_y)表示第I帧图像的中心点，w_x为搜索模板水平方向的大小，w_y为搜索模板垂直方向的大小；

3c)最后，使用最新的跟踪结果和先前得到的目标模型来对先前的模型进行更新以得到最新的目标模型，目标模型更新的方式为q_i ^t＝(1-α)q_i ^t-1+αp_i ^t，其中q_i ^t是在时刻t时目标i的目标模型，p_i ^t是在时刻t被检测到的目标i的目标模型，α是学习速率。

Claims (1)

1.一种侦察无人机动目标自动检测与跟踪方法，其特征在于步骤如下：

步骤1：无人机发射起飞后，飞行操作手控制飞机沿靶道方向爬升至2000m高度定高飞行，沿靶道方向飞行至目标区域；任务操作手观察光电载荷侦察设备图像，在初始获得并解压的视频流中抓帧，以获得许多连续帧下运动稳定的图像来构成所需的时空数据集；

步骤2：利用获得的数据来训练回归量和训练分类器，通过基于回归分析的深度学习方法来检测目标，并提取其特征；

具体步骤如下：

2a)训练两个方向的回归量训练模型：利用Gradient Boosting方法来训练回归量，即训练两个Boosting的回归树，一个用于学习飞行器的水平方向运动φ_v(·)，一个用于学习飞行器垂直方向运动φ_h(·)；每一个模型用表示，其中α_j＝1..T是真实的权重，h_j是弱学习器，m是输入图像块，T是弱学习器的个数。

2b)通过优化来训练各个弱学习器：所述的弱学习器为回归树h_j(m)＝T(θ_j,HoG(m))，其中θ_j代表树参数，HOG(m)代表了图像块m的梯度直方图，T(,)表示此回归树的模型；在每一次迭代过程中，boosting都训练各个弱学习器，使得其二次损失函数最小化，其中N是训练图像块m_i的个数，r_i是该训练图像块的真实输出响应，是第i个图像块输入时第j个弱学习器的权重，x_i是i个输入的图像块；训练了水平和垂直方向的回归量，得到了两个方向的训练模型；

3c)检测目标并提取特征：在水平和垂直运动的回归量都被训练后，通过迭代的方法来补偿时空数据库b_i,j,t内飞行器的运动，并估计和校正飞行器偏移；假设m_k为时空数据库b_i,j,t内的一个片段，m_i,j,p为从m_k内的第I_p帧内的(i,j)点提取到的图像块；设当前帧的初始位置为(i₀,j₀)，记为图像块m₀，则根据(i₀,j₀)位置通过回归模型计算水平和垂直方向的偏移量(sh_h,sh_v)＝(φ_h(m₀),φ_v(m₀))，根据该偏移量估计中心位置(i₁,j₁)＝(i₀-sh_v,j₀-sh_v)，从而图像块从m₀变为m₁，再带入回归模型计算由m₁得到的水平和垂直方向的偏移量；依此规律在第I_p帧中循环搜索直到满足(i_n-i_n+1)²+(j_n-j_n+1)²＜ε，其中ε定义为1；此时就找到了在第I_p帧中目标的中心位置即定位了目标位置，检测到了目标；按照此补偿方法在每一帧中都可以定位到目标的中心位置附近，所以时空数据库保持飞行器在b_i,j,t内全部的块中靠近中心，S_t表示时空数据库中时间轴上第t时刻；

步骤3：将视频恢复正常显示，依据步骤2中获得的目标特征来对机动目标做自动检测，通过混合的跟踪算法来对目标进行跟踪，且给出屏幕坐标；

具体步骤如下：

3a)采用均值漂移的跟踪方法跟踪目标，首先利用直方图分别计算目标区域和候选区域内像素的特征值概率得到特征空间，然后利用基于巴氏系数的度量法来度量初始帧目标模型和当前帧的候选模版的相似性，选择使相似函数最大的候选模型并得到关于目标模型的均值漂移向量，即得到目标由初始位置向正确位置移动的向量；

3b)采用基于KLT的跟踪算法跟踪目标，KLT算法假设亮度恒定，时间连续或者运动是“小运动”而且空间一致，临近点有相似运动，保持相邻；所以根据上述关系可以知道设在相邻的两帧I_i和I_j内窗口为w的两个图像块m_i,w和m_j,w相同，则有m_i,w(x,y,t)＝m_j,w(x`,y`,t+τ)；其中(x,y,t)表示t时刻时图片I_i中的一个点(x,y)，τ表示一个微小的时间变化，(x`,y`,t+τ)表示t+τ时刻时图片I_j中的一个点(x`,y`)，即在窗口w内所有的点(x,y)都向一个方向移动了(Δx,Δy)，故得到了(x`,y`)；首先在当前帧得到目标的位置中心点，并检测出目标；然后在下一帧的到的图像中根据目标块的大小在上一帧目标中心位置附近搜索取得图像块，然后与上一帧中取得的目标模板进行匹配并计算差值，最优化的解为使得函数取得最小值，即得到了下一帧中目标的位置；其中I(x,y)表示第I帧图像中的点(x,y)，J(x+d_x,y+d_y)表示第J帧图像中的点(x+d_x,y+d_y)，d_x表示横轴上的偏移量，d_y表示纵轴上的偏移量，(u_x,u_y)表示第I帧图像的中心点，w_x为搜索模板水平方向的大小，w_y为搜索模板垂直方向的大小；

3c)最后，使用最新的跟踪结果和先前得到的目标模型来对先前的模型进行更新以得到最新的目标模型，目标模型更新的方式为q_i ^t＝(1-α)q_i ^t-1+αp_i ^t，其中q_i ^t是在时刻t时目标i的目标模型，p_i ^t是在时刻t被检测到的目标i的目标模型，α是学习速率。