CN114066936B - 一种小目标捕获过程中目标可靠性跟踪方法 - Google Patents

Abstract

本发明公开了一种小目标捕获过程中目标可靠性跟踪方法，涉及无人机小目标检测领域。该方法采用深度学习模型对图像进行检测，根据检测结果筛选出待跟踪的小目标，并提取目标的SURF特征点；采用SURF目标跟踪算法对目标进行跟踪，并使用深度学习目标识别结果对SURF跟踪效果进行校验；采用实时性高的光流法对目标进行跟踪，并使用目标SURF特征点校验光流跟踪结果，实现对小目标的高可靠跟踪。本发明通过逐级转化方式，解决深度学习目标检测时延导致目标跟踪不稳定问题，提高了小目标跟踪的实时性和可靠性。

Description

一种小目标捕获过程中目标可靠性跟踪方法

技术领域

本发明涉及无人机小目标检测领域，特别是指一种小目标捕获过程中目标可靠性跟踪方法。

背景方法

随着无人机和人工智能技术的发展，基无人机实时视频图像的目标识别技术的应用越来越广泛。综合考虑图像清晰度和无线通信带宽限制，无人机往往选择搭载1080P(1920×1080)的可见光摄像头，目标的成像尺度和影像幅宽成反比。通常200米幅宽的可见光图像，人物尺度一般为5×16个像素，小汽车一般14×35个像素，目标尺度较小，有效特征少且易受复杂环境背景的影响。

随着深度学习技术的进步，网络模型对小目标的检测能力逐渐提高，但是由于小目标检测结果的置信度较低，仍然不足以支持自主决策。在工程应用中，可通过无人机载荷的伺服控制和焦距调节使小目标在图像中变为大目标，从而提高目标检测结果的置信度，以满足决策要求。

为此，首先通过深度学习模型检测到小目标位置框，然后利用目标跟踪算法对检测结果进行实时跟踪，在跟踪的同时通过控制策略对载荷的伺服电机和焦距进行自适应控制，通过“凝视-放大”的策略来不断提高对目标检测结果的置信度。在这个过程，通常把深度学习目标检测及目标跟踪阶段定义为目标捕获阶段。但是，在这个阶段中，存在以下问题：

为了更好的检测到小目标，深度学习模型数据输入设置为1024×1024，深度学习目标检测算法往往存在70ms～100ms左右的延时，此外伺服电机动作也需要一定时间。当目标移动稍快时，短暂的延时会使得目标已经偏离检测框，较大的延时往往使得传统KCF、LK等跟踪算法失效。

发明内容

本发明的目的在于避免上述背景方法中的不足之处而提供一种小目标捕获过程中目标可靠性跟踪方法。本发明具有分段逐级克服时延的特点，可用于无人机在复杂环境下目标捕获过程中，实现对小目标的高可靠跟踪。

本发明解决其技术问题所采用的技术方案是：

一种小目标捕获过程中目标可靠性跟踪方法，包括以下步骤：

(1)输入1帧实时图像I，宽高尺寸为W×H，采用深度学习模型对I进行检测，结果记为Γ{A_i|i＝1,…,N}，A_i表示I中检测到的目标，N为目标个数；在A_i中选取像素个数小于150，置信度小于0.9且距离图像中心最近的目标进一步识别，该目标记为A_d；

(2)记A_d所在区域的中心点为o_d(x_d,y_d)，置信度为c_d，A_d在图像I占比为λ_d；记图像中心区域为Ω＝{(x,y)|3W/4>x>W/4且3H/4>y>H/4}；若且λ_d<1％，则控制载荷对目标进行跟踪放大；采用SURF特征提取算法提取A_d的SURF特征，结果记为K{m_i}；

(3)输入1帧实时图像I₁，基于K对图像I₁进行SURF目标检测跟踪；同时，每隔3帧实时图像抽取1帧图像进行深度学习目标重识别，将识别结果与SURF跟踪结果进行比对，判断SURF跟踪是否正确；若目标跟踪正确，则更新K；

(4)输入1帧实时图像I₂，对图像I₂采用光流法进行目标检测跟踪，并提取目标的SURF特征，结果记为K_L{n_i}；采用最大近邻向量匹配算法对K{m_i}和K_L{n_i}进行特征点匹配，然后采用RANSANC算法去除误匹配，依据匹配结果校验光流跟踪效果；若跟踪成功，则根据光流跟踪结果控制载荷移动和调节载荷焦距，实现对目标的快速可靠跟踪。

进一步的，步骤(3)的具体方式为：

记SURF目标检测跟踪结果为A_s，中心点为o_s(x_s,y_s)；深度学习目标识别结果为A_d，中心点为o_d(x_d,y_d)；定义o_s和o_d之间的距离为d：

若d<10，则SURF目标跟踪成功。

进一步的，步骤(4)具体包括以下步骤：

(401)记K{m_i}和K_L{n_i}匹配成功的特征点对数量为Q，若Q>30，则光流法跟踪成功；

(402)记光流法目标检测跟踪结果为A_l，中心点为o_l(x_l,y_l)，置信度为c_l，A_l在图像中占比为λ_l；将目标中心点坐标o_l和λ_l发送到载荷控制及目标跟踪系统，载荷控制及目标跟踪系统根据o_l和λ_l发送相应的载荷控制指令；

(403)载荷根据指令执行相应动作，调整载荷的旋转角、俯仰角和焦距，具体控制策略如下：

若o_l位于Ω左侧，载荷向左转动，即载荷方位角-2°；

若o_l位于Ω右侧，载荷向右转动，即载荷方位角+2°；

若o_l位于Ω上方，载荷向上转动，即载荷俯仰角+2°；

若o_l位于Ω下方，载荷向下转动，即载荷俯仰角-2°；

若λ_l<10％，载荷焦距增加0.2；

(404)重复步骤(402)和(403)，直到o_l∈Ω且λ_l≥10％。

本发明具有如下优点：

1、本发明将载荷控制与目标识别相结合，根据目标识别结果，自动筛选出小目标，并基于小目标识别结果自适应调整载荷姿态和焦距，完成小目标初步捕获。

2、本发明采用逐级转化方式，将实时性低的深度学习目标跟踪转化为实时性高的光流目标跟踪，并且中间利用SURF目标跟踪进行过度，进一步提高转化稳定性。通过该方式解决深度学习目标检测的高延时导致的目标跟踪失效问题，实现在小目标捕获过程中的高可靠跟踪。

附图说明

图1是基于深度学习目标识别的目标跟踪示意图。其中，T_n表示实时图像从载荷传出的时间，T表示深度学习目标识别需要的时间，图像中目标数量对T的大小有一定影响。因此载荷控制及目标跟踪系统的输入为T_n-T时刻图像的检测结果，从而导致目标跟踪存在延时。

图2是目标区域与图像中心区域相对位置示意图。

图3是基于深度学习目标识别的小目标筛选及SURF特征提取流程示意图。

图4是SURF目标跟踪过程示意图。

图5是光流法(LK)目标跟踪过程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种小目标捕获过程中目标可靠性跟踪方法，包括以下步骤：

(1)输入1帧实时图像I(W×H)，采用深度学习模型对I进行检测，结果记为Γ{A_i|i＝1,…,N}，A_i表示I中检测到的目标。在A_i中选取像素个数小于150，置信度小于0.9且距离图像中心最近的目标进一步识别，该目标记为A_d；

(2)参照图2，记A_d所在区域的宽度为W_d，高度为H_d，中心点为o_d(x_d,y_d)，置信度为c_d，A_d在图像I占比为λ_d，其中λ_d＝(W_d×H_d)/(W×H)；

记图像中心区域为Ω＝{(x,y)|3W/4>x>W/4且3H/4>y>H/4}。若且λ_d<1％，控制载荷对目标进行跟踪放大。参照图3，对载荷控制进一步描述如下：

2.1)将目标中心点坐标o_d(x_d,y_d)和λ_d发送到载荷控制及目标跟踪系统，系统根据o_d(x_d,y_d)和λ_d发送相应的载荷控制指令；

2.2)载荷根据指令执行相应动作，调整载荷的旋转角和俯仰角和焦距，具体控制策略如下：

若o_d位于Ω左侧，载荷向左转动，即载荷方位角-1°；

若o_d位于Ω右侧，载荷向右转动，即载荷方位角+1°；

若o_d位于Ω上方，载荷向上转动，即载荷俯仰角+1°；

若o_d位于Ω下方，载荷向下转动，即载荷俯仰角-1°；

若λ_d<1％，载荷焦距增加0.1倍；

2.3)重复2.1)和2.2)，直到o_d∈Ω且λ_d≥1％；

2.4)采用SURF特征提取算法提取A_d的SURF特征，结果记为K{m_i}。

(3)参照图4，输入1帧实时图像I₁，基于K对图像I₁进行SURF目标检测跟踪，结果为A_s，中心点为o_s(x_s,y_s)。同时每隔3帧实时图像抽取1帧图像进行深度学习目标重识别，果为A_d，中心点为o_d(x_d,y_d)。定义o_s和o_d之间的距离为d，计算方法如下：

若d<10，SURF目标跟踪成功，然后更新K。

(4)参照图5，输入1帧实时图像I₂，对图像I₂采用光流法(LK)进行目标检测跟踪，并提取目标的SURF特征，结果记为K_L{n_i}。采用最大近邻向量匹配算法对K{m_i}和K_L{n_i}进行特征点匹配，然后采用RANSANC算法去除误匹配，匹配成功的特征点对数量记为Q，若Q>30，则LK跟踪成功；

记LK目标检测跟踪结果为A_l，中心点为o_l(x_l,y_l)，置信度为c_l，A_l在图像中占比为λ_l，计算方法同步骤(2)中λ_d；

4.1)将目标中心点坐标o_l和λ_l发送到载荷控制及目标跟踪系统，系统根据o_l和λ_l发送相应的载荷控制指令；

4.2)载荷根据指令执行相应动作，调整载荷的旋转角和俯仰角和焦距，具体控制策略如下：

若o_l位于Ω左侧，载荷向左转动，即载荷方位角-2°；

若o_l位于Ω右侧，载荷向右转动，即载荷方位角+2°；

若o_l位于Ω上方，载荷向上转动，即载荷俯仰角+2°；

若o_l位于Ω下方，载荷向下转动，即载荷俯仰角-2°；

若λ_l<10％，载荷焦距增加0.2倍；

4.3)重复4.1)和4.2)，保持o_l∈Ω且λ_l≥10％，实现在小目标捕获过程中的快速可靠跟踪。

总之，本发明通过逐级转化方式，解决深度学习目标检测时延导致目标跟踪不稳定问题，提高了小目标跟踪的实时性和可靠性。

最后需要说明的是，以上实施例仅仅是对于本发明专利精神作举例说明。本发明专利所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方法替代，但并不会偏离本发明专利的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种小目标捕获过程中目标可靠性跟踪方法，其特征在于，包括以下步骤：

(1)输入1帧实时图像I，宽高尺寸为W×H，采用深度学习模型对I进行检测，结果记为Γ{A_i|i＝1,…,N}，A_i表示I中检测到的目标，N为目标个数；在A_i中选取像素个数小于150，置信度小于0.9且距离图像中心最近的目标进一步识别，该目标记为A_d；

(2)记A_d所在区域的中心点为o_d(x_d,y_d)，置信度为c_d，A_d在图像I占比为λ_d；记图像中心区域为Ω＝{(x,y)|3W/4>x>W/4且3H/4>y>H/4}；若且λ_d<1％，则控制载荷对目标进行跟踪放大；采用SURF特征提取算法提取A_d的SURF特征，结果记为K{m_i}；

(3)输入1帧实时图像I₁，基于K对图像I₁进行SURF目标检测跟踪；同时，每隔3帧实时图像抽取1帧图像进行深度学习目标重识别，将识别结果与SURF跟踪结果进行比对，判断SURF跟踪是否正确；若目标跟踪正确，则更新K；

(4)输入1帧实时图像I₂，对图像I₂采用光流法进行目标检测跟踪，并提取目标的SURF特征，结果记为K_L{n_i}；采用最大近邻向量匹配算法对K{m_i}和K_L{n_i}进行特征点匹配，然后采用RANSANC算法去除误匹配，依据匹配结果校验光流跟踪效果；若跟踪成功，则根据光流跟踪结果控制载荷移动和调节载荷焦距，实现对目标的快速可靠跟踪；具体包括以下步骤：

(401)记K{m_i}和K_L{n_i}匹配成功的特征点对数量为Q，若Q>30，则光流法跟踪成功；

(402)记光流法目标检测跟踪结果为A_l，中心点为o_l(x_l,y_l)，置信度为c_l，A_l在图像中占比为λ_l；将目标中心点坐标o_l和λ_l发送到载荷控制及目标跟踪系统，载荷控制及目标跟踪系统根据o_l和λ_l发送相应的载荷控制指令；

(403)载荷根据指令执行相应动作，调整载荷的旋转角、俯仰角和焦距，具体控制策略如下：

若o_l位于Ω左侧，载荷向左转动，即载荷方位角-2°；

若o_l位于Ω右侧，载荷向右转动，即载荷方位角+2°；

若o_l位于Ω上方，载荷向上转动，即载荷俯仰角+2°；

若o_l位于Ω下方，载荷向下转动，即载荷俯仰角-2°；

若λ_l<10％，载荷焦距增加0.2；

(404)重复步骤(402)和(403)，直到o_l∈Ω且λ_l≥10％。

2.根据权利要求1所述的一种小目标捕获过程中目标可靠性跟踪方法，其特征在于，步骤(3)的具体方式为：

记SURF目标检测跟踪结果为A_s，中心点为o_s(x_s,y_s)；深度学习目标识别结果为A_d，中心点为o_d(x_d,y_d)；定义o_s和o_d之间的距离为d：

若d<10，则SURF目标跟踪成功。