CN113449566B - 人在回路的“低慢小”目标智能图像跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种人在回路的“低慢小”目标智能图像跟踪方法及系统，属于无人机技术领域，跟踪方法包括以下步骤：离线训练基于深度学习的卷积神经网络，建立“低慢小”目标的智能检测模型；利用智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪；对智能检测模型未能识别的目标图像，通过KCF跟踪对目标图像进行在线识别跟踪；KCF跟踪的初始目标区域，为地面人员对机载相机传输到地面站的图像进行手动框选后，框选出的图像区域。本发明结合了深度卷积神经网络目标检测算法与KCF目标跟踪算法，保证了对各类目标的准确识别跟踪；结合双目测距原理，实时获取目标三维位置信息，即可利用提高识别准确性，又便于无人机对目标的追踪。

Description

人在回路的“低慢小”目标智能图像跟踪方法及系统

技术领域

本发明涉及无人机技术领域，尤其是一种人在回路的“低慢小”目标智能图像跟踪方法及系统。

背景技术

近年来，随着无人机技术的发展，“低慢小”飞行器在军民领域的迅速扩展，容易被不法分子利用进行非法侦查、抛洒传单甚至恐怖袭击，给公共安全和社会稳定带来极大隐患。因此，如何对“低慢小”目标进行有效管控已成为世界性难题。目前管控黑飞无人机的物理拦截手段有微波、激光等方式，但其存在使用维护为本高、易造成二次伤害等问题。利用无人机搭载处置设备，依靠机载视觉系统提供目标信息，导引无人机快速精确接近目标后进行杀伤拦截，以无人机反制无人机是一种管控“低慢小”目标的可行方式。而该方案的实现依赖于机载视觉系统对“低慢小”目标的图像跟踪。

无人机载视觉系统对运动目标的跟踪已有相关技术，可以分为合作目标跟踪和非合作目标跟踪。对于合作目标跟踪，通过事先提取的目标固定特征信息进行跟踪，由于黑飞无人机非合作目标，因此无法适用合作目标跟踪；目前的非合作目标跟踪，一般用于跟踪地面目标等平面目标，并且需要操作者对目标进行人为确认，无法自动识别，且无法获取目标相对与我方无人机具体三维坐标。

发明内容

鉴于上述的分析，本发明旨在提供一种人在回路的“低慢小”目标智能图像跟踪方法及系统；在通常情况下可自动识别跟踪目标，保留人在跟踪过程中的控制权，当无法自动识别时可人为确认目标进行目标跟踪。

本发明公开了一种人在回路的“低慢小”目标智能图像跟踪方法，包括：

离线训练基于深度学习的卷积神经网络，建立“低慢小”目标的智能检测模型；

利用所述智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪；

对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；

所述KCF跟踪的初始目标区域，为地面人员对机载相机传输到地面站的图像进行手动框选后，框选出的图像区域。

进一步地，所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

进一步地，对所述目标与相机之间的相对三维坐标进行卡尔曼滤波，用于消除将周围背景的其他物体识别成目标造成的误识别。

进一步地，所述基于深度学习的卷积神经网络，以YOLOv3轻量网络模型为基础进行图像融合层调整，使用3个不同尺度的卷积特征层预测无人机的位置坐标和类型。

进一步地，对所述离线训练进行优化包括：

训练之前对用于训练的图像进行增强；

对训练数据集的边界框进行聚类，选定网格锚点；

对深度学习的框架进行半精度转换。

进一步地，在利用所述智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪时采用多线程优化；

所述多线程优化包括：

第一个线程利用CPU获取实时图像数据；

第二个线程利用CPU将获取的图像数据进行适当的压缩及裁剪变换，以适用于GPU处理，

第三个线程为GPU线程，根据第二个线程得到的数据进行多层卷积运算。

进一步地，在所述KCF跟踪中，建立目标的运动学模型，根据运动学模型预测目标在下一帧图像中的位置区域；在所述位置区域内进行搜索，寻找目标位置。

进一步地，在进行KCF跟踪的同时，每隔设定的帧数进行一次利用所述智能检测模型进行在线识别目标检测；一旦检测出目标，将放弃KCF跟踪而利用所述智能检测模型进行目标跟踪；当利用所述智能检测模型进行目标跟踪失效后，

根据其失效前跟踪的最后一帧图像为模板，提取目标区域特征进行KCF跟踪。

本发明还公开了一种人在回路的“低慢小”目标智能图像跟踪系统，包括，无人机和地面站；无人机与地面站之间建立无线通信连接；

所述无人机搭载相机及GPU图像处理板；

所述相机用于拍摄目标图像；

所述GPU图像处理板，利用训练好的智能检测模型对相机拍摄的目标图像进行在线识别跟踪；对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；

所述地面站用于接收机载相机传输的图像，地面人员对所述智能检测模型未能识别的目标图像进行手动框选后选出的目标图像区域，发送到无人机，作为KCF跟踪的初始目标区域。

进一步地，所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

本发明的有益效果如下：

本发明稳定可靠地提供了一种空对空的运动低慢小目标实时检测跟踪方法，结合了深度卷积神经网络目标检测算法与KCF目标跟踪算法，保证了对各类目标的准确识别跟踪。

在图像目标的检测跟踪同时，还结合了双目测距原理，实时获取目标三维位置信息，即可利用提高识别准确性，又便于无人机对目标的追踪。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中的智能图像跟踪方法流程图；

图2为本发明实施例中的卷积神经网络的网络结构示意图；

图3为本发明实施例中的智能图像跟踪系统原理示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

本实施例公开了一种人在回路的“低慢小”目标智能图像跟踪方法，如图1所示，包括：

步骤S1、离线训练基于深度学习的卷积神经网络，建立“低慢小”目标的智能检测模型；

建立智能检测模型的过程包括：

1)采集大量“低慢小”目标在各类背景中的各个角度的照片作为样本图片，并对样本图片中要识别的目标进行标注，建立训练数据集；

2)选择基于深度学习的卷积神经网络模型；

3)采用建立的数据集对卷积神经网络训练模型进行大量离线训练；训练模型参数，建立“低慢小”目标的智能检测模型；

所建立的智能检测模型应用于“低慢小”飞行器目标的识别和跟踪，由于目标小，且具有一定的运动速度，为跟踪目标则需利用多层卷积神经网络，多层卷积神经网络层数越多，且融合浅层特征，对小目标检测精度越高，但运算量也就相应增加。因此还需对卷积神经网络进行优化，以提高目标识别的速度和精度。具体包括：

1)对卷积神经网络进行多特征融合

具体的，深度学习卷积过程中，越深的卷积层获取的特征对应原图较大目标，通过融合浅层卷积层，可获取原图较小目标的特征。本实施例的基于深度学习的卷积神经网络(CNN网络)以YOLOv3轻量网络模型为基础进行图像融合层调整，补充融合更底层的小目标特征信息进行预测，设计的网络结构如图2所示。输入图像被缩放到416像素*416像素，融合三个(浅、中、深)特征，及对应3个不同尺度的卷积特征，具体的，图2中52*52、26*26、13*13三个尺度，与浅、中、深特征一一对应；使用3个不同尺度的卷积特征层预测目标的位置坐标和类型，具体的，对应图2中52*52、26*26、13*13卷积+yolo预测。相比于现有2个尺度仅考虑了中目标，大目标特征，检测小目标精度低。在深度学习的卷积神经网络中预测融合的特征尺度越多，预测越准确，但计算量越大，因此，本实施例为减少计算了，接下来对卷积神经网络进行通道裁剪。

2)对卷积神经网络进行通道裁剪

融合特征层越浅，模型计算量越大，目标检测速度越慢。因而从通道裁剪角度进行检测速度上的优化。

(1)按比例逐渐缩减各卷积层的特征通道数量(例如按1/4，1/2比例逐渐逐层减少各卷积层的特征通道数量，不断训练模型，观察检测精度变化)，在对标YOLOv3轻量网络检测精度(对自建的无人机数据集检测精度为82％，TX2(英伟达图像处理板)上检测速度为22帧/秒，最终效果为检测精度84％，检测速率为40帧/秒)的基础上，通过上述修改特征融合层和减少特征通道构建出滤波器个数缩减量约为50％的网络，并训练得到模型权重参数。

(2)分离出该模型的前部特征提取基础网络(基于上述得到的权重模型，提取出前部特征提取层的权重参数值)，以此为预训练模型，再对特征融合和预测层进行二次通道裁剪(即继续减少通道数量，同时调整浅层和深层融合特征通道数比例)。模型微调得到更小的检测模型，进一步提高模型检测速度。

3)对离线训练进行优化

(1)对训练数据集中的图像进行增强

由于构建的“低慢小”目标数量较少，而“低慢小”目标在飞行过程中旋转、倾斜变化灵活，且高空对光背光情况较多，因而训练前采用角度旋转、曝光度、色调与饱和度对图像进行增强。

(2)对训练数据集中目标的边界框进行聚类

优选的，使用k-means维度聚类的方法对训练数据集的边界框做聚类，根据构建的数据集计算获得最合适的边界框先验，其中在距离的计算上采用了DIOU方法，即在IOU损失中引入了一个惩罚项，直接最小化两个box的归一化距离：

其中，IOU为交并比函数(intersection over union)；box是预测先验框的坐标，centroid是聚类所有簇的中心，b，b^gt分别为预测框和真实框的中心点，b为计算两个中心点间的欧式距离，ρ为能够同时包含预测框和真实框的最小闭包区域的对角线距离。

基于训练集数据聚类计算锚点参数，选取不同锚点个数(一般为6-9个)对比模型性能，出于提升检测速度的目的，在召回率损失小于5％且检测精度损失小于1％的情况下，最终选取6个锚点参数，三预测层各设置3个锚点框尺寸，即每个网格生成3个锚点框。

(3)对深度学习的框架进行半精度转换，

将所有单精度浮点类型的计算转换成半精度浮点类型的计算。半精度浮点数具有较少的位数，所以能表示数据的精度和数据的范围都相对较小，但是相应的参与计算的位数和计算所需的时间相应就会少，可满足在识别精度的前提下提升了计算速度。

(4)进行多线程优化；

考到训练后的模型应用于无人机上，通过无人机搭载的机载图像处理板对目标进行跟踪识别，而机载图像处理板包括多核的CPU(central processing unit，中央处理器)与GPU(Graphics Processing Unit，图形处理器)，可通过多线程的方式来进行调度，从而最大化的利用起GPU的计算功能，让GPU一直不断地进行计算任务。在算法的实际运行过程中，

处理板首先要通过CPU获取图像数据，并对其进行数据转换等预处理工作，最后利用GPU进行卷积神经网络的运算，得到检测结果。

在算法工作时，可以在一个线程执行GPU任务时，其他线程先开始CPU的获取图像及图像预处理任务。以便上一个线程完成GPU的计算后，下一个线程就可以马上开始GPU的计算任务，这样可以节省掉每一张图片的预处理的时间。

具体可设置三个线程，

第一个线程利用CPU获取实时图像数据，

第二个线程利用CPU将获取的图像数据进行适当的压缩及裁剪变换，以适用于GPU处理，

第三个线程为GPU线程，根据第二个线程得到的数据进行多层卷积运算，给出图像的目标检测结果，此线程的耗时时间较长。通过这样的多线程处理，节约了图像预处理时间，最大限度的提高了检测速度。

通过上述的算法优化，并选取含多核CPU与GPU的图像处理板，即可快速准确的自主识别低慢小目标。

步骤S2、利用所述智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪；

无人机搭载的机载图像处理板利用所述智能检测模型采用多个线程在线对于“低慢小”目标进行识别和跟踪。

对目标进行在线识别跟踪的最终目的是获取目标相对无人机平台的三维信息，使无人机靠近“低慢小”目标并对其进行拦截处置。

优选的，所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

而且，考虑到所述智能检测模型的智能识别算法对目标的识别准确率不可能达到100％，当识别过程中出现小概率的误识别的到周围背景的其他物体时，双目立体匹配得到的物体三维坐标将与原实际物体相差甚远。通过设定合适的阈值，对目标三维坐标进行卡尔曼滤波，即可有效避免由于低概率的图像误识别导致目标相对三维坐标的错误，所述阈值依据目标的实际场景设置，例如设定测距阈值为2m左右。

当遇到敌方目标特征与常见“低慢小”目标迥异，训练的样本库未包含类似目标特征时，智能检测模型将无法识别目标，为解决该问题，本实施例，保留了人在跟踪过程中的控制权，当智能检测模型无法自动识别时，进入步骤S3人为确认目标进行目标跟踪。

步骤S3、对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；所述KCF跟踪的初始目标区域，为地面人员对机载相机传输到地面站的未能识别的图像进行手动框选后，框选出的图像区域。即手动框选+KCF算法对目标进行在线识别跟踪。

KCF算法(核相关滤波图像跟踪算法)是一种鉴别式追踪方法，其在追踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。

手动框选的目标是由地面人员是给KCF算法提供一个初始目标特征；机载相机通过超低延迟的图传将图像传输到地面站，地面人员观察地面站中从无人机端传输至地面的实时图像，人为确定要跟踪的目标，框选出目标图像区域。

具体的，可通过鼠标等可框选屏幕图像的工具在屏幕图像界面移动，以鼠标光标为中心在屏幕中框选出一个绿色矩形框，通过上下滚动鼠标滚轮可以调整矩形框大小，当矩形框基本包围目标后，地面人员点击鼠标左键，确认目标区域。

地面站将目标区域在图像中的坐标位置首先经过比例换算，得到目标在原始图像中的像素坐标位置，并通过图传发送至无人机端，KCF算法以发送的目标区域为初始目标区域开始进行图像跟踪。

KCF算法根据地面人员框选出的目标区域作为跟踪的初始图像区域提取HOG特征，并在此后的每一帧图像中依据该HOG特征搜索匹配出目标区域。

考虑到本实施例中跟踪的目标所占像素少，运动速度快，为保证跟踪效果，在所述KCF跟踪中，建立目标的运动学模型，根据运动学模型预测目标在下一帧图像中的位置区域；在所述位置区域内进行搜索，寻找目标位置。

具体包括以下步骤：

1)依据图像跟踪结果，进行双目匹配，得到目标相对于相机的三维坐标；

2)结合搭载相机的无人机自身的姿态角及三维坐标，进行坐标变换后得到目标在大地坐标系下的坐标，即得到了目标的运动模型。

3)采用卡尔曼滤波，依照目标的运动模型，预测下一帧目标在图像中的位置区域。

当目标速度过快，KCF算法在原定的搜索区域未寻找到目标时，即可在运动模型预测的目标区域扩大检索范围重新检索一遍，寻找出正确目标。

为了更好的对目标进行自动跟踪，本实施例还可以实现KCF跟踪和智能检测模型跟踪两种跟踪算法的融合，在两种跟踪算法中进行自动切换，具体为，

在进行KCF跟踪的同时，每隔设定的帧数进行一次利用所述智能检测模型进行在线识别目标检测；一旦检测出目标，将放弃KCF跟踪而利用所述智能检测模型进行目标跟踪；当利用所述智能检测模型进行目标跟踪失效后，根据其失效前跟踪的最后一帧图像为模板，提取目标区域特征进行KCF跟踪。

综上所述，本实施例的人在回路的“低慢小”目标智能图像跟踪方法，稳定可靠地提供了一种空对空的运动低慢小目标实时检测跟踪方法，结合了深度卷积神经网络目标检测算法与KCF目标跟踪算法，保证了对各类目标的准确识别跟踪；在图像目标的检测跟踪同时，还结合了双目测距原理，实时获取目标三维位置信息，即可利用提高识别准确性，又便于无人机对目标的追踪。

本实施例还公开了一种人在回路的“低慢小”目标智能图像跟踪系统，如图3所示，包括，无人机和地面站；无人机与地面站之间建立无线通信连接；

所述无人机搭载相机及GPU图像处理板；

所述相机用于拍摄目标图像；

所述GPU图像处理板，利用训练好的智能检测模型对相机拍摄的目标图像进行在线识别跟踪；对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；

所述地面站用于接收机载相机传输的图像，地面人员对所述智能检测模型未能识别的目标图像进行手动框选后选出的目标图像区域，发送到无人机，作为KCF跟踪的初始目标区域。

具体的，所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

在本实施例中的智能图像跟踪系统可利用上述的人在回路的“低慢小”目标智能图像跟踪方法，结合了基于深度学习的卷积神经网络智能检测模型与KCF目标跟踪算法，当无人机的GPU图像处理板采用智能检测模型无法自动识别目标时，保留了人在跟踪过程中的控制权，地面人员在地面站对机载相机传输到地面站的图像进行手动框选出目标后，采用KCF算法对目标进行在线识别跟踪。保证了对各类目标的准确识别跟踪，并且在图像目标的检测跟踪同时，结合了双目测距原理，实时获取目标三维位置信息，即可利用提高识别准确性，又便于无人机对目标的追踪。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种人在回路的“低慢小”目标智能图像跟踪方法，其特征在于，包括：

离线训练基于深度学习的卷积神经网络，建立“低慢小”目标的智能检测模型；

利用所述智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪；

对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；

所述KCF跟踪的初始目标区域，为地面人员对机载相机传输到地面站的所述未能识别的目标图像进行手动框选后，框选出的图像区域；

在所述KCF跟踪中，建立目标的运动学模型，根据运动学模型预测目标在下一帧图像中的位置区域；在所述位置区域内进行搜索，寻找目标位置；

在进行KCF跟踪的同时，每隔设定的帧数利用所述智能检测模型进行一次在线识别目标检测；一旦检测出目标，放弃当前KCF跟踪利用所述智能检测模型进行目标跟踪；当利用所述智能检测模型进行目标跟踪失效后，根据其失效前跟踪的最后一帧图像为模板，提取目标区域特征进行KCF跟踪；

所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

2.根据权利要求1所述的智能图像跟踪方法，其特征在于，所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。

3.根据权利要求2所述的智能图像跟踪方法，其特征在于，对所述目标与相机之间的相对三维坐标进行卡尔曼滤波，用于消除将周围背景的其他物体识别成目标造成的误识别。

4.根据权利要求1所述的智能图像跟踪方法，其特征在于，所述基于深度学习的卷积神经网络，以YOLOv3轻量网络模型为基础进行图像融合层调整，使用3个不同尺度的卷积特征层预测目标的位置坐标和类型。

5.根据权利要求1所述的智能图像跟踪方法，其特征在于，离线训练阶段包括对所述离线训练进行优化，所述优化包括：

训练之前对用于训练的图像进行增强；

对训练数据集的边界框进行聚类，选定网格锚点；

对深度学习的框架进行半精度转换。

6.根据权利要求1所述的智能图像跟踪方法，其特征在于，在利用所述智能检测模型对机载相机拍摄的目标图像进行在线识别跟踪时采用多线程优化；

所述多线程优化包括：

第一个线程利用CPU获取实时图像数据；

第二个线程利用CPU将获取的图像数据进行适当的压缩及裁剪变换，以适用于GPU处理，

第三个线程为GPU线程，根据第二个线程得到的数据进行多层卷积运算。

7.一种人在回路的“低慢小”目标智能图像跟踪系统，其特征在于，包括，无人机和地面站；无人机与地面站之间建立无线通信连接；

所述无人机搭载相机及GPU图像处理板；

所述相机用于拍摄目标图像；

所述GPU图像处理板，利用训练好的智能检测模型对相机拍摄的目标图像进行在线识别跟踪；对所述智能检测模型未能识别的目标图像，通过KCF跟踪对所述目标图像进行在线识别跟踪；

在所述KCF跟踪中，建立目标的运动学模型，根据运动学模型预测目标在下一帧图像中的位置区域；在所述位置区域内进行搜索，寻找目标位置；

在进行KCF跟踪的同时，每隔设定的帧数利用所述智能检测模型进行一次在线识别目标检测；一旦检测出目标，放弃当前KCF跟踪利用所述智能检测模型进行目标跟踪；当利用所述智能检测模型进行目标跟踪失效后，根据其失效前跟踪的最后一帧图像为模板，提取目标区域特征进行KCF跟踪；

所述地面站用于接收机载相机传输的图像，地面人员对所述智能检测模型未能识别的目标图像进行手动框选后选出的目标图像区域，发送到无人机，作为KCF跟踪的初始目标区域；

所述机载相机为双目相机，在利用其中一目对目标进行实时图像识别跟踪的同时，另一目根据实时识别的目标特征进行目标匹配；并进行双目测距得到目标与相机之间的相对三维坐标。