CN111476116A - 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 - Google Patents

Abstract

本发明公开了一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法，该系统包括无人机平台和地面站平台，所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。本发明还提供了一种基于上述旋翼无人机系统的检测跟踪方法。本发明采用无人机端侧计算方案，有效提升了系统的时效性；采用了YOLO Nano目标检测算法，显著减少机载计算机运算压力；采用鲁棒性更强的Staple跟踪算法及目标重检测模块，提升了跟踪的精度，在实时跟踪中目标遮挡或丢失时，自动启动重检测算法重新搜寻目标。

Description

一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法

技术领域

本发明涉及旋翼无人机领域，特别是涉及一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法。

背景技术

无人机种类繁多，其中旋翼无人机拥有无场地限制、能定点悬停、慢速飞行、有限空间飞行、垂直起降等诸多优势，使得其在航拍、农业、植保、微型自拍、快递运输、灾难救援、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等领域有广泛应用。近年来，人工智能技术发展迅猛，无人机和人工智能技术的结合成为一个新的研究热点。基于深度学习的目标检测、目标跟踪技术赋予无人机于“智能”，使得无人机拥有更广的信息搜索区域，对局部微小信息的解读和分析能力更进一步提升，对周围环境的感知能力和测量精度也进一步提升，人工智能技术对无人机的赋能，使得无人机增添了一双敏锐的“眼睛”，使其可以自主飞行，执行更高级别的任务。

随着数字成像技术的发展，相机作为一种传感器开始被广泛研究。因为人可以通过自己的视觉估计视野中物体的位置、距离，而相机的原理模拟了人的双眼，所以模仿人的特点，利用相机的二维图像可以反推图像中物体的三维信息。视觉感知系统应用于无人机由来已久，旋翼无人机对地面目标的检测和跟踪是一个热门的场景应用，由于基于深度学习的目标检测和目标跟踪算法都依赖于强大的算力，而无人机端侧算力有限，因此现阶段大多数方案都采取地面站做计算，无人机仅负责采集和传输图像，且对于目标跟踪算法而言，现阶段算法无法对目标遮挡和丢失做有效的处理。

现阶段主流的旋翼无人机进行目标检测算法采用了YOLOv3神经网络架构模型，地面站有强大的算力支持，可采用大网络做物体检测，YOLOv3的网络模型结构主要由75个卷基层构成，没有使用全连接层，该网络可以对应任意大小的输入图像。此外，没有使用池化层，取而代之的是将卷基层的stride设为2来达到下采样的效果，同时将尺度不变特征传送到下一层。除此之外，YOLOv3中还使用了类似ResNet和FPN网络的结构，这两个结构对于提高检测精度也是大有裨益。此网络应用于无人机视角的机动车辆检测效果较好。而对于较大的网络模型而言，上述网络结构计算耗时大，实时性较差，需要强大的算力支持，无法部署在端侧。

现阶段主流的旋翼无人机进行目标跟踪算法是基于KCF技术。KCF(核相关滤波)是由核的基于检测的跟踪循环结构(CSK)发展而来，采用在线学习方法解决跟踪问题。它是一种没有任何先验知识的机器学习方法。在第一帧中，手动选择感兴趣的对象(OOI)区域，KCF跟踪器将该区域转换为多通道HOG特征描述符。利用HOG描述符进行岭回归，初始化OOI区域z的回归函数f(z)。对于新一帧，f(z)是在OOI的最后一个区域附近的几个区域上求值的。最后，将评价响应最大的区域作为输出，应用于更新f(z)。为了加快山脊回归矩阵的计算，KCF通过循环移位将HOG特征描述符的每个通道的描述符转换为一个循环矩阵。通过离散傅里叶变换(DFT)可以将循环矩阵的对角化。因此，可以在傅立叶域中有效地处理矩阵计算，特别是矩阵求逆矩阵。此外，在KCF跟踪器中还应用了一个核函数以提高跟踪性能，将回归函数f(z)映射到非线性空间。这些解决方案由CSK引入，并在KCF中进行了优化。这样，KCF的处理速度和平均精度分别达到了172FPS和73.2％。

尽管以地面站做计算推理能保证足够的计算资源，然而大规模数据传输耗时是不可接受的，无线传输网络的不确定性也存在时延，且地面站要保证推理计算的速度是需要付出高昂的成本。

飞行控制的实时性是无人机安全的必要因素，若延迟较高，势必影响检测跟踪效果以及飞行安全。此外，在目标跟踪过程中，KCF算法受外界环境的不确定如光照变化、遮挡等因素的影响会导致目标跟踪丢失，且目标丢失后不能重新定位目标，最终导致跟踪失败。

发明内容

发明目的：为解决现有技术飞行控制延迟高的问题，本发明提出了一种用于车辆检测跟踪的旋翼无人机系统，采用无人机端侧计算方案，地面站仅做跟踪视频监控和手动飞控指令下发操作，有效提高了系统时效性能。进一步通过YOLO Nano目标检测算法解决了机载计算机运算负荷大的问题；通过基于Staple跟踪算法，并通过目标重检测模块，解决了KCF算法受限于外界环境致使跟踪不稳定的问题。

技术方案：一种用于车辆检测跟踪的旋翼无人机系统，包括无人机平台和地面站平台，采用无人机端侧计算方案，大幅度减小了系统时延，保证了机动车辆目标的检测和跟踪的实时性。所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。

进一步地，所述无人机平台包括：可见光摄像机、机载计算机、第一无线图传终端和飞控模块，其中，所述机载计算机分别与可见光摄像机、第一无线图传终端、飞控模块相连接；所述地面站平台包括PC机和第二无线图传终端，两者信息交互；第一无线图传终端与第二无线图传终端信息交互；

所述可见光摄像机，用于采集图像数据；

所述机载计算机，用于运行目标检测算法和目标跟踪算法；

所述第一无线图传终端，用于传输目标跟踪实时视频流和地面站手动飞控指令接收；

所述PC机，用于目标跟踪实时视频流监控和手动飞控指令下发；

所述第二无线图传终端，用于接收目标跟踪实时视频流和手动飞控指令发送。

进一步地，所述机载计算机运行的目标检测算法采用YOLO Nano算法。

进一步地，所述机载计算机运行的目标跟踪算法采用Staple跟踪算法。

进一步地，所述机载计算机还包括目标重检测模块，用于根据Staple跟踪算法的测试样本与训练样本相关性的值，判断目标是否被遮挡，设置相关性的值的阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标的预测值复制给测量值，对测量值进行修正，得到目标位置的估计值。

进一步地，所述机载计算机用于部署Ubuntu ROS操作系统，该系统包含相机节点、目标检测节点、目标跟踪节点、飞控节点；其中，相机节点用于采集图像数据，目标检测节点用于所有车辆的定位，目标跟踪节点用于对目标车辆进行跟踪，飞控节点用于旋翼无人机的飞行控制。

本发明所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，该方法包括：

无人机平台实时计算并检测跟踪目标；地面站平台通过无线通信向无人机发送飞控指令，控制飞机飞行。

进一步地，该方法具体包括如下步骤：

(1)可见光摄像机采集图像数据，通过机载计算机的相机节点发布图像话题；

(2)目标检测节点订阅图像话题，将其作为目标检测节点的输入，机载计算机根据目标检测算法计算车辆坐标信息并发布车辆坐标信息话题；

(3)目标跟踪节点订阅车辆坐标信息话题，机载计算机根据目标跟踪算法预测目标车辆位置，并发布目标位置话题；

(4)飞控节点订阅目标位置话题，进行坐标转换，计算出目标与无人机的距离，并依此发送飞控指令给飞控模块；

(5)飞控模块执行指令控制无人机运动。

进一步地，所述目标检测算法采用YOLO Nano算法。采用该紧凑型网络架构，在保证检测准确率的同时，大幅度降低了模型大小，使得端侧运算耗时满足要求，适应了机载计算机运算能力。

进一步地，所述目标跟踪算法具体包括如下步骤：

(1)进行卡尔曼滤波器和Staple跟踪算法的各项初始化工作；

(2)进行图像序列中的目标跟踪；

(3)在跟踪过程中，首先是根据k-1帧中的目标状态预测k帧中目标车辆的位置，然后在预测位置进行图像块的采样输入至Staple跟踪算法获得目标车辆在图像中位置的测量值，接着根据Staple跟踪算法的测试样本与训练样本相关性的值，对目标是否有遮挡进行判断，对相关性的值设置一个阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标车辆的预测值复制给测量值；

(4)对目标测量值进行修正，得到对目标车辆位置的估计值；

(5)对前一帧的目标状态进行更新。

当环境的复杂性导致无人机跟踪过程中丢失目标时，基于卡尔曼滤波的重检测算法能在目标丢失后重新快速搜寻目标，保证了无人机在复杂环境下对车辆目标的长时且稳定的跟踪。

有益效果：将算法部署在无人机端侧，大幅度减小了系统时延，保证了机动车辆目标的检测和跟踪的实时性；由于无人机端侧计算设备的算力限制，采用YOLO Nano算法，在保证检测准确率的同时，大幅度降低了模型大小，使得端侧运算耗时满足要求。采用Stape跟踪算法并嵌入重检测模块，使得跟踪算法能在目标丢失后重新快速搜寻目标，确保了跟踪的长时性。

附图说明

图1是本发明的机载计算机ROS系统节点设计框图；

图2是本发明的系统硬件结构框图；

图3是本发明的系统软件结构框图；

图4是本发明的改进后的跟踪算法流程图。

具体实施方式

下面结合附图和具体实施方式，对本发明的技术方案作进一步的介绍。

本发明提出一种用于车辆检测跟踪的旋翼无人机系统，针对实际应用场景，即对机动车辆的自动检测和跟踪。旋翼无人机通过挂载的可见光摄像头获取地面实时视频流，并能将视频流实时传输到地面工作站，通过机载目标检测算法检测图像中车辆目标，地面站手动选择视频中需跟踪的车辆目标后，机载目标跟踪算法启动，旋翼无人机自动飞行跟踪地面选中目标。采用机载计算设备NVIADIA Jetson TX2运行Ubuntu ROS系统，在ROS系统上分别部署并整合相机节点、目标检测节点、目标跟踪节点和飞控节点。

图1是本发明的机载计算机ROS系统节点设计框图，无人机平台的工作流程包括如下步骤：

(1)可见光摄像机采集图像数据，通过机载计算机的相机节点发布图像话题；

(2)目标检测节点订阅图像话题，将其作为目标检测节点的输入，机载计算机根据目标检测算法计算目标坐标信息并发布目标坐标信息话题；

(3)目标跟踪节点订阅坐标信息话题，机载计算机根据目标跟踪算法预测目标位置，并发布目标位置话题；

(4)飞控节点订阅目标位置话题，进行坐标转换，计算出目标与飞机的距离，并依此发送飞控指令给飞控模块；

(5)飞控模块执行指令控制无人机运动。

图2是本发明的系统硬件结构框图，其中包括：本发明应用于旋翼无人机对地面机动车辆的检测和跟踪，无人机负载包括可见光摄像机、TX2机载计算机、无线图传等，TX2机载计算机上部署Ubuntu摄像机采用带自稳功能的云台相机，可拍摄1080P分辨率视频，采集速率为30FPS，云台相机固定在无人机下方，以固定角度对地面进行拍摄。算法处理单元为TX2机载计算机，安装Ubuntu16.04操作系统，ROS版本为kinetic。

图3是本发明的系统软件结构框图，其中包括：相对于地面站做推理计算，TX2机载计算机的计算能力大为削减，因此基于深度学习的目标检测算法需根据算力相应调整，传统的YOLOv3目标检测模型大小为240M，计算复杂度过大，已不再适用于边缘设备。需对原始网络进行剪枝处理。YOLO Nano大小只有4.0MB左右，比Tiny YOLOv2和Tiny YOLOv3分别小了15.1倍和8.3倍，在计算上需要4.57B次推断运算，比后两个网络分别少了34％和17％，在性能表现上，在VOC2007数据集取得了69.1％的mAP，准确率比后两者分别提升了12个点和10.7个点。因此将YOLO Nano算法部署在TX2上可显著减少运算压力，且能保证目标检测的准确率。

(1)目标检测算法设计

利用YOLO系列单发物体检测网络架构的设计原理来创建YOLO Nano，这是一个高度紧凑的网络，具有针对该应用量身定制的高度定制的模块级宏架构和微架构设计。网络结构主要包含残差PEP宏架构和全连接注意力宏架构FCA。

PEP由一个1*1卷积的映射层，它将输入的特征图映射到较低维度的张量，PEP(num)中的num为较低的维度；一个1*1卷积的扩张层，它会将特征图的通道再扩张到高一些的维度；一个逐深度(depth-wise)的卷积层，它会通过不同滤波器对不同的扩张层输出通道执行空间卷积；一个1*1卷积的映射层，它将前一层的输出通道映射到较低维度。前两步组合跨通道融合特征；第二步增加特征维度后，使第三步中更多的通道特征做空间的特征融合(提高特征的抽象和表征能力)；第三步深度卷积部分(空间卷积)；第四步逐点卷积部分(通道卷积)，降低通道减少后边卷积带来的巨大计算量；后两部组成深度可分离式卷积，实现降低计算复杂度情况下保证模型的表征能力。残差PEP宏架构的使用可以显著降低架构和计算上的复杂度，同时还能保证模型的表征能力。FCA宏架构由两个全连接层组成，它们可以学习通道之间的动态、非线性内部依赖关系，并通过通道级的乘法重新加权通道的重要性。FCA的使用有助于基于全局信息关注更加具有信息量的特征，因为它再校准了一遍动态特征。这可以更有效利用神经网络的能力，即在有限参数量下尽可能表达重要信息。因此，该模块可以在修剪模型架构、降低模型复杂度、增加模型表征力之间做更好的权衡。

YOLO Nano大小只有4.0MB左右，比Tiny YOLOv2和Tiny YOLOv3分别小了15.1倍和8.3倍，在计算上需要4.57B次推断运算，比后两个网络分别少了34％和17％，在性能表现上，在VOC2007数据集取得了69.1％的mAP，准确率比后两者分别提升了12个点和10.7个点。因此将YOLO Nano算法部署在TX2上可显著减少运算压力，且能保证目标检测的准确率。

(2)目标跟踪算法设计

Staple算法考虑到相关滤波用HOG特征时对运动模糊和照度很鲁棒，但是对形变不够鲁棒。若目标产生形变，整个目标的颜色分布是基本不会变的。因此颜色直方图对形变则非常鲁棒，另一方面，颜色直方图对光照变化不鲁棒，这一点又可以由HOG特征进行互补。因此考虑分成两个通道同时使用这两种特征。使用HOG特征对相关滤波器进行学习，得到滤波模版，使用给定公式更新模版。使用颜色特征对滤波模板进行学习，然后使用给定的更新公式对学习到的模板进行更新。分别使用两个模板对目标位置进行预测再加权平均得到合成响应图，响应图中最大值的位置即为目标所在位置。虽然Staple跟踪算法克服了KCF算法的部分缺陷，但对目标遮挡和丢失仍没有可靠的解决方案，因此在Staple算法框架中加入重检测模块有效解决此问题。具体地，对下一帧目标的位置进行预估，然后再预估位置进行采样进而进一步锁定目标的位置。而卡尔曼滤波器可以建立目标体的线性运动模型，通过模型的输入值和和输出值对目标的状态进行最优估计，因此利用卡尔曼滤波器建立目标的运动模型，预测目标的下一时刻位置，相机抖动可以看成是高斯噪声。

(3)基于卡尔曼滤波器的改进

目标的运动模型和观测方程可以表达成如下形式，由于两帧图像之间的采样间隔很短，所以将目标在两帧之间的运动简化为匀速运动。x和y分别表示目标的位置距离图像中心点的像素距离在u轴和v轴上的分量，

和

分别表示目标的移动速度在u轴和v轴上的分量。因为目标体运动的加速度是随机的，所以可以将

和

看成是高斯噪声。Δt为相邻时刻时间间隔。

k时刻的观测值为：

其中v_k为k时刻测量误差，所以系统的状态转移矩阵A、控制矩阵G、测量矩阵H分别为：

图4是本发明的改进后的跟踪算法流程图，其中包括：首先进行卡尔曼滤波器和Staple跟踪算法的各项初始化工作，接着进行图像序列中的目标跟踪。在跟踪过程中，首先是根据k-1帧中的目标状态预测k帧中目标的位置，然后在预测位置进行图像块的采样输入至Staple跟踪算法获得目标在图像中位置的测量值，接着根据Staple跟踪算法测试样本与训练样本相关性的值对目标是否有遮挡进行判断，对相关性的值设置一个阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标的预测值复制给测量值。下一步对目标测量值进行修正，最后得到对目标位置的估计值。在这过程中，每一帧目标位置修正后都对前一帧的目标状态进行更新。

Claims (10)

1.一种用于车辆检测跟踪的旋翼无人机系统，该系统包括无人机平台和地面站平台，其特征在于，所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。

2.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述无人机平台包括：可见光摄像机、机载计算机、第一无线图传终端和飞控模块，其中，所述机载计算机分别与可见光摄像机、第一无线图传终端、飞控模块相连接；所述地面站平台包括PC机和第二无线图传终端，两者信息交互；第一无线图传终端与第二无线图传终端信息交互；

所述可见光摄像机，用于采集图像数据；

所述机载计算机，用于运行目标检测算法和目标跟踪算法；

所述第一无线图传终端，用于传输目标跟踪实时视频流和地面站手动飞控指令接收；

所述PC机，用于目标跟踪实时视频流监控和手动飞控指令下发；

所述第二无线图传终端，用于接收目标跟踪实时视频流和手动飞控指令发送。

3.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机运行的目标检测算法采用YOLO Nano算法。

4.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机运行的目标跟踪算法采用Staple跟踪算法。

5.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机还包括目标重检测模块，用于根据Staple跟踪算法的测试样本与训练样本相关性的值，判断目标是否被遮挡，设置相关性的值的阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标的预测值复制给测量值，对测量值进行修正，得到目标位置的估计值。

6.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机用于部署Ubuntu ROS操作系统，该系统包含相机节点、目标检测节点、目标跟踪节点、飞控节点；其中，相机节点用于采集图像数据，目标检测节点用于所有车辆的定位，目标跟踪节点用于对目标车辆进行跟踪，飞控节点用于旋翼无人机的飞行控制。

7.一种基于权利要求1所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，该方法包括：

无人机平台实时计算并检测跟踪目标；地面站平台通过无线通信向无人机发送飞控指令，控制飞机飞行。

8.根据权利要求7所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于：所述无人机平台包括可见光摄像机、机载计算机、第一无线图传终端和飞控模块，其中，所述机载计算机分别与可见光摄像机、第一无线图传终端、飞控模块相连接，机载计算机上部署Ubuntu ROS操作系统，该系统包含用于采集图像数据的相机节点、用于所有车辆定位的目标检测节点、用于对目标车辆进行跟踪的目标跟踪节点、用于控制旋翼无人机飞行的飞控节点；所述地面站平台包括PC机和第二无线图传终端，两者信息交互；第一无线图传终端与第二无线图传终端信息交互；该方法包括如下步骤：

(1)可见光摄像机采集图像数据，通过机载计算机的相机节点发布图像话题；

(2)目标检测节点订阅图像话题，将其作为目标检测节点的输入，机载计算机根据目标检测算法计算车辆坐标信息并发布车辆坐标信息话题；

(3)目标跟踪节点订阅车辆坐标信息话题，机载计算机根据目标跟踪算法预测目标车辆位置，并发布目标位置话题；

(4)飞控节点订阅目标位置话题，进行坐标转换，计算出目标与无人机的距离，并依此发送飞控指令给飞控模块；

(5)飞控模块执行指令控制无人机运动。

9.根据权利要求8所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，所述目标检测算法采用YOLO Nano算法。

10.根据权利要求8所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，所述目标跟踪算法具体包括如下步骤：

(1)进行卡尔曼滤波器和Staple跟踪算法的各项初始化工作；

(2)进行图像序列中的目标跟踪；

(3)在跟踪过程中，首先是根据k-1帧中的目标状态预测k帧中目标车辆的位置，然后在预测位置进行图像块的采样输入至Staple跟踪算法获得目标车辆在图像中位置的测量值，接着根据Staple跟踪算法的测试样本与训练样本相关性的值，对目标是否有遮挡进行判断，对相关性的值设置一个阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标车辆的预测值复制给测量值；

(4)对目标测量值进行修正，得到对目标车辆位置的估计值；

(5)对前一帧的目标状态进行更新。

Images