CN109934131A

CN109934131A - 一种基于无人机的小目标检测方法

Info

Publication number: CN109934131A
Application number: CN201910148313.4A
Authority: CN
Inventors: 顾晶晶; 王秋红; 黄涛涛
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2019-06-25

Abstract

本发明提出了一种基于无人机的小目标检测方法，首先，无人机自主飞行拍摄视频；依次读取视频序列中的两帧，计算Hessian矩阵，并提取图像中的关键点；计算关键点间的欧氏距离，根据欧式距离以及Hessian矩阵匹配两幅图像中的关键点；然后剔除关键点中的噪声点，计算每两帧图像之间的透视变换矩阵并进行校准；然后将校准后的当前帧与参考帧作差得到差值图像，然后依次对差值图像进行二值化、形态学操作、重建等，提取并标记出图像中的前景目标。本发明通过背景的相似性能够有效提取和检测航拍视频中的小目标，同时充分使用了无人机的计算资源，提高了无人机的在线目标检测能力。

Description

一种基于无人机的小目标检测方法

技术领域

本发明涉及无人机、目标在线检测技术，具体涉及一种基于无人机的小目标检测方法。

背景技术

无人机(Unmanned Aerial Vehicles,UAVs)是指通过无线电遥控设备和独立程序控制设备操作的无人驾驶飞机，或者由机载计算机完全地或间歇地自主操作。与有人驾驶飞机相比，无人机具有体积小、造价低、对环境要求低、生存能力较强等优点，往往更适合那些危险、环境恶劣的任务。随着无人机制造业的快速发展，无人机系统被广泛应用于智慧城市管理、智能交通监控等领域。其中，移动目标的监控是无人机系统中一个基本但是具有挑战性的功能需求，与基础设施检查、城市感知、地图重构、交通控制等应用密切相关。这些应用推动了基于无人机的在线监控系统的发展，这些在线系统可以执行各种任务，例如现场设施的检查和违规的检测、不健康农作物的识别、3D地图数据的获取等。

在这些工作中，执行准确和快速的移动目标检测是一项重要的任务。目前，基于静止背景的目标检测技术已基本成熟。从实际的角度来看，只能通过使用移动摄像机来实现连续检测，并且扩展了监控范围。然而，摄像机的移动会造成视频背景的运动，大大地增加了移动目标检测的难度。

传统的目标检测算法可以大致划分为基于模板的算法和基于知识的算法，前者使用存储的模板根据最大相关度量找到图像之间的最佳匹配，后者通常通过各种知识和规则将目标检测问题转换为假设检验问题。通常，这两种方法都需要预先收集用于训练的目标信息(例如几何形状、比例和颜色等)。然而，在高海拔环境中，目标将具有相对小的尺寸，不同的类型和可变的方向，这使得先验特征难以检测。

最近，基于深度学习的目标检测与跟踪方法是研究的一大热点，包括SSD、RCNN、YOLO等，但是用于特征提取和学习的多层非线性处理具有较高的计算与硬件成本，不适用于计算资源受限的无人机。此外，由于无人机的自由飞行，如何解决运动摄像机的不稳定拍摄也是一个难题。为了解决这个问题，常用的方法是使用光流法来补偿相机运动，然后利用聚类算法分割目标，但是，光流法对噪声和光照非常敏感。此外，与无人机飞行情况相比，光流法的计算复杂度较高，更适合在无人机悬停或者低速飞行时的目标检测，不适用于基于无人机的在线检测系统。

发明内容

本发明的目的在于提出了一种基于无人机的小目标检测方法。

实现本发明的技术解决方案为：一种基于无人机的小目标检测方法，包括以下步骤：

步骤1、无人机自主飞行拍摄视频；

步骤2、依次读取视频序列中的两帧，分别为参考帧I_t和当前帧I_t+Δt，其中Δt表示每两帧之间的检测间隔时长，计算像素点x在尺度σ的Hessian矩阵根据Hessian矩阵的近似行列式值确定视频帧中的关键点；

步骤3、根据Haar小波特征的响应值生成关键点的描述子，并将关键点的描述子归一化，根据归一化后的描述子计算欧式距离，根据欧式距离以及Hessian矩阵的秩匹配两幅图像中的关键点，当最近邻距离与次近距离的比值满足设定的阈值时，则表示匹配成功；

步骤4、使用随机抽样一致性算法将噪声点从提取的关键点中剔除，包括前景的关键点和没有匹配的背景关键点，利用关键点计算每两帧图像之间的透视变换矩阵H_t,t+Δt来表示两幅视频帧投影空间的同构；

步骤5、通过透视变换矩阵将相应帧I_t+Δt投影到参考帧I_t上；

步骤6、计算变换后的图像和参考帧I_t的差值图像ΔI_t，将差值图像进行二值化；

步骤7、对二值化后的图像进行形态学操作，重建差值图像，使用连通分量分析，将可能是同一目标的移动前景区域聚集在一起，去除图像配准引起的边缘无效信息，并标记目标；

步骤8、重复步骤2-7，直至整个检测过程结束，得到检测结果。

优选地，步骤2中像素点x在尺度σ的Hessian矩阵计算公式为：

其中，L_xx(x,σ)表示视频帧I_t中点x沿x方向的高斯二阶导数卷积，类似的，L_xy(x,σ)表示点x沿xy方向的高斯二阶导数卷积和L_yy(x,σ)表示点x沿y方向的高斯二阶导数卷积；

Hessian矩阵的近似行列式值计算方式为：

其中，D_xx、D_yy和D_xy为点x与盒滤波器分别沿x方向、y方向和xy方向的卷积值。

优选地，步骤3中的欧氏距离dis_t,t+Δt计算公式为：

其中，F_t和F_t+Δt分别表示帧I_t和I_t+Δt中提取的特征点描述子集。

优选地，步骤4中使用关键点计算每两帧之间的透视变换矩阵公式如下：

K_t＝H_t,t+ΔtK_t+Δt

其中，K_t表示帧I_t中的关键点坐标集，H_t,t+Δt表示帧I_t和帧I_t+Δt之间的透视变换矩阵。

优选地，步骤5通过透视变换矩阵将相应帧I_t+Δt投影到参考帧I_t上的具体公式为：

其中，表示帧I_t+Δt经过透视变换后新的像素值。

优选地，步骤6中变换后的图像和参考帧I_t的差值图像ΔI_t的计算公式为：

本发明与现有技术相比，其显著优点为：1)本发明不需要预先收集目标的先验知识，减少了人力成本；2)本发明针对无人机运动造成的动态背景，设计了一种基于特征点的背景补偿方法，提高了目标检测的准确率；3)本发明充分使用了无人机的计算资源，能够实现小目标的在线检测。

下面结合附图对本发明做进一步详细的描述。

附图说明

图1为基于无人机的小目标检测方法流程图。

图2为单目标检测结果图。

图3为多目标检测结果图。

图4为无人机在线处理速度示意图。

具体实施方式

如图1所示，一种基于无人机的小目标检测方法，具体步骤如下：

步骤1、无人机自主飞行拍摄视频，机载摄像头将视频数据传给机载电脑；

步骤2、依次读取视频序列中的两帧，分别为参考帧I_t和当前帧I_t+Δt，其中Δt表示每两帧之间的检测间隔时长，计算像素点x在尺度σ的Hessian矩阵计算公式为：

其中，L_xx(x,σ)表示视频帧I_t中点x沿x方向的高斯二阶导数卷积，类似的，L_xy(x,σ)表示点x沿xy方向的高斯二阶导数卷积和L_yy(x,σ)表示点x沿y方向的高斯二阶导数卷积。计算Hessian矩阵的近似行列式值

其中，D_xx、D_yy和D_xy为点x与盒滤波器分别沿x方向、y方向和xy方向的卷积值。根据Hessian矩阵的近似行列式值来确定视频帧中的关键点，当达到局部最大值时，表示当前点比周围的相邻点更亮或者更暗，从而选择该点作为关键点；

步骤3、根据Haar小波特征的响应值来生成关键点的描述子p＝{p₁,p₂,…,p₆₄}，并将其归一化来消除光照的影响，根据归一化后的描述子计算欧式距离，计算公式为：

根据欧式距离以及Hessian矩阵的秩进行关键点匹配，当最近邻距离与次近距离的比值满足设定的阈值时，表示匹配成功；

估计透视单应矩阵H来表示两幅视频帧投影空间的同构。假设一对特征点(x₁,y₁)和(x₂,y₂)来自两个不同的图像，表示它们之间投影关系的3×3单应矩阵定义如下：

其中H＝[h_ij](i＝1,2,3,j＝1,2,3)。

关键点计算每两帧之间的透视变换矩阵公式如下：

K_t＝H_t,t+ΔtK_t+Δt

步骤5、通过透视变换矩阵将相应帧I_t+Δt投影到参考帧I_t上，从而补偿当前帧背景的运动。基于估计出的透视变换矩阵，得到帧I_t+Δt的变换图像，如下所示：

其中表示帧I_t+Δt经过透视变换后新的像素值；

步骤6、计算变换后的图像和参考帧I_t的差值图像ΔI_t来消除背景，差值图像计算公式为：

将差值图像进行二值化，从而突出显示分割出来的目标；

步骤7、对二值化后的图像进行形态学操作(即腐蚀和膨胀)，可以将小噪声的区域缩小到零，然后重建差值图像，使用连通分量分析，将可能是同一目标的移动前景区域聚集在一起，去除图像配准引起的边缘无效信息，并标记目标；

步骤8、重复步骤2-7，直至整个检测过程结束。

下面结合实施例对本发明做进一步详细的描述。

实施例

本实施例中，使用四旋翼无人机(DJI M-100)和Mac笔记本搭建了一个测试平台，用以验证移动目标检测和跟踪算法的准确性和实时性。无人机DJI M-100上装载了机载电脑Manifold、摄像头传感器、GPS和IMU模块。无人机的整体有效负荷少于500g，可以飞行15至20分钟。

基于搭建的测试平台，在两种不同的场景下验证了目标检测模块的性能，场景分别如图2和3所示。图2代表的场景中，只有一个移动目标被无人机的摄像机捕捉到，无人机实在低空中飞行盘旋；图3表示的场景中，存在多个移动目标，并且无人机处于飞行状态，高度相对较高。从图中我们可以明显的看到，在这两种情况下，移动目标都有被障碍物树木挡住的现象。

图2(b)和图3(b)是前景目标的分割结果，被矩形框标出来的移动目标如图2(c)和图3(c)所示。在图2的场景中，背景基本保持不变，唯一一个移动目标被准确的标记，即使目标被树木部分的遮挡住时，目标也被准确的分割出来了。从图3(b)中，发现图像边缘存在一些白色的斑点，这是由于摄像机拍摄时的不稳定造成的。然而，算法中的形态学操作将这些噪声点消除了，从而防止了在检测移动目标时被当做错误的移动目标标记出来。与图2相比，图3的场景是由动态背景和多个移动目标组成的，但是通过本发明，目标也可以被较准确的标记出来了。

最后，为了评估目标检测的效率，研究了目标检测在无人机机载电脑上的处理速度。本实施例中考虑的数据集包括：Dataset1(DAPRAVIVID-PkTest01)，Dataset2(DAPRAVIVID-EgTest01)，Dataset3(视频分辨率为720×480)和Dataset4(视频分辨率为1280×720)。Dataset3和Dataset4都是在图3的场景中捕获的视频数据。

一般的，实时处理需要在捕获所有帧时立即处理所有帧，也就是要求视频的处理时间小于每帧0.024秒，即24fps。图4显示了基于不同视频分辨率的每帧处理时间的计算成本分析。如图4(a)所示，目标检测模块的平均处理时间每帧小于0.2秒，这在计算资源有限的无人机中非常高效。即使对于高达1280×720的分辨率，目标检测模块仍然可以近乎实时地实现。

最新的YOLOV3框架是基于GPU Titan X处理的分辨率为320×320的视频，速度达到了20至50fps。但是，尽管机载电脑只是拥有一个四核的ARM CPU，本发明仍然能够在相同的分辨率下满足实时性要求。如图4(b)所示，Dataset1和Dataset2的分辨率为320×320，它提供了基于上述其他两个不同数据集的本发明的详细处理时间。如该图所示，Dataset4上的处理时间明显长于其他三个数据集，这主要是由于Dataset4的视频分辨率高达1280×720。需要注意的是，分辨率越高，噪声点越多，从而增加了特征提取和匹配的时间。因此，在在线实验中，使用下采样方法来减少处理时间。

Claims

1.一种基于无人机的小目标检测方法，其特征在于，包括以下步骤：

步骤1、无人机自主飞行拍摄视频；

2.如权利要求1所述的基于无人机的小目标检测方法，其特征在于，步骤2中像素点x在尺度σ的Hessian矩阵计算公式为：

Hessian矩阵的近似行列式值计算方式为：

3.如权利要求1所述的基于无人机的小目标检测方法，其特征在于，步骤3中的欧氏距离dis_t,t+Δt计算公式为：

4.如权利要求1所述的基于无人机的小目标检测方法，其特征在于，步骤4中使用关键点计算每两帧之间的透视变换矩阵公式如下：

K_t＝H_t,t+ΔtK_t+Δt

5.如权利要求1所述的基于无人机的小目标检测方法，其特征在于，步骤5通过透视变换矩阵将相应帧I_t+Δt投影到参考帧I_t上的具体公式为：

其中，表示帧I_t+Δt经过透视变换后新的像素值。

6.如权利要求1所述的基于无人机的小目标检测方法，其特征在于，步骤6中变换后的图像和参考帧I_t的差值图像ΔI_t的计算公式为：