CN112686921B - 一种基于轨迹特征的多干扰无人机检测跟踪方法 - Google Patents

Abstract

本发明涉及无人机监测领域，具体是一种基于轨迹特征的多干扰无人机检测跟踪方法，包括如下步骤：步骤一、帧差法获取图像视频帧中的运动目标；步骤二、连续帧运动目标的位置信息保存，保存同一类的运动目标的位置信息；步骤三、轨迹拟合及无人机的目标轨迹筛选；步骤四、KCF跟踪算法的初始化；步骤五、启动KCF跟踪算法，当KCF跟踪算法跟踪的结果框距离无人机的目标轨迹的距离小于第一阈值，输出该跟踪结果，否则，进入步骤一重新启动帧差法检测运动目标；实现了无人机离摄像机距离较远时也具有良好的检查跟踪效果，对于环境中多目标也具有良好的抗干扰效果。

Description

一种基于轨迹特征的多干扰无人机检测跟踪方法

技术领域

本发明涉及无人机监测领域，具体是指一种基于轨迹特征的多干扰无人机检测跟踪方法。

背景技术

伴随科学技术的发展与进步，无人机技术的应用已经遍及各行各业，无人机技术广泛应用于国家生态环境保护、矿产资源勘测、海洋环境监测、农作物长势监测与灌溉、航拍摄影、公共安全、国防事业等领域，具有广阔的市场应用需求，无人机结构简单、使用成本低、易操作，使得它具有特殊环境下完成一些人为不易完成的任务的功能，如突发事件的应急和预警、消防搜救、危险勘探等，然而微型无人机技术的发展推动人类社会快速进步的同时，却也给我们社会安全带来了不稳定因素，甚至于对军事安全都会产生各种隐患和挑战，由于无人机的使用者越来越多，其中难免有些使用者缺乏安全意识和法律责任，再加上相关的监督部门和明文规定都不是很到位，导致无人机“黑飞”、“滥飞”的事件接连不断，如果仅仅依靠政府部门的监管和相关法律的规定是完全不能够杜绝这些“黑飞”、“滥飞”事件的发生。

无人机作为典型的低小慢目标，其飞行高度低、外观形状小、飞行速度多变等特点，使得其不容易被检测发现，视频检测作为最有效的检测方法之一，其具有特征丰富、鲁棒性好、可行性强等优点，但同时也存在一定的局限性：光学摄像头获取的视频图像其清晰度易受自然环境的影响，比如大雾天气、雾霾天气、多尘、雨雪天气等；当无人机飞行高度较低时，获取的图像中有复杂的背景影响，如光照的变换、空中树枝的晃动、建筑物的遮挡等其他运动目标的干扰；当无人机与光学摄像机距离较远时，视频中无人机所包含的像素十分有限，所获取的图像模糊不清，特征不明显；当无人机飞行速度较快时，光学摄像头所获取的视频图像中可能存在运动模糊的状况；无人机数据集的获取，目前并没有MNIST、Imagenet、COCO、PASCAL VOC像这样公开的无人机数据集，且无人机种类繁多，大小形状不一，收集所有型号和大小的无人机作为训练数据集来训练，显然工作量很庞大，比较难以实现。

发明内容

基于以上问题，本发明提供了一种基于轨迹特征的多干扰无人机检测跟踪方法，实现了无人机离摄像机距离较远时也具有良好的检查跟踪效果，对于环境中多目标也具有良好的抗干扰效果。

为解决以上技术问题，本发明采用的技术方案如下：

一种基于轨迹特征的多干扰无人机检测跟踪方法，包括如下步骤：

步骤一、帧差法获取图像视频帧中的运动目标；

步骤二、连续帧运动目标的位置信息保存，保存同一类的运动目标的位置信息；

步骤三、轨迹拟合及无人机的目标轨迹筛选；

步骤四、KCF跟踪算法的初始化；

步骤五、启动KCF跟踪算法，当KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹的距离小于第一阈值，输出该跟踪结果；否则，进入步骤一重新启动帧差法检测运动目标。

进一步，所述步骤一具体包括：获取摄像机图像视频帧，进行尺度变换，对尺度变换后的图像按顺序进行预处理、颜色空间转换和帧差操作，对帧差操作的结果图像进行二值化处理，二值化处理后再对目标区域进行形态学操作，最后对形态学操作的结果图像进行轮廓查找获取运动目标的位置信息，得到图像视频帧中所有的运动目标。

进一步，所述步骤二具体包括：通过步骤一获取一帧的运动目标的位置信息后，使用距离最近的原则筛选保存相同类运动目标的位置信息，继续下一帧的检测处理。

进一步，所述步骤三具体包括：当检测到保存的相同类的运动目标的位置信息个数大于第二阈值，则对该类目标的位置信息进行轨迹拟合操作，在得到每个运动目标的运动轨迹后，结合传入的雷达方位角和目标速度信息筛选真正的无人机目标轨迹。

进一步，所述拟合所有该类运动目标的轨迹的最小二乘拟合公式如下：

其中，表示用于轨迹拟合的目标位置信息点个数，离差表示作为对应的拟合直线纵坐标与观察值的差，表示对应的个目标位置信息点拟合成的直线方程式，为总离差平方和最小值。

进一步，所述筛选的无人机的目标轨迹有多个，则使用距离图像中心距离最近原则，筛选保留距离图像中心最近的运动目标的运动轨迹作为无人机的目标轨迹。

进一步，所述步骤四具体包括:步骤三筛选得到无人机的目标轨迹后，筛选最新一帧中前景目标的无人机的位置信息，利用该位置信息初始化KCF跟踪算法。

进一步，所述步骤四具体包括:当KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹直线的距离大于第一阈值，判定跟踪丢失，重复步骤一～步骤五，重新对无人机进行检测。

与现有技术相比，本发明的有益效果是：本发明包括无人机目标检测和无人机跟踪两部分，首先根据帧差法提取视频帧中的运动目标位置信息，在保存了一帧的运动目标位置信息后，后续根据图像上距离最近的原则和方向相同原则将同一类的目标保存起来，再保存够一定帧数之后，将保存的满足一定数目的目标位置信息拟合直线，根据获取到的雷达信息筛选满足条件的目标轨迹直线，如果筛选后满足条件的直线大于一个，则选择距离图像中心最近的直线作为最终筛选的无人机目标轨迹，使用无人机目标检测即帧差和轨迹筛选的结果作为KCF跟踪算法初始化的初始框，启动KCF跟踪算法，在KCF跟踪算法输出框的基础上增加判断跟踪框的和拟合直线的距离判断，当跟踪框的和拟合直线的距离大于一定值时，即可认为KCF无人机跟踪丢失，重新启动帧差和轨迹拟合算法检测无人机目标，经过整体系统中的大量测试，本申请的算法在无人机的检测具有检测跟踪稳定，整体算法耗时在40ms以内，具有很强的实时性，可广泛应用于实际的光电系统中。

附图说明

图1为本实施例的流程图；

图2为第一次帧差法获取的结果图；

图3为第二次帧差法获取的结果图；

图4为第三次帧差法获取的结果图；

图5为第四次帧差法获取的结果图；

图6为第五次帧差法获取的结果图；

图7为前五帧运动目标的位置信息图；

图8为前五帧运动目标位置拟合的轨迹图；

图9为筛选的无人机的目标轨迹；

图10为KCF跟踪算法的结果框位于轨迹带的结果图；

图11为KCF跟踪算法的结果框位于轨迹带的另一结果图；

图12为步骤五输出的结果图；

图13为存在干扰时的输出结果图；

图14为远距离无人机的步骤五输出结果图。

具体实施方式

下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。

如图1所示，一种基于轨迹特征的多干扰无人机检测跟踪方法，包括如下步骤：

步骤一、帧差法获取图像视频帧中的运动目标；

获取摄像机的图像视频帧,首先进行尺度变换，目的是减少整个算法的耗时，为算法的实时性做基础准备，尺度变换后的图像按顺序进行预处理、颜色空间转换和帧差操作，对帧差操作的结果图像进行二值化处理，二值化处理后再对目标区域进行形态学操作，以便消除周围噪点的干扰和进行前景图空洞的填充，最后对对形态学操作的结果图像进行轮廓查找获取运动目标的位置信息，得到图像视频帧中所有的运动目标。

步骤二、连续帧运动目标的位置信息保存，保存相同类的运动目标的位置信息；

通过步骤一获取一帧的运动目标的位置信息后，使用距离最近的原则筛选保存相同类运动目标的位置信息，继续下一帧的检测处理，本实施例以保存5帧的运动目标的位置信息为例，如图2-图6所示，为连续检测处理的运动目标的位置信息，使用距离最近原则和方向相同原则筛选保存属于相同类的运动目标的位置信息，形成如图7所示的位置信息图。

步骤三、轨迹拟合及无人机的目标轨迹筛选；

当检测到保存的同一类的运动目标的位置信息个数小于第二阈值(该第二阈值为人为预设的一个定值)，则丢弃该类运动目标的位置信息，当检测到保存的同一类的运动目标的位置信息个数大于第二阈值，则拟合所有该类运动目标的轨迹形成如图8所示的一条直线，其中，拟合所有该类运动目标的轨迹的最小二乘拟合公式如下：

其中，N表示用于轨迹拟合的目标位置信息点个数，离差ri表示作为xi对应的拟合直线纵坐标y与观察值yi的差，f(x_i；α₁,α,......,α_n)表示对应的N个目标位置信息点拟合成的直线方程式，min为总离差平方和最小值；

得到每个运动目标的运动轨迹的直线后，结合传入的雷达方位角和速度信息筛选无人机的目标轨迹，若筛选的无人机的目标轨迹有多个，则使用距离图像中心距离最近原则，其中，假设直线方程为Ax+By+C＝0，图像中心坐标为(x₀,y₀)，图像的中心到运动目标的轨迹的直线的距离公式为：

通过上述公式，可计算得到图像中心和不同目标轨迹的距离，如图9所示，筛选距离值最小的一条目标轨迹作为最终的无人机的目标轨迹。

步骤四、KCF跟踪算法的初始化；

步骤三筛选得到无人机的目标轨迹后，筛选最新一帧中前景目标的无人机的位置信息，利用该位置信息初始化KCF跟踪算法。

步骤五、启动KCF跟踪算法，输出该跟踪结果；

利用KCF跟踪算法跟踪确认的目标无人机，判断KCF跟踪算法的结果框是否在无人机的目标轨迹上，如图10所示，无人机的目标轨迹形成轨迹带f，其中，a表示无人机的目标轨迹，b表示KCF跟踪算法的结果框位置，当b落在轨迹带f之外即KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹直线的距离大于第一阈值，判定跟踪丢失，重复步骤一～步骤五，重新对无人机进行检测，如图11所示，当b落在轨迹带f之内即KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹的距离小于第一阈值，判定跟踪成功，同时输出该跟踪结果。

如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (8)

1.一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，包括如下步骤：

步骤一、帧差法获取图像视频帧中的运动目标；

步骤二、连续帧运动目标的位置信息保存，保存同一类的运动目标的位置信息；

步骤三、轨迹拟合及无人机的目标轨迹筛选；

步骤四、KCF跟踪算法的初始化；

步骤五、启动KCF跟踪算法，当KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹直线的距离小于第一阈值，输出该跟踪结果；否则，进入步骤一重新启动帧差法检测运动目标。

2.根据权利要求1所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，所述步骤一具体包括：获取摄像机图像视频帧，进行尺度变换，对尺度变换后的图像按顺序进行预处理、颜色空间转换和帧差操作，对帧差操作的结果图像进行二值化处理，二值化处理后再对目标区域进行形态学操作，最后对形态学操作的结果图像进行轮廓查找获取运动目标的位置信息，得到图像视频帧中所有的运动目标。

3.根据权利要求1所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，所述步骤二具体包括：通过步骤一获取一帧的运动目标的位置信息后，使用距离最近的原则筛选保存相同类运动目标的位置信息，继续下一帧的检测处理。

4.根据权利要求1所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，所述步骤三具体包括：当检测到保存的相同类的运动目标的位置信息个数大于第二阈值，则对该类目标的位置信息进行轨迹拟合操作，在得到每个运动目标的运动轨迹后，结合传入的雷达方位角和目标速度信息筛选真正的无人机目标轨迹。

5.根据权利要求4所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于：所述拟合所有该类运动目标的轨迹的最小二乘拟合公式如下：

；

其中，表示用于轨迹拟合的目标位置信息点个数，离差/>表示作为/>对应的拟合直线纵坐标/>与观察值/>的差，/>表示对应的/>个目标位置信息点拟合成的直线方程式，/>为总离差平方和最小值。

6.根据权利要求5所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于：所述筛选的无人机的目标轨迹有多个，则使用距离图像中心距离最近原则，筛选保留距离图像中心最近的运动目标的运动轨迹作为无人机的目标轨迹。

7.根据权利要求1所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，所述步骤四具体包括:步骤三筛选得到无人机的目标轨迹后，筛选最新一帧中前景目标的无人机的位置信息，利用该位置信息初始化KCF跟踪算法。

8.根据权利要求1所述的一种基于轨迹特征的多干扰无人机检测跟踪方法，其特征在于，所述步骤五具体包括:当KCF跟踪算法跟踪的结果框距离拟合得到的无人机的目标轨迹直线的距离大于第一阈值，判定跟踪丢失，重复步骤一～步骤五，重新对无人机进行检测。