CN107016690B - 基于视觉的无人机入侵检测与识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于视觉的无人机入侵检测与识别系统及方法，该系统包括多个摄像机、目标检测模块和目标识别模块；目标识别模块包括运动轨迹判断器、光流特性判断器、变焦控制器和特征匹配器；摄像机部署在需监控区域的周围；目标检测模块检测到运动目标后，通过轨迹判别和光流特性判别对目标进行初步筛选，排除部分非无人机目标；再控制摄像机变焦获得更清晰图像，通过尺度不变特征变换匹配算法对目标进行匹配识别。本发明采用光学探测装置，使用视觉检测和识别算法，能够快速准确地对监控范围内无人机入侵的检测和识别，适用于机场、监狱等各种存在反无人机需求的场所，提高了对入侵无人机的检测和识别能力。

Description

基于视觉的无人机入侵检测与识别系统及方法

技术领域

本发明属于反无人机技术领域、视觉检测和识别技术领域，尤其涉及一种基于视觉的无人机入侵检测与识别系统及方法。

背景技术

近年来，经过大疆、Parrot、3DRobotics等公司不断地努力，具有强大功能的消费级无人机价格不断降低，操作简便性不断提高，无人机正快速地从尖端的军用设备转入大众市场，成为普通民众手中的玩具。然而，随着消费级无人机市场的快速增长，功能越来越先进的新式无人机的不断涌现，无人机广泛应用于在各行各业，带来许多便利的同时，也带来了安全和隐私方面的忧患。与无人机相关的意外事故不断进入人们的视野，使用无人机进行犯罪活动的事情也不再少见。主要包括无人机携带相机偷窥侵犯隐私权，操作人员操作不当危害人身和财产安全，妨碍客机、消防直升机等运作，携带危险物用于犯罪活动，入侵国家机关和军队驻地等区域危害国家安全等等。例如，美国康涅狄格州18岁大学生奥斯汀一霍沃特将无人机改装为“飞行手枪”，可在不同高度自由开火；美国一位业余无人机操作员操作无人机飞入白宫；日本首相府屋顶曾发现一架携带少量放射性物质的无人机；英国有不法分子通过无人机为监狱内的囚犯运送毒品、手机、武器；墨西哥和拉丁美洲的毒贩利用自制无人机贩毒等等。

无人机是典型的低慢小目标，具有低空、超低空飞行，飞行速度慢，有效探测面积较小，不容易被探测发现等特征。当前，各国反无人机技术主要分为3类。一是干扰阻断类，主要通过信号干扰、声波干扰等技术来实现。二是直接摧毁类，包括使用激光武器、用无人机反制无人机等，主要应用于军事领域。三是监测控制类，主要通过劫持无线电控制等方式实现。但是实现上述反无人机技术的前提是对入侵的无人机进行有效的检测、识别、跟踪和定位。视觉探测技术的主要优点包括直观，成本低，速度快，精度高。这些优点决定了视觉探测技术是反无人机系统不可或缺的一部分。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视觉的无人机入侵检测与识别系统及方法，实现对较大范围内入侵无人机的检测识别。

本发明为了实现上述发明目的，采用如下技术方案：一种基于视觉的无人机入侵检测与识别系统，其特征在于：包括多个摄像机、目标检测模块和目标识别模块；所述目标识别模块包括运动轨迹判断器、光流特性判断器、变焦控制器和特征匹配器；所述摄像机部署于需监控区域，对周围一定范围实现完全覆盖；所述目标检测模块接收摄像机拍摄的视频数据，检测监控范围内是否存在运动目标，当检测到运动目标时，将目标运动轨迹以及所在区域信息发送给目标识别模块；所述运动轨迹判断器通过判断运动轨迹的规律性排除部分鸟类目标；所述光流特性判断器通过目标区域的光流特性是否为线性来判断目标是否为鸟类；所述变焦控制器控制摄像机变焦，获得更大更清晰的图像；所述特征匹配器使用尺度不变特征变换匹配算法进行匹配，识别是否为无人机。

进一步地，所述的目标检测模块采用混合高斯建模背景差分法与三帧差分法相结合的运动目标检测方法；首先将混合高斯建模背景差分法获得的二值图像和三帧差分法获得的二值图像进行逻辑与运算，然后进行数学形态学滤波，获得目标轮廓。克服了混合高斯建模背景差分法无法适应光照突变和三帧差分法依赖于物体运动速度的缺点，得到良好的检测效果。

进一步地，该系统还包括监控中心，监控中心实时显示摄像机的监控画面，当接收到目标识别模块发送的无人机区域信息时，在监控画面中对无人机进行加框显示并报警。

一种基于视觉的无人机入侵检测与识别方法，该方法包括以下步骤：

(1)将摄像机部署于需监控区域；

(2)目标检测模块接收摄像机拍摄的视频数据，检测监控范围内是否存在运动目标，当检测到运动目标时，将目标运动轨迹以及所在区域信息发送给目标识别模块；

(3)目标识别模块对运动目标进行识别，判断运动目标是否为无人机，具体包括以下子步骤：

(3.1)无人机的飞行轨迹一般为折线，而鸟类的运动轨迹一般为光滑曲线。运动轨迹判断器根据这一特征排除部分鸟类目标。

(3.2)刚体的光流特性为线性，而非刚体的光流特性为非线性。无人机为刚体，鸟类为非刚体。光流特性判断器使用光流法计算运动目标所在区域的光流特性，并根据光流特性是否为线性进一步排除部分鸟类目标。

(3.3)根据运动目标在图像中的位置，控制摄像机云台转动，使运动目标保持在图像中心并同时逐渐放大摄像机的焦距，从而获得更大更清晰的图像且保证目标不会丢失。

(3.4)特征匹配器通过尺度不变特征变换匹配算法进行识别。

进一步地，所述的尺度不变特征变换匹配算法对运动目标进行识别的具体步骤为：

a.采集大量无人机图片构建数据库。

b.对数据库中每幅图像进行预处理：生成尺度空间，在尺度空间中检测极值点，确定关键点位置及方向，构造描述子，形成特征向量。

c.输入存在运动目标的图像后，对该图像进行与步骤b相同的处理获得各个关键点及其特征向量。

d.取数据库中某幅图像，计算目标图像与数据库图像的各个关键点的特征向量之间的欧几里得距离，用最近点欧氏距离除以次近点欧氏距离，若小于阈值，则两点匹配失败，若大于阈值，则两点匹配成功。根据上述方法对关键点进行匹配，若匹配点对数大于阈值，即表示两幅图像匹配成功。

e.逐幅取数据库中的图像按照步骤d与目标图像进行匹配，直至数据库某幅图像与目标图像匹配成功。

本发明的有益效果是：

1)采用混合高斯建模背景差分法与三帧差分法的结合方法进行目标检测，克服了混合高斯建模背景差分法无法适应光照突变和三帧差分法依赖于物体运动速度的缺点，可以获得良好的检测效果。

2)首先通过检测方法获得目标运动轨迹和所处区域，再通过运动轨迹和光流特性排除部分可疑目标，最后进行特征匹配识别，可以较大的提高识别的速度，提升系统实施性。

3)通过部署多个高性能摄像机，可以实现全方位大范围的监控，防范无人机各个方位的入侵。

4)利用摄像机变焦功能，进一步提升监控范围。

5)利用摄像机日夜转换功能，实现全天候监控。

附图说明

图1为系统实时检测和识别流程图；

图2为混合高斯背景建模与更新流程图；

图3为背景差分法原理图；

图4为三帧差分法原理图；

图5为运动目标检测流程图；

图6为运动目标识别流程图；

图7为尺度不变特征变换匹配算法流程图；

图8为运动目标检测效果图；

图9为尺度不变特征变换匹配算法识别效果图；

图10为监控中心显示画面示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1为系统实时检测和定位流程图。首先摄像机采集视频信息，通过目标检测模块进行实时检测，若未发现运动目标，继续采集视频信息；若发现运动目标，则获取的目标运动轨迹及目标所在区域发送给目标识别模块，由目标识别模块进行识别。若运动目标不是无人机，继续采集视频信息；若目标为无人机，则发出警报。

图2为混合高斯背景建模与更新流程图。首先对每个像素点的K个高斯分布进行初始化，权重取为1/K，取第一帧图像的每个像素的值作为K个混合高斯模型的分布均值，协方差取较大值。在时刻t，对当前帧的每个像素与其对应的混合高斯模型进行匹配检验，若存在匹配的高斯分布，匹配不成功的高斯分布均值、方差不变，匹配成功的高斯分布根据当前像素值更新均值、方差、权值，更新公式为：

μ_i,t＝(1-α)μ_i,t-1+αX_t (1)

ω_i,t＝(1-β)ω_i,t-1+βM_i,t (3)

α＝βρ(X_t|μ_i,t,σ_i,t)i＝1,2,...,K (4)

上式中，α为背景更新率；β为学习率，β一般取较小值，从而减小背景噪声。ρ(X_t|μ_i,t,σ_i,t)为高斯分布概率密度。M_i,t反映了当前像素点与高斯模型匹配情况，若匹配为1，否则为0。

若与所有高斯分布均不匹配，则权重最小的高斯分布被替换，替换后的均值为当前像素值，标准差为较大值，权重公式根据公式(3)更新。其余高斯分布均值、方差不变。

权值更新后进行归一化处理，按权值从大到小排序，取尽可能少且权值和大于T的前B个高斯分布模型作为背景模型，T为阈值，一般可取经验值0.85。

图3为背景差分法原理图，首先输入视频图像，根据附图2说明的混合高斯建模及更新方法获得背景模型，将当前帧图像与背景模型进行差分获得查分图像，从而区分出前景与背景，再对前景进行滤波和增强去噪处理并输出检测结果。

图4为三帧差分法原理图，取连续三帧图像，分别对相邻两针进行差分运算获得两幅差分图像，并对两幅差分图像进行与运算检测到中间帧图像中的运动目标，再对运动目标进行滤波和增强去噪处理并输出检测结果。

图5为运动目标检测流程图，首先输入视频图像，根据附图3说明的混合高斯建模背景差分法获得背景差分前景图，根据附图4说明的三帧差分法获得三帧差分前景图，再将两幅前景图进行逻辑与运算，再对运动目标进行滤波和增强去噪处理并输出检测结果。通过混合高斯建模背景差分法与三帧差分法的结合使用，可以克服混合高斯建模背景差分法无法适应光照突变和三帧差分法依赖于物体运动速度的缺点，得到良好的检测效果。

图6为运动目标识别流程图，首先根据运动目标检测模块输出的运动目标轨迹判断运动目标是否为无人机。若不是，继续等待目标识别模块的输入；若是，则根据运动目标检测模块输出的目标区域计算其光流特性从而判断目标是否为无人机，无人机(刚体)的光流特性为线性，鸟类(非刚体)的光流特性为非线性。若不是，继续等待目标识别模块的输入；若是，变焦控制器控制摄像机变焦，并保持目标区域仍在摄像机覆盖范围内，从而获得更多的特征点。特征匹配器使用尺度不变特征变换匹配算法进行匹配识别。

图7为尺度不变特征变换匹配算法的流程图，首先生成尺度空间，在尺度空间中检测极值点，确定关键点位置及方向，构造描述子，形成特征向量。取图像1中某关键点，计算其与图像2中关键点特征向量的欧氏距离，用最近点欧氏距离除以次近点欧氏距离，若小于阈值，则两点匹配失败，若成功，则两点匹配成功。根据上述方法对关键点进行匹配，若匹配点对数大于阈值，即表示两幅图像匹配成功。

图8为运动目标检测效果图，即通过混合高斯建模背景差分法与三帧差分法的结合检测算法，获得的结果二值图。

图9为尺度不变特征变换匹配算法识别效果图，途中连线表示匹配成功的关键点，当关键点数量超过阈值时，两图匹配成功。

图10为监控中心显示画面示意图，当检测到运动目标且经识别为无人机时，将无人机加框显示并报警。

Claims (5)

1.一种基于视觉的无人机入侵检测与识别系统，其特征在于：包括多个摄像机、目标检测模块和目标识别模块；所述目标识别模块包括运动轨迹判断器、光流特性判断器、变焦控制器和特征匹配器；所述摄像机部署于需监控区域；所述目标检测模块接收摄像机拍摄的视频数据，检测监控范围内是否存在运动目标，当检测到运动目标时，将目标运动轨迹以及所在区域信息发送给目标识别模块；所述运动轨迹判断器通过判断运动轨迹的规律性排除部分鸟类目标；所述光流特性判断器通过目标区域的光流特性是否为线性来判断目标是否为鸟类；所述变焦控制器控制摄像机变焦，获得更大更清晰的图像；所述特征匹配器使用尺度不变特征变换匹配算法进行匹配，识别是否为无人机。

2.根据权利要求1所述的基于视觉的无人机入侵检测与识别系统，其特征在于：所述的目标检测模块采用混合高斯建模背景差分法与三帧差分法相结合的运动目标检测方法；首先将混合高斯建模背景差分法获得的二值图像和三帧差分法获得的二值图像进行逻辑与运算，然后进行数学形态学滤波，获得目标轮廓。

3.根据权利要求1所述的基于视觉的无人机入侵检测与识别系统，其特征在于：该系统还包括监控中心，监控中心实时显示摄像机的监控画面，当接收到目标识别模块发送的无人机区域信息时，在监控画面中对无人机进行加框显示并报警。

4.一种基于视觉的无人机入侵检测与识别方法，其特征在于：该方法包括以下步骤：

(1)将摄像机部署于需监控区域；

(2)目标检测模块接收摄像机拍摄的视频数据，检测监控范围内是否存在运动目标，当检测到运动目标时，将目标运动轨迹以及所在区域信息发送给目标识别模块；

(3)目标识别模块对运动目标进行识别，判断运动目标是否为无人机，具体包括以下子步骤：

(3.1)无人机的飞行轨迹为折线，而鸟类的运动轨迹为光滑曲线；运动轨迹判断器根据这一特征排除部分鸟类目标；

(3.2)刚体的光流特性为线性，而非刚体的光流特性为非线性；无人机为刚体，鸟类为非刚体；光流特性判断器使用光流法计算运动目标所在区域的光流特性，并根据光流特性是否为线性进一步排除部分鸟类目标；

(3.3)根据运动目标在图像中的位置，控制摄像机云台转动，使运动目标保持在图像中心并同时逐渐放大摄像机的焦距，从而获得更大更清晰的图像且保证目标不会丢失；

(3.4)特征匹配器通过尺度不变特征变换匹配算法进行识别。

5.根据权利要求4所述的基于视觉的无人机入侵检测与识别方法，其特征在于：尺度不变特征变换匹配算法对运动目标进行识别的具体步骤为：

a.采集大量无人机图像构建数据库；

b.对数据库中每幅图像进行预处理：生成尺度空间，在尺度空间中检测极值点，确定关键点位置及方向，构造描述子，形成特征向量；

c.输入存在运动目标的图像后，对该图像进行与步骤b相同的处理获得各个关键点及其特征向量；

d.取数据库中某幅图像，计算存在运动目标的图像与数据库图像的各个关键点的特征向量之间的欧氏距离，用最近点欧氏距离除以次近点欧氏距离，若小于第一阈值，则两点匹配失败，若大于第一阈值，则两点匹配成功；根据上述关键点的匹配方法对存在运动目标的图像与数据库图像的所有关键点进行匹配，若匹配点对数大于第二阈值，即表示两幅图像匹配成功；

e.逐幅取数据库中的图像按照步骤d与存在运动目标的图像进行匹配，直至数据库某幅图像与存在运动目标的图像匹配成功。