CN111709385A - 一种低小慢飞行器目标探测系统及其身份识别方法 - Google Patents

Abstract

本发明公开了一种低小慢飞行器目标探测系统及其身份识别方法，其系统包括采集模块、转接模块、上位机模块和结果输出模块；采集模块用于采集监控区域的实时信息；转接模块用于将采集的实时信息进行转接；上位机模块用于对监控区域的实时信息识别；结果输出模块用于将结果进行可视化展现。本发明实现实时目标检测的方法，解决了在复杂城市环境两公里范围的低小慢飞行器目标探测难题；通过构建时空域的空间地图，将目标探测、目标身份识别和实时动态监管过程可视化。同时利用知识图谱对长期的电磁数据进行分析，形式智慧城市电磁态势感知，解决了探测识别过程和电磁态势的可视化难题。

Description

一种低小慢飞行器目标探测系统及其身份识别方法

技术领域

本发明属于无线电磁信号技术领域，具体涉及一种低小慢飞行器目标探测系统及其身份识别方法。

背景技术

“低小慢”目标是指“飞行高度低、体积小和飞行速度慢”的目标飞行器。“低小慢”目标涉及范围较广，主要包括四轴无人机、航空模型和小型固定翼无人机。因其具有雷达特征不明显、红外特性不明显和电磁信号弱等特点，所以难以进行探测识别。随着5G基站的快速部署应用，万物互联和工业物联网时代即将到来。无人机等“低小慢”飞行器大范围的应用部署将是工业物联网的典型案例。“低小慢”目标在近年来得到了突飞猛进的发展，其中以无人机发展尤为迅速。伴随着专业级无人机和消费级无人机的应用推广和需求增加，无人机行业产业链进一步完善，走向行业的成熟期。由于目前在技术层面无法对“低小慢”目标进行有效管控，所以这样的发展是把双刃剑。在智慧城市的背景下，“低小慢”目标对城市中重点目标、重点区域和重大活动产生了重大威胁，尤其是在安防领域，因而推动“低小慢”目标技术层面的管控变得尤为重要。

已有的目标探测技术手段，如雷达探测、红外探测和卫星遥感探测等主要针对高空、高速和大体积的目标飞行器。在复杂的城市环境下，多径效应和噪声淹没等问题更加突出，高楼雷达回波大，目标飞行器雷达回波小，使得雷达探测变得不可行。同时“低小慢”目标飞行高度低、运动速度慢和雷达散射面积小的特点造成了它雷达探测难、声学探测难和光电探测难。

光电探测：系统被动地接收目标辐射或反射的光信号，利用目标和背景在成像特性上的差异来探测目标，不容易受到电磁辐射干扰。因为不主动向外界辐射电磁波，所以不易被发现。但作为“低小慢”目标的动力的电机或发动机，由于体积小效率高，其光电辐射特征低，使得红外探测的发现距离大大缩短。同时由于在城市复杂电磁环境下，红外背景噪声较大，使得探测更加困难。

雷达探测：雷达是探测飞机最成熟的方案，进入雷达扫描范围的飞行物可被雷达探测到，雷达具有探测距离远和探测方位准确的优点，但其系统昂贵，且雷达不会对所有移动目标都做出反应，而是有速度探测阈值，雷达可能对“低小慢”目标无视。同时在复杂城市背景环境下，电磁信号的多径效应、噪声淹没问题尤其突出，使雷达探测的效果大受影响。

声波探测：“低小慢”目标的噪声主要是发动机噪声和飞行过程中的空气扰动噪声，但目前的“低小慢”飞行器飞行动力大部分是电动力，噪声较小，加上飞行速度慢，使得其噪声水平很低，通过专门的设计，在城市环境噪声的干扰下，可以使其噪声几乎达到无法探测的地步。

发明内容

本发明的目的是为了解决低小慢飞行器的目标探测、目标身份识别和处理结果可视化的问题，提出了一种低小慢飞行器目标探测系统及其身份识别方法。

本发明的技术方案是：一种低小慢飞行器目标探测系统包括采集模块、转接模块、上位机模块和结果输出模块；

采集模块用于采集监控区域的实时信息；转接模块用于将采集的实时信息进行转接；上位机模块用于对监控区域的实时信息识别；结果输出模块用于将结果进行可视化展现。

进一步地，采集模块包括定向天线和摄像头，定向天线用于采集监控区域的电磁信号，摄像头用于采集监控区域的实时图像。

进一步地，转接模块包括NI主机和FPGA，NI主机分别与定向天线和上位机模块通信连接，用于将定向天线采集的电磁信号转接传输至上位机模块进行识别，FPGA分别与摄像头和上位机模块通信连接，用于将摄像头采集的实时图像转接至上位机模块进行探测。

本发明的有益效果是：本发明提出了在复杂城市环境下，利用FPGA控制的彩色摄像头和红外摄像头实时采集监控区域图像，同时在上位机利用YOLO v3目标检测模型对图像进行细粒度检测，实现实时目标检测的方法；解决了在复杂城市环境下两公里范围内的低小慢飞行器目标探测难题。

基于以上系统，本发明还提出一种低小慢飞行器目标探测系统的身份识别方法，包括以下步骤：

S1：利用摄像头采集监控区域的实时图像，并利用FPGA将实时图像传输至上位机模块；

S2：利用上位机模块，通过目标检测算法检测监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1；

S3：利用定向天线采集监控区域的电磁信号，并利用NI主机将电磁信号传输至上位机模块；

S4：利用上位机模块提取电磁信号的电磁指纹特征信息；

S5：利用上位机模块将指纹特征信息传输至Inception-Resnet-V4神经网络，进行目标身份分类识别；

S6：利用知识图谱将目标身份分类识别的结果进行可视化，完成低小慢飞行器目标探测系统的识别。

进一步地，步骤S2以下子步骤：

S21：利用上位机模块将实时图像的像素调整为416*416；

S22：为调整像素后的实时图像打标签，并将其训练为Pascal VOC格式；

S23：利用YOLO v3目标检测模型对Pascal VOC格式的实时图像进行检测，判断监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1。

进一步地，步骤S22中，标签包括单轴无人机、四轴无人机、多轴无人机和没有无人机。

进一步地，步骤S23中，对YOLO v3目标检测模型进行训练的方法为：通过定义损失函数，使损失函数的网络参数动态变化，逼近ground trurh，达到损失函数最小化，完成YOLO v3目标检测模型的训练。

进一步地，步骤S4包括以下子步骤：

S41：利用短时傅里叶变换设定信号阈值；

S42：根据信号阈值，对电磁信号进行有效提取，并将其转换为二维信号；

S43：利用高阶累积量分析提取转换为二维信号后的电磁信号的电磁指纹特征信息。

本发明的有益效果是：

(1)本发明提出了利用短时傅里叶变换和高阶累积量分析对目标飞行器的电磁信号预处理的方法，同时提出了利用Inception-Resnet-V4神经网络算法对预处理数据进行电磁指纹信号分类识别的方法，解决了飞行器目标身份识别难题。

(2)本发明提出了利用知识图谱实现检测结果可视化和形成电磁态势的方法。通过构建时空域的空间地图，采用RDF框架，将目标探测、目标身份识别和实时动态监管过程可视化。同时利用知识图谱对长期的电磁数据进行分析，形式智慧城市电磁态势感知，解决了探测识别过程和电磁态势的可视化难题。

附图说明

图1为低小慢飞行器目标探测系统的结构图；

图2为目标探测系统的识别方法的流程图；

图中，1、采集模块；2、转接模块；3、上位机模块；4、结果输出模块；5、定向天线；6、摄像头；7、NI主机；8、FPGA。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

如图1所示，本发明提供了一种低小慢飞行器目标探测系统，包括采集模块1、转接模块2、上位机模块3和结果输出模块4；

采集模块1用于采集监控区域的实时信息；转接模块2用于将采集的实时信息进行转接；上位机模块3用于对监控区域的实时信息识别；结果输出模块4用于将结果进行可视化展现。

在本发明实施例中，如图1所示，采集模块1包括定向天线5和摄像头6，定向天线5用于采集监控区域的电磁信号，摄像头6用于采集监控区域的实时图像。

在本发明实施例中，如图1所示，转接模块2包括NI主机7和FPGA8，NI主机7分别与定向天线5和上位机模块3通信连接，用于将定向天线5采集的电磁信号转接传输至上位机模块3进行识别，FPGA8分别与摄像头6和上位机模块3通信连接，用于将摄像头6采集的实时图像转接至上位机模块3进行探测。

下面对本发明的几个模块进行具体说明。

一、采集模块具体功能：

1.配备采集摄像头，用于对监控区域进行实时拍摄，便于后续对低小慢目标飞行器进行目标探测；在摄像头采集方面，根据是否有在夜间探测识别的需求，可以使用普通彩色摄像头或红外摄像头，本发明在夜间也可完成对低小慢目标飞行器的探测识别。

2.配置定向天线，用于收集监控区域的电磁信号，便于后续对低小慢目标飞行器进行电磁指纹识别；因无人机的控制信号通常使用100kHz到2MHz带宽进行通信，应确保定向天线可以采集到的信号带宽满足要求。

二、转接模块具体功能：

1.FPGA分别与摄像头和上位机连接，将摄像头采集的视频数据转接，在以太网中通过LWIP协议栈交由上位机进行探测；

2.NI主机分别与定向天线和上位机连接，通过USRP收集电磁信号，进行处理后交由上位机进行识别。

三、上位机模块具体功能：

1.对FPGA上传的视频数据，通过基于Darknet的YOLO v3神经网络进行处理，完成对监控区域低小慢目标的探测；

2.将探测内容和识别内容进行多源信息融合，基于知识图谱对探测识别信息进行综合处理；因YOLO v3神经网络检测视频图像速度快、实时性强、准确率高，Inception_resnetwork_v4神经网络有良好的准确性和处理速度，所以将其作为主要方法，同时上位机搭建LINUX等开发环境以便后期机器学习的添加和算法更新；

3.对NI主机上传的电磁信号进行预处理，分为短时傅里叶变换、Hilbert-Huang变换和高阶累积量分析三步，之后传输至Inception_resnetwork_v4神经网络，完成对监控区域低小慢目标的识别。

四、结果输出模块具体功能：

将上位机基于知识图谱处理的可视化结果进行展现，便于使用者实时处理突发情况。知识图谱，是首先建立低小慢飞行器目标实体关系库，然后进行元图分割，实现多实体目标关联聚类。利用有向概率图模型贝叶斯网络模型，挖掘目标活动规律。然后利用信息抽取自动化地从半结构化和无结构数据中抽取实体、关系以及低小慢目标实体属性等结构化信息的技术。通过信息抽取，实现了从非结构化和半结构化数据中获取实体、关系以及实体属性信息的目标，然后对其进行清理和整合。知识融合包括两部分内容：实体链接和知识合并。通过信息抽取，可以从原始语料中提取出实体、关系与属性等知识要素.再经过知识融合，可以消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达。以上，原始数据进行了信息抽取、知识融合以及知识加工进行迭代更新，完成知识图谱的构建，实现处理过程及处理结果的可视化。

基于以上系统，本发明还提出一种低小慢飞行器目标探测系统的身份识别方法，如图2所示，包括以下步骤：

S1：利用摄像头采集监控区域的实时图像，并利用FPGA将实时图像传输至上位机模块；

S2：利用上位机模块，通过目标检测算法检测监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1；

S3：利用定向天线采集监控区域的电磁信号，并利用NI主机将电磁信号传输至上位机模块；

S4：利用上位机模块提取电磁信号的电磁指纹特征信息；

S5：利用上位机模块将指纹特征信息传输至Inception-Resnet-V4神经网络，进行目标身份分类识别；

S6：利用知识图谱将目标身份分类识别的结果进行可视化，完成低小慢飞行器目标探测系统的识别。

在本发明实施例中，如图2所示，步骤S2以下子步骤：

S21：利用上位机模块将实时图像的像素调整为416*416；

S22：为调整像素后的实时图像打标签，并将其训练为Pascal VOC格式；

S23：利用YOLO v3目标检测模型对Pascal VOC格式的实时图像进行检测，判断监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1。

在步骤S23中识别出低小慢飞行器目标的具体数量后，告知上位机模块，用于安全预警。

在本发明实施例中，如图2所示，步骤S22中，标签包括单轴无人机、四轴无人机、多轴无人机和没有无人机。

在本发明实施例中，如图2所示，步骤S23中，对YOLO v3目标检测模型进行训练的方法为：通过定义损失函数，使损失函数的网络参数动态变化，逼近ground trurh，达到损失函数最小化，完成YOLO v3目标检测模型的训练。

在本发明实施例中，如图2所示，步骤S4包括以下子步骤：

S41：利用短时傅里叶变换设定信号阈值；

S42：根据信号阈值，对电磁信号进行有效提取，并将其转换为二维信号；

S43：利用高阶累积量分析提取转换为二维信号后的电磁信号的电磁指纹特征信息。

本发明的工作原理及过程为：该城市环境下低小慢目标飞行器探测识别方法以上位机模块的神经网络处理为核心，功能围绕探测与识别两部分展开，借助摄像头和定向天线采集视频图像与电磁信号，对低小慢目标进行探测识别。摄像头和定向天线分别采集视频图像和电磁信号；FPGA和NI主机分别将视频图像和电磁信号转发给上位机；上位机分别通过YOLO v3和Inception_resnetwork_v4神经网络完成探测与识别，并采用知识图谱进行分析，采用RDF框架进行可视化处理；并可视化结果输出，由使用者实时参考。

本发明的有益效果为：

(1)本发明提出了在复杂城市环境下，利用FPGA控制的彩色摄像头和红外摄像头实时采集监控区域图像，同时在上位机利用YOLO v3目标检测模型对图像进行细粒度检测，实现实时目标检测的方法；解决了在复杂城市环境下两公里范围内的低小慢飞行器目标探测难题。

(2)本发明提出了利用短时傅里叶变换和高阶累积量分析对目标飞行器的电磁信号预处理的方法，同时提出了利用Inception-Resnet-V4神经网络算法对预处理数据进行电磁指纹信号分类识别的方法，解决了飞行器目标身份识别难题。

(3)本发明提出了利用知识图谱实现检测结果可视化和形成电磁态势的方法。通过构建时空域的空间地图，采用RDF框架，将目标探测、目标身份识别和实时动态监管过程可视化。同时利用知识图谱对长期的电磁数据进行分析，形式智慧城市电磁态势感知，解决了探测识别过程和电磁态势的可视化难题。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种低小慢飞行器目标探测系统，其特征在于，包括依次通信连接的采集模块(1)、转接模块(2)、上位机模块(3)和结果输出模块(4)；

所述采集模块(1)用于采集监控区域的实时信息；所述转接模块(2)用于将采集的实时信息进行转接；所述上位机模块(3)用于对监控区域的实时信息识别；所述结果输出模块(4)用于将结果进行可视化展现。

2.根据权利要求1所述的低小慢飞行器目标探测系统，其特征在于，所述采集模块(1)包括定向天线(5)和摄像头(6)，所述定向天线(5)用于采集监控区域的电磁信号，所述摄像头(6)用于采集监控区域的实时图像。

3.根据权利要求2所述的低小慢飞行器目标探测系统，其特征在于，所述转接模块(2)包括NI主机(7)和FPGA(8)，所述NI主机(7)分别与定向天线(5)和上位机模块(3)通信连接，用于将定向天线(5)采集的电磁信号转接传输至上位机模块(3)进行识别，所述FPGA(8)分别与摄像头(6)和上位机模块(3)通信连接，用于将摄像头(6)采集的实时图像转接至上位机模块(3)进行探测。

4.一种低小慢飞行器目标探测系统的身份识别方法，其特征在于，包括以下步骤：

S1：利用摄像头采集监控区域的实时图像，并利用FPGA将实时图像传输至上位机模块；

S2：利用上位机模块，通过目标检测算法检测监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1；

S3：利用定向天线采集监控区域的电磁信号，并利用NI主机将电磁信号传输至上位机模块；

S4：利用上位机模块提取电磁信号的电磁指纹特征信息；

S5：利用上位机模块将指纹特征信息传输至Inception-Resnet-V4神经网络，进行目标身份分类识别；

S6：利用知识图谱将目标身份分类识别的结果进行可视化，完成低小慢飞行器目标探测系统的识别。

5.根据权利要求4所述的低小慢飞行器目标探测系统的身份识别方法，其特征在于，所述步骤S2以下子步骤：

S21：利用上位机模块将实时图像的像素调整为416*416；

S22：为调整像素后的实时图像打标签，并将其训练为PascalVOC格式；

S23：利用YOLO v3目标检测模型对Pascal VOC格式的实时图像进行检测，判断监控区域是否有低小慢飞行器目标，若是则识别其具体数量并进入步骤S3，否则返回步骤S1。

6.根据权利要求5所述的低小慢飞行器目标探测系统的身份识别方法，其特征在于，所述步骤S22中，标签包括单轴无人机、四轴无人机、多轴无人机和没有无人机。

7.根据权利要求5所述的低小慢飞行器目标探测系统的身份识别方法，其特征在于，所述步骤S23中，对YOLO v3目标检测模型进行训练的方法为：通过定义损失函数，使损失函数的网络参数动态变化，逼近ground trurh，达到损失函数最小化，完成YOLO v3目标检测模型的训练。

8.根据权利要求4所述的低小慢飞行器目标探测系统的身份识别方法，其特征在于，所述步骤S4包括以下子步骤：

S41：利用短时傅里叶变换设定信号阈值；

S42：根据信号阈值，对电磁信号进行有效提取，并将其转换为二维信号；

S43：利用高阶累积量分析提取转换为二维信号后的电磁信号的电磁指纹特征信息。

Images