CN114358056A - 基于深度学习的无人机信号识别方法及系统 - Google Patents

Abstract

本发明属于无人机识别技术领域，特别涉及一种基于深度学习的无人机信号识别方法及系统，包含：利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号数据样本对模型进行训练；将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，利用无人机识别模型来识别该未知无人机型号。本发明能够在脉冲干扰、低信噪比和一定时频混叠的环境下较为精确地识别无人机信号的类型，达到无人机目标预警监控的目的，方案步骤清晰，便于实施。

Description

基于深度学习的无人机信号识别方法及系统

技术领域

本发明属于无人机识别技术领域，特别涉及一种基于深度学习的无人机信号识别方法及系统。

背景技术

近年来，无人机因其小型化、轻量化和智能化的属性，在侦察、预警和辅助打击、以及航拍、飞行表演和农业作业等应用领域，得到了广泛的应用。在已有的无人机信号识别方法中，经典的识别方法需要人工设计特征，较为复杂，并且探测效果受检测阈值选取的影响较大；基于深度学习的方法无需手动设计特征，但目前主要集中在对一般无线信号的探测和识别中，针对无人机特定信号的检测和识别的方法较少。此外，目前的方法对低信噪比下不同信号的检测和识别效果不够理想。

发明内容

为此，本发明提供一种基于深度学习的无人机信号识别方法及系统，把神经网络引入无人机信号识别领域，能够在脉冲干扰、低信噪比和一定时频混叠的环境下较为精确地识别无人机信号的类型，达到无人机目标预警监控的目的，方案步骤清晰，便于实施。

按照本发明所提供的设计方案，一种基于深度学习的无人机信号识别方法，包含如下内容：

利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

作为本发明基于深度学习的无人机信号识别方法，进一步地，利用接收机采集市场上已知的多个类型型号的消费级无人机信号，并利用短时傅里叶变换生成与每个无人机信号对应的时频图。

作为本发明基于深度学习的无人机信号识别方法，进一步地，针对接收机采集到的无人机信号，首先，通过信号下变频、低通滤波、重采样和能量归一化处理，将无人机信号转化为预设采样率下的零中频复信号，然后再对该零中频复信号进行短时傅里叶变换来获取信号的时频图。

作为本发明基于深度学习的无人机信号识别方法，进一步地，针对信号的时频图，对时频图进行尺度变换、归一化、灰度化和信号增强处理来构建信号样本数据库。

作为本发明基于深度学习的无人机信号识别方法，进一步地，尺度变换、归一化、灰度化和信号增强处理的过程表示如下：

其中，Im₀为原始时频图，Im₁为对Im₀进行取对数操作后的图像，γ为缩放因子，Im₂为尺度变换、归一化、灰度化和信号增强处理后的输出图像。

作为本发明基于深度学习的无人机信号识别方法，进一步地，所述无人机识别模型包含：用于对输入的信号数据进行特征提取来获取不同维度特征图的CSPDarknet53网络，用于对不同尺寸特征图进行池化来获取固定维度特征图的SPP网络，及用于针对不同维度特征图和固定维度特征图通过卷积、上下采样及数据参数聚合来进行目标检测识别的路径聚合网络PANet。

作为本发明基于深度学习的无人机信号识别方法，进一步地，无人机识别模型的无人机型号识别在基于YOLOv4神经网络实现过程中，利用时频图在无人机频率和时刻位置上的能量条带及信号带宽、调制方式和能量分布在时频图上视觉差异性对各类无人机信号进行存在性检测和识别，同时通过标示信号位置和类别来实现对未知无人机信号识别。

进一步地，本发明还提供一种基于深度学习的无人机信号识别系统，包含：样本收集模块、模型构建模块和信号识别模块，其中，

样本收集模块，用于利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

模型构建模块，用于构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

信号识别模块，用于将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

本发明的有益效果：

本发明针对脉冲干扰、信号混叠等复杂条件下的无人机目标探测与识别问题，通过对采集到的无人机信号进行预处理，构建时频图数据集，以对用于无人机识别的YOLOv4神经网络识别模型进行训练和测试，利用训练好的模型即可实现对时频图中无人机信号的识别，提高在复杂环境下无人机信号识别性能，为无人机信号的智能识别提供了可靠实用的方案，便于实际场景应用。

附图说明：

图1为实施例中基于深度学习的无人机信号识别方法流程示意；

图2为实施例中无人机识别模型结构示意；

图3为实施例中目前市场上6种消费级无人机信号灰度时频图示意；

图4为实施例中信号时频混叠时识别效果示意；

图5为实施例中脉冲噪声干扰条件下识别效果示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，提供一种基于深度学习的无人机信号识别方法，参见图1所示，包含如下内容：

S101、利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

S102、构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

S103、将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

通过对采集到的无人机信号进行预处理，构建时频图数据集，以对用于无人机识别的YOLOv4神经网络识别模型进行训练和测试，利用训练好的模型即可实现对时频图中无人机信号的识别，提高在复杂环境下无人机信号识别性能，较好的解决了经典基于信号检测的无人机信号识别方法存中面临的受电磁干扰影响较大、人工提取信号特征困难的问题，为无人机信号的智能识别提供了可靠实用的方案，为实现无人机目标预警监控目的提供技术支撑。

作为本发明实施例中基于深度学习的无人机信号识别方法，进一步地，利用接收机采集市场上已知的多个类型型号的消费级无人机信号，并利用短时傅里叶变换生成与每个无人机信号对应的时频图。进一步地，针对接收机采集到的无人机信号，首先，通过信号下变频、低通滤波、重采样和能量归一化处理，将无人机信号转化为预设采样率下的零中频复信号，然后再对该零中频复信号进行短时傅里叶变换来获取信号的时频图。针对信号的时频图，对时频图进行尺度变换、归一化、灰度化和信号增强处理来构建信号样本数据库。

接收机采集无人机信号时，可利用matlab软件，对信号样本集中的样本进行随机时频混叠、α稳定噪声处理。可设置样本信号的宽带采样率为50MHz，信噪比(SNR)范围为-25dB～5dB，信噪比间隔为5dB，FFT点数和STFT窗长均为512，窗函数的步进比例为0.5，生成图像分辨率为512像素×512像素的时频图数据。大疆无人机是目前市场占有量最大的消费级无人机，是无人机监管中的一类重要目标，本案实施例中，可针对现有市场上6种常见的无人机，其信号分别是：dji mavic pro的图传与遥控信号，命名为“Mavic-pic”和“Mavic-ctrl”；dji phantom4 Pro的图传与遥控信号，命名为“P4-pic”和“P4-ctrl”；dji phantom3 Advanced遥控信号，命名为“P3-ctrl”；Futaba 14SG遥控器信号，命名为“Futaba”。利用时频分析作为非平稳信号的分析工具，用来反映信号在时域和频域的分布情况，描述信号频率随时间变化的规律。需要利用Matlab平台对实际接收到的无人机信号进行预处理，再通过信号下变频、低通滤波、重采样和能量归一化，将无人机信号转化为采样率50MHz的零中频复信号，再对该信号进行STFT，完成时频图的生成。其核心思想是：依据频率和时间的组合函数，使用该函数描述信号在不同时间和频率的能量密度。短时傅里叶变换(STFT)是一种比较常用的时频分析方法，计算公式为：

其中：s(t)为信号，γ(t)表示窗函数。经过STFT，不同的无人机遥控与图传信号具有不同的时频特征。

上述的6种市场占有量最大的消费级无人机信号灰度时频图如图3所示。样本数据处理中，将原本跨度很大的像素值通过归一化操作，转换成大小适中的值方便后续的归一化操作，将数值区间搬移至[0,255]范围内，再使用unit8算法得到8位灰度图像，实现对时频图的增强处理。通过归一化、信号搬移、图像增强步骤，最终得到上万张时频图，作为对神经网络模型训练的数据集。

为了使时频谱图像的细节更加突出，首先对时频图进行如下处理：

Im₁＝γlog₁₀(|Im₀|)

其中：Im₀为原始图像，Im₁为对Im₀进行取对数操作后的图像，γ为缩放因子。将运算结果Im₁作为输出，使原本跨度很大的像素值转换成大小适中的值，方便后续的归一化操作,其中缩放因子γ取20。再对像素数据进行归一化操作，将数值区间搬移至[0,255]范围内，然后使用unit8算法得到8位灰度图像Im₂作为输出，实现对图像的增强处理。通过以上一系列的操作步骤，就产生了信噪比为-25～5dB、间隔为1dB、尺寸为512X512的18000张时频图Im₂作为数据集。

作为本发明实施例中基于深度学习的无人机信号识别方法，进一步地，所述无人机识别模型包含：用于对输入的信号数据进行特征提取来获取不同维度特征图的CSPDarknet53网络，用于对不同尺寸特征图进行池化来获取固定维度特征图的SPP网络，及用于针对不同维度特征图和固定维度特征图通过卷积、上下采样及数据参数聚合来进行目标检测识别的路径聚合网络PANet。

实际应用中，神经网络模型可包括三个部分：(1)主干特征提取网络：使用CSPDarkNet53结构，增加5个CSP模块，还降低了网络的计算量；使用Mish激活函数，提高模型准确性和泛化能力的效果。(2)SPP与PANet组合的特征金字塔。SPP模块可以增加感受野，以分离上下文特征，也不会导致网络训练速度下降。PANet对特征进行反复提取，提高对小目标物体的检测效果。(3)YOLOHEAD分类回归层，融入多尺度预测方法，进一步提高网络对小目标物体的检测效果。

参见图2所示，无人机识别模型的无人机型号识别在基于YOLOv4神经网络实现过程中，利用时频图在无人机频率和时刻位置上的能量条带及信号带宽、调制方式和能量分布在时频图上视觉差异性对各类无人机信号进行存在性检测和识别，同时通过标示信号位置和类别来实现对未知无人机信号识别。

构建的18000张时频图数据集对YOLOv4神经网络识别模型进行训练和测试。可首先冻结特征提取层训练50次和解冻训练50次，并统一训练批尺寸，输入训练集和验证集的比例为9:1。该过程使用YOLOv4神经网络模型在COCO数据集上的预训练权重，模型在训练总次数达到90次左右即收敛。本案实施例中，在训练时，可使用Mosaic数据增强算法，该算法对四张样本进行随机缩放、裁剪、翻转、色域变换等，并且随机在四个方向对图片和框进行组合，丰富了目标的背景，使训练好的YOLOv4神经网络具有更好的鲁棒性。

在对信号进行识别之前，可使用准确率(Accuracy)作为模型的信号识别性能评价指标，对训练好的模型进行评估，准确率计算公式可表示为：

其中，

其中，K为检测时交并比(IoU)阈值的取值个数，

为IoU取δ_i时的平均准确度均值(mean Average Precision,mAP)，N为待检测信号类别数，

为此时第j类信号检测结果的平均准确率，

为此时第j类信号的平滑准确率-召回率(Precision-Recall,P-R)曲线。当评估通过之后，此模型用于无人机遥控和图传信号的检测和识别。

在识别过程中，可利用USRP(Universal Software Radio Peripheral，通用软件无线电外设)平台接收无人机遥控和图传信号，设置原始采样率为30M。然后利用MATLAB进行重采样，重采样率为50M，与模型相匹配生成512X512时频图。使用GPU版本的Tensorflow2.2作为深度学习框架，利用Pycharm作为Python IDE进行网络的训练、测试和评估。实验平台的配置为：win10专业版64位、Intel(R)Xeon(R)Gold 5218CPU@2.30GHz、NVIDIA Quadro P4000、2T硬盘容量、64G内存。测试信号样本集样本同样经过随机时频混叠、α稳定噪声处理。测试样本信号的宽带采样率为50MHz，信噪比(SNR)范围为-25dB～5dB，信噪比间隔为5dB，FFT点数和STFT窗长均为512，窗函数的步进比例为0.5，生成的图像分辨率为512像素×512像素。识别效果参见图4和5所示，图中标注出的待识别的六种无人机信号分别是：dji mavic pro的图传与遥控信号，命名为“Mavic-pic”和“Mavic-ctrl”；djiphantom4 Pro的图传与遥控信号，命名为“P4-pic”和“P4-ctrl”；dji phantom 3Advanced遥控信号，命名为“P3-ctrl”；Futaba 14SG遥控器信号，命名为“Futaba”。将未知信号的时频图输入训练好并通过评估的模型，即可实现对无人机目标的检测和识别；在实际的复杂干扰环境下30M带宽内存在很多干扰信号，无人机信号被脉冲信号的能量影响，在时频图上形成被“切割”效果，此时本案方案仍能正确将无人机信号进行区分。

进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习的无人机信号识别系统，包含：样本收集模块、模型构建模块和信号识别模块，其中，

样本收集模块，用于利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

模型构建模块，用于构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

信号识别模块，用于将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。

基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的无人机信号识别方法，其特征在于，包含如下内容：

利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

2.根据权利要求1所述的基于深度学习的无人机信号识别方法，其特征在于，利用接收机采集市场上已知的多个类型型号的消费级无人机信号，并利用短时傅里叶变换生成与每个无人机信号对应的时频图。

3.根据权利要求1或2所述的基于深度学习的无人机信号识别方法，其特征在于，针对接收机采集到的无人机信号，首先，通过信号下变频、低通滤波、重采样和能量归一化处理，将无人机信号转化为预设采样率下的零中频复信号，然后再对该零中频复信号进行短时傅里叶变换来获取信号的时频图。

4.根据权利要求1或2所述的基于深度学习的无人机信号识别方法，其特征在于，针对信号的时频图，对时频图进行尺度变换、归一化、灰度化和信号增强处理来构建信号样本数据库。

5.根据权利要求4所述的基于深度学习的无人机信号识别方法，其特征在于，尺度变换、归一化、灰度化和信号增强处理的过程表示如下：

其中，Im₀为原始时频图，Im₁为对Im₀进行取对数操作后的图像，γ为缩放因子，Im₂为尺度变换、归一化、灰度化和信号增强处理后的输出图像。

6.根据权利要求1所述的基于深度学习的无人机信号识别方法，其特征在于，所述无人机识别模型包含：用于对输入的信号数据进行特征提取来获取不同维度特征图的CSPDarknet53网络，用于对不同尺寸特征图进行池化来获取固定维度特征图的SPP网络，及用于针对不同维度特征图和固定维度特征图通过卷积、上下采样及数据参数聚合来进行目标检测识别的路径聚合网络PANet。

7.根据权利要求1或6所述的基于深度学习的无人机信号识别方法，其特征在于，无人机识别模型的无人机型号识别在基于YOLOv4神经网络实现过程中，利用时频图在无人机频率和时刻位置上的能量条带及信号带宽、调制方式和能量分布在时频图上视觉差异性对各类无人机信号进行存在性检测和识别，同时通过标示信号位置和类别来实现对未知无人机信号识别。

8.一种基于深度学习的无人机信号识别系统，其特征在于，包含：样本收集模块、模型构建模块和信号识别模块，其中，

样本收集模块，用于利用接收机采集多个型号已知的无人机信号，并通过短时傅里叶变换生成与每个无人机信号对应的时频图，利用该多个类型的无人机信号时频图来构建用于模型训练的信号样本数据库；

模型构建模块，用于构建依据时频图能量条带和视觉性差异来进行无人机型号识别的无人机识别模型，并利用信号样本数据库中的信号数据样本对该无人机识别模型进行训练，其中，无人机识别模型的无人机型号识别基于YOLOv4神经网络实现；

信号识别模块，用于将待检测未知无人机信号通过短时傅里叶变换生成对应的时频图，将该时频图作为模型输入，利用训练后的无人机识别模型来识别该未知无人机信号的无人机型号。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～7中任一项所述的方法。

Images