CN115081475A - 基于Transformer网络的干扰信号识别方法 - Google Patents

Abstract

本发明提出了一种基于Transformer网络的干扰信号识别方法，主要解决现有方法对干扰信号进行特征提取的过程复杂、难度大且提取不完全的技术问题。方案包括：1)仿真通信信号数据和干扰信号数据，构建单一干扰和复合干扰数据集，并进行划分和标签标注；2)构建局部特征提取模块；3)构建全局特征融合模块；4)构建基于局部特征提取模块和全局特征融合模块的干扰识别网络；5)使用构建的数据集对干扰信号识别网络模型进行训练和验证，得到最终的干扰信号识别网络模型；7)利用模型各对类干扰信号进行准确识别。本发明能够实现对干扰信号全局和局部特征的全面提取，以及时域和频域特征的充分融合，有效提升了干扰信号的识别准确率。

Description

基于Transformer网络的干扰信号识别方法

技术领域

本发明属于无线通信技术领域，进一步涉及电子对抗，具体为一种基于Transformer网络的干扰信号识别方法，可用于在电子对抗中对各种常见干扰信号的类型进行识别。

背景技术

现代信息化电子对抗战争以争夺信息资源为战场目标，因此其首要任务是在确保己方成功收集、运用和控制各种信息的前提下，最大程度地阻碍或避免己方信息被敌方扰乱、压制和截获。这其中作战双方必然会运用到各式各样的电子干扰，对敌方的通信系统产生损坏甚至摧毁，使敌方无法接收到正常或有用的信息从而无法开展行动，贻误战机。

随着通信技术的快速发展，电子对抗中所施加的干扰种类日渐增多，形式也日趋复杂，因此，我们需要采取精准高效的抗干扰措施以应对复杂的战场环境。通信抗干扰技术总体包含三个方面的研究内容：干扰识别、干扰决策和干扰抑制。其中，干扰识别是最终能成功达到抑制干扰目的的重要前提。实际通信对抗环境中的干扰信号复杂多样，一般的干扰抑制方法无法对所有干扰类型都实现有效的抑制，因此需要可靠的干扰识别技术作为干扰抑制的前提。

目前常用的传统干扰识别方法，都需要首先对干扰信号的各种特征进行提取，通过支持向量机、决策树或机器学习的方法进行识别。提取特征的过程复杂、难度较大，且提取到的特征不完全，容易损失大量有用信息从而导致无法精确识别。近年来，深度学习在干扰识别领域的研究工作也得到了一定发展，在文献[Li X,Fu D,Mou W,et al.AnIdentification Method of Navigation Signal Interference Type based onSqueezeNet Model[C].2020IEEE 9th Joint International Information Technologyand Artificial Intelligence Conference(ITAIC).IEEE,2020,9:875-880]中，Li X和FuD等人提出了一种基于SqueezeNet模型的干扰类型识别算法，SqueezeNet网络的基本单元是一种模块化的卷积，称为Fire module，该文献中以Fire module为基础模块进行堆积，辅以最大池化、平均池化和ReLu激活函数构建了一个SqueezeNet卷积网络，输入数据为干扰信号的二维时频图像，对线性扫频干扰、单音干扰、高斯脉冲以及BPSK通信信号进行分类，实验结果表明，在干噪比为0dB时，该算法对于四种信号的识别精度均达到99.5％。在文献[徐国进.典型通信干扰信号识别技术研究[D].成都:电子科技大学,2018]中，徐国进以经典Inception卷积神经网络为基础，将其中的卷积核尺寸和池化尺寸都修改为一维，分别以功率归一化后的I、Q两路信号和I路+Q路+幅度谱共三路信号为网络输入，研究不同输入情况下一维Inception网络对于几种典型干扰的识别性能。实验结果表明以I、Q复基带信号+幅度谱共三路数据为网络输入时的干扰识别率更高。之后又继续研究了当训练集样本的干噪比分布不同时所对应的干扰识别情况，结果表明训练集样本的干噪比分布范围越广，一维Inception网络对于各类干扰的识别率越高。通过对目前在干扰识别领域的研究成果的深入分析，可以发现，尽管深度学习的方法对于干扰信号类型的识别具有普遍的优越性，但是目前此方面的工作一般都基于以卷积计算为基础的CNN网络，使用的也都是简单的经典网络模型，没有从干扰信号本身所具有的通信领域的特征出发考虑对神经网络模型的结构做出改进。

Transformer是一种近年来广受关注的深度神经网络模型，最早应用于自然语言处理领域。Transformer完全摒弃了常见的特征提取算法，而用自注意力机制替代，其能够学习序列中的远程依赖信息，是一种考虑序列全局信息的模型。近几年来，Transformer在各个领域都取得了不错的效果，因此获得了广泛的关注并得到了极大的推广，衍生出了各式各样的变体。但Transformer网络虽然能够直接捕获长距离项目间的远程依赖信息，可对于一个长序列而言，Transformer网络对当前位置与序列中其他任意位置之间的相关性计算标准是一样的，并没有突出相邻位置上的局部相关性对最终网络学习结果的影响，且Transformer网络的相关应用大都为了解决自然语言处理或计算机视觉领域的问题，在通信领域的研究有待进一步开展。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于Transformer网络的干扰信号识别方法，解决现有识别方法提取特征的过程复杂、难度较大，且提取到的特征不完全，易损失大量有用信息从而导致无法精确识别的问题。本发明通过对经典Transformer网络框架中功能模块的结构创新，提供一种端到端的、更轻量级的、涵盖局部与全局信息的、融合时域与频域特征的、识别精度更高的、识别速率更快的干扰信号识别方法。

实现本发明的思路是：首先仿真通信信号数据和干扰信号数据，构建数据集，用于对本方法中的神经网络进行训练、验证和最终的性能测试；之后，以经典Transformer网络为基础框架，首先构建局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention这两个主要功能模块，以两个功能模块为主模块搭建干扰信号识别网络，最终在自己构建的数据集上对网络进行相应的训练、验证和测试，实现对干扰信号的有效识别。

本发明实现上述目的具体步骤如下：

(1)构建单一干扰数据集，包括单一干扰时域数据集、单一干扰幅度谱数据集和单一干扰相位谱数据集：

(1.1)利用MATLAB生成正交相移键控QPSK中频数字调制信号作为基础通信信号；

(1.2)利用MATLAB生成单音干扰、多音干扰、线性扫频干扰、部分频带噪声干扰和噪声调频干扰；在[-10dB,20dB]的干噪比区间内，每种干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到干扰信号；

(1.3)将步骤1.1中生成的基础通信信号与1.2中得到的干扰信号叠加，生成单一干扰时域数据集；

(1.4)将单一干扰时域数据集中的各个样本经过傅里叶变换得到单一干扰幅度谱和单一干扰相位谱数据，与单一干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的单一干扰数据集；

(2)构建复合干扰数据集，包括复合干扰时域数据集、复合干扰幅度谱数据集和复合干扰相位谱数据集：

(2.1)选取步骤1.2中五种干扰样式中的多音干扰、线性扫频干扰和部分频带噪声干扰，两两叠加形成三种复合干扰，同时将这三类干扰全部叠加形成第四种复合干扰样式；在[-10dB,20dB]的干噪比区间内，每种复合干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到复合干扰信号；

(2.2)将步骤1.1中生成的基础通信信号与步骤2.1中得到的复合干扰信号叠加，生成复合干扰时域数据集；

(2.3)将复合干扰时域数据集中的各个样本经过傅里叶变换得到复合干扰幅度谱和复合干扰相位谱数据，与复合干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的复合干扰数据集；

(3)数据集的划分：

将单一干扰数据集和复合干扰数据集中每个干噪比情况下的每n条样本按6:2:2的比例分别划分为训练集、验证集和测试集；

(4)数据集的标签标注：

以每类干扰信号的独热编码向量作为对应的标签对各条样本进行标注；

(5)构建基于Transformer的干扰信号识别网络模型：

(5.1)构建CNN-Transformer局部特征提取模块，用于提取干扰信号的局部相邻特征：

将单一干扰数据集中的时域数据、幅度谱数据和相位谱数据作为局部特征提取模块CNN-Transformer的输入，利用三个相同的卷积层分别对三路干扰信号序列进行扫描，提取相邻采样点之间的局部特征信息；然后，在每一个卷积操作之后进行批规范化和ReLU激活函数处理，最终得到CNN-Transformer局部特征提取模块的三路输出，再分别经过位置编码处理后作为Self-Cross-Attention全局特征融合模块的输入；

(5.2)构建Self-Cross-Attention全局特征融合模块，用于融合干扰信号的时域和频域特征：

(5.2.1)通过自注意力机制提取各自域内的全局特征：

经过CNN-Transformer局部特征提取模块后的干扰信号时域数据f_t经过线性映射构造查询向量Q_t，键向量K_t，值向量V_t，计算得到自注意力分布值f_t1：

首先，将Q_t向量与K_t向量做点乘计算这两者间的相关性，之后将结果除以

d_K为键向量K_t的维度，再将计算结果通过SoftMax归一化处理，得到我们所需要的权重值，最后，将权重值与向量V_t进行点乘并加权求和，得到该点的注意力分布值；对于维度较大的值向量V_t，点积之后的结果也会随之变大，SoftMax函数会因此陷入极小梯度，除以

即是为了避免出现这个问题；同样地，计算干扰信号的幅度谱数据和相位谱数据的自注意力分布值，得到f_a1和f_p1；

(5.2.2)通过交叉注意力机制融合时域和频域的全局特征：

将经过自注意力机制后的时域数据特征矢量序列f_t1经过线性映射后构造查询向量Q_t1，同样地，将幅度谱特征矢量序列f_a1和相位谱特征矢量序列f_p1经过线性映射后分别构造自己的键向量K_a1、K_p1和值向量V_a1、V_p1，之后将Q_t1、K_a1和V_a1进行交叉注意力计算，得到一次交叉融合后的特征向量f_ta，将Q_t1、K_p1和V_p1进行交叉注意力计算得到特征向量f_tp；之后，将f_ta经过线性映射后构造查询向量Q_ta,f_tp经过线性映射后构造键向量K_tp和值向量V_tp，计算交叉注意力分布值，最终得到二次交叉融合后的特征向量f_tap；

(5.3)构建基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络模型：

以经典Transformer模型的编码器结构为基础框架、局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention为基础功能模块、单一干扰数据集中的时域数据、幅度谱数据和相位谱数据为网络输入，构建干扰信号识别网络，具体结构依次为：CNN-Transformer局部特征提取模块->批规范化Batch Normalization->ReLU激活函数->位置编码Positional Embedding->Self-Cross-Attention全局特征融合模块->残差连接->层规范化Layer Normalization->全连接层Feed Forward->残差连接->层规范化->一维反卷积ConvTranspose1d层->线性层Linear->SoftMax归一化；

(6)使用训练集对干扰信号识别网络模型进行训练：

(6.1)将步骤3中划分得到的单一干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤(5)中所构建的干扰信号识别网络模型，使用Adam优化函数迭代更新模型的参数，利用CrossEntropyLoss交叉熵损失函数计算每次迭代的训练误差值，直到损失函数收敛为止，得到在初始参数设置下训练好的干扰识别网络模型；

(6.2)调整干扰识别网络模型的各个参数，将不同参数情况下的模型都进行充分训练至损失函数收敛；

(6.3)将步骤3中划分生成的复合干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤5中所构建的干扰信号识别网络模型中，并在不同参数情况下对模型进行充分训练；

(7)使用验证集对不同参数设置下的干扰信号识别网络模型进行验证，确定最优参数：

分别将单一干扰和复合干扰验证集输入步骤6中在不同参数下训练完成的干扰信号识别网络，判别各个样本的输出结果，以各类干扰的正确判别样本数目与样本总数目的百分比作为评价指标，即识别准确率，比较不同网络参数下对于各类干扰信号的识别准确率，以识别准确率最高时对应的参数作为最优的模型参数，并将最优参数所对应的训练好的模型作为最终的干扰信号识别网络模型；

(8)干扰信号识别：

将单一干扰和复合干扰测试集作为最终干扰信号识别网络模型的输入，得到各类干扰信号的识别准确率。

本发明与现有技术相比，具有以下优点

第一、本发明设计的局部特征提取模块CNN-Transformer，利用了卷积神经网络的局部连接特性提取干扰信号相邻采样点之间的局部特征信息，并在不打破Transformer网络基本框架的前提下实现了与Transformer网络的适配，从而弥补了Transformer网络侧重于学习序列中远程依赖信息而忽略相邻位置信息的不足，实现了对于干扰信号局部与全局特征的全面提取；

第二、本发明设计的全局特征融合模块Self-Cross-Attention，利用交叉注意力机制充分融合了干扰信号的时域和频域特征，因此能够学习到信号更高维度和更深层次的特征；

第三、由于本发明以局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention为主模块搭建干扰信号识别网络，得益于局部特征提取模块对相邻采样点之间特征的捕捉能力和全局特征融合模块对干扰信号时域和频域特征的融合能力，该干扰信号识别网络能够有效提升对各类干扰信号的识别精度；

第四、由于本发明中的干扰信号识别网络摒弃了经典Transformer模型中的解码器部分，而以编码器为基础框架，大大减少了参数量，使得网络的计算量较少，从而有效地缩短了对干扰信号的识别时间，在实际的对战环境中具有重要意义。

附图说明

图1为本发明方法的实现流程框图；

图2为本发明的CNN-Transformer局部特征提取模块结构示意图；

图3为本发明的Self-Cross-Attention全局特征融合模块结构示意图；

图4为本发明的干扰信号识别网络结构示意图；

图5为本发明方法在单一干扰数据集上对于各类单一干扰的识别率曲线图；

图6为本发明方法在复合干扰数据集上对于各类复合干扰的识别率曲线图；

图7为本发明方法与一维CNN网络对于每类单一干扰的识别准确率对比图；

图8为本发明方法与一维CNN网络对于每类复合干扰的识别准确率对比图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细说明：

实施例一：

参照图1，一种基于Transformer网络的干扰信号识别方法，具体按照如下步骤实现：

步骤1，构建单一干扰数据集，包括单一干扰时域数据集、单一干扰幅度谱数据集和单一干扰相位谱数据集：

(1.1)利用MATLAB生成正交相移键控QPSK中频数字调制信号作为基础通信信号；

(1.2)利用MATLAB生成单音干扰、多音干扰、线性扫频干扰、部分频带噪声干扰和噪声调频干扰；在[-10dB,20dB]的干噪比区间内，每种干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到干扰信号。各类干扰信号的中心频率、周期、带宽等参数均呈随机分布之势；五类干扰在16种干噪比情况下共生成5×16×n条样本数据；

(1.3)将步骤1.1中生成的基础通信信号与1.2中得到的干扰信号叠加，生成单一干扰时域数据集；

(1.4)将单一干扰时域数据集中的各个样本经过傅里叶变换得到单一干扰幅度谱和单一干扰相位谱数据，与单一干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的单一干扰数据集；

步骤2，构建复合干扰数据集，包括复合干扰时域数据集、复合干扰幅度谱数据集和复合干扰相位谱数据集：

(2.1)选取步骤1.2中五种干扰样式中的多音干扰、线性扫频干扰和部分频带噪声干扰，两两叠加形成三种复合干扰，同时将这三类干扰全部叠加形成第四种复合干扰样式；在[-10dB,20dB]的干噪比区间内，每种复合干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到复合干扰信号；

(2.2)将步骤1.1中生成的基础通信信号与步骤2.1中得到的复合干扰信号叠加，生成复合干扰时域数据集；

(2.3)将复合干扰时域数据集中的各个样本经过傅里叶变换得到复合干扰幅度谱和复合干扰相位谱数据，与复合干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的复合干扰数据集；

步骤3，数据集的划分：

将单一干扰数据集和复合干扰数据集中每个干噪比情况下的每n条样本按6:2:2的比例分别划分为训练集、验证集和测试集；

步骤4，数据集的标签标注：

以每类干扰信号的独热编码向量作为对应的标签对各条样本进行标注；

步骤5，构建基于Transformer的干扰信号识别网络模型：

(5.1)构建CNN-Transformer局部特征提取模块，用于提取干扰信号的局部相邻特征：

将单一干扰数据集中的时域数据、幅度谱数据和相位谱数据作为局部特征提取模块CNN-Transformer的输入，利用三个相同的卷积层分别对三路干扰信号序列进行扫描，提取相邻采样点之间的局部特征信息；然后，在每一个卷积操作之后进行批规范化和ReLU激活函数处理，最终得到CNN-Transformer局部特征提取模块的三路输出，再分别经过位置编码处理后作为Self-Cross-Attention全局特征融合模块的输入；

CNN-Transformer局部特征提取模块中卷积层的具体参数如下：

一维卷积的输入通道数设为1，一维卷积的输出通道数即卷积核的数目设置为128，卷积核大小设置为1×3，滑动步长大小设置为1，进入一维卷积之前的输入矩阵大小为(64,1,1024)，其中64为批尺寸大小Batch Size，1024为每一条数据样本的采样点数即样本长度；以128个1×3大小的卷积核在每条一维数据的1024个采样点上进行扫描，提取相邻采样点之间的局部特征，最终每相邻3个点提取出128维度的局部特征信息，因此一维卷积模块的输出矩阵大小为(64,128,1024)；将一维卷积的输出作为位置编码的输入，给序列加载上位置信息之后，作为Self-Cross-Attention全局特征融合模块的输入；

(5.2)构建Self-Cross-Attention全局特征融合模块，用于融合干扰信号的时域和频域特征：

(5.2.1)通过自注意力机制提取各自域内的全局特征：

经过CNN-Transformer局部特征提取模块后的干扰信号时域数据f_t经过线性映射构造查询向量Q_t，键向量K_t，值向量V_t，计算得到自注意力分布值f_t1：

首先，将Q_t向量与K_t向量做点乘计算这两者间的相关性，之后将结果除以

d_K为键向量K_t的维度，再将计算结果通过SoftMax归一化处理，得到我们所需要的权重值，最后，将权重值与向量V_t进行点乘并加权求和，得到该点的注意力分布值；对于维度较大的值向量V_t，点积之后的结果也会随之变大，SoftMax函数会因此陷入极小梯度，除以

即是为了避免出现这个问题；同样地，计算干扰信号的幅度谱数据和相位谱数据的自注意力分布值，得到f_a1和f_p1；

(5.2.2)通过交叉注意力机制融合时域和频域的全局特征：

将经过自注意力机制后的时域数据特征矢量序列f_t1经过线性映射后构造查询向量Q_t1，同样地，将幅度谱特征矢量序列f_a1和相位谱特征矢量序列f_p1经过线性映射后分别构造自己的键向量K_a1、K_p1和值向量V_a1、V_p1，之后将Q_t1、K_a1和V_a1进行交叉注意力计算，得到一次交叉融合后的特征向量f_ta，将Q_t1、K_p1和V_p1进行交叉注意力计算得到特征向量f_tp；之后，将f_ta经过线性映射后构造查询向量Q_ta,f_tp经过线性映射后构造键向量K_tp和值向量V_tp，计算交叉注意力分布值，最终得到二次交叉融合后的特征向量f_tap；

(5.3)构建基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络模型：

以经典Transformer模型的编码器结构为基础框架、局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention为基础功能模块、单一干扰数据集中的时域数据、幅度谱数据和相位谱数据为网络输入，构建干扰信号识别网络，具体结构依次为：CNN-Transformer局部特征提取模块->批规范化Batch Normalization->ReLU激活函数->位置编码Positional Embedding->Self-Cross-Attention全局特征融合模块->残差连接->层规范化Layer Normalization->全连接Feed Forward层->残差连接->层规范化->一维反卷积ConvTranspose1d层->线性层Linear->SoftMax归一化；

所构建的基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络中，每一个子层之间都通过残差模块连接；最后的反卷积层的输入通道和输出通道参数设置与CNN-Transformer模块中一维卷积的设置相反，即输入通道数为128、输出通道数为1，卷积核大小与步进长度则保持不变，分别为1×3和1；之后，再经过一个线性层，得到维度为待识别干扰信号种类个数的输出结果，再经过SoftMax对数值进行归一化处理后，判断数值大小，最终得到对于干扰信号种类的识别结果；

步骤6，使用训练集对干扰信号识别网络模型进行训练：

(6.1)将步骤3中划分得到的单一干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤(5)中所构建的干扰信号识别网络模型，使用Adam优化函数迭代更新模型的参数，利用CrossEntropyLoss交叉熵损失函数计算每次迭代的训练误差值，直到损失函数收敛为止，得到在初始参数设置下训练好的干扰识别网络模型；

(6.2)调整干扰识别网络模型的各个参数，将不同参数情况下的模型都进行充分训练至损失函数收敛；

(6.3)将步骤3中划分生成的复合干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤5中所构建的干扰信号识别网络模型中，并在不同参数情况下对模型进行充分训练；

步骤7，使用验证集对不同参数设置下的干扰信号识别网络模型进行验证，确定最优参数：

分别将单一干扰和复合干扰验证集输入步骤6中在不同参数下训练完成的干扰信号识别网络，判别各个样本的输出结果，以各类干扰的正确判别样本数目与样本总数目的百分比作为评价指标，即识别准确率，比较不同网络参数下对于各类干扰信号的识别准确率，以识别准确率最高时对应的参数作为最优的模型参数，并将最优参数所对应的训练好的模型作为最终的干扰信号识别网络模型；

步骤8，干扰信号识别：

将单一干扰和复合干扰测试集作为最终干扰信号识别网络模型的输入，得到各类干扰信号的识别准确率。

实施例二：

参照图1，本实施例的整体实现步骤同实施例一，对其中参数给定具体设置进一步描述本发明的具体实现过程：

步骤A：构建单一干扰数据集，包括时域数据集、幅度谱数据集和相位谱数据集：

(a.1)利用MATLAB生成正交相移键控QPSK中频数字调制信号，其参数设置如下：载波频率为2MHz，采样频率为8MHz，成型滤波的滚降系数为0.8，采样点个数为1024；

(a.2)利用MATLAB生成五种常见的干扰信号，分别为单音干扰、多音干扰、线性扫频干扰、部分频带噪声干扰和噪声调频干扰，并与一定功率的高斯白噪声叠加，在[-10dB,20dB]的干噪比区间内，每种干扰每间隔2dB生成1000条样本数据，每条样本在时域上有1024个采样点，所仿真的各个干扰信号的中心频率、周期、带宽等参数都呈随机分布之势，具体地，各类干扰信号的主要仿真参数如表1所示：

表1干扰信号仿真参数表

(a.3)将步骤(a.1)中仿真生成的QPSK信号与(a.2)中仿真生成的不同干噪比情况下的干扰信号叠加，生成单一干扰时域数据集；

(a.4)将(a.3)中生成的单一干扰时域数据集中的各条样本经过傅里叶变换得到幅度谱和相位谱数据，与时域数据一起，共同构成了本发明中网络训练、验证和测试所需的单一干扰数据集；

步骤B：构建复合干扰数据集，同样包括时域数据集、幅度谱数据集和相位谱数据集：

(b.1)选取(a.2)中仿真生成的五种干扰样式中的多音干扰、线性扫频干扰和部分频带噪声干扰，两两叠加形成三种复合干扰，外加将这三类干扰全部叠加形成第四种复合干扰样式，同样地，与一定功率的高斯白噪声叠加，在[-10dB,20dB]的干噪比区间内，每种复合干扰每间隔2dB生成1000条样本数据，每条样本在时域上有1024个采样点，与(a.1)中仿真生成的QPSK信号叠加，生成复合干扰时域数据集；

(b.2)将(b.1)中生成的复合干扰时域数据集中的各条样本经过傅里叶变换得到幅度谱和相位谱数据，与时域数据一起，共同构成了本发明中网络训练、验证和测试所需的复合干扰数据集；

步骤C：数据集的划分：

将步骤A和步骤B中构建的单一干扰和复合干扰数据集中每个干噪比情况下的每1000条样本按6:2:2的比例划分为训练集、验证集和测试集；

步骤D：数据集的标签标注：

以每类干扰信号的独热编码向量作为对应的标签对各条样本进行标注，单一干扰数据集中五种干扰样式所对应的标签分别为[1,0,0,0,0]、[0,1,0,0,0]、[0,0,1,0,0]、[0,0,0,1,0]、[0,0,0,0,1]，复合干扰数据集中四类复合干扰所对应的标签分别为[1,1,0]、[1,0,1]、[0,1,1]、[1,1,1]；

步骤E：构建基于Transformer的干扰信号识别网络模型：

(e.1)构建CNN-Transformer局部特征提取模块，提取干扰信号的局部相邻特征：

构建的局部特征提取模块CNN-Transformer的输入是一维干扰信号，利用一维卷积核对干扰数据序列进行扫描，提取相邻采样点之间的局部特征信息，同时代替经典Transformer模型中的词嵌入模块起到了扩充数据维度的作用，实现了与Transformer网络的适配，一维卷积的输出再经过位置编码模块之后作为Transformer底层编码器的输入，同时，为了避免梯度消散且保证中间层结果的分布一致，在经过卷积操作后进行了批规范化和ReLU激活函数处理，其中，CNN网络中卷积层的具体参数如下：输入通道数设为1，代表输入的一条通信干扰数据样本，对于经典Transformer模型来说，词嵌入的向量维度一般为128或256，是Transformer模型的最优维度大小，因此将一维卷积的输出通道数即卷积核的数目设置为128，便于之后与位置编码模块的融合，其余参数设置如下：卷积核大小设置为1×3，滑动步长大小设置为1，进入一维卷积之前的输入矩阵大小为(64,1,1024)，64为批尺寸大小Batch Size，1024为每一条数据样本的采样点数即样本长度，以128个1×3大小的卷积核在每条一维数据的1024个采样点上进行扫描，提取相邻采样点之间的局部特征，最终每相邻3个点提取出128维度的局部特征信息，因此一维卷积模块的输出矩阵大小为(64,128,1024)，经过一维卷积后实现了对干扰信号局部特征的提取，向量维度也与Transformer编码器达到了适配，将一维卷积的输出作为位置编码的输入，给序列加载上位置信息之后，经过线性变换得到Q、K、V矩阵，计算注意力分布值实现对干扰信号全局信息的提取；

(e.2)构建Self-Cross-Attention全局特征融合模块，融合干扰信号的时域和频域特征：

构建的全局特征融合模块Self-Cross-Attention的输入是分别经过CNN-Transformer局部特征提取模块后的干扰信号的时域数据、幅度谱数据和相位谱数据特征矢量序列f_t，f_a和f_p，在Self-Cross-Attention模块中，f_t，f_a和f_p首先分别经过自注意力机制(Self-Attention)提取各自域内的全局特征信息得到f_t1，f_a1和f_p1，之后将f_t1和f_a1、f_t1和f_p1进行交叉注意力(Cross-Attention)操作得到一次交叉融合后的特征向量f_ta和f_tp，最后将f_ta和f_tp再进行一次交叉注意力操作得到二次交叉融合后的特征向量f_tap，该向量充分融合了干扰信号的时域和频域特征，其具体的步骤包括：

(e.2.1)通过自注意力机制提取各自域内的全局特征：

经过CNN-Transformer局部特征提取模块后的干扰信号的时域数据f_t经过线性映射后构造查询向量Q_t，键向量K_t，值向量V_t，计算得到自注意力分布值f_t1：

首先，将Q_t向量与K_t向量做点乘计算这两者间的相关性，之后将结果除以

d_K为键向量K_t的维度，再将计算结果通过SoftMax归一化处理，得到我们所需要的权重值，最后，将权重值与向量V_t进行点乘并加权求和，得到该点的注意力分数值，对于维度较大的值向量V_t，点积之后的结果也会随之变大，SoftMax函数会因此陷入极小梯度，除以

即是为了避免出现这个问题；同样地，计算干扰信号的幅度谱数据和相位谱数据的自注意力分布值，得到f_a1和f_p1；

(e.2.2)通过交叉注意力机制融合时域和频域的全局特征：

将经过自注意力机制后的时域数据特征矢量序列f_t1经过线性映射后构造查询向量Q_t1，同样地，将幅度谱特征矢量序列f_a1和相位谱特征矢量序列f_p1经过线性映射后分别构造自己的键向量K_a1、K_p1和值向量V_a1、V_p1，之后将Q_t1、K_a1和V_a1进行交叉注意力计算，得到一次交叉融合后的特征向量f_ta，将Q_t1、K_p1和V_p1进行交叉注意力计算得到特征向量f_tp；之后，将f_ta经过线性映射后构造查询向量Q_ta,f_tp经过线性映射后构造键向量K_tp和值向量V_tp，计算交叉注意力分布值，最终得到二次交叉融合后的特征向量f_tap；

(e.3)构建基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络：本发明所构建的干扰信号识别网络以经典Transformer模型的编码器结构为基础框架，以局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention为基础功能模块，以干扰信号的时域数据、幅度谱数据和相位谱数据为网络输入，三个通道的输入数据首先分别经过局部特征提取模块CNN-Transformer提取各自相邻采样点之间的局部特征信息，然后分别进入全局特征融合模块，其中，先各自经过自注意力机制提取域内的全局特征信息，然后经过交叉注意力机制充分融合不同域上的全局特征，实现局部特征和全局特征的全面提取，以及时域特征和频域特征的充分融合；本发明所构建的干扰信号识别网络的具体结构依次为：CNN-Transformer局部特征提取模块->批规范化BatchNormalization->ReLU激活函数->位置编码Positional Embedding->Self-Cross-Attention全局特征融合模块->残差连接->层规范化Layer Normalization->全连接层Feed Forward->残差连接->层规范化->一维反卷积ConvTranspose1d层->线性层Linear->SoftMax归一化，其中，每一个子层之间都通过残差模块连接，以减缓网络退化现象，避免梯度消散问题；最后的反卷积层的输入通道和输出通道参数设置与CNN-Transformer模块中一维卷积的设置相反，即输入通道数为128，输出通道数为1，卷积核大小与步进长度则保持不变，分别为1×3和1；之后，再经过一个线性层，得到维度为待识别干扰信号种类个数的输出结果，再经过SoftMax对数值进行归一化处理后，判断数值大小，最终得到对于干扰信号种类的识别结果；

步骤F：干扰信号识别网络训练：

(f.1)将步骤A中仿真生成的单一干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤E中所构建的基于Transformer的干扰信号识别网络，使用Adam优化函数迭代更新模型的参数，利用CrossEntropyLoss交叉熵损失函数计算每次迭代的训练误差值，直到损失函数收敛为止，得到训练好的干扰识别网络模型；

(f.2)调整模型的各个参数，将不同参数情况下的模型进行充分训练；

(f.3)将步骤B中仿真生成的复合干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤E中所构建的基于Transformer的干扰信号识别网络，并在不同参数情况下对模型进行充分训练；

步骤G：干扰信号识别网络参数验证：

分别将单一干扰和复合干扰验证集输入步骤F中在不同参数下训练完成的干扰信号识别网络，判别各个样本的输出结果，以各类干扰的正确判别样本数目与样本总数目的百分比作为评价指标，称为识别准确率，比较不同网络参数下对于各类干扰信号的识别准确率以确定最优的模型参数，最终验证得到的各个最优网络参数如表2所示：

表2最优网络参数表

参数名称	参数大小
		训练迭代次数	30
训练集容量	48000
		训练批尺寸	64
学习率	0.0001
		损失函数	CrossEntropyLoss
优化函数	Adam函数
		卷积层输出维度	128
编码器层数	6
		多头注意力机制头数	8
Q、K、V向量维度	16

步骤H：干扰信号识别网络测试：

加载步骤G中验证所得的最优网络参数所对应的训练完成的模型，使用步骤A和B中仿真生成的单一干扰和复合干扰测试集作为干扰识别网络的输入，得到各类干扰信号的识别准确率；

步骤I：干扰信号识别网络测试效果对比：

构建一个四层的一维卷积神经网络，在自己所构建的数据集上进行相应的训练、验证和测试，将本发明方法和一维卷积神经网络的测试结果进行对比以证明本发明方法的优越性能，所构建的卷积网络由四个Conv+Pooling模块堆叠而成，激活函数选用ReLU函数，适当缓解梯度消失问题，并且收敛速度快，易于实现，同时也提高了学习效率。Pooling采用最大池化(Max Pooling)方法。具体每一层的各个参数大小如表3所示：

表3CNN网络参数

接着通过一个全连接层，分类总结所学习到的特征，最后通过SoftMax归一化处理后对干扰信号的类型进行判别。

下面结合仿真实验对本发明的效果做进一步的描述

1.实验条件：

本发明的仿真实验的硬件平台为：H3C Uniserver R5300 G5服务器，处理器为Intel Xeon Gold 5218双CPU，主频为2.3GHz，内存为512GB，三张Nvidia GeForce RTX2080Ti显卡，每张显卡具有12GB内存；

本发明的仿真实验的软件平台为：Windows Server 2019操作系统，集成开发平台为Pycharm 2021，使用的深度学习框架为Pytorch。

2.实验内容：

使用自己构建的数据集，分别训练一维CNN网络和本发明的干扰信号识别网络并对各自的识别性能进行测试，比较一维CNN网络和本发明中干扰识别方法的性能差异。

3.评价指标：

判别各个样本的输出结果，以各类干扰的正确判别样本数目与样本总数目的百分比作为评价指标，称为识别准确率。

4.实验结果及分析：

图5为本发明方法在自己构建的单一干扰数据集上在不同干噪比情况下对于每一类单一干扰的识别准确率曲线。从图中可以看出，在干噪比大于-2dB时，五类干扰信号的识别准确率均接近100％，在低干噪比-10dB情况下，对于各类干扰的识别准确率都在70％以上，且各类干扰的识别率曲线随干噪比增大而呈稳步上升的趋势，整体较稳定，没有明显的波动。

图6为本发明方法在自己构建的复合干扰数据集上在不同干噪比情况下对于每一种复合干扰的识别准确率曲线图。从图中可以看出，在干噪比大于0dB时，对于四种复合干扰的识别准确率接近100％，其中，对于三种干扰全部叠加的情况，识别准确率最低，这是由于不同干扰叠加导致的特征冗杂，因此不易从纷杂在一起的各种特征中准确地分辨出干扰信号的正确类别。

图7为本发明方法与一维CNN网络对于五种单一干扰的识别准确率对比图。

图8为本发明方法与一维CNN网络对于四种复合干扰的识别准确率对比图。

从图7和图8中可以看出，在自己构建的单一干扰和复合干扰数据集上，各个干噪比情况下，本发明方法均表现出了比一维CNN网络更高的识别准确率，尤其对于四种复合干扰的识别，本发明方法的优势更加明显，不仅在识别准确率上明显高于一维CNN网络，且整体曲线随干噪比增大而稳步上升，一维CNN网络对于复合干扰的识别率曲线则出现了明显的波动和反复，较不稳定。进一步地，不论是对于单一干扰还是复合干扰的识别，随着干噪比的降低，一维CNN网络的识别准确率降幅明显，远远大于本发明方法所对应的降幅。

上述实验结果证明了本发明所提方法的正确性与有效性。

本发明未详细说明部分属于本领域技术人员公知常识。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理和结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明的思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于Transformer网络的干扰信号识别方法，其特征在于，将Transformer网络应用于信号处理领域，以经典Transformer网络的编码器结构为基础框架，结合干扰信号的特征构建干扰识别网络，并构造单一干扰与复合干扰数据集，用于网络的训练、验证和测试；具体包括如下步骤：

(1)构建单一干扰数据集，包括单一干扰时域数据集、单一干扰幅度谱数据集和单一干扰相位谱数据集：

(1.1)利用MATLAB生成正交相移键控QPSK中频数字调制信号作为基础通信信号；

(1.2)利用MATLAB生成单音干扰、多音干扰、线性扫频干扰、部分频带噪声干扰和噪声调频干扰；在[-10dB,20dB]的干噪比区间内，每种干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到干扰信号；

(1.3)将步骤(1.1)中生成的基础通信信号与(1.2)中得到的干扰信号叠加，生成单一干扰时域数据集；

(1.4)将单一干扰时域数据集中的各个样本经过傅里叶变换得到单一干扰幅度谱和单一干扰相位谱数据，与单一干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的单一干扰数据集；

(2)构建复合干扰数据集，包括复合干扰时域数据集、复合干扰幅度谱数据集和复合干扰相位谱数据集：

(2.1)选取步骤(1.2)中五种干扰样式中的多音干扰、线性扫频干扰和部分频带噪声干扰，两两叠加形成三种复合干扰，同时将这三类干扰全部叠加形成第四种复合干扰样式；在[-10dB,20dB]的干噪比区间内，每种复合干扰每间隔2dB生成n条样本数据，每条样本在时域上有1024个采样点，分别与高斯白噪声叠加得到复合干扰信号；

(2.2)将步骤(1.1)中生成的基础通信信号与步骤(2.1)中得到的复合干扰信号叠加，生成复合干扰时域数据集；

(2.3)将复合干扰时域数据集中的各个样本经过傅里叶变换得到复合干扰幅度谱和复合干扰相位谱数据，与复合干扰时域数据一起，共同构成了本发明中网络训练、验证和测试所需的复合干扰数据集；

(3)数据集的划分：

将单一干扰数据集和复合干扰数据集中每个干噪比情况下的每n条样本按6:2:2的比例分别划分为训练集、验证集和测试集；

(4)数据集的标签标注：

以每类干扰信号的独热编码向量作为对应的标签对各条样本进行标注；

(5)构建基于Transformer的干扰信号识别网络模型：

(5.1)构建CNN-Transformer局部特征提取模块，用于提取干扰信号的局部相邻特征：

将单一干扰数据集中的时域数据、幅度谱数据和相位谱数据作为局部特征提取模块CNN-Transformer的输入，利用三个相同的卷积层分别对三路干扰信号序列进行扫描，提取相邻采样点之间的局部特征信息；然后，在每一个卷积操作之后进行批规范化和ReLU激活函数处理，最终得到CNN-Transformer局部特征提取模块的三路输出，再分别经过位置编码处理后作为Self-Cross-Attention全局特征融合模块的输入；

(5.2)构建Self-Cross-Attention全局特征融合模块，用于融合干扰信号的时域和频域特征：

(5.2.1)通过自注意力机制提取各自域内的全局特征：

经过CNN-Transformer局部特征提取模块后的干扰信号时域数据f_t经过线性映射构造查询向量Q_t，键向量K_t，值向量V_t，计算得到自注意力分布值f_t1：

首先，将Q_t向量与K_t向量做点乘计算这两者间的相关性，之后将结果除以

d_K为键向量K_t的维度，再将计算结果通过SoftMax归一化处理，得到我们所需要的权重值，最后，将权重值与向量V_t进行点乘并加权求和，得到该点的注意力分布值；对于维度较大的值向量V_t，点积之后的结果也会随之变大，SoftMax函数会因此陷入极小梯度，除以

即是为了避免出现这个问题；同样地，计算干扰信号的幅度谱数据和相位谱数据的自注意力分布值，得到f_a1和f_p1；

(5.2.2)通过交叉注意力机制融合时域和频域的全局特征：

将经过自注意力机制后的时域数据特征矢量序列f_t1经过线性映射后构造查询向量Q_t1，同样地，将幅度谱特征矢量序列f_a1和相位谱特征矢量序列f_p1经过线性映射后分别构造自己的键向量K_a1、K_p1和值向量V_a1、V_p1，之后将Q_t1、K_a1和V_a1进行交叉注意力计算，得到一次交叉融合后的特征向量f_ta，将Q_t1、K_p1和V_p1进行交叉注意力计算得到特征向量f_tp；之后，将f_ta经过线性映射后构造查询向量Q_ta,f_tp经过线性映射后构造键向量K_tp和值向量V_tp，计算交叉注意力分布值，最终得到二次交叉融合后的特征向量f_tap；

(5.3)构建基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络模型：

以经典Transformer模型的编码器结构为基础框架、局部特征提取模块CNN-Transformer和全局特征融合模块Self-Cross-Attention为基础功能模块、单一干扰数据集中的时域数据、幅度谱数据和相位谱数据为网络输入，构建干扰信号识别网络，具体结构依次为：CNN-Transformer局部特征提取模块->批规范化Batch Normalization->ReLU激活函数->位置编码Positional Embedding->Self-Cross-Attention全局特征融合模块->残差连接->层规范化Layer Normalization->全连接层Feed Forward->残差连接->层规范化->一维反卷积ConvTranspose1d层->线性层Linear->SoftMax归一化；

(6)使用训练集对干扰信号识别网络模型进行训练：

(6.1)将步骤(3)中划分得到的单一干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤(5)中所构建的干扰信号识别网络模型，使用Adam优化函数迭代更新模型的参数，利用CrossEntropyLoss交叉熵损失函数计算每次迭代的训练误差值，直到损失函数收敛为止，得到在初始参数设置下训练好的干扰识别网络模型；

(6.2)调整干扰识别网络模型的各个参数，将不同参数情况下的模型都进行充分训练至损失函数收敛；

(6.3)将步骤(3)中划分生成的复合干扰时域训练集、幅度谱训练集和相位谱训练集输入步骤(5)中所构建的干扰信号识别网络模型中，并在不同参数情况下对模型进行充分训练；

(7)使用验证集对不同参数设置下的干扰信号识别网络模型进行验证，确定最优参数：

分别将单一干扰和复合干扰验证集输入步骤(6)中在不同参数下训练完成的干扰信号识别网络，判别各个样本的输出结果，以各类干扰的正确判别样本数目与样本总数目的百分比作为评价指标，即识别准确率，比较不同网络参数下对于各类干扰信号的识别准确率，以识别准确率最高时对应的参数作为最优的模型参数，并将最优参数所对应的训练好的模型作为最终的干扰信号识别网络模型；

(8)干扰信号识别：

将单一干扰和复合干扰测试集作为最终干扰信号识别网络模型的输入，得到各类干扰信号的识别准确率。

2.根据权利要求1所述的方法，其特征在于：步骤(1.1)中利用MATLAB生成正交相移键控QPSK中频数字调制信号，其参数设置如下：载波频率为2MHz，采样频率为8MHz，成型滤波的滚降系数为0.8，采样点个数为1024。

3.根据权利要求1所述的方法，其特征在于：步骤(1.2)中利用MATLAB生成单音干扰、多音干扰、线性扫频干扰、部分频带噪声干扰和噪声调频干扰，各类干扰信号的中心频率、周期、带宽等参数均呈随机分布之势；五类干扰在16种干噪比情况下共生成5×16×n条样本数据。

4.根据权利要求1所述的方法，其特征在于：步骤(4)中对各条样本进行标注，标注情况如下：单一干扰数据集中五种干扰样式所对应的标签分别为[1,0,0,0,0]、[0,1,0,0,0]、[0,0,1,0,0]、[0,0,0,1,0]、[0,0,0,0,1]；复合干扰数据集中四类复合干扰所对应的标签分别为[1,1,0]、[1,0,1]、[0,1,1]、[1,1,1]。

5.根据权利要求1所述的方法，其特征在于：步骤(5.1)中CNN-Transformer局部特征提取模块中卷积层的具体参数如下：

一维卷积的输入通道数设为1，一维卷积的输出通道数即卷积核的数目设置为128，卷积核大小设置为1×3，滑动步长大小设置为1，进入一维卷积之前的输入矩阵大小为(64,1,1024)，其中64为批尺寸大小Batch Size，1024为每一条数据样本的采样点数即样本长度；以128个1×3大小的卷积核在每条一维数据的1024个采样点上进行扫描，提取相邻采样点之间的局部特征，最终每相邻3个点提取出128维度的局部特征信息，因此一维卷积模块的输出矩阵大小为(64,128,1024)；将一维卷积的输出作为位置编码的输入，给序列加载上位置信息之后，作为Self-Cross-Attention全局特征融合模块的输入。

6.根据权利要求书1所述的方法，其特征在于：步骤(5.3)中所构建的基于CNN-Transformer和Self-Cross-Attention模块的干扰信号识别网络中，每一个子层之间都通过残差模块连接；最后的反卷积层的输入通道和输出通道参数设置与CNN-Transformer模块中一维卷积的设置相反，即输入通道数为128、输出通道数为1，卷积核大小与步进长度则保持不变，分别为1×3和1；之后，再经过一个线性层，得到维度为待识别干扰信号种类个数的输出结果，再经过SoftMax对数值进行归一化处理后，判断数值大小，最终得到对于干扰信号种类的识别结果。

Images