CN115955376A

CN115955376A - 基于卷积神经网络和DAE_Transformer的调制识别方法

Info

Publication number: CN115955376A
Application number: CN202211697814.6A
Authority: CN
Inventors: 庞佳伟; 李大鹏
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2022-12-28
Filing date: 2022-12-28
Publication date: 2023-04-11

Abstract

本发明公开了基于卷积神经网络和DAE_Transformer的调制识别方法，包括：以训练集中的调制信号为输入，其对应的融合注意力特征图为输出，结合Transformer注意力机制，构建去噪自动编码器。以融合注意力特征图为输入，调制信号的识别结果为输出，构建基于Residual Network网络结构的classifier模块。基于去噪自动编码器和classifier模块，以调制信号为输入、调制信号的识别结果为输出，构建基于卷积神经网络和DAE_Transformer的调制识别模型。在公共数据集RadioML2018.01A上对网络进行了测试。实验证明，本发明提出的算法相较于现有的识别方法，有效地提高了调制信号的识别准确率。

Description

基于卷积神经网络和DAE_Transformer的调制识别方法

技术领域

本发明属于信号调制识别技术领域，具体涉及基于卷积神经网络和DAE_Transformer的调制识别方法。

背景技术

信号调制识别一直是深度学习领域的研究热点之一。通信信号调制识别在认知电子战、通信对抗和非协同通信等领域具有重要的研究价值。然而，传统的信号识别方法存在精度低、可扩展性差、依赖专家特征、对现实环境适用性差等缺点。随着深度学习技术得发展，基于深度学习得调制识别研究越来越多。

目前，信号调制识别方法大致可分为极大似然方法、统计模式识别方法和深度学习识别方法。在基于似然比识别方法中，将模量识别问题视为假设检验问题，利用似然函数进行判别，实现信号分类。统计模式识别方法将调制特征与理论特征进行比较，与深度学习方法相比，前两种方法具有对先验概率信息需求大、对信噪比要求高、识别类型少、鲁棒性差等缺点。因此逐步被基于深度学习的方法替代。目前处理调制识别的深度学习方法可分为两类,一种是采用直接识别的方法，利用神经网络提取原始信号的特征，识别其调制类型。另一种间接识别方法是指对原始基带信号进行预处理，然后将其与神经网络结合进行特征提取的方法。

发明内容

本发明的目的在于：提供基于卷积神经网络和DAE_Transformer的调制识别方法，以解决现有技术的问题。

为实现上述目的，本发明提供如下技术方案：基于卷积神经网络和DAE_Transformer的调制识别方法，包括如下步骤：

S1、将样本数据集中的调制信号划分，为训练集、测试集、验证集；

S2、以训练集中的调制信号为输入，其对应的融合注意力特征图为输出，结合Transformer注意力机制，构建去噪自动编码器；

S3、以融合注意力特征图为输入，调制信号的识别结果为输出，构建基于ResidualNetwork网络结构的classifier模块；

S4、基于去噪自动编码器和classifier模块，以调制信号为输入、调制信号的识别结果为输出，构建基于卷积神经网络和DAE_Transformer的调制识别模型。S5、将验证集中的调制信号输入至调制识别模型，验证模型的准确性。

进一步地，前述的步骤S2包括如子步骤：

S2.1、对训练集中的调制信号进行压缩，得到压缩后的向量，然后对该压缩后的向量进行绝对位置编码得到位置编码向量；

S2.2、以位置编码向量为输入，输入至多头注意力模块、FNN模块，获得融合的注意力特征图。

进一步地，前述的所述步骤S2.1中，将调制信号通过残差堆栈、reshape模块，进行压缩。

进一步地，前述的步骤S2.1中，将压缩后的向量经过position Dropout模块进行绝对位置编码得到位置编码向量。

进一步地，前述的步骤S3中，所述classifier模块包括顺序连接的5个残差堆栈、2个Dence层，1个classifier Output层。

进一步地，前述的残差堆栈包括1个基于小尺度卷积核的卷积层、1个残差模块、一个池化层。

进一步地，前述的步骤S2.2中，利用多头注意力模块独立学习h组不同的线性投影来变换查询、键和值；然后，将h组变换后的查询、键和值将并行地进行注意力池化，最后，将这h个注意力池化的输出拼接在一起，通过可学习的线性投影进行变换。

进一步地，前述的步骤S4中，构建基于卷积神经网络和DAE_Transformer的调制识别模型时利用softmax分类器获得调试信号的识别结果。

与现有技术相比，本发明的有益效果如下：

(1)本发明基于卷积神经网络和DAE_Transformer的调制识别模型识别信号调制类型，在模型中嵌入去噪自动编码器模块，实现了增强有效信息的特征及抑制无效特征的目的，提高了调制识别的准确率，具有更好的鲁棒性；

(2)本发明通过加入多头注意力机制，可以够从多个维度提炼特征信息，获取输入数据长时间依赖以及全局信息，保证较高的识别准确率；

(3)本发明通过结合卷积神经网络和DAE_Transformer网络，采用自编码和分类联合训练的框架，从而达到正则化的效果并且提高模型的泛化能力，增加模型的鲁棒性。

附图说明

图1是本发明实施例中基于卷积神经网络和DAE_Transformer的调制识别方法示意图；

图2是本发明实施例提供的基于卷积神经网络和DAE_Transformer的调制识别方法中公共数据集RadioML2018.01A中的部分信号图。

图3是本发明实施例中Residual Unit的系统结构示意图；

图4是本发明实施例中Residual Stack的系统结构示意图；

图5是本发明实施例中多头注意力机制模块的系统结构示意图；

图6是调制识别算法的准确率效果图；

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

如图1所示，基于卷积神经网络和DAE_Transformer的调制识别方法，包括：采集数字调制信号，将采集到的数字调制信号输入基于卷积神经网络和DAE_Transformer的调制识别模型中，输出调制类型。

本发明包括如下步骤:

S1、将样本数据集中的调制信号划分为训练集、测试集、验证集。

公共数据集RadioML2018.01A中的I/Q信号，选择数据集中SNR<＝20dB的数据，共24x21x4096＝2064384(24类调制方式，每类调制从-20dB到20dB，共21中，每类调制、SNR都有4096个样本)。将这些数据随机打散，每个类别随机抽取50％训练(1032192)、25％验证(516096)、25％测试(516096)。

S2、以训练集中的调制信号为输入，其对应的融合注意力特征图为输出，结合Transformer注意力机制，构建去噪自动编码器；具体包括如下步骤S2.1至2.2：S2.1、对训练集中的调制信号进行压缩，得到压缩后的向量，然后对该压缩后的向量进行绝对位置编码得到位置编码向量；

本发明提出了一种基于LSTM去噪自动编码器的新型调制分类框架。该框架旨在利用接收信号的归一化幅度和相位来推断调制类型的后验概率。自动编码器以无监督的方式提取输入数据的低维表示；特别是，他们的目标是在稳定捕获高维数据的显着特征的同时执行降维。自动编码器由两个块组成：编码器和解码器。编码器将输入数据映射到所谓的代码中，而解码器从代码中重构输入。输入数据到输出的映射是在编码维度小于输入维度的约束下进行的。因此，自动编码器能够提取输入数据的基本特征。去噪自动编码器通过向输入数据引入噪声破坏来帮助提取稳健和稳定的特征。在所提出的框架中，检测到的无线电信号首先被部分损坏，然后自动编码器恢复信号，同时学习鲁棒的低维特征并根据这些特征对信号进行分类。该方法利用时域中的归一化幅度和相位数据；该方法基于LSTM去噪自动编码器，所提出的框架结构比现有模型简单得多，并且实现了显着更高的分类准确度。

S3、以融合注意力特征图为输入，调制信号的识别结果为输出，构建基于ResidualNetwork网络结构的classifier模块；所述classifier模块包括顺序连接的5个残差堆栈、2个Dence层，1个classifier Output层。

如图4所示，所述残差堆栈包括1个基于小尺度卷积核的卷积层、1个残差模块、一个池化层。残差模块的结构如图3所示，包括一个激活层和一个线性卷积。

如图5所示，所述改进的加入Transformer注意力机制的去噪自动编码器特征提取如下：

①编码器包含两个子单元，第一个是多头自注意力机制(multi-head self-attentionmechanism)，第二个是全连接的前馈网络，激活函数是ReLU函数。这两个子单元都是用了残差连接(residual connection)和层归一化(layer normalization)。

所以每一个子单元的输出都是LayerNorm(x+Sublayer(x))。为了使模型能够正常拼接，所有层都使用相同的维度d＝512。自注意力层的查询、键、值都来自前一层编码器的输出。编码器中的每个位置都可以注意到编码器上一层中的所有位置。

②将卷积特征图X作为原始输入，为了能有有效提高注意力，将X在空间维度上进行压缩，最大池化层的作用一是对卷积层所提取的信息做更一步降维，减少计算量，二是加强图像特征的不变性，使之增加图像的偏移、旋转等方面的鲁棒性。所以，这一步可以通过池化的操作实现。

③将注意力权重与原特征图X进行特征融合，(即对应元素相乘的特征融合方式)，最终得到融合后的注意力特征图X，然后将X替换X作为下一层的输入卷积特征图。

改进的加入Transformer注意力机制的去噪自动编码器首先通过残差堆栈和reshape模块对输入数据进行压缩，将压缩后的向量采用绝对位置编码得到位置编码向量，再将特征向量送入Multi-Head Attention模块，得到的输出结果通过FFN模块，最终得到融合后的注意力特征图。

基于Residual Network网络结构的classifier，由5个Residual Stack B、2个Dense层、一个CLF Output层组成。调制信号大小为1024×2，将N个信号输入网络结构，经过DAE后，会得到N个512×36的特征图。这些特征图再通过Residual Stack B和最大池化层进行下采样得到N×256×36大小的特征图，再经过4个同样的卷积层和最大池化层的操作，输出N×16×36大小特征图，然后将特征图送入全连接层，输出1×64维的向量。最后通过softmax分类器得到调制信号识别的结果。

S4、基于去噪自动编码器和classifier模块，以调制信号为输入、调制信号的识别结果为输出，构建基于卷积神经网络和DAE_Transformer的调制识别模型。

本实施例通过基于卷积神经网络和DAE_Transformer的调制识别模型识别调制类型，提出在去噪自动编码器中嵌入Transformer的多头注意力机制模块。与使用单独的一个注意力池化不同，我们可以独立学习得到h组不同的线性投影(linear projections)来变换查询、键和值。然后，这h组变换后的查询、键和值将并行地进行注意力池化。最后，将这h个注意力池化的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，以产生最终输出。随着网络层数的加深，目标函数越来越容易陷入局部最优解，同时，随着层数增加，梯度消失问题更加严重，残差网络(Residual Network)是一种非常有效的缓解梯度消失问题网络，极大的提高了可以有效训练的网络的深度,进一步提高了模型的鲁棒性。

S5、将验证集中的调制信号输入至调制识别模型，验证模型的准确性。

如图6所示，在公共数据集RadioML2018.01A上，经过实验验证，基于卷积神经网络和DAE_Transformer的调制识别算法在去噪自动编码器中嵌入Transformer的多头注意力机制模块后，信号调制识别算法准确率有效地提高，对24种调制方式的识别准确率达到了96.14％，各信噪比下调制方式识别准确率如图6所示。在SNR＝0dB(低SNR)时可达到56.12％，在SNR＝10dB(高SNR)时可达到95％。当SNR超过14dB时，准确率约为96％，相较于现有的识别方法，有效地提高了调制信号的识别准确率。

虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims

1.基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，包括如下步骤：

S1、将样本数据集中的调制信号划分为训练集、测试集、验证集；

2.根据权利要求1所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，步骤S2包括如子步骤：

3.根据权利要求2所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，所述步骤S2.1中，将调制信号通过残差堆栈、reshape模块，进行压缩。

4.根据权利要求2所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，步骤S2.1中，将压缩后的向量经过position Dropout模块进行绝对位置编码得到位置编码向量。

5.根据权利要求2所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，步骤S3中，所述classifier模块包括顺序连接的5个残差堆栈、2个Dence层，1个classifier Output层。

6.根据权利要求5所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，所述残差堆栈包括1个基于小尺度卷积核的卷积层、1个残差模块、一个池化层。

7.根据权利要求2所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，步骤S2.2中，利用多头注意力模块独立学习h组不同的线性投影来变换查询、键和值；然后，将h组变换后的查询、键和值将并行地进行注意力池化，最后，将这h个注意力池化的输出拼接在一起，通过可学习的线性投影进行变换。

8.根据权利要求1所述的基于卷积神经网络和DAE_Transformer的调制识别方法，其特征在于，步骤S4中，构建基于卷积神经网络和DAE_Transformer的调制识别模型时利用softmax分类器获得调试信号的识别结果。