CN114492522A

CN114492522A - 基于改进堆叠沙漏神经网络的自动调制分类方法

Info

Publication number: CN114492522A
Application number: CN202210078661.0A
Authority: CN
Inventors: 雒瑞森; 熊旋锦; 何永盟; 龚晓峰
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2022-05-13
Anticipated expiration: 2042-01-24
Also published as: CN114492522B

Abstract

本发明公开了一种基于改进堆叠沙漏神经网络的自动调制分类方法，包括：获取调制信号作为原始数据并对原始数据进行归一化处理；采用两种不同形状的卷积核获取调制信号的特征信息，将获取的两种卷积特征在通道维度上进行连接，组成多局部特征信息；接收多局部特征信息并采用一个初始卷积模块来增加特征通道数；采用四个阶段沙漏模块堆叠依次对增加特征通道数的多局部特征信息进行端到端的分离；其中，每个沙漏模块均以瓶颈层为基本单元，在瓶颈层内部进行通道维度上的变化，每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤。本发明在堆叠沙漏神经网络的基线网络基础上进行改进，能显著提升调制识别准确率。

Description

基于改进堆叠沙漏神经网络的自动调制分类方法

技术领域

本发明涉及无线通信信号处理技术，具体是基于改进堆叠沙漏神经网络的自动调制分类方法。

背景技术

在无线通信领域，通信信号的自动调制识别(Automatic ModulationRecognition，AMR)是信号处理和模式识别领域中的一项关键技术，也是一项难点技术。该项技术广泛应用于军用领域和民用领域，有着重要的应用价值和科学意义。例如，在军用领域，侦察人员需要通信信号调制模式识别技术对敌方的无线通信信号进行调制识别，进而实施有针对性干扰和监听，从而实现有效电子对抗；在民用领域，政府及相关部门需要通信调制模式识别技术对无线信号进行查验识别、监管和保障各种无线通信设备的正常工作，从而防止无线频谱被非法使用。

调制识别从20世纪60年代提出开始已经发展了五十多年，主流的方法主要分为三种：基于最大似然理论、基于特征提取、基于深度学习。由于基于最大似然理论方法只能在大信噪比的情况下保证识别率，所以近年来基于特征提取和基于深度学习的方法在自动调制识别领域引起了广泛的关注。近年来，一些在图像、语音领域表现良好的网络正逐渐向调制识别分类领域迁移。然而，目前这些领域的一些基础网络，如卷积神经网络、循环神经网络、长短期记忆人工神经网络及这些网络的一些结合在调制识别领域的识别准确率普遍较低，这影响了调制识别分类技术在无线通信领域的推广应用。

发明内容

本发明的目的在于解决现有应用于无线通信领域通信信号的自动调制识别准确率低的问题，提供了一种基于改进堆叠沙漏神经网络的自动调制分类方法，其在堆叠沙漏神经网络的基线网络基础上进行改进，能显著提升调制识别准确率。

本发明的目的主要通过以下技术方案实现：基于改进堆叠沙漏神经网络的自动调制分类方法，包括：

数据预处理，获取调制信号作为原始数据并对原始数据进行归一化处理；

局部信息捕获，采用两种不同形状的卷积核获取调制信号的特征信息，将获取的两种卷积特征在通道维度上进行连接，组成多局部特征信息；

特征通道数增加，接收多局部特征信息并采用一个初始卷积模块来增加特征通道数；

信号分离，采用四个阶段沙漏模块堆叠依次对增加特征通道数的多局部特征信息进行端到端的分离；其中，每个沙漏模块均以瓶颈层为基本单元，在瓶颈层内部进行通道维度上的变化，每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤。

堆叠沙漏网络的设计初衷是为了解决人体姿态估计中的相关问题，其重复推理结构允许沙漏网络处理身体关节不同尺度的特征，并捕捉它们之间的相关性。堆叠沙漏网络的设计不仅有效地解决了人体姿态估计问题，更重要的是为其他处理领域提供了一种新的思路，许多表现良好的网络都是基于叠加沙漏网络的变体。因此，本发明改进了应用于音乐源分离的堆叠沙漏网络的基线结构，并提出了一种新的网络应用于自动调制识别，称为多局部特征集成和通道注意的堆叠沙漏网络(MCSH)。具体来说，调制信号为同相正交信号，为了充分利用同相(in-phase)和正交(quadrature phase)之间的关系信息，以及同相和正交本身的单独信息，本发明设计了两种卷积核获取调制信号的特征信息。本发明的发明人观察到，在单个沙漏模块中，许多网络结构使用等宽度通道进行重复采样，尽管这样的结构设计似乎是一种拓扑美观且对称的结构，但在分类效果上有时不如主流网络，如ResNet和DenseNet，因为下采样会导致一些调制特征信息丢失。为了减少这种不必要的信息丢失，本发明将瓶颈层与沙漏神经网络相结合，瓶颈层可以改变通道数量以及加深深度，减少了信息的丢失。另外，本发明的发明人注意到在整个网络中有许多特征信道，很明显每个信道上对应的特征信息的重要性是不相等的，一些冗余的特征信息甚至可能引起干扰。因此，本发明进一步增加了通道注意力机制，作为本发明网络的基本组成部分，使整个网络可以根据不同通道之间的重要性进行调节，从而减少了与冗余特征信息的对应，提高了整个沙漏网络的表达能力。由于上述操作的协同作用，本发明所提出的方法较现有技术具有更好的分离效果。

进一步的，所述数据预处理时使数据全部分布在(-1，1)之间。如此，在数据预处理阶段，本发明首先是对原始数据进行了一个归一化处理，使数据全部分布在(-1，1)之间，能消除量纲影响。

进一步的，所述局部信息捕获时采用的两种卷积核的尺寸大小分别为(2*1)和(1*2)。

进一步的，所述初始卷积模块包括三个连续的卷积层和一个池化层，其中，三个连续的卷积层的维数依次为2*2*64、2*2*128和2*2*256，所述池化层的池化核大小为(1*2)。

进一步的，所述在瓶颈层内部进行通道维度上的变化包括：将输入通过两个路径，第一个路径为三个卷积层，三个卷积层分别为1x1、2x2和1x1卷积，前两个卷积将输入在通道维度上减半，最后一个1*1卷积将特征在通道维度上恢复成和输入一样，第二个路径为1*1的卷积，通道维度不改变，最后将两个路径相加；其中，对于瓶颈层中的每个卷积层，添加BN和泄漏relu激活函数以改进梯度传播和参数更新。现有的沙漏模块中每一个模块都是卷积层，本发明的发明人发现沙漏模块从始至终变换的都是特征图的分辨率，无论是下采样连续的将分辨率减半，还是上采样连续的将分辨率提高，都没有改变特征图的通道数，沙漏模块通过在每个分辨率下使用卷积层重复池化和上采样来捕获不同尺度的特征，可以获得更丰富的信息，然而重复池化的过程不可避免会造成信息损失，为了减小这种损失，本发明将瓶颈层作为沙漏模块的基本单元。在瓶颈层的内部进行通道维度上的变化，减少信息损失。瓶颈层能减少网络的参数，增加网络深度，也能使训练更加容易。

进一步的，每个沙漏模块对应一个损耗，四个损耗之和构成损耗函数。

进一步的，所述每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤包括：

在下采样阶段，输入多局部特征信息的特征图被馈送到三个连续的下采样以连续地将特征图的分辨率减半；当进行下采样时，它首先通过一个池化核为(1*2)的最大池和瓶颈层，之后在卷积层之后添加通道注意力机制；整个下采样完成后，得到了分辨率为1/8的特征图；在下采样和上采样的过渡阶段，经过四个瓶颈层，三个瓶颈层作为主要路径，一个瓶颈层作为快捷路径，进行跳跃连接；

在上采样阶段，特征图经过连续的三个上采样，每个上采样的目的是将特征图的分辨率提高一倍，并逐渐恢复细节；在上采样中，采用跳转连接方式，将下采样阶段和上采样阶段同一分辨率的特征图进行连接，捕获特征图不同分辨率下的空间信息。本发明将注意力机制贯穿了整个网络，在下采样阶段和上采样阶段均使用通道注意力机制，即对通道进行过滤，通过注意力来得到优化后的特征，增大有效通道权重，减小无效通道的权重。

综上所述，本发明与现有技术相比具有以下有益效果：

(1)本发明提出的自动调制识别分类方法，在堆叠沙漏神经网络的基线网络基础上进一步扩展和加强，强化后的沙漏网络具有强大的特征提取能力，兼具多尺度和多层次特征，并具有不同通道间的注意力机制，增强后的网络性能优于基线沙漏网络和现有其他网络，能显著提升识别准确率。

(2)本发明采用两种不同形状的卷积核捕获调制信号的特征信息，将提取的两种类型的特征在输出通道进行叠加，组成多局部的特征信息，使输入网络的前置信息更加丰富。

(3)本发明将沙漏网络与瓶颈层相结合，沙漏网络获取多尺度特征，瓶颈层获取多层次特征，使网络深度增加，提升准确率。

(4)本发明将通道注意机制作为沙漏网络的基本组成部分，贯穿网络的上采样和下采样阶段，能提高整个网络的表达能力。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明一个具体实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例：

如图1所示，基于改进堆叠沙漏神经网络的自动调制分类方法，包括：数据预处理，获取调制信号作为原始数据并对原始数据进行归一化处理；局部信息捕获，采用两种不同形状的卷积核获取调制信号的特征信息，将获取的两种卷积特征在通道维度上进行连接，组成多局部特征信息；特征通道数增加，接收多局部特征信息并采用一个初始卷积模块来增加特征通道数；信号分离，采用四个阶段沙漏模块堆叠依次对增加特征通道数的多局部特征信息进行端到端的分离；其中，每个沙漏模块均以瓶颈层为基本单元，在瓶颈层内部进行通道维度上的变化，每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤，每个沙漏模块对应一个损耗，四个损耗之和构成损耗函数。本实施例通过损耗函数进行中间监督，可以保证每一层网络参数的更新，最终提高分离性能。

本实施例通过四级沙漏模块的端到端叠加，将前一级沙漏模块学习到的调制特征信息作为下一级沙漏模块的输入，使后一级沙漏模块获得更丰富的特征信息。一方面，它充分利用了调制信号上下文之间的联系，提高了网络的分离性能。另一方面，叠加沙漏网络使网络更深入，有助于学习更深层次的语义特征。

本实施例的数据预处理时使数据全部分布在(-1，1)之间，以消除量纲影响。本实施例用于对IQ调制信号进行处理，即数据分为两路，分别进行载波调制，两路载波相互正交。I是in-phase,q是quadrature。I路信号与cosw₀t相乘，Q路信号与-sinw₀t相乘，接着两路信号求和，变成iq调制信号S(t)：

S(t)＝Icosw₀t-Qsinw₀t

为了充分挖掘I路信号与Q路信号之间的关系，以及I路与Q路信号各自单独的信息，于是本实施例设计了两种卷积核获取调制信号的特征信息，尺寸大小为(2*1)和(1*2)的卷积核能各自充分挖掘IQ信号的信息，这种不同形状的卷积核的组合与一般方形的卷积核相比，明显获取的信息更加充足。最后本实施例将获取的俩种卷积特征在通道维度上进行连接，组成多局部信息，输出维数为2*128x20的特征图。

四个不同阶段的沙漏模块中，最小特征通道数为256个。为了避免由于特征通道差异过大而导致的性能不稳定，本实施例首先通过一个初始卷积模块来增加特征通道数。初始卷积模块包括三个连续的卷积层和一个池化层，卷积层不会改变输入特征图的分辨率，只会增加特征图的输出通道数。三个连续的卷积层的维数依次为2*2*64、2*2*128和2*2*256，池化层的池化核大小为(1*2)。具体来说，维数为2*128x20的特征图依次经过由2*2*64、2*2*128和2*2*256组成的3个卷积层和一个池化核大小为(1*2)的池化层，最终输入沙漏模型的维数为2x64x256(最后一个乘法因子表示特征通道的个数)。

本实施例在瓶颈层内部进行通道维度上的变化包括：将输入通过两个路径，第一个路径为三个卷积层，三个卷积层分别为1x1、2x2和1x1卷积，前两个卷积将输入在通道维度上减半，最后一个1*1卷积将特征在通道维度上恢复成和输入一样，第二个路径为1*1的卷积，通道维度不改变，最后将两个路径相加；其中，对于瓶颈层中的每个卷积层，添加BN和泄漏relu激活函数以改进梯度传播和参数更新。

本实施例中每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤包括：在下采样阶段，输入多局部特征信息的特征图被馈送到三个连续的下采样以连续地将特征图的分辨率减半；当进行下采样时，它首先通过一个池化核为(1*2)的最大池和瓶颈层，之后在卷积层之后添加通道注意力机制；整个下采样完成后，得到了分辨率为1/8的特征图；在下采样和上采样的过渡阶段，经过四个瓶颈层，三个瓶颈层作为主要路径，一个瓶颈层作为快捷路径，进行跳跃连接；在上采样阶段，特征图经过连续的三个上采样，每个上采样的目的是将特征图的分辨率提高一倍，并逐渐恢复细节；在上采样中，采用跳转连接方式，将下采样阶段和上采样阶段同一分辨率的特征图进行连接，捕获特征图不同分辨率下的空间信息。

目前已有基于标准数据集RML2016.10a进行调制分类实验的方法，在调制分类准确率上有了较大的突破，然而现有这些方法都是在进行了数据扩增的条件下进行的实验。本实施例在RML2016.10a数据集进行了一系列实验：

数据集说明：RadioML2016.10a为用作模型性能验证的基础数据集，该数据集包含11种不同的数字和模拟调制格式，包括BPSK、QPSK、8PSK、QAM16、QAM64、CPFSK、GFSK、4PAM、WBFM、AM-DSB和AM-SSB。数据集在-20dB到18dB范围内以2dB间隔采集样本，每个数据样本的大小为2*128，总共约22万样本。这些样本以1M/s的采样率从通过无线信道的信号中采集，在数据采集过程中，信道环境中会增加许多误差影响，如中心频率偏移、采样率偏移、加性高斯白噪声、多径衰落等，它被广泛用于评估AMR性能。

参数配置：在实验过程中，本实施例将数据集按7:2:1的比例分成训练集、测试集和验证集，即随机选取每种信噪比调制方式下的700个信号作为训练集，其余信号作为测试数据(每个SNR调制模式包含200个信号)和验证数据(每个SNR调制模式包含100个信号)。模型训练过程中的学习率设置为0.001，选择Adam作为优化器，训练历元设置为40，批量大小设置为64。early stop为10，即如果验证集的识别率在10个周期内没有提高，则停止训练。所有实验都是在Tesla K80 GPU下完成的。深度学习模型建立在Keras之上，以TensorFlow为后端。特别的，本实施例在构建框架的过程中，可使用以下方式促进训练过程或提高分类精度：使用批标准化(BATCH NORMALIZATION)使得对权重的尺度不再敏感，减少过拟合；使用LEAKY RELU函数避免了梯度消失引起的训练过程的不稳定性；使用阶跃衰减，每10个时代将学习率降低一半，加快了收敛速度。

本实施例将从实验步骤的角度来评估所提出的框架的性能：

A、瓶颈层的仿真结果

在这个框架中，引入了瓶颈层来代替沙漏网络中的卷积层。没有瓶颈层的实验是在2个沙漏网络的级联基础上进行实验的。实验证明由瓶颈层代替卷积层之后，信噪比在0dB以下，识别性能基本一致。当信噪比大于0dB时，有瓶颈层的框架在精度上有了提升。以0dB-18dB的平均识别率作为指标，无瓶颈层的平均识别率为89.01％，而有瓶颈层的平均识别率为89.69％。其原因在于瓶颈层的内部进行了通道维度上的变化，弥补了沙漏网络在这方面的缺陷，减少了信息损失，且瓶颈层能减少网络参数，增加网络深度，也能使精度提高。

B、数据归一化的仿真结果

在A节中证明了瓶颈层的作用，此节在有瓶颈层的基础上进行数据归一化实验。实验证明在信噪比大于0dB时，识别精度总体有了提高，但在6dB和14dB的信噪比下，识别精度反而下降。相比于A部分的平均识别率89.69％，有了数据归一化后的平均识别率为90.03％。说明数据归一化后，消除了量纲影响的却对识别精度的提升有益。

C、注意力机制的仿真结果

此节在B节的基础上进行注意力机制实验。实验证明加入了注意力机制之后，识别效果有了大幅度提升，从-6dB开始，识别精度便开始上升。加入了注意力机制后的平均识别率为91.04％，比B节的平均识别率高1％左右。其原因是由注意力机制完成的特征重新校准增强了对输出特征映射的辨别能力。τ是注意力机制中的还原比率，这是一个重要参数,本实施例中的τ为4。发明人还对注意力机制位置问题进行了研究，若将注意力机制仅用于下采样阶段，平均识别率为90.8％；若将注意力机制仅用于上采样阶段，平均识别率为90.6％。而贯穿整个网络的注意力机制，效果最好。

D、多局部特征的仿真结果

此节在C节的基础上进行多局部特征的实验。实验证明信噪比在0dB以下时，在多局部特征的条件下，识别精度有部分提高，信噪比在0dB以上时，识别精度也有全面的提高。多局部特征的平均识别率为91.45％，比C节的平均识别率高0.4％左右。多局部特征的加入，使前置信息更加丰富，提高了识别精度。

E、沙漏块叠加的仿真结果

此节在D节的基础上进行沙漏块叠加的实验，前面的实验中都是以两个沙漏块的叠加进行实验，这一节将对比俩个沙漏块叠加和四个沙漏块叠加，实验证明四个沙漏块的叠加整体效果是好于两个沙漏块叠加的。4个沙漏块叠加的平均识别率为91.81％，比D节的平均识别率高0.35％左右。

F、与现有方法的比较

为了评估该方法的性能，将本实施例的方法与CNN2-IQ、Resnet、CLDNN、CNN-CSCD、CNNR-IQFOC及DenseNet六种方法的识别精度进行比较。其中，CNN2-IQ是用俩层CNN来训练的网络；ResNet是基于快捷结构的一种网络，快捷连接相当于只执行等效映射而不生成其他参数；CLDNN是通过CNN和LSTM单元级联的网络；CNN-CSCD是基于循环谱和星座图的一个两分支CNN模型；CNNR-IQFOC提出了一种结合调制信号的同相、正交和四阶统计量的多特征网络；DenseNet是加强了特征传播、强调特征重用的一种网络。在相同的实验条件下，本实施例所和其他技术的比较识别精度结果相比，本实施例在低信噪比阶段，本实施例识别精度与其他方法相似。当信噪比大于-6dB时，识别精度有明显的上升趋势。当信噪比为0dB时，本实施例识别率达到89.6％，CNN2-IQ为68.2％，CNNR-IQFOC为82.1％，CNN-CSCD为78.3％，CLDNN为80.4％，ResNet为81.4％，DenseNet为85.1％。此外，本实施例在18dB处的准确度为93.32％，CNN2-IQ、CNNR-IQFOC、CNN-CSCD、CLDNN、ResNet和Densenet分别是73.1％、87.6％、89.1％、88.4％、85.5％和90.1％。当信噪比在-6dB-0dB范围内时，即使在正信噪比下表现良好的DenseNet模型在此范围内也和其余模型相差不大，然而本实施例所提出的MCSH框架在此范围内的准确率却有了明显的提升。说明本实施例在低信噪比下也具有良好的分类性能。而在0dB-18dB范围内，本实施例准确率也明显优于其它方法，具体如表1所示：

表1不同方法的识别精度

在标准数据集RML2016.10a上的实验结果表明，与现有的分类方法相比，本实施例的分类精度是具有较强竞争力的。

为了进一步分析每种调制类型的识别准确率，发明人将本实施例所采用方法在信噪比为18dB的混淆矩阵与DenseNet模型、沙漏网络模型在信噪比为18dB的混淆矩阵进行比较，三种模型对AM-DSB和WBFM的分类效果都不好，DenseNet在WBFM调制类型下的识别准确率在40％左右，而沙漏网络和本实施例的识别准确率在50％左右，这是因为在RML2016.10a中，AM-DSB和WBFM的区别很困难，因为观察窗口小，信息率低，数据的字词之间经常保持沉默。DenseNet模型和沙漏网络模型对QAM16和QAM64俩种调制类型的识别也不太好，识别准确率都在85％左右，而本实施例所提出的MCSH模型对QAM16的识别准确率在94％，对QAM64的识别准确率在96％左右，这说明了本实施例对这两种调制方式(QAM16和QAM64)之间的混淆得到了很好的解决。

综上所述，本实施例提出的一种适用于调制分类的基于沙漏神经网络的深度学习模型，首先根据IQ调制信号的形式设计了两种不同形状的卷积核捕获特征信息，以获得丰富的前置信息。然后用瓶颈层代替沙漏神经网络的卷积层，获得特征通道维度上的变化，减少信息损失。最后将注意力机制贯穿网络下采样和上采样部分，增强特征有效性。本实施例还将提出的MCSH框架与已有的基于深度信息的研究成果进行了比较研究，识别准确率表明该框架优于现有的基于深度学习的技术，证明了该方案的先进性和有效性，能提高调制识别的准确率。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，包括：

2.根据权利要求1所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，所述数据预处理时使数据全部分布在(-1，1)之间。

3.根据权利要求1所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，所述局部信息捕获时采用的两种卷积核的尺寸大小分别为(2*1)和(1*2)。

4.根据权利要求1所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，所述初始卷积模块包括三个连续的卷积层和一个池化层，其中，三个连续的卷积层的维数依次为2*2*64、2*2*128和2*2*256，所述池化层的池化核大小为(1*2)。

5.根据权利要求1所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，所述在瓶颈层内部进行通道维度上的变化包括：将输入通过两个路径，第一个路径为三个卷积层，三个卷积层分别为1x1、2x2和1x1卷积，前两个卷积将输入在通道维度上减半，最后一个1*1卷积将特征在通道维度上恢复成和输入一样，第二个路径为1*1的卷积，通道维度不改变，最后将两个路径相加；其中，对于瓶颈层中的每个卷积层，添加BN和泄漏relu激活函数以改进梯度传播和参数更新。

6.根据权利要求5所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，每个沙漏模块对应一个损耗，四个损耗之和构成损耗函数。

7.根据权利要求1～6中任意一项所述的基于改进堆叠沙漏神经网络的自动调制分类方法，其特征在于，所述每个沙漏模块在下采样阶段和上采样阶段均采用通道注意力机制对通道进行过滤包括：

在上采样阶段，特征图经过连续的三个上采样，每个上采样的目的是将特征图的分辨率提高一倍，并逐渐恢复细节；在上采样中，采用跳转连接方式，将下采样阶段和上采样阶段同一分辨率的特征图进行连接，捕获特征图不同分辨率下的空间信息。