CN114239749A - 基于残差收缩及双向长短期记忆网络的调制识别方法 - Google Patents

Abstract

本发明公开了一种基于残差收缩及双向长短期记忆网络的调制识别方法，其特征在于，包括如下步骤：1）信号预处理；2）构建基于残差收缩及双向长短期记忆网络训练模型；3）训练网络；4）分类识别。这种方法训练特征参数少、步骤简洁、复杂度低，无需对信号进行复杂的预处理及人工特征提取，省去了人为提取特征的时间成本，适用范围广、抗噪性能好、识别精度高。

Description

基于残差收缩及双向长短期记忆网络的调制识别方法

技术领域

本发明涉及信号调制识别技术，尤其涉及信号的接收、处理、特征提取、深度学习等技术，具体是一种基于残差收缩及双向长短期记忆网络的调制识别方法。

背景技术

通信信号的识别在通信电子对抗、无线电信号管理等领域有着重要的地位和作用，多年来一直是非协作通信领域共同关注的研究课题。目前，信号调制方式识别得到广泛运用，主要民用场景为无线电管理、无线信号监控、认知无线电以及电子侦察、通信对抗等场景。在信号识别领域，国内外科研人员已做了大量工作，经过几十年的发展，逐渐分为两类：基于极大似然的决策论方法和基于特征提取的模式识别方法。基于决策论的识别方法以贝叶斯理论为核心，将识别问题转化为多重假设检验问题，此类方法具有优秀的识别和分选性能，但计算量过大在实际工程应用中非常受限，而基于特征提取的识别方法因其计算复杂度低、工程效率高，在近年来得到了较大发展，并取得了较多成果。但特征的提取大多需要人为对接收信号进行计算及预处理、且特征的适用范围影响着信号识别类型的数量，一些鲁棒性较差的特征提取方法也极易受噪声影响，因此研究更多更有效的调制识别方法具有至关重要的意义。

近年来大数据、人工智能的兴起促使深度学习在调制识别领域有了较大发展，2016年Tim O’Shea等人提出了进行无线电信号分类的卷积神经网络模型并公开了数据集RML2016.10a，该方法无需对信号进行人工特征提取及预处理等流程，直接使用IQ信号对神经网络进行训练并分类，并达到了70％以上的识别率，这篇论文是较早使用无监督学习技术进行调制识别的研究之一，此后许多学者利用该数据集继续研究，提出了许多识别精度更好、更优秀的神经网络模型。

循环神经网络RNN(Recurrent Neural Network，简称RNN)是一种用于处理序列数据的神经网络，而长短期记忆网络LSTM(Long Short-Term Memory，简称LSTM)作为一种特殊的RNN能够更好的处理梯度消失和梯度爆炸问题，比起普通RNN能够在更长的序列中有更好的表现，但LSTM无法编码从后向前的信息，只能单向预测。双向长短期记忆网络BiLSTM(Bi-directional Long Short-Term Memory，简称BiLSTM)可对信息双向预测，将信息的前后输入共同利用，预测更加准确。

深度残差收缩模块DRSM(deep residual shrinkage module，简称DRSM)是残差模块的变体，在残差模块的基础上引入了软阈值化，在含噪信号的分类识别上比传统残差模块有着更好的效果。

发明内容

本发明的目的是针对现有技术的不足，而提供一种基于残差收缩及双向长短期记忆网络的调制识别方法。这种方法训练特征参数少、步骤简洁、复杂度低，无需对信号进行复杂的预处理及人工特征提取，省去了人为提取特征的时间成本，适用范围广、抗噪性能好、识别精度高。

实现本发明目的的技术方案是：

一种基于残差收缩及双向长短期记忆网络的调制识别方法，包括如下步骤：

1)提取公开数据集RML2016.10a中的时域IQ信号，按信噪比和数据集中的11种信号进行划分，每个样本包含128个采样点，初始样本维度为2×128，将维度转换为128×2，转换后数据集大小为220000×128×2，其中70％作为训练集，30％作为测试集，并标注各样本的调制类别标签；

2)构建基于残差收缩及双向长短期记忆网络训练模型：基于残差收缩及双向长短期记忆网络训练模型设有卷积模块、BiLSTM模块、残差收缩模块以及输出模块，各模块构建及参数设置如下：

卷积模块设有一维卷积层Conv1D以及池化层MaxPool1D，Conv1D的卷积核个数为64、卷积核尺寸为8、激活函数为relu；

BiLSTM模块设有两个双向长短期记忆网络BiLSTM，输入序列维度均为50，并连接Dropout层防止过拟合、Dropout率为0.5；

残差收缩模块设有第一卷积层Conv2D、第二卷积层Conv2D，第一卷积层Conv2D和第二卷积层Conv2D的卷积核个数均为50、尺寸为3×3、步长为2，第一卷积层Conv2D和第二卷积层Conv2D的特征传递及处理结构与传统残差网络中的残差块相同，由于样本中存在噪声即与当前分类任务无关的信息，采用软阈值化对卷积后的特征进行过滤，在第二卷积层处构造一个阈值获取子网络，将传统残差模块改进为残差收缩模块，软阈值化如公式(1)所示：

公式(1)中，x表示输入特征，y表示输出特征，α为阈值，软阈值函数将接近于0的特征置为0，实现在滤除噪声相关信息的同时保留了有用的负数特征，软阈值化后残差项输出为f(A^l)，将特征各通道下的数值与各通道对应阈值进行比较得到去噪结果，与残差项f(A^l)相加即可得到最终输出特征；

输出模块设有Batchnormalization层、Activation层、GlobalAveragePooling2D层，最后采用Dense层设置神经元个数为11对应11种调制类型、activation为softmax，采用库函数Model设置输出和输入进行网络建立，Adam为梯度下降优化算法，loss函数为交叉熵损失函数categorical_crossentropy如公式(2)所示；

其中，y为期望输出，a为神经元实际输出；

3)训练网络：对步骤2)构建好的网络模型进行训练，训练步骤如下：

3-1)训练集样本经步骤1)处理后以128×2的形式输入网络，batchsize为64，首先经过卷积模块提取特征并池化后输出维度121×64；

3-2)BiLSTM模块将步骤3-1)提取的特征进行进一步记忆及筛选提取，经过两层BiLSTM网络后得到特征输出维度为60×50；

3-3)由于残差收缩模块采用2D卷积，采用Reshape函数将步骤3-2)的输出维度转换为60×50×1后进入残差收缩模块，软阈值处理使提取的特征鲁棒性更强，提高低信噪比下的识别率，经残差收缩模块处理后得到特征输出维度为60×50×60；

3-4)经过输出模块将3D张量转换为2D张量并由Dense层分为11个输出神经元；

3-5)epochs设置为100，为进一步防止过拟合采用提前中止机制，若迭代次数大于100或连续10次值不下降则训练结束，保存权值数据；

4)采用以上训练好的残差收缩及双向长短期记忆网络模型对数据进行分类识别。

本技术方案采用双层BiLSTM结构与添加软阈值化的残差收缩模块进行结合构造了神经网络模型，只需将IQ数据维度变换后输入网络进行训练，成功实现了对RML2016.10a数据集中11种信号的分类，在公开数据集RML2016.10a实现较高识别率，对比现存使用卷积长短期神经网络的方法有着更加优异的表现。

这种方法训练特征参数少、步骤简洁、复杂度低，无需对信号进行复杂的预处理及人工特征提取，省去了人为提取特征的时间成本，适用范围广、抗噪性能好、识别精度高。

附图说明：

图1为实施例方法的流程示意图；

图2为实施例中数据集IQ信号时域示意图；

图3为实施例中网络结构示意图；

图4为实施例中残差收缩模块(DRSM)结构示意图；

图5为实施例的loss曲线示意图；

图6为实施例的识别分类精度对比示意图；

图7为实施例的混淆矩阵示意图。

具体实施方式

下面结合附图和实施例对本发明内容做进一步的阐述，但不是对本发明的限定。

实施例：

参照图1，一种基于残差收缩及双向长短期记忆网络的调制识别方法，包括如下步骤：

1)提取公开数据集RML2016.10a中的时域IQ信号，按信噪比和数据集中的11种信号进行划分，每个样本包含128个采样点，初始样本维度为2×128，将维度转换为128×2，转换后数据集大小为220000×128×2，其中70％作为训练集，30％作为测试集，并标注各样本的调制类别标签；11种信号的IQ数据样本如图2所示；

2)构建基于残差收缩及双向长短期记忆网络训练模型：如图3所示，基于残差收缩及双向长短期记忆网络训练模型设有卷积模块、BiLSTM模块、残差收缩模块以及输出模块，各模块构建及参数设置如下：

卷积模块设有一维卷积层Conv1D以及池化层MaxPool1D，Conv1D的卷积核个数为64、卷积核尺寸为8、激活函数为relu；

BiLSTM模块设有两个双向长短期记忆网络BiLSTM，输入序列维度均为50，并连接Dropout层防止过拟合、Dropout率为0.5；

如图4所示，残差收缩模块设有第一卷积层Conv2D、第二卷积层Conv2D，第一卷积层Conv2D和第二卷积层Conv2D的卷积核个数均为50、尺寸为3×3、步长为2，第一卷积层Conv2D和第二卷积层Conv2D的特征传递及处理结构与传统残差网络种的残差块相同，由于样本中存在噪声即与当前分类任务无关的信息，因此本例采用软阈值法对卷积后的特征进行过滤达到降噪目的，残差收缩模块的核心是在第二卷积层构造一个获取阈值的子网络，阈值获取子网络将第二卷积层的输出取绝对值、全局均值量化后得到均值参数，随后经过两层全连接层，再通过Sigmoid函数输出一组取值在0到1之间的缩放参数α，将缩放参数α与均值参数β对应项相乘，即可得到一组阈值，再阈值与第二卷积层输出特征进行软阈值化，最终使每个特征通道拥有独立的阈值，软阈值化如公式(1)所示：

公式(1)中，x表示输入特征，y表示输出特征，α为阈值，软阈值函数将接近于0的特征置为0，实现了在滤除噪声相关信息的同时保留了有用的复数特征，软阈值化后残差项输出为f(A^l)，将特征各通道下的数值与各通道对应阈值进行比较得到去噪结果，与残差项f(A^l)相加即可得到最终输出特征；

输出模块设有Batchnormalization层、Activation层、GlobalAveragePooling2D层，最后采用Dense层设置神经元个数为11对应11种调制类型、activation为softmax，采用库函数Model设置输出和输入进行网络建立，Adam为梯度下降优化算法，loss函数为交叉熵损失函数categorical_crossentropy如公式(2)所示；

其中，y为期望输出，a为神经元实际输出；

3)训练网络：如图3所示，对步骤2)构建好的网络模型进行训练，训练步骤如下：

3-1)训练集样本经步骤1)处理后以128×2的形式输入网络，batchsize为64，首先经过卷积模块提取特征并池化后输出维度121×64；

3-2)BiLSTM模块将步骤3-1)提取的特征进行进一步记忆及筛选提取，经过两层BiLSTM网络后得到特征输出维度为60×50；

3-3)由于残差收缩模块采用2D卷积，采用Reshape函数将步骤3-2)的输出维度转换为60×50×1后进入残差收缩模块，软阈值处理使提取的特征鲁棒性更强，提高低信噪比下的识别率，经残差收缩模块处理后得到特征输出维度为60×50×60；

3-4)经过输出模块将3D张量转换为2D张量并由Dense层分为11个输出神经元；

3-5)epochs设置为100，为进一步防止过拟合采用提前中止机制，若迭代次数大于100或连续10次训练集loss值不下降则训练结束，保存权值数据，训练过程中loss变化曲线如图5所示；

4)采用以上训练好的残差收缩及双向长短期记忆网络模型对数据进行分类识别。

如图6所示，本例方法在信噪比为0dB时综合识别率接近90％，并且在大于0dB后稳定在90％以上，与现有技术中只用LSTM网络和CNN-BiLSTM网络进行对比，本例方法有更好的效果，证明了本例方法的有效性，本例方法在数据集RML2016.10a上最高识别率可达92％。

如图7所示，本例方法在信噪比为0dB和18dB时的混淆矩阵图可看出，在大于0dB后除少量信号会有部分误识别，其余信号识别率均接近100％，部分信号存在误识别原因是16QAM与64QAM以及WBFM和AM-DSB这两组信号之间具有很相似的IQ结构。

Claims (1)

1.一种基于残差收缩及双向长短期记忆网络的调制识别方法，其特征在于，包括如下步骤：

1)信号预处理：提取公开数据集RML2016.10a中的时域IQ信号，按信噪比和数据集中的11种信号进行划分，每个样本包含128个采样点，初始样本维度为2×128，将维度转换为128×2，转换后数据集大小为220000×128×2，其中70％作为训练集，30％作为测试集，并标注各样本的调制类别标签；

2)构建基于残差收缩及双向长短期记忆网络训练模型：基于残差收缩及双向长短期记忆网络训练模型设有卷积模块、BiLSTM模块、残差收缩模块以及输出模块，各模块构建及参数设置如下：

卷积模块设有一维卷积层Conv1D以及池化层MaxPool1D，Conv1D的卷积核个数为64、卷积核尺寸为8、激活函数为relu；

BiLSTM模块设有两个双向长短期记忆网络BiLSTM，输入序列维度均为50，并连接Dropout层、Dropout率为0.5；

残差收缩模块设有第一卷积层Conv2D、第二卷积层Conv2D，第一卷积层Conv2D和第二卷积层Conv2D的卷积核个数均为50、尺寸为3×3、步长为2，第一卷积层Conv2D和第二卷积层Conv2D的特征传递及处理结构与传统残差网络种的残差块相同，采用软阈值法对卷积后的特征进行过滤，在第二卷积层处构造一个阈值获取子网络，将传统残差模块改进为残差收缩模块，软阈值化如公式(1)所示：

公式(1)中，x表示输入特征，y表示输出特征，α为阈值，软阈值函数将接近于0的特征置为0，实现在滤除噪声相关信息的同时保留有用的复数特征，软阈值化后残差项输出为f(A^l)，将特征各通道下的数值与各通道对应阈值进行比较得到去噪结果，与残差项f(A^l)相加即可得到最终输出特征；

输出模块设有Batchnormalization层、Activation层、GlobalAveragePooling2D层，最后采用Dense层设置神经元个数为11对应11种调制类型、activation为softmax，采用库函数Model设置输出和输入进行网络建立，Adam为梯度下降优化算法，loss函数为交叉熵损失函数categorical_crossentropy如公式(2)所示；

其中，y为期望输出，a为神经元实际输出；

3)训练网络：对步骤2)构建好的网络模型进行训练，训练步骤如下：

3-1)训练集样本经步骤1)处理后以128×2的形式输入网络，batchsize为64，首先经过卷积模块提取特征并池化后输出维度121×64；

3-2)BiLSTM模块将步骤3-1)提取的特征进行记忆及筛选提取，经过两层BiLSTM网络后得到特征输出维度为60×50；

3-3)采用Reshape函数将步骤3-2)的输出维度转换为60×50×1后进入残差收缩模块，经残差收缩模块处理后得到特征输出维度为60×50×60；

3-4)经过输出模块将3D张量转换为2D张量并由Dense层分为11个输出神经元；

3-5)epochs设置为100，采用提前中止机制，若迭代次数大于100或连续10次训练集loss值不下降则训练结束，保存权值数据；

4)采用以上训练好的残差收缩及双向长短期记忆网络模型对数据进行分类识别。

Images