CN110503185A - 一种改进的深度调制识别网络模型 - Google Patents

Abstract

本发明公开了一种改进的深度调制识别网络模型，属于模式识别领域。本发明通过水平堆叠多个ResNet模块结构，将改进的残差模型ResNext应用于深度调制识别中，在增加网络宽度的同时，增加网络深度，采用改进的ResNext模型对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM‑DSB等11种通信调制类型进行识别，能够更好的对调制数据进行识别，在同等训练复杂度的情况下能大大提高识别性能，在信噪比为5dB时识别率达到98.5％以上，比其ResNet性能高4％。

Description

一种改进的深度调制识别网络模型

技术领域

本发明属于模式识别领域，一种基于深度学习的通信信号的调制样式的分类识别方法。

背景技术

在通信信号数据集或者信号样点比较少的情况下，采用简单的端到端深度神经网络如卷积神经网络CNN、循环神经网络RNN等可以取得较好的模式识别性能。当采样数据量一增加，简单的网络提取到的信号特征效果很差，且识别率还是较低。而通信信号是不确定的，所以在工程应用之前应该增大数据集，尽可能的包含更多通信环境。为了提高调制识别性能，需要探究更为大型深度的网络学习模型。

深度神经网络通过每层提取特征能够较好的实现信号的分类识别，适当增加网络深度可以提高准确率。但是从大量实验结果来看，无线信号深度调制识别只需要简单几层网络就能够达到一定的性能，随着深度的增加性能并没有呈现较好提升；反之，训练集分类准确度降低了，深度网络变得难以训练。

问题在于，在反向传播梯度的过程中，当网络比较深时，梯度在传播过程中会消失，越往前传播衰减越严重，从而导致算法无法对前端网络权重的有效调整。这种随着网络层数增加，导致梯度消失，在训练集上面的准确率达到饱和或者下降的的现象，称为退化问题。

2016年，前微软亚洲研究院何恺明等人在《Deep Residual Learning for ImageRecognition》中提出的深度残差网络(Deep Residual Networks,ResNet)模型，很好地减轻了深层网络的训练负担，使得梯度能够有效在深度网络中传播，保证了深度神经网络的学习能力，解决了随着网络加深准确率下降的问题，其基本结构如图1所示。

对于退化问题，ResNet提供了两种选择方式：恒等映射和残差映射。恒等部分直接将输入与输出相连接，残差部分则是输入经过多层隐含层后的结果。所以最后得到的结果为

H(x)＝F(x)+x

其中，x表示输入数据集，F(x)表示输入x经过多层网络后的结果，H(x)表示模块的输出。如果网络已经到达最优，继续加深网络，残差映射将趋于0，只剩下恒等映射，这样理论上网络就一直处于最优状态，网络的性能也就不会随着深度增加而降低识别性能。

《Deep Architectures for Modulation Recognition》使用ResNet作为深度学习的通信调制模型，对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB等11种调制信号进行识别，但是其性能在还是较低，在信噪比为5dB时识别性能只有94％。

发明内容

一般来说，深度网络要提高模型的准确率，都是加深或加宽网络。但是随着超参数数量的增加(比如卷积核大小、网络层数等等)，需要训练的参数也更多，网络设计的难度和计算开销也会增加。而在实时调制识别系统中，在保证精度的同时还需要优化网络模型，减少识别过程中的计算量。

鉴于目前基于深度学习的调制识别性能较低的问题，本发明提出将改进的残差模型ResNext应用于深度调制识别中，在不增加参数复杂度的前提下提高性能。用于调制识别的基本模块如图2，改进模型如图3。

本发明采用的技术方案为：

一种改进的深度调制识别网络模型设计方法，主要包括以下步骤：

步骤1：建立一个模型数据库，该数据库包括需要调制识别的信号数据以及相应的调制标签。

步骤2：设计用于调制识别的ResNext模型。

2.1、将模型数据库中的矩阵仿真数据分为N路并分别输入一个ResNet模块，然后将输出的N路结果合并得到第一层ResNext模块提取的特征矩阵，其中N＝2,3…8，当N为1时，即为其原型ResNet。

2.2、将步骤2.1中得到的第一层ResNext模块提取的特征矩阵作为ResNext模块链的输入进行精细的信号特征提取，ResNext模块链包括M层垂直连接的ResNext模块，其中M＝2,3,4…13，然后输出细提取的特征矩阵。

2.3将细提取的特征矩阵经过最大池化进行降维采样，减少计算量，然后输入到展平层将数据降为一维，最后通过全连接将特征分配适当的权重，通过激活函数输出识别结果。

步骤3：将步骤2得到的识别结果与期望值进行比较，如果误差大于等于设定门限，重复步骤2在原误差的基础上进行迭代，直到误差小于设定门限，训练结束。

本发明的有益效果：

本发明在增加网络宽度的同时，增加网络深度，采用改进的ResNext模型对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB等11种通信调制类型进行识别，仿真实验表明，通过水平堆叠多个ResNet模块结构能够更好的对调制数据进行识别，在同等训练复杂度的情况下能大大提高识别性能，在信噪比为5dB时识别率达到98.5％以上，比其ResNet性能高4％。

附图说明

图1是ResNet Block结构。

图2是用于调制识别ResNet Block结构。

图3是改进的ResNext模块结构。

图4是改进的ResNext模型垂直连接结构图。

图5是不同分组数调制识别性能曲线图。

图6是不同网络深度调制识别性能曲线图。

图7是两种模型训练train和验证val损失曲线图。

图8是三种模型的识别性能曲线图。

具体实施方式

下面结合附图和具体实施例来详细描述本发明的技术方案。

本实施例包括以下步骤：

A.使用Gnuradio生成仿真数据，建立一个模型数据库，该数据库包括需要调制识别的信号数据以及相应的调制标签。在高斯信道不同信噪比(SNR＝[-5dB,0dB,5dB,10dB,15dB,20dB])下，生成11种调制信号数据包括4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB、AM-SSB、WBFM、GFSK，对信号进行采样得到1024个复数样点，将样点拆分成虚部与实部，合并所有的样本组成一个66000*2*1024的三维矩阵，其中66000表示11种调制信号在6个不同信噪比下采样1000个样本的总样本数目。本实施例中由于数据量相对较大，且不对数据作更改，所以将矩阵仿真数据通过Python序列化保存到本地文件中。

B.将数据随机分成训练集与验证集，占比为8:2。先将训练数据用于模型参数权重的训练调整。

训练完成后用验证集进行输入得到识别结果，与真实调制标签相比较，得到正确识别精度。

本实施例最终划分不同的分组数与不同的深度下的研究，主要包括以下内容。

如图3所示，本实施例在基础的一条路径的基础上，横向的拓扑路径可以从2-8不等变化，最终得到的仿真性能曲线如图5。同时，本实施例提供了4种深度的调制识别模型，如下表所示，包括3、7、12、14个改进模块的垂直堆叠，其识别曲线如图6。

大量实验发现，通过增加分组路径数量可以从一定程度上提高模型的识别性能，加深网络深度对于低信噪比部分的影响较大，网络越深其识别精度越高，但是在高信噪比部分，网络深度不影响其精度。通过进一步的分析时间与空间复杂度，本发明优选分组数为4和网络深度为7的网络模型。这种情况下，在保证网络识别性能较高的同时减少了训练耗时。

图7比较了ResNext与ResNet模型在同数据集同训练参数，学习率设置为0.01的情况下，训练和验证损失曲线。从损失曲线可以看到，相同学习率下，改进模型损失下降得更快，且训练与验证损失之间差距更小，性能更好。图8对比了ResNext、ResNet和简单深度模型CLDNN(CNN+LSTM+DNN)识别性能。结果显示，ResNext不管在低信噪比还是高信噪比部分的识别率都优于后两者。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (1)

1.一种改进的深度调制识别网络模型设计方法，其特征在于：包括以下步骤：

步骤1：建立一个模型数据库，该数据库包括需要调制识别的信号数据以及相应的调制标签；

步骤2：设计用于调制识别的ResNext模型，并输出识别结果；

2.1、将模型数据库中的矩阵仿真数据分为N路并分别输入一个ResNet模块，然后将输出的N路结果合并得到第一层ResNext模块提取的特征矩阵，其中N＝2,3…8；

2.2、将步骤2.1中得到的第一层ResNext模块提取的特征矩阵作为ResNext模块链的输入进行精细的信号特征提取，ResNext模块链包括M层垂直连接的ResNext模块，其中M＝2,3,4…13，然后输出细提取的特征矩阵；

2.3将细提取的特征矩阵经过最大池化进行降维采样，减少计算量，然后输入到展平层将数据降为一维，最后通过全连接将特征分配权重，通过激活函数输出识别结果；

步骤3：将步骤2得到的识别结果与期望值进行比较，如果误差大于等于设定门限，重复步骤2在原误差的基础上进行迭代，直到误差小于设定门限，训练结束。