CN112966812A - 一种通信信号调制识别的自动神经网络结构搜索方法 - Google Patents

Abstract

一种通信信号调制识别的自动神经网络结构搜索方法，减少网络结构搜索方法对计算资源的消耗，摆脱对大规模高性能计算设备的依赖，实现轻量化的网络结构模型生成以及在便携式设备的部署，可用于便携式设装备端通信信号识别应用软件的部署与开发，服网络结构搜索模型大、在移动或便携式设备部署难的问题，从算法层面探索网络结构搜索在边缘设备中的应用。

Description

一种通信信号调制识别的自动神经网络结构搜索方法

技术领域

本发明涉及一种通信信号调制识别的自动神经网络结构搜索方法，属于电磁信号特征识别技术领域。

背景技术

为了对电磁环境的特性进行综合认知和感知，需要对电磁环境的信号特征进行识别和表示，从而认清电磁环境的本质特征，对电磁环境特性加以利用。目前，在对电磁环境中的通信信号的调制方式进行识别时，通常采用采用基于大量专家经验的高性能网络结构搜索方法。虽然目前基于专家经验的高性能网络结构搜索方法对通信信号的调制方式能够达到较高的识别精度，但是该种搜索算法通常需要基于大规模高性能计算设备，难以在便携式设备部署和运行。

发明内容

本发明解决的技术问题是：针对目前现有技术中，传统高性能网络结构搜索方法通常需要大规模高性能计算设备，难以在便携式设备部署和运行的问题，提出了一种通信信号调制识别的自动神经网络结构搜索方法。

本发明解决上述技术问题是通过如下技术方案予以实现的：

一种通信信号调制识别的自动神经网络结构搜索方法，步骤如下：

(1)进行通信信号调制识别的数据准备；

(2)构建残差卷积神经网络结构模型；

(3)将接收的通信信号按指定数量码元按序排列为码元图像，将通信信号转化为调制样式纹理图像，并采用残差卷积神经网络结构模型于水平方向及垂直方向对调制方式进行识别；

(4)将残差卷积神经网络模型分解为卷积单元及缩减单元串联结构，建立搜索空间并进行串联结构微搜索；

(5)对微搜索的串联结构进行预测，并通过学习结合控制器将串联结构表示为数字，采用长短期记忆输出采样子网络作为残差卷积神经网络结构模型的子网络以确定搜索策略。

所述步骤(1)中，通过仿真方式收集并整理所需的测试数据库，建立不同调制方式下通信信号的数据集，为通信信号调制识别储备数据。

所述残差卷积神经网络结构模型包含三个BLOCK，分别由1*8、1*5、1*3的卷积核构成。

所述步骤(5)中，对所得子网络进行训练确定对应的分类精度，根据所得分类精度通过策略梯度迭代更新长短期记忆输出采样子网络参数以更新长短期记忆输出采样子网络。

本发明与现有技术相比的优点在于：

(1)本发明提供的一种通信信号调制识别的自动神经网络结构搜索方法，在保证在对通信信号进行高精度特征识别的同时，减少网络结构搜索方法对计算资源的消耗，摆脱对大规模高性能计算设备的依赖，实现轻量化的网络结构模型生成以及在便携式设备的部署，促进便携式通信信号调制识别设备的运用和发展；

(2)本发明可以应用于便携式设装备端通信信号识别应用软件的部署与开发，构建起从网络结构搜索方法到实际应用系统的桥梁，克服网络结构搜索模型大、在移动或便携式设备部署难的问题，从算法层面探索网络结构搜索在边缘设备中的应用。

附图说明

图1为发明提供的AWGN信道不同调制样式信号仿真结果示意图；

图2为发明提供的残差卷积网络模型示意图；

图3为发明提供的残差卷积网络调制方式识别结果示意图；

图4为发明提供的AWGN信道不同调制样式信号生成的码元图像示意图；

图5为发明提供的残差卷积神经网络搜索空间的分解示意图；

图6为发明提供的搜索单元有向示意图；

图7为发明提供的深度可分离卷积示意图；

图8为发明提供的结构序列编码示意图；

图9为发明提供的基于LSTM的序列描述示意图；

图10为发明提供的验证和测试精度的迭代变化示意图；

具体实施方式

一种通信信号调制识别的自动神经网络结构搜索方法，针对通信信号调制方式识别问题提出的自动神经网络结构搜索方法基于强化学习与长短期记忆网络控制器来完成网络结构的自动设计，采用策略梯度迭代实现子结构的自动设计过程。然后通过引入子网络和深度可分离卷积等运算形式，从而实现轻量级网络结构设计，使算法能够在便携式设备实现和部署。最后通过实验验证算法的有效性，主要考查算法的计算资源消耗与识别准确率。

具体步骤如下；

步骤1，通信信号调制识别的数据准备。自动神经网络结构搜索方法基于通信信号数据本身，利用深度神经网络得到特征表示和分类的端到端模型，从而实现通信信号调制方式的识别。为了实现通信信号调制方式端到端的识别方案，需要积累一定的数据以满足模型学习的要求，从足够的数据中挖掘数据特征的表示方式。因此，首先利用仿真方式收集和整理相应的测试数据库，建立不同调制方式下通信信号的数据集，为通信信号调制识别储备数据。

步骤2，设计神经网络模型。通信信号调制识别有别于传统的语音和序列信号处理领域中的分类和识别，传统的神经网络模型在对通信信号调制方式进行识别时存在两个突出的问题：一是在处理较长通信信号时训练显存开销巨大，训练耗时且很难达到最优解；二是神经网络模型的层数增加时，模型的训练难度会大大增加，欠缺对大规模数据和多样式数据的表示能力。为了解决传统神经网络模型在通信信号识别中存在的这两个突出问题，针对通信信号调制识别设计了一种残差卷积神经网络结构模型，并对残差卷积神经网络结构模型的层数、每一层中的模块以及每一模块中的卷积核进行设计和实验验证，从而保证神经网络模型在对通信信号调制识别时能够快速收敛，并具有很好的识别精度。

步骤3，生成调制样式纹理图。通信信号调制识别通常在读取固定数量的码元后进行，但是调制方式的数量较大以及时序信号长度过长会导致神经网络的训练难度增大，训练的时间、空间复杂度大大提升；另外，采用一维残差卷积神经网络时，为了建立更长的前后关系感受野，需要采用较大的一维卷积核或更深的网络层数，不利于建立轻量的网络模型。针对该问题，本发明设计了一种调制样式纹理图识别方法。调制样式纹理图识别法首先将通信信号按照一定数量的码元按序排列为码元图像，将序列通信信号转换为与调制方式相关的纹理图像，然后采用二维残差卷积神经网络在水平方向和垂直方向两个方向对调制方式进行识别，从而可以描述更长的通信信号调制方式的特点，提高特征识别能力和精度，并在较少的层数下完成高性能的识别，减少计算资源消耗。

步骤4，建立搜索空间。在采用残差卷积神经网络实现通信信号调制样式的识别时，为了实现自动残差卷积神经网络设计，将大规模的残差卷积神经网络模型分解为由卷积单元和缩减单元串联而成的一般结构模式，从而一个多层大规模残差卷积神经网络的结构搜索问题可以简化为微结构的卷积单元和缩减单元的搜索问题。此外，所有的卷积单元和缩减单元共用同一种结构，从而可以进一步减少结构搜索的计算量。搜索空间缩减后，结构搜索转变成一种微搜索方式，从而比全局的结构搜索(宏搜索)具有更高的搜索效率。

步骤5，确立搜索策略。为了实现有效的微结构搜索，采用强化学习结合控制器的方式来实现这一过程。首先采用控制器决定子网络的具体形式，将预测的结构表示为一串数字表示，并采用长短期记忆网络的输出采样子网络；然后将得到的子网络进行训练得到相应的奖励(分类精度)，最后依据分类精度用策略梯度迭代更新长短期记忆网络的参数获得新的子网络结构。

下面通过具体实施例进行进一步说明：

通信信号调制识别的自动神经网络结构搜索方法的具体实施过程如下：

步骤1，建立基于加性高斯白噪声信道下的不同调制方式数据集。加性高斯白噪声AWGN信道下的单信号调制识别问题是调制识别研究的基础，因此，针对AWGN信道下的单信号调制识别应用场景，建立信噪比环境不理想情况下的不同调制方式数据集。

AWGN信道下接收信号的数学模型为：

y(t)＝s(t)+n(t)

式中，n(t)为均值为0，方差为

的高斯白噪声，且与发送信号独立；s(t)为发送的调制信号，调制载波为正弦波，基带波形控制考虑振幅键控(ASK)、频移键控(FSK)和相移键控(PSK)三种形式。选用典型的数字通信信号{2ASK；4ASK；8ASK；BPSK；QPSK；8PSK；2FSK；4FSK；8FSK}共9种信号作为研究对象。同时，生成信号的各类仿真参数设置依据欧洲电信标准化协会ETSI关于GSM/EDGE基站技术标准的要求规定：射频信号的载频为2000MHz，中频为150～190MHz，采样频率为50～70MHz。故不失一般性地设定仿真参数如下表所示，此时FSK的频率集为{f_c±kf_i,k＝1,3,5,7}。

生成的仿真信号如图1所示，通过仿真信号，可以构建不同调制样式的训练和测试数据集，为端到端的神经网络模型训练提供数据支撑。

步骤2，设计残差卷积网络结构模型。借鉴残差卷积网络在图像识别等其他识别领域中的成功应用，针对通信信号调制方式识别设计的残差卷积网络结构模型如图2所示。模型包含三个模块BLOCK，每一BLOCK由1*8、1*5和1*3的卷积核构成，同时由于层数的增加，为了避免训练中的梯度消失问题，BLOCK中包含了跨越链接Skip Connect模块来实现残差的传递，最后一层同样利用平均池化和全连接作为最终输出。训练时采用多分类交叉熵和自适应矩估计Adam优化器进行模型优化。

对于设计的残差卷积网络模型，通过实验对其识别精度进行验证。实验中的输入为截取的4096长度信号，输出为通信信号的9种调制方式，训练过程中随机生成5000个5dB的数据集，并选取其中的20％作为测试数据，剩下的80％作为训练数据进行残差卷积网络训练。设计的残差卷积网络的识别结果如图3所示。从图3可以看出，设计的残差卷积网络的训练曲线快速收敛，验证集合精度也不断下降，9类调制信号的平均识别率达到96％，具有很好的识别精度。

步骤3，调制样式纹理图的生成。对于截取的4096长度信号，将一个码元的长度取为64，然后将每个码元按顺序排列，从而可以将信号转换为由64个码元组成、每个码元的长度为64的二维纹理图。AWGN信道不同调制样式信号生成的码元图像如图4所示。

步骤4，残差卷积神经网络模型的分解和模块单元的设计。首先将大规模的残差卷积神经网络模型分解为由卷积单元Convolution Cell和缩减单元Reduction Cell串联而成的一般结构模式，如图5所示，从而一个多层大规模残差卷积神经网络的结构搜索问题可以简化为微结构的卷积单元与缩减单元的搜索问题，并且所有的卷积单元和缩减单元共用同一种结构，结构搜索的计算量将进一步减少。

残差卷积神经网络由若干相同结构的BLOCK串联而成，每一个BLOCK中卷积单元和缩减单元的结构可以通过有向无环图来表示，如图6所示。图6中的节点表示局部的计算，如3*3卷积、最大值滤波等具体的运算算子，而边缘表示信息流，红色线表示节点之间有信息传输。对于每一节点算子的参数，等到结构全部确定后，由反向传播训练来最终确定。

为了满足轻量级运算的需求，规定如下几类轻量级算子作为构建搜索的候选集合：包括3*3、5*5尺度的深度可分离卷积运算、平均值池化、最大值池化和等值映射5类。为了减少浮点运算次数，采用深度可分离卷积的形式来构建网络，其示意图如图7所示。当采用128个3*3*3的卷积核对一个7*7*3的特征层进行卷积时，会产生5*5*128的结果输出，其中的乘法运算是86400次。而当采用可分离卷积时，首先将3*3*3的卷积核分离为3个3*3*1的卷积，每个核对应层进行卷积得到5*5*3的输出结果，然后扩展深度，采用128个1*1*3的卷积核对5*5*3的输出结果进行卷积，得到5*5*128的输出结果。从而分离卷积的过程使得乘法运算的次数减少为10275次，有效减少了浮点运算次数。

步骤5，确立微结构搜索策略。为了实现有效的微结构搜索，可以采用强化学习结合控制器来实现这一过程。

强化学习的目标是给定一个马尔科夫决策过程，寻找出最优策略。所谓策略是指状态到动作的映射，即：π(a|s)＝p[A_t＝a|S_t＝s]，策略梯度算法将策略表示为一种参数化的概率密度函数：

π_θ＝p[a|s,θ]

在给定状态s和参数θ的情况下，策略函数π_θ可以对可能的动作进行概率表示。为了实现最优的结构搜索，建立如下优化目标来计算参数的梯度：

式中，奖励R_t为获得子网络的验证精度，从而可通过求解目标梯度进行参数的学习。具体算法如下：

策略梯度迭代算法中动作a_t的决定采用离散的结构序列进行编码，结构序列中的每一个数值表示相应的操作。结构序列编码示意图如图8所示，该卷积单元由7个节点组成，其中2个输入节点表示为0,1，其他节点由5个候选的算子集合选取2个组合而成，从而每个节点可以表示为长度为4的编码，该单元可以表示为长度为20的编码序列。按照此编码方式，可以将包含7个节点的有向图按一定规则表示为长度为20的结构序列，序列的形式决定图的具体连接和运算的差异，记每一时刻生成的结构序列的状态为a_t。

策略函数π_θ采用LSTM进行表示，利用LSTM对序列的建模能力进行参数化表示，状态s_t设定为64维的变量，参数为LSTM中网络参数θ，对LSTM的输出进行采样得到新的结构序列编码，更新过程采用策略梯度算法进行迭代，以确定验证精度最优的结构序列。基于LSTM的序列描述示意图如图9所示。

调制样式识别的自动神经网络结构搜索方法的总体过程如下表所示：

下面通过实验对设计的用于通信信号调制识别的自动神经网络结构搜索方法的有效性进行验证，验证的过程如下：

1.实验数据集生成

数据采用仿真形式生成9种不同调制样式的序列通信信号，并生成相应的纹理图像。生成的仿真信号包含{2ASK；4ASK；8ASK；BPSK；QPSK；8PSK；2FSK；4FSK；8FSK}9种信号共55000个样本作为测试对象。在生成的每个测试样本中加入不同的噪声，生成不同信噪比(5db、10db)的样本集合(均为55000个样本)进行验证。实验过程中随机抽取5000个测试样本作为验证集合，35000个样本作为训练集合和10000个样本作为测试集合。

2.实验参数设置

实验中设定训练的批量规模(Batch Size)为128，控制器LSTM的隐含层变量维度为64，算法1中的策略梯度迭代次数设定为150，子网络控制器优化的学习率设定为0.1，搜索空间中单元的个数设定为5，模块的个数为3，节点算子为如图8所示中的5种轻量化算子，缩减单元采用步长为2的步长进行卷积以达到缩减的目的。整个训练过程在1台配备TeslaV100(16G显存)加速卡的服务器进行，而测试过程利用轻量级设备端显卡GTX960M进行。算法程序开发利用Google的TensorFlow库实现。

3.实验结果

自动神经网络结构搜索方法对通信信号调制方式的识别结果如图10所示。图10表明，随着策略梯度迭代过程中迭代步数的增加，结果表明随着策略梯度迭代过程，算法能够自动地调整子网络结构，验证和测试集合上的识别精度也不断提升，150次迭代后最优的子网络对9类调制样式识别的精度分别达到94.36％(5db)和95.84％(10dB)。自动神经网络结构搜索方法在运行过程中的每秒浮点运算次数为148M，绝对参数数量为13M。实验结果表明，设计的自动神经网络结构搜索方法对通信信号的调制方式具有很好的识别精度，消耗的计算资源少，适合在轻量级便携式设备部署和运行，从而为便携式设备对通信信号特性的识别和分析以及通信信号电磁特性的利用奠定了良好的基础。自动神经网络结构搜索方法实验结果具体如下表：

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (4)

1.一种通信信号调制识别的自动神经网络结构搜索方法，其特征在于步骤如下：

(1)进行通信信号调制识别的数据准备；

(2)构建残差卷积神经网络结构模型；

(3)将接收的通信信号按指定数量码元按序排列为码元图像，将通信信号转化为调制样式纹理图像，并采用残差卷积神经网络结构模型于水平方向及垂直方向对调制方式进行识别；

(4)将残差卷积神经网络模型分解为卷积单元及缩减单元串联结构，建立搜索空间并进行串联结构微搜索；

(5)对微搜索的串联结构进行预测，并通过学习结合控制器将串联结构表示为数字，采用长短期记忆输出采样子网络作为残差卷积神经网络结构模型的子网络以确定搜索策略。

2.根据权利要求1所述的一种通信信号调制识别的自动神经网络结构搜索方法，其特征在于：

所述步骤(1)中，通过仿真方式收集并整理所需的测试数据库，建立不同调制方式下通信信号的数据集，为通信信号调制识别储备数据。

3.根据权利要求1所述的一种通信信号调制识别的自动神经网络结构搜索方法，其特征在于：

所述残差卷积神经网络结构模型包含三个BLOCK，分别由1*8、1*5、1*3的卷积核构成。

4.根据权利要求1所述的一种通信信号调制识别的自动神经网络结构搜索方法，其特征在于：

所述步骤(5)中，对所得子网络进行训练确定对应的分类精度，根据所得分类精度通过策略梯度迭代更新长短期记忆输出采样子网络参数以更新长短期记忆输出采样子网络。

Images