CN113642653B - 基于结构优化算法的复值神经网络的信号调制识别方法 - Google Patents

基于结构优化算法的复值神经网络的信号调制识别方法 Download PDF

Info

Publication number
CN113642653B
CN113642653B CN202110939236.1A CN202110939236A CN113642653B CN 113642653 B CN113642653 B CN 113642653B CN 202110939236 A CN202110939236 A CN 202110939236A CN 113642653 B CN113642653 B CN 113642653B
Authority
CN
China
Prior art keywords
complex
neural network
hidden layer
valued
complex value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939236.1A
Other languages
English (en)
Other versions
CN113642653A (zh
Inventor
黄鹤
王志东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202110939236.1A priority Critical patent/CN113642653B/zh
Priority to PCT/CN2021/113963 priority patent/WO2023019601A1/zh
Publication of CN113642653A publication Critical patent/CN113642653A/zh
Application granted granted Critical
Publication of CN113642653B publication Critical patent/CN113642653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Digital Transmission Methods That Use Modulated Carrier Waves (AREA)

Abstract

本发明公开了一种基于结构优化算法的复值神经网络的信号调制识别方法,首先对前向复值神经网络的结构与参数进行初始化;利用复值结构优化算法调整所述复值神经网络中的参数,验证所述前向复值神经网络的泛化性能,保存当前隐层神经元的个数以及所述前向复值神经网络的所有参数值,判断训练是否陷入局部极小值点;若是,利用复值增量构建算法向当前模型添加一个隐层神经元,在当前训练的基础上计算新增神经元的权值、隐层输出矩阵和损失函数值,继续训练新的模型;若不是,则保持模型结构不变,继续训练,直到满足算法停止条件。本发明有利于自适应地构建结构最优的前向复值神经网络模型,用于通信信号调制方式的识别,并取得满意的效果。

Description

基于结构优化算法的复值神经网络的信号调制识别方法
技术领域
本发明涉及无线通信技术和人工智能领域,具体涉及一种基于结构优化算法的复值神经网络在复杂环境下的通信信号调制识别方法。
背景技术
通信信号调制方式的识别是获取通信信号的前提条件。调制识别技术是近年来信号处理领域研究的热点问题。随着通信技术的飞速发展,通信信号的调制样式变得更加复杂多样,使得常规识别方法和理论无法对调制信号进行有效识别,这也给调制方式的识别研究提出了更高的要求。
典型的信号调制识别算法可分为两大类:一类是利用判决准则,利用似然理论进行识别,也称为基于似然(likelihood-based,LB)的方法;另一类以神经网络为基础,利用从调制信号中提取到的信号特征为依据进行识别,也称基于特征(feature-based,FB)的方法。
前向复值神经网络(Complex-Valued single-layer feedforward networks,缩写CVLFNs)凭借其强大的计算能力和泛化性能,已经受到了越来越多的关注,并在各种工业领域中得到了广泛的应用,如雷达信号处理、医学图像处理、信道状态预测、EEG等。研究发现,前向复值神经网络有着与前向实值神经网络相似的结构,其学习算法也大都是从实数域中推广而来的。比如,最常见的复数域学习算法便是复值梯度下降算法。然而,一阶复值优化算法的训练速度、收敛速度和训练结果不尽人意,并且目前没有精确的数学模型来解决前向复值神经网络的结构问题。利用结构优化的前向复值神经网络在结构上可以采用增量构建的方法寻找到最优的网络结构;在训练速度和收敛速度方面,本专利提出的算法在输入层与隐层间使用二阶的LM算法计算权值的修正量,相比于一阶算法识别效果有很大的提升;在参数量方面,与经典的二阶优化算法相比,复值结构优化算法在隐层和输出层间使用复值的最小二乘方法快速计算权值变化量,这也在一定程度上减少了模型的参数数量。
发明内容
本发明要解决的技术问题是提供一种基于结构优化算法的复值神经网络的信号调制识别方法,采用前向复值神经网络构建一种信号调制方式的识别方法,并设计结构优化算法用于实现前向复值神经网络最优结构的快速确定,最终实现信号调制方式识别的目的。
为了解决上述技术问题,本发明提供了一种基于结构优化算法的复值神经网络的信号调制识别方法,包括如下步骤:
步骤S1:采集整理样本数据集,该数据集包含了经过不同调制方式得到的通信信号,所述调制信号被存储为I/Q两路信号的形式;
步骤S2:对S1得到的数据集进行预处理,并按一定比例划分为训练集、验证集和测试集;将预处理好的数据作为前向复值神经网络的输入,初始化前向复值神经网络的结构和参数;
步骤S3:利用复值结构优化算法调整所述前向复值神经网络的参数,对损失函数进行优化,判断是否满足模型构建终止条件,若不满足,进入步骤S4,若满足,则进入步骤S5;
步骤S4:在验证集验证所述前向神经网络的泛化性能,保存当前隐层神经元的个数以及所述前向复值神经网络的所有参数值,并判断是否满足所述隐层神经元的添加标准:若满足,则采用复值增量构建方法向隐层增添一个神经元,在当前训练的基础上计算新增神经元的权值、隐层输出矩阵和损失函数值,进入步骤S3,若不满足,则直接进入步骤S3;
步骤S5:利用复值结构优化算法进一步微调前向复值神经网络的所有参数,得到结构最优的复值神经网络模型;
步骤S6:将待识别的通信信号经过预处理后输入到构建的最优复值神经网络模型,实现通信信号调制方式的识别。
在其中一个实施例中,所述初始的前向复值神经网络是单隐层的前向复值神经网络模型,步骤S2中,所述前向复值神经网络模型包括输入层、隐层和输出层;所述预处理操作包括归一化、分段处理,将每种调制方式的通信信号进行打乱处理后分成长度相等的多个数据段对应标签的集合的形式。
在其中一个实施例中,步骤S2中,所述前向复值神经网络的输入为zp=xp+iyp∈CL,其中,p=1,2,...P,xp和yp分别是第p个样本的I路信号和Q路信号,L是输入层神经元个数,隐层采用splittanh激活函数。
在其中一个实施例中,步骤S3中,利用前向复值结构优化算法调整所述前向复值神经网络中的参数的方法为:采用复值LM算法对模型的输入层和隐层之间的权值进行更新,采用复值最小二乘算法对隐层与输出层的权值进行更新。
在其中一个实施例中,具体包括:对所述前向复值神经网络进行训练时,先根据分类目标的个数构建一个与隐层输出矩阵对应的广义增广矩阵以及维度对应的雅克比矩阵,计算隐层输出矩阵和模型的实际输出,运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值的变化量;再经计算得到隐层输出的对应于不同输出神经元的稀疏矩阵,计算当前的损失函数值,并对其进行优化,利用复值LM算法得到输入层与隐层神经元之间权值的修正量,并对其进行更新。
在其中一个实施例中,步骤S3中,判断是否满足模型构建终止条件的方法为:损失函数是否小于设定的阈值或者训练是否达到最大迭代次数;步骤S3中,所述损失函数是复变量均方误差函数;具体地,选择复变量均方误差函数作为损失函数:
Figure BDA0003214093030000041
在其中一个实施例中,步骤S4中,判断是否满足所述隐层神经元的添加标准方法为:根据损失函数在当前迭代与延迟迭代时的变化关系,判断前向复值神经网络是否满足隐层神经元添加标准。
在其中一个实施例中,具体地:根据公式
Figure BDA0003214093030000042
判断是否满足添加隐层神经元的条件,其中E(t)和E(t-τ)分别表示第t和第t-τ次迭代时的损失函数值,τ为一正整数,表示迭代延迟次数,η为一常数,表示缩减阈值。
在其中一个实施例中,步骤S4中,添加一个新的隐层神经元后,模型的隐层输出矩阵及其增广矩阵、复变量权值修正量、损失函数等都会在前一次训练的基础上进行计算得到,以此达到降低计算复杂度,也避免了耗时的试错过程。
在其中一个实施例中,所述IQ信号用复数形式进行表示为
Figure BDA0003214093030000043
所以信号的IQ调制表示为复数形式
Figure BDA0003214093030000044
将输入样本的I路信号和Q路信号合并成一路复值信号输入所述的前向复值神经网络的最优模型,得到最终的通信信号的调制类型,达到识别的目的。
本发明的上述技术方案相比现有技术具有以下优点:
现有的信号调制识别方法大都是需要对原始信号样本事先进行特征提取,计算需要识别的信号的瞬时特征进行训练。然而RML2016.10a数据集中的信号分为I和Q两路信号,是采用GNU Radio这个开源的软件无线电平台产生,该数据集中每个符号有8个采样点,采样率为200khz。由于在产生这些信号的过程,模拟了信道中的大量影响因素,如衰落、多径、采样偏差率、脉冲整流等,将信号通过未知的信号模型,使得信号并不能简单通过提取特征立刻被鉴定得到。一般的实数值神经网络都是将I路和Q路信号视作不同的特征进行训练,但是IQ调制信号一般表示为s(t)=Icosw0t-Qsinw0t,根据复变函数
Figure BDA0003214093030000051
IQ信号可以用复数形式进行表示为
Figure BDA0003214093030000052
而复数值神经网络可以利用处理复信号的优势,将IQ两路信号用一个复数值I+jQ进行表示,作为模型的输入。
同时本专利采用的复值结构优化算法分别对输入层和隐层、隐层和输出层间的权重修正量进行更新,通过利用复值神经网络增量构建机制实现一个紧凑的网络结构,这不但实现了网络结构的自适应调整,采用的复值LM和复值最小二乘算法也降低了计算复杂度,加快了训练过程。重要的是,增量构建机制保证了在增加隐层神经元后,后续的训练是在前一次迭代的基础上继续进行的,这极大地避免了耗时的试错过程,也提高了前向复值神经网络的泛化能力。
附图说明
图1是本发明方法的数字通信信号调制识别方法模型示意图。
图2是本发明方法中的算法训练流程图。
图3是本发明方法的单次训练过程示意图。
图4是本发明方法中的收敛效果对比示意图。
图5是本发明方法中的不同信噪比下与复值一阶算法分类效果对比示意图。
图6是本发明方法中的神经网络结构框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明本专利所提出的复值结构优化算法的具体计算过程。
在信号调制方式识别的实现上,人工神经网络是较为常见的方法。而对于信号调制方式识别的处理,前向复值神经网络是一种高效的手段。前向复值神经网络由于快速学习以及能够直接处理复信号的能力备受学者的关注,与之相关的研究也越来越多。在一些应用领域如雷达信号处理、医学图像处理、信道状态预测、EEG等。
对于前向复数神经网络来说,如何快速确定网络结构和网络参数是一大难题,所述复值结构优化算法包括采用复值Levenberg-Marquardt(LM)算法对模型的输入层和隐层之间的权值进行更新,采用复值最小二乘算法(Least Squares,简称LS)对隐层与输出层的权值进行更新,同时使用一种基于赤池信息准则的方法选出最优的网络结构,避免了耗时的试错过程。
所述基于结构优化的前向复值神经网络中,输入层的输入数据为
Figure BDA0003214093030000061
其中P为样本总数,L表示输入信号的样本维数,在实验中初始隐层神经元个数为10个,为了说明具体计算过程,隐层神经元个数表示为M个,增添一个隐层神经元后表示为M+1个,输出神经元为O个。
利用复值结构优化算法调整所述前向复值神经网络中的参数的方法为:利用复数值LM算法和复数值LS算法在训练集上对所述前向复值神经网络进行训练。
对所述前向复值神经网络进行训练时,因为考虑到多输出的情况,所以此时复数值LM算法中间计算过程中的雅克比矩阵
Figure BDA0003214093030000062
的列数和隐层输出矩阵Φ的行数应该相等,而当多输出时,假设输出矩阵Y是OP×1的矩阵,根据公式
Figure BDA0003214093030000063
可知Jn是一个OP×MS的矩阵,其中S是单个隐层神经元的参数个数S=L+1,Y是前向复值神经网络的实际输出,表示为Y=HV,而此时隐层输出矩阵Φ是一个P×(M+1)维的矩阵,所以
Figure BDA0003214093030000071
的列数和Φ的行数维度是不一致的,在计算更新权值时会导致计算错误。
为了让隐层输出矩阵Φ与复数值LM算法所需的雅克比矩阵的维度一致,首先需要根据隐层输出矩阵构造出相应的隐层输出矩阵的增广矩阵;隐层与输出层间的权值修正量是隐层的输出矩阵和网络的实际输出经复值LS算法直接计算得到;再经计算得到每个类别对应的稀疏矩阵,之后计算当前的损失函数值,利用复值LM算法计算输入层与隐层神经元之间权值的修正量,并更新网络输入层与隐层神经元之间的权值。
具体地,假设隐层与输出层的线性参数为:
Figure BDA0003214093030000072
其中Vo=[v0,v1o,…,vmo,…,vMo]T∈C(M+1)×1
其中v0表示偏置,Vo表示第o个输出神经元与隐层神经元的权值组成的向量,vmo表示第m个隐层与第o个输出层神经元之间的权值,上式T表示矩阵或向量的转置运算。
隐层输出矩阵的计算方法为:根据
Figure BDA0003214093030000073
正向计算第p个样本的第m个隐层神经元的复数值输出,其中p=1,2,…,P,m=1,2,…,M,得到隐层神经元的复数值输出矩阵
Figure BDA0003214093030000074
其中1表示全为1的列向量。
根据隐层输出矩阵构建增广矩阵的方法为:令隐层输出矩阵为:
Figure BDA0003214093030000075
其中(·)*表示矩阵的复共轭,
Figure BDA0003214093030000076
是由之前的隐层输出矩阵Φ构造得到的,对应于第o个神经元的输出所构造的增广矩阵,Ho的第o,2o,...,Lo行分别对应Φ的第1,2,...,L行,其余元素均为0。
隐层神经元与输出层神经元之间的权重变量可以依据复数值的LS直接进行更新,得到输出层与隐藏层权重的最优解,其公式表示为:
Figure BDA0003214093030000081
式中,上标H表示矩阵的Hermitian转置,上标-1表示对矩阵进行求逆,D是前向复值神经网络的期望输出。
假设输入层到隐层神经元之间的复连接权值为:W=[w1,...,wm,...,wM]∈CL×M,其中wm∈CL为第m个隐层神经元与所输入层神经元的连接权值所构成的向量,L和M分别表示所述网络的输入层神经元个数和所述网络的隐层神经元个数。
所述损失函数是复变量均方误差函数。具体地,选择复变量均方误差函数(MSE)作为损失函数:
Figure BDA0003214093030000082
根据Y=HV计算所述前向复值神经网络的实际输出。定义期望输出与实际输出之间的误差向量e∈COP×1
eo=[do1-yo1,do2-yo2,...,dop-yop,...,doP-yoP]T
所以误差向量的共轭表示为:
(eo)*=[(do1)*-(yo1)*,(do2)*-(yo2)*,...,(dop)*-(yop)*,...,(doP)*-(yoP)*]T
其中dop和yop分别表示对应第p个样本第o个输出的前向复值神经网络的期望输出和实际输出。
根据得到的每个输出神经元的误差函数eo和其复共轭(eo)*可以计算得到对应与每个输出神经元的稀疏矩阵,所述稀疏矩阵So和SCo的计算方法为:
Figure BDA0003214093030000091
Figure BDA0003214093030000092
S=[S1;S2;S3;...;So;...;SO],SC=[SC1;SC2;SC3;...;SCo;...;SCO]其中So是指第o个输出所对应的稀疏矩阵。
所述前向复值神经网络的输入层神经元与隐层神经元之间权值的修正量的计算方法为:
利用Wirtinger微分算子,根据下述公式计算网络输入层与隐层神经元之间权值变化量
Figure BDA0003214093030000093
Figure BDA0003214093030000094
其中,μ表示阻尼因子,I为单位矩阵,
Figure BDA0003214093030000095
Figure BDA0003214093030000101
Figure BDA0003214093030000102
Figure BDA0003214093030000103
是修改后的新的雅克比矩阵,其中的op行,p∈(1...p...P),表示第o个输出的原始Jn
判断是否满足模型构建终止条件的方法为:损失函数是否小于设定的阈值或者训练是否达到最大迭代次数。具体地,损失函数是否小于设定的误差阈值(即E<ε)或者是否达到迭代次数k>K。
判断是否满足所述隐层神经元的添加标准方法为:根据损失函数在当前迭代与延迟迭代时的变化关系,判断前向复值神经网络是否满足隐层神经元添加标准。
具体地,根据公式
Figure BDA0003214093030000104
判断是否满足添加隐层神经元的条件,其中参数k、τ和η分别表示迭代次数、迭代延迟和误差缩减阈值。
若满足增量构建的条件,向当前模型添加一个隐层神经元,根据增添神经元之前的网络结构和权值对新增神经元后的网络参数进行更新计算,增加新的神经元后,需要构建属于新增神经元的隐层输出向量,该向量和隐层输出矩阵的增广矩阵的构造方式相似。由于前向复值神经网络的结构发生变化后,新增神经元的隐层与输出层的权值和相对应的误差函数可以使用复值LS算法计算得到,所以不需要重头开始计算,因此大大地减少了耗时的试错过程。
具体的,根据公式:
Figure BDA0003214093030000111
得到新的隐层神经元输出矩阵,其中HM+1为新增隐层神经元后的输出矩阵,表示为
Figure BDA0003214093030000112
对于新增的第M+1个隐层神经元,它的广义隐层输出向量
Figure BDA0003214093030000113
的定义如下:
Figure BDA0003214093030000114
其中,01和02分别是长度为o-1和O-o的全零行向量,其复共轭为
Figure BDA0003214093030000115
Figure BDA0003214093030000116
那么
Figure BDA0003214093030000117
根据H1H2...HO的结构特点我们可以得到
Figure BDA0003214093030000118
所以可以得到
Figure BDA0003214093030000119
在得到新的隐层神经元输出矩阵后,新的隐层神经元输出权值通过复数值LS算法可以计算得到,公式为:
Figure BDA0003214093030000121
根据矩阵
Figure BDA0003214093030000122
Figure BDA0003214093030000123
的构造形式,不难看出:
Figure BDA0003214093030000124
新增隐层神经元对应的误差向量为:
Figure BDA0003214093030000125
更新结构变化后的隐层神经元与网络输出层之间的权值参数
Figure BDA0003214093030000126
其中M表示结构变化前隐层神经元的个数,M+1为结构变化后隐层神经元的个数,上述的AM也更新为AM+1,其构造及更新方法如下:
Figure BDA0003214093030000127
所以有:
Figure BDA0003214093030000128
因为
Figure BDA0003214093030000129
所以AM+1可以写成
Figure BDA00032140930300001210
其中
Figure BDA00032140930300001211
Figure BDA0003214093030000131
Figure BDA0003214093030000132
其中
Figure BDA0003214093030000133
是添加一个神经元后第o个输出的中间矩阵。
式中Δo表示为:
Figure BDA0003214093030000134
根据矩阵构造不难看出:
Δ1=Δ2=...=Δο=...=ΔO
因为具有M个隐层神经元的网络隐层与输出层权值也可根据下式计算:
Figure BDA0003214093030000135
对应的网络输出误差向量可以表示为:
Figure BDA0003214093030000141
Figure BDA0003214093030000142
表示第o个输出层神经元对应的误差向量。在添加一个新的隐层神经元后,网络隐层与输出层之间的输出权值可以用下式更新:
Figure BDA0003214093030000143
Figure BDA0003214093030000144
所以此时添加一个神经元后,误差函数可以在
Figure BDA0003214093030000151
的基础上表示为:
Figure BDA0003214093030000152
根据以上计算说明新的参数VM+1AM+1及eM+1可以通过之前已优化的值继续进行更新计算,不会因为添加神经元而从新开始训练网络。
最优的复值神经网络的确认方法为:结合赤池准则,在验证集上对经复值增量构建机制得到的前向复值神经网络进行验证,选择在验证集上表现最好的模型为最优的复值神经网络。
本专利中赤池准则表示为:
C(M)=2Pval ln(v2/Pval)+L×M
其中,Pval是验证集的样本个数,2Pval ln(v2/Pval)对应于前向复值神经网络的分类精度,L×M等于模型的非线性参数个数,表示模型的结构复杂度。因此可以在网络的结构复杂度和分类精度之间进行平衡。使用上式计算网络构建过程中不同大小的网络对应的损失,然后选择损失最小的网络结构作为算法自动确定最优网络结构。
具体地实施步骤为:
第一步:获得已知的不同调制方式通信信号的数据集,可以通过接收实际通信信号获得也可以通过数学工具仿真得到,也可以通过实际通信系统或数学仿真获得不同信噪比下的多种调制种类通信信号集合。为模拟现实中的通信环境,在仿真产生不同调制方式通信信号集合时,将仿真得到的基带信号通过成型滤波器再进行调制和加噪处理。本专利采用的是RML2016.10a数据集,该数据集包含了220000个数据样本,每个样本有长度为128的I、Q两路信号。其中有11种调制方式,3种模拟调制方式为:AM-DSB,AM-SSB,WB-FM,8种数字调制方式为:BPSK,8PSK,CPFSK,GFSK,PAM4,QAM16,QAM64,QPSK。这些数据均匀产生在-20dB到18dB这20种信噪比上,信噪比间隔为2dB。为了验证本发明提出的方法的有效性,采用其中的三种作为实验分类目标,分别是BPSK、8PSK以及CPFSK。
第二步:依照3种调制方式、20种信噪比依次提取保存在变量zp中,每个样本中实部和虚部均为维数128的向量。为了神经网络训练和测试的准确性,将数据集进行随机打乱生成10份原始数据集,对于每份数据集随机选择50%的数据作为训练集,30%的数据作为测试集,剩下的20%的数据作为验证集。最终的训练正确率为10组的平均值,对数据集中的3种调制方式对应的标签进行one-hot编码,得到:
Figure BDA0003214093030000161
第三步:建立一个初始的前向复值神经网络,复值神经网络模型中的所有参数和变量均为复数的形式,zp为复数值的输入信号,P是输入样本个数,L和M分别表示网络输入层神经元和隐层神经元的个数,S表示单个隐层神经元的参数个数,Φm表示第m个隐层神经元的输出矩阵,y表示网络的实际输出,e表示网络的输出误差;
第四步:实验条件设为:最大迭代次数K为200,初始构建隐层神经元个数设置为10,损失函数的阈值要求ε为0.01,迭代延迟τ=5,误差下降的阈值ξ=0.001以及阻尼系数μ=0.01,并设置缩放因子β=10,如果新一次的迭代更新后计算得到的损失函数值与上一次迭代时的损失函数值相比降低了,则令μ=μ/β;否则μ=μ×β,并且初始化迭代计数器k=0;
第五步:使用复数值LM算法和复数值LS算法在训练集上对固定结构的前向复值神经网络进行训练,首先利用隐层输出矩阵Φ构建其增广矩阵作为新的隐层输出矩阵,表示为
Figure BDA0003214093030000171
通过复值最小二乘算法直接计算隐层神经元与每个网络输出层神经元之间的权重
Figure BDA0003214093030000172
从而得到
Figure BDA0003214093030000173
计算当前的误差函数值e,再根据误差函数值计算得到新的雅克比矩阵Jnew、JCnew
Figure BDA0003214093030000174
Figure BDA0003214093030000175
从而得到Gnew,再经计算得到每个输出的稀疏矩阵So和SCo从而得到整体的稀疏矩阵
Figure BDA0003214093030000176
进而计算得到网络输入层与隐层神经元之间的权值修正量
Figure BDA0003214093030000177
并对其进行更新,迭代计数器k=k+1;
第六步:采用验证集验证当前前向复值神经网络的性能,验证当前网络结构在验证集的准确率,并保存参数
Figure BDA0003214093030000178
Figure BDA0003214093030000179
第七步:根据损失函数在当前迭代与延迟迭代时刻的变化关系,判断前向复值神经网络是否满足隐层神经元添加标准,若满足,转至第八步,否则转至第五步;
第八步:添加一个隐层神经元,构建新增的隐层神经元输出向量
Figure BDA00032140930300001710
并计算
Figure BDA00032140930300001711
以及新增神经元隐层到输出层的输出权值
Figure BDA00032140930300001712
和对应的误差矩阵
Figure BDA00032140930300001713
新的网络参数
Figure BDA00032140930300001714
以及
Figure BDA00032140930300001715
可以在已优化参数的基础上进行更新计算,转至第五步;
在添加一个新的隐层神经元后,网络的隐层输出矩阵、复变量权值修正量等都会在前一次训练的基础上进行计算得到,以此来达到降低计算复杂度。
第九步:将经训练得到的较优的前向复值网络模型的参数作为初始值,使用复值结构优化算法对其参数进行微调,获得最终的前向复值神经网络,并在测试集上测试其性能。
本发明的试验结果为:
如图3所示,为前向复值神经网络训练通信信号调制方式识别的单次训练情况,曲线为损失函数(MSE)的收敛曲线,竖线表示添加隐层神经元的时刻,竖线长度表示在验证集下添加神经元时刻的网络的测试错误率。标红的竖线为最终选择出的最优网络结构,此刻表示训练后的网络能够使得验证集上的赤池准则的结果最优。
如图4所示,为复数结构优化算法MCV-HC与复数值的一阶算法CGD和CBBM以及二阶的算法CLBFGS的损失下降的示意图,CDG和CBBM是常见复值梯度类算法,CL-BFGS是传统的复值L-BFGS算法,从图中可以看出,本专利提出的算法收敛速度较以上三种算法更快。
如图5所示,为复值神经网络在不同信噪比下的信号调制方式识别正确率,相比于一阶的复值算法CGD和CBBM本专利提出算法表现效果良好。
本实例提供了一种基于结构优化的前向复值神经网络,利用复值神经网络对复值信号进行处理的强大计算能力和信号的IQ调制可以表示为复数形式
Figure BDA0003214093030000181
的优势,将输入样本的I路信号和Q路信号合并成一路复值信号输入所述的前向复值神经网络的最优模型。
优点在于:现有的信号调制识别方法大都是需要对原始信号样本事先进行特征提取,计算需要识别的信号的瞬时特征进行训练。然而RML2016.10a数据集中的信号分为I和Q两路信号,是采用GNU Radio这个开源的软件无线电平台产生,该数据集中每个符号有8个采样点,采样率为200khz。由于在产生这些信号的过程,模拟了信道中的大量影响因素,如衰落、多径、采样偏差率、脉冲整流等,将信号通过未知的信号模型,使得信号并不能简单通过提取特征立刻被鉴定得到。一般的实数值神经网络都是将I路和Q路信号视作不同的特征进行训练,但是IQ调制信号一般表示为s(t)=I cos w0t-Q sin w0t,根据复变函数
Figure BDA0003214093030000191
IQ信号可以用复数形式进行表示为
Figure BDA0003214093030000192
而复数值神经网络可以利用处理复值信号的优势,将IQ两路信号用一个复数值I+jQ进行表示,作为网络的输入。
同时本专利采用的结构优化算法分别对输入层和隐层、隐层和输出层间的权重修正量进行更新,通过利用复数值神经网络增量构建机制实现一个紧凑的自适应的网络结构,这不但实现了网络结构的自适应,采用的复值LM和最小二乘算法也减少了计算的参数量,加快了训练速度。重要的是,增量构建机制保证了在增加隐层神经元后,后续的训练是在前一次迭代的基础上继续进行的,这极大的避免了耗时的试错过程,也提高了前向复值神经网络的泛化能力。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于,包括如下步骤:
步骤S1:采集整理样本数据集,该数据集包含了经过不同调制方式得到的通信信号,所述经过不同调制方式得到的通信信号被存储为I/Q两路信号的形式;
步骤S2:对S1得到的数据集进行预处理,并按一定比例划分为训练集、验证集和测试集;将预处理好的数据作为前向复值神经网络的输入,初始化前向复值神经网络的结构和参数;
步骤S3:利用复值结构优化算法调整所述前向复值神经网络的参数,对损失函数进行优化,判断是否满足模型构建终止条件,若不满足,进入步骤S4,若满足,则进入步骤S5;
步骤S4:在验证集验证所述前向复值神经网络的泛化性能,保存当前隐层神经元的个数以及所述前向复值神经网络的所有参数值,并判断是否满足所述隐层神经元的添加标准:若满足,则采用复值增量构建方法向隐层增添一个神经元,在当前训练的基础上计算新增神经元的权值、隐层输出矩阵和损失函数值,进入步骤S3,若不满足,则直接进入步骤S3;
步骤S5:利用复值结构优化算法进一步微调前向复值神经网络的所有参数,得到结构最优的复值神经网络模型;
步骤S6:将待识别的通信信号经过预处理后输入到构建的最优复值神经网络模型,实现通信信号调制方式的识别。
2.根据权利要求1所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S2中,所述初始的前向复值神经网络是单隐层的前向复值神经网络模型,所述前向复值神经网络模型包括输入层、隐层和输出层;所述预处理包括归一化、分段处理,将每种调制方式的通信信号进行打乱处理后分成长度相等的多个数据段对应标签的集合的形式。
3.根据权利要求2所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S2中,所述前向复值神经网络的输入为zp=xp+iyp∈CL,其中,p=1,2,...P,xp和yp分别是第p个样本的I路信号和Q路信号,L是输入层神经元个数,隐层采用splittanh激活函数。
4.根据权利要求2所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S3中,利用前向复值结构优化算法调整所述前向复值神经网络中的参数的方法为:采用复值LM算法对模型的输入层和隐层之间的权值进行更新,采用复值最小二乘算法对隐层与输出层之间的权值进行更新。
5.根据权利要求4所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:具体包括:对所述前向复值神经网络进行训练时,先根据分类目标的个数构建一个与隐层输出矩阵对应的广义增广矩阵以及维度对应的雅克比矩阵,计算隐层输出矩阵和模型的实际输出,运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值的变化量;再经计算得到隐层输出的对应于不同输出神经元的稀疏矩阵,计算当前的损失函数值,并对其进行优化,利用复值LM算法得到输入层与隐层神经元之间权值的修正量,并对其进行更新。
6.根据权利要求1所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S3中,判断是否满足模型构建终止条件的方法为:损失函数是否小于设定的阈值或者训练是否达到最大迭代次数;步骤S3中,所述损失函数是复变量均方误差函数;具体地,选择复变量均方误差函数做为损失函数:
Figure FDA0003936702830000021
7.根据权利要求1所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S4中,判断是否满足所述隐层神经元的添加标准方法为:根据损失函数在当前迭代与延迟迭代时的变化关系,判断前向复值神经网络是否满足隐层神经元添加标准。
8.根据权利要求7所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:具体地:根据公式
Figure FDA0003936702830000031
判断是否满足添加隐层神经元的条件,其中E(t)和E(t-τ)分别表示第t和第t-τ次迭代时的损失函数值,τ为一正整数,表示迭代延迟次数,η为一常数,表示缩减阈值。
9.根据权利要求1所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:步骤S4中,添加一个新的隐层神经元后,模型的隐层输出矩阵及其增广矩阵、复变量权值修正量、损失函数都会在前一次训练的基础上进行计算得到。
10.根据权利要求1所述的基于结构优化算法的复值神经网络的信号调制识别方法,其特征在于:IQ信号用复数形式进行表示为
Figure FDA0003936702830000032
所以信号的IQ调制表示为复数形式
Figure FDA0003936702830000033
将输入样本的I路信号和Q路信号合并成一路复值信号输入所述的前向复值神经网络的最优模型,得到最终的通信信号的调制类型,达到识别的目的。
CN202110939236.1A 2021-08-16 2021-08-16 基于结构优化算法的复值神经网络的信号调制识别方法 Active CN113642653B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110939236.1A CN113642653B (zh) 2021-08-16 2021-08-16 基于结构优化算法的复值神经网络的信号调制识别方法
PCT/CN2021/113963 WO2023019601A1 (zh) 2021-08-16 2021-08-23 基于结构优化算法的复值神经网络的信号调制识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939236.1A CN113642653B (zh) 2021-08-16 2021-08-16 基于结构优化算法的复值神经网络的信号调制识别方法

Publications (2)

Publication Number Publication Date
CN113642653A CN113642653A (zh) 2021-11-12
CN113642653B true CN113642653B (zh) 2023-02-07

Family

ID=78422155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939236.1A Active CN113642653B (zh) 2021-08-16 2021-08-16 基于结构优化算法的复值神经网络的信号调制识别方法

Country Status (2)

Country Link
CN (1) CN113642653B (zh)
WO (1) WO2023019601A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992937A (zh) * 2022-04-19 2023-11-03 华为技术有限公司 神经网络模型的修复方法和相关设备
CN115270891A (zh) * 2022-08-22 2022-11-01 苏州大学 一种信号对抗样本的生成方法、装置、设备及存储介质
CN116488974B (zh) * 2023-03-20 2023-10-20 中国人民解放军战略支援部队航天工程大学 一种结合注意力机制的轻量化调制识别方法和系统
CN116087692B (zh) * 2023-04-12 2023-06-23 国网四川省电力公司电力科学研究院 一种配电网树线放电故障识别方法、系统、终端及介质
CN116306893B (zh) * 2023-05-24 2023-07-28 华东交通大学 一种接触网覆冰预警方法
CN117155792B (zh) * 2023-10-30 2024-01-12 中诚华隆计算机技术有限公司 一种芯粒间通信动态带宽调整方法及系统
CN117768278B (zh) * 2023-11-30 2024-06-14 中国人民解放军战略支援部队航天工程大学 一种基于混合型复数神经网络的调制识别方法
CN117494617B (zh) * 2023-12-29 2024-04-16 中国石油大学(华东) 基于内嵌物理信息神经网络的二氧化碳驱油快速模拟方法
CN117609673B (zh) * 2024-01-24 2024-04-09 中南大学 基于物理信息神经网络的六自由度并联机构正解方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314257A (zh) * 2020-03-13 2020-06-19 电子科技大学 一种基于复值神经网络的调制方式识别方法
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918352B2 (en) * 2011-05-23 2014-12-23 Microsoft Corporation Learning processes for single hidden layer neural networks with linear output units
US10275707B2 (en) * 2014-11-10 2019-04-30 The Boeing Company Systems and methods for training multipath filtering systems
EP3959848A4 (en) * 2019-04-23 2022-06-22 Deepsig Inc. COMMUNICATION SIGNAL PROCESSING BY MEANS OF A MACHINE LEARNING NETWORK
CN111709496A (zh) * 2020-08-18 2020-09-25 北京邮电大学 基于神经网络的调制方式识别及模型训练方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314257A (zh) * 2020-03-13 2020-06-19 电子科技大学 一种基于复值神经网络的调制方式识别方法
CN111950711A (zh) * 2020-08-14 2020-11-17 苏州大学 复值前向神经网络的二阶混合构建方法及系统

Also Published As

Publication number Publication date
WO2023019601A1 (zh) 2023-02-23
CN113642653A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN113642653B (zh) 基于结构优化算法的复值神经网络的信号调制识别方法
CN109948658B (zh) 面向特征图注意力机制的对抗攻击防御方法及应用
CN110048827B (zh) 一种基于深度学习卷积神经网络的类模板攻击方法
US11586911B2 (en) Pre-training system for self-learning agent in virtualized environment
CN111241952B (zh) 一种离散制造场景中的强化学习奖励自学习方法
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN111242157A (zh) 联合深度注意力特征和条件对抗的无监督域自适应方法
CN107832789B (zh) 基于平均影响值数据变换的特征加权k近邻故障诊断方法
CN113723556B (zh) 基于熵加权-多模态域对抗神经网络的调制方式识别方法
CN111950711A (zh) 复值前向神经网络的二阶混合构建方法及系统
KR20200072588A (ko) Cnn기반의 딥러닝 모델 학습장치 및 그 방법
CN113205140B (zh) 基于生成式对抗网络的半监督式特定辐射源个体识别方法
CN114897144A (zh) 基于复值神经网络的复值时序信号预测方法
CN109284662A (zh) 一种面向水下声音信号分类的迁移学习方法
CN108631817B (zh) 一种基于时频分析和径向神经网络进行跳频信号频段预测的方法
Singh et al. Modified mean square error algorithm with reduced cost of training and simulation time for character recognition in backpropagation neural network
CN113902095A (zh) 一种无线通信自动调制识别方法、装置与系统
CN113822443A (zh) 一种对抗攻击和生成对抗样本的方法
CN112422208B (zh) 未知信道模型下基于对抗式学习的信号检测方法
CN112084936B (zh) 一种人脸图像预处理方法、装置、设备及存储介质
CN111062403B (zh) 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN110544124A (zh) 一种基于模糊神经网络的废旧手机定价方法
CN111416595B (zh) 一种基于多核融合的大数据滤波方法
CN111786915B (zh) 非线性失真条件下基于深度学习的无线通信方法及其系统
CN113159082A (zh) 一种增量式学习目标检测网络模型构建及权重更新方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant