CN112308133A - 基于卷积神经网络的调制识别方法 - Google Patents

基于卷积神经网络的调制识别方法 Download PDF

Info

Publication number
CN112308133A
CN112308133A CN202011182208.1A CN202011182208A CN112308133A CN 112308133 A CN112308133 A CN 112308133A CN 202011182208 A CN202011182208 A CN 202011182208A CN 112308133 A CN112308133 A CN 112308133A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
layer
network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011182208.1A
Other languages
English (en)
Inventor
张航
陈宇林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yuejian Technology Co.,Ltd.
Original Assignee
Chengdu Mingjie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Mingjie Technology Co ltd filed Critical Chengdu Mingjie Technology Co ltd
Priority to CN202011182208.1A priority Critical patent/CN112308133A/zh
Publication of CN112308133A publication Critical patent/CN112308133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/0012Modulated-carrier systems arrangements for identifying the type of modulation

Abstract

本发明公开了一种基于卷积神经网络的调制识别方法,包括以下步骤:S1:选取调制信号数据集并设计卷积神经网络模型结构;S2:在卷积神经网络模型中通过残差连接的方式构建残差单元;S3:在卷积神经网络模型中对网络层中的数据分批次进行批归一化;S4:设置卷积神经网络参数;S5:对卷积神经网络进行训练,并随机丢失训练集中的数据;S6:将信号带入训练后的卷积神经网络并进行调制识别;通过结合时间卷积网络的时序特征提取能力和注意力机制对特征表达的增强能力,提出一种并联式网络,以融合卷积神经网络中提取的空间特征和时间卷积网络中提取的时序特征,进一步提升调制识别性能。

Description

基于卷积神经网络的调制识别方法
技术领域
本发明涉及信号调制识别领域,具体是基于卷积神经网络的调制识别方法。
背景技术
调制识别,也被称为调制分类,是指在未知信号调制方式先验信息的前提下,从接收信号中准确识别出调制类型,为后续的解调工作打下基础。无论在民用领域还是军事领域,调制识别都发挥着极为关键的作用。在民用领域,由于各种通信方式和通信设备层出不穷,无线电频谱资源正变得日益稀缺,随着通信产业发展,当前无线频谱根据具体业务不同,相应划分为民用的广播电视、无线通讯、卫星通讯等不同频段。通信管理部门需要对频谱资源进行有效监管,避免无线频谱被非法占用,提高频谱利用率。调制识别作为频谱监测中的重要环节,可以用来确认未知干扰信号的类型,从而为通信系统的正常工作提供保障。在军用领域,调制识别的作用更为关键,主要体现在电子侦察和电子对抗等领域。通过电子侦察可以监听敌方通信,这一过程需要识别出敌方信号的调制方式,进而对信号进行解调以获取相关内容。电子对抗在电子侦察的基础上对截获的敌方信号进行分析,进一步估计相关通信参数并添加干扰信息,从而破坏敌方的通信设备。所以,调制识别是无线通信领域中极为关键的基础性技术,有着重要的应用价值与发展前景,亦是实现万物互联所不可或缺的组成部分。
目前,在非合作通信系统和认识无线电平台中,通信信号的自动调制识别器都是非常关键的系统组件,调制识别器的识别性能高低关乎整个通信系统能否正常有效的工作,如何有效提取特征参数、采用不同的识别算法与分类器实现调制识别,在军用和民用通信均有广泛的应用,是软件无线电、认知无线电、频谱感知等领域研究的基础。由于传统调制识别方法识别率不高、易受噪声影响,所以导致其在接收信号的时候容易发生偏差,从而影响到信号调制识别的性能,信号调制识别性能差会对通信能力造成极大的影响,所以如何提高调制识别性能便成为信号调制识别领域亟待解决的问题。
发明内容
本发明的目的在于克服现有技术在处理信号时调制识别性能较差的不足,提供了一种基于卷积神经网络的调制识别方法,通过结合时间卷积网络的时序特征提取能力和注意力机制对特征表达的增强能力,提出一种并联式网络,以融合卷积神经网络中提取的空间特征和时间卷积网络中提取的时序特征,进一步提升调制识别性能。
本发明的目的主要通过以下技术方案实现:
基于卷积神经网络的调制识别方法,包括以下步骤:
S1:选取调制信号数据集并设计卷积神经网络模型结构;
S2:在卷积神经网络模型中通过残差连接的方式构建残差单元;
S3:在卷积神经网络模型中对网络层中的数据分批次进行批归一化;
S4:设置卷积神经网络参数;
S5:对卷积神经网络进行训练,并随机丢失训练集中的数据;
S6:将信号带入训练后的卷积神经网络并进行调制识别。
基于特征工程的调制识别方法通常分为三个阶段:接收信号预处理、特征提取和分类识别。首先从未知的接收信号进行预处理操作得到采样序列,然后从序列中提取出关键特征,最后根据这些特征构建分类器进而实现信号调制方式的分类,广泛应用于民用和军用的通信中。本发明将直接从数字信号的原始IQ数据出发,利用卷积神经网络的空间特征提取能力,通过对卷积神经网络进行改进提出一种新的基于卷积神经网络的调制识别方法;在此基础上,结合时间卷积网络的时序特征提取能力和注意力机制对特征表达的增强能力,提出一种并联式网络,以融合卷积神经网络中提取的空间特征和时间卷积网络中提取的时序特征,进一步提升调制识别性能;在本发明中由于在网络训练过程中,可能会出现过拟合现象,即对训练集中的数据拟合得过好,而在测试集中的误差很大,所以采用随机丢失的方式消除误差,随机丢失作为一种正则化方法,可以防止训练过程中出现过拟合,提高模型的泛化性能,具体来讲,在每一次前向传播的过程中,按照一定的概率随机使部分神经元失活,利用剩余的神经元来进行训练,在下一次训练中,失活的神经元将得以恢复,再重复以上的过程,通过这种方式,Dropout使得参数的更新不再局限于某些神经元之间的固有关系;本发明通过结合时间卷积网络的时序特征提取能力和注意力机制对特征表达的增强能力,提出一种并联式网络,以融合卷积神经网络中提取的空间特征和时间卷积网络中提取的时序特征,进一步提升调制识别性能。
进一步的,所述步骤S1中卷积神经网络结构包括卷积层、池化层和全连接层,其中,
卷积层,对输入层通过卷积核进行卷积运算,以提取信号中的空间特征,每一卷积层中包含多个卷积核,卷积层将上一层的特征图作为输入,多个卷积核对特征图进行卷积运算得到输出特征,卷积运算的过程可定义为:
Figure BDA0002750492200000021
式中,l表示网络层的数量,w代表卷积核,b则为偏置向量,f(·)表示激活函数;
池化层,连接在卷积层之后,根据局部关联性原理对卷积层的输出进行下采样,池化层的表达式为:
Figure BDA0002750492200000031
式中,down(·)表示池化函数;
全连接层,多个卷积层和池化层的特征处理后,连接一个或多个全连接层,将自动提取到的高层次特征整合为局部特征信息,最后经过分类器实现结果的输出,将输出结果经过独热编码处理后转换为向量形式。
本发明中卷积层是卷积神经网络中的最重要的组成部分,对输入层通过卷积核进行卷积运算,以提取信号中的空间特征;每一卷积层中包含多个卷积核,其尺寸大小关系到卷积神经网络对特征的提取能力;卷积层将上一层的特征图作为输入,多个卷积核对特征图进行卷积运算得到输出特征,该过程所示,类似于滑动窗口的形式来实现多个特征的提取和映射;卷积运算的过程可定义为:
Figure BDA0002750492200000032
式中,l表示网络层的数量,w代表卷积核,b则为偏置向量,f(·)表示激活函数;
本发明中池化层通常连接在卷积层之后,根据局部关联性原理对卷积层的输出进行下采样;这种方式可以减少参数数量,实现特征降维,以减少过拟合现象的产生;此外,当输入中存在少量尺寸和位置平移变换时,通过池化层的输出具有不变形的特点;池化方法包括最大池化、均值池化和自适应池化等,最大池化将特征图分为为若干个矩形区域,输出每个区域中的最大值;均值池化则是输出每个区域的平均值。由于最大池化能够保留特征图中最明显的特征,提高特征的表达能力,因此本发明在池化层中采用最大池化的方法;池化层的表达式为:
Figure BDA0002750492200000033
式中,down(·)表示池化函数;
在通过多个卷积层和池化层的特征处理后,通常会连接一个或多个全连接层,将自动提取到的高层次特征整合为局部特征信息,最后经过分类器实现结果的输出,将输出结果经过独热编码处理后转换为向量形式,该向量的长度与分类的类别数量相同,以便计算得到每一类别的概率,从而完成识别任务。
进一步的,在步骤S1中使用卷积核组成的卷积块,并通过残差连接的方式构建残差单元;在卷积块的两个卷积层之间加入批归一化处理;使用全局平均池化层来代替整个卷积神经网络中除最后一层全连接层之外的全连接层。
在本发明中残差连接源于残差神经网络ResNet,该网络通过在模型中加入残差单元,通过残差连接的方式避免了梯度消失,有效地训练出了152层的深度神经网络;ResNet本质是一种卷积神经网络,通常情况下,随着网络深度的提升,模型的特征提取能力会相应加强,然而当网络深度过深时,会产生难以训练的问题,其原因在于训练过程中由于网络深度过深而导致梯度消失,因此在加深网络深度的同时需要克服梯度消失的困难,残差连接可以很好地解决此类问题;在残差连接的结构中,输入X在分别通过两层卷积网络和一个越层连接后进行求和计算,通过残差连接可以避免提取到的特征图丢失的现象,使网络可以更好地完成训练,在该残差单元中,X在经过两个卷积层后转换为F(X),最终得到输出如下所示:
Xl+1=ReLU(F(Xl)+Xl)
上式中,Xl和Xl+1分别表示第l个残差单元的输入和输出,ReLU激活函数为输出添加了非线性因素,增强了其表达能力。通过链式计算法则与反向传播算法,可以得到第l层残差单元的输出为:
Figure BDA0002750492200000041
由式中可以看出,输入在经过残差单元后得到的梯度较不经过残差连接的卷积神经网络多1,因此当残差变化较大时,可以通过梯度来完成更新的参数,当其变化较小时,同样可以保证梯度不会消失,所以加入残差连接可以有效避免在网络加深后出现的梯度消失问题,在增加深度的同时也能使网络实现良好的拟合能力;
当增加卷积神经网络的深度时,能够提取到更高维的特征,但也会产生模型收敛速度减缓而导致难以训练的问题。在卷积神经网络训练过程中,网络层的参数的数值和分布会不断发生变化,进而降低了模型的稳定性,批归一化即对网络层中的每一批数据进行归一化操作,在输入变化较小的情况下使损失函数发生较大的变化,从而防止梯度爆炸的问题,同时较大的梯度能够加快训练时的收敛速度,提升模型训练程度,因此,本发明在卷积神经网络的卷积层及之后的池化层加入BN层。批归一化的过程可表示为:
Figure BDA0002750492200000042
Figure BDA0002750492200000043
其中x(i)表示输入数据的第i维,E[x(i)]和
Figure BDA0002750492200000044
分别为该维数据的均值与标准差,γ和β为学习参数;经过批归一化后数据中均值的位置和方差的大小发生变化,每一层输入数据在通过推导后可得到均值和方差分别为0和1的标准正态分布,为了防止网络的表达能力下降,设置相应的学习参数γ和β,进行缩放与平移处理来还原上一层应该学习到的数据分布,使每一层输入数据分布稳定。
进一步的,卷积核个数设置为32,每一残差单元的第一个卷积核尺寸为1×1,此后在第一个残差单元中卷积核尺寸为2×3,其余残差单元中尺寸为1×3。本发明在卷积层中都进行了边缘扩充,在部分残差单元之后分别连接Dropout层,以提高网络的泛化性能,其中失活率都设置为0.25,第一个残差单元的最后一层池化层中池化核尺寸为2×2,池化步长为2×2,其余残差单元中池化核尺寸为1×2,池化步长为1×2,这些池化层使用最大池化方法来达到降维的目的,最后通过一层全局平均池化层后,将特征输入至全连接层。
进一步的,所述步骤S5包括前向传播与反向传播两个阶段,在前向传播中,将输入数据传入网络中,通过非线性变换计算得到网络中每一层的输出,在反向传播中,将网络的预测值与真实值之间的误差作为损失函数,以最小化损失函数为目标来调节网络中各层的参数。
卷积神经网络通过有监督学习方式进行训练,即从大量输入输出的学习过程中找到数据的之间独有的联系,在训练之前,首先需要网络参数进行初始化,如果设置成相同的参数,则会导致网络难以学习,因此应采用不同的随机数来进行初始化,并且随机数的值不能过大,以避免训练过程进入饱和状态,这与BP神经网络相同,而本发明中的卷积神经网络主要包括前向传播与后向传播两个阶段。
进一步的,所述步骤S5包括:
S5.1:将网络参数进行初始化;
S5.2:计算卷积层、池化层、全连接层输出的特征图;
S5.3:得出预测值与真实值之间的误差;
S5.4:判断误差是否收敛,若收敛则结束训练,固定网络参数;若不收敛则进入反向传播阶段。
在前向传播中,将输入数据传入网络中,通过非线性变换计算得到网络中每一层的输出,同时需要对卷积神经网络中的各参数进行初始化,在本发明中对卷积核与全连接层中的权重初始化为符号截断正态分的随机值,其方差与偏置分别为0.1和0,同时将批归一化中的尺度和偏置参数初始化为1和0,前向传播阶段主要包括两步:第一,从训练集中选择一组样本 (X,Y),将X作为网络的输入;第二输入X经过每一层的非线性变换,得到网络输出值。
进一步的,所述步骤S5.4中的反向传播阶段包括:
5.4.1:计算网络层中的误差;
5.4.2:计算梯度;
5.4.3:更新网络层的权值;
5.4.4:将更新后的权值带入卷积神经网络中对初始化的数据进行处理。
在反向传播中,将网络的预测值与真实值之间的误差作为损失函数,以最小化损失函数为目标来调节网络中各层的参数,主要步骤包括:第一,计算网络的输出值和样本类别标签Y 的误差;第二,分别计算损失函数关于权重和偏置的梯度,根据式和式对参数进行更新,列式如下:
Figure BDA0002750492200000061
Figure BDA0002750492200000062
式中,J(W,b)表示损失函数,η为学习率,
Figure BDA0002750492200000063
为第l层的第j个特征图到第l+1层的第 i个特征图之间的权重矩阵,
Figure BDA0002750492200000064
为第l+1层的第i个特征图的偏置。
综上所述,本发明与现有技术相比具有以下有益效果:
(1)本发明使用卷积核组成的卷积块,并通过残差连接的方式构建残差单元。为了获得更大的感受野,提高网络的特征提取能力,本发明针对1×3和2×3的卷积核,分别设计了由两个卷积核级联构成卷积块,同时在两卷积层之间加入批归一化提升网络的稳定性,再通过ReLU激活函数进行非线性变换。在此基础上通过残差连接的方式构建残差块,且在2个残差块后连接最大池化层组成残差单元。通过使用残差单元,可以提高网络提取数据特征的能力,减少参数规模及克服训练过程中因网络深度增加而产生的梯度消失的问题。
(2)本发明在卷积块的两个卷积层之间加入批归一化处理,提高网络的稳定性和收敛速度,防止训练时产生过拟合。
(3)本发明为了减少网络参数规模,使用全局平均池化层来代替整个卷积神经网络中除最后一层全连接层之外的全连接层,达到提高训练过程效率的目的。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为典型卷积神经网络结构图;
图2为本发明卷积神经网络训练过程流程图;
图3为本发明残差连接结构图;
图4为本发明随机丢失示意图;
图5为本发明批归一化效果图;
图6为本发明残差单元及卷积块结构示意图;
图7为本发明卷积神经网络结构示意图;
图8为本发明训练过程中损失函数及准确率变化曲线图;
图9为本发明实施例3对比实验结果图;
图10为本发明卷积神经网络混淆矩阵图;
图11为传统卷积神经网络及深度残差卷积神经网络混淆矩阵图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1:
如图1~8所示,本实施例涉及一种基于卷积神经网络的调制识别方法,包括以下步骤:
S1:选取调制信号数据集并设计卷积神经网络模型结构;
S2:在卷积神经网络模型中通过残差连接的方式构建残差单元;
S3:在卷积神经网络模型中对网络层中的数据分批次进行批归一化;
S4:设置卷积神经网络参数;
S5:对卷积神经网络进行训练,并随机丢失训练集中的数据;
S5.1:将网络参数进行初始化;
S5.2:计算卷积层、池化层、全连接层输出的特征图;
S5.3:得出预测值与真实值之间的误差;
S5.4:判断误差是否收敛,若收敛则结束训练,固定网络参数;若不收敛则进入反向传播阶段;
5.4.1:计算网络层中的误差;
5.4.2:计算梯度;
5.4.3:更新网络层的权值;
5.4.4:将更新后的权值带入卷积神经网络中对初始化的数据进行处理。
S6:将信号带入训练后的卷积神经网络并进行调制识别。
本发明使用调制识别领域的公开数据集RML2016.10a,该数据集由GNU Radio生成,产生数据的相关参数如表所示,GNU Radio是一个开源的软件无线电系统,其中提供了大量信号处理功能,如信道模拟、信号生成、调制解调和信号分析等,广泛应用于无线电系统仿真领域。该软件无线电系统通过模拟真实信道中存在的多种因素,包括信道衰落,加性高斯白噪声,采样偏差等,且在使用大量真实语言及文本信号的基础上,形成了近似于真实无线电传输环境中的数据,具有重要的研究与应用价值。RML2016.10a数据集中样本总数为220000,包含11种调制信号,分别是3种模拟调制信号WBFM,AM-DSB,AM-SSB和8种数字调制信号CPFSK,GFSK,BPSK,QPSK,8PSK,QAM16,QAM64,PAM4。数据集中的每一个样本为尺寸大小为2×128的IQ采样序列,每种信号均匀分布在以2dB为步长的-20dB至18dB 的信噪比范围内,数据集相关参数如表1所示。
表1数据集相关参数
Figure BDA0002750492200000081
详细来说,所述步骤S1中卷积神经网络结构包括卷积层、池化层和全连接层,其中,
卷积层,对输入层通过卷积核进行卷积运算,以提取信号中的空间特征,每一卷积层中包含多个卷积核,卷积层将上一层的特征图作为输入,多个卷积核对特征图进行卷积运算得到输出特征,卷积运算的过程可定义为:
Figure BDA0002750492200000082
式中,l表示网络层的数量,w代表卷积核,b则为偏置向量,f(·)表示激活函数;
本发明在卷积神经网络中使用ReLU激活函数,它在AlexNet模型中被成功使用,并验证了在深层神经网络中具有良好的应用性。ReLU激活函数为卷积神经网络加入非线性特性,提高了网络中的非线性拟合能力,且具有收敛快的优点,在输入为正数时其导数为一固定值,有利于梯度下降法的训练过程。在输入为负数的时,其输出和导数均为0,从而无法更新权重,提升了网络稀疏性的稀疏性能。
池化层,连接在卷积层之后,根据局部关联性原理对卷积层的输出进行下采样,池化层的表达式为:
Figure BDA0002750492200000083
式中,down(·)表示池化函数;当输入的图像尺寸大小为4×4,池化核尺寸大小为2×2,池化步长为2,经过最大池化和均值池化后分别得到尺寸为2×2的特征图,最大池化输出每个区域中的最大值,均值池化输出每个区域中的平均值,并丢弃其他值,从而形成降维后的特征图。
全连接层,多个卷积层和池化层的特征处理后,连接一个或多个全连接层,将自动提取到的高层次特征整合为局部特征信息,最后经过分类器实现结果的输出,将输出结果经过独热编码处理后转换为向量形式。
具体的,在步骤S1中使用卷积核组成的卷积块,并通过残差连接的方式构建残差单元;在卷积块的两个卷积层之间加入批归一化处理;使用全局平均池化层来代替整个卷积神经网络中除最后一层全连接层之外的全连接层;卷积核个数设置为32,每一残差单元的第一个卷积核尺寸为1×1,此后在第一个残差单元中卷积核尺寸为2×3,其余残差单元中尺寸为1× 3。
详细来说,所述步骤S5包括前向传播与反向传播两个阶段,在前向传播中,将输入数据传入网络中,通过非线性变换计算得到网络中每一层的输出,在反向传播中,将网络的预测值与真实值之间的误差作为损失函数,以最小化损失函数为目标来调节网络中各层的参数。
在前向传播中,将输入数据传入网络中,通过非线性变换计算得到网络中每一层的输出。同时需要对卷积神经网络中的各参数进行初始化,在本实施例的实验中对卷积核与全连接层中的权重初始化为符号截断正态分的随机值,其方差与偏置分别为0.1和0,同时将批归一化中的尺度和偏置参数初始化为1和0。在反向传播中,将网络的预测值与真实值之间的误差作为损失函数,以最小化损失函数为目标来调节网络中各层的参数。在训练过程中,通过反复执行上述两个阶段,直到得到最优的网络参数,即可以得到性能较好的卷积神经网络,这两个阶段的具体步骤如下:
第一阶段,前向传播:
从训练集中选择一组样本(X,Y),将X作为网络的输入
输入X经过每一层的非线性变换,得到网络输出值。
第二阶段,反向传播:
计算网络的输出值和样本类别标签Y的误差。
分别计算损失函数关于权重和偏置的梯度,根据式和式对参数进行更新。
Figure BDA0002750492200000091
Figure BDA0002750492200000092
式中,J(W,b)表示损失函数,η为学习率,
Figure BDA0002750492200000101
为第l层的第j个特征图到第l+1层的第 i个特征图之间的权重矩阵,
Figure BDA0002750492200000102
为第l+1层的第i个特征图的偏置。
实施例2:
如图1~8所示,本实施例在实施例1的基础上提出卷积神经网络的具体参数设置如表2 所示,其中列举了第一个残差单元Unit1和第二个残差单元Unit2及全局平均池化层GAP及 Softmax分类层的具体参数,其余三个残差单元与第二个残差单元中的参数保持一致。卷积核个数设置为32,每一残差单元的第一个卷积核尺寸为1×1,此后在第一个残差单元中卷积核尺寸为2×3,其余残差单元中为1×3。值得注意的是,在卷积层中都进行了边缘扩充。在第二个残差单元和第四个残差单元之后分别连接Dropout层,以提高网络的泛化性能,其中失活率都设置为0.25。第一个残差单元的最后一层池化层中池化核尺寸为2×2,池化步长为2 ×2,其余残差单元中池化核尺寸为1×2,池化步长为1×2,这些池化层使用最大池化方法来达到降维的目的。最后通过一层全局平均池化层后,将特征输入至全连接层。
表2卷积神经网络参数设置
Figure BDA0002750492200000103
Figure BDA0002750492200000111
实施例3:
本实施例以64位Ubuntu 16.04 LTS系统为实验环境,通过Tensorflow后端的Keras深度学习框架完成模型构建,并使用NVIDIA GTX 1070Ti显卡对训练过程进行加速。使用公开调制信号数据集RML2016.10a作为实验数据,将数据集中60%的数据作为训练集,20%作为测试集,剩余的20%作为验证集。训练过程中使用交叉熵损失函数及Adam优化器,训练迭代次数设置为120,通过早停法来控制模型是否继续迭代,若每10轮训练后识别率变化不大则停止迭代。在卷积神经网络的训练过程中,不同的批尺寸可能会对网络的识别率和训练时间产生一定的影响。每次随机选择批尺寸大小的数据样本训练卷积神经网络,更新权值直至整个数据集输入至网络中。当批尺寸较大时,训练过程中迭代次数和训练时间都会发生一定程度上的减少,但可能导致识别性能可能降低,通过反复实验确定批尺寸大小为512,在提高识别率的同时减少训练过程中的时间消耗,可以达到较好的模型性能。在RML2016.10a数据集下网络训练过程中的损失函数及准确率随迭代次数变换如图8所示。
本实施例使用keras中的回调函数可以得到训练过程中网络的统计信息,验证集的损失函数在第20次迭代至30次迭代中变化很少,因此停止训练。由图8可以看出,损失函数在训练集和验证集中的曲线在前四次迭代中出现较大了的波动,之后没有出现很大的波动,在第 25次迭代中稍有些差异,但整体上训练集与验证集的损失接近,说明没有出现过拟合或欠拟合情况。
为了体现本实施例方法的有效性,将所设计的卷积神经网络同传统卷积神经网络及深度残差卷积神经网络在RML2016.10a数据集上进行了对比实验,取十次实验结果的平均值作为最终的识别率,由图9可得结果,表3则给出了本实施例的卷积神经网络在调制数据集中的 8种数字信号上的精确率、召回率和F1值。
表3调制信号统计指标
Figure BDA0002750492200000112
Figure BDA0002750492200000121
由图4-10可以得出,在数据集RML2016.10a的对比实验中,受信噪比的影响,所有方法在低信噪比下识别效果不佳,在高信噪比下识别性能有了很大的提升,随着信噪比的增大,三种方法的识别率有了相应的提升。从总体识别效果来看,传统卷积神经网络在整个信噪比范围内的平均识别率为51.2%,深度残差卷积神经网络在该数据集上的识别率为54.4%,本发明所设计的卷积神经网络的平均识别率为56.2%,较前两者分别提高5%和1.8%,说明了本发明所提出的基于卷积神经网络的调制识别方法在整体上具有更好的调制识别准确率。在信噪比为-20dB至-6dB时,三种卷积神经网络的性能相当。但相较于传统卷积神经网络,本文卷积神经网络和深度残差卷积神经网络的调制识别模型在较高的信噪比时有着明显的优势,在4dB至18dB信噪比范围内的平均识别率分别为83.5%和82.1%,体现出在卷积神经网络中加入残差连接能够更好地学习到调制信号中的深层特征。从数据集中8种数字信号的精确率、召回率和F1值这三种统计指标来看,本发明方法对GFSK和PAM4这两种数字信号的识别性能较好,对QAM16的识别效果不佳,其F1值仅为0.10,原因在于QAM16和QAM64 的时域波形图比较相似,区分难度较大。对比三种卷积神经网络在整个数据集上的总体混淆矩阵如图8和图10所示,其中图11中左部分为传统卷积神经网络混淆矩阵,右部分为深度残差卷积神经网络混淆矩阵。总体上来看,这三种方法对每种信号的识别性能有着类似的结果,对AM-DSB、AM-SSB、BPSK、CPFSK、GFSK和PAM4这六种信号效果较好,其余信号识别效果不佳,尤其是QAM16和WBFM信号。相较于其他两种方法,本发明的卷积神经网络的优势主要体现在对8PSK和QPSK这两种信号的识别上。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.基于卷积神经网络的调制识别方法,其特征在于,包括以下步骤:
S1:选取调制信号数据集并设计卷积神经网络模型结构;
S2:在卷积神经网络模型中通过残差连接的方式构建残差单元;
S3:在卷积神经网络模型中对网络层中的数据分批次进行批归一化;
S4:设置卷积神经网络参数;
S5:对卷积神经网络进行训练,并随机丢失训练集中的数据;
S6:将信号带入训练后的卷积神经网络并进行调制识别。
2.根据权利要求1所述的基于卷积神经网络的调制识别方法,其特征在于,所述步骤S1中卷积神经网络结构包括卷积层、池化层和全连接层,其中,
卷积层,对输入层通过卷积核进行卷积运算,以提取信号中的空间特征,每一卷积层中包含多个卷积核,卷积层将上一层的特征图作为输入,多个卷积核对特征图进行卷积运算得到输出特征,卷积运算的过程可定义为:
Figure FDA0002750492190000011
式中,l表示网络层的数量,w代表卷积核,b则为偏置向量,f(·)表示激活函数;
池化层,连接在卷积层之后,根据局部关联性原理对卷积层的输出进行下采样,池化层的表达式为:
Figure FDA0002750492190000012
式中,down(·)表示池化函数;
全连接层,多个卷积层和池化层的特征处理后,连接一个或多个全连接层,将自动提取到的高层次特征整合为局部特征信息,最后经过分类器实现结果的输出,将输出结果经过独热编码处理后转换为向量形式。
3.根据权利要求2所述的基于卷积神经网络的调制识别方法,其特征在于,在步骤S1中使用卷积核组成的卷积块,并通过残差连接的方式构建残差单元;在卷积块的两个卷积层之间加入批归一化处理;使用全局平均池化层来代替整个卷积神经网络中除最后一层全连接层之外的全连接层。
4.根据权利要求3所述的基于卷积神经网络的调制识别方法,其特征在于,卷积核个数设置为32,每一残差单元的第一个卷积核尺寸为1×1,此后在第一个残差单元中卷积核尺寸为2×3,其余残差单元中尺寸为1×3。
5.根据权利要求3所述的基于卷积神经网络的调制识别方法,其特征在于,所述步骤S5包括前向传播与反向传播两个阶段,在前向传播中,将输入数据传入网络中,通过非线性变换计算得到网络中每一层的输出,在反向传播中,将网络的预测值与真实值之间的误差作为损失函数,以最小化损失函数为目标来调节网络中各层的参数。
6.根据权利要求5所述的基于卷积神经网络的调制识别方法,其特征在于,所述步骤S5包括:
S5.1:将网络参数进行初始化;
S5.2:计算卷积层、池化层、全连接层输出的特征图;
S5.3:得出预测值与真实值之间的误差;
S5.4:判断误差是否收敛,若收敛则结束训练,固定网络参数;若不收敛则进入反向传播阶段。
7.根据权利要求5所述的基于卷积神经网络的调制识别方法,其特征在于,所述步骤S5.4中的反向传播阶段包括:
5.4.1:计算网络层中的误差;
5.4.2:计算梯度;
5.4.3:更新网络层的权值;
5.4.4:将更新后的权值带入卷积神经网络中对初始化的数据进行处理。
CN202011182208.1A 2020-10-29 2020-10-29 基于卷积神经网络的调制识别方法 Pending CN112308133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182208.1A CN112308133A (zh) 2020-10-29 2020-10-29 基于卷积神经网络的调制识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182208.1A CN112308133A (zh) 2020-10-29 2020-10-29 基于卷积神经网络的调制识别方法

Publications (1)

Publication Number Publication Date
CN112308133A true CN112308133A (zh) 2021-02-02

Family

ID=74331585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182208.1A Pending CN112308133A (zh) 2020-10-29 2020-10-29 基于卷积神经网络的调制识别方法

Country Status (1)

Country Link
CN (1) CN112308133A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702294A (zh) * 2021-03-24 2021-04-23 四川大学 一种基于深度学习的多层次特征提取的调制识别方法
CN112910812A (zh) * 2021-02-25 2021-06-04 电子科技大学 一种基于时空特征提取深度学习的调制模式识别方法
CN112926482A (zh) * 2021-03-10 2021-06-08 辽宁工程技术大学 一种基于多尺度残差卷积神经网络的道路提取方法
CN113114599A (zh) * 2021-03-12 2021-07-13 电子科技大学 基于轻量级神经网络的调制识别方法
CN113239788A (zh) * 2021-05-11 2021-08-10 嘉兴学院 一种基于Mask R-CNN的无线通信调制模式识别方法
CN113259289A (zh) * 2021-05-13 2021-08-13 曾泓然 基于残差神经网络的单通道混叠信号调制模式识别方法
CN113298021A (zh) * 2021-06-11 2021-08-24 宿州学院 基于卷积神经网络的矿区运输车辆头尾识别方法及系统
CN113343801A (zh) * 2021-05-26 2021-09-03 郑州大学 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN113392731A (zh) * 2021-05-31 2021-09-14 浙江工业大学 一种基于图神经网络的调制信号分类方法和系统
CN113783815A (zh) * 2021-09-10 2021-12-10 苏州大学 针对无线通信的自定义卷积神经网络调制识别方法及系统
CN114157544A (zh) * 2021-12-07 2022-03-08 中南大学 基于卷积神经网络的帧同步方法、设备及介质
CN114239749A (zh) * 2021-12-23 2022-03-25 桂林电子科技大学 基于残差收缩及双向长短期记忆网络的调制识别方法
CN114422311A (zh) * 2022-01-26 2022-04-29 中国人民解放军战略支援部队信息工程大学 联合深度神经网络和专家先验特征的信号调制识别方法及系统
CN114492522A (zh) * 2022-01-24 2022-05-13 四川大学 基于改进堆叠沙漏神经网络的自动调制分类方法
CN114553650A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 基于多层级神经网络的抗模式耦合信号复杂格式解析方法
CN115442192A (zh) * 2022-07-22 2022-12-06 西安电子科技大学 一种基于主动学习的通信信号自动调制识别方法及装置
CN115935172A (zh) * 2023-01-06 2023-04-07 湖南董因信息技术有限公司 一种基于集成深度学习的信号识别方法
CN115994303A (zh) * 2023-03-24 2023-04-21 中国人民解放军军事科学院国防科技创新研究院 一种残差神经网络模型及其信号调制识别方法
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN117081895A (zh) * 2023-10-16 2023-11-17 电子科技大学 一种基于自适应降噪的自动调制识别方法
CN117354106A (zh) * 2023-12-06 2024-01-05 中国海洋大学 基于重参数因果卷积网络的通信信号调制识别方法与系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109787929A (zh) * 2019-02-20 2019-05-21 深圳市宝链人工智能科技有限公司 信号调制识别方法、电子装置及计算机可读存储介质
CN110222748A (zh) * 2019-05-27 2019-09-10 西南交通大学 基于1d-cnn多域特征融合的ofdm雷达信号识别方法
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
CN110503185A (zh) * 2019-07-18 2019-11-26 电子科技大学 一种改进的深度调制识别网络模型
CN110569752A (zh) * 2019-08-20 2019-12-13 河海大学 基于卷积神经网络的雷达信号类别确定方法
KR102073935B1 (ko) * 2018-12-24 2020-02-05 충남대학교산학협력단 전파신호 변조인식시스템
CN111510408A (zh) * 2020-04-14 2020-08-07 北京邮电大学 信号调制方式识别方法、装置、电子设备及存储介质
CN111585922A (zh) * 2020-03-23 2020-08-25 成都奥特为科技有限公司 一种基于卷积神经网络的调制方式识别方法
CN111832417A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 基于cnn-lstm模型和迁移学习的信号调制样式识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019191099A1 (en) * 2018-03-26 2019-10-03 Zte Corporation Non-linear adaptive neural network equalizer in optical communication
KR102073935B1 (ko) * 2018-12-24 2020-02-05 충남대학교산학협력단 전파신호 변조인식시스템
CN109787929A (zh) * 2019-02-20 2019-05-21 深圳市宝链人工智能科技有限公司 信号调制识别方法、电子装置及计算机可读存储介质
CN110222748A (zh) * 2019-05-27 2019-09-10 西南交通大学 基于1d-cnn多域特征融合的ofdm雷达信号识别方法
CN110503185A (zh) * 2019-07-18 2019-11-26 电子科技大学 一种改进的深度调制识别网络模型
CN110569752A (zh) * 2019-08-20 2019-12-13 河海大学 基于卷积神经网络的雷达信号类别确定方法
CN111585922A (zh) * 2020-03-23 2020-08-25 成都奥特为科技有限公司 一种基于卷积神经网络的调制方式识别方法
CN111510408A (zh) * 2020-04-14 2020-08-07 北京邮电大学 信号调制方式识别方法、装置、电子设备及存储介质
CN111832417A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 基于cnn-lstm模型和迁移学习的信号调制样式识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐茂: ""基于卷积神经网络的自动调制识别技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王春: ""基于卷积神经网络的数字信号调制识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邓开发 等编著: "《人工智能与艺术设计》", 30 September 2019, 上海:华东理工大学出版社 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112910812A (zh) * 2021-02-25 2021-06-04 电子科技大学 一种基于时空特征提取深度学习的调制模式识别方法
CN112926482A (zh) * 2021-03-10 2021-06-08 辽宁工程技术大学 一种基于多尺度残差卷积神经网络的道路提取方法
CN113114599B (zh) * 2021-03-12 2022-01-11 电子科技大学 基于轻量级神经网络的调制识别方法
CN113114599A (zh) * 2021-03-12 2021-07-13 电子科技大学 基于轻量级神经网络的调制识别方法
CN112702294B (zh) * 2021-03-24 2021-06-22 四川大学 一种基于深度学习的多层次特征提取的调制识别方法
CN112702294A (zh) * 2021-03-24 2021-04-23 四川大学 一种基于深度学习的多层次特征提取的调制识别方法
CN113239788A (zh) * 2021-05-11 2021-08-10 嘉兴学院 一种基于Mask R-CNN的无线通信调制模式识别方法
CN113259289A (zh) * 2021-05-13 2021-08-13 曾泓然 基于残差神经网络的单通道混叠信号调制模式识别方法
CN113259289B (zh) * 2021-05-13 2022-06-17 曾泓然 基于残差神经网络的单通道混叠信号调制模式识别方法
CN113343801A (zh) * 2021-05-26 2021-09-03 郑州大学 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN113343801B (zh) * 2021-05-26 2022-09-30 郑州大学 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN113392731A (zh) * 2021-05-31 2021-09-14 浙江工业大学 一种基于图神经网络的调制信号分类方法和系统
CN113298021A (zh) * 2021-06-11 2021-08-24 宿州学院 基于卷积神经网络的矿区运输车辆头尾识别方法及系统
CN113783815A (zh) * 2021-09-10 2021-12-10 苏州大学 针对无线通信的自定义卷积神经网络调制识别方法及系统
CN114157544A (zh) * 2021-12-07 2022-03-08 中南大学 基于卷积神经网络的帧同步方法、设备及介质
CN114157544B (zh) * 2021-12-07 2023-04-07 中南大学 基于卷积神经网络的帧同步方法、设备及介质
CN114239749A (zh) * 2021-12-23 2022-03-25 桂林电子科技大学 基于残差收缩及双向长短期记忆网络的调制识别方法
CN114239749B (zh) * 2021-12-23 2024-04-05 桂林电子科技大学 基于残差收缩及双向长短期记忆网络的调制识别方法
CN114492522B (zh) * 2022-01-24 2023-04-28 四川大学 基于改进堆叠沙漏神经网络的自动调制分类方法
CN114492522A (zh) * 2022-01-24 2022-05-13 四川大学 基于改进堆叠沙漏神经网络的自动调制分类方法
CN114422311A (zh) * 2022-01-26 2022-04-29 中国人民解放军战略支援部队信息工程大学 联合深度神经网络和专家先验特征的信号调制识别方法及系统
CN114422311B (zh) * 2022-01-26 2023-08-18 中国人民解放军战略支援部队信息工程大学 联合深度神经网络和专家先验特征的信号调制识别方法及系统
CN114553650A (zh) * 2022-04-27 2022-05-27 南京信息工程大学 基于多层级神经网络的抗模式耦合信号复杂格式解析方法
CN114553650B (zh) * 2022-04-27 2022-07-29 南京信息工程大学 基于多层级神经网络的抗模式耦合信号复杂格式解析方法
CN115442192B (zh) * 2022-07-22 2024-02-27 西安电子科技大学 一种基于主动学习的通信信号自动调制识别方法及装置
CN115442192A (zh) * 2022-07-22 2022-12-06 西安电子科技大学 一种基于主动学习的通信信号自动调制识别方法及装置
CN115935172A (zh) * 2023-01-06 2023-04-07 湖南董因信息技术有限公司 一种基于集成深度学习的信号识别方法
CN115994303A (zh) * 2023-03-24 2023-04-21 中国人民解放军军事科学院国防科技创新研究院 一种残差神经网络模型及其信号调制识别方法
CN116757534A (zh) * 2023-06-15 2023-09-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN116757534B (zh) * 2023-06-15 2024-03-15 中国标准化研究院 一种基于神经训练网络的智能冰箱可靠性分析方法
CN117081895A (zh) * 2023-10-16 2023-11-17 电子科技大学 一种基于自适应降噪的自动调制识别方法
CN117081895B (zh) * 2023-10-16 2023-12-19 电子科技大学 一种基于自适应降噪的自动调制识别方法
CN117354106A (zh) * 2023-12-06 2024-01-05 中国海洋大学 基于重参数因果卷积网络的通信信号调制识别方法与系统
CN117354106B (zh) * 2023-12-06 2024-03-01 中国海洋大学 基于重参数因果卷积网络的通信信号调制识别方法与系统

Similar Documents

Publication Publication Date Title
CN112308133A (zh) 基于卷积神经网络的调制识别方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN111428817B (zh) 一种面向无线电信号识别对抗攻击的防御方法
CN112364729A (zh) 基于特征参数与bp神经网络的调制识别方法
CN115249332B (zh) 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN112766315A (zh) 一种用于测试人工智能模型鲁棒性的方法和系统
CN111815526B (zh) 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN115982613A (zh) 一种基于改进卷积神经网络的信号调制识别系统及方法
Zhang et al. Open set recognition of communication signal modulation based on deep learning
CN113378644A (zh) 基于生成式对抗网络的信号调制类型识别攻击的防御方法
CN114464206A (zh) 一种单通道盲源分离方法及系统
CN114912489A (zh) 一种信号调制识别方法
CN113421237B (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN113205140A (zh) 基于生成式对抗网络的半监督式特定辐射源个体识别方法
CN115272776B (zh) 基于双路卷积与双注意的高光谱图像分类方法及存储介质
CN110995631A (zh) 一种基于lstm和svm的通信信号调制模式识别方法及系统
CN115879108A (zh) 基于神经网络特征提取的联邦学习模型攻击防御方法
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115270891A (zh) 一种信号对抗样本的生成方法、装置、设备及存储介质
CN113343796B (zh) 一种基于知识蒸馏的雷达信号调制方式识别方法
CN115171074A (zh) 一种基于多尺度yolo算法的车辆目标识别方法
CN114912486A (zh) 一种基于轻量化网络的调制方式智能识别方法
Feng et al. FCGCN: Feature Correlation Graph Convolution Network for Few-Shot Individual Identification
CN112215868A (zh) 基于生成对抗网络的去除手势图像背景的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20210203

Address after: No. 1418, 14th floor, building 1, No. 1166, Tianfu 3rd Street, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan 610000

Applicant after: Chengdu Yuejian Technology Co.,Ltd.

Address before: 610000 Chengdu, Sichuan, Shuangliu District, Dongsheng Street, long bridge 6, 129, 1 units, 9 level 902.

Applicant before: CHENGDU MINGJIE TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication