CN114580484A - 一种基于增量学习的小样本通信信号自动调制识别方法 - Google Patents
一种基于增量学习的小样本通信信号自动调制识别方法 Download PDFInfo
- Publication number
- CN114580484A CN114580484A CN202210458158.8A CN202210458158A CN114580484A CN 114580484 A CN114580484 A CN 114580484A CN 202210458158 A CN202210458158 A CN 202210458158A CN 114580484 A CN114580484 A CN 114580484A
- Authority
- CN
- China
- Prior art keywords
- communication signal
- layer
- sample
- sample set
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Abstract
本发明涉及一种基于增量学习的小样本通信信号自动调制识别方法,包括:构建通信信号调制分类网络模型并获取训练样本集;在基类训练阶段,利用基类样本集对通信信号调制分类网络模型进行训练,得到基类训练阶段的网络模型;在增量训练阶段,利用增量样本集对基类训练阶段的网络模型进行训练,得到训练完成的通信信号调制分类网络模型,以利用该训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测;其中,在进行增量训练之前,构建扩充样本集,并利用扩充样本集对分类器进行参数初始化。本发明方法能有效提高通信信号调制类型的识别准确率;并且在新类数据集很小的情况下,可以实现良好的新类别识别性能。
Description
技术领域
本发明属于通信信号调制识别技术领域,具体涉及一种基于增量学习的小样本通信信号自动调制识别方法。
背景技术
通信信号调制分类(通信信号自动调制识别)是一种研究识别无线电通信信号的调制分类方法。通信信号自动调制识别能够识别接收通信信号的调制方式,从而监控干扰通信信号,在频谱检测领域发挥重要作用,已经广泛应用于军事和民用通信信号处理领域。
传统的通信信号自动调制识别方法根据分类策略,可以划分为基于决策理论的方法和基于模式识别的方法。这两种方法效率较低且通用性较差。
由于深度学习优异的特征提取和识别能力,将深度学习方法运用到通信信号自动调制识别引起了广泛的关注,针对通信信号自动调制识别,很多方法已被提出。其中,深度卷积神经网络在特征提取方面具有良好性能,前馈神经网络对调制类型识别也有不错的表现。然而,在某些情况下,通信信号的获取较为困难,获取成本高,因此小样本的通信信号自动调制识别具有很大的现实意义。
通过深度学习训练一个网络往往需要大量的带标签数据,但是当网络遇到一个新任务或一个新类,将少量的新类样本加入训练样本中再重新训练该网络的思想是不现实的,因为网络会产生过度拟合现象,从而使得网络的分类能力很差,导致通信信号调制类型的识别准确率很低,不能完成分类任务。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于增量学习的小样本通信信号自动调制识别方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于增量学习的小样本通信信号自动调制识别方法,包括:
步骤1:构建通信信号调制分类网络模型并获取训练样本集,其中,所述训练样本集包括基类样本集和增量样本集,所述通信信号调制分类网络模型包括连接的特征提取网络和分类器;
步骤2:在基类训练阶段,利用所述基类样本集对所述通信信号调制分类网络模型进行训练,得到基类训练阶段的网络模型;
步骤3:在增量训练阶段,利用所述增量样本集对所述基类训练阶段的网络模型进行训练,得到训练完成的通信信号调制分类网络模型,以利用该训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测;
其中,在增量训练阶段,利用所述增量样本集对所述基类训练阶段的网络模型进行训练之前,构建扩充样本集,并利用所述扩充样本集对所述分类器进行参数初始化。
在本发明的一个实施例中,所述特征提取网络为基于残差网络的特征提取网络或基于transformer的特征提取网络,所述特征提取网络用于将输入的调制通信信号映射成对信噪比不敏感的嵌入向量;
所述分类器为集成有图网络的全连接层,所述全连接层用于存储类原型,所述图网络用于在增量训练阶段调整存储在所述全连接层上的类原型位置,所述分类器用于输出预测调制分类结果。
在本发明的一个实施例中,所述基于残差网络的特征提取网络,包括依次连接的卷积模块和若干第一残差块,其中,
所述卷积模块包括依次连接的第一卷积层和第一 ReLU 激活层;
所述第一残差块包括依次连接的第二卷积层、第一批规范化层、第二ReLU 激活层、第三卷积层、第二批规范化层和第三ReLU 激活层;所述第一残差块的输入与该残差块的输入依次通过所述第二卷积层、所述第一批规范化层、所述第二ReLU 激活层、所述第三卷积层以及所述第二批规范化层后的输出相加的结果经过所述第三ReLU 激活层后输出。
在本发明的一个实施例中,所述第一残差块还包括通道数转换单元,所述通道数转换单元连接在所述第二卷积层的输入端与所述第二批规范化层的输出端之间,所述通道数转换单元包括依次连接的一个卷积层和一个批规范化层;
当所述第一残差块的输入通道数与其输出的通道数不相等时,所述第一残差块的输入通过所述通道数转换单元转换为与其输出相同的通道数后与所述第二批规范化层的输出相加的结果经过所述第三ReLU 激活层后输出。
在本发明的一个实施例中,所述基于transformer的特征提取网络包括依次连接的第二残差块和若干编码器模块,其中,
所述第二残差块包括依次连接的第四卷积层、第三批规范化层、第四ReLU 激活层、第五卷积层、第四批规范化层和第五ReLU 激活层;所述第二残差块的输入与所述第五ReLU 激活层的输出相加的结果作为所述编码器模块的输入;
所述编码器模块包括依次连接的多头自注意力层、第一层规范化层、第六卷积层、第五批规范化层、第六ReLU 激活层、第七卷积层、第六批规范化层、第七ReLU 激活层和第二层规范化层;
所述多头自注意力层的输入与其输出相加后作为所述第一层规范化层的输入,所述第六卷积层的输入与所述第七ReLU 激活层的输出相加后作为所述第二层规范化层的输入。
在本发明的一个实施例中,所述基类样本集和所述增量样本集均包括多个类别的附有调制分类标签的若干调制通信信号,所述增量样本集为1-way-5-shot 或1-way-1-shot 的小样本样本集。
在本发明的一个实施例中,所述步骤2包括:
步骤 2.1:初始化所述通信信号调制分类网络模型的网络参数;
步骤2.2:获取所述基类样本集中的基类训练样本和其对应的调制分类标签,将所述基类训练样本输入所述通信信号调制分类网络模型中,所述基类训练样本经过所述特征提取网络后得到其在特征空间内的映射;
步骤2.3:将所述基类训练样本在特征空间内的映射表达取均值作为类原型,存储为所述全连接层的权值;
步骤 2.4:所述映射经过所述全连接层后输出所述基类训练样本与类原型之间的余弦相似度;
步骤 2.5:将所述余弦相似度最大的类原型作为该基类训练样本的预测调制分类结果,根据所述基类训练样本对应的调制分类标签计算交叉熵损失函数和准确率;
步骤 2.6:根据所述交叉熵损失函数,通过反向传播更新所述通信信号调制分类网络模型的网络权值,以完成所述通信信号调制分类网络模型的基类训练阶段,得到所述基类训练阶段的网络模型。
在本发明的一个实施例中,构建扩充样本集,并利用所述扩充样本集对所述分类器进行参数初始化,包括:
步骤a:利用当前阶段的网络模型对未标签的调制通信信号样本集和所述增量样本集进行特征映射,利用该特征映射得到未标签的调制通信信号样本的对应预测伪标签,并计算所述预测伪标签的置信度,选取置信度最高的所述预测伪标签对应的未标签的调制通信信号样本作为伪样本加入至所述增量样本集中,得到所述扩充样本集;
步骤b:根据所述扩充样本集,将其映射表达取均值,得到新类原型,以更新类原型,并将更新后的类原型作为所述图网络的参数对其进行初始化。
在本发明的一个实施例中,所述未标签的调制通信信号样本集是从当前通信信号调制分类网络模型已训练的所有类别调制通信信号中随机选取的多个调制通信信号的集合,且未附有调制分类标签。
在本发明的一个实施例中,所述步骤3包括:
步骤3.1:获取所述增量样本集中的增量训练样本和其对应的分类标签;
步骤 3.2:将所述增量训练样本输入经过图网络参数初始化之后的所述通信信号调制分类网络模型中;
步骤3.3:根据所述增量训练样本及其对应的调制分类标签计算交叉熵损失函数;
步骤 3.4:根据所述交叉熵损失函数,通过反向传播更新所述全连接层的权值,得到训练完成的通信信号调制分类网络模型。
与现有技术相比,本发明的有益效果在于:
1. 本发明的基于增量学习的小样本通信信号自动调制识别方法,通过训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测,采用基于残差网络的特征提取网络或基于transformer的特征提取网络作为该通信信号调制分类网络模型的特征提取网络,可以将输入的调制通信信号映射成对信噪比不敏感的嵌入向量,降低了嵌入向量对单个样本信噪比变化的敏感性,有效提高通信信号调制类型的识别准确率。
2. 本发明的基于增量学习的小样本通信信号自动调制识别方法,利用解耦的网络训练方式,将特征提取网络和分类器分别进行训练,可以得到一个具有鲁棒性的特征提取网络,利用基于原型的图网络,将该网络模型进行微调,在新类数据集很小的情况下,可以实现良好的新类别识别性能。
3. 本发明的基于增量学习的小样本通信信号自动调制识别方法,在利用增量样本集对通信信号调制分类网络模型进行增量训练之前,采用基于置信度的半监督网络初始化方式,充分利用未标签的样本,不断对增量样本集进行扩充,以使得该网络模型达到更好的识别效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的一种基于增量学习的小样本通信信号自动调制识别方法示意图;
图2是本发明实施例提供的基于残差网络的特征提取网络的结构示意图;
图3是本发明实施例提供的基于transformer的特征提取网络的结构示意图;
图4是本发明实施例提供的通信信号调制分类网络模型的训练与测试的框架图;
图5是本发明实施例提供的基于置信度的半监督的分类器初始化方式示意图;
图6是本发明实施例提供的分类器在基类训练阶段和阶增量训练阶段的结构进化示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于增量学习的小样本通信信号自动调制识别方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
实施例一
请参见图1,图1是本发明实施例提供的一种基于增量学习的小样本通信信号自动调制识别方法示意图,如图所示,本实施例的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,包括:
步骤1:构建通信信号调制分类网络模型并获取训练样本集;
其中,训练样本集包括基类样本集和增量样本集,通信信号调制分类网络模型包括连接的特征提取网络和分类器;
步骤2:在基类训练阶段,利用基类样本集对通信信号调制分类网络模型进行训练,得到基类训练阶段的网络模型;
步骤3:在增量训练阶段,利用增量样本集对基类训练阶段的网络模型进行训练,得到训练完成的通信信号调制分类网络模型,以利用该训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测;
其中,在增量训练阶段,利用增量样本集对基类训练阶段的网络模型进行训练之前,构建扩充样本集,并利用扩充样本集对分类器进行参数初始化。
在本实施例中,基类样本集和所述增量样本集均包括多个类别的附有调制分类标签的若干调制通信信号。其中,样本均是从RML2016.10.a数据集中选取得到。具体地,数据集选自11种调制通信信号,每类调制通信信号包含10个不同信噪比(10个信噪比分别为、、、、、、、、、)下的共10000个通信信号。
将数据集按照7:2:1的比例将每类调制通信信号划分为训练样本集、测试样本集和未标签样本集,其中,训练样本集的通信信号均添加有附有调制分类标签,未标签样本集的样本均未附有调制分类标签。
可选地,基类训练阶段的基类样本集选自8类调制通信信号,分别为BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK和8PSK。增量训练阶段选取3个增量样本集作为对应增量训练任务的样本集,增量样本集1是从调制通信信号WBFM数据集中随机挑选出的样本,增量样本集2是从调制通信信号AM-DSB数据集中随机挑选出的样本,增量样本集3是从调制通信信号AM-SSB数据集中随机挑选出的样本。增量样本集为1-way-5-shot 或1-way-1-shot 的小样本样本集。
在测试过程中,测试集的数据是目前通信信号调制分类网络模型所见过的所有类别的测试集,例如:基类训练阶段的测试集是来自于来自8类调制通信信号,即BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK和8PSK,第一增量训练阶段的测试集是来自于9类调制通信信号,即包括BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK、8PSK(8类基类训练阶段的类别)以及WBFM。
进一步地,在本实施例的通信信号调制分类网络模型中,特征提取网络用于将输入的调制通信信号映射成对信噪比不敏感的嵌入向量,分类器用于输出预测调制分类结果。
具体地,特征提取网络为基于残差网络的特征提取网络或基于transformer的特征提取网络。分类器为集成有图网络的全连接层,全连接层用于存储类原型,图网络用于在增量训练阶段调整存储在全连接层上的类原型位置。
进一步地,请结合参见图2,图2是本发明实施例提供的基于残差网络的特征提取网络的结构示意图,如图所示,本实施例的基于残差网络的特征提取网络,包括依次连接的卷积模块和若干第一残差块,其中,卷积模块包括依次连接的第一卷积层和第一 ReLU 激活层;第一残差块包括依次连接的第二卷积层、第一批规范化层、第二ReLU 激活层、第三卷积层、第二批规范化层和第三ReLU 激活层;第一残差块的输入与该残差块的输入依次通过第二卷积层、第一批规范化层、第二ReLU 激活层、第三卷积层以及第二批规范化层后的输出相加的结果经过第三ReLU 激活层后输出。
进一步地,第一残差块还包括通道数转换单元,通道数转换单元连接在第二卷积层的输入端与第二批规范化层的输出端之间,通道数转换单元包括依次连接的一个卷积层和一个批规范化层;当第一残差块的输入通道数与其输出的通道数不相等时,第一残差块的输入通过通道数转换单元转换为与其输出相同的通道数后与第二批规范化层的输出相加的结果经过第三ReLU 激活层后输出。
在本实施例中,基于残差网络的特征提取网络包括4个第一残差块,第一卷积层的卷积核个数为16,大小为3×3。第一残差块中的第二卷积层的卷积核大小为3×3,第一残差块1、第一残差块2、第一残差块3和第一残差块4的第三卷积层的卷积核个数分别为32、64、128、256。通道数转换单元中的卷积层的卷积核大小为1×1,卷积核的步长由残差块预先设定。
进一步地,请结合图3,图3是本发明实施例提供的基于transformer的特征提取网络的结构示意图,如图所示,本实施例的基于transformer的特征提取网络包括依次连接的第二残差块和若干编码器模块,其中,第二残差块包括依次连接的第四卷积层、第三批规范化层、第四ReLU 激活层、第五卷积层、第四批规范化层和第五ReLU 激活层;第二残差块的输入与第五ReLU 激活层的输出相加的结果作为编码器模块的输入。
编码器模块包括依次连接的多头自注意力层、第一层规范化层、第六卷积层、第五批规范化层、第六ReLU 激活层、第七卷积层、第六批规范化层、第七ReLU 激活层和第二层规范化层;多头自注意力层的输入与其输出相加后作为第一层规范化层的输入,第六卷积层的输入与第七ReLU 激活层的输出相加后作为第二层规范化层的输入。
在本实施例中,第二残差块中的第四卷积层和第五卷积层的卷积核大小均为,步长均为1,卷积核个数均为16,填充均为1。基于transformer的特征提取网络包括3个编码器模块,编码器模块中的第六卷积层的卷积核大小均为,步长均为1,卷积核个数均为512,均无填充;编码器模块中的第七卷积层卷积核大小均为,步长均为1,卷积核个数均为128,均无填充;编码器模块中的多头自注意力层的头数均为4。
进一步地,请结合参见图4和图6,对本实施例的通信信号调制分类网络模型的训练和测试过程进行说明,图4是本发明实施例提供的通信信号调制分类网络模型的训练与测试的框架图,图6是本发明实施例提供的分类器在基类训练阶段和阶增量训练阶段的结构进化示意图。如图所示,在本实施例中,利用解耦的方式,将一个分类网络划分为特征提取网络和分类器进行训练,最终获得一个具有鲁棒性的特征提取网络,
在本实施例中,分类器在基类训练时会将基类的类原型作为分类器的权值,在每一个类增量任务中将得到的新类原型作为分类器的参数,并利用训练集样本对分类器进行微调,这相当于在一个图网络中反向传播误差来更新分类器的参数,微调类原型的相对位置,从而得到更好的决策边界,提高网络模型的分类能力。
具体地,基类训练阶段具体地训练步骤包括:
步骤 2.1:初始化通信信号调制分类网络模型的网络参数;
步骤2.2:获取基类样本集中的基类训练样本和其对应的调制分类标签,将基类训练样本输入通信信号调制分类网络模型中,基类训练样本经过特征提取网络后得到其在特征空间内的映射;
获取基类训练数据集中的基类训练样本的数据和对应的调制分类标签,通过特征提取网络将数据映射到特征空间,得到基类训练样本在特征空间的特征向量为,维度为256,其中为特征提取网络的映射函数,那么,基类训练样本经映射后的表达为:
步骤2.3:将基类训练样本在特征空间内的映射表达取均值作为类原型,存储为全连接层的权值;
在本实施例中,分类器是一个全连接层,分配的权重完成11分类的任务。因分类器的参数是一个256×11的矩阵,因此我们可以认为权重矩阵的每列都是对应类别的原型,即类原型。在基类训练阶段,将类原型存放在全连接层的权重上,类原型计算公式如下:
步骤 2.4:映射经过全连接层后输出基类训练样本与类原型之间的余弦相似度;
步骤 2.5:将余弦相似度最大的类原型作为该基类训练样本的预测调制分类结果,根据基类训练样本对应的调制分类标签计算交叉熵损失函数和准确率;
在本实施例中,样本的预测类别为:
训练误差计算公式如下:
步骤 2.6:根据交叉熵损失函数,通过反向传播更新通信信号调制分类网络模型的网络权值,以完成通信信号调制分类网络模型的基类训练阶段,得到基类训练阶段的网络模型。
进一步地,在增量训练阶段,将小样本新类调制通信信号经过基类训练阶段的网络模型,映射到特征空间内,其映射表达为,将同类小样本新类调制通信信号的特征向量取均值得到新类在特征空间内的原型,即新类原型,并结合未标签的样本来更新原型,最终得到更新后的新类原型,作为全连接层对应的类别的权值参数。
具体地,增量训练阶段的训练步骤包括:
步骤3.1:获取增量样本集中的增量训练样本和其对应的分类标签;
步骤 3.2:将增量训练样本输入经过图网络参数初始化之后的通信信号调制分类网络模型中;
步骤3.3:根据增量训练样本及其对应的调制分类标签计算交叉熵损失函数;
步骤 3.4:根据交叉熵损失函数,通过反向传播更新全连接层的权值,得到训练完成的通信信号调制分类网络模型。
在本实施例中,采用基于置信度半监督网络初始化方式,即构建扩充样本集,并利用扩充样本集对分类器进行参数初始化,具体地,请结合参见图5,图5是本发明实施例提供的基于置信度的半监督的分类器初始化方式示意图,如图所示,对分类器进行参数初始化包括:
步骤a:利用当前阶段的网络模型对未标签的调制通信信号样本集和增量样本集进行特征映射,利用该特征映射得到未标签的调制通信信号样本的对应预测伪标签,并计算预测伪标签的置信度,选取置信度最高的预测伪标签对应的未标签的调制通信信号样本作为伪样本加入至增量样本集中,得到扩充样本集;
步骤b:根据扩充样本集,将其映射表达取均值,得到新类原型,以更新类原型,并将更新后的类原型作为图网络的参数对其进行初始化。
具体地,记为在基类样本集上训练得到的特征提取器,分类器是通过增量样本集的原型中心作为分类器参数的分类器,那么,未标签的调制通信信号样本的伪标签就可以表示为,其中未标签的调制通信信号样本集表示为。通过计算伪标签的置信度,选取置信度最高的伪样本加入到增量样本集中,对于每个类别选取1个置信度最高的样本,从而更新新加入类别的原型参数,从而更新分类器的初始化参数。
对于所有的样本重写公式(6)为:
为了解决方程(7),重写这个方程为:
需要说明的是,在本实施例中,未标签的调制通信信号样本集是从当前通信信号调制分类网络模型已训练的所有类别调制通信信号中随机选取的多个调制通信信号的集合,且未附有调制分类标签。可选地,在每个增量训练阶段随机选取200个未标签的调制通信信号样本来对增量样本集进行扩充。在本实施例中,根据不同训练阶段,将测试集样本作为验证集,保证网络模型分类准确率的同时也尽量减少小样本学习的过拟合问题。
本实施例的基于增量学习的小样本通信信号自动调制识别方法,通过训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测,采用基于残差网络的特征提取网络或基于transformer的特征提取网络作为该通信信号调制分类网络模型的特征提取网络,可以将输入的调制通信信号映射成对信噪比不敏感的嵌入向量,降低了嵌入向量对单个样本信噪比变化的敏感性,有效提高通信信号调制类型的识别准确率。
本实施例的基于增量学习的小样本通信信号自动调制识别方法,利用解耦的网络训练方式,将特征提取网络和分类器分别进行训练,可以得到一个具有鲁棒性的特征提取网络,利用基于原型的图网络,将该网络模型进行微调,在新类数据集很小的情况下,可以实现良好的新类别识别性能。而且,在利用增量样本集对通信信号调制分类网络模型进行增量训练之前,采用基于置信度的半监督网络初始化方式,充分利用未标签的样本,不断对增量样本集进行扩充,以使得该网络模型达到更好的识别效果。
实施例二
本实施例通过仿真实验对实施例一的基于增量学习的小样本通信信号自动调制识别方法的效果进行说明。
(1)实验条件
本实施例的仿真实验的硬件平台为:CPU Intel(R) Core(TM) i7-10875H,八核,主频为2.30GHz;内存大小16GB;GPU为NVIDIA GeForce RTX 2060,显存大小为6GB。
本实施例的仿真实验的软件平台为:操作系统为windows 10。
本实施例的仿真实验的基类样本集选自RML2016.10.a数据集中的信噪比 以上的8种调制通信信号,即BPSK、CPFSK、GFSK、4PAM、16QAM、64QAM、QPSK和8PSK。
(2)仿真内容
为了验证有限样本情况下本实施例一方法的识别效果,分别在基于残差网络的特征提取网络和基于transformer的特征提取网络上,设置了1-shot-1-way和5-shot-1-way的两种小样本增量学习模式。
将数据集按照7:2:1的比例将每类调制通信信号划分为训练集、测试集和未标签数据集,具体基类样本集、增量样本集、测试集和未标签的调制通信信号样本集选取方式参见实施例一,在此不再赘述。
实验1:利用基于残差网络的特征提取网络,进行1-shot-1-way的增量训练任务;
实验2:利用基于残差网络的特征提取网络,进行5-shot-1-way的增量训练任务;
实验3:利用基于transformer的特征提取网络,进行1-shot-1-way的增量训练任务;
实验4:利用基于transformer的特征提取网络,进行5-shot-1-way的增量训练任务。
仿真结果:
实验1、实验2、实验3和实验4的增量训练任务的正确率如表1所示。从表1可以看出相对于1-shot-1-way的增量模式,5-shot-1-way的增量模式的准确率略高,这是因为其增量样本集的样本更多,因此网络模型可以学到更多的类别知识;相对于基于残差的特征提取网络,基于transformer的特征提取网络的性能略好,因此,认为transformer网络的特征提取能力的鲁棒性要高于普通的残差网络;同时,随着增量训练任务的推进,不断有新的类别加入到网络中,网络的整体性能是不断下降的,这是因为当加入网络的新类别的样本仅有十分少的数目,网络不可能完全学习到新类的分布,因此网络的性能的下降是合理的。
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于增量学习的小样本通信信号自动调制识别方法,其特征在于,包括:
步骤1:构建通信信号调制分类网络模型并获取训练样本集,其中,所述训练样本集包括基类样本集和增量样本集,所述通信信号调制分类网络模型包括连接的特征提取网络和分类器;
步骤2:在基类训练阶段,利用所述基类样本集对所述通信信号调制分类网络模型进行训练,得到基类训练阶段的网络模型;
步骤3:在增量训练阶段,利用所述增量样本集对所述基类训练阶段的网络模型进行训练,得到训练完成的通信信号调制分类网络模型,以利用该训练完成的通信信号调制分类网络模型对待测调制通信信号的调制类别进行预测;
其中,在增量训练阶段,利用所述增量样本集对所述基类训练阶段的网络模型进行训练之前,构建扩充样本集,并利用所述扩充样本集对所述分类器进行参数初始化。
2.根据权利要求1所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述特征提取网络为基于残差网络的特征提取网络或基于transformer的特征提取网络,所述特征提取网络用于将输入的调制通信信号映射成对信噪比不敏感的嵌入向量;
所述分类器为集成有图网络的全连接层,所述全连接层用于存储类原型,所述图网络用于在增量训练阶段调整存储在所述全连接层上的类原型位置,所述分类器用于输出预测调制分类结果。
3.根据权利要求2所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述基于残差网络的特征提取网络,包括依次连接的卷积模块和若干第一残差块,其中,
所述卷积模块包括依次连接的第一卷积层和第一 ReLU 激活层;
所述第一残差块包括依次连接的第二卷积层、第一批规范化层、第二ReLU 激活层、第三卷积层、第二批规范化层和第三ReLU 激活层;所述第一残差块的输入与该残差块的输入依次通过所述第二卷积层、所述第一批规范化层、所述第二ReLU 激活层、所述第三卷积层以及所述第二批规范化层后的输出相加的结果经过所述第三ReLU 激活层后输出。
4.根据权利要求3所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述第一残差块还包括通道数转换单元,所述通道数转换单元连接在所述第二卷积层的输入端与所述第二批规范化层的输出端之间,所述通道数转换单元包括依次连接的一个卷积层和一个批规范化层;
当所述第一残差块的输入通道数与其输出的通道数不相等时,所述第一残差块的输入通过所述通道数转换单元转换为与其输出相同的通道数后与所述第二批规范化层的输出相加的结果经过所述第三ReLU 激活层后输出。
5.根据权利要求2所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述基于transformer的特征提取网络包括依次连接的第二残差块和若干编码器模块,其中,
所述第二残差块包括依次连接的第四卷积层、第三批规范化层、第四ReLU 激活层、第五卷积层、第四批规范化层和第五ReLU 激活层;所述第二残差块的输入与所述第五ReLU激活层的输出相加的结果作为所述编码器模块的输入;
所述编码器模块包括依次连接的多头自注意力层、第一层规范化层、第六卷积层、第五批规范化层、第六ReLU 激活层、第七卷积层、第六批规范化层、第七ReLU 激活层和第二层规范化层;
所述多头自注意力层的输入与其输出相加后作为所述第一层规范化层的输入,所述第六卷积层的输入与所述第七ReLU 激活层的输出相加后作为所述第二层规范化层的输入。
6.根据权利要求1所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述基类样本集和所述增量样本集均包括多个类别的附有调制分类标签的若干调制通信信号,所述增量样本集为1-way-5-shot 或1-way-1-shot 的小样本样本集。
7.根据权利要求2所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述步骤2包括:
步骤 2.1:初始化所述通信信号调制分类网络模型的网络参数;
步骤2.2:获取所述基类样本集中的基类训练样本和其对应的调制分类标签,将所述基类训练样本输入所述通信信号调制分类网络模型中,所述基类训练样本经过所述特征提取网络后得到其在特征空间内的映射;
步骤2.3:将所述基类训练样本在特征空间内的映射表达取均值作为类原型,存储为所述全连接层的权值;
步骤 2.4:所述映射经过所述全连接层后输出所述基类训练样本与类原型之间的余弦相似度;
步骤 2.5:将所述余弦相似度最大的类原型作为该基类训练样本的预测调制分类结果,根据所述基类训练样本对应的调制分类标签计算交叉熵损失函数和准确率;
步骤 2.6:根据所述交叉熵损失函数,通过反向传播更新所述通信信号调制分类网络模型的网络权值,以完成所述通信信号调制分类网络模型的基类训练阶段,得到所述基类训练阶段的网络模型。
8.根据权利要求2所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,构建扩充样本集,并利用所述扩充样本集对所述分类器进行参数初始化,包括:
步骤a:利用当前阶段的网络模型对未标签的调制通信信号样本集和所述增量样本集进行特征映射,利用该特征映射得到未标签的调制通信信号样本的对应预测伪标签,并计算所述预测伪标签的置信度,选取置信度最高的所述预测伪标签对应的未标签的调制通信信号样本作为伪样本加入至所述增量样本集中,得到所述扩充样本集;
步骤b:根据所述扩充样本集,将其映射表达取均值,得到新类原型,以更新类原型,并将更新后的类原型作为所述图网络的参数对其进行初始化。
9.根据权利要求8所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述未标签的调制通信信号样本集是从当前通信信号调制分类网络模型已训练的所有类别调制通信信号中随机选取的多个调制通信信号的集合,且未附有调制分类标签。
10.根据权利要求8所述的基于增量学习的小样本通信信号自动调制识别方法,其特征在于,所述步骤3包括:
步骤3.1:获取所述增量样本集中的增量训练样本和其对应的分类标签;
步骤 3.2:将所述增量训练样本输入经过图网络参数初始化之后的所述通信信号调制分类网络模型中;
步骤3.3:根据所述增量训练样本及其对应的调制分类标签计算交叉熵损失函数;
步骤 3.4:根据所述交叉熵损失函数,通过反向传播更新所述全连接层的权值,得到训练完成的通信信号调制分类网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210458158.8A CN114580484B (zh) | 2022-04-28 | 2022-04-28 | 一种基于增量学习的小样本通信信号自动调制识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210458158.8A CN114580484B (zh) | 2022-04-28 | 2022-04-28 | 一种基于增量学习的小样本通信信号自动调制识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114580484A true CN114580484A (zh) | 2022-06-03 |
CN114580484B CN114580484B (zh) | 2022-08-12 |
Family
ID=81785507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210458158.8A Active CN114580484B (zh) | 2022-04-28 | 2022-04-28 | 一种基于增量学习的小样本通信信号自动调制识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114580484B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115203420A (zh) * | 2022-07-25 | 2022-10-18 | 腾讯科技(深圳)有限公司 | 实体关系分类模型训练方法、实体关系分类方法及装置 |
CN115238749A (zh) * | 2022-08-04 | 2022-10-25 | 中国人民解放军军事科学院系统工程研究院 | 一种基于Transformer的特征融合的调制识别方法 |
CN115442192A (zh) * | 2022-07-22 | 2022-12-06 | 西安电子科技大学 | 一种基于主动学习的通信信号自动调制识别方法及装置 |
CN115720184A (zh) * | 2022-10-08 | 2023-02-28 | 西安电子科技大学 | 一种基于特征分布的小样本信号调制类型识别方法 |
CN117034124A (zh) * | 2023-10-07 | 2023-11-10 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、系统、设备及介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110086737A (zh) * | 2019-03-13 | 2019-08-02 | 西安电子科技大学 | 一种基于图神经网络的通信信号调制方式的识别方法 |
WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技(深圳)有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
US20200210773A1 (en) * | 2019-01-02 | 2020-07-02 | Boe Technology Group Co., Ltd. | Neural network for image multi-label identification, related method, medium and device |
CN111985581A (zh) * | 2020-09-09 | 2020-11-24 | 福州大学 | 一种基于样本级注意力网络的少样本学习方法 |
CN113344144A (zh) * | 2021-07-29 | 2021-09-03 | 中国人民解放军国防科技大学 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
CN113420593A (zh) * | 2021-05-19 | 2021-09-21 | 西安电子科技大学 | 基于混合推理网络的小样本sar自动目标识别方法 |
CN113610151A (zh) * | 2021-08-05 | 2021-11-05 | 哈尔滨理工大学 | 一种基于原型网络的自编码器网络机制解决小样本图像分类的系统、方法、设备及存储介质 |
CN113688878A (zh) * | 2021-07-30 | 2021-11-23 | 华东师范大学 | 一种基于记忆力机制和图神经网络的小样本图像分类方法 |
CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
-
2022
- 2022-04-28 CN CN202210458158.8A patent/CN114580484B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020073951A1 (zh) * | 2018-10-10 | 2020-04-16 | 腾讯科技(深圳)有限公司 | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 |
US20200210773A1 (en) * | 2019-01-02 | 2020-07-02 | Boe Technology Group Co., Ltd. | Neural network for image multi-label identification, related method, medium and device |
CN110086737A (zh) * | 2019-03-13 | 2019-08-02 | 西安电子科技大学 | 一种基于图神经网络的通信信号调制方式的识别方法 |
CN111985581A (zh) * | 2020-09-09 | 2020-11-24 | 福州大学 | 一种基于样本级注意力网络的少样本学习方法 |
CN113420593A (zh) * | 2021-05-19 | 2021-09-21 | 西安电子科技大学 | 基于混合推理网络的小样本sar自动目标识别方法 |
CN113344144A (zh) * | 2021-07-29 | 2021-09-03 | 中国人民解放军国防科技大学 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
CN113688878A (zh) * | 2021-07-30 | 2021-11-23 | 华东师范大学 | 一种基于记忆力机制和图神经网络的小样本图像分类方法 |
CN113610151A (zh) * | 2021-08-05 | 2021-11-05 | 哈尔滨理工大学 | 一种基于原型网络的自编码器网络机制解决小样本图像分类的系统、方法、设备及存储介质 |
CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
Non-Patent Citations (2)
Title |
---|
GUANGTAO ZHENG ET AL: "Few-Shot Class-Incremental Learning with Meta-Learned Class Structures", 《2021 INTERNATIONAL CONFERENCE ON DATA MINING WORKSHOPS (ICDMW)》 * |
冯耀功等: "基于知识的零样本视觉识别综述", 《软件学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115442192A (zh) * | 2022-07-22 | 2022-12-06 | 西安电子科技大学 | 一种基于主动学习的通信信号自动调制识别方法及装置 |
CN115442192B (zh) * | 2022-07-22 | 2024-02-27 | 西安电子科技大学 | 一种基于主动学习的通信信号自动调制识别方法及装置 |
CN115203420A (zh) * | 2022-07-25 | 2022-10-18 | 腾讯科技(深圳)有限公司 | 实体关系分类模型训练方法、实体关系分类方法及装置 |
CN115203420B (zh) * | 2022-07-25 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 实体关系分类模型训练方法、实体关系分类方法及装置 |
CN115238749A (zh) * | 2022-08-04 | 2022-10-25 | 中国人民解放军军事科学院系统工程研究院 | 一种基于Transformer的特征融合的调制识别方法 |
CN115238749B (zh) * | 2022-08-04 | 2024-04-23 | 中国人民解放军军事科学院系统工程研究院 | 一种基于Transformer的特征融合的调制识别方法 |
CN115720184A (zh) * | 2022-10-08 | 2023-02-28 | 西安电子科技大学 | 一种基于特征分布的小样本信号调制类型识别方法 |
CN115720184B (zh) * | 2022-10-08 | 2024-04-19 | 西安电子科技大学 | 一种基于特征分布的小样本信号调制类型识别方法 |
CN117034124A (zh) * | 2023-10-07 | 2023-11-10 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、系统、设备及介质 |
CN117034124B (zh) * | 2023-10-07 | 2024-02-23 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114580484B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114580484B (zh) | 一种基于增量学习的小样本通信信号自动调制识别方法 | |
US9858502B2 (en) | Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding | |
US8447797B2 (en) | MIMO system method and device using sorted QR-decomposition (SQRD) for detecting transmission signal with division detection | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 | |
US20230075100A1 (en) | Adversarial autoencoder architecture for methods of graph to sequence models | |
Chabiron et al. | Toward fast transform learning | |
CN114169442B (zh) | 基于双原型网络的遥感图像小样本场景分类方法 | |
CN110728187A (zh) | 一种基于容错性深度学习的遥感影像场景分类方法 | |
US20230185998A1 (en) | System and method for ai-assisted system design | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
US20240126829A1 (en) | Unsupervised feature selection method based on latent space learning and manifold constraints | |
Li et al. | A deep convolutional network for multitype signal detection and classification in spectrogram | |
Berry et al. | Iterated diffusion maps for feature identification | |
CN111190158A (zh) | 复杂雷达辐射源识别方法、装置、电子设备及其存储介质 | |
CN114584440A (zh) | 基于Transformer编码网络的小样本AMC方法 | |
CN113541834A (zh) | 一种异常信号半监督分类方法、系统、数据处理终端 | |
CN113872904B (zh) | 一种基于集成学习的多分类通信信号自动调制识别方法 | |
CN113887698B (zh) | 基于图神经网络的整体知识蒸馏方法和系统 | |
CN116127298A (zh) | 基于三元组损失的小样本射频指纹识别方法 | |
CN114528876A (zh) | 基于改进原型网络的小样本信号自动调制识别方法 | |
CN113343801B (zh) | 基于轻量化卷积神经网络的无线信号自动调制识别方法 | |
CN113420593B (zh) | 基于混合推理网络的小样本sar自动目标识别方法 | |
CN117994570A (zh) | 基于模型无关适配器提高复杂多样数据分布的识别方法 | |
CN110781822B (zh) | 基于自适应多方位角字典对学习的sar图像目标识别方法 | |
CN115511262A (zh) | 变压器质量检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |