CN114584440A - 基于Transformer编码网络的小样本AMC方法 - Google Patents

基于Transformer编码网络的小样本AMC方法 Download PDF

Info

Publication number
CN114584440A
CN114584440A CN202210099428.0A CN202210099428A CN114584440A CN 114584440 A CN114584440 A CN 114584440A CN 202210099428 A CN202210099428 A CN 202210099428A CN 114584440 A CN114584440 A CN 114584440A
Authority
CN
China
Prior art keywords
sample
training
coding network
transformer
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210099428.0A
Other languages
English (en)
Inventor
周峰
张慧
王力
石晓然
白雪茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210099428.0A priority Critical patent/CN114584440A/zh
Publication of CN114584440A publication Critical patent/CN114584440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/0012—Modulated-carrier systems arrangements for identifying the type of modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及频谱监测技术领域，具体涉及基于Transformer编码网络的小样本AMC(自动调制分类)方法。本发明的Transformer编码网络可以将样本从原始的信号空间映射到易于分类的嵌入空间，提高了识别性能；只需要少量训练样本就能获得和传统AMC方法接近的识别正确率，在调制信号样本有限的情况下，有效地提高了识别精度。

Description

基于Transformer编码网络的小样本AMC方法
技术领域
本发明涉及频谱监测技术领域，具体涉及基于Transformer编码网络的小样本AMC(自动调制分类)方法。
背景技术
AMC技术用于识别未知信号的调制类型，广泛用于应用于信号检测，频谱共享和干扰识别等领域。
AMC技术通常可分为基于决策理论的和基于模式识别的方法两类。基于决策理论的方法通过比较不同调制信号的似然函数来获得识别结果，该方法复杂度较高且鲁棒性较差，实际中难以部署。相较于基于决策理论的方法，基于模式识别的方法复杂度较低且容易实现，故成为AMC的主流方法。
随着深度学习在许多领域的发展和应用，将其应用在AMC领域中成为一个新的趋势，研究人员也提出了许多基于深度学习的AMC方法，例如卷积神经网络和长短时记忆网络等。以上方法大都需要在每类调制方式包含数百个样本的训练集上进行特征提取，从而达到一定的识别准确率。而实际应用时，某些调制类型仅有少数几个样本，算法的识别准确率大大降低，不再有效。因此，研究一种在少数几个信号样本中有效提取特征并进行识别的方法在AMC 领域具有重要意义。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供基于Transformer 编码网络的小样本AMC方法，解决了传统分类方法中每类待识别调制信号都需要数百个甚至更多训练样本的问题，实现了用每类中少量的带标签样本即可有效分类调制信号。
为了达到上述目的，本发明采用以下技术方案予以实现。
基于Transformer编码网络的小样本AMC方法，包括以下步骤：
步骤1，获取训练样本集和测试样本集；从训练样本集中选取出训练支撑集和训练查询集，从测试样本集中选取出测试支撑集和测试查询集；
步骤2，构建基于Transformer结构的原型神经网络，即Transformer编码网络；
步骤3，使用训练支撑集和训练查询集对Transformer编码网络进行训练，获得训练好的Transformer编码网络；
步骤4，使用训练好的Transformer编码网络对测试查询集内每个样本的信号类别进行分类。
与现有技术相比，本发明的有益效果为：Transformer编码网络可以将样本从原始的信号空间映射到易于分类的嵌入空间，提高了识别性能；只需要少量训练样本就能获得和传统AMC方法接近的识别正确率，在调制信号样本有限的情况下，有效地提高了识别精度。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明基于Transformer编码网络的小样本AMC方法的流程图；
图2为本发明实施例的Transformer编码网络的结构图；
图3为本发明实施例Transformer编码网络的训练和测试实现框架图。
具体实施方式
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
参考图1，基于Transformer编码网络的小样本AMC方法，包括以下步骤：
步骤1，获取训练样本集和测试样本集；从训练样本集中选取出训练支撑集和训练查询集，从测试样本集中选取出测试支撑集和测试查询集；
具体的，本实施例样本从RadioML数据集中选取；
训练样本集包含M类调制信号，每类调制信号包含在10个不同信噪比(10 个信噪比分别为0dB、2dB、4dB、6dB、8dB、10dB、12dB、14dB、16dB、 18dB)下的
Figure RE-GDA0003606861270000031
个信号；
测试样本集包含N类调制信号，每类调制信号包含在10个不同信噪比(10 个信噪比分别为0dB、2dB、4dB、6dB、8dB、10dB、12dB、14dB、16dB、 18dB)下的
Figure RE-GDA0003606861270000032
个信号；
本实施例取M＝8，
Figure RE-GDA0003606861270000033
N＝3，
Figure RE-GDA0003606861270000034
信号数据尺寸为2×128；
从训练样本集中随机选取随机选取C类调制信号，再从C类调制信号中的每类调制信号中选取m个样本，将随机选取C×m个样本作为训练支撑集，将 C类调制信号中剩余的
Figure RE-GDA0003606861270000035
个样本作为训练查询集；再将每个样本对应的调制信号类别作为标签加入对应样本所在的样本集中；
从测试样本集中的每类调制信号中随机选取m个样本作为测试支撑集，即N×m个样本作为测试支撑集，剩余的
Figure RE-GDA0003606861270000036
个样本作为测试查询集；再将测试支撑集中每个样本对应的调制信号类别作为标签加入测试支撑集中；
即最终训练支撑集、训练查询集和测试支撑集包含标签，测试查询集未包含标签。
其中C＝N，m≤10，测试样本集中的调制信号类别与训练支撑集、训练查询集中的调制信号类别不同；本实施例取m＝5。
步骤2，构建基于Transformer结构的原型神经网络，即Transformer编码网络；
具体的，参考图2，基于Transformer编码网络包含依次连接的六个 TransformerEcoder层、原型模块和基于欧几里得距离的分类器；
每个Transformer Ecoder层包含依次连接的多头自注意力层、第一层规范化层、第一卷积层、第一ReLU激活层、第一批规范化层、第二卷积层、第二ReLU激活层、第二批规范化层、第三卷积层、第三ReLU激活层、第三批规范化层、第三批规范化层；
其中，多头自注意力层的分头数为8，多头自注意力层中查询矩阵、键矩阵和值矩阵的维度均为64；第一卷积层、第二卷积层和第三卷积层均为一维卷积，卷积核大小均为1×1，步长均为1；第一卷积层的卷积核个数为8，第二卷积层和第三卷积层的卷积核个数均为2。
步骤3，使用训练支撑集和训练查询集对Transformer编码网络进行训练，获得训练好的Transformer编码网络；
具体的，参考图3，步骤3的子步骤如下：
子步骤3.1，设置最大迭代次数为T，T≥1000，初始化迭代次数t＝0；
子步骤3.2，获取训练支撑集和训练查询集中每个样本的样本序列；
子步骤3.3，将样本序列作为Transformer编码网络的输入，Transformer 编码网络输出对应的预测类别；对Transformer编码网络进行训练，具体子步骤为：
子步骤3.3.1，将训练支撑集和训练查询集中的每个样本对应的信号序列按顺序依次输入Transformer编码网络进行映射，即将输入的每个样本序列从原始空间映射到新的特征空间fφ，得到
Figure RE-GDA0003606861270000051
个维数为L的嵌入向量
Figure RE-GDA0003606861270000052
φ表示网络中的可学习参数；其中，嵌入向量
Figure RE-GDA0003606861270000053
的表达式为：
Figure RE-GDA0003606861270000054
式中，θ表示Transformer编码网络的权值参数，RL表示L维的实数集。
最终训练支撑集和训练查询集中每个样本的样本序列均得到对应的一个嵌入向量
Figure RE-GDA0003606861270000055
子步骤3.3.2，通过训练支撑集所包含的C类调制信号对应的嵌入向量
Figure RE-GDA0003606861270000056
计算C个原型
Figure RE-GDA0003606861270000057
计算公式为：
Figure RE-GDA0003606861270000058
式中，
Figure RE-GDA0003606861270000059
为第k类调制信号对应的原型；Sk表示第k类调制信号，xn表示第n个信号样本，yn表示第n个信号样本对应的标签，
Figure RE-GDA00036068612700000510
表示第k类调制信号样本的数量，fφ表示映射函数，
Figure RE-GDA00036068612700000511
为训练支撑集S1的第n个信号样本对应的嵌入向量；
子步骤3.3.3，计算训练查询集中每个样本对应的嵌入向量
Figure RE-GDA00036068612700000512
到每个原型
Figure RE-GDA00036068612700000513
的欧几里得距离
Figure RE-GDA00036068612700000514
找出每个嵌入向量
Figure RE-GDA00036068612700000515
到C个原型
Figure RE-GDA00036068612700000516
的最短距离，将每个最短距离对应的原型
Figure RE-GDA00036068612700000517
的类别作为对应的调制信号样本的分类结果；
其中，
Figure RE-GDA00036068612700000518
为训练查询集中第p个信号样本对应的嵌入向量，||·||表示求范数。
子步骤3.3.4，根据分类结果与分类结果对应标签，计算当前迭代次数的交叉熵损失函数，并通过随机梯度下降算法，对Transformer编码网络的网络参数进行更新，得到更新后的Transformer编码网络；
具体的，采用交叉熵损失函数L(θ)如式(1)所示，并通过随机梯度下降算法，对Transformer编码网络中卷积层的权值、多头自注意力层的权值等参数进行更新，得到更新后的Transformer编码网络，Transformer编码网络的输出表达式如式(2)所示；
Figure RE-GDA0003606861270000061
Figure RE-GDA0003606861270000062
式(1)中，θ表示Transformer编码网络的权值参数，xj表示网络训练过程中的每一个episode中训练样本的第j个样本，yj表示xj对应的真实标签，z表示网络训练过程中的每一个episode中的训练样本数量；
式(2)中，pφ(y＝k|x)表示需要识别的样本x被识别为第k类的概率，k 表示x的真实标签，
Figure RE-GDA0003606861270000063
表示嵌入向量
Figure RE-GDA0003606861270000064
到第k类调制信号的原型
Figure RE-GDA0003606861270000065
的欧几里得距离。
子步骤3.3.5，判断t＝T是否成立，若成立，则将子步骤3.3.4获得的更新后的Transformer编码网络作为训练好的Transformer编码网络；否则，令t＝t+1，返回执行子步骤3.3.3。
步骤4，使用训练好的Transformer编码网络对测试查询集内每个样本的信号类别进行分类。
具体的，参考图3，步骤4的子步骤如下：
子步骤4.1，获取测试支撑集和测试查询集中每个样本的样本序列；将测试支撑集和测试查询集中的每个样本对应的信号序列按顺序依次输入Transformer编码网络进行映射，得到
Figure RE-GDA0003606861270000071
个嵌入向量
Figure RE-GDA0003606861270000072
子步骤4.2，通过包含N类调制信号类别标签的测试支撑集中每个样本对应的嵌入向量
Figure RE-GDA0003606861270000073
计算N个原型
Figure RE-GDA0003606861270000074
子步骤4.3，计算测试查询集中每个样本对应的嵌入向量
Figure RE-GDA0003606861270000075
到每个原型
Figure RE-GDA0003606861270000076
的欧几里得距离
Figure RE-GDA0003606861270000077
找出每个嵌入向量
Figure RE-GDA0003606861270000078
到N个原型
Figure RE-GDA0003606861270000079
的最短距离，将每个最短距离对应的原型
Figure RE-GDA00036068612700000710
的类别作为对应的测试查询集中样本的信号类别分类结果；其中，
Figure RE-GDA00036068612700000711
为测试查询集中第v个信号样本对应的嵌入向量， ||·||表示求范数。
仿真实验
本发明的效果可以通过以下具体实例进一步说明：
(1)实验条件
本发明的仿真实验的硬件平台为：CPU为Intel Core i7-10700，8核，主频为2.9GHz，内存大小为32GB。
本发明的仿真实验的软件平台为：操作系统为windows 10。
本发明的仿真实验的训练样本集选自RadioML数据集中信噪比范围为 0-18dB，相邻信噪比间隔为2dB的BPSK，CPFSK，GFSK，PAM4，QAM16，QAM64， QPSK，WBFM八种调制信号。
本发明的仿真实验的测试样本集选自RadioML数据集中信噪比范围为 0-18dB，相邻信噪比间隔为2dB的8PSK，AM-DSB和AM-SSB三种调制信号。
(2)仿真内容
为了验证有限样本情况下本发明的识别效果，在不同信噪比测试集下分别进行测试。由于只做一次实验具有随机性和偶然性，不能准确反映网络的识别准确度，因此随机选取1000个不同的测试支撑集进行实验，对这1000 次实验的实验结果取平均值作为最终结果。
在不同信噪比下平均分类正确率结果如表1所示：
表1
Figure RE-GDA0003606861270000081
从表1中可见，在测试支撑集样本较少的情况下，本发明在不同信噪比下的分类结果差别不大且均能够达到90％以上的正确率。
在不同信噪比下平均分类正确率混淆矩阵如表2所示：
表2
Figure RE-GDA0003606861270000082
表3
Figure RE-GDA0003606861270000083
表4
Figure RE-GDA0003606861270000091
表5
Figure RE-GDA0003606861270000092
表6
Figure RE-GDA0003606861270000093
表7
Figure RE-GDA0003606861270000094
表8
Figure RE-GDA0003606861270000101
表9
Figure RE-GDA0003606861270000102
表10
Figure RE-GDA0003606861270000103
表11
Figure RE-GDA0003606861270000104
从表2～11中可见，在不同信噪比下，除8PSK类别的样本的分类正确率为 74％左右外，其余类别的分类正确率均能够达到98％左右。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.基于Transformer编码网络的小样本AMC方法，其特征在于，包括以下步骤：
步骤1，获取训练样本集和测试样本集；从训练样本集中选取出训练支撑集和训练查询集，从测试样本集中选取出测试支撑集和测试查询集；
步骤2，构建基于Transformer结构的原型神经网络，即Transformer编码网络；
步骤3，使用训练支撑集和训练查询集对Transformer编码网络进行训练，获得训练好的Transformer编码网络；
步骤4，使用训练好的Transformer编码网络对测试查询集内每个样本的信号类别进行分类。
2.根据权利要求1所述的基于Transformer编码网络的小样本AMC方法，其特征在于，步骤1具体的，样本从现有数据集中选取；
训练样本集包含M类调制信号，每类调制信号包含在多个不同信噪比下的
Figure FDA0003491957600000011
个信号；
测试样本集包含N类调制信号，每类调制信号包含在多个不同信噪比下的
Figure FDA0003491957600000012
个信号；
从训练样本集中随机选取随机选取C类调制信号，再从C类调制信号中的每类调制信号中选取m个样本，将随机选取C×m个样本作为训练支撑集，将C类调制信号中剩余的
Figure FDA0003491957600000013
个样本作为训练查询集；再将每个样本对应的调制信号类别作为标签加入对应样本所在的样本集中；
从测试样本集中的每类调制信号中随机选取m个样本作为测试支撑集，即N×m个样本作为测试支撑集，剩余的
Figure FDA0003491957600000014
个样本作为测试查询集；再将测试支撑集中每个样本对应的调制信号类别作为标签加入测试支撑集中；
其中C＝N，m≤10，测试样本集中的调制信号类别与训练支撑集、训练查询集中的调制信号类别不同。
3.根据权利要求1所述的基于Transformer编码网络的小样本AMC方法，其特征在于，步骤2的Transformer编码网络，具体的，基于Transformer编码网络包含依次连接的多个Transformer Ecoder层、原型模块和基于欧几里得距离的分类器；
每个Transformer Ecoder层包含依次连接的多头自注意力层、第一层规范化层、第一卷积层、第一ReLU激活层、第一批规范化层、第二卷积层、第二ReLU激活层、第二批规范化层、第三卷积层、第三ReLU激活层、第三批规范化层、第三批规范化层；
其中，多头自注意力层的分头数为8，多头自注意力层中查询矩阵、键矩阵和值矩阵的维度均为64；第一卷积层、第二卷积层和第三卷积层均为一维卷积，卷积核大小均为1×1，步长均为1；第一卷积层的卷积核个数为8，第二卷积层和第三卷积层的卷积核个数均为2。
4.根据权利要求1所述的基于Transformer编码网络的小样本AMC方法，其特征在于，步骤3包含以下子步骤：
子步骤3.1，设置最大迭代次数为T，T≥1000，初始化迭代次数t＝0；
子步骤3.2，获取训练支撑集和训练查询集中每个样本的样本序列；
子步骤3.3，将样本序列作为Transformer编码网络的输入，Transformer编码网络输出对应的预测类别；对Transformer编码网络进行训练。
5.根据权利要求4所述的基于Transformer编码网络的小样本AMC方法，其特征在于，子步骤3.3包含以下子步骤：
子步骤3.3.1，将训练支撑集和训练查询集中的每个样本对应的信号序列按顺序依次输入Transformer编码网络进行映射，即将输入的每个样本序列从原始空间映射到新的特征空间fφ，得到
Figure FDA0003491957600000031
个维数为L的嵌入向量
Figure FDA0003491957600000032
φ表示网络中的可学习参数；其中，嵌入向量
Figure FDA0003491957600000033
的表达式为：
encoder(θ):
Figure FDA0003491957600000034
式中，θ表示Transformer编码网络的权值参数，RL表示L维的实数集；
最终训练支撑集和训练查询集中每个样本的样本序列均得到对应的一个嵌入向量
Figure FDA0003491957600000035
子步骤3.3.2，通过训练支撑集所包含的C类调制信号对应的嵌入向量
Figure FDA0003491957600000036
计算C个原型
Figure FDA0003491957600000037
计算公式为：
Figure FDA0003491957600000038
式中，
Figure FDA0003491957600000039
为第k类调制信号对应的原型；Sk表示第k类调制信号，xn表示第n个信号样本，yn表示第n个信号样本对应的标签，
Figure FDA00034919576000000310
表示第k类调制信号样本的数量，fφ表示映射函数，
Figure FDA00034919576000000311
Figure FDA00034919576000000312
为训练支撑集S1的第n个信号样本对应的嵌入向量；
子步骤3.3.3，计算训练查询集中每个样本对应的嵌入向量
Figure FDA00034919576000000313
到每个原型
Figure FDA00034919576000000314
的欧几里得距离
Figure FDA00034919576000000315
找出每个嵌入向量
Figure FDA00034919576000000316
到C个原型
Figure FDA00034919576000000317
的最短距离，将每个最短距离对应的原型
Figure FDA00034919576000000318
的类别作为对应的调制信号样本的分类结果；其中，
Figure FDA00034919576000000319
为训练查询集中第p个信号样本对应的嵌入向量，||·||表示求范数；
子步骤3.3.4，根据分类结果与分类结果对应标签，计算当前迭代次数的交叉熵损失函数，并通过随机梯度下降算法，对Transformer编码网络的网络参数进行更新，得到更新后的Transformer编码网络；
子步骤3.3.5，判断t＝T是否成立，若成立，则将子步骤3.3.4获得的更新后的Transformer编码网络作为训练好的Transformer编码网络；否则，令t＝t+1，返回执行子步骤3.3.3。
6.根据权利要求1所述的基于Transformer编码网络的小样本AMC方法，其特征在于，子步骤3.3.4，具体的，采用交叉熵损失函数L(θ)如式(1)所示，并通过随机梯度下降算法，对Transformer编码网络中卷积层的权值、多头自注意力层的权值等参数进行更新，得到更新后的Transformer编码网络，Transformer编码网络的输出表达式如式(2)所示；
Figure FDA0003491957600000041
Figure FDA0003491957600000042
式(1)中，θ表示Transformer编码网络的权值参数，xj表示网络训练过程中的每一个episode中训练样本的第j个样本，yj表示xj对应的真实标签，z表示网络训练过程中的每一个episode中的训练样本数量；
式(2)中，pφ(y＝k|x)表示需要识别的样本x被识别为第k类的概率，k表示x的真实标签，
Figure FDA0003491957600000043
表示嵌入向量
Figure FDA0003491957600000044
到第k类调制信号的原型
Figure FDA0003491957600000045
的欧几里得距离。
7.根据权利要求1所述的基于Transformer编码网络的小样本AMC方法，其特征在于，步骤4包含以下子步骤：
子步骤4.1，获取测试支撑集和测试查询集中每个样本的样本序列；将测试支撑集和测试查询集中的每个样本对应的信号序列按顺序依次输入Transformer编码网络进行映射，得到
Figure FDA0003491957600000051
个嵌入向量
Figure FDA0003491957600000052
子步骤4.2，通过包含N类调制信号类别标签的测试支撑集中每个样本对应的嵌入向量
Figure FDA0003491957600000053
计算N个原型
Figure FDA0003491957600000054
子步骤4.3，计算测试查询集中每个样本对应的嵌入向量
Figure FDA0003491957600000055
到每个原型
Figure FDA0003491957600000056
的欧几里得距离
Figure FDA0003491957600000057
找出每个嵌入向量
Figure FDA0003491957600000058
到N个原型
Figure FDA0003491957600000059
的最短距离，将每个最短距离对应的原型
Figure FDA00034919576000000510
的类别作为对应的测试查询集中样本的信号类别分类结果；其中，
Figure FDA00034919576000000511
为测试查询集中第v个信号样本对应的嵌入向量，||·||表示求范数。
CN202210099428.0A 2022-01-27 2022-01-27 基于Transformer编码网络的小样本AMC方法 Pending CN114584440A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210099428.0A CN114584440A (zh) 2022-01-27 2022-01-27 基于Transformer编码网络的小样本AMC方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210099428.0A CN114584440A (zh) 2022-01-27 2022-01-27 基于Transformer编码网络的小样本AMC方法

Publications (1)

Publication Number Publication Date
CN114584440A true CN114584440A (zh) 2022-06-03

Family

ID=81768904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099428.0A Pending CN114584440A (zh) 2022-01-27 2022-01-27 基于Transformer编码网络的小样本AMC方法

Country Status (1)

Country Link
CN (1) CN114584440A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238749A (zh) * 2022-08-04 2022-10-25 中国人民解放军军事科学院系统工程研究院 一种基于Transformer的特征融合的调制识别方法
CN115296759A (zh) * 2022-07-15 2022-11-04 电子科技大学 一种基于深度学习的干扰识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110086737A (zh) * 2019-03-13 2019-08-02 西安电子科技大学 一种基于图神经网络的通信信号调制方式的识别方法
CN112052762A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于高斯原型的小样本isar图像目标识别方法
CN112990334A (zh) * 2021-03-29 2021-06-18 西安电子科技大学 基于改进原型网络的小样本sar图像目标识别方法
CN113408605A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于小样本学习的高光谱图像半监督分类方法
CN113420593A (zh) * 2021-05-19 2021-09-21 西安电子科技大学 基于混合推理网络的小样本sar自动目标识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110086737A (zh) * 2019-03-13 2019-08-02 西安电子科技大学 一种基于图神经网络的通信信号调制方式的识别方法
CN112052762A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于高斯原型的小样本isar图像目标识别方法
CN112990334A (zh) * 2021-03-29 2021-06-18 西安电子科技大学 基于改进原型网络的小样本sar图像目标识别方法
CN113420593A (zh) * 2021-05-19 2021-09-21 西安电子科技大学 基于混合推理网络的小样本sar自动目标识别方法
CN113408605A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于小样本学习的高光谱图像半监督分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STANISLAV FORT: "Gaussian Prototypical Networks for Few-Shot Learning on Omniglot", 《MACHINE LEARNING》 *
代磊超: "基于深度网络的快速少样本学习算法", 《模式识别与人工智能》 *
刘波: "深度学习在认知无线电中的应用研究综述", 《华东师范大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115296759A (zh) * 2022-07-15 2022-11-04 电子科技大学 一种基于深度学习的干扰识别方法
CN115238749A (zh) * 2022-08-04 2022-10-25 中国人民解放军军事科学院系统工程研究院 一种基于Transformer的特征融合的调制识别方法
CN115238749B (zh) * 2022-08-04 2024-04-23 中国人民解放军军事科学院系统工程研究院 一种基于Transformer的特征融合的调制识别方法

Similar Documents

Publication Publication Date Title
CN108696331B (zh) 一种基于生成对抗网络的信号重构方法
WO2021077841A1 (zh) 一种基于循环残差网络的信号调制识别方法及装置
CN114584440A (zh) 基于Transformer编码网络的小样本AMC方法
CN114580484B (zh) 一种基于增量学习的小样本通信信号自动调制识别方法
CN110636445B (zh) 基于wifi的室内定位方法、装置、设备及介质
CN114528876A (zh) 基于改进原型网络的小样本信号自动调制识别方法
KR102073935B1 (ko) 전파신호 변조인식시스템
CN109378014A (zh) 一种基于卷积神经网络的移动设备源识别方法及系统
CN111190158B (zh) 复杂雷达辐射源识别方法、装置、电子设备及其存储介质
CN112749633B (zh) 分离与重构的个体辐射源识别方法
CN113572708B (zh) 一种dft信道估计改进方法
CN112347910B (zh) 一种基于多模态深度学习的信号指纹识别方法
CN114726692B (zh) 一种基于SEResNet-LSTM的辐射源调制方式识别方法
CN111553186A (zh) 一种基于深度长短时记忆网络的电磁信号识别方法
CN113553988A (zh) 一种基于复数神经网络和注意力机制的模拟信号识别方法
CN114692665A (zh) 基于度量学习的辐射源开集个体识别方法
CN112215078A (zh) 基于自动编码器的电磁信号调制类型识别的通用对抗扰动生成方法
CN114239657A (zh) 一种基于复值干涉神经网络的时序信号识别方法
CN115186712A (zh) 一种调制信号识别方法和系统
CN113109782B (zh) 一种直接应用于雷达辐射源幅度序列的分类方法
CN113095162B (zh) 一种基于半监督深度学习的频谱感知方法
CN116760491A (zh) 一种基于深度学习的信噪比估计方法
CN115577239A (zh) 一种电磁信号开集识别方法、装置及电子设备、存储介质
CN115563468A (zh) 一种基于深度学习网络融合的自动调制分类方法
CN109359694B (zh) 一种基于混合协同表示的分类器的图像分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination