CN113553988A - 一种基于复数神经网络和注意力机制的模拟信号识别方法 - Google Patents

一种基于复数神经网络和注意力机制的模拟信号识别方法 Download PDF

Info

Publication number
CN113553988A
CN113553988A CN202110885480.4A CN202110885480A CN113553988A CN 113553988 A CN113553988 A CN 113553988A CN 202110885480 A CN202110885480 A CN 202110885480A CN 113553988 A CN113553988 A CN 113553988A
Authority
CN
China
Prior art keywords
complex
convolution
function
output
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110885480.4A
Other languages
English (en)
Inventor
史清江
彭颖
董益宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110885480.4A priority Critical patent/CN113553988A/zh
Publication of CN113553988A publication Critical patent/CN113553988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于复数神经网络和注意力机制的模拟信号识别方法，特征在于，其包括基于复数神经网络和注意力机制的模型设计方法及其复数元学习训练方法。本发明通过将复数神经网络和多头注意力机制应用于元学习模型，使得模型能更好地捕捉训练样本的类别特征，达到更好的分类效果和稳定的表现；同时，模型可以应用于大多数信号分类任务，并在少量的训练样本下也能取得较好的测试结果。

Description

一种基于复数神经网络和注意力机制的模拟信号识别方法
技术领域
本发明涉及模拟信号识别领域。
背景技术
信号识别在深度学习领域的成功需要使用大量的数据。而用传统的监督学习方法训练的深度学习模型在只有少量数据或需要适应未见过的任务或时间变化的任务时，往往表现不佳。在实际的信号识别任务中，收集和注释丰富的数据的代价是很昂贵的，尤其是对于一些罕见但重要的信号。另一方面，由于噪音的存在，在实际场景中，深度神经网络必须适应信噪比的实时变化。
在实际的信号识别任务中，模拟信号包括电流、电压、功率。
在复数神经网络中配备注意力机制的元学习方法还没有被研究。
发明内容
本申请原理将注意力机制和复值神经网络加入元学习中。
本发明公开了一种无线信号识别方法，包括基于复数神经网络和注意力机制的模型设计及其复数元学习训练方法，将模型首次取名为CAMEL(Complex-valued AttentionalMEta Learner)，所述CAMEL是由复数神经网络和复数多头注意力机制组成。通过将注意力机制扩展到复数域上，利用复数神经网络和注意力机制让模型纳入信号的先验知识，即复数域信息和时域信息，从而提高模型在信号分类识别问题的表现和准确率。而复数元学习训练方法能够使CAMEL通过少量训练样本的学习，在未接触过的新类的识别中达到很高的准确率，具有较强的泛化能力，从而解决小样本的信号分类问题。
本发明目的在于克服现有技术的不足，公开一种基于复数神经网络和注意力机制的模拟信号识别方法，特征在于，其包括基于复数神经网络和注意力机制的模型设计方法及其复数元学习训练方法。
具体实现包括以下步骤：
S1：对模拟信号数据预处理，筛选信噪比，构造训练集和测试集；模拟信号的度量或者模拟信号的特征包括电流、电压、功率，筛选信噪比，将模拟信号样本输入下文的CAMEL网络模型进行训练或者测试；
S2：设计CAMEL(Model-Agnostic Meta-Learning)网络模型，将S1预处理后的数据输入进CAMEL网络模型中训练，训练优化网络模型后并用于预测识别的结果；
所述的CAMEL网络模型，包括5个复数卷积块，在第二个复数卷积块与第三个复数卷积块之间构造一个复数值的多头注意力机制，并在5个复数卷积块的复值卷积操作完成后进行全连接并线性映射到5个类别，最后将复数通过取实部的方式转换为实数。
所述的方法，其特征在于，所述S2包括步骤：
S2.1：首先需要定义复数卷积的方法，根据复数运算的定义，复数卷积输出的实部为输入的实部的卷积减去输入的虚部的值的卷积，输出的虚部的值为输入的实部的卷积加输入的虚部的值的卷积，结合实部和虚部即可得到输出的复数值；
S2.2：输入模块；
输入模拟信号数据经过1×1卷积，输出通道为128，使数据的第一维从1变为128；
S2.3：通过第一复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.4：通过第二复数卷积块；
其中复数卷积为1×3卷积，输入通道为128，输出通道为64；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；输出x向量；
S2.5：通过注意力机制，注意力公式为：
Figure BDA0003193919040000031
其中Q、K、V分别为Query set,Key set,Value set，即三个复矩阵Q、K和V；dk表示K矩阵的行的维度；将输入x向量进行维度变换，其中x向量的第二维64为嵌入维度(embedding dimension)，最后两个维度合并成一个维度作为多头注意力机制运行的源序列长和目标序列长，变换后的结果作为Q、K、V输入；
采用多头注意力机制，每个头都会产生一个输出向量，再将产生的多个输出向量合并为一个矩阵，最后将此矩阵映射为一个向量y；
S2.6:通过第三复数卷积块；
其中复数卷积为1×3卷积，输入通道为64，输出通道为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.7:通过第四复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.8:通过第五复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.9:通过全连接层，并将输出结果线性映射到5个类别，最后取输出的实数部分作为最终分类结果。
所述的方法，其特征在于，所述S3复数元学习训练方法，包括步骤：
S3.1：CAMEL网络模型通过链式法则的反向传播来更新参数。采用非解析复合函数g(u),其中u＝h(x)，应用如下链式法则
Figure BDA0003193919040000051
其中g是一个连续函数，u*表示u的共轭向量；对于矩阵导数，链式法则写成:
Figure BDA0003193919040000052
其中U和X是两个复矩阵，(·)T表示矩阵的转置；
S3.2：根据S3.1，CAMEL网络模型能按预期进行参数更新；定义CAMEL网络模型的基本模型为带有复数注意力机制的元学习模型，目标是学习敏感的初始参数θ，使得模型通过对第i个支持集Si进行少量梯度更新，在第i个查询集Qi上表现良好并获得θ′i；这里的Ti＝{Si,Qi}是从任务概率分布p(T)中随机抽样的任务；上述更新步骤称为内循环更新过程，表示为:
Figure BDA0003193919040000053
其中，α是学习率，
Figure BDA0003193919040000054
表示任务i的支持集上的梯度；元参数θ通过优化θ‘i的表现来训练，元目标的定义如下:
Figure BDA0003193919040000055
式中，
Figure BDA0003193919040000056
表示内循环更新过程后任务i的查询集上的损失；通过从p(T)中独立抽取一批任务
Figure BDA0003193919040000057
来最小化函数
Figure BDA0003193919040000058
表示为:
Figure BDA0003193919040000059
Figure BDA0003193919040000061
元目标的优化称为外循环更新过程，表示为:
Figure BDA0003193919040000062
其中β表示元学习速率；
S3.3：为实现复数值的注意力机制，需要实现复数值的softmax函数，使用复梯度向量；
设
Figure BDA0003193919040000063
是复向量x的实函数，则复梯度向量为:
Figure BDA0003193919040000064
由上式，将广义复数softmax函数定义为:
Figure BDA0003193919040000065
其中Rsf(·)表示真实情况下的softmax函数，
Figure BDA0003193919040000066
表示将复数映射到实数域的任意函数；
给定一个复矩阵X，通过线性变换来计算复矩阵Q、K和V，那么复数值的注意力机制写成:
Figure BDA0003193919040000067
其中，Csf(·)作用于矩阵的每一行，dk表示K矩阵的行的维度；
S3.4：为搭建CAMEL网络模型，在S3.3的基础上实现基于复数值的多头注意力机制，允许模型关注并行的注意力函数得到的信息的不同表示：
Figure BDA0003193919040000071
式中，
Figure BDA0003193919040000072
WO为投影矩阵，Concat(·)为输入矩阵的合并；
上述设计了基于复数的激活函数和归一化函数，使得CAMEL网络模型中的每一部分都采用复数进行运算，构成复数神经网络。
本发明有益效果：本发明通过将复数神经网络和多头注意力机制应用于元学习模型，使得模型能更好地捕捉训练样本的类别特征，达到更好的分类效果和稳定的表现。同时，模型可以应用于大多数信号分类任务，并在少量的训练样本下也能取得较好的测试结果。因此，本发明方法具有创新性和优异性能。
附图说明
图1是实施例1预测方法流程示意图。
图2是实施例1应用系统模型架构图。
图3是本发明神经网络结构示意图。
图4是实施例1在模拟信号数据集RADIOML 2016.04C上的准确率收敛曲线图，置信区间为95％。
图5是实施例1在模拟信号数据集RADIOML 2016.10A上的混淆矩阵图。
具体实施方式
一种无线信号识别方法，特征在于，其包括基于复数神经网络和注意力机制的模型设计方法及其复数元学习训练方法，具体实现包括以下步骤：
S1：对模拟信号数据预处理，筛选信噪比，构造训练集和测试集。
模拟信号的度量或者模拟信号的特征包括电流、电压、功率，筛选信噪比，将模拟信号样本输入下文的CAMEL网络模型进行训练或者测试。
基于few-shot小样本学习的思想，将训练集和测试集均划分为支持(support)集和查询(query)集。对于n-way k-shot学习，支持集和查询集中均有n类样本，支持集中每个类别有k个样本。
S2：设计CAMEL(Model-Agnostic Meta-Learning)网络模型，将S1预处理后的数据输入进CAMEL网络模型中，得出最终的预测结果。
如图3所示，所述的CAMEL网络模型，具有5个复数卷积块，在第二个复数卷积块与第三个复数卷积块之间构造一个复数值的多头注意力机制，并在5个复数卷积块的复值卷积操作完成后进行全连接并线性映射到5个类别，最后将复数通过取实部的方式转换为实数。本发明设计的MAML(Model-Agnostic Meta-Learning)能在较小的样本上进行训练学习并具有强大的泛化能力。对于没有见过的测试集数据，在经过含有少量样本的支持集的学习后，在查询集上获得很好的模型表现。
所述S2的过程如下，如图3所示：
S2.1：首先需要定义复数卷积的方法，根据复数运算的定义，复数卷积输出的实部为输入的实部的卷积减去输入的虚部的值的卷积，输出的虚部的值为输入的实部的卷积加输入的虚部的值的卷积，结合实部和虚部即可得到输出的复数值。
S2.2：输入模块。输入模拟信号数据经过1×1卷积，输出通道为128，使数据的第一维从1变为128。
S2.3：通过第一复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.4：通过第二复数卷积块。其中复数卷积为1×3卷积，输入通道为128，输出通道为64。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。最终，输出x向量。
S2.5：通过注意力机制，注意力公式为：
Figure BDA0003193919040000101
其中Q、K、V分别为Queryset,Keyset,Valueset，即三个复矩阵Q、K和V；dk表示K矩阵的行的维度。将输入x向量进行维度变换，其中x向量的第二维64为嵌入维度(embeddingdimension)，最后两个维度合并成一个维度作为多头注意力机制运行的源序列长和目标序列长。变换后的结果作为Q、K、V输入。采用多头注意力机制，头数为8，每个头都会产生一个输出向量，再将产生的多个输出向量合并为一个矩阵，最后将此矩阵映射为一个向量y。
不同的随机初始化映射矩阵可以将输入向量x映射到不同的子空间，这可以让模型从不同角度理解输入的序列。因此同时几个注意力函数运算的组合效果可能会优于单个注意力机制，这种同时计算多个Attention的方法即为多头注意力机制。
S2.6:通过第三复数卷积块。其中复数卷积为1×3卷积，输入通道为64，输出通道为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.7:通过第四复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.8:通过第五复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.9:通过全连接层，并将输出结果线性映射到5个类别，最后取输出的实数部分作为最终分类结果。
S3复数元学习训练方法
S3.1：CAMEL网络模型通过链式法则的反向传播来更新参数。然而，传统的链式法则不起作用，需要定义用于复数变量的链式法则。链式法则对于非解析函数与传统形式不同，对于一个非解析复合函数g(u),其中u＝h(x)，应用如下链式法则；
Figure BDA0003193919040000111
其中g是一个连续函数，u*表示u的共轭向量。注意，如果函数是可解析的，第二项等于0，且上式变成普通的链式法则。对于矩阵导数，链式法则可以写成:
Figure BDA0003193919040000112
其中U和X是两个复矩阵，(·)T表示矩阵的转置。
S3.2：根据S3.1，CAMEL网络模型能按预期进行参数更新。定义CAMEL网络模型的基本模型为带有复数注意力机制的元学习模型，目标是学习敏感的初始参数θ，使得模型通过对第i个支持集Si进行少量梯度更新，在第i个查询集Qi上表现良好并获得θ′i。这里的Ti＝{Si,Qi}是从任务概率分布p(T)中随机抽样的任务。上述更新步骤称为内循环更新过程，可以表示为:
Figure BDA0003193919040000121
其中，α是学习率，
Figure BDA0003193919040000122
表示任务i的支持集上的梯度。元参数θ通过优化θ‘i的表现来训练。因此，元目标的定义如下:
Figure BDA0003193919040000123
式中，
Figure BDA0003193919040000124
表示内循环更新过程后任务i的查询集上的损失。由于潜在的p(T)是未知的，通常不进行上式等号右边的期望计算。因此，通过从p(T)中独立抽取一批任务
Figure BDA0003193919040000125
来最小化函数
Figure BDA0003193919040000126
表示为:
Figure BDA0003193919040000127
元目标的优化称为外循环更新过程，表示为:
Figure BDA0003193919040000128
其中β表示元学习速率。
S3.3：为实现复数值的注意力机制，需要实现复数值的softmax函数，使用复梯度向量。如果
Figure BDA0003193919040000129
是复向量x的实函数，则复梯度向量为:
Figure BDA00031939190400001210
由上式，将广义复数softmax函数定义为:
Figure BDA0003193919040000131
其中Rsf(·)表示真实情况下的softmax函数，
Figure BDA0003193919040000132
表示将复数映射到实数域的任意函数，如abs(·)(为已知的常见函数，即取复数的实部)、
Figure BDA0003193919040000133
等。
给定一个复矩阵X，通过线性变换来计算复矩阵Q、K和V，它类似于复数的全连接层。那么复数值的注意力机制写成:
Figure BDA0003193919040000134
其中，Csf(·)作用于矩阵的每一行，dk表示K矩阵的行的维度。
S3.4：为搭建CAMEL网络模型，在S3.3的基础上实现基于复数值的多头注意力机制，它允许模型关注并行的注意力函数得到的信息的不同表示：
Figure BDA0003193919040000135
式中，
Figure BDA0003193919040000136
WO为投影矩阵，Concat(·)为输入矩阵的合并。本发明同时设计了基于复数的激活函数和归一化函数，使得模型中的每一部分都采用复数进行运算，构成复数神经网络。
实施例1实验及验证
为了使本发明的目的和效果更加清楚，下面以本发明的基于复数神经网络和注意力机制的元学习模型CAMEL的信号预测实验为例，利用模拟信号数据集RADIOML 2016.04C，对本发明的集成模型进行详细描述。
S1.1：原始输入数据的维度为2×128，其分类标签为11种调制模式：8PSK,AM-DSB,AM-SSB,BPSK,CPFSK,GFSK,PAM4,QAM16,QAM64,QPSK,WBFM。输入信号信噪比SNR的取值范围为-20dB～20dB，本实验仅选取SNR≥0的信号样本；
S1.2：将数据集划分为P(Prediction)集和O(Other)集，选取5类样本构成P集，另外6类样本构成O集。选取P集中95％的样本构成测试集，剩余5％的样本和O集中的所有样本构成训练集。
S1.3：训练过程：n-way k-shot学习，在n＝5,k＝1或5的情况下分别进行模型训练：k＝1时，对于支持集，每个类包含一个样本；k＝5时，支持集中每个类包含5个样本。两种情况下查询集每个类均包含15个样本。首先将S1中的输入数据从实数转换为复数值。
S2.1：复数卷积层对复数输入信号进行卷积运算。定义A为复数卷积核。给定x,A，和b，由于复数卷积层是线性的，可以分别计算其输出的实部和虚部：
Figure BDA0003193919040000141
Figure BDA0003193919040000142
根据以上两等式，复数卷积层可表示为:
Figure BDA0003193919040000151
其中
Figure BDA0003193919040000152
表示在实数域中的卷积操作。每次复数卷积后，使用复数值的ReLU激活函数，并在激活后进行复数值的批归一化。
S2.2：输入模拟信号数据经过1×1复数卷积，输出通道为128，使数据的第一维从1变为128。
S2.3：通过第一个复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
通过复数激活(RELU)函数，激活函数是非线性的，因此它很难是解析的。大多数已知的激活函数在复数域内都不是解析函数，如Sigmoid、Tanh和ReLU等。特别是复数Sigmoid和Tanh是无界的，而复数ReLU中复数不能与0进行比较。为此，复值激活函数可定义为:
Figure BDA0003193919040000153
其中，Raf(·)为实际情况下的激活函数。这样，Csigmoid和CTanh是有界的，因为它们的实部和虚部是有界的。同时，由于输入的实部和虚部可以与0进行比较，所以复数值的CReLU可以与0进行比较。由于上面定义的复数激活函数在大多数情况下是非解析的，因此导数需要使用复数的链式法则。模型中使用复数值的CReLU作为激活函数。
继续通过复数批归一化函数。对于一个复向量x，在进行归一化时必须要计算的方差是实数值，而且方差是非解析的。因此，在复值归一化的反向传播中，我们必须利用复梯度向量。定义γ为复值幅度参数，κ为复值位移参数，其复值归一化可表示为:
Figure BDA0003193919040000161
Var[x]＝E{[x-E[x]][x-E[x]]H}
其中E[·]和Var[·]分别表示期望和方差，[x]H表示x的共轭转置。模型中对复数值的激活函数输出结果进行复制批归一化。
S2.4：通过第二个复数卷积块。其中复数卷积为1×3卷积，输入通道为128，输出通道为64。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.5：通过多头注意力机制，头数为8。输入的变量Q、K、V均为S2.5的输出结果进行一定维度变换后得到的矩阵。每个头产生的输出向量通过一个矩阵将合并的注意力向量映射为单个向量。
S2.6:通过第三个复数卷积块。其中复数卷积为1×3卷积，输入通道为64，输出通道为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.7:通过第四个复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.8:通过第五个复数卷积块。其中复数卷积为1×3卷积，输入通道和输出通道均为128。复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化。
S2.9:通过全连接层，并将输出结果线性映射到5个类别，最后取输出的实数部分作为最终分类结果。
S3：将上述运算的结果输入到基于复数的多头注意力模型中，将输入x的第三维和第四维合并，作为该多头注意力机制运行的源序列长和目标序列长，嵌入维度(embeddingdimension)为通道数64,多头机制的头数为8。表示8个头进行并行的注意力函数运算，注意力函数输出结果矩阵拼接，最后映射回原维度。
通过S1-S2所述的CAMEL网络模型，输出预测值yi，表示第i个训练样本的预测结果，再将yi与真实值对比，通过反向传播更新网络参数。通过观察CAMEL网络模型表现，将训练轮数epoch设为40000，以保证能到达收敛状态，重复以上步骤，不断调整模型参数，主要是步长和学习旅的调整。最终结果与现有的主要的元学习模型方法相比，得到了最好的准确率：在5-way 1-shot的情况下准确率为96.30％±0.22％，5-way 5-shot的情况下准确率为97.51％±0.15％(执行区间为95％)。
实施例2实际场景
使用上述实施例1最后步骤训练得到的优化参数后的网络模型，同时进行迭代训练不断优化CAMEL网络模型，利用测试数据集测试其最终的表现，应用在实际的预测工作中。
举例，在基站，使用手机等设备的调制解调器(Modem)模块采集IQ信号(为模拟信号数据，划分为训练集和测试集)，参照实施例1步骤S1.1,原始输入数据的维度为2×128,使得数据维度为2×128，其中第一维维度为2，代表复数数据的实部和虚部。筛选合适信噪比(SNR)的信号数据，SNR大于等于0的信号数据，为输入预测进行准备。
将数据划分为训练集和测试集，输入CAMEL网络模型进行迭代优化训练和预测并计算准确率。最终结果得到了最好的准确率：在5-way1-shot的情况下准确率为96.30％±0.22％，5-way 5-shot的情况下准确率为97.51％±0.15％(执行区间为95％)。

Claims (4)

1.一种基于复数神经网络和注意力机制的模拟信号识别方法，特征在于，其包括基于复数神经网络和注意力机制的模型设计方法及其复数元学习训练方法。
2.如权利要求1所述的方法，其特征在于，具体实现包括以下步骤：
S1：对模拟信号数据预处理，筛选信噪比，构造训练集和测试集；模拟信号的度量或者模拟信号的特征包括电流、电压、功率，筛选信噪比，将模拟信号样本输入下文的CAMEL网络模型进行训练或者测试；
S2：设计CAMEL(Model-Agnostic Meta-Learning)网络模型，将S1预处理后的数据输入进CAMEL网络模型中训练，训练优化网络模型后用于预测结果；
所述的CAMEL网络模型，包括5个复数卷积块，在第二个复数卷积块与第三个复数卷积块之间构造一个复数值的多头注意力机制，并在5个复数卷积块的复值卷积操作完成后进行全连接并线性映射到5个类别，最后将复数通过取实部的方式转换为实数。
3.如权利要求2所述的方法，其特征在于，所述S2包括步骤：
S2.1：首先需要定义复数卷积的方法，根据复数运算的定义，复数卷积输出的实部为输入的实部的卷积减去输入的虚部的值的卷积，输出的虚部的值为输入的实部的卷积加输入的虚部的值的卷积，结合实部和虚部即可得到输出的复数值；
S2.2：输入模块；
输入模拟信号数据经过1×1卷积，输出通道为128，使数据的第一维从1变为128；
S2.3：通过第一复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.4：通过第二复数卷积块；
其中复数卷积为1×3卷积，输入通道为128，输出通道为64；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；输出x向量；
S2.5：通过注意力机制，注意力公式为：
Figure FDA0003193919030000021
其中Q、K、V分别为Query set,Key set,Value set，即三个复矩阵Q、K和V；dk表示K矩阵的行的维度；将输入x向量进行维度变换，其中x向量的第二维64为嵌入维度(embeddingdimension)，最后两个维度合并成一个维度作为多头注意力机制运行的源序列长和目标序列长，变换后的结果作为Q、K、V输入；
采用多头注意力机制，每个头都会产生一个输出向量，再将产生的多个输出向量合并为一个矩阵，最后将此矩阵映射为一个向量y；
S2.6:通过第三复数卷积块；
其中复数卷积为1×3卷积，输入通道为64，输出通道为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.7:通过第四复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.8:通过第五复数卷积块；
其中复数卷积为1×3卷积，输入通道和输出通道均为128；复数卷积后，输出通过复数激活(ReLU)函数，调用复数激活(ReLU)函数后再进行基于复数的批归一化；
S2.9:通过全连接层，并将输出结果线性映射到5个类别，最后取输出的实数部分作为最终分类结果。
4.如权利要求1或者2所述的方法，其特征在于，所述S3复数元学习训练方法，包括步骤：
S3.1：CAMEL网络模型通过链式法则的反向传播来更新参数。采用非解析复合函数g(u),其中u＝h(x)，应用如下链式法则：
Figure FDA0003193919030000031
其中g是一个连续函数，u*表示u的共轭向量；对于矩阵导数，链式法则写成:
Figure FDA0003193919030000032
其中U和X是两个复矩阵，(·)T表示矩阵的转置；
S3.2：根据S3.1，CAMEL网络模型能按预期进行参数更新；定义CAMEL网络模型的基本模型为带有复数注意力机制的元学习模型，目标是学习敏感的初始参数θ，使得模型通过对第i个支持集Si进行少量梯度更新，在第i个查询集Qi上表现良好并获得θ′i；这里的Ti＝{Si,Qi}是从任务概率分布p(T)中随机抽样的任务；上述更新步骤称为内循环更新过程，表示为:
Figure FDA0003193919030000041
其中，α是学习率，
Figure FDA0003193919030000042
表示任务i的支持集上的梯度；元参数θ通过优化θ‘i的表现来训练，元目标的定义如下:
Figure FDA0003193919030000043
式中，
Figure FDA0003193919030000044
表示内循环更新过程后任务i的查询集上的损失；通过从p(T)中独立抽取一批任务
Figure FDA0003193919030000045
来最小化函数
Figure FDA0003193919030000046
表示为:
Figure FDA0003193919030000047
元目标的优化称为外循环更新过程，表示为:
Figure FDA0003193919030000048
其中β表示元学习速率；
S3.3：为实现复数值的注意力机制，需要实现复数值的softmax函数，使用复梯度向量；
设
Figure FDA0003193919030000051
是复向量x的实函数，则复梯度向量为:
Figure FDA0003193919030000052
由上式，将广义复数softmax函数定义为:
Figure FDA0003193919030000053
其中Rsf(·)表示真实情况下的softmax函数，
Figure FDA0003193919030000054
表示将复数映射到实数域的任意函数；
给定一个复矩阵X，通过线性变换来计算复矩阵Q、K和V，那么复数值的注意力机制写成:
Figure FDA0003193919030000055
其中，Csf(·)作用于矩阵的每一行，dk表示K矩阵的行的维度；
S3.4：为搭建CAMEL网络模型，在S3.3的基础上实现基于复数值的多头注意力机制，允许模型关注并行的注意力函数得到的信息的不同表示：
Figure FDA0003193919030000056
式中，
Figure FDA0003193919030000057
WO为投影矩阵，Concat(·)为输入矩阵的合并；
上述设计了基于复数的激活函数和归一化函数，使得CAMEL网络模型中的每一部分都采用复数进行运算，构成复数神经网络。
CN202110885480.4A 2021-08-03 2021-08-03 一种基于复数神经网络和注意力机制的模拟信号识别方法 Pending CN113553988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885480.4A CN113553988A (zh) 2021-08-03 2021-08-03 一种基于复数神经网络和注意力机制的模拟信号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885480.4A CN113553988A (zh) 2021-08-03 2021-08-03 一种基于复数神经网络和注意力机制的模拟信号识别方法

Publications (1)

Publication Number Publication Date
CN113553988A true CN113553988A (zh) 2021-10-26

Family

ID=78105195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885480.4A Pending CN113553988A (zh) 2021-08-03 2021-08-03 一种基于复数神经网络和注意力机制的模拟信号识别方法

Country Status (1)

Country Link
CN (1) CN113553988A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021458A (zh) * 2021-11-05 2022-02-08 西安晟昕科技发展有限公司 基于并行原型网络的小样本雷达辐射源信号识别方法
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
WO2023207665A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种数据处理方法及相关设备
CN117768278A (zh) * 2023-11-30 2024-03-26 中国人民解放军战略支援部队航天工程大学 一种基于混合型复数神经网络的调制识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111314257A (zh) * 2020-03-13 2020-06-19 电子科技大学 一种基于复值神经网络的调制方式识别方法
CN112580521A (zh) * 2020-12-22 2021-03-30 浙江工业大学 一种基于maml元学习算法的多特征真假视频检测方法
CN113177666A (zh) * 2021-05-21 2021-07-27 同济大学 一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020682A (zh) * 2019-03-29 2019-07-16 北京工商大学 一种基于小样本学习的注意力机制关系对比网络模型方法
CN111314257A (zh) * 2020-03-13 2020-06-19 电子科技大学 一种基于复值神经网络的调制方式识别方法
CN112580521A (zh) * 2020-12-22 2021-03-30 浙江工业大学 一种基于maml元学习算法的多特征真假视频检测方法
CN113177666A (zh) * 2021-05-21 2021-07-27 同济大学 一种基于非侵入式注意力预处理过程与BiLSTM模型的预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHISH VASWANI等: "Attention Is All You Need", 《ARXIV:1706.03762V5 [CS.CL]》 *
MUQIAO YANG等: "COMPLEX TRANSFORMER: A FRAMEWORK FOR MODELING COMPLEX-VALUED SEQUENCE", 《2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS，SPEECH AND SIGNAL PROCESSING(ICASSP)》 *
YIHONG DONG等: "Signal Transformer: Complex-valued Attention and Meta-Learning for Signal Recognition", 《ARXIV:2106.04392V1 [CS.LG]》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021458A (zh) * 2021-11-05 2022-02-08 西安晟昕科技发展有限公司 基于并行原型网络的小样本雷达辐射源信号识别方法
CN114021458B (zh) * 2021-11-05 2022-11-04 西安晟昕科技发展有限公司 基于并行原型网络的小样本雷达辐射源信号识别方法
WO2023207665A1 (zh) * 2022-04-29 2023-11-02 华为技术有限公司 一种数据处理方法及相关设备
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
CN117768278A (zh) * 2023-11-30 2024-03-26 中国人民解放军战略支援部队航天工程大学 一种基于混合型复数神经网络的调制识别方法

Similar Documents

Publication Publication Date Title
CN113553988A (zh) 一种基于复数神经网络和注意力机制的模拟信号识别方法
Xu et al. A spatiotemporal multi-channel learning framework for automatic modulation recognition
Emam et al. A comparative study between CNN, LSTM, and CLDNN models in the context of radio modulation classification
CN108696331B (zh) 一种基于生成对抗网络的信号重构方法
CN112702294B (zh) 一种基于深度学习的多层次特征提取的调制识别方法
CN110417694A (zh) 一种通信信号调制方式识别方法
CN110222748B (zh) 基于1d-cnn多域特征融合的ofdm雷达信号识别方法
CN109635763B (zh) 一种人群密度估计方法
CN114726692B (zh) 一种基于SEResNet-LSTM的辐射源调制方式识别方法
CN111428817A (zh) 一种面向无线电信号识别对抗攻击的防御方法
CN112305506B (zh) 一种基于cnn的lpi雷达信号检测方法
CN114896887B (zh) 一种基于深度学习的用频设备射频指纹识别方法
CN114912489A (zh) 一种信号调制识别方法
CN111948622A (zh) 基于并联cnn-lstm的线性调频雷达信号toa估计算法
CN116680608B (zh) 一种基于复数图卷积神经网络的信号调制识别方法
CN111726460A (zh) 一种基于时空图的诈骗号码识别方法
Kong et al. A transformer-based CTDNN structure for automatic modulation recognition
CN114021603A (zh) 一种基于模型重参数化的雷达信号调制方式识别方法
Jiang et al. Modulation recognition method of satellite communication based on CLDNN model
Wu et al. Minimum entropy restoration of star field images
CN118337576A (zh) 基于多通道融合的轻量级自动调制识别方法
CN114584440A (zh) 基于Transformer编码网络的小样本AMC方法
Varughese et al. Accelerating assessments of optical components using machine learning: TDECQ as demonstrated example
CN113902095A (zh) 一种无线通信自动调制识别方法、装置与系统
CN116055270B (zh) 一种调制识别模型及其训练方法、信号调制处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211026