CN114527441A - 基于多头注意力机制的lstm网络的雷达信号识别方法 - Google Patents

基于多头注意力机制的lstm网络的雷达信号识别方法 Download PDF

Info

Publication number
CN114527441A
CN114527441A CN202210026583.XA CN202210026583A CN114527441A CN 114527441 A CN114527441 A CN 114527441A CN 202210026583 A CN202210026583 A CN 202210026583A CN 114527441 A CN114527441 A CN 114527441A
Authority
CN
China
Prior art keywords
lstm network
signal
data
attention mechanism
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210026583.XA
Other languages
English (en)
Inventor
全大英
胡志鹏
汪晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202210026583.XA priority Critical patent/CN114527441A/zh
Publication of CN114527441A publication Critical patent/CN114527441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/021—Auxiliary means for detecting or identifying radar signals or the like, e.g. radar jamming signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述识别方法包括如下步骤：S1、生成数据集，数据集中的多种典型雷达信号作为LSTM网络的训练及测试用；S2、对产生的数据集信号进行预处理；S3、构建LSTM网络，设置LSTM网络参数；S4、将数据集信号序列的训练样本数据输入至步骤S3的LSTM网络中，当迭代次数达到n次时，结束训练，得到训练好的LSTM的网络模型；S5、将数据集中每种信号的测试集数据输入到训练好的LSTM网络模型中，网络输出为雷达信号预测类别。本发明以雷达信号辐射源信号序列经过多头注意力机制进行表征学习得到的新的序列，再把该序列输入到LSTM神经网络中进行特征提取识别，从而提高实现雷达信号识别率。

Description

基于多头注意力机制的LSTM网络的雷达信号识别方法
技术领域
本发明涉及信号处理技术领域，具体涉及基于多头注意力机制的LSTM(LongShort-Term Memory)网络的雷达信号识别方法。
背景技术
随着电子信息领域的发展，电子对抗在电子情报侦察、电子支援和威胁告警系统中发挥着重要的作用，雷达辐射源信号识别是电子对抗中的重要环节。
随着深度学习(Deep Learning，DL)应用在计算机视觉、语音识别和数据分类等领域体现出其优异的性能。深度学习模型是一个拥有多个非线性映射层的深度神经网络模型，能够对输入信号进行逐层抽象并提取特征，挖掘更深层次的潜在规律。目前也有基于神经网络的雷达信号识别方法，常用的有BP神经网络、ResNet残差神经网络和支持向量机等，然而上述采用深度学习方法识别雷达信号调制类型里，它依旧是在对信号进行某种特征提取变换后，将得到的特征作为信号识别依据，而后用神经网络进行分类识别，因而识别能力仍有局限性。
发明内容
针对现有技术中存在的不足，本发明的目的在于提供基于多头注意力机制的LSTM网络的雷达信号识别方法。本发明以雷达信号辐射源信号序列经过多头注意力机制进行表征学习得到的新的序列，再把该序列输入到LSTM神经网络中进行特征提取识别，从而提高实现雷达信号识别率。
为解决上述技术问题，本发明通过下述技术方案实现：
基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述识别方法包括如下步骤：
S1、取一个有标签标注的数据集，该数据集可以包括但不限于这九种典型雷达信号(常规脉冲信号、线性调频信号、非线性调频信号、双相相移键控信号、正交相移键控信号、频移键控信号、线性调频与双相相移键控信号的混合调制信号、线性调频与频移键控信号的混合调制信号、双相相移键控信号与频移键控信号的混合调制信号)，把这九种典型雷达信号作为LSTM(Long Short-Term Memory)网络的训练及测试用；其中，每种信号从-16dB到8dB每隔2dB信噪比生成4000组(取其中3200组作为训练集，取另外800组作为测试集)雷达序列数据样本；
S2、对产生的数据集信号进行预处理；
S3、构建LSTM网络，设置LSTM网络参数；
S4、将数据集信号序列的训练样本数据输入至步骤S3的LSTM网络中，当迭代次数达到n次时，结束训练，得到训练好的LSTM的网络模型；即LSTM的网络模型的训练方式为：LSTM网络的迭代次数为300，初始化学习率设置为0.001，并且每次迭代之后学习率变为原来的0.95倍，LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，将LSTM网络的损失函数设置为对数损失函数，使用AdamOptimizer算法来控制学习率，使用指数线性单元激活函数作为激活函数，并将softmax分类器作为网络的输出层。
S5、将数据集中每种信号的测试集数据输入到训练好的LSTM网络模型中，网络输出为雷达信号预测类别标签。
进一步的：所述步骤S2中，数据集信号进行预处理步骤包括：
S01、将产生数据集的信号先以序列的形式输出，再将数据集信号输入到多头注意力机制中，进行多头注意力变换，并以同样大小的数据序列形式输出；
S02、在I路、Q路这两种形式输出的数据集中标注信号所属的类别，从每类信号的训练集数据中随机抽出样本序列作为训练样本，从测试集数据中随机抽取样本序列作为测试样本；即，从每类信号的3200组训练集数据中随机抽出3000组样本序列作为训练样本，从800组测试集中随机抽取700组样本序列作为测试样本。
进一步的：所述步骤S3中，设置LSTM网络参数：选用循环神经网络RNN中的长短时记忆网络来构建，将LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，将LSTM网络的损失函数设置为Log-cosh对数损失函数，使用AdamOptimizer算法来控制学习率，使用指数线性单元激活函数作为激活函数，并将softmax分类器作为网络的输出层。
进一步的：所述LSTM网络中的网络元胞，表示如下：
ht＝σ(WO·[ht-1，xt]+bo]*tanh(ft*Ct-1+Rt)式中，t代表时间；ht为t时刻LSTM网络元胞的输出；σ为sigmoid激活函数；Wo表示输出门的权重；ht-1表示上一个元胞的输出；xt表示t时刻LSTM网络元胞的输入；bo表示输出门的偏置；ft表示t时刻LSTM网络元胞中遗忘门的输出；Ct-1表示t-1时刻的元胞状态；Rt表示t时刻LSTM网络元胞中记忆门的输出；tanh表示做双曲正切运算。
进一步的：所述指数线性单元激活函数，表示如下：
Figure BDA0003464207030000031
式中，x表示输入值，是一个常系数，f(x)表示指数线性单元激活函数的输出。
进一步的：所述softmax分类器，表示如下：
Figure BDA0003464207030000032
式中，yi表示第i个元素的评分向量，
Figure BDA0003464207030000033
表示对第i个元素的评分向量求指数，
Figure BDA0003464207030000034
表示对所有元素评分向量的指数求和，Li表示第i个元素输出的评分值。
进一步的：所述多头注意力机制的核心过程为通过Q(Query)和K(Key)计算得到注意力权重；然后在作用于V(Value)得到整个权重和输出。Q、K、V是根据同样的输入矩阵X线性变换得到的Q＝XWQ
K＝XWK
V＝XWV
其中，WQ，WK和WV是三个可训练的参数矩阵。此多头注意力机制中，将head设置为8，所以需定义8组WQ，WK和WV可训练的参数矩阵。
具体的，对于输入Q、K和V来说，其输出向量得计算公式为：
Figure BDA0003464207030000035
详细公式可写为：
Figure BDA0003464207030000041
Figure BDA0003464207030000042
Figure BDA0003464207030000043
其中，qi为一组数据序列中位置i上的数wi的向量Query，kj、vj分别表示同一组数据序列中的位置j上的数wi的向量Key和Value；dk表示的维度大小；i，j＝0，1，2，…，7，表示包含数据序列中的数的数量；Si，j为qi与kj作向量点积运算和除法运算后得到的结果；
Figure BDA0003464207030000044
是Si，j的soft的Softmax分值；zi即为wi经self-attention计算后得到的输出结果；最后将zi和wi进行拼接，作为LSTM的输入。
根据本发明目的的第二个方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述基于多头注意力机制的LSTM网络的雷达信号识别方法的步骤。
根据本发明目的的第二个方面，本发明一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述基于多头注意力机制的LSTM网络的雷达信号识别方法的步骤。
本发明与现有技术相比，具有以下优点及有益效果：
本发明所采用的LSTM循环神经网络，输入的不是信号的特征，而是截获的原始信号的IQ路数据，让神经网络根据分类目标自动学习良好的特征，进而实现不同的调制信号的高效准确识别；因此，本发明对雷达信号处理技术领域具有重要的实际应用价值。
附图说明
图1是本发明的实现流程图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施例对本发明的优选实施方案进行描述，但是应当理解，附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
如图1所示，基于多头注意力机制的LSTM网络的雷达信号识别方法，所述识别方法包括如下步骤：
S1、对一个有标签标注的数据集，该数据集可以包括但不限于这九种典型雷达信号(常规脉冲信号、线性调频信号、非线性调频信号、双相相移键控信号、正交相移键控信号、频移键控信号、线性调频与双相相移键控信号的混合调制信号、线性调频与频移键控信号的混合调制信号、双相相移键控信号与频移键控信号的混合调制信号)，把这九种典型雷达信号作为LSTM(Long Short-Term Memory)网络的训练及测试用；其中，每种信号从-16dB到8dB每隔2dB信噪比生成4000组(取其中3200组作为训练集，取另外800组作为测试集)雷达序列数据样本；
S2、对产生的数据集信号进行多头注意力机制处理，每组输入的X信号序列，经过多头注意力机制(在此设置注意力机制中head＝8，1个头就只有1个学习空间，8个头就有8个学习空间，能够通过KQV映射到不同的空间去学习特征，去优化每一组输入数据的不同特征部分，得到更多元的表达，从而均衡每一种学习空间的特征产生的偏差，提升学习效果)后，一组经过注意力机制处理的信号数据会通过注意力机制的每个头输出一组相同维度的信号序列，head＝8的注意力机制会得到8组相同维度的信号序列。将输出的8组处理过的同样大小维度的信号序列(X1，X2，...，X8)输入到构建好的LSTM网络中；
S3、构建LSTM网络，设置LSTM网络参数；
S4、将数据集信号序列的训练样本数据输入至步骤S3的LSTM网络中，当迭代次数达到n次时，结束训练，得到训练好的LSTM的网络模型；LSTM的网络模型的训练方式为：LSTM网络的迭代次数为300，初始化学习率设置为0.001，并且每次迭代之后学习率变为原来的0.95倍，且将LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，将LSTM网络的损失函数设置为对数损失函数，使用AdamOptimizer算法来控制学习率，使用指数线性单元激活函数作为激活函数，并将softmax分类器作为网络的输出层。
S5、将数据集中每种信号的测试集数据输入到训练好的LSTM网络模型中，网络输出为雷达信号预测类别标签。
所述步骤S1中，可以通过matlab建立数据库程序，仿真生成数据集，也可以通过实测信号得到的数据进行标注，建立数据集。
所述步骤S2中，数据集信号进行预处理步骤包括：
S01、将产生数据集的信号先以序列的形式输出，再将数据集信号输入到多头注意力机制中，进行多头注意力变换，并以同样大小的数据序列形式输出；
S02、在I路、Q路这两种形式输出的数据集中标注信号所属的类别，从每类信号的训练集数据中随机抽出样本序列作为训练样本，从测试集数据中随机抽取样本序列作为测试样本。
所述步骤S3中，设置LSTM网络参数：选用循环神经网络RNN中的长短时记忆网络来构建，将LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，将LSTM网络的损失函数设置为对数损失函数，使用AdamOptimizer算法来控制学习率，使用指数线性单元激活函数作为激活函数，并将softmax分类器作为网络的输出层。
所述LSTM网络中的网络元胞，表示如下：
ht＝σ(WO·[ht-1，xt]+bo)*tanh(ft*Ct-1+Rt)
式中，t代表时间；ht为t时刻LSTM网络元胞的输出；σ为sigmoid激活函数；Wo表示输出门的权重；ht-1表示上一个元胞的输出；xt表示t时刻LSTM网络元胞的输入；bo表示输出门的偏置；ft表示t时刻LSTM网络元胞中遗忘门的输出；Ct-1表示t-1时刻的元胞状态；Rt表示t时刻LSTM网络元胞中记忆门的输出；tanh表示做双曲正切运算。
所述指数线性单元激活函数，表示如下：
Figure BDA0003464207030000071
式中，x表示输入值，是一个常系数，f(x)表示指数线性单元激活函数的输出。
所述softmax分类器，表示如下：
Figure BDA0003464207030000072
式中，yi表示第i个元素的评分向量，
Figure BDA0003464207030000073
表示对第i个元素的评分向量求指数，
Figure BDA0003464207030000074
表示对所有元素评分向量的指数求和，Li表示第i个元素输出的评分值。
所述多头注意力机制的核心过程为通过Q(Query)和K(Key)计算得到注意力权重；然后在作用于V(Value)得到整个权重和输出。Q、K、V是根据同样的输入矩阵X线性变换得到的Q＝XWQ
K＝XWK
V＝XWV
其中，WQ，WK和WV是三个可训练的参数矩阵。此多头注意力机制中，将head设置为8，所以需定义8组WQ，WK和WV可训练的参数矩阵。
具体的，对于输入Q(Query)、K(Key)和V(Value)来说，其输出向量得计算公式为：
Figure BDA0003464207030000075
详细公式可写为：
Figure BDA0003464207030000076
Figure BDA0003464207030000077
Figure BDA0003464207030000081
其中，qi为一组数据序列中位置i上的数wi的向量Query，kj、vj分别表示同一组数据序列中的位置j上的数wi的向量Key和Value；dk表示的维度大小；本发明中多头注意力机制里head设置为8，因此i，j＝0，1，2，…，7，表示包含数据序列中的数的数量；Si，j为qi与kj作向量点积运算和除法运算后得到的结果；
Figure BDA0003464207030000082
是Si，j的soft的Softmax分值；zi即为wi经self-attention计算后得到的输出结果；最后将zo和wo进行拼接，作为LSTM的输入。
所述步骤S1中，典型雷达信号包括常规脉冲信号、线性调频信号、非线性调频信号、双相相移键控信号、正交相移键控信号、频移键控信号、线性调频与双相相移键控信号的混合调制信号、线性调频与频移键控信号的混合调制信号、双相相移键控信号与频移键控信号的混合调制信号。
常规脉冲信号(CW)的载波频率为fc＝5MHz；线性调频信号(LFM)和非线性调频信号(NLFM)的初始频率和带宽均为5MHz；双相相移键控信号(BPSK)的巴克码长度为13，载波频率为5MHz；正交相移键控信号(QPSK)的序列长度为16，载波频率为5MHz；频移键控信号(FSK)的调频序列为4，基准频率为1MHz；LFM/BPSK混合调制信号是指对脉冲内部线性调频的基础上再进行相位编码得到的一种复合调制信号，该混合调制信号的参数仍按照相应的单一调制信号的参数设置；LFM/FSK混合调制信号是指在脉冲内部采用频率编码调制，对每个子脉冲内部又采用线性调频，该混合调制信号的参数仍按照相应的单一调制信号的参数设置)；BPSK/FSK混合信号是指在脉冲内部采用频率编码调制，对每个子脉冲内部又采用二相编码，该混合调制信号的参数仍按照相应的单一调制信号的参数设置。
在众多深度学习模型中，循环神经网络RNN(Recurrent Neural NetWork)将时序的概念引入到网络结构设计中，使其在时序数据分析中表现出更强的适应性。而在众多RNN的变体中，LSTM模型弥补了RNN的梯度消失和梯度爆炸、长短期记忆能力不足等问题，而此发明考虑的LSTM循环神经网络，输入的不是信号的特征，而是截获的原始信号的IQ路数据，让神经网络根据分类目标自动学习良好的特征，进而实现不同的调制信号的正确识别。
实施例1：
S1、通过matlab建立数据库程序，仿真生成数据集，数据集包括上述9种雷达信号。其中每种信号从-16dB到8dB每隔2dB信噪比生成4000组(其中3200组作为训练集，800组作为测试集)雷达序列数据样本。
S2、获取雷达信号的训练样本和测试样本。
对S1生成的雷达数据集的信号，以I路、Q路这两种序列的形式输出，再将I路、Q路的数据集信号分别进行多头注意力机制处理，并以相同的形式输出。
在多头注意力机制处理之后的序列标注信号的所属类别，从每类信号的3200组训练集数据中随机抽出3000组样本序列作为训练样本，从800组测试集中随机抽取700组样本序列作为测试样本。
S3、构建LSTM网络。
设置LSTM网络元胞：
将LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，其中LSTM网络元胞表示如下：
ht＝σ(WO·[ht-1，xt]+bo)*tanh(ft*Ct-1+Rt)
设置LSTM网络的损失函数：常见损失函数有L1损失函数、L2损失函数、Huber损失函数、Log-cosh损失函数和对数损失函数，本实施例选用但不限于Log-cosh损失函数；
设置LSTM网络的优化算法：常见的网络优化算法有随机梯度下降算法、小批量梯度下降算法、Adagrad算法和AdamOptimizer算法，本实例选用AdamOptimizer算法但不限于AdamOptimizer算法；
设置LSTM网络的激活函数：常见的激活函数有sigmoid激活函数、双曲正切激活函数、非线性单元激活函数和指数线性单元激活函数，本实例选用指数线性单元激活函数但不限于指数线性单元激活函数，指数线性单元激活函数表示如下：
Figure BDA0003464207030000101
S4、设置LSTM网络的迭代次数为300，学习率设置为0.01，并且每次迭代之后学习率变为原来的0.95倍；
将经过多头注意力机制处理的I路、Q路两路信号序列的训练样本数据同时输入到设置好的LSTM网络中，对LSTM网络进行迭代训练，当迭代次数达到300时，结束训练，保存得到训练好的网络模型。
S5、将测试集的数据输入到训练好的LSTM网络模型中，输出每个测试信号的预测类别及信号识别成功的准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的设施可借助软件加必需的通用硬件平台的方式来实现。本发明的实施例可以使用现有的处理器来实现，或者由被用于此目的或其他目的用于适当系统的专用处理器来实现，或者由硬接线系统来实现。本发明的实施例还包括非暂态计算机可读存储介质，其包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质；这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何其他可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并可被由通用或专用计算机或其它带有处理器的机器访问的介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，该连接也被视为机器可读介质。
依据本发明的描述及附图，本领域技术人员很容易制造或使用本发明的基于多头注意力机制的LSTM网络的雷达信号识别方法，并且能够产生本发明所记载的积极效果。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述识别方法包括如下步骤：
S1、取一个有标签标注的数据集，将数据集中的多种典型雷达信号作为LSTM(LongShort-Term Memory)网络的训练及测试用；
S2、对产生的数据集信号进行预处理；
S3、构建LSTM网络，设置LSTM网络参数；
S4、将数据集信号序列的训练样本数据输入至步骤S3的LSTM网络中，当迭代次数达到n次时，结束训练，得到训练好的LSTM的网络模型；
S5、将数据集中每种信号的测试集数据输入到训练好的LSTM网络模型中，网络输出为雷达信号预测类别标签。
2.根据权利要求1所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述步骤S2中，数据集信号进行预处理步骤包括：
S01、将产生数据集的信号先以序列的形式输出，再将数据集信号输入到多头注意力机制中，进行多头注意力变换，并以同样大小的数据序列形式输出；
S02、在I路、Q路这两种形式输出的数据集中标注信号所属的类别，从每类信号的训练集数据中随机抽出样本序列作为训练样本，从测试集数据中随机抽取样本序列作为测试样本。
3.根据权利要求1所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述步骤S3中，设置LSTM网络参数：选用循环神经网络RNN中的长短时记忆网络来构建，将LSTM网络中的网络元胞个数设置为4，将遗忘参数设置为1，将LSTM网络的损失函数设置为对数损失函数，使用AdamOptimizer算法来控制学习率，使用指数线性单元激活函数作为激活函数，并将softmax分类器作为网络的输出层。
4.根据权利要求3所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述LSTM网络中的网络元胞，表示如下：
ht＝σ(WO·[ht-1，xt]+bo)*tanh(ft*Ct-1+Rt)
式中，t代表时间；ht为t时刻LSTM网络元胞的输出；σ为sigmoid激活函数；Wo表示输出门的权重；ht-1表示上一个元胞的输出；xt表示t时刻LSTM网络元胞的输入；bo表示输出门的偏置；ft表示t时刻LSTM网络元胞中遗忘门的输出；Ct-1表示t-1时刻的元胞状态；Rt表示t时刻LSTM网络元胞中记忆门的输出；tanh表示做双曲正切运算。
5.根据权利要求3所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述指数线性单元激活函数，表示如下：
Figure FDA0003464207020000021
式中，x表示输入值，是一个常系数，f(x)表示指数线性单元激活函数的输出。
6.根据权利要求3所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述softmax分类器，表示如下：
Figure FDA0003464207020000022
式中，yi表示第i个元素的评分向量，
Figure FDA0003464207020000023
表示对第i个元素的评分向量求指数，
Figure FDA0003464207020000024
表示对所有元素评分向量的指数求和，Li表示第i个元素输出的评分值。
7.根据权利要求2所述的基于多头注意力机制的LSTM网络的雷达信号识别方法，其特征在于：所述多头注意力机制的核心过程为通过Q和K计算得到注意力权重；然后在作用于V得到整个权重和输出。Q、K、V是根据同样的输入矩阵X线性变换得到的；
Q＝XWQ
K＝XWK
V＝XWV
其中，WQ，WK和WV是三个可训练的参数矩阵。此多头注意力机制中，将head设置为8，所以需定义8组WQ，WK和WV可训练的参数矩阵。
8.具体的，对于输入Q、K和V来说，其输出向量得计算公式为：
Figure FDA0003464207020000031
详细公式可写为：
Figure FDA0003464207020000032
Figure FDA0003464207020000033
Figure FDA0003464207020000034
其中，qi为一组数据序列中位置i上的数wi的向量Query，kj、vj分别表示同一组数据序列中的位置j上的数wi的向量Key和Value；dk表示的维度大小；i，j＝0，1，2，…，7，表示包含数据序列中的数的数量；Si，j为qi与kj作向量点积运算和除法运算后得到的结果；
Figure FDA0003464207020000035
是Si，j的soft的Softmax分值；zi即为wi经self-attention计算后得到的输出结果；最后将zi和wi进行拼接，作为LSTM网络的输入。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于多头注意力机制的LSTM网络的雷达信号识别方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的基于多头注意力机制的LSTM网络的雷达信号识别方法的步骤。
CN202210026583.XA 2022-01-11 2022-01-11 基于多头注意力机制的lstm网络的雷达信号识别方法 Pending CN114527441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210026583.XA CN114527441A (zh) 2022-01-11 2022-01-11 基于多头注意力机制的lstm网络的雷达信号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210026583.XA CN114527441A (zh) 2022-01-11 2022-01-11 基于多头注意力机制的lstm网络的雷达信号识别方法

Publications (1)

Publication Number Publication Date
CN114527441A true CN114527441A (zh) 2022-05-24

Family

ID=81621048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210026583.XA Pending CN114527441A (zh) 2022-01-11 2022-01-11 基于多头注意力机制的lstm网络的雷达信号识别方法

Country Status (1)

Country Link
CN (1) CN114527441A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834310A (zh) * 2023-02-15 2023-03-21 四川轻化工大学 一种基于LGTransformer的通信信号调制识别方法
CN115952407A (zh) * 2023-01-04 2023-04-11 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN117932312A (zh) * 2024-03-22 2024-04-26 山东大学 基于时空注意力网络和对比损失的无线电定位识别系统
CN118245850A (zh) * 2024-05-27 2024-06-25 长春工业大学 一种非理想条件下的人体下肢运动意图识别方法与系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952407A (zh) * 2023-01-04 2023-04-11 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN115952407B (zh) * 2023-01-04 2024-01-30 广东工业大学 一种考虑卫星时序性和空域交互性的多径信号识别方法
CN115834310A (zh) * 2023-02-15 2023-03-21 四川轻化工大学 一种基于LGTransformer的通信信号调制识别方法
CN117932312A (zh) * 2024-03-22 2024-04-26 山东大学 基于时空注意力网络和对比损失的无线电定位识别系统
CN117932312B (zh) * 2024-03-22 2024-06-04 山东大学 基于时空注意力网络和对比损失的无线电定位识别系统
CN118245850A (zh) * 2024-05-27 2024-06-25 长春工业大学 一种非理想条件下的人体下肢运动意图识别方法与系统

Similar Documents

Publication Publication Date Title
CN114527441A (zh) 基于多头注意力机制的lstm网络的雷达信号识别方法
CN107220606B (zh) 基于一维卷积神经网络的雷达辐射源信号的识别方法
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN108009633A (zh) 一种面向跨领域智能分析的多网络对抗学习方法和系统
CN110472280B (zh) 一种基于生成对抗神经网络的功率放大器行为建模方法
CN112884059B (zh) 一种融合先验知识的小样本雷达工作模式分类方法
CN114726692B (zh) 一种基于SEResNet-LSTM的辐射源调制方式识别方法
CN113361685B (zh) 一种基于学习者知识状态演化表示的知识追踪方法及系统
CN110417694A (zh) 一种通信信号调制方式识别方法
CN115577305B (zh) 一种无人机信号智能识别方法及装置
CN111611395B (zh) 一种实体关系的识别方法及装置
CN113591978A (zh) 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质
CN113673312A (zh) 基于深度学习的雷达信号脉内调制识别方法
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN118245795A (zh) 一种干扰信号检测模型训练方法、系统及应用方法、系统
CN115705393A (zh) 一种基于持续学习的雷达辐射源分级识别方法
CN113902095A (zh) 一种无线通信自动调制识别方法、装置与系统
CN116340846A (zh) 一种弱监督下多示例多标签学习的混叠调制信号识别方法
CN110689053A (zh) 样本数据的处理方法和计算机存储介质
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
CN111506691A (zh) 一种基于深度匹配模型的轨迹匹配方法和系统
CN116912920B (zh) 表情识别方法及装置
CN115630289B (zh) 一种基于证据理论的目标识别方法及装置
CN113537295B (zh) 基于离群点引导的视线估计跨场景适配方法和装置
CN114157544B (zh) 基于卷积神经网络的帧同步方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination