CN115392285A - 一种基于多模态的深度学习信号个体识别模型防御方法 - Google Patents

Abstract

一种基于多模态的深度学习信号个体识别模型防御方法，包括以下步骤：S1：将原始数据集按比例分为训练集和测试集，并生成时域和频域两个信号域的多模态数据；S2：利用归一化后的两组模态数据，对多模态输入卷积神经网络模型进行训练，完成模型训练并得到模型对于测试集的个体识别分类准确率；S3：对原始信号攻击生成对抗样本，并利用对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本。利用多模态对抗样本及训练所得模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能。所搭建的多模态输入的卷积神经网络模型相较于原始时域数据所训练的模型在提高个体识别分类性能的同时，大大增强了模型的防御性能。

Description

一种基于多模态的深度学习信号个体识别模型防御方法

技术领域

本发明涉及卷积神经网络(CNN)、电磁信号的多模态融合、电磁信号的个体识别和电磁信号分类模型的防御方法，特别是涉及一种利用电磁信号的不同信号域的多模态信息提高信号个体识别模型防御性能的方法。

背景技术

无线电信号分类在无线通信和电磁频谱管理领域有非常广泛的应用。近些年，随着深度学习技术的快速发展，深度学习已被大量应用于图像识别、语音识别、自然语言识别和无线通信等领域。在过去的几年，深度学习也被用于解决无线电信号分类问题(参考文献[1]:T.J.O’Shea,T.Roy,and T.C.Clancy,“Over-the-air deep learning based radiosignal classification,”IEEE J.Sel.Topics Signal Process.,vol.12,no.1,pp.168-179,Feb.2018,即T.J.O’Shea,T.Roy,and T.C.Clancy,“基于无线深度学习的无线电信号分类”IEEE J.Sel.Topics Signal Process.,vol.12,no.1,pp.168-179,Feb.2018.)。

基于深度学习的无线电信号分类的研究主要集中在两个方面：自动调制识别和射频识别。射频识别是通过对不同类别物体进行发射并接收无线电射频信号，实现个体识别。为了达到更好的个体识别现实应用效果，全球范围的研究者进行了大量的研究。有研究者使用CNN对5个ZigBee设备进行指纹识别(参考文献[2]:K.Merchant,S.Revay,G.Stantchev,and B.Nousian,“Deep learning for RF device fingerprinting incognitive communication networks,”IEEE J.Sel.Topics Signal Process.,vol.12,no.1,pp.160-167,Feb.2018,即K.Merchant,S.Revay,G.Stantchev,and B.Nousian,“认知通信网络中射频设备指纹识别的深度学习”IEEE J.Sel.Topics Signal Process.,vol.12,no.1,pp.160-167,Feb.2018.)，有研究者使用卷积神经网络(CNN)和商业真实世界的飞机通信地址和报告系统(ACARS)信号数据来识别飞机(参考文献[3]:S.Zheng,S.Chen,L.Yang,J.Zhu,Z.Luo,J.Hu,and X.Yang,“Big data processing architecture forradio signals empowered by deep learning:Concept,experiment,application andchallenges,”IEEE Access,vol.6,pp.55907-55922,2018,即S.Zheng,S.Chen,L.Yang,J.Zhu,Z.Luo,J.Hu,and X.Yang,“深度学习授权的无线电信号大数据处理架构：概念、实验、应用与挑战”IEEE Access,vol.6,pp.55907-55922,2018.)

虽然深度学习模型能够获得强大的个体识别性能，但它们非常容易受到对抗性逃避攻击(参考文献[4]:M.Sadeghi and E.G.Larsson,“Adversarial attacks on deep-learning based radio signal classification,”IEEE Wireless Commun.Lett.,vol.8,no.1,pp.213-216,Feb.2019,即M.Sadeghi and E.G.Larsson,“对基于深度学习的无线电信号分类的对抗性攻击”IEEE Wireless Commun.Lett.,vol.8,no.1,pp.213-216,Feb.2019.)，该攻击在射频信号中引入加性无线干扰，从而在训练良好的个体识别模型上诱发错误行为。最近，有研究表明(参考文献[5]:R.Sahay,C.G.Brinton and D.J.Love,“ADeep Ensemble-Based Wireless Receiver Architecture for MitigatingAdversarial Attacks in Automatic Modulation Classification,”IEEE Transactionsand Cognitive Communication and Network,vol.8,no.1.Mar.2022,即R.Sahay,C.G.Brinton and D.J.Love,“一种基于深度集成的无线接收器架构”IEEE Transactionsand Cognitive Communication and Network,vol.8,no.1.Mar.2022.)，对于信号时域的攻击，在时域信息转化为频域信息的过程中，攻击效果会大大降低，即对信号的攻击在信号域之间是不可迁移的。这引导我们使用不同信号域的多模态信息以强化个体识别分类模型的防御性能。

多模态信息是映射真实个体或现象的一组信息，由于不同的模态包含了丰富且互补的信息，因此具有取代传统单模态信息的趋势。近些年来，多模态方法在生物医学成像领域的成功应用为医学应用带来了独特的价值。基于多模态信息的模式识别也开始应用于信号领域(参考文献[6]:Peihan Qi,Xiaoyu Zhou,Shilian Zheng,and Zan Li,“AutomaticModulation Classification Based on Deep Residual Networks With MultimodalInformation,”IEEE Transactions and Cognitive Communication and Network,Vol.7,no.1,Mar.2021,即Peihan Qi,Xiaoyu Zhou,Shilian Zheng,and Zan Li,“基于具有多模态信息的深度残差网络的自动调制分类”IEEE Transactions and CognitiveCommunication and Network,Vol.7,no.1,Ma.2021.)。然而，还鲜有使用多种信号模态数据对深度神经网络进行训练从而提升模型防御能力的研究。

因此，为了提高信号个体识别领域模型的防御能力，并使其可以更好地用于硬件资源受限的边缘端环境，本项目充分利用信号的多模态信息，结合对于信号的攻击在信号域间不可迁移的实验研究结果，提出一种基于多模态的深度学习信号个体识别模型防御方法，在提高信号个体识别准确率的同时，大大降低了传统攻击方法对于模型的攻击成功率，提高了模型的防御性能。

发明内容

为了克服现有基于深度学习的信号个体识别研究较少利用信号的多模态信息提升分类模型的防御性能这一现状，本发明提供了一种利用无线电射频信号的多模态信息，充分发挥攻击在信号域间不可迁移的研究结果，通过一定的多模态数据融合方式和模型结构改良，在提高模型的个体识别准确率的同时，大大提升模型的防御性能的方法。

本发明解决其技术问题所采用的技术方案如下：

一种基于多模态的深度学习信号个体识别模型防御方法，包括如下步骤：

S1：将个体射频信号数据集按一定比例分为训练集和测试集，训练集用于训练模型，测试集用于测试训练所得模型的个体识别精度。利用原信号生成信号的实部和虚部及短时傅里叶变换的两组多模态数据，其中前者为信号时域的模态，后者为信号频域的模态，两者属于不同的信号域；

S2：将生成所得的两组模态数据进行归一化处理，输入所搭建的适合于多模态输入的卷积神经网络模型进行训练，完成模型训练并得到模型对于测试集的个体识别分类准确率；

S3：对原始信号进行攻击，生成对抗样本，并利用对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本数据。利用多模态对抗样本数据及训练所得模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能。

进一步，所述步骤S1包含以下内容：

S1.1：生成个体射频信号的实部和虚部这一属于时域的模态数据。提取信号每个采样点复数数值的实部和虚部数据，其中复数数值的实部定义为I_n(n＝0,1,2,...,N-1)，复数数值的虚部定义为Q_n(n＝0,1,2,...,N-1),N为每一条信号数据的采样点个数；

S1.2：生成个体射频信号的短时傅里叶变化这一属于频域模态的数据。计算个体射频信号的短时傅里叶变换，由：

再进一步，所述步骤S2包含以下内容：

S2.1：为减小同组中不同模态数据数量级上的差距对于模型训练的影响，将每组多模态数据分别进行归一化处理，所使用的归一化方式为：

x＝2×(x-min)/(max-min)-1 (2)

其中max为同一模态数据中的最大值，min为同一模态数据中的最小值。在进行归一化操作之后，所有用于模型训练的数据的数值都在-1到1的范围之内；

S2.2：将归一化完成之后的个体射频信号多模态数据输入到适用于多模态输入的个体识别分类模型中。具体来说，该模型由两个结构相同的、并行的卷积神经网络组成，两组模态数据分别输入两个并行的卷积神经网络，将两个经过卷积神经网络特征提取后输出的logit软标签概率矩阵以对应位置相加的投票方式进行特征融合，得到模型预测结果，并最终得到得到训练所得模型对于测试集的个体识别分类准确率。

再进一步，所述步骤S3包含以下内容：

S3.1：使用一种传统迭代攻击方式，对原始信号进行攻击得到原始信号的对抗样本。利用原始信号对抗样本，整理和计算得到实部和虚部的信号时域对抗样本和短时傅里叶变换的信号频域对抗样本；

S3.2：将信号时域和频域的对抗样本输入到训练所得的多模态输入卷积神经网络模型中，得到预测标签，将预测标签与真实标签进行对比，得到攻击对于模型的攻击成功率，以评价信号多模态输入个体识别模型的防御性能。其中，攻击成功率为预测标签与真实标签不同的样本数与样本总数的比值。

本发明的工作原理是：利用了个体射频信号的多模态数据，特别是时域和频域这两个不同信号域的数据的互补信息、更丰富的信号特征，以及对于信号的攻击在信号域之间不可迁移的实验研究结果，在提高信号个体识别的分类精度的同时，大大提高了多模态输入个体识别模型的防御性能。

本发明的优点是：利用个体射频信号的多模态信息及对于信号的攻击在信号域之间不可迁移的实验研究结果，有效提高了多模态输入的深度学习个体识别模型的分类精度和模型的防御性能。

附图说明

图1为本发明方法的框图。

图2为本发明方法的多模态输入的卷积神经网络的框架图。

具体实施方式

下面结合说明书附图1并以包含14个类别飞机个体发出的射频信号的飞机数据集为例对本发明作进一步详细的描述。

应用本发明的一种基于多模态的深度学习飞机射频信号个体识别模型的防御方法，其具体分为以下步骤：

步骤1：利用原数据集划分为训练集和测试集，并生成信号多模态数据；

步骤2：将多模态数据进行归一化处理，并输入到我们所构建的多模态输入的深度神经网络模型中进行训练，得到模型的个体识别精度；

步骤3：利用原始时域数据和训练所得模型中时域个体识别模型，使用传统的迭代攻击方法对时域数据进行攻击。并利用时域对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本数据。利用多模态对抗样本数据及训练所得的多模态输入个体识别模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能；

步骤4：将基于多模态的深度学习飞机射频信号个体识别模型的防御方法应用于现实场景中。

所述步骤1中，具体操作过程如下：参考附图1，首先将飞机个体信号数据集分为训练集和测试集，分配比例为4：1，其中训练集用于对多模态输入的深度神经网络个体识别模型的训练，测试集用于对模型的测试，评价模型的分类性能。特别的，我们使用的飞机数据集每一个样本包含15000个采样点，每个采样点包含实部(I)值和虚部(Q)值，即每个样本的数据形状为1×15000×2。利用训练集和测试集，生成信号的实部和虚部及短时傅里叶变换的两组可以表征原信号信息的多种模态数据。其中，每个样本信号实部和虚部的时域数据的数据形状为1×15000×2；对于短时傅里叶变换，我们采用的窗口大小为15000，与原始信号的长度相同，窗口类型为汉宁窗，故每个样本信号短时傅里叶变换的频域数据的数据形状为1×15000×3。

所述步骤2中，具体操作过程如下：参考附图1和附图2，将计算所得个体射频信号的时域和频域数据进行归一化处理，以获得更好的模型训练效果。特别的，我们使用的是x＝2×(x-min)/(max-min)-1的归一化方式，其中max是每个样本数据中的最大值，min是每个样本数据中的最小值。归一化过程之后，参与模型训练的所以数据的数值在-1到1之间。将归一化之后的训练集和测试集时域和频域的两组模态数据分别作为我们搭建的多模态输入个体识别分类网络的两个相同的、并行的卷积神经网络的输入，从而分别获得两个卷积神经网络提取特征之后的logit软标签概率矩阵。特别的，因为我们的飞机个体数据集中包含14类不同的飞机个体，故每一路所得的logit软标签概率矩阵的形状为14×1，每个位置上的数值代表样本所属对应类别的概率值。将两个分属时域和频域的logit软标签概率矩阵进行对应位置相加的融合处理，利用其得到每个样本的预测结果，并最终得到模型对所有测试集的个体识别分类准确率。

所述步骤3中，具体操作过程如下：参考附图1和附图2，利用原始时域数据和训练所得模型中时域个体识别模型，使用PGD传统的迭代攻击方法对时域数据进行攻击。因为我们的模型是在全连接层之后进行特征融合，故本质上时域和频域模型在进行投票之前是分别完成训练的，即训练所得的是两个分类模型(时域分类模型和频域分类模型)，在此，我们对训练所得的时域个体识别模型进行攻击生成时域对抗样本，其中扰动大小epsilon设定为0.01。接着，我们利用时域的对抗样本生成短时傅里叶变换的信号频域的对抗样本。将信号时域和频域的对抗样本输入到训练所得的多模态输入卷积神经网络模型中，得到预测标签，将预测标签与真实标签进行对比，得到攻击对于模型的攻击成功率，以评价信号多模态输入个体识别模型的防御性能。其中，攻击成功率为预测标签与真实标签不同的样本数与样本总数的比值。

所述步骤3中，具体操作过程如下：将基于多模态的深度学习飞机射频信号个体识别模型的防御方法应用于现实场景中。机场塔台将接收到的飞机信号进行时频转换，利用信号的时频域数据对飞机信号发送源进行个体识别，判定发送源的个体编号。而使用该方法进行飞机个体识别，大大削减了信号在传输过程中受到的干扰及攻击导致最终预测失败的概率，大大提高了飞机个体识别系统的防御性能。在民航领域，牢固了地面对于在飞航班的实时监测能力，提高了飞行安全、航班地面安全和空防安全等航空安全；在军航方面，能够更准确监测和判断外来飞机进入领空的情况。

如上所述为本发明在使用飞机个体射频信号数据集情况下，使用分别来自时域和频域两个信号域的多模态信息进行深度神经网络个体信号识别模型防御性能增强的实施例介绍，本发明通过利用原始数据集生成时域和频域两个分属不同信号域的多模态信息，利用多模态信息对我们搭建的多模态输入卷积神经网络进行训练，使用logit软标签概率矩阵对应位置相加的方式进行特征融合，利用个体射频信号不同信号域的多模态信息充分发挥各模态之间互补的优势，以及对于信号的攻击在信号域之间不可迁移的实验研究结果，在提高基于深度学习的信号个体识别的分类准确率的同时，大大提高了分类模型的防御性能。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (4)

1.一种基于多模态的深度学习信号个体识别模型防御方法，其特征在于：包括如下步骤：

S1：将个体射频信号数据集按一定比例分为训练集和测试集，训练集用于训练模型，测试集用于测试训练所得模型的个体识别精度；利用原信号生成信号的实部和虚部及短时傅里叶变换的两组多模态数据，其中前者为信号时域的模态，后者为信号频域的模态，两者属于不同的信号域；

S2：将生成所得的两组模态数据进行归一化处理，输入所搭建的适合于多模态输入的卷积神经网络模型进行训练，完成模型训练并得到模型对于测试集的个体识别分类准确率；

S3：对原始信号进行攻击，生成对抗样本，并利用对抗样本生成实部和虚部及短时傅里叶变换的两组多模态对抗样本数据；利用多模态对抗样本数据及训练所得模型，测试模型的攻击成功率，评价信号多模态输入个体识别模型的防御性能。

2.根据权利要求1所述的基于多模态的深度学习信号个体识别模型防御方法，其特征在于：所述步骤S1包含以下内容：

S1.1：生成个体射频信号的实部和虚部这一属于时域的模态数据；提取信号每个采样点复数数值的实部和虚部数据，其中复数数值的实部定义为I_n(n＝0,1,2,...,N-1)，复数数值的虚部定义为Q_n(n＝0,1,2,...,N-1),N为每一条信号数据的采样点个数；

S1.2：生成个体射频信号的短时傅里叶变化这一属于频域模态的数据；计算个体射频信号的短时傅里叶变换，由：

3.根据权利要求1或2所述的基于多模态的深度学习信号个体识别模型防御方法，其特征在于：所述步骤S2包含以下内容：

S2.1：为减小同组中不同模态数据数量级上的差距对于模型训练的影响，将每组多模态数据分别进行归一化处理，所使用的归一化方式为：

x＝2×(x-min)/(max-min)-1 (2)

其中max为同一模态数据中的最大值，min为同一模态数据中的最小值；在进行归一化操作之后，所有用于模型训练的数据的数值都在-1到1的范围之内；

S2.2：将归一化完成之后的个体射频信号多模态数据输入到适用于多模态输入的个体识别分类模型中；具体来说，该模型由两个结构相同的、并行的卷积神经网络组成，两组模态数据分别输入两个并行的卷积神经网络，将两个经过卷积神经网络特征提取后输出的logit软标签概率矩阵以对应位置相加的投票方式进行特征融合，得到模型预测结果，并最终得到得到训练所得模型对于测试集的个体识别分类准确率。

4.根据权利要求3所述的基于多模态的深度学习信号个体识别模型防御方法，其特征在于：所述步骤S3包含以下内容：

S3.1：使用一种传统迭代攻击方式，对原始信号进行攻击得到原始信号的对抗样本；利用原始信号对抗样本，整理和计算得到实部和虚部的信号时域对抗样本和短时傅里叶变换的信号频域对抗样本；

S3.2：将信号时域和频域的对抗样本输入到训练所得的多模态输入卷积神经网络模型中，得到预测标签，将预测标签与真实标签进行对比，得到攻击对于模型的攻击成功率，以评价信号多模态输入个体识别模型的防御性能；其中，攻击成功率为预测标签与真实标签不同的样本数与样本总数的比值。

Images