CN114896887A - 一种基于深度学习的用频设备射频指纹识别方法 - Google Patents
一种基于深度学习的用频设备射频指纹识别方法 Download PDFInfo
- Publication number
- CN114896887A CN114896887A CN202210549046.3A CN202210549046A CN114896887A CN 114896887 A CN114896887 A CN 114896887A CN 202210549046 A CN202210549046 A CN 202210549046A CN 114896887 A CN114896887 A CN 114896887A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- radio frequency
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/26—Systems using multi-frequency codes
- H04L27/2601—Multicarrier modulation systems
- H04L27/2626—Arrangements specific to the transmitter only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/26—Systems using multi-frequency codes
- H04L27/2601—Multicarrier modulation systems
- H04L27/2647—Arrangements specific to the receiver only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Noise Elimination (AREA)
Abstract
本发明属于神经网络和射频指纹识别技术领域,具体来说是涉及一种基于深度学习的用频设备射频指纹识别方法。本发明包括:采集相应的射频信号并进行解析,以I/Q数据的形式进行存储;对I/Q数据进行基于调制方式的整形处理预处理,构建训练/测试数据集;构建RCAN‑RFF深度网络,并对其进行训练;将测试数据输入RCAN‑RFF深度网络,得到用频设备射频指纹识别结果。该发明在高强度电磁噪声环境下,算法模型在识别准确率以及收敛速度方面综合表现最好,对复杂电磁环境中信噪比变化具有鲁棒性,大大减少了网络的训练复杂度。
Description
技术领域
本发明属于神经网络和射频指纹识别技术领域,具体来说是涉及一种基于深度学习的用频设备射频指纹识别方法。
背景技术
随着现代通信技术的发展和5G网络的普及,物联网的应用得到了极大的拓宽,在线的移动设备以及传感器部署量爆炸式增长。海量的设备将产生前所未有的数据量,由于物联网中存在伪造合法身份的网络安全隐患,接入方的认证和访问控制成为物联网领域的一个关键问题。物联网的节点中大部分都是简单的传感器,而传统身份认证技术往往是依靠运算复杂的加密算法,轻量级设备的算力无法满足可用安全性要求。同时,用频设备数量的膨胀也使得电磁环境日益复杂,维护无线电秩序与安全,防范非法用户,对于助推国家无线电治理体系和治理能力现代化日益重要。在这个背景下射频指纹识别技术成为关键的研究工作,该技术即可以实现在物理层上的身份认证安全机制,也为电磁空间的态势分析奠定了基础。
由于电子元件的公差效应,射频指纹在射频发射终端设备出厂的时候已经固定,可以作为在开放性无线网络的接入设备身份安全凭证,如何有效、准确地在实际应用环境中进行射频指纹的识别也成为亟待解决的问题。目前,主流的射频指纹识别技术主要基于传统机器学习,研究重点在于对射频信号进行特征的复杂提取,其中需要通信领域的专家知识以及特定的射频信号状态判别,如瞬态信号提取方法和稳态信号提取方法,然后选择合适的指纹特征,利用机器学习算法计算移动设备之间的特征相似性来进行设备的识别。在实际的应用场景下,任何环境因素的改变都会影响射频信号的物理特性,如收发设备的间距移动造成的多普勒效应,需要对特征的提取流程做相应的调整。复杂的特征提取、以及不同特征生成的训练数据分布不同,每种机器学习算法都有侧重点,在一些任务的识别中表现不错,但在其他方面表现不佳。这就导致了在实际的应用环境中,传统机器学习技术无法满足射频指纹识别在系统的数据处理和识别过程中的一致性要求。
但是随着深度学习在各领域的迅速发展和优异表现,基于深度学习的射频指纹识别研究也陆续进行。深度学习凭借其强大的数据特征表征能力以及数据分布拟合能力,可以省去射频指纹特征提取的过程,直接将原始数据输入网络进行训练和识别。但是,该深度学习在射频指纹识别的应用上仍然面临着诸多的挑战:
1、真实的电磁环境中存在各种的噪声和干扰,如多用户的同频干扰以及多径衰落等。在低信噪比的环境下噪声和信号的衰变会掩盖设备之间的微小差异,基于深度学习的方法在低信噪比的环境下容易提取到局部的噪声无关特征,造成模型过拟合,无法实现高准确率的识别。
2、设备的射频信号在不同环境下的衰变情况不同,目前基于深度学习的射频指纹识别研究使用的大多为实验室简单模拟或仿真生成的数据,往往忽略了物联网设备分布环境的多样性,造成在实际场景运用中的不可复现。
3、由于在真实应用环境下,不同信号出现的频次和通信的持续时间长短各异,造成了不同设备采集的I/Q数据量分布不平衡。如果通过常规的交叉熵函数进行模型的优化训练,则原始采集数据上样本量过少的设备在模型训练中很难拟合,模型会更偏好将少样本类错划到多样本上。这就会导致模型难以识别新注册的、样本量少的设备。
发明内容
针对上述问题,本发明提出了一种基于深度学习的用频设备射频指纹识别方法。
本发明的技术方案为:
一种基于深度学习的用频设备射频指纹识别方法,包括以下步骤:
S1、采集不同信道环境中用频设备的射频信号。通过OFDM发射机发射QPSK调制的数字信号,并将数字信号输入不同的仿真信道,接着通过OFDM接收机接收经过信道后的采样信号,预处理后获得I/Q信号。最后将2×N大小的I/Q信号按照调制的相位重新排列为格式,得到训练数据集;
S2、构建深度识别网络模型,包括依次连接的输入层、卷积抽象层、注意力增强模块、输出层;
所述输入层的输入为训练数据,输入层的输出连接到卷积抽象层的输入;
所述卷积抽象层包括第一卷积层、第二卷积层,用于提取I/Q两路的数据在高度抽象特征;
所述注意力增强模块输入端为第一归一线性化层,与卷积抽象层中的第二卷积层输出相连,第一归一线性化层输出后进入通道注意选择机制;所述通道注意选择机制包含第三卷积层、第四卷积层,第三卷积层和第四卷积层同时与第一归一线性化层输出相连;所述第三卷积层、第四卷积层的输出进行分支融合后与第一全局平均池化层相连;所述第一全局平均池化层与第一全连接层进行相连;所述第一全连接层进行通道注意选择,同时与第二全连接层、第三全连接层进行连接,并使用SoftMax函数进行通道注意选择;所述通道注意选择将生成两路卷积分支权重向量与第一全局平均池化层的特征图元素相乘,得到第三卷积层、第四卷积层特征图的背景噪声阈值估计,使用动态阈值函数滤噪法对第三卷积层、第四卷积层的特征图进行过滤,过滤结果相加作为注意力增强模块输出结果,以此类推得到堆叠的注意力增强模块;
所述输出层依次包括第一Flatten层、第二全连接层和第三全连接层,所述第一Flatten 层的输入为注意力增强模块输出结果与卷积抽象层中的第二卷积层输出结果进行残差跨层连接;所述第二全连接层的输入为第一Flatten层输出,第二全连接层的输出与第三全连接层输入相连,第三全连接层输出结果经过SoftMax函数计算后得到预测用频设备的概率;
深度识别网络模型的损失函数为焦点损失函数:
S3、采用步骤S1获得的训练数据集对步骤S2构建的神经网络进行训练,得到训练好的深度识别网络模型;
S4、采用训练好的深度识别网络模型对目标用频设备射频指纹进行识别。
本发明的有益效果为:
(1)本发明将残差网络、动态阈值激活函数、通道注意力机制以及焦点损失优化函数相结合,提出了一个基于通道注意力机制的残差网络RCAN-RFF模型,RCAN-RFF模型在高强度的电磁噪声环境下仍具有较高的识别精确性和较强的泛化能力,能够有效的满足低信噪比、信道多径衰落和信号数据集不平衡等实际问题。
(2)本发明具有更好的识别精度,同时对于不同信号环境中的接收数据具有鲁棒性,大大减少了网络的训练数目。
(3)本发明可应用于大规模数据量的智能识别场景中,极大的减少网络服务器的计算压力。
附图说明
图1为本发明提出的一种基于深度学习的用频设备射频指纹识别方法流程图。
图2为本发明的RCAN-RFF神经网络示意图。
图3为本发明RCAN-RFF神经网络注意力增强模块示意图。
具体实施方式
下面结合附图,对本发明技术方案进行详细描述:
如图1所示,本发明包括以下步骤:
S1、采集相应的射频信号并进行解析,以I/Q数据的形式进行存储;
S2、对I/Q数据进行基于调制方式的整形处理预处理,构建训练/测试数据集;
S3、构建RCAN-RFF深度网络,并对其进行训练;
S4、将目标用频设备射频指纹输入RCAN-RFF深度网络,得到用频设备射频指纹识别结果。
步骤S1中射频发射终端设备由于硬件固有缺陷产生I/Q偏移、幅度不平衡及正交偏差等公差效应都会对I/Q信号产生特有的影响,形成设备的射频指纹。尽管大多数现代通信系统都受到频率相关I/Q不平衡的影响,但为简单起见,现有文献通常假设频率独立。本发明假设I/Q不平衡与频率无关,调制完成信号通过不同的信道(例如加性高斯白噪声信道,AWGN) 传输,具体定义如下:
s(t)=cos(2πf0t)xi(t)-jsin(2πf0t)xq(t)
其中xi(t)和xq(t)分别为I和Q路径中的基带信号,f0为固定载频。
由于对硬件存在的公差大小程度,与理想信号相比,不同设备调制的实际信号在幅度和相位上可能存在细微差别。因此,通过I/Q不平衡调制器的基带信号可以表示为:
发射机的增益不平衡由△表示,发射机的相位不平衡由θ表示。在没有I/Q不平衡的理想的发射机中△=0,θ=0。为了能够进一步评估RCAN-RFF模型在不同环境信噪比以及信道衰落不同情况下,识别精度的变化,本发明在静态的室内办公环境中搭建了一个数据仿真采样平台。本发明中使用的I/Q数据,包括训练数据和测试数据,均使用通用软件无线电外设 (USRP)进行相应的处理。该硬件平台由NI-PXIe 1085设备和两个USRP-RIO-2943组成。USRP-RIO-2943的所有发射器都是位相似的,并可以通过MATLAB WLAN系统工具箱生成的符合IEEE 802.11a标准的数据帧。同时,为了扩充模型训练集的样本数量,满足信道衰落条件下仿真测试,本fm使用MATLAB模拟了六个需要识别的不同发射机。其中使用到了GNURadio companion(GRC)中的set_iq_balance()和set_dc_offset()函数,可以通过设置这两个单独的复杂校正因子,从而可以引入无线电中所需的损伤水平,形成设备的仿真射频指纹。在仿真设备中,信号发射机1是理想发射器,信号发射机2只有幅度偏移损伤,信号发射机3只有相位偏移损伤,其余发射机模式存在幅度和相位偏移损伤。
步骤S2对I/Q数据进行基于调制方式的整形处理预处理具体为:
根据I/Q不平衡的定义,原始的I/Q双路信号包含了设备的指纹特征,可以直接作为数据样本送入网络进行训练和识别,其中I/Q信号是根据上层协议编码产生的比特流通过调制不同相位和幅度产生的。在以往实验室仿真测试中,当环境噪声在15db以上时,比特流的顺序对识别结果影响不大,即使用原始I/Q信号数据训练具有文本无关性。但是在低信噪比的情况下,随着噪声能量的增强,调制信号和相位和幅度边界会越模糊,这就导致了原始I/Q 信号数据在训练时会出现明显的文本相关性,即模型在噪声的干扰下无法区分调制相位不同和存在的I/Q不平衡。为了在低信噪比的情况下消除序列的影响,本发明考虑根据信号的调制方式,重新对原始的I/Q两路信号进行排列,然后将它们输入到网络进行训练。以QPSK调制为例,本发明将代表00 01 10 11的四个I/Q信号分开,然后进行排序,将原来的2×N大小的I/Q信号重新排列为格式。此外,为了保证模型训练结果具有平移不变性,即模型的分类器能够识别每个设备的特定存在的损伤,无论射频损伤是在I/Q序列的哪一位,本发明使用滑窗操作来构建训练集、测试集和验证集,三者的比例为0.75:0.2:0.05。
步骤S3中RCAN-RFF深度网络包括依次连接的输入层、卷积抽象层、注意力增强模块、输出层和损失函数设计;
所述输入层的输入为整形处理完成后的I/Q数据,输入层的输出连接到卷积抽象层的输入;所述卷积抽象层包括第一卷积层、第二卷积层,主要用来提取I/Q两路的数据在高度抽象特征;
所述注意力增强模块包括动态阈值函数滤噪、通道注意选择机制和特征残差跨层连接传递机制。其中,注意力增强模块可以进行多重的堆叠,以增强网络特征抽象的能力。该模块借鉴通信中的动态阈值降噪算法,将其改造为自定义的非线性激活函数,通过通道注意力机制的旁路分支结构来获得具体的动态阈值,最后通过残差跨层连接的方式构造出动态阈值的滤噪结构。注意力增强模块输入端为第一归一线性化层,与卷积抽象层中的第二卷积层输出相连,第一归一线性化层输出后进入通道注意选择机制;所述通道注意选择机制包含第三卷积层、第四卷积层,同时与第一归一线性化层输出相连;所述第三卷积层、第四卷积层的输出进行分支融合后与第一全局平均池化层相连;所述第一全局平均池化层与第一全连接层进行相连;所述第一全连接层进行通道注意选择,同时与第二全连接层、第三全连接层进行连接,并使用SoftMax函数进行通道注意选择;所述通道注意选择将生成两路卷积分支权重向量与第一全局平均池化层的特征图元素相乘,得到第三卷积层、第四卷积层特征图的背景噪声阈值估计,使用动态阈值函数滤噪法对第三卷积层、第四卷积层特征图进行过滤,过滤结果相加作为注意力增强模块输出结果,堆叠的注意力增强模块以此类推;
所述输出层依次包括第一Flatten层,第二全连接层和第三全连接层。所述第一Flatten 层的输入为注意力增强模块输出结果与卷积抽象层中的第二卷积层输出结果进行残差跨层连接;所述第二全连接层的输入为第一Flatten层输出,与第三全连接层相连,第三全连接层输出结果经过SoftMax函数计算后得到预测用频设备的概率。
所述损失函数为焦点损失函数,通过降低简单样本熵值内部加权来解决类别不平衡问题,具体的公式如下:
其中,K代表类别总数,pi代表类别i的预测概率,αi代表类别i的权重,根据样本数量用来平衡样本的相对重要性,数量越多的类别,αi越小,对lossFL的贡献越小,通常Ni为类别i的数量。γ代表难度权重,主要是为了给易分类样本的损失进行了降权,防止模型偏好于学习简单样本,忽略困难样本,γ通常设置为2。
进一步地,所述卷积抽象层包括第一卷积层、第二卷积层的卷积核大小分别为(1,2)和 (1,4),卷积核数目设置为64和128,卷积填充方式为Same。所述第一卷积层、第二卷积层的激活函数均为PRelu函数,PReLU实质上是带参数的ReLU变形版,当输入值为负数时,PReLU 不会置零,而是会进行放缩,在激活值中保留负值。具体的公式如下:
其中ai为可训练的参数,以设定学习率∈,动量μ的方式进行更新;
所述第三卷积层、第四卷积层的输入数据通过Batch Normalization操作进行归一化处理,卷积核大小分别为(2,2)和(4,4),卷积核数目都设置为256,卷积填充方式为Same。作为一种特征规范化技术,BN层可以在网络训练的过程中适应不断变化的中间层数据分布。 BN在第一步是将输入张量进行标准化正态分布的变换,然后根据训练过程中学习到调节参数将标准化正态分布调整为理想分布,以此保证模型的表达能力。BN的过程表达如下:
所述通道注意选择机制的激活函数为sigmoid函数;所述特征图元素相乘用于将第一全局层输出的特征图与第二全连接层、第三全连接层中每个通道的压缩系数a相乘,获取第一卷积层、第二卷积层中每个通道的软阈值τ;所述动态阈值函数滤噪法用于根据软阈值τ对第二全连接层、第三全连接层输出的特征图进行噪声抑制,更新模型为:
F(x,t)=sgn(x)max[(|x|-τ),0]
其中,sgn(·)代表符号函数,τ代表阈值。F(x,t)的原理是将接近零的特征值设置为零,阈值外的特征值向零的方向进行收缩,这样可以在保留前序网络层传递有用正负特征值的同时,对特征图中的背景噪声进行过滤;
步骤S4中对RCAN-RFF深度网络进行训练的具体步骤为:
S4.1、采集若干AWGN信道环境中的接收信号作为训练数据集;
S4.2、将训练数据集中数据进行功率归一化,并采用归一化后的训练数据对RCAN-RFF神经网络进行训练。
模型训练集样本是的IQ两路序列构成的大小为(2,128)的张量,同时将该样本按照 75:5:20的比例划分为训练集、验证集和测试集。网络训练优化器采用Adam优化器,学习率设置为0.0001,衰减率设置为0.0001。为了防止模型过拟合,在训练的过程中采用早停回调函数对验证集精度进行监测,当5次迭代的精度变化小于0.05%或者达到迭代次数后停止训练,得到训练完成的模型。
本发明专门为用频设备射频指纹识别设计了一种深度神经网络模型,命名为RCAN-RFF。其中注意力增强模块是RCAN-RFF模型的核心,主要目的是增强在高强度电磁噪声环境下I/Q 数据中隐藏的设备指纹特征。该模块工作流程可以分为三个部分,分别是通道注意机制的权重值训练、动态阈值抑噪以及残差跨层连接。其中动态阈值的确定是在通道注意权重值训练中根据数据的噪声情况得到的,而动态阈值抑噪的结果将会通过残差跨层连接叠加到前序层的输出,以此来增强数据的有效设备指纹特征,抑制无关信息。下面依次详细介绍模块的结构、原理和工作方式。
首先,该网络结构引入了一种动态阈值处理机制,这种处理机制可以减轻噪声对网络特征学习的影响。动态阈值法通常被用作许多信号降噪方法的关键步骤,例如小波软收缩降噪法。作为一种经典的信号降噪方法,小波软收缩降噪法通常由三个步骤组成:小波分解信号、动态阈值过滤和小波重构信号。为了保证良好的信号降噪性能,小波软收缩降噪法处理的一个关键任务是设置一组滤波器参数,根据参数将分解信号中的有效信息转换为显著特征,将噪声信息转换为接近零的特征。但是设置这样的参数一直是具有挑战性的问题,不仅需要信号处理方面的专业知识,而且固定参数无法自适应环境噪声的变化。不过,近年来广泛发展的深度学习为解决这个问题提供了一种新思路,深度学习不需要由专家人工计算滤波器参数,而是在模型训练的过程使用梯度下降算法自动学习参数。因此,通过动态阈值法可以有效的激活低信噪比I/Q数据中隐藏的设备指纹特征。具体的函数如下:
F(x,t)=sgn(x)max[(|x|-t),0]
其中,sgn(·)代表符号函数,t代表阈值。F(x,t)的原理是将接近零的特征值设置为零,阈值外的特征值向零的方向进行收缩,这样可以在保留前序网络层传递有用正负特征值的同时,对特征图中的背景噪声进行过滤。同时可以观察到,F(x,t)对t的导数为1或0,这就意味着如果将F(x,t)函数激活和残差连接结构同时运用在注意力增强模块中,可以有效防止网络层数过深引发反向传播中梯度消失和梯度爆炸问题,从而允许注意力增强模块进行多次堆叠,大大提高了模型在射频指纹特征提取过程中的抑噪能力。
为了确定训练数据噪声阈值,本发明使用通道注意机制对I/Q数据进行动态阈值激活函数的阈值计算。该机制是SENet通道注意机制和Inception多分支网络结构相结合的一个变体,其中参考了SENet通道注意机制,对前序层输入的卷积特征图进行特征的重新校准,这种机制通过明确建模卷积特征通道之间的相互依赖关系来提高网络抽象的表征能力。通过这种机制模块可以通过对全局信息的学习来选择性地强调不同通道的重要性,以此抑制冗余特征。由于需要对全局信息进行提取和学习,其中包含了对输入的卷积特征图求全局平均池化,而I/Q数据的相位特征可能会丢失。为此,本模块在通道注意机制设计中特别引入了 Inception多分支网络结构,该结构允许在卷积特征图全局平均池化前使用多种尺寸的卷积核对I/Q数据提取特征,并在自适应地进行选择特征图操作,即在多个不同核大小的核之间进行“选择性核”卷积,以此来提高噪声阈值估计准确性。
可以看到,为了减少总体模型内部层与层之间的协变量偏移,降低模型训练难度,针对每一个输入的卷积特征图,首先需要进行批量归一化处理(BN)。作为一种特征规范化技术, BN层可以在网络训练的过程中适应不断变化的中间层数据分布。BN在第一步是将输入张量进行标准化正态分布的变换,然后根据训练过程中学习到调节参数将标准化正态分布调整为理想分布,以此保证模型的表达能力。BN的过程表达如下:
其中,xi和yi分别代表同一批次中第i次的输入和输出BN层的张量。γ和β是两个可训练参数,用来调整理想分布的放缩和偏移。∈是一个接近于零的常数,防止分母为零。
完成了批量归一化处理后,接着对当前数据进行动态阈值的训练。为了在动态阈值中保留更多有效的I/Q信号特征,本发明从多个卷积尺度对进行抽象提取。由于实验硬件的限制,所以在本发明实现中只选取1到3个不同大小卷积内核的分支,但是该模块可以支持扩展到多个分支的实现,下面以两个分支的结构为例:对于输入数据张量首先通过具有不同尺寸核的卷积层卷积形成两个分支,参数设置如下所示。
由于多个分支训练目标是使网络能够根据梯度下降自适应地调整其特征感受野大小,其实现方法是使用SoftMax函数来控制从多个分支到下一层神经元的信息流,这些分支分别携带不同规模的特征信息。所以在开始需要整合所有分支信息,通过元素求和对两个分支的卷积结构进行融合,接着在融合特征图U的通道维度进行特征压缩得到即在通道维度的每个二维的特征图变成一个实数,相当于具有全局感受野的池化操作,特征图通道数不变,高度和宽度变为1,具体定义如下:
之后是激化操作,通过全连接层线性变换为每个特征通道生成权重,用来学习建模特征通道间的相关性:
z=FC(Ws)=ReLU(BN(Ws))
其中,代表全连接层线性变换矩阵,d代表全连接层的节点数。激化操作后接着根据卷积分支数进行全连接操作,并在通道方向使用SoftMax函数进行权重计算,得到不同卷积分支下通道权重,代表模型自适应地调整其特征感受野大小:
ta=wa×GAP(U),tb=wb×GAP(U)
将激活函数F(x,t)运用于卷积分支的输出,并将激活输出进行叠加,得到最后特征增强结果V:
在得到特征增强结果输出V之后,本发明通过残差跨层连接的方式,将V添加到卷积层提取特征图后再传递给下一层网络,而不是直接将特征增强结果进行传递。这样设计的目的主要有两点:一是将增强结果V作为残差,通过残差跨层连接的方式,叠加在具有I/Q数据独立性的卷积层提取特征图上,可以保证输出结果保留I/Q相位信息,防止网络发生过拟合。二是残差跨层连接有利于损失梯度逐层反向传播,误差的渐变可以直接地流向网络的上层,这些层靠近输入层,可以更高效地更新参数,同时防止由于网络层数过深而导致的梯度爆炸和消失。在这种设计下,RCAN-RFF网络允许在结构中堆叠多个注意力增强模块,组成深层网络来进行射频指纹特征的抽取和增强。
最后本发明将注意力增强模块输出连接到多层感知器中,然后使用SoftMax函数来获得最终预测概率。由于RCAN-RFF网络属于多分类识别模型,常用的损失函数为交叉熵损失函数,但是在射频指纹的识别数据中,由于发射端设备通信时长、频率不同,导致在指纹实时系统里面用于分析识别设备模型的数据集往往是类别不平衡数据集,而基础的交叉熵损失函数在训练的时候优化方向并不是希望的那样,经常偏好于样本数量大,分类简单的类别,为了整体的准确率牺牲小类别的准确率。对于这个问题,通常会对大类别样本做下采样处理,但是这也会导致训练的数据量不足,模型出现过拟合情况。所以,本发明考虑使用焦点损失函数,通过降低简单样本熵值内部加权来解决类别不平衡问题,具体的公式如下:
Claims (1)
1.一种基于深度学习的用频设备射频指纹识别方法,其特征在于,包括以下步骤:
S1、采集不同信道环境中用频设备的射频信号,具体为:通过OFDM发射机发射QPSK调制的数字信号,并将数字信号输入不同的仿真信道,接着通过OFDM接收机接收经过信道后的采样信号,预处理后获得I/Q信号,将2×N大小的I/Q信号按照调制的相位重新排列为格式,得到训练数据集;
S2、构建深度识别网络模型,包括依次连接的输入层、卷积抽象层、堆叠的注意力增强模块、输出层;
所述输入层的输入为训练数据,输入层的输出连接到卷积抽象层的输入;
所述卷积抽象层包括第一卷积层、第二卷积层,用于提取I/Q两路的数据在高度抽象特征;
所述堆叠的注意力增强模块由注意力增强模块堆叠构成,注意力增强模块的输入端为第一归一线性化层,与卷积抽象层中的第二卷积层输出相连,第一归一线性化层输出后进入通道注意选择机制;所述通道注意选择机制包含第三卷积层、第四卷积层,第三卷积层和第四卷积层同时与第一归一线性化层输出相连;所述第三卷积层、第四卷积层的输出进行分支融合后与第一全局平均池化层相连;所述第一全局平均池化层与第一全连接层进行相连;所述第一全连接层进行通道注意选择,同时与第二全连接层、第三全连接层进行连接,并使用SoftMax函数进行通道注意选择;所述通道注意选择将生成两路卷积分支权重向量与第一全局平均池化层的特征图元素相乘,得到第三卷积层、第四卷积层特征图的背景噪声阈值估计,使用动态阈值函数滤噪法对第三卷积层、第四卷积层的特征图进行过滤,过滤结果相加作为注意力增强模块输出结果,以此类推得到堆叠的注意力增强模块;
所述输出层依次包括第一Flatten层、第二全连接层和第三全连接层,所述第一Flatten层的输入为注意力增强模块输出结果与卷积抽象层中的第二卷积层输出结果进行残差跨层连接;所述第二全连接层的输入为第一Flatten层输出,第二全连接层的输出与第三全连接层输入相连,第三全连接层输出结果经过SoftMax函数计算后得到预测用频设备的概率;
深度识别网络模型的损失函数为焦点损失函数:
S3、采用步骤S1获得的训练数据集对步骤S2构建的神经网络进行训练,得到训练好的深度识别网络模型;
S4、采用训练好的深度识别网络模型对目标用频设备射频指纹进行识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210549046.3A CN114896887B (zh) | 2022-05-20 | 2022-05-20 | 一种基于深度学习的用频设备射频指纹识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210549046.3A CN114896887B (zh) | 2022-05-20 | 2022-05-20 | 一种基于深度学习的用频设备射频指纹识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114896887A true CN114896887A (zh) | 2022-08-12 |
CN114896887B CN114896887B (zh) | 2023-04-25 |
Family
ID=82723014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210549046.3A Active CN114896887B (zh) | 2022-05-20 | 2022-05-20 | 一种基于深度学习的用频设备射频指纹识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114896887B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112932A (zh) * | 2023-02-20 | 2023-05-12 | 南京航空航天大学 | 一种数据知识双驱动的射频指纹识别方法与系统 |
CN116545575A (zh) * | 2023-07-03 | 2023-08-04 | 南京邮电大学 | 一种基于射频指纹识别的智能干扰方法及系统 |
CN116761223A (zh) * | 2023-08-11 | 2023-09-15 | 深圳市掌锐电子有限公司 | 利用5g基带芯片实现4g射频通信的方法及车载射频系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919015A (zh) * | 2019-01-28 | 2019-06-21 | 东南大学 | 一种基于多采样卷积神经网络的射频指纹提取和识别方法 |
CN113343874A (zh) * | 2021-06-18 | 2021-09-03 | 上海电机学院 | 基于深度卷积神经网络的大规模无线电信号识别方法 |
CN114091545A (zh) * | 2021-12-02 | 2022-02-25 | 中国人民解放军国防科技大学 | 基于深度残差收缩网络的辐射源个体识别方法及装置 |
CN114118131A (zh) * | 2021-09-29 | 2022-03-01 | 北京交通大学 | 基于注意力机制的多特征融合无线设备射频指纹提取方法 |
-
2022
- 2022-05-20 CN CN202210549046.3A patent/CN114896887B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919015A (zh) * | 2019-01-28 | 2019-06-21 | 东南大学 | 一种基于多采样卷积神经网络的射频指纹提取和识别方法 |
CN113343874A (zh) * | 2021-06-18 | 2021-09-03 | 上海电机学院 | 基于深度卷积神经网络的大规模无线电信号识别方法 |
CN114118131A (zh) * | 2021-09-29 | 2022-03-01 | 北京交通大学 | 基于注意力机制的多特征融合无线设备射频指纹提取方法 |
CN114091545A (zh) * | 2021-12-02 | 2022-02-25 | 中国人民解放军国防科技大学 | 基于深度残差收缩网络的辐射源个体识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
ZHAONAN DU: "RSEN-RFF: Deep Learning-Based RF Fingerprint Recognition in Noisy Environment" * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112932A (zh) * | 2023-02-20 | 2023-05-12 | 南京航空航天大学 | 一种数据知识双驱动的射频指纹识别方法与系统 |
CN116112932B (zh) * | 2023-02-20 | 2023-11-10 | 南京航空航天大学 | 一种数据知识双驱动的射频指纹识别方法与系统 |
CN116545575A (zh) * | 2023-07-03 | 2023-08-04 | 南京邮电大学 | 一种基于射频指纹识别的智能干扰方法及系统 |
CN116761223A (zh) * | 2023-08-11 | 2023-09-15 | 深圳市掌锐电子有限公司 | 利用5g基带芯片实现4g射频通信的方法及车载射频系统 |
CN116761223B (zh) * | 2023-08-11 | 2023-11-10 | 深圳市掌锐电子有限公司 | 利用5g基带芯片实现4g射频通信的方法及车载射频系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114896887B (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Automatic modulation classification using CNN-LSTM based dual-stream structure | |
Zhang et al. | An efficient deep learning model for automatic modulation recognition based on parameter estimation and transformation | |
CN108234370B (zh) | 基于卷积神经网络的通信信号调制方式识别方法 | |
CN114896887B (zh) | 一种基于深度学习的用频设备射频指纹识别方法 | |
CN109890043B (zh) | 一种基于生成式对抗网络的无线信号降噪方法 | |
CN113014524B (zh) | 一种基于深度学习的数字信号调制识别方法 | |
CN112702294A (zh) | 一种基于深度学习的多层次特征提取的调制识别方法 | |
CN112910812B (zh) | 一种基于时空特征提取深度学习的调制模式识别方法 | |
CN112491442B (zh) | 一种自干扰消除方法及装置 | |
CN111050315B (zh) | 一种基于多核双路网络的无线发射机识别方法 | |
CN113378644B (zh) | 基于生成式对抗网络的信号调制类型识别攻击的防御方法 | |
CN115392326B (zh) | 基于联合多模态信息与域对抗神经网络的调制识别方法 | |
WO2021088465A1 (zh) | 基于多分布测试数据融合的多层感知器快速调制识别方法 | |
CN113723556A (zh) | 基于熵加权-多模态域对抗神经网络的调制方式识别方法 | |
CN116628566A (zh) | 一种基于聚合残差变换网络的通信信号调制分类方法 | |
Lin et al. | Modulation recognition using signal enhancement and multistage attention mechanism | |
CN115982613A (zh) | 一种基于改进卷积神经网络的信号调制识别系统及方法 | |
Nithya et al. | Pilot based channel estimation of OFDM systems using deep learning techniques | |
CN114980122A (zh) | 一种小样本射频指纹智能识别系统与方法 | |
CN114422311A (zh) | 联合深度神经网络和专家先验特征的信号调制识别方法及系统 | |
CN113259289A (zh) | 基于残差神经网络的单通道混叠信号调制模式识别方法 | |
CN116738251A (zh) | 一种基于生成对抗网络的射频指纹识别训练数据生成方法 | |
CN116738278A (zh) | 基于小波变换和多模态特征融合的自动调制分类方法 | |
CN114724245B (zh) | 基于csi的增量学习人体动作识别方法 | |
CN114584441A (zh) | 一种基于深度学习的数字信号调制识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |