CN113705646A - 基于半监督元学习的射频细微特征信息提取方法及系统 - Google Patents
基于半监督元学习的射频细微特征信息提取方法及系统 Download PDFInfo
- Publication number
- CN113705646A CN113705646A CN202110951422.7A CN202110951422A CN113705646A CN 113705646 A CN113705646 A CN 113705646A CN 202110951422 A CN202110951422 A CN 202110951422A CN 113705646 A CN113705646 A CN 113705646A
- Authority
- CN
- China
- Prior art keywords
- network
- weight
- teacher
- updating
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims description 15
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 abstract description 7
- 230000005855 radiation Effects 0.000 abstract description 6
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000008447 perception Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
基于半监督元学习的射频细微特征信息提取方法及系统,包括以下步骤:获取对应非标签数据,标签数据;根据非标签数据获取对应的伪标签数据;根据伪标签数据更新学生网络权值;获取教师网络的反馈系数;根据学生网络的反馈,获取教师网络权值的梯度变化;根据标签数据计算教师网络的梯度更新;根据非标签数据在自动增强处理情况下的教师网络权值梯度;更新教师网络权值,返回学生网络权值;重执行上述步骤,直到执行完毕,输出学生网络权值。本发明以通信辐射源细微特征信息提取与个体识别为目标,以半监督元学习模型为基础通过对学生网络和教师网络的同时训练互相促进,完成对大规模设备基于射频细微特征的个体识别。
Description
技术领域
本发明属于通信特征提取技术领域,特别涉及基于半监督元学习的射频细微特征信息提取方法及系统。
背景技术
关于射频辐射源特征感知与提取的相关研究已经取得了一定的进展,但目前的射频细微特征感知与提取技术无法满足目前的大规模网络对于网络安全与频谱感知的相关迫切需求,具体理由如下:第一,现有的射频细微特征识别方法泛化能力差,精度不高;第二,现在的监督学习方案需要大规模的带标签数据,耗时严重;第三,现有的深度网络模型无法充分挖掘信号样本背后的分布特征信息。综上所述,如何基于机器学习设计一种有效的新型射频细微特征感知与提取方案是一个亟待解决的问题。
发明内容
本发明的目的在于提供基于半监督元学习的射频细微特征信息提取方法及系统,以解决上述问题。
为实现上述目的,本发明采用以下技术方案:
基于半监督元学习的射频细微特征信息提取方法,包括以下步骤:
获取对应非标签数据xu,标签数据(xl,yl);
根据非标签数据获取对应的伪标签数据;
根据伪标签数据更新学生网络权值;
获取教师网络的反馈系数;
根据学生网络的反馈,获取教师网络权值的梯度变化;
根据标签数据计算教师网络的梯度更新;
根据非标签数据在自动增强处理情况下的教师网络权值梯度;
进一步的,更新学生网络权值:
进一步的,教师网络的反馈系数:
其中:yl代表的是有标签数据对应的真实标签,S代表的是学生网络,h代表的是权值调整的比例参数。
进一步的,计算教师网络权值的梯度变化:
进一步的,计算教师网络的梯度更新:
进一步的,自动增强处理情况下的教师网络权值梯度:
更新教师网络权值:
对应的雅克比结果为:
为了进一步简化上述公式的描述,定义以下表达式:
然后根据链式法则进行求导,得到:
上述方程中的第一个因子通过反向传播计算,现在集中讨论第二部分:
在上述的公式中,将对应的参数从上述的公式中省略,重新定义梯度变化公式如下:
将上述公式带入化简之后,得到:
在上式中,最后一部分公式的定义来自于交叉熵损失,将其带入初始的式子中得到:
最后,对每一步的都采取门特卡罗来近似处理,根据上述的近似处理得到对应的梯度更新公式表达如下:
进一步的,基于半监督元学习的射频细微特征信息提取系统,包括:
标签获取模块,用于获取对应非标签数据xu,标签数据(xl,yl);
伪标签数据获取模块,用于根据非标签数据获取对应的伪标签数据;
学生网络权值更新模块,用于根据伪标签数据更新学生网络权值;
教师网络的反馈系数获取模块,用于获取教师网络的反馈系数;
师网络权值的梯度变化获取模块,用于根据学生网络的反馈,获取教师网络权值的梯度变化;
教师网络的梯度更新计算模块,用于根据标签数据计算教师网络的梯度更新;
教师网络权值梯度获取模块,用于根据非标签数据在自动增强处理情况下的教师网络权值梯度;
与现有技术相比,本发明有以下技术效果:
本发明以通信辐射源细微特征信息提取与个体识别为目标,以半监督元学习模型为基础通过对学生网络和教师网络的同时训练互相促进,完成对大规模设备基于射频细微特征的个体识别。事实上,此时的网络模型中,由于采用了半监督模式的训练方案,因此标签数据的引导学习和非标签数据的特征信息充分挖掘,会让两个网络互相充分学习隐藏在信号内部的分布特征信息,以此为基础获取更加丰富的射频细微特征信息,进一步提高了该网络模型的精度与泛化能力,同时大大的简化了传统监督学习模型对大规模标签数据的依赖。其具有以下的优点:
第一:本项工作将基于大规模的实际采集数据集来充分的表达设备硬件特性,而非针对特殊场景下特殊设备的小规模数据集;
第二:充分考虑了数据分布特征,利用基于半监督学习的元学习方案设计了学习能力超强的网络模型,利用教师网络与学生网络互相之间的充分学习挖掘隐藏在数据背后的细微特征;
第三:考虑到射频细微特征在物理层安全应用的实际情况,采用了真实的LTE无线通信基站与手机作为实验对象来评估方案的有效性;
第四:通过对大规模数据集的充分学习,大量的神经元可以最大程度上获取信号的非线性特征,是的网络模型的泛化能力进一步增强,可以适用于更多的使用场景。
进一步的,上述模型和处理算法完成了信号采集与模型训练的紧密结合,可以直接对采集到的信号送入网络进行进一步的训练,避免了中间复杂的预处理过程,简化了处理流程。
附图说明
图1深度学习策略与半监督元学习基本结构组成
图2射频辐射源细微特征感知与提取系统模型
图3实验室LTE数据采集系统
图4不同的网络模型个体识别准确率
图5不同的网络模型个体识别混淆矩阵。
具体实施方式
以下结合附图对本发明进一步说明:
请参阅图1至图5,本发明以通信辐射源细微特征信息提取与个体识别为目标,以半监督元学习模型为基础通过对学生网络和教师网络的同时训练互相促进,基于机器学习的射频细微特征感知与提取系统的系统模型如图2所示,在整个系统中有三个部分组成。第一部分是发射机,在数字基带信号完成了所有的处理之后信号会被I/Q调制然后经过滤波器与功率放大器等一系列模拟信号的处理过程,在该过程中一些模块的非线性特征加入到了信号的波形中。第二部分是经过天线的信号发射之后所有的无线信号会通过信道到达接收机侧,通过接收天线以及下变频到中频的处理就可以获取到对应的IQ信号(实信号),该信号就是包含了发射机射频特征以及信道非线性影响的信号样本。第三部分是基于机器学习的射频细微特征感知与提取系统,该部分有两个主要模块,一个是离线的训练,另外一个是在线的评估。在获取到大规模的数据集之后,通过设计规模和复杂度适中的深度学习网络模型与训练参数,经过对数据的充分学习之后,获取到最优的网络模型,然后基于此模型便可以对采集到的离线信号样本进行处理,完成对个体设备的认证识别。正因为模型学习的是信号中隐藏的底层硬件细微特征,因此特征信息存在稳定不变、维度丰富的特性。接下来我们将逐一介绍其中涉及到的深度网络模型以及对应的系统实验平台。
以上介绍了射频细微特征识别过程中重要的网络模型及其结构,从理论上保证了对特征信息的准确获取。在实际应用中我们常常见到的无线智能设备便是移动通信电话,因此在后续的系统实验评价中采用手机作为识别目标。如图3所示是射频特征信息采集平台的实际组成,图中(a)所示是对应的LTE无线通信基站,该基站通过RF射频线与天线相互连接,在本系统实验中两个天线均为全向天线。使用全向天线的主要原因是可以完成对大部分空间的信号覆盖。无线基站可以工作在不同的制式和频段主要有:FDD/TDD模式,FDD模式下上下行频点可以通过上位机配置,在实验中配置的具体参数为:DownLink:1820MHz,Uplink:1725MHz。图中(b)所示是为了营造一个相对理想的环境,通过SMA接口射频线缆与LTE基站的收发端口连接,基站通过收发天线与屏蔽箱内的手机进行相互通信。基站启动正常的程序之后首先发起Paging呼叫,手机与基站通过正常的信令流程建立正常的通信链路。在手机发送PUSH信号的时候,基站采集在此信号中的SRS参考符号,根据基站参数配置,两个参考符号的位置分别在Symbol 4和11。基站的采样率为122.88MHz,在中频采样得到的信号长度为8192,每一个手机在不同的时间段内总计采样为1000包,每一包内包含有40个符号的真实数据。所有的这些数据通过交换机与PC机相连,将采集到的信号传输到PC集中用来做进一步的分析和处理。在获取到所有的采集信号之后,我们首先对采集到的信号进行初步的标签预处理,然后将上述的所有数据传送到对应的GPU服务器,利用上一章节介绍的基本算法设计新的网络模型。利用TensorFlow2.3与python在服务器上构建训练模型,将采集到的数据输入网络中进行充分的学习,直到网络收敛。
图4所示便是不同的网络模型对15个不同UE的识别精确度结果,从结果上看,随着训练数据Slicenum的不断增加,所有的模型识别精确度都得到了进一步的提升。对于不同的网络模型,可以看到ResNet18效果要好于一维的网络模型,主要的原因在于一维模型的网络参数大约仅仅为ResNet18网络模型的50%左右,而网络参数的增加会促进模型对于细微特征的学习。但是从比较结果来看,ResNet18-1D仅仅用了大约为50%的参数就实现了与二维网络模型相似的结果。从最后的结果看修改后的网络模型是一个非常高效的学习框架。MPL模型是在ResNet18的基础上通过教师网络与学生网络的互相促进学习,利用少量的标签数据和大规模的非标签数据来对两个网络的模型进行促进学习。结果显示,MPL在同等条件下仅仅需要大约10%的标签数据就可以达到其他模型全部数据的监督学习。实验结果也进一步的证明了半监督学习的有效性,说明基于半监督的元学习训练方案可以最大化的挖掘信号内在的细微特征信息,基于此该网络模型可以在实际的应用场景中有更加广泛的应用。
如图5所示是不同网络模型对于15个设备的混淆矩阵在SliceNum=1800的情况下的结果,可以看到以Resnet18网络为基础的半监督元学习方法效果最佳,仅仅有极少数的设备被识别错误。对于其他网络均有不少的错误识别,主要集中在设备2与设备14,其主要原因是上述的两台设备是同型号设备,意见的细微差异较小。综上所述,基于机器学习的细微特征提取方案是一种有效的途径去获取设备的硬件唯一特征信息。
本发明所述的射频辐射源细微特征信息提取实验平台,可自动完成对相关设备信号的采集、预处理、训练与特征信息提取和个体识别分类。本发明在减少训练数据所需的带标签数据规模的同时,有效的利用非标签数据与标签数据在信号样本背后相同的数据分布特征,提供高准确率和高鲁棒性的网络模型,实现在恶劣无线环境下依旧可以稳定、可靠识别相关设备个体。同时,本发明涉及到的所有算法和处理流程均可以集成到实际的FPGA硬件平台,为后续的产业应用奠定基础。
Claims (9)
8.根据权利要求1所述的基于半监督元学习的射频细微特征信息提取方法,其特征在于,教师网络的权值更新过程详细描述如下:
交叉熵损失函数求偏导对应的雅克比结果为:
为了进一步简化上述公式的描述,定义以下表达式:
然后根据链式法则进行求导,得到:
上述方程中的第一个因子通过反向传播计算,现在集中讨论第二部分:
在上述的公式中,将对应的参数从上述的公式中省略,重新定义梯度变化公式如下:
将上述公式带入化简之后,得到:
在上式中,最后一部分公式的定义来自于交叉熵损失,将其带入初始的式子中得到:
最后,对每一步的都采取门特卡罗来近似处理,根据上述的近似处理得到对应的梯度更新公式表达如下:
9.基于半监督元学习的射频细微特征信息提取系统,其特征在于,基于权利要求1至8任意一项所述的基于半监督元学习的射频细微特征信息提取方法,包括:
标签获取模块,用于获取对应非标签数据xu,标签数据(xl,yl);
伪标签数据获取模块,用于根据非标签数据获取对应的伪标签数据;
学生网络权值更新模块,用于根据伪标签数据更新学生网络权值;
教师网络的反馈系数获取模块,用于获取教师网络的反馈系数;
教师网络权值的梯度变化获取模块,用于根据学生网络的反馈,获取教师网络权值的梯度变化;
教师网络的梯度更新计算模块,用于根据标签数据计算教师网络的梯度更新;
教师网络权值梯度获取模块,用于根据非标签数据在自动增强处理情况下的教师网络权值梯度;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110951422.7A CN113705646B (zh) | 2021-08-18 | 2021-08-18 | 基于半监督元学习的射频细微特征信息提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110951422.7A CN113705646B (zh) | 2021-08-18 | 2021-08-18 | 基于半监督元学习的射频细微特征信息提取方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113705646A true CN113705646A (zh) | 2021-11-26 |
CN113705646B CN113705646B (zh) | 2024-05-10 |
Family
ID=78653365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110951422.7A Active CN113705646B (zh) | 2021-08-18 | 2021-08-18 | 基于半监督元学习的射频细微特征信息提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113705646B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115908955A (zh) * | 2023-03-06 | 2023-04-04 | 之江实验室 | 基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
US20200334538A1 (en) * | 2019-04-16 | 2020-10-22 | Microsoft Technology Licensing, Llc | Conditional teacher-student learning for model training |
KR20200121206A (ko) * | 2019-04-15 | 2020-10-23 | 계명대학교 산학협력단 | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 |
CN113033603A (zh) * | 2021-02-05 | 2021-06-25 | 浙江大学 | 一种基于元学习的弱监督图像多标签分类方法 |
CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
-
2021
- 2021-08-18 CN CN202110951422.7A patent/CN113705646B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200121206A (ko) * | 2019-04-15 | 2020-10-23 | 계명대학교 산학협력단 | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 |
US20200334538A1 (en) * | 2019-04-16 | 2020-10-22 | Microsoft Technology Licensing, Llc | Conditional teacher-student learning for model training |
CN110826458A (zh) * | 2019-10-31 | 2020-02-21 | 河海大学 | 一种基于深度学习的多光谱遥感图像变化检测方法及系统 |
CN113033603A (zh) * | 2021-02-05 | 2021-06-25 | 浙江大学 | 一种基于元学习的弱监督图像多标签分类方法 |
CN113256646A (zh) * | 2021-04-13 | 2021-08-13 | 浙江工业大学 | 一种基于半监督学习的脑血管图像分割方法 |
Non-Patent Citations (3)
Title |
---|
施方迤;汪子扬;梁军;: "基于半监督密集阶梯网络的工业故障识别", 化工学报, no. 07, 9 May 2018 (2018-05-09) * |
王金甲;杨倩;崔琳;纪绍男;: "基于平均教师模型的弱标记半监督声音事件检测", 复旦学报(自然科学版), no. 05, 15 October 2020 (2020-10-15) * |
葛仕明;赵胜伟;刘文瑜;李晨钰;: "基于深度特征蒸馏的人脸识别", 北京交通大学学报, no. 06, 15 December 2017 (2017-12-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115908955A (zh) * | 2023-03-06 | 2023-04-04 | 之江实验室 | 基于梯度蒸馏的少样本学习的鸟类分类系统、方法与装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113705646B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ding et al. | Specific emitter identification via convolutional neural networks | |
CN107124381B (zh) | 一种数字通信信号调制方式自动识别方法 | |
CN110086737B (zh) | 一种基于图神经网络的通信信号调制方式的识别方法 | |
CN108616470A (zh) | 基于卷积神经网络的调制信号识别方法 | |
CN107332598A (zh) | 一种基于深度学习的mimo系统联合预编码和天线选择方法 | |
CN109495214B (zh) | 基于一维Inception结构的信道编码类型识别方法 | |
CN109887047B (zh) | 一种基于生成式对抗网络的信号-图像翻译方法 | |
CN111355616B (zh) | 一种基于物理层数据的战术通信网关键节点识别方法 | |
CN110166387A (zh) | 一种基于卷积神经网络识别信号调制方式的方法及系统 | |
WO2021103206A1 (zh) | 基于机器学习算法的无线射频设备身份识别方法及系统 | |
CN110018447A (zh) | 基于双谱分析与卷积神经网络的信号发射机个体识别方法 | |
CN110659684A (zh) | 一种基于卷积神经网络stbc信号识别方法 | |
CN113705646A (zh) | 基于半监督元学习的射频细微特征信息提取方法及系统 | |
CN111027614B (zh) | 一种噪声增强射频指纹识别方法及装置 | |
Deng et al. | Modulation classifier: a few-shot learning semi-supervised method based on multimodal information and domain adversarial network | |
Xie et al. | Virtual adversarial training-based semisupervised specific emitter identification | |
CN113242066B (zh) | 一种多小区大规模mimo通信智能功率分配方法 | |
Hu et al. | Feature fusion convolution-aided transformer for automatic modulation recognition | |
Zhang et al. | Data augmentation aided few-shot learning for specific emitter identification | |
CN202918327U (zh) | 一种数字调制信号自动分类系统 | |
Gai et al. | Spectrum sensing method based on residual cellular network | |
CN115809426A (zh) | 一种辐射源个体识别方法及系统 | |
CN112946567B (zh) | 基于域对抗神经网络的运动目标指纹室内定位方法 | |
CN114422310B (zh) | 一种基于联合分布矩阵与多输入神经网络的数字正交调制信号识别方法 | |
CN115996148A (zh) | 一种面向mimo ofdm通信的电力物联网物理层设备认证方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |