CN115481685A - 一种基于原型网络的辐射源个体开集识别方法 - Google Patents
一种基于原型网络的辐射源个体开集识别方法 Download PDFInfo
- Publication number
- CN115481685A CN115481685A CN202211118749.7A CN202211118749A CN115481685A CN 115481685 A CN115481685 A CN 115481685A CN 202211118749 A CN202211118749 A CN 202211118749A CN 115481685 A CN115481685 A CN 115481685A
- Authority
- CN
- China
- Prior art keywords
- prototype
- distance
- network
- set data
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开实施例是关于一种基于原型网络的辐射源个体开集识别方法。该方法包括:对原始数据进行处理,将处理后的数据按预设比例划为训练集数据和测试集数据;将训练集数据送入构建的一维神经网络中进行训练得到训练集数据特征,计算得到训练集数据特征到原型的距离;根据训练集数据特征到原型的距离对训练集数据进行分类且利用联合损失函数优化一维神经网络,迭代更新一维神经网络中的原型和网络参数;将测试集数据送入训练后的一维神经网络中进行测试,与原型进行匹配得到测试集数据特征到原型的距离;利用开集识别算法对测试集数据分类。本公开解决了基于开集场景的辐射源个体识别算法鲁棒性不强,识别性能低的问题。
Description
技术领域
本公开实施例涉及信号处理技术领域,尤其涉及一种基于原型网络的辐射源个体开集识别方法。
背景技术
特定辐射源个体识别(specific emitter identification,SEI)是指通过提取辐射源信号中的个体特征来识别不同辐射源的过程。随着无线通信技术的大规模应用和物联网时代的到来,通信辐射源指纹特征作为一种基于自身硬件唯一性的身份特征,其在通信设备的识别定位以及安全认证等领域将发挥着重要作用。
根据辐射源的工作状态,可将用于识别的信号指纹特征分为暂态特征和稳态特征。暂态特征的差异明显且容易分辨,但提取暂态特征对设备的精密性和采集条件要求高,且容易受噪声干扰;相较于暂态特征来说,稳态特征获取容易,基于稳态特征提取射频指纹的方法有广泛的研究和适用范围。如通过高阶累积量、希尔伯特-黄变换(hilbert-huangtransform,HHT)、矩形积分双谱、变分模态分解等特征变化方法进行特征提取,并通过支持向量机(support vector machine,SVM)、聚类等分类算法进行分类,但这些人工设计的特征提取和分类方法复杂度较高,泛化性不强,识别率低。
因此,有必要改善上述相关技术方案中存在的一个或者多个问题。
需要注意的是,本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
发明内容
本公开实施例的目的在于提供一种基于原型网络的辐射源个体开集识别方法,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开实施例,提供一种基于原型网络的辐射源个体开集识别方法,该方法包括:
对原始数据进行处理,并将处理后的数据按预设比例划为训练集数据和测试集数据;
将所述训练集数据送入构建的一维神经网络中进行训练得到所述训练集数据特征,并计算得到所述训练集数据特征到原型的距离;
根据所述训练集数据特征到原型的距离对所述训练集数据进行分类;
基于所述训练集数据特征到原型的距离,利用联合损失函数优化所述一维神经网络,并迭代更新所述一维神经网络中的所述原型和网络参数;
将所述测试集数据送入训练后的所述一维神经网络中进行测试,并与所述原型进行匹配得到所述测试集数据特征到原型的距离;
基于所述测试集数据特征到原型的距离,利用开集识别算法进行对所述测试集数据分类。
本公开的一实施例中,所述联合损失函数包括:
距离交叉熵损失函数和原型损失函数。
本公开的一实施例中,所述原型学习包括:
所述测试集数据包括若干不同类别的样本;
所述一维神经网络将各个所述样本划入到距离最近的所述原型的所属类别;
所述一维神经网络的特征提取器和所述原型联合学习,并不断将所属类别的所述原型推向对应的所述样本的样本特征。
本公开的一实施例中,所述一维神经网络将各个所述样本划入到距离最近的所述原型的所属类别中的分类过程表示公式为:
其中,x为神经网络的原始输入样本,i为类别,gi(x)是类别i的分类函数,N为类别数量。
本公开的一实施例中,所述gi(x)表示公式为:
其中,f(x;θ)为所述一维神经网络的特征提取器,θ为网络参数,ai为所述原型。
本公开的一实施例中,所述开集识别算法包括:
设计自适应距离分类规则,使每个类别可学习一个自适应的距离阈值;
根据所述距离阈值对所述测试集数据进行分类。
本公开的一实施例中,所述自适应距离分类规则包括:
计算各个测试样本到各个所述原型的距离,并找到最近距离所对应的类别;
根据找到的所述类别及该类别训练样本特征到所属原型的距离分布,得到最大距离分布值;
将所述最大距离分布值作为对应的类别的所述距离阈值;
若所述测试样本到最近所述原型的距离小于所述原型对应类别的距离阈值,则判定为该类别,否则判定为未知类样本。本公开的一实施例中,所述判别公式表示为:
其中,ωi为所述距离阈值,N为类别数量。
本公开的一实施例中,所述一维神经网络包括:
若干卷积层和压缩激励模块;
其中,各所述卷积层包括若干卷积核和池化层,在最后一个所述卷积层中加入Dropout层,在每一次卷积和池化操作后加入压缩激励模块。
本公开的一实施例中,所述压缩激励模块为一维结构。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的实施例中,通过上述基于原型网络的辐射源个体开集识别方法,一维神经网络能够调整通道权重加强分类能力,结合联合损失函数对一维神经网络的网络参数和原型进行联合训练,同时更新网络参数和原型,有效提高了网络的识别性能,同时以提高类内紧密度的方式扩大了类间距离,进一步增强了模型的识别、分类能力;根据所述测试集数据特征到原型的距离对所述测试集数据进行分类,完成了辐射源个体开集识别,且在闭集环境和开集环境下都具有更高的识别精度和泛化性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中基于原型网络的辐射源个体开集识别方法步骤图;
图2示出本公开示例性实施例中闭集识别和开集识别模型示意图;
图3示出本公开示例性实施例中基于原型网络的辐射源个体开集识别方法的框架示意图;
图4示出本公开示例性实施例中一维神经网络结构示意图;
图5示出本公开示例性实施例中一维压缩激励模块模型示意图;
图6示出本公开仿真实验中10dB下不同类别样本的特征分布对比图;
图7示出本公开仿真实验中0dB下不同类别样本的特征分布对比图;
图8示出本公开仿真实验中不同样本长度下的识别率对比图;
图9示出本公开仿真实验中λ取值对闭集识别率的影响对比图;
图10示出本公仿真实验中λ取值对开集识别率的影响对比图;
图11示出本公开仿真实验中λ=0时的训练特征分布图;
图12示出本公开仿真实验中λ=0时的测试特征分布图;
图13示出本公仿真实验中λ=0.05时的训练特征分布图;
图14示出本公仿真实验中λ=0.05时的测试特征分布图;
图15示出本公开仿真实验中闭集环境下的识别性能对比图;
图16示出本公开仿真实验中开集环境的识别性能对比图;
图17示出本公开仿真实验中开集识别下信噪比为-6dB下的混淆矩阵;
图18示出本公开仿真实验中开集识别下信噪比为0dB下的混淆矩阵;
图19示出本公开仿真实验中开集识别下信噪比为6dB下的混淆矩阵。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开实施例的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
本示例实施方式中首先提供了一种基于原型网络的辐射源个体开集识别方法。参考图1中所示,该基于原型网络的辐射源个体开集识别方法可以包括:步骤S101~步骤S106。
步骤S101:对原始数据进行处理,并将处理后的数据按预设比例划为训练集数据和测试集数据;
步骤S102:将所述训练集数据送入构建的一维神经网络中进行训练得到所述训练集数据特征,并计算得到所述训练集数据特征到原型的距离;
步骤S103:根据所述训练集数据特征到原型的距离对所述训练集数据进行分类;
步骤S104:基于所述训练集数据特征到原型的距离,利用联合损失函数优化所述一维神经网络,并迭代更新所述一维神经网络中的所述原型和网络参数;
步骤S105:将所述测试集数据送入训练后的所述一维神经网络中进行测试,并与所述原型进行匹配得到所述测试集数据特征到原型的距离;
步骤S106:基于所述测试集数据特征到原型的距离,利用开集识别算法进行对所述测试集数据分类。
通过上述基于原型网络的辐射源个体开集识别方法,一维神经网络能够调整通道权重加强分类能力,结合联合损失函数对一维神经网络的网络参数和原型进行联合训练,同时更新网络参数和原型,有效的提高了网络的识别性能,同时以提高类内紧密度的方式扩大了类间距离,进一步增强了模型的识别、分类能力;根据所述测试集数据的特征到原型的距离对所述测试集数据进行分类,完成了辐射源个体开集识别,且在闭集环境和开集环境下都具有更高的识别精度和泛化性。下面,将参考图1至图19对本示例实施方式中的上述基于原型网络的辐射源个体开集识别方法的各个步骤进行更详细的说明。
在一个实施例中,所述原型学习包括:所述测试集数据包括若干不同类别的样本;所述一维神经网络将各个所述样本划入到距离最近的所述原型的所属类别;所述一维神经网络的特征提取器和所述原型联合学习,并不断将所属类别的所述原型推向对应的所述样本的样本特征。在一个实施例中,所述一维神经网络将各个所述样本划入到距离最近的所述原型的所属类别中的分类过程表示公式为:
其中,x为神经网络的原始输入样本,i为类别,gi(x)是类别i的分类函数,N为类别数。
所述gi(x)表示公式为:
其中,f(x;θ)为所述一维神经网络的特征提取器,θ为网络参数,ai为所述原型。
具体的,对于一个特定的识别问题,常用的识别方法是闭集识别,即测试集的样本类别和用于训练的样本类别相同。假定样本的类别数量为N,闭集识别所解决的问题就是完成测试集中N个类别的分类。但实际的应用场景中往往都是处于开集的环境,需要测试的样本中可能包含了训练集中没有出现的新类别,利用闭集识别方法所训练的模型在进行识别时会将来自未知类的测试样本识别为已知类别,从而严重影响识别精度。开集识别为解决该问题提供了新的思路,即在对已知的N类样本进行分类识别的基础上完成对未知类目标的检测或拒绝。
闭集识别和开集识别的分类模型如图2所示。在闭集识别中,所学习到的“整个”特征空间将会被分配给所有已知类,未知类目标只能被判定为某一个相似的已知类。而在开集识别中,分类边界在对已知类别进行分类的同时可识别出未知类别,并将所有未知类别的样本划分为一类。
原型学习是模式识别中的经典算法,包括早期的K近邻算法(k-nearestneighbor,K-NN)以及多种基于学习矢量量化(learning vector quantization,LVQ)的改进方法。原型学习为每个类别计算出一个或多个原型表示aij,并用原型来表示不同的类。在原型表示aij中,i∈{1,2,…,N}表示样本中共有N个类别,j∈{1,2,…,M}表示每个类中有M个原型。可以使用嵌入函数学习每个数据样本的嵌入来构建每个类的原型,嵌入函数可以是任何能够用来提取特征的函数。以往的原型学习大多是基于人工设计的特征,而神经网络具有强大的特征提取能力,对于输入数据,可利用神经网络作为嵌入函数提取数据特征,神经网络作为特征提取器可表示为f(x;θ),x和θ分别表示神经网络的原始输入和参数。以往的CNN模型在分类的时候使用softmax函数对全连接层的输出进行归一化,以最大概率值进行对输入样本x进行判定和分类,其分类依据如公式(4)所示。
公式(4)中p(y|x)表示样本x属于类别y的概率,δi表示第i类对应的网络输出值。
而利用原型学习进行分类时,网络可为每个类学习一个原型。对于任意样本,可以将它划入到距离最近的原型所属的类别。该过程可以表示为
式中gi(x)是类别i的分类函数,表示为
神经网络特征提取器f(x;θ)和原型ai可以联合学习,在学习过程中,不断将某一类原型推向该类的样本特征,而其它类的原型远离该类样本特征。原型学习将分类问题转化为在特征向量空间中的最近邻问题,结合神经网络的特征提取优势可以有效提高泛化性能,缓解过拟合,具有良好的识别性能。
基于原型网络的辐射源个体开集识别算法是利用一维卷积神经网络为基础网络结构,结合原型学习方法和压缩激励(squeeze-and-excitation,SE)模块对经过处理的I/Q原始数据进行识别,并利用自适应距离拒绝规则进行分类预测。
算法框架如图3所示,主要分为3个模块。第1个模块为数据处理模块,接收端接收信号后,首先对其进行高采样率采样,然后按照样本长度对数据进行功率归一化、切片和加噪等操作,最后按预设比例划分训练集和测试集。第2个模块为特征提取和参数更新模块。将处理好的I/Q数据送入一维卷积神经网络(convolutional neural network,CNN),对于该网络模型,给定输入x,通过神经网络特征提取器获得它的抽象特征表示。在训练阶段,通过最小化损失函数和神经网络的反向传播算法同时更新网络参数和原型,更高效地训练整个网络。第3个模块为分类模块,在训练阶段,将训练样本提取到的抽象特征与所有原型进行匹配,根据欧氏距离将其分类到最近原型所属的类别。在测试阶段,将测试样本提取到的抽象特征与所有已训练好的原型进行匹配,根据自适应距离拒绝规则将测试样本分类为已知类别的某一类或未知类别。
在一个实施例中,所述一维神经网络包括:若干卷积层和压缩激励模块;其中,各所述卷积层包括若干卷积核和池化层,在最后一个所述卷积层中加入Dropout层,在每一次卷积和池化操作后加入压缩激励模块。
具体的,开集识别网络结构如图4所示。本公开直接对序列数据进行处理,复杂度较低,故设计的网络结构以较为简单的一维卷积神经网络为基础。网络层数共有4层,每一层的卷积核个数分别为32,64,128,256。在每一个卷积层后添加内核为2的最大池化层来降低模型的复杂度和过拟合程度,通过4层的网络使得最后的输出样本维度降到一个较低的值,以便充分提取数据的深层特征。每个卷积层的卷积核大小为1×9,使用较大的卷积核能够充分提取序列数据中的时序信息。在每一次卷积和池化操作后加入SE模块,通过调整各通道的权重进一步提高识别率。在最后一个卷积层中加入Dropout层,以缓解模型在训练中出现的过拟合现象。在卷积操作中对每一个样本数据的边缘补零,保证充分提取该样本的特征,并确保卷积后得到的样本长度不变。
在卷积层后,采用PReLU激活函数。PReLU激活函数在负值时的斜率值是在0到1之间可学习的,在神经网络中,初始化权重和权重更新时,都有可能出现权重为负值的情况,使用PReLU激活函数,保证了在激活函数输入特征为负值的时候其输出值不为全0,能够更全面的保留网络提取的特征,提升识别性能。在所有卷积操作完成后,采用自适应平均池化,输出大小维度为1×1。最后经过全连接层,输出2维特征,输出特征通过DCE损失和PL损失计算特征到原型的欧氏距离,同时更新网络参数和原型ai。
在一个实施例中,所述压缩激励模块为一维结构。
具体的,网络中加入的SE模块采用了注意力机制,其核心思想是通过不断学习来自动获取在卷积过程中每个特征通道的重要程度,依据重要程度来调整各通道的权重,在权重的作用下可提高有效通道特征的影响,抑制作用较小的通道特征,进而提高网络的识别性能。如图5所示,输入数据X=(u1,u2…uC′),经过卷积操作后提取的特征为U=(u1,u2…uC),其中C和C′代表通道维度,L和L′代表每一个通道的特征维度。为了适应一维数据处理,将SE模块中的二维结构改为一维结构。该模块总共分为三个步骤。首先进行Squeeze操作,保留通道数不变,将时间序列数据中的C×L维度特征经过一维自适应平均池化,变成C×1大小,使其具有全局感受野。该过程如公式(5)所示,其中Fsq(·)代表Squeeze操作,uc∈RL和z∈RC分别代表Fsq(·)操作前后的特征分布。
然后进行Excitation操作,该操作经过两个全连接层,第一个全连接层表示为它将特征压缩为C/r通道,其中r是通道的压缩比例,可以极大地减少参数量和计算量,文中的r值为16,之后经过一个ReLU激活函数。第二个全连接层表示为将特征还原为C通道,最后使用一个Sigmoid激活函数。经过全连接层和非线性激活层,可以得到一个0-1之间的归一化权重s=(s1,s2…sC)。该过程如公式(6)所示,其中δ代表ReLU函数,σ代表Sigmoid函数,Fex(·,W)代表Excitation操作。
s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z)) (6)
最后进行特征重标定操作,将归一化的权重逐通道加权到每个通道的特征上,完成在通道维度上对原始特征的重标定,之后输出特征为并将其作为下一级的输入数据。该过程如式(7)所示,其中Fscale(,·,)代表特征重标定操作。
在一个实施例中,所述开集识别算法包括:设计自适应距离分类规则,使每个类别可学习一个自适应的距离阈值;根据所述距离阈值对所述测试集数据进行分类。
在一个实施例中,所述自适应距离分类规则包括:计算各个测试样本到各个所述原型的距离,并找到最近距离所对应的类别;根据找到的所述类别及所述测试样本的特征到所述原型的距离分布,并得到最大距离分布值;将所述最大距离分布值作为对应的类别的所述距离阈值;若所述测试样本到最近所述原型的距离小于该原型对应类别的距离阈值,则判定为该类别,否则判定为未知类样本。所述判别公式表示为:
其中,ωi为所述距离阈值,N为类别数量。
具体的,在闭集场景下对已知类目标的分类可以基于公式(1)和公式(2)的基础完成。在开集场景下对已知目标的分类和未知类目标的检测可以在原型网络的基础上使用基于距离的拒绝规则。
在公式(2)中,gi(x)代表样本x属于类别i的匹配程度,即样本x到类别i的距离。在测试时,如果样本x到类别i的最近距离大于阈值ω,即
则代表该样本x与已知类别i的原型ai匹配程度很低,可判定该样本为未知类别。其中f(x;θ)代表样本x的深度特征,基于gi(x)的定义,则有
该公式代表样本x属于类别i的最大匹配程度小于某一个阈值,等价于公式(8)。
然而在基于距离的拒绝检测过程中,阈值ω是很难设定的,选取不同网络结构、网络深度,不同信噪比下的识别信号或者不同的λ值进行训练拟合时,都会导致每一个类出现不同的样本分布,而不同的样本分布会导致每一个类原型之间的距离不同,且每一个类的样本到该类别所属原型的距离分布也不同。因此,使用固定的阈值ω会使得拒绝检测不具有鲁棒性,且阈值ω也难以确定。
如图6、图7所示,经过训练以后,不同信噪比下已知类的样本以及类原型分布不同,图中的d1≠d′1,d2≠d′2,则用来判定样本属于某一类原型的距离阈值ω就不同,这就给ω的设定带来了困难。
基于此,本公开提出了基于自适应距离的分类规则。在该规则中,距离阈值ω是可学习的,在训练期间,根据每一个类别样本的分布情况,可以自动调整ω,得到一个更具鲁棒性的ω值。具体算法如下:在训练期间,根据标签信息得到每一个预测正确的样本x,通过CNN网络提取到特征f(x;θ),计算特征f(x;θ)到样本x对应原型的距离,训练完成后,得到所有类的原型以及正确预测样本x所提取的特征f(x;θ)到对应原型的距离分布D,表示为
D={dxi|x=1,2,…,T;i=1,2,…,N} (10)
其中T代表训练集中每个类别的样本数量,N代表类别数量,dxi代表样本x到对应原型ai的距离。在测试时,由于测试样本中未知样本的空间分布情况未知,它可能在不同的网络模型或数据集下出现不同的位置分布。对于每一个测试样本,首先计算
该测试样本到每一个原型ai的距离,找到最近距离所对应的类别i。
之后根据所找到的类别i以及该类样本特征到类原型ai的距离分布,得到最大距离分布值可以将该距离分布值di作为类别i的距离阈值ωi,如果测试样本到最近原型的距离小于该类原型的阈值ωi,则判定为该类别,否则判定为未知类样本,判别公式表示为
在一个实施例中,所述联合损失函数包括:距离交叉熵损失(distance crossentropy,DCE)函数和原型损失(prototype loss,PL)函数。
具体的,在原型网络结构中,用距离来衡量样本和原型之间的相似性。因此,样本(x,y)与原型ai之间的距离可以衡量其属于原型的概率。
其中x为样本,y为样本对应的标签。
为了满足概率的非负性和归一化,可将概率p(x∈ai|x)定义为
p(y|x)=p(x∈ay|x) (14)
基于p(y|x)的概率和所有类的原型集合A={ai|i=1,2,…,N},可以将交叉熵损失定义为
式中q(y)是样本标签的分布,K为一个批次的样本数量。该损失函数是基于距离定义的,为了区别于传统的交叉熵损失,称之为基于距离的交叉熵损失。从以上公式可以看到,最小化损失函数本质上意味着减少样本与类原型之间的距离。
通过最小化DCE损失,可以训练模型来完成对数据的分类。然而直接最小化分类损失只从分类的角度对不同类别在特征空间进行分离,虽然最后的分类结果中各类别间是可分的,但这样的损失函数只考虑了类间可分性,没有考虑到每个类别中各样本的空间分布情况。为了进一步提高网络的识别性能,同时完成对未知类目标检测的开集识别任务,可以从类内样本分布的角度考虑,加入PL函数。该损失函数可在训练期间不断缩小类内样本特征间的距离,通过提高类内紧密度的方式增加类间距离,从而有助于提高网络的识别性能。同时,通过该损失函数的约束,在缩小已知类样本特征空间的基础上扩大了未知类的空间分布,更有利于对未知类目标的拒绝和检测。
基于此,本公开在DCE损失基础上加入PL损失,以提高网络的识别性能。PL损失定义如下
式中ay是对应的y类所属原型,最小化pl((x,y);θ,A)可以缩小每一个类别中样本特征到所属原型的距离。
根据以上分析,可以将DCE损失和PL损失相结合来训练模型,联合损失可以定义为
L((x,y);θ,A)=l((x,y);θ,A)+λpl((x,y);θ,A) (17)
其中λ是控制PL损失权重的超参数。一方面,通过将分类损失和PL损失结合,可以进一步提高模型的分类准确率和鲁棒性。另一方面,PL损失作为正则化项和对已知类样本空间的约束函数,既有助于完成开集识别任务,也可以防止模型的过拟合,增加泛化性能。另外,通过公式(17)分析得到,λ值太小,类内分布空间不够紧密,难以达到更优的识别性能。λ值太大,也会过度提高样本空间的紧密度,增加过拟合程度,降低闭集识别和开集识别的分类性能。
采用自适应梯度下降(Adma)进行优化,优化目标即为最小化L((x,y);θ,A),学习率初始值为0.0005,每批训练样本数为64。迭代次数选择为40次,每迭代10次后学习率降低为之前的50%。
在训练时,首先根据特征维度和类别数目对每一类别构造原型,并对原型进行初始化。输入样本经过网络提取特征后,计算与各个类原型的距离,根据距离再计算出DCE损失和PL损失。最后联合DCE和PL损失进行端到端训练和网络优化,同时更新网络参数和原型ai。
在测试时,将输入信号的抽象特征与所有类别的原型进行比较,根据自适应距离拒绝规则将测试样本分类为已知类别的某一类或未知类别。
下面结合具体仿真实例,进一步阐述本实施例。
本公开实验基于Python下的Pytorch深度学习框架,所使用的硬件平台中CPU为AMD Ryzen 7 5800H,GPU为NVDIA GeForce RTX3070。
实验所用数据集来自5种ZigBee设备的实采信号,采样率为10M samples/s。该设备使用的是OQPSK(offset quadrature phase-shift keying)调制方式,遵循IEEE802.15.4标准,信号接收设备为Ettus Research N210USRP。每一类设备共有5段信号,每段信号分为9个小的帧段,每个帧段约为40000个样本。所有采集到的信号经matlabR2019a进行处理,首先对信号进行功率归一化。消除在实际采集数据时因信号功率不同带来的影响。然后对信号进行切片处理、加高斯噪声,最后得到训练集和测试集样本。
在闭集实验中,随机选取每一类设备的4段信号为训练集,第5段信号为测试集。在开集实验中选取其中的3类设备,每一类设备选取4段信号作为训练集,而测试集选取5类设备的第5段信号。
采用控制变量法选取最优识别性能下的参数。图8显示了在闭集环境下,信噪比在-10dB到6dB之间变化时不同样本长度下的识别准确率。
通过图8发现,对于序列信号,当样本长度较小时,网络难以提取到样本所包含的指纹特征,识别精度较低,当样本长度逐渐变大时,样本所包含的指纹特征更丰富,识别精度逐渐提高,但当样本长度过大时,识别精度会下降。原因是随着样本长度的增大,用于识别的指纹特征已经达到饱和,识别精度变化就不明显,另外随着样本长度的增大,其用于训练和测试的样本就越少,测试精度就会受到较大影响。对于高信噪比,模型能够较容易识别不同类信号,识别精度在不同样本长度下的变化就不明显,而对于低信噪比,识别精度对参数的变化较敏感,所以在不同样本长度下的变化就较大。综合实验结果来看,选取样本长度为800个采样点进行后续实验。
选取样本长度为800,对比在闭集和开集环境下信噪比在-10dB到6dB之间变化时不同λ取值对应的测试精度。图9和图10分别显示了闭集和开集环境下的识别准确率。
实验结果验证了对PL损失的理论分析。λ的值决定了每一个类别的聚集程度,进而影响了类别之间的距离分布,使得不同λ值下的识别性能也不同。通过实验得出在λ值为0.05左右时识别性能最好。λ取值从0开始增大时,每一类特征的类内紧密度会逐渐增高,继而扩增了类间距离,既提高了对已知样本分类能力也增强了对未知目标的拒绝和检测能力。随着λ值的进一步增大,识别性能趋于稳定,当λ取值过大时,PL损失对样本空间的约束就越大,就会将训练集的每一类样本空间过度缩小到类原型的附近,加重了过拟合现象。当输入测试样本时,测试集的样本空间分布会大于训练收敛后的样本空间分布,在通过类原型之间的距离进行判别时就会影响识别性能,同样,在低信噪比下变化更明显,因此选择合适的λ值对识别性能至关重要。另外,PL损失对开集识别的作用更明显,其作用原理也更适合对未知类目标的检测。
如图11所示为开集识别下不同λ值所对应的全连接层2维输入特征分布图。通过特征分布可以看出,在DCE损失的作用下,可以完成对已知类的分类和未知目标的检测,但从样本的分布来看,准确率和稳定性还不够高。在加入PL损失后,通过提高类内紧密度的方式扩大未知空间的分布,同时使得已知类样本和未知类样本在特征空间更加分离,继而提高了开集识别准确率和鲁棒性。
参照之前的实验结果,选取信号样本长度为800,λ取值为0.05,信噪比变化范围为-10dB-10dB之间,将本公开提出的原型网络模型PN_SE与未加入SE模块的原型网络PN和未加入原型学习的一维卷积神经网络CNN_SE进行识别性能对比。为了进一步说明本公开算法相较于其它算法的性能优势,同时将本公开算法与DCTF_CNN,PACGAN,LSTM_CNN这几种不同网络结构和算法进行对比,以上几种算法都是针对ZigBee设备进行识别的。在对比实验中使用本公开数据集按照相应的数据处理方式进行处理。
以上对比结果如图12至图15所示,通过分析得出以下结论:引入原型学习思想,采用联合损失函数后可以在同等网络结构下增强模型的识别性能。另外在加入SE模块后,通过引入注意力机制,改变通道权重,可提高原型网络的识别率。通过和其它算法的性能比较,结果表明在较低信噪比下本公开提出的模型有较大的性能优势,当信噪比大于0dB以上时,其识别精度可达到95%以上,6dB以上时,识别精度可以达到99%以上。另外,通过实验和分析得到,将信号转化成DCTF图像会丢失掉一些细微特征,导致在低信噪比下的识别率不佳。
为了说明本公开算法在开集识别中的优越性能,首先对比本公开算法在加入SE模块后的性能变化,然后将本公开算法与基于OpenMax的开集识别算法进行对比,最后再对比本公开算法在闭集环境下和开集环境下的性能差别,所有算法均采用本公开所用数据集,其对比结果如图16所示。
通过实验发现,本公开算法在开集场景下相较于其它算法具有更好的识别性能,在信噪比为0dB以上时可达到95%的识别率。在加入SE模块后,尤其是在低信噪比下对开集识别的性能有较大的提升,另外,在信噪比为-6dB以上时,开集识别率和闭集识别率相当,这也充分说明了算法在不同识别场景下均可以达到良好的识别性能。
如图17至图19所示,在-6dB,0dB和6dB下绘制开集识别的混淆矩阵,可发现第1类和第2类设备容易混淆,第3类较为独立。即使在较低信噪比下,第4类和第5类设备的信号作为未知类目标也能够很好的被检测和拒绝。
本公开在原型网络模型下通过自适应距离拒绝规则实现了ZigBee设备个体的开集识别。在一维卷积神经网络中加入SE模块,通过调整通道权重加强分类能力;结合DCE损失和PL损失对网络的参数和原型进行联合训练,同时更新网络参数和原型,有效的提高了网络的识别性能;通过引入PL损失,以提高类内紧密度的方式扩大了类间距离,进一步增强了模型的分类能力;最后通过自适应距离拒绝规则,完成了辐射源个体开集识别,免去了人工阈值的设定。通过实验对比,本公开提出的网络模型在闭集环境和开集环境下都具有更高的识别精度和泛化性。后续研究应该着重改进拒绝规则,提高基于原型的距离拒绝规则的鲁棒性,同时要加强对未知类样本空间的建模和分析。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种基于原型网络的辐射源个体开集识别方法,其特征在于,该方法包括:
对原始数据进行处理,并将处理后的数据按预设比例划为训练集数据和测试集数据;
将所述训练集数据送入构建的一维神经网络中进行训练得到所述训练集数据特征,并计算得到所述训练集数据特征到原型的距离;
根据所述训练集数据特征到原型的距离对所述训练集数据进行分类;
基于所述训练集数据特征到原型的距离,利用联合损失函数优化所述一维神经网络,并迭代更新所述一维神经网络中的所述原型和网络参数;
将所述测试集数据送入训练后的所述一维神经网络中进行测试,并与所述原型进行匹配得到所述测试集数据特征到原型的距离;
基于所述测试集数据特征到原型的距离,利用开集识别算法进行对所述测试集数据分类。
2.根据权利要求1所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述联合损失函数包括:
距离交叉熵损失函数和原型损失函数。
3.根据权利要求2所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述原型学习包括:
所述测试集数据包括若干不同类别的样本;
所述一维神经网络将各个所述样本划入到距离最近的所述原型的所属类别;
所述一维神经网络的特征提取器和所述原型联合学习,并不断将所属类别的所述原型推向对应的所述样本的样本特征。
6.根据权利要求1所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述开集识别算法包括:
设计自适应距离分类规则,使每个类别可学习一个自适应的距离阈值;
根据所述距离阈值对所述测试集数据进行分类。
7.根据权利要求6所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述自适应距离分类规则包括:
计算各个测试样本到各个所述原型的距离,并找到最近距离所对应的类别;
根据找到的所述类别及该类别训练样本特征到所属原型的距离分布,得到最大距离分布值;
将所述最大距离分布值作为对应的类别的所述距离阈值;
若所述测试样本到最近所述原型的距离小于所述原型对应类别的距离阈值,则判定为该类别,否则判定为未知类样本。
9.根据权利要求1所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述一维神经网络包括:
若干卷积层和压缩激励模块;
其中,各所述卷积层包括若干卷积核和池化层,在最后一个所述卷积层中加入Dropout层,在每一次卷积和池化操作后加入压缩激励模块。
10.根据权利要求9所述基于原型网络的辐射源个体开集识别方法,其特征在于,所述压缩激励模块为一维结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211118749.7A CN115481685A (zh) | 2022-09-13 | 2022-09-13 | 一种基于原型网络的辐射源个体开集识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211118749.7A CN115481685A (zh) | 2022-09-13 | 2022-09-13 | 一种基于原型网络的辐射源个体开集识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115481685A true CN115481685A (zh) | 2022-12-16 |
Family
ID=84392820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211118749.7A Pending CN115481685A (zh) | 2022-09-13 | 2022-09-13 | 一种基于原型网络的辐射源个体开集识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115481685A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116166954A (zh) * | 2023-04-20 | 2023-05-26 | 南京桂瑞得信息科技有限公司 | 基于自适应信号特征嵌入知识图谱的辐射源个体识别方法 |
-
2022
- 2022-09-13 CN CN202211118749.7A patent/CN115481685A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116166954A (zh) * | 2023-04-20 | 2023-05-26 | 南京桂瑞得信息科技有限公司 | 基于自适应信号特征嵌入知识图谱的辐射源个体识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN107977609B (zh) | 一种基于cnn的指静脉身份验证方法 | |
Deng et al. | On-line pattern analysis by evolving self-organizing maps | |
CN108647583B (zh) | 一种基于多目标学习的人脸识别算法训练方法 | |
CN109344731B (zh) | 基于神经网络的轻量级的人脸识别方法 | |
CN110097060B (zh) | 一种面向树干图像的开集识别方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN116127298B (zh) | 基于三元组损失的小样本射频指纹识别方法 | |
CN109598220A (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
CN107609588A (zh) | 一种基于语音信号的帕金森患者updrs得分预测方法 | |
CN104994366A (zh) | 一种基于特征加权的fcm视频关键帧提取方法 | |
Shen et al. | Node identification in wireless network based on convolutional neural network | |
CN115481685A (zh) | 一种基于原型网络的辐射源个体开集识别方法 | |
Zhang et al. | Hyperspectral image classification using an unsupervised neuro-fuzzy system | |
Yang et al. | Rapid image detection and recognition of rice false smut based on mobile smart devices with anti-light features from cloud database | |
CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
Kyeremateng-Boateng et al. | Computing confidence score for neural network predictions from latent features | |
CN115830401B (zh) | 一种小样本图像分类方法 | |
CN117131436A (zh) | 面向开放环境的辐射源个体识别方法 | |
CN114360058B (zh) | 一种基于行走视角预测的跨视角步态识别方法 | |
CN116311357A (zh) | 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法 | |
CN113723482B (zh) | 基于多示例孪生网络的高光谱目标检测方法 | |
CN110097117A (zh) | 基于线性判别分析与多元自适应样条的数据分类方法 | |
CN113111774A (zh) | 一种基于主动增量式微调的雷达信号调制方式识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |