CN115705393A - 一种基于持续学习的雷达辐射源分级识别方法 - Google Patents

一种基于持续学习的雷达辐射源分级识别方法 Download PDF

Info

Publication number
CN115705393A
CN115705393A CN202110918156.8A CN202110918156A CN115705393A CN 115705393 A CN115705393 A CN 115705393A CN 202110918156 A CN202110918156 A CN 202110918156A CN 115705393 A CN115705393 A CN 115705393A
Authority
CN
China
Prior art keywords
model
individual
data
training
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110918156.8A
Other languages
English (en)
Inventor
席熙东
曹桂涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202110918156.8A priority Critical patent/CN115705393A/zh
Publication of CN115705393A publication Critical patent/CN115705393A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于持续学习的雷达辐射源的分级识别方法，具体包括：首先对雷达信号进行包络分析和双谱分析，按照型号标签和个体标签训练一个型号识别网络和若干各型号下的个体识别网络，通过“型号‑个体”分级识别方法先识别数据所属的雷达型号，再在对应型号内识别数据所属的雷达个体。这种方法在雷达个体数量级较大时，可以得到远高于使用单个个体识别网络方法的准确率。网络的训练过程以持续学习的方式进行，具体来说是使用新模型和旧模型对数据进行特征向量提取和已知类别的类嵌入向量计算，以余弦相似性为度量，通过缩小这些新旧向量之间的差异，使模型在对新类别数据进行学习的同时，还最大程度的保证其对旧类别个体的识别能力不下降。

Description

一种基于持续学习的雷达辐射源分级识别方法
技术领域
本发明属于计算机视觉、雷达辐射源识别技术领域，涉及一种基于持续学习的雷达辐射源的分级识别方法。
背景技术
随着无线电技术的发展，各式各样的新式雷达设备已经在社会的各个领域发挥着至关重要的作用。然而，伴随着电子技术的不断升级进步以及电磁环境日益复杂，雷达个体的识别任务面临着雷达目标数量激增，噪声大，特征模糊等诸多挑战，传统的雷达信号识别方法已经不足以应对，因此，采用深度学习方法进行雷达辐射源识别，已经成为该领域的重点研究方向之一(如[1]He,K.,Zhang,X.,Ren,S.,and Sun,J.Deep residual learningfor image recognition.In Proceedings of the IEEE conference on computervision and pattern recognition,pp.770–778,2016.[2][1]Huang,G.,Liu,Z.,Laurens,V.,&Weinberger,K.Q.(2016).Densely connected convolutional networks.IEEEComputer Society.[3]刘赢,田润澜,王晓峰.基于深层卷积神经网络和双谱特征的雷达信号识别方法[J].系统工程与电子技术,2019(9).)。雷达辐射源识别技术通过脉内无意调制特征(指纹特征)区分雷达的不同个体，端到端的深度学习能够从一个明确的训练阶段通过对训练样本进行学习并提取其指纹特征，再通过其泛化学习能力获取知识，就可以对测试样本起到有效识别。
然而深度学习方法是有一定局限性的。通过深度学习训练得到的模型就像是一本字典，是一个在训练完成后便无法再作调整的静态模型，然而雷达辐射源并不像字典中的汉字一样不再增加，而是源源不断地在产生新的个体，因此在有新个体的雷达信号数据到来时模型就需要重新集合所有类别的雷达信号进行训练以适用于全部已知类数据。如果直接使用旧的模型对新数据进行迁移训练微调的话(Pan,S.J.,Tsang,I.W.,Kwok,J.T.,Yang,Q.Domain Adaptation via Transfer Component Analysis[J].IEEE Transactionson Neural Networks,2011,22(2):199-210.)，会导致模型失去对旧类别的识别能力几乎完全丧失，即产生灾难性遗忘。且不说一个大规模深度学习模型训练的时间成本极高，更棘手的是，对于海量的涉及隐私和机密的雷达辐射源信号数据的存储也是一个棘手的问题。另外，电磁辐射源的种类繁多，每个种类里又有许多型号，每个型号又有许多个体。如果使用同一个深度神经网络直接对成千上万个雷达个体进行识别，其识别准确度就会随着特征差异的减小而降低。但如果先根据不同的型号对电磁辐射源进行初步分类，在此基础上再在每个型号中进行个体识别，就可以避免神经网络分类数目过多而导致准确率下降的问题。因此为了克服上述困难，就需要采用基于持续学习(如[1]Zhizhong Li and DerekHoiem.Learning without Forgetting.In TPAMI,2017.[2]Aljundi R,Kelchtermans K,Tuytelaars T.Task-Free Continual Learning[C]//2019 IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR).IEEE,2019.[3]Ostapenko O,PuscasM,Klein T,et al.Learning to Remember:A Synaptic Plasticity Driven Frameworkfor Continual Learning[J].IEEE,2020.)和“型号-个体”分级识别思想的新型雷达辐射源识别方法。
发明内容
由于雷达辐射源个体数量不断增多，常规的深度学习方法无法在学习新类别的同时保持对旧类别的识别能力，并且随着雷达型号和个体不断增多，信号间差异缩小导致分类准确率下降。针对以上问题，本发明提出了一种基于持续学习的雷达辐射源分级识别方法。
本发明基于对雷达辐射源的双谱数据进行个体识别任务，利用深度神经网络根据输入数据自适应的提取辐射源个体的指纹特征。利用持续学习的训练网络，具体来说：计算信号数据在新、旧模型中提取到的特征向量与类嵌入，通过使新特征向量和新类嵌入的余弦相似度尽可能接近旧特征向量和旧类嵌入的余弦相似度，并尽量提高新、旧特征向量的余弦相似度，使网络保留以前的知识，即在遇到新类别需要进行学习时最大程度的保留对旧类别的识别能力，这个过程只使用非常少量的旧类别的数据，降低了训练时间成本和数据存储成本。同时识别过程采用“型号-个体”分级识别的模式，具体来说：本发明中包含一个型号识别网络和每个型号下的个体识别网络，对于每条雷达信号数据，首先使用型号识别网络预测其所属型号，再使用对应型号的个体识别网络预测其所属个体，最后完成识别。虽然直接对所有个体进行识别的单级识别方法也可能有效，但随着个体数量的不断增长，各个体之间的指纹特征差异越来越小，单级识别模型的预测准确率也会越来越低，而“型号-个体”的分级识别方法则可以在雷达个体数量级较大时缩小每个子模型的预测种类的个数，从而很大程度上提高预测准确率。
雷达信号包络特征是辐射源最主要的脉内无意识调制特征，而信号的高阶累积量(双谱分析)可以有效抑制高斯噪声带来的干扰，所以首先使用这两种方法对雷达信号进行预处理。
步骤1：对目标雷达设备进行信号采集，得到每个型号下的每个设备的初始信号，这些初始信号呈周期性，表现为重复“电压幅值在短持续时间内突变，随后又迅速返回其初始值”的过程，每一次的变化过程称为一个脉冲，将初始信号按脉冲周期裁剪，得到若干条脉冲信号，每条脉冲信号根据其所属设备的型号和个体赋予其型号标签和个体标签；经过筛选过滤掉信噪比低于预设阈值的脉冲信号，阈值根据信号采集过程的环境干扰因素大小决定，一般情况下设置为3；
步骤2：对过滤后剩下的信号使用希尔伯特变换法提取包络特征得到包络信号，具体做法是：将脉冲信号x(t)与1/πt进行卷积得相移为-π/2的信号H[x(t)]，其中H[x(t)]是x(t)的希尔伯特变换，解析信号计算方法为：
S(t)＝x(t)+j·H[x(t)] (1)
其中，j为虚数单位；
包络E[x(t)]为解析信号的模，计算方法为：
Figure BDA0003206396240000031
步骤3：对每条脉冲包络数据进行归一化消除幅值差异，所述幅值差异的产生源自包络信号中具有雷达辐射源与接收设备间的距离因素；
所述归一化过程的公式为：
Figure BDA0003206396240000032
其中，max(abs(x))为该信号所有采样点幅值绝对值的最大值。
步骤4：对归一化后的脉冲信号进行双谱分析并提取其双谱特征，具体做法是：
对于数据{x(n)，x(n+τ1),…x(n+τk-1)}，如果其高阶累积量ckx(τ1,τ2,…,τk-1)满足：
Figure BDA0003206396240000033
则K阶谱定义为K阶累积量的(k-1)维离散傅里叶变换，即：
Figure BDA0003206396240000034
其中，j为虚数单位；ωi满足条件ωi≤π,(i＝1,2,…,k-1)且ω1+ω2+…+ωk-1≤π；双谱即三阶谱，即三阶累积量的二维离散傅里叶变换，定义为：
Figure BDA0003206396240000035
最终获得的每条双谱信号与它对应的脉冲信号具有相同的型号标签和个体标签。
步骤5：构建雷达信号数据集，具体做法为：将上述步骤中得到的带有型号和个体两种标签的双谱数据(以双谱矩阵为例)分为初始组和扩展组，初始组和扩展组的标签信息没有交集，假设扩展组中一定包含初始组没有的型号和个体数据。在初始组和扩展组中再进一步将数据分别按照8:2的比例划分为训练集和测试集。
其中，初始组训练集数据用于在模型初始训练阶段以有监督的形式训练出型号识别和各型号下个体识别的专家模型；扩展组训练集数据用于模拟在有新型号或新个体的雷达出现时，模型以持续学习的形式在当前模型的基础上对新类别进行扩展训练，最终得到一个对所有当前出现过的型号和类别均能完成识别的网络模型；所有的测试集是为了在每个训练阶段完成之后以“型号/个体”分级识别的形式对模型进行测试，以模拟真实情况下的信号识别任务。
步骤6：针对初始组所包含的型号数n以及各型号下的个体数(M1,M2,…,Me)，搭建n+1个以ImageNet预训练ResNet34作为神经网络的backbone，并将每个网络中的全连接层替换为余弦全连接层，余弦全连接层可以对输出到该层的向量进行L2归一化，用于计算两个单位向量之间的余弦相似度。
步骤7：使用初始组训练集数据及型号标签对“型号-个体”分级识别方法中的型号识别网络modeltype进行初始化训练：将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成。用预测结果与型号标签之间交叉熵作为损失函数，计算公式为：
Figure BDA0003206396240000041
其中，n为型号数量；yi是型号标签，如果类别为i，则yi＝1，否则yi＝0；pi为神经网络的输出，代表预测为型号i的概率；
按照上述方法，依次对余下所有型号识别网络进行初始化训练。
步骤8：求每个型号类别的类嵌入。以型号类别a为例，定义型号标签为a的数据为Xa＝{x1,x2,…,xf}，使用训练好的网络提取这些数据的特征向量
Figure BDA0003206396240000042
其中
Figure BDA0003206396240000043
表示使用神经网络提取特征。计算
Figure BDA0003206396240000044
中每条特征向量的平均值作为当前型号类别a的类嵌入，计算方法为：
Figure BDA0003206396240000045
其中，f表示型号a的样本数量；
按照上述方法，依次为余下的所有型号计算类嵌入。
步骤9：存储每个型号约总数据量5％的数据用于扩展训练。定义型号标签为a，以型号类别a为例，选择与类别a嵌入θtype_a的欧式距离最近的m个样本作为型号类别a的扩展训练集：Ptype_a＝{P1,P2,…,Pm}，Pi的具体求法为：
Figure BDA0003206396240000046
其中，Xa代表所有型号标签为a的数据；θtype_a为型号a的类嵌入；
Figure BDA0003206396240000047
表示x的特征向量；
按照上述方法，为余下所有型号选择需要存储的数据样本。
步骤10：使用初始组训练集数据及个体标签对“型号-个体”分级识别方法中的各型号下的个体识别网络modelindi进行初始化训练，所有个体识别网络的训练方法是一致的：将所有相同型号类别的数据输入到对应网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成。用预测结果与个体标签之间交叉熵作为损失函数，计算公式为：
Figure BDA0003206396240000051
其中，e为网络modelindi下的个体数量；zj是个体标签，如果类别为j，则zj＝1，否则zj＝0；qj为神经网络的输出，代表预测为个体j的概率；
按照上述方法，依次对余下所有个体识别网络进行初始化训练。
步骤11：在每一个型号下，按照步骤8的方法，求出各型号内每个个体类别的类嵌入(各型号内部的操作是独立的)：定义型号标签为a，个体标签为a1的数据为
Figure BDA0003206396240000052
使用训练好的型号a的个体识别网络提取这些数据的特征向量
Figure BDA0003206396240000053
Figure BDA0003206396240000054
其中
Figure BDA0003206396240000055
表示使用神经网络提取特征；计算
Figure BDA0003206396240000056
中每条特征向量的平均值作为型号a下的个体a1的类嵌入的计算方法为：
Figure BDA0003206396240000057
其中，l表示型号标签为a，个体标签为a1的样本的总数量；
按照上述方法，依次计算余下的所有型号下的所有个体类别的类嵌入。
步骤12：在每一个型号下，按照步骤9的方法，存储各型号内每个个体类别约总数据量5％的少量数据用于扩展训练(各型号内部的操作是独立的)：计算所有型号标签为a，个体标签为a1的数据的特征向量，然后找出其中与型号a下的个体a1的类嵌入
Figure BDA0003206396240000058
的欧式距离最近的m个，将它们对应的样本作为型号a下的个体a1的扩展训练集：
Figure BDA0003206396240000059
其中，Pj的具体计算方法为：
Figure BDA00032063962400000510
其中，
Figure BDA00032063962400000511
代表所有型号标签为a，个体标签为a1的数据；
Figure BDA00032063962400000512
为型号a下的个体a1的类嵌入；
Figure BDA00032063962400000513
表示x的特征向量；
按照上述方法，为余下各型号的所有个体选择需要存储的数据样本。
步骤13：对型号识别网络进行类扩展训练，型号识别网络的拓展训练均是独立进行的。首先按照步骤6和步骤10的方法为每个新型号搭建其所属的个体识别网络并进行初始化训练。
型号识别网络的类扩展训练使用的扩展组训练集由每个型号的旧类别保存下来的少量数据与新类别的全部数据组成，在训练时使用数据的型号标签；每个模型的类扩展训练由两部分组成，第一部分是仅使用所有新类别数据训练，第二部分是使用所有新、旧类别数据以持续学习的方式进行训练。
将当前型号识别网络模型进行复制，得到两个完全相同的模型，称为新模型和旧模型，对新模型的全连接层输出节点进行扩容，扩容节点数等于新类别样本数。参与扩展训练的数据集(即扩展组数据集)由旧类别保存下来的数据与新类别的全部数据组成。
对于新类别数据的训练，一方面依然需要按照步骤7的方法，在新模型上进行有监督学习，损失函数为Loss1，表示为：
Figure BDA0003206396240000061
其中Nnew为新型号类别的数据；yi是型号标签；pi为神经网络预测为型号i的概率。
步骤14：在对型号识别网络进行类扩展训练的第二部分时，新数据也要与旧类别数据合并，然后按以下方式参与训练：
按照型号类别划分所有数据，依次将每个类别的数据输入到新、旧模型当中，以型号类别a为例，定义型号标签为a的数据为Xa＝{x1,x2,…,xf}，使用新模型提取这些数据的特征向量：
Figure BDA0003206396240000062
使用旧模型提取这些数据的特征向量：
Figure BDA0003206396240000063
其中
Figure BDA0003206396240000064
分别表示使用新旧模型提取特征向量。分别计算新、旧中所有特征向量的平均值，得到作为当前型号类别a的新、旧类嵌入：θtype_new、θtype_old，计算方法为：
Figure BDA0003206396240000065
Figure BDA0003206396240000066
其中，Xa代表所有型号标签为a的数据，f表示型号a的样本数量；
Figure BDA0003206396240000067
表示
Figure BDA0003206396240000068
即使用神经网络提取特征。
将所有数据分别输入到新、旧模型中提取特征：
Figure BDA0003206396240000069
和
Figure BDA00032063962400000610
x∈N，其中，N为本轮扩展训练所有的新、旧类别数据。
在计算上述变量的同时，新、旧模型中的余弦全连接层会自动对所有新、旧类嵌入θnew，θold和新、旧特征向量
Figure BDA0003206396240000071
进行L2归一化，得到
Figure BDA0003206396240000072
计算方法为：
Figure BDA0003206396240000073
其中，v表示归一化前的向量；
Figure BDA0003206396240000074
表示归一化后的向量；||v||2表示向量的L2范数。
计算每条数据的旧特征向量与所有旧类嵌入的余弦相似度，表示为：
Figure BDA0003206396240000075
i＝(1,2,…,Cold),Cold表示已出现的旧类别的数量；计算每条数据的新特征向量与所有新类嵌入的余弦相似度，表示为：
Figure BDA0003206396240000076
i＝(1,2,…,Cnew),Cnew表示已出现的新类别的数量；计算每条数据的旧特征向量和新特征向量的余弦相似度，表示为
Figure BDA0003206396240000077
余弦相似度的计算方法为：对于n维向量A(x1,x2,…,xn,)与B(y1,y2,…,yn,)，余弦相似度的计算方法为：
Figure BDA0003206396240000078
由于在扩展训练期间要尽可能避免灾难性遗忘，所以新模型的输出要尽可能模拟旧模型的输出，换句话说，就是上述步骤中求出的
Figure BDA0003206396240000079
与
Figure BDA00032063962400000710
的差距要尽可能的小，
Figure BDA00032063962400000711
的值尽可能接近1。
型号识别网络的扩展训练过程中的损失函数Losstype_ext由三部分组成，除了步骤13中的Loss1以外，还有以下两部分：
Figure BDA00032063962400000712
Figure BDA00032063962400000713
其中N为本轮扩展训练所有的新、旧类别数据，Cold表示已出现的型号类别的数量；γ为尺度参数，用来衡量每个扩展训练过程中新类别与旧类别的比重，γ与该比重成正比。总体的损失函数表示为：
Losstype_ext＝Loss1+Loss2+Loss3 (16)
步骤15：在每一个型号下，按照步骤13和步骤14的方法，对每个型号下的个体识别网络进行类扩展训练。各型号的个体识别网络的拓展训练均是独立进行的。
训练所使用的扩展组训练集由各型号下每个个体的旧类别保存下来的少量数据与新类别的全部数据组成，在训练时使用数据的个体标签；每个模型的类扩展训练由两部分组成，第一部分是仅使用所有新类别数据训练，第二部分是使用所有新、旧类别数据以持续学习的方式进行训练。
首先将当前各型号下的个体识别模型进行复制，得到两个完全相同的模型，称为新模型和旧模型，并对新模型的全连接层输出节点进行扩容，扩容节点数等于新类别样本数；
在进行类扩展训练的第一部分时，对于所有新类别数据，需要在各型号下的个体识别新模型上进行有监督学习，将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成；用预测结果与型号标签或个体标签之间交叉熵作为损失函数，损失函数定义为Loss1，计算公式为：
Figure BDA0003206396240000081
其中Nnew为各型号下的个体的新类别数据；zj是个体标签；qj为神经网络预测的个体类别j的概率。
在进行类扩展训练的第二部分时，新数据要与旧类别数据合并，然后按以下方式参与模型扩展训练：
按照个体类别划分所有数据，依次将个体类别的数据输入到个体识别的新、旧模型当中，分别计算所有新、旧特征向量的平均值，得到作为当前个体类别的新、旧类嵌入θindi_new、θindi_old，计算方法为：
Figure BDA0003206396240000082
Figure BDA0003206396240000083
其中，Xa1代表所有个体标签为a的数据；l表示型号标签为a，个体标签为a1的样本的总数量；
Figure BDA0003206396240000084
表示用新模型提取特征向量；
Figure BDA0003206396240000085
表示用旧模型提取特征向量。
将所有数据分别输入到新、旧模型中提取特征：
Figure BDA0003206396240000086
和
Figure BDA0003206396240000087
x∈N，其中，N为本轮扩展训练所有的新、旧类别数据
在计算上述变量的同时，新、旧模型中的余弦全连接层会自动对所有新、旧类嵌入θnew，θold和新、旧特征向量
Figure BDA0003206396240000088
进行L2归一化，得到
Figure BDA0003206396240000089
计算方法为：
Figure BDA00032063962400000810
其中，v表示归一化前的向量；
Figure BDA00032063962400000811
表示归一化后的向量；||v||2表示向量的L2范数。
计算每条数据的旧特征向量与所有旧类嵌入的余弦相似度，表示为：
Figure BDA00032063962400000812
j＝(1,2,…,Cold),Cold表示已出现的旧类别的数量；计算每条数据的新特征向量与所有新类嵌入的余弦相似度，表示为：
Figure BDA0003206396240000091
j＝(1,2,…,Cnew),Cnew表示已出现的新类别的数量；计算每条数据的旧特征向量和新特征向量的余弦相似度，表示为
Figure BDA0003206396240000092
余弦相似度的计算方法为：对于n维向量A(x1,x2,…,xn,)与B(y1,y2,…,yn,)，余弦相似度的计算方法为：
Figure BDA0003206396240000093
由于在扩展训练期间要尽可能避免灾难性遗忘，所以新模型的输出要尽可能模拟旧模型的输出，换句话说，就是上述步骤中求出的
Figure BDA0003206396240000094
与
Figure BDA0003206396240000095
的差距要尽可能的小，
Figure BDA0003206396240000096
的值尽可能接近1。
个体识别网络的扩展训练过程中的损失函数Lossindi_ext由三部分组成，除了Loss1以外，还有以下两部分：
Figure BDA0003206396240000097
Figure BDA0003206396240000098
其中N为本轮扩展训练所有的新、旧类别数据，Cold表示已出现的型号类别的数量；γ为尺度参数，用来衡量每个扩展训练过程中新类别与旧类别的比重，γ与该比重成正比。总体的损失函数表示为：
Lossindi_ext＝Loss1+Loss2+Loss3 (24)
步骤16：用“型号-合体”分级识别的方法对模型进行测试。测试可以在任何一轮训练完成后进行，测试集数据的类别一定包含在当轮次训练集数据的类别当中。首先将待识别数据x输入到型号识别网络中，型号识别网络会输出x相对于各型号的预测概率pi(x)＝{p1,p2,…,pn}，n为型号数。取pi(x)中最大值的下标为该数据的型号预测结果，计算公式为：
ytype(x)＝argmax(pi(x)) (16)
完成“型号-个体”分级识别方法中的型号识别。
然后模型自动将x按照其型号预测结果ytype(x)输入到对应型号下的个体识别网络当中，个体识别网络会输出x相对于各个体的预测概率qj(x)＝{q1,q2,…,qm}，m为该型号所包含的个体数。取qj(x)中最大值的下标为该数据的个体预测结果，计算公式为：
yindi(x)＝argmax(qj(x)) (17)
完成“型号-个体”分级识别方法中的个体识别。
数据x的预测结果为型号ytype(x)中的个体yindi(x)。任务结束。
有益效果：
针对雷达辐射源识别任务中存在的识别准确率低，静态网络无法识别新类别个体以及对新类别的学习会导致对旧类别产生灾难性遗忘等问题，本发明通过设计了一种基于持续学习的雷达辐射源分级识别方法，从雷达信号数据的预处理入手，减轻噪声影响，并消除了指纹特征以外的其他信息对识别过程的干扰，提高数据的可识别性；从持续学习的角度入手，不需要保存海量的旧类别数据，而仅需要少部分的旧类别数据，就可以使模型可以对源源不断产生的新类别雷达个体进行扩展学习，同时保持对旧类别数据的识别能力，极大地提高了模型的延展性，降低了数据存储成本和重新训练模型的时间成本；从分级识别的角度入手，设计了一种“型号-个体”的分级识别模式，在雷达个体数量级较大的时候可以显著降低误分类情况发生的概率。
本发明设计的基于持续学习的雷达辐射源分级识别方法，对雷达辐射源识别领域以及其他个体分类领域均具有启示性意义。
附图说明
图1是本发明所提出的基于持续学习的雷达辐射源分级识别方法的流程图。
图2是本发明所提取到的雷达辐射源包络信号示例图。
图3是本发明所提取到的雷达辐射源双谱信号示例图。
图4是本发明所采用的用于扩展训练的余弦相似度损失的示意图。
图5是本发明所提出的雷达辐射源“型号-个体”分级识别方法示意图。
具体实施方式
结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
如图1所示，一种基于神经网络的辐射源个体识别以及未知类检测的方法，具体包括以下步骤：
步骤1：对目标雷达设备进行信号采集，得到每个型号下的每个设备的初始信号，这些初始信号呈周期性，表现为重复“电压幅值在短持续时间内突变，随后又迅速返回其初始值”的过程，每一次的变化过程称为一个脉冲，将初始信号按脉冲周期裁剪，得到若干条脉冲信号，每条脉冲信号根据其所属设备的型号和个体赋予其型号标签和个体标签；经过筛选过滤掉信噪比低于预设阈值的脉冲信号，阈值根据信号采集过程的环境干扰因素大小决定，一般情况下设置为3；
步骤2：对过滤后剩下的脉冲信号使用希尔伯特变换法提取包络特征得到包络信号，由于包络信号中具有雷达辐射源与接收设备间的距离因素所带来的幅值差异，所以需要对每条脉冲包络数据进行归一化来消除幅值差异，然后再对包络信号进行双谱分析提取双谱特征，得到的每条双谱信号与它对应的脉冲信号具有相同的型号标签和个体标签；
步骤3：构建雷达信号数据集，将上述步骤中得到的带有型号和个体两种标签的双谱信号数据分为初始组和扩展组，在初始组和扩展组中分别再将数据按照8:2的比例划分为训练集和测试集；
步骤4：针对初始组所包含的型号类别数n以及各型号下的个体类别数(M1,M2,…,Me)，搭建n+1个神经网络，包括1个型号识别网络和n个个体识别网络；
步骤5：使用步骤3中初始组数据及型号标签对“型号-个体”分级识别方法中所使用的型号识别网络进行初始化训练；
步骤6：求每个型号类别的类嵌入；
步骤7、存储每个型号少量数据用于扩展训练，一般只需保存各型号总数据量的5％；
步骤8：使用3中初始组数据及个体标签对“型号-个体”分级识别方法中所使用的每个型号下的个体识别网络进行初始化训练；
步骤9：对于每一个型号，求出各型号内每个个体的类嵌入；
步骤10：对于每一个型号，存储各型号内每个个体的少量数据用于扩展训练，一般只需保存每个个体总数据量的5％；
步骤11：使用步骤3中扩展组数据及型号标签对“型号-个体”分级识别方法中所使用的型号识别网络进行类扩展训练；
步骤12：使用步骤3中扩展组数据及个体标签对“型号-个体”分级识别方法中所使用的每个型号下的个体识别网络进行类扩展训练；
步骤13：使用“型号-个体”分级识别方法对模型进行测试。
以上仅是对流程图进行简单的陈述。
实施例
本发明实施例基于持续学习的雷达辐射源分级识别方法，各步骤详细描述如下：
步骤1：采集到5个型号，每个型号下各有10个个体的雷达辐射源信号，对信号按脉冲进行裁剪，过滤掉信噪比低于3的脉冲样本，每个脉冲样本根据其来自于哪个型号的哪个个体赋予其型号标签和个体标签。
步骤2：对过滤后剩下的脉冲使用希尔伯特变换法得到如图2所示的包络信号，具体做法是：将脉冲信号x(t)与1/πt进行卷积得相移为-π/2的信号H[x(t)]，其中H[x(t)]是x(t)的希尔伯特变换，解析信号计算方法为：
S(t)＝x(t)+j·H[x(t)] (1)
其中，j为虚数单位；
包络E[x(t)]为解析信号的模，计算方法为：
Figure BDA0003206396240000121
步骤3：对每条脉冲包络数据进行归一化消除幅值差异，所述幅值差异的产生源自包络信号中具有雷达辐射源与接收设备间的距离因素；
所述归一化过程的公式为：
Figure BDA0003206396240000122
其中，max(abs(x))为该信号所有采样点幅值绝对值的最大值。
步骤4：对归一化后的脉冲信号提取其双谱特征，具体做法是：对于数据{x(n),x(n+τ1),…x(n+τk-1)}，如果其高阶累积量ckx(τ1,τ2,…,τk-1)满足：
Figure BDA0003206396240000123
则K阶谱定义为K阶累积量的(k-1)维离散傅里叶变换，即：
Figure BDA0003206396240000124
其中，j为虚数单位；ωi满足条件ωi≤π,(i＝1,2,…，x-1)且ω1+ω2+…+ωk-1≤π；双谱就是三阶谱，定义为：
Figure BDA0003206396240000125
得到如图3所示的双谱信号。
最终获得的每条双谱信号与它对应的脉冲信号具有相同的型号标签和个体标签。
步骤5：构建雷达信号数据集，具体做法为：将上述步骤中得到的带有型号和个体两种标签的双谱数据分为初始组和扩展组，初始组和扩展组的标签信息没有交集，假设扩展组中一定包含初始组没有的型号和个体数据。在初始组和扩展组中再进一步将数据分别按照8:2的比例划分为训练集和测试集。
步骤6：搭建6个以ImageNet预训练ResNet34作为神经网络的backbone，1个为型号识别网络，其余5个为个体识别网络。将每个网络中的全连接层替换为余弦全连接层，它可以对输出到该层的向量进行L2归一化，用于计算两个单位向量之间的余弦相似度。全连接层的输入节点数为64个，即神经网络提取的特征向量维度为64。
步骤7：使用初始组训练集数据及型号标签对“型号-个体”分级识别方法中的型号识别网络modeltype进行初始化训练：将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成。用预测结果与型号标签之间交叉熵作为损失函数，计算公式为：
Figure BDA0003206396240000131
其中，yi是型号标签，如果类别为i，则yi＝1，否则yi＝0；pi为神经网络的输出，代表预测为型号i的概率。
步骤8：求每个型号类别的类嵌入{θtype_1,θtype_2,…,θtype_5}。θtype为1×64的向量。以型号类别1为例，定义型号标签为1的数据为X1＝{x1,x2,…,xk}，使用训练好的网络提取这些数据的特征向量
Figure BDA0003206396240000132
其中
Figure BDA0003206396240000133
表示使用神经网络提取特征，
Figure BDA0003206396240000134
为1×64的向量。计算特征向量的平均值作为当前型号类别1的类嵌入，计算方法为：
Figure BDA0003206396240000135
其中，f表示型号1的样本数量。
步骤9：存储每个型号20条数据用于扩展训练。以型号类别1为例，选择与类别1嵌入θtype_1的欧式距离最近的20个样本作为型号类别1的扩展训练集：Ptype_1＝{P1,P2,…,P20}，Pi为1×64的向量，具体求法为：
Figure BDA0003206396240000136
其中，X1代表所有型号标签为1的数据；θtype_1为型号1的类嵌入；
Figure BDA0003206396240000137
表示x的特征向量；
步骤10：使用初始组训练集数据及个体标签对“型号-个体”分级识别方法中的，对各型号下的个体识别网络modelindi进行初始化训练，所有个体识别网络的训练方法是一致的：将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成。用预测结果与个体标签之间交叉熵作为损失函数，计算公式为：
Figure BDA0003206396240000141
其中，zj是个体标签，如果类别为j，则zj＝1，否则zj＝0；qj为神经网络的输出，代表预测为个体j的概率。
步骤11：在每一个型号下，按照步骤8的方法，求出各型号内每个个体类别的类嵌入(各型号内部的操作是独立的)：以型号1为例，使用型号1的个体识别网络进行特征提取，最终得到型号1内各个体类别的类嵌入：
Figure BDA0003206396240000142
θindi_i为1×64的向量。
步骤12：在每一个型号下，按照步骤9的方法，存储各型号内每个个体类别的少量数据用于扩展训练(各型号内部的操作是独立的)：以型号1为例，使用型号1的个体识别网络进行特征提取，最终得到型号1个体1的扩展训练集
Figure BDA0003206396240000143
Pi为1×64的向量。
步骤13：对型号识别网络进行类扩展训练。此时新增1个型号，该型号下共有10个个体的数据；另外，其他5个旧型号下分别新增5个个体的数据。首先按照步骤6和步骤10的方法为这个新型号搭建其所属的个体识别网络并进行初始化训练。
将当前型号识别网络模型进行复制，得到两个完全相同的模型，称为新模型和旧模型，并对新模型的全连接层输出节点数扩容为6。参与扩展训练的数据集(即扩展组数据集)由旧类别保存下来的数据与新类别的全部数据组成。
对于新类别数据的训练，一方面依然需要按照步骤7的方法，在新模型上进行有监督学习，损失函数为Loss1，表示为：
Figure BDA0003206396240000144
其中Nnew为新类别数据；yi是型号标签；pi为神经网络预测为型号i的概率。
步骤14：另一方面，在对型号识别网络进行类扩展训练时，新数据也要与旧类别数据一起按以下方式参与训练：
按照型号类别划分所有数据，依次将每个类别的数据输入到新、旧模型当中，以型号类别1为例，定义型号标签为1的数据为X1＝{x1,x2,…,xf}，使用新模型提取这些数据的特征向量：
Figure BDA0003206396240000145
使用旧模型提取这些数据的特征向量：
Figure BDA0003206396240000146
其中
Figure BDA0003206396240000147
分别表示使用新旧模型提取特征向量。分别计算新、旧中所有特征向量的平均值，得到作为当前型号类别1的新、旧类嵌入：θnew_1和θold_1，计算方法为：
Figure BDA0003206396240000151
其中，X1代表所有型号标签为1的数据，f表示型号a的样本数量；
Figure BDA0003206396240000152
表示
Figure BDA0003206396240000153
即使用神经网络提取特征。
将所有数据分别输入到新、旧模型中提取特征：
Figure BDA0003206396240000154
和
Figure BDA0003206396240000155
x∈N，其中，N为本轮扩展训练所有的新、旧类别数据。
在计算上述变量的同时，新、旧模型中的余弦全连接层会自动对所有新、旧类嵌入θnew，θold和新、旧特征向量
Figure BDA0003206396240000156
进行L2归一化，得到
Figure BDA0003206396240000157
计算方法为：
Figure BDA0003206396240000158
其中，v表示归一化前的向量；
Figure BDA0003206396240000159
表示归一化后的向量；||v||2表示向量的L2范数计算每条数据的旧特征向量与所有旧类嵌入的余弦相似度，表示为：
Figure BDA00032063962400001510
i＝(1,2,…,Cold),Cold表示已出现的旧类别的数量；计算每条数据的新特征向量与所有新类嵌入的余弦相似度，表示为：
Figure BDA00032063962400001511
i＝(1,2,…,Cnew),Cnew表示已出现的新类别的数量；计算每条数据的旧特征向量和新特征向量的余弦相似度，表示为
Figure BDA00032063962400001512
余弦相似度的计算方法为：对于n维向量A(x1,x2,…,xn,)与B(y1,y2,…,yn,)，余弦相似度的计算方法为：
Figure BDA00032063962400001513
由于在扩展训练期间要尽可能避免灾难性遗忘，所以新模型的输出要尽可能模拟旧模型的输出，换句话说，就是上述步骤中求出的
Figure BDA00032063962400001514
与
Figure BDA00032063962400001515
的差距要尽可能的小，
Figure BDA00032063962400001516
的值尽可能接近1。
型号识别网络的扩展训练过程中的损失函数Losstype_ext由三部分组成，除了步骤13中的Loss1以外，还有以下两部分：
Figure BDA00032063962400001517
Figure BDA00032063962400001518
其中N为本轮扩展训练所有的新、旧类别数据，Cold表示已出现的型号类别的数量；γ为尺度参数，用来衡量每个扩展训练过程中新类别与旧类别的比重，γ与该比重成正比。总体的损失函数表示为：
Losstype_ext＝Loss1+Loss2+Loss3 (15)
步骤15：在每一个型号下，首先对各型号下的个体识别网络的全连接层输出节点数扩容为15，然后按照步骤13和步骤14的方法，对每个型号下的个体识别网络进行类扩展训练。各型号的个体识别网络的训练均是独立进行的。
步骤16：用“型号-合体”分级识别的方法对模型进行测试。测试可以在任何一轮训练完成后进行，测试集数据的类别一定包含在当轮次训练集数据的类别当中。如果在第一轮扩展训练后进行测试，此时有6个型号，型号1-5拥有15个个体，型号6拥有10个个体的数据。首先将待识别数据x输入到型号识别网络中，型号识别网络会输出x相对于各型号的预测概率p(x)＝{0.1,0.15,0.1,0.05,0.1,0.5}，取p(x)中最大值的下标为该数据的型号预测结果，计算公式为：
ytype(x)＝argmax(pi(x)) (16)
所以，数据x的型号预测结果为型号6。
然后模型自动将x输入到型号6的个体识别网络当中，该个体识别网络会输出x相对于型号6下的10个体的预测概率q(x)＝{0.03,0.01，0.01，0.57,0.15，0.06,0.12,0.02,0.02,0.1}，取q(x)中最大值的下标为该数据的个体预测结果，计算公式为：
yindi(x)＝argmax(qi(x)) (17)
所以，数据x的个体预测结果为个体4。
所以，数据x的最终预测结果为型号6下的个体4。
如果不采用本发明提出的“型号-个体”分级识别方法，而是使用单个个体识别网络直接对85个个体进行个体分类，对于输入待识别数据x，该单级识别网络会输出x相对于这85个个体的预测概率w(x)＝{0.003,0.01,0.01,…，0.007,0.015，0.04，，0.022，0.021}，w(x)为1×85维向量，取w(x)中最大值的下标为该数据的个体预测结果，计算公式为：
yaggr(x)＝argmax(wi(x)) (18)
显然，由于个体数量级较大，个体间特征差异变小，模型对数据x的各类别预测概率值差距也会很小，就容易分类错误。证明单级识别方法预测准确率远低于“型号-个体”分级识别网络的准确率。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (17)

1.一种基于持续学习的雷达辐射源分级识别方法，其特征在于，该方法包括：
步骤(1)、对目标雷达设备进行信号采集，得到每个型号下的每个设备的初始信号，将初始信号按脉冲周期裁剪，得到若干条脉冲信号，每条脉冲信号根据其所属设备的型号和个体赋予其型号标签和个体标签；经过筛选过滤掉信噪比低于预设阈值的脉冲信号；
步骤(2)、对过滤后剩下的脉冲信号使用希尔伯特变换法提取包络特征得到包络信号，对每条脉冲包络数据进行归一化来消除幅值差异，再对包络信号进行双谱分析提取双谱特征，得到的每条双谱信号与它对应的脉冲信号具有相同的型号标签和个体标签；
步骤(3)、构建雷达信号数据集，将步骤(2)中得到的带有型号和个体两种标签的双谱信号数据分为初始组和扩展组，在初始组和扩展组中分别再将数据按照8:2的比例划分为训练集和测试集；
步骤(4)、针对初始组所包含的型号类别数n以及各型号下的个体类别数(M1,M2,…,Me)，搭建n+1个神经网络，包括1个型号识别网络和n个个体识别网络；
步骤(5)、使用步骤(3)中初始组数据及型号标签对“型号-个体”分级识别方法中所使用的型号识别网络进行初始化训练；
步骤(6)、求每个型号类别的类嵌入；
步骤(7)、存储每个型号总数据量5％的数据用于扩展训练；
步骤(8)、使用(3)中初始组数据及个体标签对“型号-个体”分级识别方法中所使用的每个型号下的个体识别网络进行初始化训练；
步骤(9)、对于每一个型号，求出各型号内每个个体的类嵌入；
步骤(10)、对于每一个型号，存储各型号内每个个体总数据量5％的数据用于扩展训练；
步骤(11)、使用步骤(3)中扩展组数据及型号标签对“型号-个体”分级识别方法中所使用的型号识别网络进行类扩展训练；
步骤(12)、使用步骤(3)中扩展组数据及个体标签对“型号-个体”分级识别方法中所使用的每个型号下的个体识别网络进行类扩展训练；
步骤(13)、使用“型号-个体”分级识别方法对模型进行测试。
2.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(1)中，所述初始信号呈周期性，表现为重复“电压幅值在短持续时间内突变，随后又迅速返回其初始值”的过程，每一次的变化过程称为一个脉冲；所述阈值根据信号采集过程中的环境干扰因素大小决定。
3.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(2)中，所述包络特征的提取方法为：
将脉冲信号x(t)与1/πt进行卷积得相移为-π/2的信号H[x(t)]，其中H[x(t)]是x(t)的希尔伯特变换，解析信号计算方法为：
S(t)＝x(t)+j·H[x(t)]，
其中，j为虚数单位；
包络E[x(t)]为解析信号的模，其计算方法为：
Figure FDA0003206396230000021
所述幅值差异的产生源自包络信号中具有雷达辐射源与接收设备间的距离因素；
所述归一化过程，具体做法为：
Figure FDA0003206396230000022
其中，max(abs(x))为该信号所有采样点幅值绝对值的最大值；
所述双谱特征的提取方法为：
对于数据{x(n)，x(n+τ1)，…x(n+τk-1)}，如果其高阶累积量ckx(τ1，τ2，…，τk-1)满足
Figure FDA0003206396230000023
则K阶谱定义为K阶累积量的(k-1)维离散傅里叶变换，计算公式为：
Figure FDA0003206396230000024
其中，j为虚数单位；ωi满足条件ωi≤π，(i＝1，2，…，k-1)且ω1+ω2+…+ωk-1≤π；双谱即三阶谱，即三阶累积量的二维离散傅里叶变换，计算公式为：
Figure FDA0003206396230000025
4.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(3)中，所述雷达信号数据集的具体用法为：
所述初始组训练集数据用于在模型初始训练阶段以有监督的形式训练出型号识别和各型号下个体识别的专家模型；所述扩展组训练集数据用于模拟在有新型号或新个体的雷达出现时，模型以持续学习的形式在当前模型的基础上对新类别进行扩展训练，最终得到一个对所有当前出现过的型号和类别均能完成识别的网络模型；所述初始组和扩展组的测试集是为了在每个训练阶段完成之后对模型进行测试，以模拟真实情况下的信号识别任务。
5.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(4)中，所述n+1个神经网络的具体搭建方法为：
以ImageNet预训练ResNet34作为神经网络的backbone，并将每个网络中的全连接层替换为余弦全连接层，所述余弦全连接层对输出到该层的向量进行L2归一化，用于计算两个单位向量之间的余弦相似度。
6.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(5)中，所述对“型号-个体”分级识别方法中所使用的型号识别网络初始化训练的具体方法为：
使用初始组训练集数据对型号识别网络modeltype进行训练，将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成；用预测结果与型号标签之间交叉熵作为损失函数，计算公式为：
Figure FDA0003206396230000031
其中，n为型号数量；yi是型号标签；如果类别为i，则yi＝1，否则yi＝0；pi为神经网络的输出，代表预测为型号i的概率。
7.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(8)中，所述对“型号-个体”分级识别方法中所使用的各型号下的个体识别网络的初始化训练的具体方法为：
使用初始组训练集数据对n个各型号下的个体识别网络
Figure FDA0003206396230000032
进行训练，所有个体识别网络的训练方法一致，训练过程独立；网络modelindi的训练过程如下：将相同型号类别的数据输入对应网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成；用预测结果与个体标签之间交叉熵作为损失函数，计算公式为：
Figure FDA0003206396230000033
其中，e为网络modelindi的个体数量；zj是个体标签，如果类别为j，则zj＝1，否则zj＝0；qj为神经网络的输出，代表预测为个体j的概率。
8.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(6)中，所述型号类别的类嵌入的计算方法为：
所有型号类别的类原型计算方法一致；定义型号标签为a的数据为Xa＝{x1，x2，...，xf}，使用训练好的型号识别网络提取这些数据的特征向量
Figure FDA0003206396230000034
其中
Figure FDA0003206396230000041
表示使用神经网络提取特征；计算
Figure FDA0003206396230000042
中每条特征向量的平均值作为型号a的类嵌入，计算方法为：
Figure FDA0003206396230000043
其中，f表示型号a的样本数量；
按照上述方法，依次为余下的所有型号计算类嵌入。
9.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(9)中，所述各型号下的个体类别的类嵌入的计算方法为：
各型号下的所有个体类别的类嵌入计算方法一致；定义型号标签为a，个体标签为a1的数据为
Figure FDA00032063962300000410
使用训练好的型号a的个体识别网络提取这些数据的特征向量
Figure FDA0003206396230000044
其中
Figure FDA0003206396230000045
表示使用神经网络提取特征；计算
Figure FDA0003206396230000046
中每条特征向量的平均值作为型号a下的个体a1的类嵌入，计算方法为：
Figure FDA0003206396230000047
其中，l表示型号标签为a，个体标签为a1的样本的总数量；
按照上述方法，依次计算余下的所有型号下的所有个体类别的类嵌入。
10.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(7)中，所述存储数据用于型号扩展训练的具体做法为：
每个型号选择样本的方法一致；对于型号a的，首先计算所有型号为a的数据的特征向量，然后找出其中与型号a的类嵌入θtype_a的欧式距离最近的m个，将它们对应的样本作为型号类别a的扩展训练集：Ptype_a＝{P1，P2，...，Pm}；
其中，Pi的具体计算方法为：
Figure FDA0003206396230000048
其中，Xa代表所有型号标签为a的数据；θtype_a为型号a的类嵌入；
Figure FDA0003206396230000049
表示x的特征向量；
按照上述方法，为余下所有型号选择需要存储的数据样本。
11.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(10)中，所述存储数据用于个体扩展训练的具体做法为：
对于各型号下的每个个体，选择用于扩展训练的样本的方法一致；计算所有型号标签为a，个体标签为a1的数据的特征向量，然后找出其中与型号a下的个体a1的类嵌入
Figure FDA0003206396230000051
的欧式距离最近的m个，将它们对应的样本作为型号a下的个体a1的扩展训练集：
Figure FDA0003206396230000052
Figure FDA0003206396230000053
其中，Pj的具体计算方法为：
Figure FDA0003206396230000054
其中，
Figure FDA0003206396230000055
代表所有型号标签为a，个体标签为a1的数据；
Figure FDA0003206396230000056
为型号a下的个体a1的类嵌入；
Figure FDA0003206396230000057
表示x的特征向量；
按照上述方法，为余下各型号的所有个体选择需要存储的数据样本。
12.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(11)中，所述对“型号-个体”分级识别方法中所使用的型号识别网络的类扩展训练的具体方法为：
对于在扩展训练中新出现的型号类别，首先按照步骤(4)和(5)中所提到的方法为每个新型号搭建其所属的个体识别网络并进行初始化训练；型号识别网络的类扩展训练使用的扩展组训练集由每个型号的旧类别保存下来的少量数据与新类别的全部数据组成，在训练时使用数据的型号标签；每个模型的类扩展训练由两部分组成，第一部分是仅使用所有新类别数据训练，第二部分是使用所有新、旧类别数据以持续学习的方式进行训练。
13.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(12)中，所述对“型号-个体”分级识别方法中所使用的各型号下的个体识别网络的类扩展训练的具体方法为：
训练所使用的扩展组训练集由各型号下每个个体的旧类别保存下来的少量数据与新类别的全部数据组成，在训练时使用数据的个体标签；每个模型的类扩展训练由两部分组成，第一部分是仅使用所有新类别数据训练，第二部分是使用所有新、旧类别数据以持续学习的方式进行训练。
14.根据权利要求12或13所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，所述类扩展训练的第一部分的具体实施方法为：
首先将当前型号识别模型或各型号下的个体识别模型进行复制，得到两个完全相同的模型，称为新模型和旧模型，并对新模型的全连接层输出节点进行扩容，扩容节点数等于新类别样本数；
在进行类扩展训练的第一部分时，对于所有新类别数据，需要在新模型上进行有监督学习，将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成；用预测结果与型号标签或个体标签之间交叉熵作为损失函数，损失函数定义为Loss1，计算公式为：
Figure FDA0003206396230000061
Figure FDA0003206396230000062
其中Nnew为型号或各型号下的个体的新类别数据；yi是型号标签；pi为神经网络预测的型号类别i的概率；zj是个体标签；qj为神经网络预测的个体类别j的概率。
15.根据权利要求12或13所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，所述类扩展训练的第二部分的具体实施方法为：
在进行类扩展训练的第二部分时，新数据要与旧类别数据合并，然后按以下方式参与模型扩展训练：
按照型号或个体类别划分所有数据，依次将型号类别或者个体类别的数据输入到型号或个体识别的新、旧模型当中，分别计算所有新、旧特征向量的平均值，得到作为当前型号类别或者个体类别的新、旧类嵌入θtype_new、θtype_old或θindi_new、θindi_old，计算方法为：
Figure FDA0003206396230000063
Figure FDA0003206396230000064
其中，Xa代表所有型号标签为a的数据；f表示型号a的样本数量；Xa1代表所有型号标签为a，个体标签为a1的数据；l表示型号标签为a，个体标签为a1的样本的总数量；
Figure FDA0003206396230000065
表示用新模型提取特征向量；
Figure FDA0003206396230000066
表示用旧模型提取特征向量；
将所有数据分别输入到新、旧模型中提取特征：
Figure FDA0003206396230000067
和
Figure FDA0003206396230000068
x∈N，N代表本轮扩展训练所有的新、旧类别数据；
计算上述变量的同时，新、旧模型中的余弦全连接层会自动对所有新、旧类嵌入θnew，θold和新、旧特征向量
Figure FDA0003206396230000069
进行L2归一化，得到
Figure FDA00032063962300000610
计算公式为：
Figure FDA00032063962300000611
其中，v表示归一化前的向量；
Figure FDA00032063962300000612
表示归一化后的向量；||v||2表示向量的L2范数；
对于型号识别网络，计算每条数据在相应网络中求得的旧特征向量与所有旧类嵌入的余弦相似度，表示为：
Figure FDA0003206396230000071
Cold表示已出现的旧类别的数量；计算每条数据在相应网络中求得的新特征向量与所有新类嵌入的余弦相似度，表示为：
Figure FDA0003206396230000072
Cnew表示已出现的新类别的数量；计算每条数据的旧特征向量和新特征向量的余弦相似度，表示为
Figure FDA0003206396230000073
所述余弦相似度的计算方法为：对于n维向量A(x1，x2，...，xn，)与B(y1，y2，...，yn，)，余弦相似度的计算公式为：
Figure FDA0003206396230000074
由于在扩展训练期间要尽可能避免灾难性遗忘，所以新模型的输出要尽可能模拟旧模型的输出，即上述步骤中求出的
Figure FDA0003206396230000075
与
Figure FDA0003206396230000076
的差距要尽可能的小，
Figure FDA0003206396230000077
的值尽可能接近1；
对于各型号下的个体识别网络，计算每条数据的旧特征向量与所有旧类嵌入的余弦相似度，表示为：
Figure FDA0003206396230000078
Cold表示已出现的旧类别的数量；计算每条数据的新特征向量与所有新类嵌入的余弦相似度，表示为：
Figure FDA0003206396230000079
Figure FDA00032063962300000710
Cnew表示已出现的新类别的数量；计算每条数据的旧特征向量和新特征向量的余弦相似度，表示为
Figure FDA00032063962300000711
余弦相似度的计算方法为：对于e维向量A(x1，x2，...，xe，)与B(y1，y2，...，ye，)，余弦相似度的计算方法为：
Figure FDA00032063962300000712
由于在扩展训练期间要尽可能避免灾难性遗忘，所以新模型的输出要尽可能模拟旧模型的输出，换句话说，就是上述步骤中求出的
Figure FDA00032063962300000713
与
Figure FDA00032063962300000714
的差距要尽可能的小，
Figure FDA00032063962300000715
的值尽可能接近1；
将数据输入网络进行前向传播计算误差，误差反向传播求模型各参数的梯度，更新模型参数，重复执行上述过程直至训练完成；用Losstype_ext或Lossindi_ext作为损失函数，Losstype_ext或Lossindi_ext均由三部分组成，除了Loss1以外，各还有以下两部分：
Figure FDA0003206396230000081
Figure FDA0003206396230000082
Figure FDA0003206396230000083
Figure FDA0003206396230000084
其中N为本轮扩展训练所有新、旧类别数据；Cold表示型号或个体网络中对应的旧类别个数；γ为尺度参数，用来衡量每个扩展训练过程中新类别与旧类别的比重，γ与该比重成正比；总体的型号或个体分类网络的损失函数分别表示为：
Losstype_ext＝Loss1_type+Loss2_type+Loss3_type；
Lossindi_ext＝Loss1_indi+Loss2_indi+Loss3_indi。
16.根据权利要求14或15所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，所述型号识别网络以及各型号下的个体识别网络的n+1个类拓展训练过程均独立进行。
17.根据权利要求1所述的基于持续学习的雷达辐射源分级识别方法，其特征在于，步骤(13)中，所述用“型号-个体”分级识别方法进行测试的具体方法为：
首先将待识别数据x输入到型号识别网络中，型号识别网络会输出x相对于各型号的预测概率pi(x)＝{p1，p2，...，pn}，n为型号数；取pi(x)中最大值的下标为该数据的型号预测结果，计算公式为：
ytype(x)＝argmax(pi(x))，
完成“型号-个体”分级识别方法中的型号识别；
然后模型自动将x按照其型号预测结果ytype(x)输入到对应型号下的个体识别网络当中，个体识别网络会输出x相对于各个体的预测概率qj(x)＝{q1，q2，...，qm}，m为该型号所包含的个体数；取qj(x)中最大值的下标为该数据的个体预测结果，计算公式为：
yindi(x)＝argmax(qj(x))，
完成“型号-个体”分级识别方法中的个体识别；
数据x的预测结果为型号ytype(x)中的个体yindi(x)；任务结束。
CN202110918156.8A 2021-08-11 2021-08-11 一种基于持续学习的雷达辐射源分级识别方法 Pending CN115705393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110918156.8A CN115705393A (zh) 2021-08-11 2021-08-11 一种基于持续学习的雷达辐射源分级识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110918156.8A CN115705393A (zh) 2021-08-11 2021-08-11 一种基于持续学习的雷达辐射源分级识别方法

Publications (1)

Publication Number Publication Date
CN115705393A true CN115705393A (zh) 2023-02-17

Family

ID=85179711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110918156.8A Pending CN115705393A (zh) 2021-08-11 2021-08-11 一种基于持续学习的雷达辐射源分级识别方法

Country Status (1)

Country Link
CN (1) CN115705393A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116559809A (zh) * 2023-03-28 2023-08-08 南京桂瑞得信息科技有限公司 一种基于多源融合网络的雷达辐射源个体识别方法
CN116842457A (zh) * 2023-07-17 2023-10-03 中国船舶集团有限公司第七二三研究所 一种基于长短时记忆网络的雷达辐射源个体识别方法
WO2024197443A1 (en) * 2023-03-24 2024-10-03 Qualcomm Incorporated Dynamic class-incremental learning without forgetting

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024197443A1 (en) * 2023-03-24 2024-10-03 Qualcomm Incorporated Dynamic class-incremental learning without forgetting
CN116559809A (zh) * 2023-03-28 2023-08-08 南京桂瑞得信息科技有限公司 一种基于多源融合网络的雷达辐射源个体识别方法
CN116842457A (zh) * 2023-07-17 2023-10-03 中国船舶集团有限公司第七二三研究所 一种基于长短时记忆网络的雷达辐射源个体识别方法

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
Chua et al. Learning Bayesian posteriors with neural networks for gravitational-wave inference
CN111444790B (zh) 一种对多功能雷达工作模式序列的脉冲级智能识别方法
CN115705393A (zh) 一种基于持续学习的雷达辐射源分级识别方法
CN114564982B (zh) 雷达信号调制类型的自动识别方法
CN108564107A (zh) 基于原子拉普拉斯图正则化的半监督字典学习的样本类别归类方法
CN111340076B (zh) 一种对新体制雷达目标未知模式的零样本识别方法
CN109581339B (zh) 一种基于头脑风暴自动调整自编码网络的声呐识别方法
Blanchart et al. A semi-supervised algorithm for auto-annotation and unknown structures discovery in satellite image databases
CN116910571B (zh) 一种基于原型对比学习的开集域适应方法及系统
CN118230175B (zh) 基于人工智能的不动产测绘数据处理方法及系统
CN104573699A (zh) 基于中等场强磁共振解剖成像的实蝇识别方法
CN115659254A (zh) 一种双模态特征融合的配电网电能质量扰动分析方法
CN111209813B (zh) 基于迁移学习的遥感图像语义分割方法
CN116643246A (zh) 一种基于内积距离度量的深度聚类雷达脉冲信号分选方法
CN115828085A (zh) 联合迁移学习和监督学习的电磁谱辐射源智能识别方法
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法
CN114708307B (zh) 基于相关滤波器的目标跟踪方法、系统、存储介质及设备
CN114692615B (zh) 一种针对小语种的小样本意图识别方法
CN115329821A (zh) 一种基于配对编码网络和对比学习的舰船噪声识别方法
Jiang et al. Learning from noisy labels with noise modeling network
CN113095381A (zh) 一种基于改进型dbn的水声目标辨识方法及系统
Subramanian et al. Lorenz System State Stability Identification using Neural Networks
Machado et al. Simple self-scalable grid classifier for signal denoising in digital processing systems
CN114896479B (zh) 一种在线学习方法、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination