CN116797928A - 基于平衡模型稳定性和可塑性的sar目标增量分类方法 - Google Patents
基于平衡模型稳定性和可塑性的sar目标增量分类方法 Download PDFInfo
- Publication number
- CN116797928A CN116797928A CN202310745503.0A CN202310745503A CN116797928A CN 116797928 A CN116797928 A CN 116797928A CN 202310745503 A CN202310745503 A CN 202310745503A CN 116797928 A CN116797928 A CN 116797928A
- Authority
- CN
- China
- Prior art keywords
- sar
- feature
- module
- output
- classification network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004821 distillation Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 235000014443 Pyrus communis Nutrition 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000010923 batch production Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003416 augmentation Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 238000011478 gradient descent method Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
本发明公开了一种基于平衡模型稳定性和可塑性的SAR目标增量分类方法，主要解决现有技术在复杂环境下SAR特征提取能力弱、目标增量分类及稳定性差的问题。其实现方案为：将给定SAR数据随机划分为训练集和测试集；构建包括特征提取器和特征分类器的SAR目标分类网络，利用训练集对其进行训练；生成辅助增量学习的示例集；从SAR数据中获得新增类别数据，用其与示例集和测试集共同生成增量任务训练集和测试集；构建SAR目标增量分类网络和增量学习损失，并利用增量任务训练集对其进行训练；将增量任务测试集输入SAR目标增量分类网络中，获得目标分类结果。本发明显著提升了复杂环境下SAR目标增量分类性能，可用于战场侦察和态势感知。
Description
技术领域
本发明属于雷达遥感技术领域，更进一步涉及一种SAR目标增量分类方法，可用于持续性战场侦察和态势感知。
背景技术
合成孔径雷达SAR是一种主动式微波成像传感器，通过收发电磁波完成全天时、全天候的大范围地表信息采集。与光学传感器相比，SAR具有全天时、全天候、远距离、高分辨率等特点，因此被广泛应用于农业普查、灾害监测和战场侦察等诸多军事和民用领域。
随着SAR系统的广泛应用和成像算法的逐渐成熟，已经可以获得大量高分辨率、高质量的SAR图像，其中重点目标的解译技术逐渐受到相关领域学者及研究人员的关注。现有的SAR目标分类方法大多属于静态模型结构，在面对持续新增的SAR图像数据流时，模型无法对新增目标类别进行有效学习。此外，由于成像机理不同，单极化雷达图像存在细节边缘模糊、各向异性强的特点，导致模型对新增类别关键特征的提取难度变高。同时，SAR图像场景复杂，目标分类模型很容易受到相干斑噪声和非目标前景散射点影响，导致在SAR目标增量分类任务中存在新增类别难学习，已学习类别易遗忘的问题，严重影响了图像解译的有效性。
传统的SAR目标分类方法主要采用人工特征提取方法。给定待分类的SAR图像，首先进行数据增强、去相干斑的预处理。在此基础上，根据先验知识手动提取出SAR目标的几何特征，并将其作为分类证据，最后采用D-S证据融合的决策方法对目标进行分类。这类方法主要通过手工目标特征提取及分类器设计实现目标分类，其性能严重依赖于专业知识和专家经验，因此难以在复杂多变的SAR场景中达到理想效果。
基于深度网络的目标分类方法可实现数据驱动的目标特征提取与类别判断，因此性能和效率较高。目前，主流方法采用深度卷积网络作为图像特征提取器，并使用全连接网络进行目标类别判断。相比于传统方法，这类方法不依赖于专业知识和专家经验，因此可实现更高的目标分类准确率。
虽然上述方法为SAR目标分类提供了有效途径，然而与光学图像相比，SAR图像场景更为复杂，目标样本数更少，类间差异更小而类内差异更大，因此存在复杂环境不稳健、相似类别难区分，不同成像参数下目标分类困难等问题。特别地，当面对包含多个类别的SAR图像数据流时，现有方法的分类性能会迅速下降。
申请号为CN201910657720.8的专利文献公开了“一种基于迁移学习与全连接层输出的SAR目标识别方法”，其主要分为三个部分：首先读取含有地面车辆目标的SAR遥感图像训练集和测试集，并进行图像裁切和预处理；然后通过深度卷积网络提取SAR图像特征；最后利用全连接网络预测图像中的目标类别。但是，该方法由于未针对SAR图像的特性进行相关优化，且缺乏实现持续性学习的相关设计，因而导致在SAR目标增量分类任务中存在目标特征提取能力差，分类性能下降严重，且不同任务目标分类性能不均衡的问题。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于平衡模型稳定性和可塑性的SAR目标增量分类方法，以提高复杂环境中目标特征的提取能力，减小模型随增量任务的增加导致的性能迅速下降，均衡不同增量学习任务中目标分类的性能。
本发明的技术思路是，通过设计一种基于平衡模型稳定性和可塑性的SAR目标增量分类模型，提升复杂环境下SAR目标增量分类性能，其实现步骤包括如下：
(1)从给定数据集中获取具有多类目标的SAR图像和对应标签，并对其进行随机划分，得到训练集和测试集；
(2)构建SAR目标分类网络：
(2a)建立由卷积模块级联组成的局部特征提取模块A；
(2b)建立由自注意力组成的全局特征提取模块B；
(2c)将局部特征提取模块A和全局特征提取模块B并联组成特征提取器F；
(2d)建立能与特征维度及输出类别匹配的全连接层，作为特征分类器C；
(2e)将特征提取器和特征分类器级联组成SAR目标分类网络；
(3)从训练集中随机采样一组SAR图像输入到SAR目标分类网络中，计算交叉熵损失基于该损失，通过随机梯度下降算法更新网络参数，直至网络收敛，得到训练好的SAR目标分类网络；
(4)生成辅助增量学习的示例集：
(4a)利用Herding算法，在步骤(1)生成的训练集中筛选至多10％的代表性样本；
(4b)将筛选得到代表性样本存储为示例集，并在每个增量任务结束后重新筛选相同数量的样本，使示例集中样本数量保持不变；
(5)生成增量任务训练集和测试集：
(5a)从给定数据集中获取包含新增目标类别的多幅SAR图像，并对其进行随机划分，得到包含新增类别目标的增量训练集和增量测试集；
(5b)将步骤(4)生成的示例集样本加入到增量训练集，得到增量任务训练集；
(5c)将步骤(1)生成的测试集样本加入到增量测试集，得到增量任务测试集；
(6)构建SAR目标增量分类网络和增量学习损失函数：
(6a)复制一份步骤(3)得到的SAR目标分类网络，对其特征分类器进行维度扩充，得到SAR目标增量分类网络；
(6b)根据步骤(3)的SAR目标分类网络和步骤(6a)得到的SAR目标增量分类网络的特征提取器，构建特征级蒸馏损失函数
(6c)根据步骤(3)的SAR目标分类网络和步骤(6a)得到的SAR目标增量分类网络的特征分类器，构建决策级蒸馏损失函数
(6d)根据SAR目标增量分类网络的特征提取器，构建特征分离损失函数
(6e)根据交叉熵损失函数特征级蒸馏损失函数/>决策级蒸馏损失函数特征分离损失函数/>得到SAR目标增量分类网络的增量学习损失函数/>
其中，Ncur表示当前增量任务中新增的目标类别的数量；NC表示SAR目标增量分类网络已完成训练的目标类别的数量；α是一个动态自适应权重，随着已完成训练的类别的数量不断增加，该权重的大小逐渐减少；
(7)从步骤(5)生成的增量任务训练集中随机采样一组SAR图像输入到SAR目标增量分类网络中，计算增量学习损失基于该损失，通过随机梯度下降算法更新网络参数，直至网络收敛，得到训练好的SAR目标增量分类网络；
(8)将增量任务测试集中的SAR图像输入到训练好的SAR目标增量分类网络中，得到分类结果。
本发明与现有技术相比，具有以下优点：
第一，本发明设计了一种新的SAR目标分类网络结构，借助卷积网络和自注意力结构对输入SAR图像进行局部特征提取和全局特征提取，并将两种不同层次的特征进行合并，使网络能够适应复杂环境中背景杂波和噪声的干扰，提高了分类网络对SAR图像目标的特征提取能力。
第二，本发明设计了一种新的增量学习损失函数，在不存储全部先前任务样本的条件下，通过蒸馏学习实现了对已学习类别分类知识的维护，通过特征分离实现了对新增类别分类知识的学习能力。在引导模型提升对新增目标类别分类能力的同时，减少了对旧类别的灾难性遗忘，提高了每个增量任务的分类准确率。
第三，本发明设计了一种自适应的动态损失函数结构，通过在不同任务中调整损失函数各部分的权重系数，增强了模型对已学习类别分类知识的维护和对新增类别分类知识的学习，从而平衡了增量学习任务中不同目标类别的分类性能，提高所有增量任务的平均分类准确率。
附图说明
图1为本发明的实现流程图；
图2为本发明中构建的SAR目标分类网络结构示意图；
图3为本发明中构建SAR目标增量分类方法实现示意图；
图4为本发明与现有方法在不同任务设置下实现目标增量分类的结果对比图。
具体实施方式
下面结合附图对本发明的实例和效果作进一步详细说明。
参考图1，本实例的实现步骤如下：
步骤一，从给定数据集中生成训练集和测试集。
从给定数据集中获取具有多类目标的SAR图像及对应标签，并对其进行随机划分，得到训练集和测试集。
在本实例中，给定的SAR图像数据集来自于MSTAR雷达数据集，该数据集是美国国防高级研究计划局DARPA和美国空军研究实验室AFRL提供的移动和静止目标采集与识别数据。SAR图像尺度为128×128，共包含10类地面军事车辆目标，训练集图像数量为3671张，测试集数量为3203张。
步骤二，构建SAR目标分类网络。
参考图2，本步骤的实现下：
2.1)建立特征提取器F：
2.1.1)建立包括5个级联的卷积模块a1,a2,a3,a4,a5的局部特征提取模块A，其中：
第一个卷积模块a1由7×7标准卷积层、批归一化层、ReLU激活层以及最大池化下采样层级联组成，该卷积模块的输出特征图的通道数为8；
第二个卷积模块a2由1个输入维度为8，输出维度为16的残差块组成，该卷积模块的输出特征图的通道数为16；
第三个卷积模块a3由1个输入维度为16，输出维度为32的残差块组成，该卷积模块的输出特征图的通道数为32；
第四个卷积模块a4由1个输入维度为32，输出维度为64的残差块组成，该卷积模块的输出特征图的通道数为64；
第五个卷积模块a5由1个输入维度为64，输出维度为128的残差块组成，该卷积模块的输出特征图的通道数为128。
2.1.2)建立包括5个级联的自注意力模块b1,b2,b3,b4,b5的全局特征提取模块B，其中：每个自注意力模块bi由查询值计算模块关键值计算模块/>价值计算模块/>位置编码模块/>注意力计算模块/>五部分组成。
在本发明的实施例中，查询值计算模块关键值计算模块/>价值计算模块/>均由1个1×1标准卷积层组成，位置编码模块/>由1个输入通道数为2的1×1标准卷积层组成，注意力计算模块/>由1个滑窗单元和1个Softmax计算单元组成。
2.1.3)将局部特征提取模块A和全局特征提取模块B并联，即将局部特征提取模块A的5个卷积模块与全局特征提取模块B的5个自注意力模块对应并联，构成SAR目标分类网络的特征提取器F；
该局部特征提取模块A用于提取SAR图像中目标的局部特征，对于宽和高分别为W和H的输入SAR图像局部特征提取模块的输出可以表示为其中Yi为第i个卷积模块ai的输出特征；Zi-1为第i-1个特征提取模块fi-1的输出特征；
该全局特征提取模块B用于提取SAR图像中目标的全局特征，全局特征提取模块B的输出可以表示为：
其中，Ui为第i个自注意力模块bi的输出特征图；UnFold(·)表示一个与卷积神经元滑窗方式相同的滑窗单元；Softmax(·)表示沿第1个维度计算Softmax的单元；d表示归一化刻度，其值为输出通道的数量；
Qi,Ki,Vi分别为第i个自注意力模块bi中查询值计算模块关键值计算模块/>和价值计算模块/>的输出；Pi为第i个自注意力模块bi中位置编码模块/>的输出；
Qi,Ki,Vi,Pi的输出表达式分别表示如下：
其中，Pos(·)表示位置编码操作，该操作输出一个包含2个通道且与输入特征各个通道矩阵维度相同的位置信息矩阵，且位置信息矩阵的值在(-1,1)上均匀分布；Conv1×1(·)表示1×1标准卷积；
该特征提取器F的输出Zi表示为：
其中，fi表示特征提取器的第i个模块，(·||·)表示将两个特征图沿通道维度进行拼接。
2.2)建立特征分类器器C：
在本发明的实施例中，特征分类器C包括一个全连接网络层FCN，其参数及输出表示如下：
全连接网络层FCN的偏置为0，权重矩阵的维度为H×NC，其中，H是特征提取器F输出的特征向量的维度，NC表示目标分类模型已学习的所有类别数目；
特征分类器C的输出表示为：
O＝C(Z5)＝FCN(GAP(Z5))，
其中，O表示特征分类器的输出；FCN(·)为全连接网络层；GAP(·)表示全局平均池化；Z5为特征提取器f5模块的输出特征。
2.3)将建立的特征提取器F和特征分类器C进行级联组合，构成SAR目标分类网络。
步骤三，训练SAR目标分类网络。
3.1)从步骤一生成的训练集中随机采样一组SAR图像输入到SAR目标分类网络中，计算交叉熵分类损失基于该损失，通过随机梯度下降算法更新网络参数：
3.1.1)计算SAR目标分类网络的交叉熵分类损失
其中,NB为每个批次中样本的个数，cn和分别为SAR目标分类网络的输出标签和输入图像对应的真实标签；
3.1.2)求解3.1.1)中交叉熵分类损失对SAR目标分类网络参数θ的梯度：
其中，为SAR目标分类网络的损失，θ为SAR目标分类网络的可学习参数；
3.1.3)根据3.1.2)中求解的梯度更新SAR目标分类网络参数，表示为：
其中θ′为当前更新的网络参数，θ为更新前的网络参数；lr为学习率，其根据输入图像批次大小设置，在本发明的实施例中，设lr＝0.01。
3.2)重复3.1)过程，直至网络损失趋于稳定，所有网络参数收敛，停止更新，得到训练好的SAR目标分类网络。
步骤四，生成辅助增量学习的示例集。
4.1)利用Herding算法，在步骤一生成的训练集中筛选代表性样本：
4.1.1)利用步骤三训练后的SAR目标分类网络，计算训练集中每个类别样本的特征平均值μ：
其中，n表示某一类别的训练样本数量；Z5|x表示输入样本x在特征提取器f5模块的输出。
4.1.2)根据特征平均值μ选出训练集中满足条件的每个类别的代表性样本p，在本发明的实施例中，代表性样本的筛选条件如下：
其中，m表示每个类别筛选出的代表性样本的数量。
4.2)将筛选得到代表性样本存储为示例集，并在每个增量任务结束后重新筛选相同数量的样本，使示例集中样本数量保持不变。
步骤五，生成增量任务训练集和测试集。
5.1)从给定数据集中获取包含新增目标类别的多幅SAR图像及对应标签，并对其进行随机划分，得到包含新增类别目标的增量训练集和增量测试集；
5.2)将步骤四生成的示例集样本加入到增量训练集，得到增量任务训练集；
5.3)将步骤一生成的测试集样本加入到增量测试集，得到增量任务测试集。
步骤六，构建SAR目标增量分类网络和增量学习损失函数。
参照图3，本步骤的实现如下：
6.1)复制一份步骤三得到的SAR目标分类网络，将其特征分类器的维度进行扩充，得到SAR目标增量分类网络；
6.2)根据步骤三得到的SAR目标分类网络和步骤(6.1)得到的SAR目标增量分类网络的特征提取器，构建特征级蒸馏损失函数
其中，Zi表示步骤(6.1)得到的分类网络的特征提取器的输出，Zi′表示步骤三训练完成的分类网络的特征提取器的输出；Poolavg(·)表示将特征图池化为一维特征向量；Discos(·,·)表示计算两个向量的余弦距离；Cpear(·,·)表示计算两个向量的皮尔逊系数；
6.3)根据步骤三得到的SAR目标分类网络和步骤(6.1)得到的SAR目标增量分类网络的特征分类器，构建决策级蒸馏损失函数
其中，O表示步骤(6.1)得到的分类网络的特征分类器的输出，O′表示步骤三训练完成的分类网络的特征分类器的输出；表示计算O和O′的Kullback-Leibler散度；/>表示对步骤三训练完成的分类网络的特征分类器的输出分布进行softmax蒸馏，公式如下：
其中，softmax(O′)|cur表示对O′中增量任务新增类别对应分类头的输出进行softmax计算；表示输入样本的真实类别标签；/>表示当前增量任务学习的类别集合；gi是一个标识符，当输入的训练样本类别不属于当前增量任务类别时该值为1，否则为0；
6.4)根据步骤三得到的SAR目标分类网络和步骤(6.1)得到的SAR目标增量分类网络的特征提取器的输出，构建特征分离损失函数
其中，Z5|x表示输入样本x在增量分类网络的特征提取器f5模块输出，Z′5|x表示步骤三训练完成的分类网络的特征提取器f5模块输出；NB为批处理中一个批次的样本数量；ki,j是一个标识符，当输入样本xi和输入样本xj属于同一个类别时该值为1，否则为0；
6.5)构建自适应的动态损失函数结构，将交叉熵损失特征级蒸馏损失/>决策级蒸馏损失/>特征分离损失/>进行整合，得到增量学习损失函数/>表示如下：
其中，Ncur表示当前增量任务学习的目标类别数目；NC表示目标分类模型已学习的所有类别数目；α是一个动态自适应权重，随着已完成训练的类别的数量不断增加，该权重的大小逐渐减少。
步骤七，训练SAR目标增量分类网络。
7.1)从步骤五生成的增量任务训练集中随机采样一组SAR图像输入到SAR目标增量分类网络中，计算增量学习损失基于该损失，通过随机梯度下降算法更新网络参数；
7.1.1)计算步骤六构建的SAR目标增量分类网络的增量损失函数求解该损失对网络参数θinc的梯度：
其中，为增量学习损失函数，θinc为SAR目标增量分类网络的可学习参数；
7.1.2)根据7.1.1)中求解的梯度更新SAR目标增量分类网络参数：
其中θi′nc为当前更新的网络参数，θinc为更新前的网络参数；lr为学习率，其根据输入图像批次大小设置，在本实施例中，设lr＝0.01；
7.2)重复7.1)过程，直至网络损失趋于稳定，所有网络参数收敛，停止更新，得到训练好的SAR目标增量分类网络。
步骤八，获取SAR目标分类结果。
将步骤五生成的增量任务测试集中的SAR图像输入到步骤七训练完成的SAR目标增量分类网络中，得到SAR目标分类结果。
本发明的效果可以通过以下仿真实验进一步说明：
一、仿真实验条件：
本发明仿真实验的软件平台为：Ubuntu18.04操作系统和Pytorch 1.8.0，硬件配置为：Core i9-10980XE CPU和NVIDIA GeForce RTX 3090 GPU。
本发明的仿真实验使用MSTAR数据集中SAR实测数据，其中SAR图像尺度为128×128，共包含10类地面军事车辆目标，训练集图像数量为3671张，测试集数量为3203张。
在实验期间，分别以S1和S2两种任务设置进行实验。S1和S2都包含一个初始学习阶段和4个增量学习阶段。其中，S1设置初始阶段学习2类目标，随后将剩余的8类目标平均分为4个增量任务；S2设置初始阶段学习6类目标，随后将剩余的4类目标平均分为4个增量任务。
二、仿真内容与结果分析：
在上述仿真条件下，用本发明和现有的“一种基于迁移学习与全连接层输出的SAR目标识别方法”分别对S1和S2两种任务设置进行实验，结果如图4。其中：
图4(a)是S1任务设置下SAR目标增量分类实验的准确率变化曲线图，其中实折线表示本发明在分类实验中的目标分类准确率，虚折线表示现有技术在分类实验中的目标分类准确率；
图4(b)是S2任务设置下SAR目标增量分类实验的准确率变化曲线图，其中实折线表示本发明在分类实验中的目标分类准确率，虚折线表示现有技术在分类实验中的目标分类准确率。
根据图4，将本发明和现有技术在测试集图像上的分类指标进行整理，包括五个增量任务中SAR目标的分类准确率，以及所有增量任务的平均分类准确率，结果如表1所示。
表1SAR目标增量分类实验性能指标
从图4和表1可以看出，本发明的各增量任务分类准确率和平均分类准确率均优于现有技术方案，说明本发明的目标增量分类性能显著优于现有技术。
Claims (11)
1.一种基于平衡模型稳定性和可塑性的SAR目标增量分类方法，其特征在于，包括以下步骤：
(1)从给定数据集中获取具有多类目标的SAR图像和对应标签，并对其进行随机划分，得到训练集和测试集；
(2)构建SAR目标分类网络：
(2a)建立由卷积模块级联组成的局部特征提取模块A；
(2b)建立由自注意力组成的全局特征提取模块B；
(2c)将局部特征提取模块A和全局特征提取模块B并联组成特征提取器F；
(2d)建立能与特征维度及输出类别匹配的全连接层，作为特征分类器C；
(2e)将特征提取器和特征分类器级联组成SAR目标分类网络；
(3)从训练集中随机采样一组SAR图像输入到SAR目标分类网络中，计算交叉熵损失基于该损失，通过随机梯度下降算法更新网络参数，直至网络收敛，得到训练好的SAR目标分类网络；
(4)生成辅助增量学习的示例集：
(4a)利用Herding算法，在步骤(1)生成的训练集中筛选至多10％的代表性样本；
(4b)将筛选得到代表性样本存储为示例集，并在每个增量任务结束后重新筛选相同数量的样本，使示例集中样本数量保持不变；
(5)生成增量任务训练集和测试集：
(5a)从给定数据集中获取包含新增目标类别的多幅SAR图像和对应标签，并对其进行随机划分，得到包含新增类别目标的增量训练集和增量测试集；
(5b)将步骤(4)生成的示例集样本加入到增量训练集，得到增量任务训练集；
(5c)将步骤(1)生成的测试集样本加入到增量测试集，得到增量任务测试集；
(6)构建SAR目标增量分类网络和增量学习损失函数：
(6a)复制一份步骤(3)得到的SAR目标分类网络，对其特征分类器进行维度扩充，得到SAR目标增量分类网络；
(6b)根据步骤(3)的SAR目标分类网络和步骤(6a)得到的SAR目标增量分类网络的特征提取器，构建特征级蒸馏损失函数
(6c)根据步骤(3)的SAR目标分类网络和步骤(6a)得到的SAR目标增量分类网络的特征分类器，构建决策级蒸馏损失函数
(6d)根据SAR目标增量分类网络的特征提取器，构建特征分离损失函数
(6e)根据交叉熵损失函数特征级蒸馏损失函数/>决策级蒸馏损失函数/>特征分离损失函数/>得到SAR目标增量分类网络的增量学习损失函数/>
其中，Ncur表示当前增量任务中新增的目标类别的数量；NC表示SAR目标增量分类网络已完成训练的目标类别的数量；α是一个动态自适应权重，随着已完成训练的类别的数量不断增加，该权重的大小逐渐减少；
(7)从步骤(5)生成的增量任务训练集中随机采样一组SAR图像输入到SAR目标增量分类网络中，计算增量学习损失基于该损失，通过随机梯度下降算法更新网络参数，直至网络收敛，得到训练好的SAR目标增量分类网络；
(8)将增量任务测试集中的SAR图像输入到训练好的SAR目标增量分类网络中，得到分类结果。
2.根据权利要求1所述的方法，其特征在于，步骤(2a)中构成局部特征提取模块A的卷积模块，包括5个级联的卷积模块a1,a2,a3,a4,a5，每个卷积模块的结构参数及整个局部特征提取模块的输出特征如下：
所述第一个卷积模块a1由7×7标准卷积层、批归一化层、ReLU激活层以及最大池化下采样层级联组成，该卷积模块的输出特征图的通道数为8；
所述第二个卷积模块a2由1个输入维度为8，输出维度为16的残差块组成，该卷积模块的输出特征图的通道数为16；
所述第三个卷积模块a3由1个输入维度为16，输出维度为32的残差块组成，该卷积模块的输出特征图的通道数为32；
所述第四个卷积模块a4由1个输入维度为32，输出维度为64的残差块组成，该卷积模块的输出特征图的通道数为64；
所述第五个卷积模块a5由1个输入维度为64，输出维度为128的残差块组成，该卷积模块的输出特征图的通道数为128；
整个局部特征提取模块的输出特征表示为
其中Yi为第i个卷积模块ai的输出特征，X为宽和高分别为W和H的输入SAR图像，Zi-1为SAR目标分类网络中第i-1个特征提取模块fi-1的输出特征。
3.根据权利要求1所述的方法，其特征在于，步骤(2b)中构成全局特征提取模块B的自注意力模块，包括5个级联的自注意力模块b1,b2,b3,b4,b5，每个自注意力模块的结构参数及整个全局特征提取模块B的输出特征图如下：
所述每个自注意力模块bi,由查询值计算模块关键值计算模块/>价值计算模块位置编码模块/>注意力计算模块/>五部分组成，该查询值计算模块/>关键值计算模块/>价值计算模块/>均由1个1×1标准卷积层组成，该位置编码模块/>由1个输入通道数为2的1×1标准卷积层组成，该注意力计算模块/>由1个滑窗单元和1个Softmax计算单元组成；
整个全局特征提取模块B的输出特征图表示为：
其中，Ui为第i个自注意力模块bi的输出特征图；X为宽和高分别为W和H的输入SAR图像；Zi-1为SAR目标分类网络中第i-1个特征提取模块fi-1的输出特征；UnFold(·)表示一个与卷积神经元滑窗方式相同的滑窗单元；Softmax(·)表示沿第1个维度计算Softmax的单元；d表示归一化刻度，其值为输出通道的数量；Qi,Ki,Vi分别为第i个自注意力模块bi中查询值计算模块关键值计算模块/>和价值计算模块/>的输出；Pi为第i个自注意力模块bi中位置编码模块/>的输出，Qi,Ki,Vi,Pi的表示为：
其中，Pos(·)表示位置编码操作，该操作输出一个包含2个通道且与输入特征各个通道矩阵维度相同的位置信息矩阵，且位置信息矩阵的值在(-1,1)上均匀分布；Conv1×1(·)表示1×1标准卷积。
4.根据权利要求1所述的方法，其特征在于，步骤(2c)中的特征提取器F，包括5个级联的特征提取模块f1,f2,f3,f4,f5，其分别由卷积模块a1,a2,a3,a4,a5和自注意力模块b1,b2,b3,b4,b5中对应的模块并联组成；
整个特征提取器F的输出特征图表示为：
其中(·||·)表示将两个特征图沿通道维度进行并联拼接。
5.根据权利要求1所述的方法，其特征在于，步骤(2d)特征分类器C中的全连接网络层FCN，参数及输出表示如下：
全连接网络层FCN的偏置为0，权重矩阵的维度为H×NC，其中，H是特征提取器F输出的特征向量的维度，NC表示目标分类模型已学习的所有类别数目；
整个特征分类器C的输出特征图表示为：
O＝C(Z5)＝FCN(GAP(Z5))，
其中，O表示特征分类器的输出；FCN(·)为全连接网络层；GAP(·)表示全局平均池化；Z5为特征提取模块f5的输出特征。
6.根据权利要求1所述的方法，其特征在于，步骤(3)中计算交叉熵损失公式如下：
其中,NB为每个批次中样本的个数，cn和分别为SAR目标分类网络的输出标签和输入图像对应的真实标签。
7.根据权利要求1所述的方法，其特征在于，步骤(3)中使用随机梯度下降法更新网络参数，实现如下：
(3a)对SAR目标分类网络参数的梯度进行求解，表示为：
其中为SAR目标分类网络的损失，θ为SAR目标分类网络的可学习参数；
(3b)根据求解的梯度更新SAR目标分类网络的参数，表示为：
其中θ′为当前的网络参数，θ为前一迭代的网络参数；lr为学习率，其根据输入的每个批次中样本的个数设置；
(3c)重复上述(3a)和(3b)的操作，直至网络损失趋于稳定，所有网络参数收敛，停止更新。
8.根据权利要求1所述的方法，其特征在于，步骤(4a)中使用Herding算法筛选代表性样本，实现如下：
(4a1)利用步骤(3)训练后的SAR目标分类网络，计算训练集中每个类别样本的特征平均值μ：
其中，n表示某一类别的训练样本数量，Z5|x表示输入样本x在特征提取模块f5的输出特征；
(4a2)根据特征平均值μ选出训练集中满足以下条件的每个类别的代表性样本p，
其中，m表示每个类别筛选出的代表性样本的数量。
9.根据权利要求1所述的方法，其特征在于，步骤(6b)中构建的特征级蒸馏损失函数表示如下：
其中，Zi表示步骤(6a)得到的分类网络的特征提取器的输出，Z′i表示步骤(3)训练完成的分类网络的特征提取器的输出；Poolavg(·)表示将特征图池化为一维特征向量；Discos(·,·)表示计算两个向量的余弦距离；Cpear(·,·)表示计算两个向量的皮尔逊系数。
10.根据权利要求1所述的方法，其特征在于，步骤(6c)中构建的决策级蒸馏损失函数表示如下：
其中，O表示步骤(6a)得到的SAR目标增量分类网络中特征分类器的输出，O′表示步骤(3)训练完成的SAR目标分类网络中特征分类器的输出；表示计算两个分布的Kullback-Leibler散度；/>表示对该分布进行softmax蒸馏，表示为：
其中，soft max(·)|cur表示对特征分类器C中，当前增量任务学习类别对应分类器权重的输出分布进行softmax计算；表示输入样本的真实类别标签；/>表示当前增量任务学习的类别集合；gi是一个标识符，当输入的训练样本类别不属于当前增量任务类别时为1，否则为0。
11.根据权利要求1所述的方法，其特征在于，步骤(6d)中构建的特征分离损失函数项表示如下：
其中，Z5|x和Z′5|x分别表示输入样本x在为当前分类模型和上一任务训练完成的模型中，特征提取模块f5的输出特征。NB为批处理中一个批次的样本数量；ki,j是一个标识符，当输入样本xi和输入样本xj属于同一个类别时为1，否则为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310745503.0A CN116797928A (zh) | 2023-06-21 | 2023-06-21 | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310745503.0A CN116797928A (zh) | 2023-06-21 | 2023-06-21 | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797928A true CN116797928A (zh) | 2023-09-22 |
Family
ID=88047679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310745503.0A Pending CN116797928A (zh) | 2023-06-21 | 2023-06-21 | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797928A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314892A (zh) * | 2023-11-27 | 2023-12-29 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
-
2023
- 2023-06-21 CN CN202310745503.0A patent/CN116797928A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314892A (zh) * | 2023-11-27 | 2023-12-29 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
| CN117314892B (zh) * | 2023-11-27 | 2024-02-13 | 中南大学 | 一种基于增量学习的太阳能电池缺陷检测持续优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388927B (zh) | 基于深度卷积孪生网络的小样本极化sar地物分类方法 | |
| CN109086700B (zh) | 基于深度卷积神经网络的雷达一维距离像目标识别方法 | |
| CN110909667B (zh) | 面向多角度sar目标识别网络的轻量化设计方法 | |
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| CN113052211B9 (zh) | 一种基于特征的秩和通道重要性的剪枝方法 | |
| CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
| CN109934166A (zh) | 基于语义分割和孪生神经网络的无人机图像变化检测方法 | |
| CN104899549A (zh) | 基于距离像时频图鉴别字典学习的sar目标识别方法 | |
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN108734199A (zh) | 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法 | |
| CN116797928A (zh) | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 | |
| CN110490894A (zh) | 基于改进的低秩稀疏分解的视频前背景分离方法 | |
| CN111178439A (zh) | 基于卷积神经网络及微调的sar图像分类方法 | |
| CN108596044B (zh) | 基于深度卷积神经网络的行人检测方法 | |
| CN109409442A (zh) | 迁移学习中卷积神经网络模型选择方法 | |
| CN114972885A (zh) | 基于模型压缩的多模态遥感图像分类方法 | |
| Yu et al. | Application of a convolutional autoencoder to half space radar hrrp recognition | |
| CN112818777B (zh) | 一种基于密集连接与特征增强的遥感图像目标检测方法 | |
| CN111860356B (zh) | 基于非线性投影字典对学习的极化sar图像分类方法 | |
| CN1472634A (zh) | 高光谱遥感图像联合加权随机分类方法 | |
| CN109558819B (zh) | 一种用于遥感图像目标检测的深度网络轻量化方法 | |
| Liang et al. | Improved YOLOv5 infrared tank target detection method under ground background | |
| CN115909086A (zh) | 基于多级增强网络的sar目标检测识别方法 | |
| CN115240078A (zh) | 一种基于轻量化元学习的sar图像小样本目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |