CN112070123A - 小样本sar图像识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了小样本SAR图像识别方法、装置及存储介质，其中方法包括特征提取和分类识别；对特征提取网络进行参数优化包括：对批样本SAR图像添加实例标签；数据增强；对增强数据进行以含温度系数的交叉熵损失作为目标函数的实例标签识别以及对特征通过优化动态权重方差损失进行特征聚类直至网络收敛；微调网络权重。其能灵活调整条项样本特征之间的距离，控制对比学习的强度，适用于SAR图像识别领域。

Description

小样本SAR图像识别方法、装置及存储介质

技术领域

本发明涉及图像识别领域，特别是小样本SAR图像识别方法、装置及存储介质。

背景技术

对比学习在图像识别领域得到广泛应用。对比学习流程如下：假设一个批样本包含N张图片，分别随机对每张图片进行两次数据增强处理，每张图片会得出两张新的图像，总共会得出2N张新图像，作为后续网络输入进行训练；经过特征提取网络进行编码后，产生2N个特征；对于来自于相同图像的两张不同视图的特征距离越近越好，这个过程称为“吸引”；而对于不同图像的两张不同视图的特征距离应该越远越好，这个过程称为“排斥”；将上述两个过程作为对比学习的目标函数进行无监督特征学习。

然而，在SAR图像领域中，SAR图像由合成孔径雷达系统拍摄采集的图像，类间与类内存在大量相似样本。沿用以往对比学习架构将会使相似样本之间的表征距离扩大，不利于SAR图像等细粒度数据集进行无监督特征学习，难以实现小样本SAR图像识别任务。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供小样本SAR图像识别方法、装置及存储介质。

本发明解决其问题所采用的技术方案是：

本发明第一方面，小样本SAR图像识别方法，包括以下步骤：

将实时SAR图像输入至经参数优化的特征提取网络进行特征提取，得到图像特征；

将所述图像特征输入至分类器进行分类，得到识别结果；

其中对所述特征提取网络进行参数优化包括以下步骤：

对批样本SAR图像添加实例标签得到第一图像；

对所述第一图像进行k次数据增强得到k批第二图像；

每次输入一批所述第二图像至所述特征提取网络进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，将所述特征提取网络对该批所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，重复输入k批所述第二图像直至所述特征提取网络收敛；

通过有标注的SAR图像对收敛的所述特征提取网络进行权重微调。

根据本发明的第一方面，所述有标注的SAR图像是对多个无标注SAR图像数据进行人工标注得到的。

根据本发明的第一方面，在所述实例标签识别的过程中，所述第二图像具有实例标签的概率为：

其中n是所述特征提取网络的全连接层的层数，i∈n，j∈n，v是所述特征提取网络对所述第二图像提取的特征，w_i是所述特征提取网络的全连接层的权重，T为温度系数。

根据本发明的第一方面，所述含温度系数的交叉熵损失具体为：

根据本发明的第一方面，通过所述第二图像具有实例标签的概率P(i∣v)控制所述第二图像在特征空间中的距离。

根据本发明的第一方面，所述将特征提取网络对该批所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，通过下式表示：

f_ij表示所述特征提取网络的平均池化层的特征编码，weight(t)表示用于动态调节损失大小的动态权重。

根据本发明的第一方面，μ通过下式表示：

根据本发明的第一方面，weight(t)通过下式表示：

其中t为训练时间，α_f是weight(t)的最大值，T₁和T₂是设定的时间阈值。

本发明的第二方面，小样本SAR图像识别装置，包括：

输入层，用于输入图像；

特征提取网络，用于将实时SAR图像进行特征提取得到图像特征；分类器，用于将所述图像特征进行分类得到识别结果；以及用于对所述特征提取网络进行参数优化的参数优化模块，包括：实例标签添加模块，用于对批样本SAR图像添加实例标签得到第一图像；

数据增强模块，用于对所述第一图像进行k次数据增强得到k批第二图像；

主优化模块，用于通过第二图像对所述特征提取网络进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，用于对所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，用于通过重复进行实例标签识别和特征聚类训练所述特征提取网络至收敛；

微调模块，用于通过有标注的SAR图像对收敛的所述特征提取网络进行权重微调。

本发明的第三方面，存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如本发明第一方面所述的小样本SAR图像识别方法。

上述方案至少具有以下的有益效果:能够灵活调整条项样本特征之间的距离，控制对比学习的强度，适用于SAR图像识别领域；解决了以往对比学习架构将会使相似样本之间的表征距离扩大，不利于SAR图像等细粒度数据集进行无监督特征学习的问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例小样本SAR图像识别方法的基本流程图；

图2是对特征提取网络进行参数优化的流程图；

图3是本发明实施例小样本SAR图像识别装置的结构图；

图4是图3中的特征提取网络的结构图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1和图2，本发明的一个实施例，提供了小样本SAR图像识别方法，包括以下步骤：

步骤S100、将实时SAR图像输入至经参数优化的特征提取网络20进行特征提取，得到图像特征；

步骤S200、将图像特征输入至分类器30进行分类，得到识别结果；

其中，步骤S300、对特征提取网络20进行参数优化包括以下步骤：

步骤S310、对批样本SAR图像添加实例标签得到第一图像；

步骤S320、对第一图像进行k次数据增强得到k批第二图像；

步骤S330、每次输入一批第二图像至特征提取网络20进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，将特征提取网络20对该批第二图像提取的特征通过优化动态权重方差损失进行特征聚类，重复输入k批第二图像直至特征提取网络20收敛；

步骤S340、通过有标注的SAR图像对收敛的特征提取网络20进行权重微调。

在该实施例中，能够灵活调整条项样本特征之间的距离，控制对比学习的强度，适用于SAR图像识别领域；解决了以往对比学习架构将会使相似样本之间的表征距离扩大，不利于SAR图像等细粒度数据集进行无监督特征学习的问题。

进一步，有标注的SAR图像是对多个无标注SAR图像数据进行人工标注得到的。具体地，从大量的无标注SAR图像数据中挑选清晰的像素值在70*70以上的SAR图像进行人工标注。通过本实施例中使用的小样本弱监督对比学习，能减少人工标注数据的使用，通过对少量人工标注数据达到预测大量无标注数据的效果。

进一步，实例标签识别过程相当于对比学习中的“排斥”过程，但通过实例标签识别能有效解决对比学习SAR图像上应用时出现的特征距离过大的问题。在实例标签识别的过程中，特征提取网络20对每个第二图像进行特征提取获得每个第二图像对应的特征，则有每个第二图像具有实例标签的概率为：

为了控制第二图像在特征空间的距离，引入温度系数T，温度系数T能有效调节对比学习的强度。则有第二图像具有实例标签的概率为：

其中n是特征提取网络20的全连接层23的层数，i∈n，j∈n，v是特征提取网络20对第二图像提取的特征，w_i是特征提取网络20的全连接层23的权重，T为温度系数。

需要说明的是，温度系数T与置信度相关，当T越大，概率分布更平滑，置信度越高，特征距离越大；当T越大，概率分布更曲折，置信度越低，特征距离越小。T可以实现第二图像特征距离之间的灵活调整。

进一步，尽管可以通过控制温度系数T来调整对比学习的强度，但不合适的温度系数仍然会削弱对比学习的强度。通过最小化交叉熵损失能有效减小其带来的损害，其中含温度系数的交叉熵损失具体为：

进一步，由于对第二图像实行k次数据增强，在对比学习的“吸引”阶段需要考虑k批样本，使得对两两样本之间的距离进行优化则需要庞大的计算量，为此需进行特征聚类。

将特征提取网络20对该批第二图像提取的特征通过优化动态权重方差损失进行特征聚类，能通过下式表示：

f_ij表示特征提取网络20的平均池化层22的特征编码，weight(t)表示用于动态调节损失大小的动态权重。

具体地，μ通过下式表示：

具体地，weight(t)通过下式表示：

其中t为训练时间，α_f是weight(t)的最大值，T₁和T₂是设定的时间阈值。需要说明的是，当模型无法区分不同样本时，使用较大的权重以最小化损失，则损失将迅速使其接近0，模型陷入平凡解，严重损害无监督特征学习。另外如果权重太小，则将无法从无标注的数据中学习有效的视觉特征。因此需要在训练初期赋予低权值，当模型能够有效区分样本时，才逐渐增大权重。在t在0-T₁时，模型尚不能区分具有实例标签的第二图像，因此weight(t)设置为0；当区分性能趋于稳定即t在T₁-T₂，线性提高权重值，最后区分性能稳定，weight(t)达到最大值α_f。

参照图3和图4，本发明的另一个实施例，小样本SAR图像识别装置，包括：

输入层10，用于输入图像；

特征提取网络20，用于将实时SAR图像进行特征提取得到图像特征；特征提取网络20是在神经网络21后连接池化层22和全连接层23；

分类器30，用于将图像特征进行分类得到识别结果；以及用于对特征提取网络20进行参数优化的参数优化模块40，包括：

实例标签添加模块41，用于对批样本SAR图像添加实例标签得到第一图像；

数据增强模块42，用于对第一图像进行k次数据增强得到k批第二图像；

主优化模块43，用于通过第二图像对特征提取网络20进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，用于对第二图像提取的特征通过优化动态权重方差损失进行特征聚类，，用于通过重复进行实例标签识别和特征聚类训练特征提取网络20至收敛；

微调模块44，用于通过有标注的SAR图像对收敛的特征提取网络20进行权重微调。

该小样本SAR图像识别装置，应用如方法实施例所述的小样本SAR图像识别方法，经各个模块的配合，能执行小样本SAR图像识别方法的各个步骤，具有相同的技术效果，在此不再详述。

本发明的有一个实施例，存储介质存储有可执行指令，可执行指令能被计算机执行，使计算机执行如方法实施例所述的小样本SAR图像识别方法。

存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.小样本SAR图像识别方法，其特征在于，包括以下步骤：

将实时SAR图像输入至经参数优化的特征提取网络进行特征提取，得到图像特征；

将所述图像特征输入至分类器进行分类，得到识别结果；

其中对所述特征提取网络进行参数优化包括以下步骤：

对批样本SAR图像添加实例标签得到第一图像；

对所述第一图像进行k次数据增强得到k批第二图像；

每次输入一批所述第二图像至所述特征提取网络进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，将所述特征提取网络对该批所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，重复输入k批所述第二图像直至所述特征提取网络收敛；

通过有标注的SAR图像对收敛的所述特征提取网络进行权重微调。

2.根据权利要求1所述的小样本SAR图像识别方法，其特征在于，所述有标注的SAR图像是对多个无标注SAR图像数据进行人工标注得到的。

3.根据权利要求1所述的小样本SAR图像识别方法，其特征在于，在所述实例标签识别的过程中，所述第二图像具有实例标签的概率为：

其中n是所述特征提取网络的全连接层的层数，i∈n，j∈n，v是所述特征提取网络对所述第二图像提取的特征，w_i是所述特征提取网络的全连接层的权重，T为温度系数。

4.根据权利要求3所述的小样本SAR图像识别方法，其特征在于，所述含温度系数的交叉熵损失具体为：

5.根据权利要求3所述的小样本SAR图像识别方法，其特征在于，通过所述第二图像具有实例标签的概率P(i∣v)控制所述第二图像在特征空间中的距离。

6.根据权利要求1所述的小样本SAR图像识别方法，其特征在于，所述将特征提取网络对该批所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，通过下式表示：

f_ij表示所述特征提取网络的平均池化层的特征编码，weight(t)表示用于动态调节损失大小的动态权重。

7.根据权利要求6所述的小样本SAR图像识别方法，其特征在于，μ通过下式表示：

8.根据权利要求6所述的小样本SAR图像识别方法，其特征在于，weight(t)通过下式表示：

其中t为训练时间，α_f是weight(t)的最大值，T₁和T₂是设定的时间阈值。

9.小样本SAR图像识别装置，其特征在于，包括：

输入层，用于输入图像；

特征提取网络，用于将实时SAR图像进行特征提取得到图像特征；

分类器，用于将所述图像特征进行分类得到识别结果；以及

用于对所述特征提取网络进行参数优化的参数优化模块，包括：

实例标签添加模块，用于对批样本SAR图像添加实例标签得到第一图像；

数据增强模块，用于对所述第一图像进行k次数据增强得到k批第二图像；

主优化模块，用于通过第二图像对所述特征提取网络进行以含温度系数的交叉熵损失作为目标函数的实例标签识别，用于对所述第二图像提取的特征通过优化动态权重方差损失进行特征聚类，用于通过重复进行实例标签识别和特征聚类训练所述特征提取网络至收敛；

微调模块，用于通过有标注的SAR图像对收敛的所述特征提取网络进行权重微调。

10.存储介质，其特征在于，所述存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至8任一项所述的小样本SAR图像识别方法。

Images