CN114529766A - 基于域适应的异质异源sar目标识别方法 - Google Patents

Abstract

基于域适应的异质异源SAR目标识别方法，属于图像识别领域。包括以下步骤：1)风格图像增扩：图像输入网络后，先由浅层的卷积层提取低阶特征，包含纹理、光照等风格信息，这些风格信息可表示为特征的统计量，改变特征统计量可变换低阶特征的风格，实现图片风格化增扩；2)特征分布对齐：将步骤1)中经处理的低阶特征进一步通过深层卷积层变为高阶特征；高阶特征保留的域信息不利于对目标域SAR图像的识别工作，采用对抗学习的方式对齐源域和目标域的特征表示；3)语义图像增扩：与步骤2)同时进行，对高阶特征进行分类，识别图像是哪一个类别，并通过损失函数优化网络。采用隐式语义增扩法ISDA，在分类的同时达到语义增扩的目的。

Description

基于域适应的异质异源SAR目标识别方法

技术领域

本发明属于图像识别领域，涉及低分辨率SAR图像识别技术，尤其是涉及引入特征分布对齐、风格图像增扩和语义图像增扩技术的一种基于域适应的异质异源SAR目标识别方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波成像传感器，能对光学隐蔽目标成像，且具有全天时、全天候、远距离持续观测能力，因而成为对地观测的手段之一。对SAR图像的自动快速识别是提高雷达利用效率和价值的重要环节，也是当前SAR图像解译领域的前沿热点。

当前，得益于深度学习的快速发展，各类复杂的视觉任务都取得重大突破，也因此在SAR图像识别任务中占据着举足轻重的地位。与传统机器学习方法相比，深度学习模型更能识别到图像的高层语义信息，有效作用于下游的分类任务。然而，高效的性能依赖于广泛的数据收集和训练测试领域的分布一致性。一旦数据集来自不同的设备或成像质量不一(异源异质)，其最终的结果也会大幅下降。

对于SAR图像分辨率较低的情况，地面目标的像素信息被高度稀释，有时依靠人力也难以判断其所属类别。这使得可用于训练的可靠样本较少，因而模型很容易过拟合。另外，低分辨率的SAR图像包含的语义信息更少，大大增加特征解耦难度。

发明内容

本发明的目的在于针地现有技术存在的不同设备采集的图像质量不同，低分辨率SAR图像样本少，难以标注和训练，准确率低等问题，提供通过高分辨率图像知识迁移来帮助训练低分辨率图像，提高低分辨率SAR图像的分类精度，满足实际应用需求的一种基于域适应的异质异源SAR目标识别方法。

本发明包括以下步骤：

1)风格图像增扩：图像输入网络后，先由浅层的卷积层提取出低阶特征；这些特征包含纹理、光照等风格信息，而这些风格信息可以表示为特征的统计量，因此，改变特征统计量可以变换低阶特征的风格，实现图片风格化增扩；

2)特征分布对齐：将步骤1)中经过处理的低阶特征进一步通过深层卷积层变为高阶特征(语义特征)；高阶特征保留的域信息不利于对目标域SAR图像的识别工作，因此，本发明采用对抗学习的方式对齐源域和目标域的特征表示；

3)语义图像增扩：该步骤和步骤2)同时进行，该步骤对高阶特征进行分类，从而识别图像是哪一个类别，并通过损失函数优化网络；相较于常用的交叉熵损失函数，本发明采用隐式语义增扩法ISDA，在分类的同时达到语义增扩的目的。

在步骤1)中，所述实现图片风格化增扩的具体步骤可为：图片输入网络后，先由浅层的卷积层提取出低阶特征，特征表示为x∈R^C×H×W，其中C表示特征通道数，H(h)和W(w)分别表示特征图的高和宽。低阶特征可以解耦为风格信息和内容信息，风格信息为图片特征图的统计量，包括均值和标准差。通过对网络各层中捕获的特征进行风格混合，隐式地扩增源域的风格数目，最终正则化网络。所述风格混合采用MixStyle增扩方法，使网络在训练过程接触到更多的风格特征，MixStyle基于实例归一化IN，公式为：

式中，γ和β为学习参数，其统计量u(x)和σ(x)分别为低阶特征的均值和标准差，可以用以表示图像的风格信息。通过变换此信息可以改变图像的风格达到风格化增扩的目的。假设x和y分别表示图像A和B的低阶特征，那么对A进行增扩的公式如下：

式中，α表示调节参数，调节参数是从beta分布中采样得到。

在步骤2)中，所述特征分布对齐基于对抗学习对齐特征分布，同步训练梯度反转层和特征提取层，其具体步骤可为：步骤1)中处理后的低阶特征会进一步通过深层卷积层，变成高阶特征(语义特征)，特征表示为X∈R^C×H×W，(C，H，W的含义同上)；高阶特征包含图像的语义信息如形状、外貌等，可用以判别图像所属类别的信息。但高阶特征同时包含域独有的信息，这不利于对目标域的识别工作。因此，本发明使用梯度反转层(Gradient ReversalLayer,GRL)实现领域分类，以拉近源域和目标域的特征表示，消除特征的域独有信息。梯度反转层是一个领域分类器，用于判别样本来自源域还是目标域。高阶特征通过梯度反转层后得到分类结果，并通过损失函数计算梯度。在梯度传播的过程中，梯度反转层会将本层的误差乘以-1，也就是反转梯度，使得前面的网络层和梯度反转层学习相反的梯度。这样梯度反转层就会学习辨别高阶特征来自哪个域，而用于提取特征的卷积层会学习如何骗过梯度反转层，从而提取出和域无关的特征信息。这样的对抗训练是同步进行的，域分类损失l_adv可以表示为如下公式：

式中，N_s和N_t分别表示来自源域和目标域的样本数量，F和D分别表示特征提取器(即卷积层)和域分类器(即梯度反转层)。

在步骤3)中，所述语义图像增扩的具体步骤可为：该步骤和步骤2)同时进行。在步骤2)中所述的高阶特征需要通过分类层来识别图像的类别，并通过损失函数计算梯度，然后优化网络。通常，这一步骤的损失函数为交叉熵损失函数。为了进一步达到增扩的目的，本发明使用隐式语义增扩法ISDA作为损失函数来优化网络。ISDA首先对每个类的深度特征的协方差矩阵进行估计，捕获类内的语义变化，然后从零均值正太分布中采样数据，通过最小化增扩数据集的交叉熵损失期望的上届来实现增扩。隐式语义增扩法ISDA可表示为如下公式：

其中，λ为超参数，N表示样本数量，w和b分别表示分类层的权重和偏置，∑表示特征的协方差矩阵。

与现有技术相比，本发明的突出优点在于：

(1)不同采集设备(异源)所收集的图像质量不同(异质)，而低分辨率SAR图像更难识别，数据标注困难，可靠样本少，因此更难训练。针对低分辨率SAR图像的识别问题，本发明提出一种以域自适应为基础的网络模型框架，从高分辨率图像中学习更丰富的语义知识帮助识别低分辨率图像，通过高分辨率图像知识迁移来帮助训练低分辨率图像。本发明引入高分辨率图像协助训练，并充分挖掘高分辨率图像中的语义信息，以高分辨率图像作为源域，低分辨率图像作为目标域，应用域自适应技术有效地提高网络的鲁棒性和泛化性。由于高分辨率图像拥有更丰富的像素信息，且和低分辨率图像共享语义信息。因此，通过学习高分辨率图像中的分类知识可以有效地帮助识别低分辨率图像。

(2)本发明在传统的对齐特征分布的域自适应策略的基础上，结合增扩策略。并在风格特征和语义特征两个不同的维度上实现增扩，从而使模型学习到更多风格的低层次特征和不同语义的高层次特征。这些方法使得特征提取器和分类器同时得到了正则化学习，提高鲁棒性能，在SAR图像数据集上表现出色。

(3)本发明采用ISDA隐式语义增扩法作为交叉熵函数的一种替代，在不引入大量额外计算开销的情况下，高效、隐式地达到数据增扩的目的。

(4)本发明结合特征分布对齐和数据增扩，有效提高低分辨率图像识别准确率。并且每个步骤所对应的模块都是即插即用的，任意一个步骤都能便捷地从训练过程中添加或删除，以有效地应用于现实情况。

附图说明

图1为低分辨率SAR图像域自适应识别网络框架。

图2为高分辨率和低分辨率图例。其中，上一行为高分辨率示例图，下一行为低分辨率示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下实施例将结合附图对本发明作进一步地详细描述。

为应对实际问题中不同设备采集的图像质量不同，而低分辨率SAR图像难以标注和训练的挑战，本发明的目的是通过高分辨率图像知识迁移来帮助训练低分辨率图像。由于高分辨率图像拥有更丰富的像素信息，且和低分辨率图像共享语义信息。因此，通过学习高分辨率图像中的分类知识可以有效地帮助识别低分辨率图像。为此，本发明将低分辨率SAR图像识别任务定义为一个域自适应问题，以高分辨率图像作为源域，低分辨率图像作为目标域，应用域自适应技术提高网络的鲁棒性和泛化性。针对前述中的实际问题，本发明具体提出域自适应训练方法，该方法包括三个步骤，风格图像增扩，特征分布对齐，语义图像增扩。本发明的网络框架如图1所示。

三个步骤的具体描述如下：

1)基于特征统计量的风格增扩模块。源域的数目与分类网络的泛化性是正相关的。而域信息与风格信息高度相关。基于此理论的正则化方法可以有效提升网络的鲁棒性。对于风格转换的相关研究认为图片可以被解耦为风格信息和内容信息，而这两者可以被深度神经网络所提取的特征图所捕获。基于图像风格转换的研究报告提出图片的特征图的统计量，如均值和标准差可以表示图片的风格信息。通过对网络各层中捕获的特征进行风格混合，可以隐式地扩增源域的风格数目，并最终达到了正则化网络的目的。基于此动机，提出使用MixStyle增扩方法，使网络在训练过程接触到更多的风格特征，有利于提高模型的鲁棒性能。MixStyle的思想来源于实例归一化(IN)。IN的公式为：

式中，x为提取的特征向量，n表示一个批次中的样本数量，c表示通道数，H(h)和W(w)分别为特征图的高和宽。γ和β则为学习参数。其统计量u(x)和σ(x)可以表示为图像的风格信息。因此，通过变换此信息可以改变图像的风格达到风格化增扩的目的。以x和y分别表示图像A和B的低阶特征，对A进行增扩，公式如下：

式中，α表示调节参数，它是从beta分布中采样得到。

2)基于对抗学习的特征分布对齐模块。源域和目标域的分布差异会直接体现在特征提取器的结果上。高分辨率的源域会提取出更多冗余的语义信息，使得分类器更偏向于识别语义信息更丰富的样本而导致负迁移。而本发明的目标是提高低分辨率图像的分类精度，这种偏好显然是不利的。为了拉近两者的特征表示，通常的做法是用领域判别器对样本进行判别，然后用对抗学习的思想进行训练。领域判别器需要学习更好的判别样本来自哪个域，而特征提取器需要与之对抗学习提取出一致性更高的语义特征。不过，对抗训练是分两阶段训练特征提取器和领域分类器。本发明使用梯度反转层(Gradient ReversalLayer,GRL)实现领域分类。类似于对抗训练的思想，梯度反转层也可以视作一个领域分类器，它的功能仍然是判别样本的域并正常的计算损失函数。不同的是，在梯度传播的过程中，梯度反转层会将本层的误差乘以-1，也就是反转梯度，使得前面的网络层和梯度反转层学习相反的梯度，以实现对抗的效果。由于梯度反转层和特征提取层的训练是同步进行的，所以具有很高的效率。域分类损失可以表示为如下公式：

式中，X表示高阶(语义)特征，N_s和N_t分别表示来自源域和目标域的样本数量，F和D分别表示特征提取器(即卷积层)和域分类器(即梯度反转层)。

3)基于语义特征的隐式增扩模块。低分辨率图像由于难以标注，错误率高，其可靠的样本数量较少。但低分辨率图像和高分辨率图像共享类信息，拥有相似的语义表征。因此本发明使用隐式语义增扩法(ISDA)在高层的语义特征层面对样本进行增扩。ISDA的思想源于对深层网络可解耦图像语义的观察。在高层语义特征中，特征向量的变化可以映射为图像语义的变化。因此，通过对特征进行有意义的改变可以达到增扩的目的。为了有效的实现有意义的增扩，ISDA对每个类的深度特征的协方差矩阵进行估计，这捕获了类内的语义变化。然后从零均值正太分布中采样数据。不过，值得注意是，该方法并非显式地增加样本，而是通过最小化增扩数据集的交叉熵损失期望的上届来实现增扩。最终，只需要用一个更鲁棒的损失函数就能实现语义增扩的目的。ISDA可以表示为如下公式：

其中，λ为超参数，N表示样本数量，w和b分别表示分类层的权重和偏置，∑表示特征的协方差矩阵。ISDA作为交叉熵函数的一种替代，在不引入大量额外计算开销的情况下，隐式地达到了数据增扩的目的。

以下给出一个具体实施例。

本实施例采用在ImageNet上预训练的卷积神经网络框架ResNet-18作为基础网络，使用随机梯度下降法进行优化。初始学习率为0.001，在训练到总周期的75％时下降到0.0001。每批次喂入32张样本，总共训练30个周期，每个周期训练100个批次。同时应用标准的数据增扩方法，包括随机裁剪，随机反转和颜色变动。

为了验证本发明的有效性，采用公开SAR图像数据集MSTAR数据集进行实验。将原始数据集的训练集分为两部分，一部分为源域共2000张图片，剩余746张图片作为目标域。为构建低分辨率的数据集的目标域，将训练集分为两部分，一部分保持不变作为高分辨率源域，另一部分下采样三倍以模拟1m x 1m的低分辨率图像。同时，测试集的所有样本均下采样至1m x 1m。高分辨率和低分辨率图像样本示意图见图2。

以测试集top-1准确率作为标准。评测本发明的网络框架和基线的对比结果。实验结果如表1所示。罗马数字Ⅰ代表只用源域数据训练，然后直接在测试集上测试的结果。Ⅱ代表只用目标域数据进行训练。Ⅲ代表同时使用源域和目标域数据训练。Ⅳ代表使用源域和目标域数据训练并应用本发明的方法。从结果中可以看到，本发明的方法相对于基线方法在对目标域SAR图像的识别率上具有大幅的提升。

表1 MSTAR数据集top-1准确率

	0	1	2	3	4	5	6	7	8	9	Avg.
												Ⅰ	0.36	26.0	43.8	23.6	73.5	3.65	0.0	6.12	0.0	31.8	19.4
Ⅱ	13.1	22.4	77.0	42.1	69.4	9.12	20.5	28.6	99.6	14.6	39.5
												Ⅲ	36.5	58.2	80.3	45.6	64.3	45.6	61.9	41.8	100	20.4	55.9
Ⅳ	88.0	69.9	90.5	54.9	82.1	88.3	95.6	52.6	97.1	59.5	79.5

表2消融实验结果

为了验证各个模块的有效性，进行消融实验。结果如表2所示。可以看出，当去除任意一个模块时，结果都出现下降。证明各个模块的有效性。

本发明聚焦于当前的热门前沿领域技术，结合域自适应理论知识，缓解样本少、易过拟合等问题，提高模型的鲁棒性能。更具体地说，本发明针对低分辨率SAR图像的识别问题，将高分辨率SAR图像引入到低分辨率SAR图像的学习过程中，将前者视为源域，后者视为目标域，由此引入一种新的基于域自适应框架的异质异源SAR目标识别方法来提高分类器对低分辨率图像的识别率。通过引入高分辨率图像协助训练，并充分挖掘高分辨率图像中的语义信息，有效地提高网络的泛化性能。本发明通过对抗学习对齐源域和目标域的特征分布，将两者拉入同一个特征空间，使高分辨率图像更好地帮助训练。在传统的对齐特征分布的域自适应策略的基础上，结合增扩策略。通过混合风格特征和增扩语义特征实现数据增扩，有效地缓解低分辨率样本稀少的情况。在风格特征和语义特征两个不同的维度上实现增扩，从而使模型学习到更多风格的低层次特征和不同语义的高层次特征。这些方法使得特征提取器和分类器同时得到了正则化学习，提高鲁棒性能，在SAR图像数据集上表现出色。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于域适应的异质异源SAR目标识别方法包括以下步骤：

1)风格图像增扩：图像输入网络后，先由浅层的卷积层提取出低阶特征；所述低阶特征包含纹理、光照等风格信息，风格信息表示为特征的统计量，通过改变特征统计量即变换低阶特征的风格，实现图片风格化增扩；

2)特征分布对齐：将步骤1)中经过处理的低阶特征进一步通过深层卷积层变为高阶特征；高阶特征保留的域信息不利于对目标域SAR图像的识别工作，采用对抗学习的方式对齐源域和目标域的特征表示；

3)语义图像增扩：与步骤2)同时进行，对高阶特征进行分类，从而识别图像是哪一个类别，并通过损失函数优化网络；采用隐式语义增扩法ISDA，在分类的同时达到语义增扩的目的。

2.如权利要求1所述基于域适应的异质异源SAR目标识别方法在步骤1)中，所述实现图片风格化增扩的具体步骤为：图片输入网络后，先由浅层的卷积层提取出低阶特征，特征表示为x∈R^C×H×W，其中C表示特征通道数，H(h)和W(w)分别表示特征图的高和宽；低阶特征解耦为风格信息和内容信息，风格信息为图片特征图的统计量，包括均值和标准差；通过对网络各层中捕获的特征进行风格混合，隐式地扩增源域的风格数目，最终正则化网络；所述风格混合采用MixStyle增扩方法，使网络在训练过程接触到更多的风格特征，MixStyle基于实例归一化IN，公式为：

式中，γ和β为学习参数，其统计量u(x)和σ(x)分别为低阶特征的均值和标准差，用以表示图像的风格信息；通过变换此信息改变图像的风格达到风格化增扩的目的；假设x和y分别表示图像A和B的低阶特征，那么对A进行增扩的公式如下：

式中，α表示调节参数，调节参数是从beta分布中采样得到。

3.如权利要求1所述基于域适应的异质异源SAR目标识别方法在步骤2)中，所述特征分布对齐是基于对抗学习对齐特征分布，其具体步骤为：步骤1)中处理后的低阶特征会进一步通过深层卷积层，变成高阶特征(语义特征)，特征表示为X∈R^C×H×W，高阶特征包含图像的语义信息如形状、外貌，用以判别图像所属类别的信息；高阶特征同时包含域独有的信息，使用梯度反转层实现领域分类，以拉近源域和目标域的特征表示，消除特征的域独有信息；梯度反转层是一个领域分类器，用于判别样本来自源域还是目标域；高阶特征通过梯度反转层后得到分类结果，并通过损失函数计算梯度；在梯度传播的过程中，梯度反转层会将本层的误差乘以-1，也就是反转梯度，使得前面的网络层和梯度反转层学习相反的梯度；这样梯度反转层就会学习辨别高阶特征来自哪个域，而用于提取特征的卷积层会学习如何骗过梯度反转层，从而提取出和域无关的特征信息；这样的对抗训练是同步进行的，域分类损失l_adv表示为如下公式：

式中，N_s和N_t分别表示来自源域和目标域的样本数量，F和D分别表示特征提取器(即卷积层)和域分类器(即梯度反转层)。

4.如权利要求1所述基于域适应的异质异源SAR目标识别方法在步骤3)中，所述语义图像增扩的具体步骤为：步骤2)中的高阶特征需要通过分类层来识别图像的类别，并通过损失函数计算梯度，然后优化网络；使用隐式语义增扩法ISDA作为损失函数来优化网络；ISDA首先对每个类的深度特征的协方差矩阵进行估计，捕获类内的语义变化，然后从零均值正太分布中采样数据，通过最小化增扩数据集的交叉熵损失期望的上届来实现增扩；隐式语义增扩法ISDA表示为如下公式：

其中，λ为超参数，N表示样本数量，w和b分别表示分类层的权重和偏置，∑表示特征的协方差矩阵。

Images