CN112990342B - 一种半监督sar目标识别方法 - Google Patents

Abstract

本发明公开了一种半监督SAR目标识别方法，包括：S1、获取原始训练集；S2、对原始训练集进行方位角扩充，得到扩充训练集；S3、利用扩充训练集训练CWGAN‑GP；S4、利用训练后的CWGAN‑GP生成新的训练集；S5、将新的训练集与原始训练集混合得到增强训练集；S6、利用增强训练集训练Mean‑Teacher半监督分类器直至模型收敛；S7、将待识别SAR图像输入训练后的Mean‑Teacher半监督分类器，得到识别结果。不同于一般的基于生成对抗网络数据增强方法，本发明结合了SAR目标数据的特点，在半监督条件下有标签数据缺失的情况下，实现了对SAR目标图像类别标签的扩充，实现了对数据集中缺失的方位角信息的补足，从而提高了训练集的特征丰富度，以训练得到具有更好性能的分类器，最终提高识别精度。

Description

一种半监督SAR目标识别方法

技术领域

本发明涉及SAR目标图像分类领域，具体涉及一种半监督SAR目标识别方法。

背景技术

SAR是一种全天时、全天候、高分辨率的微波遥感探测平台，并且其具有很强的穿透性，可以透过植被或地表来探测目标的信息，已被广泛应用于例如军事监测、地质勘探以及国防等军事和民用的各个领域。

基于深度学习的方法在图像识别、自然语言处理、语言识别等众多领域都有普遍的应用。深度学习应用于SAR图像目标识别领域的时间相对较晚。由于成像机理，SAR图像易受到相干斑噪声的影响，从而导致图像中产生阴影以及成像时方位角不同，使得基于深度学习方法对SAR图像目标的识别精度难以达到与对光学图像相当的水平。有研究人员提出了一种可直接从训练样本中学习判别特征的深度人工神经网络结构用于SAR目标识别。有研究人员利用卷积神经网络对SAR图像进行识别，取得了较好的实验结果，但在训练过程中进行了上万次的迭代。有研究人员将卷积神经网络引入到SAR ATR中，并提出了一种全卷积网络(All-Convolutional Networks,A-ConvNets)用于解决过拟合问题。实际中，训练集往往只包含少量有标签数据，因而是一个半监督学习问题。当训练集中有标签数据不足时，现有的这些目标识别算法就会存在很多局限，导致算法对目标的识别精度较低。

综上所述，如何在样本数据难以获取的情况下，提高半监督SAR目标识别精度，成为了本领域技术人员急需解决的问题。

发明内容

针对上述现有技术的不足，本发明实际解决的问题包括：如何在样本数据难以获取的情况下，提高半监督SAR目标识别精度。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种半监督SAR目标识别方法，包括：

S1、获取原始训练集；

S2、对原始训练集进行方位角扩充，得到扩充训练集；

S3、利用扩充训练集训练CWGAN-GP；

S4、利用训练后的CWGAN-GP生成新的训练集；

S5、将新的训练集与原始训练集混合得到增强训练集；

S6、利用增强训练集训练Mean-Teacher半监督分类器直至模型收敛；

S7、将待识别SAR图像输入训练后的Mean-Teacher半监督分类器，得到识别结果。

优选地，原始训练集为 表示类别c的第i个样本，θ_i为/>的方位角，扩充的方位角为θ_new，步骤S2包括：

S201、选择方位角与θ_new最接近的两个样本，设为与/>且有θ₁＜θ_new＜θ₂；

S202、按下式得到θ_new对应的扩充的样本

式中，Rot_θ(x)和CRot_θ(x)分别表示将SAR图像x顺时针旋转θ度和逆时针旋转θ度，Δθ表示方位角的局部变化范围。

优选地，所述Mean-Teacher半监督分类器的代价损失函数FL(p_t)如下：

式中，p_t表示样本属于类别t的概率值，α_t为类别t的平衡因子大小，γ为聚焦参数，C表示样本类别个数

综上所述，本发明与现有技术相比具有以下技术效果：

(1)基于SAR目标图像本身的特点，结合生成对抗网络强大的数据生成能力，提出基于CWGAN-GP的SAR图像数据增强方法。不同于一般的基于生成对抗网络数据增强方法，本发明结合了SAR目标数据的特点，在半监督条件下有标签数据缺失的情况下，还考虑了SAR目标方位角缺失对分类器性能的影响。本发明能够在实现对SAR目标图像类别标签扩充的情况下，还能实现对数据集中缺失的方位角信息进行补足，从而提高训练集的特征丰富度，以训练得到具有更好性能的分类器。

(2)利用Mean-Teacher半监督分类模型，实现了SAR目标图像的半监督分类。Mean-Teacher分类器由学生模型和老师模型组成，能够同时利用有标签数据和无标签数据，并且能够在学生模型的基础上根据模型参数的滑动平均得到分类性能更优的老师模型。

(3)将Mean-Teacher模型与Focal loss相结合，实现了在线难例挖掘策略以及缓解类别非平衡问题，实现分类器性能的进一步提升。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明公开的一种半监督SAR目标识别方法的一种具体实施方式的流程图；

图2为CWGAN-GP生成网络采用的网络结构图；

图3为CWGAN-GP鉴别网络采用的网络结构图；

图4为Mean-Teacher分类模型所采用的网络结构图；

图5为基于CWGAN-GP的SAR目标数据增强方法与CDCGAN生成图像的质量对比图；

图6为不同的生成图像数量对CNNs的分类性能影响示意图；

图7为本发明分类性能与其他分类器分类性能对比图。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1所示，本发明公开了一种半监督SAR目标识别方法，包括：

S1、获取原始训练集；

S2、对原始训练集进行方位角扩充，得到扩充训练集；

S3、利用扩充训练集训练CWGAN-GP；

生成对抗网络作为新提出的生成模型，使用了对抗训练的机制来训练两个神经网络，达到对真实数据的有效建模。原始的GAN并不成熟，存在许多问题，其中梯度消失和模式崩溃问题造成了GAN难以训练。CGAN(Conditional GAN)中为GAN的输入添加了额外的信息，这个额外信息可以是标签信息或是其他辅助信息。DCGAN(Deep Convolutional GAN)的提出对GAN的发展有着极大地推动作用，它将卷积神经网络与GAN结合起来，保证了生成图片的质量和多样性。Arjovsky等人提出了WGAN(Wasserstein GAN),使用Eearth-Mover代替了原始GAN模型中的Jensen-Shannon散度来度量真实样本和生成样本分布之间的距离，同时用一个评价函数f来对应GAN的鉴别网络。WGAN-GP(Wasserstein GAN with GradientPenalty)是针对WGAN为满足Lipschitz连续性条件而进行权重剪枝造成的问题而提出了一种改进模型。鉴于CGAN具有定向生成的能力，而WGAN-GP能在解决原始GAN的模式崩溃以及训练不稳定问题。因而通过像WGAN-GP中添加额外辅助信息以构成CWGAN-GP，从而实现数据定向生成同时兼具训练稳定的优点。

本发明中，基于SAR目标图像本身的特点，结合生成对抗网络强大的数据生成能力，提出基于CWGAN-GP的SAR图像数据增强方法。

在对SAR目标图像扩充方位角的基础上，将方位角扩充后的训练集用于CWGAN-GP网络的训练。生成对抗网络由鉴别网络与生成网络组成，对于CWGAN-GP鉴别网络中，联合隐含表示中将真实数据分布p_r和生成数据分布p_g与y联系起来；在生成网络中，以相同的表示将y与p(z)联系起来。用公式表示，CWGAN-GP的目标函数可写成如下形式：

其中表示生成网络生成图像，x表示真实图像数据，λ表示惩罚项系数，/>表示真实图像与生成图像之间的插值图像，用公式表示为：

且有ε～U[0,1]。网络训练完成后，可以利用生成网络来定向地生成有标签的各类SAR目标图像，且生成目标是方位角充足的。将生成的目标图像与原始训练集混合，即可实现SAR目标数据增强。

S4、利用训练后的CWGAN-GP生成新的训练集；

S5、将新的训练集与原始训练集混合得到增强训练集；

S6、利用增强训练集训练Mean-Teacher半监督分类器直至模型收敛；

在半监督分类任务中，给定有标签数据集以及无标签数据集x_i表示单个数据样本，i＝1,2,...,n，且有有标签数据集大小l和无标签数据集大小u满足l+u＝n。对于有标签数据，学生模型预测数据的类别标签的分类代价损失为：

L_{cross-entropy}(x_i,y_i,δ)＝y_ilogf(x_i,δ,η)

其中，η表示数据输入时添加的噪声项，δ表示学生模型的参数，f(x,δ)表示学生模型的输出。

对于一致性损失，对学生模型和老师模型分别添加的输入噪声分别为η和η′，用δ′表示老师模型的参数，f(x,δ′)表示老师模型的输出。从而，定义学生模型和老师模型之间的一致性损失为：

J(δ)＝E_x,η,η′[||f(x,δ′,η′)-f(x,δ,η)||²]

在实际中，可以使用均方误差函数作为无标签数据的一致性损失，使用交叉熵函数作为有标签数据的一致性损失，从而对于无标签数据有：

L_con1(δ)＝||f(x_i,δ′,η′)-f(x_i,δ,η)||²

对于有标签数据，则有：

L_con2(δ)＝f(x_i,δ,η)logf(x_i,δ′,η′)

最后，得到学生模型的总损失函数为：

其中λ₁和λ₂为超参数，用于控制一致性损失项对于总损失的贡献。在模型训练时，定义δ_t′为训练步数为t时与参数δ对应的EMA参数值，即

δ_t′＝αδ_t′_-1+(1-α)δ

其中α表示平滑因子。

S7、将待识别SAR图像输入训练后的Mean-Teacher半监督分类器，得到识别结果。

本发明所提出的半监督SAR目标识别算法如图1所示。首先，对利用基于SAR目标邻域方位角的数据合成方法对数据进行方位角扩充，得到方位角扩充后的训练集。然后，使用扩充后的训练集对CWGAN-GP进行训练，生成网络与鉴别网络的结构分别如图2和图3所示。待CWGAN-GP训练完成后，使用生成网络生成一定数量的各类SAR目标图像。进而，将生成的SAR目标数据集与原始训练集混合，得到增强后的新训练集。其次，将增强后的新训练集用于训练改进的Mean-Teacher半监督分类器直至模型收敛，模型结构如图4。最后，输入测试集到训练完成的Mean-Teacher分类器，得到分类结果。

图5给出了本发明实例生成的图像以及使用CDCGAN生成的图像同各类原始图像之间灰度直方图和方向梯度直方图的相似度对比，图5(a)为灰度直方图相似度对比，图5(b)为x方向梯度直方图相似度对比，图5(c)为y方向梯度直方图相似度对比。从图中可以看出，本发明中采取的图像生成方法所生成的SAR目标图像与原始图像间的相似度较一般的CDCGAN网络生成图像与原始图像间的相似度更高。

图6中给出了在原始数据集只包含100个有标签数据的条件下，生成不同数量的图像用于训练CNNs所产生的影响。在图中可以看到，利用本发明所生成的图像训练出的CNNs的分类性能始终优于在原始数据集下训练的CNNs性能。此外，虽然CDCGAN网络生成的图像与原始图像间的相似度也比较高，然而将其生成的图像加入到训练集中训练时，反而会使得CNNs分类器的性能恶化。因而可以证明，该发明生成的图像数据对于SAR目标分类器的训练有促进作用。

图7中给出了在训练集包含不同数量的有标签图像条件下，本发明以及其他识别算法的识别性能对比。从图中可见，本发明的识别性能远远优于现有的其他半监督SAR目标分类器，在不同半监督条件下，本发明均可保持较优的识别性能，实现对SAR目标的准确分类。

根据SAR图像的成像原理，同一目标的散射特性虽然会随方位角的变化而发生改变，但是当方位角在一个较小的局部区间内变化时，SAR目标图像的散射结构却具有一定的稳定性。基于这一特性，可以在小范围的局部方位角区间内使用旋转操作进行数据增强，从而补足一部分原始数据集中缺失的方位角特征。当原始数据集中的样本数量非常少的情况下，仅通过简单的局部区间旋转操作无法将数据集中缺失的目标方位角特征补充至全方位角。在这种情况下需要使用方位角合成的操作来实现数据增强的全方位角覆盖。具体实施时，原始训练集为 表示类别c的第i个样本，θ_i为/>的方位角，扩充的方位角为θ_new，步骤S2包括：

S201、选择方位角与θ_new最接近的两个样本，设为与/>且有θ₁＜θ_new＜θ₂；

S202、按下式得到θ_new对应的扩充的样本

式中，Rot_θ(x)和CRot_θ(x)分别表示将SAR图像x顺时针旋转θ度和逆时针旋转θ度，Δθ表示方位角的局部变化范围。

数据非平衡现象广泛存在于生活中，而所谓非平衡分类问题是指训练样本中的各类数量分布不平衡的分类问题。当传统机器学习分类方法应用于非平衡数据集时，分类器为了提高分类的整体精度，会将分类边界偏向少数样本类，导致多数类分类空间增大，少数类样本难以被识别出来。在分类任务中，难例挖掘(Hard Example Mining，HEM)是可以提高类间可鉴别度的一种常见方法。这一技术通过在分类器训练阶段添加难例，来使分类器学习到一个更好的决策边界。所谓难例，就是特征相似然而属于不同类别的样本，具体表现为代价损失大且难以训练。为解决非平衡分类和难例挖掘的问题，Lin T Y等人对交叉熵损失函数进行了改进从而提出了Focal loss(FL)。Focal loss是一种交叉熵损失，它根据分类器的分类误差来权衡每个样本对于损失值的贡献。其主要思想是，如果样本被分类器正确分类，那么该样本对损失值的贡献度应该较小，反之，被错误分类的样本对损失贡献度应该相对较大。通过这种训练策略，Focal loss能够隐式地将损失集中于那些难以训练的类别中，同时缓解类别不平衡的问题。

Focal loss(FL)是一种交叉熵损失，它根据分类器的分类误差来权衡每个样本对于损失值的贡献。对于二分类问题，FL可定义为：

其中，y∈{0,1}是样本的真实类别标签，p_t表示样本类别标签为y＝1的概率，γ≥0是用于控制调节因子(1-p_t)^γ的聚焦参数，主要作用是解决难易样本不平衡的问题。当γ＝0时，FL退化为一般的交叉熵损失。为了缓解类别不平衡的问题，FL中引入了平衡因子α_t来控制不同类别的样本对损失的贡献，从而有

在分类任务中，分类器对每一个样本给出其属于每一类的概率值大小，即有0≤p_t≤1。对于简单的易分样本，通常对应的p_t值比较大，因而简单样本的调节因子(1-p_t)^γ更小，对损失函数的贡献相对困难样本更小，从而实现在线难例挖掘。对于类别不平衡问题，对每一类样本给出不同的α_t，通常根据训练集中不同类别样本的比例来计算平衡因子，进而缓解训练时的非平衡问题。

具体实施时，所述Mean-Teacher半监督分类器的代价损失函数FL(p_t)如下：

式中，p_t表示样本属于类别t的概率值，α_t为类别t的平衡因子大小，γ为聚焦参数，C表示样本类别个数。

将多分类的FL作为Mean-Teacher模型的代价损失函数，即可实现Mean-Teacher模型框架下的难例挖掘以及非平衡分类。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (1)

1.一种半监督SAR目标识别方法，其特征在于，包括：

S1、获取原始训练集；

S2、对原始训练集进行方位角扩充，得到扩充训练集；

S3、利用扩充训练集训练CWGAN-GP；

S4、利用训练后的CWGAN-GP生成新的训练集；

S5、将新的训练集与原始训练集混合得到增强训练集；

S6、利用增强训练集训练Mean-Teacher半监督分类器直至模型收敛；

S7、将待识别SAR图像输入训练后的Mean-Teacher半监督分类器，得到识别结果；

其中，原始训练集为 表示类别c的第i个样本，θ_i为/>的方位角，扩充的方位角为θ_new，步骤S2包括：

S201、选择方位角与θ_new最接近的两个样本，设为与/>且有θ₁＜θ_new＜θ₂；

S202、按下式得到θ_new对应的扩充的样本

式中，Rot_θ(x)和CRot_θ(x)分别表示将SAR图像x顺时针旋转θ度和逆时针旋转θ度，Δθ表示方位角的局部变化范围；

在半监督分类任务中，给定有标签数据集以及无标签数据集/>x_i表示单个数据样本，i＝1,2,...,n，且有有标签数据集大小l和无标签数据集大小u满足l+u＝n；对于有标签数据，学生模型预测数据的类别标签的分类代价损失为：

L_{cross-entropy}(x_i,y_i,δ)＝y_ilog f(x_i,δ,η)

其中，η表示数据输入时添加的噪声项，δ表示学生模型的参数，f(x,δ)表示学生模型的输出；

对于一致性损失，对学生模型和老师模型分别添加的输入噪声分别为η和η′，用δ′表示老师模型的参数，f(x,δ′)表示老师模型的输出；从而，定义学生模型和老师模型之间的一致性损失为：

J(δ)＝E_x,η,η′[||f(x,δ′,η′)-f(x,δ,η)||²]

使用均方误差函数作为无标签数据的一致性损失，使用交叉熵函数作为有标签数据的一致性损失，从而对于无标签数据有：

L_con1(δ)＝||f(x_i,δ′,η′)-f(x_i,δ,η)||²

对于有标签数据，则有：

L_con2(δ)＝f(x_i,δ,η)logf(x_i,δ′,η′)

最后，得到学生模型的总损失函数为：

其中λ₁和λ₂为超参数，用于控制一致性损失项对于总损失的贡献；在模型训练时，定义δ′_t训练步数为t时与参数δ对应的EMA参数值，即

δ′_t＝αδ′_t-1+(1-α)δ

其中α表示平滑因子；

所述Mean-Teacher半监督分类器的代价损失函数FL(p_t)如下：

式中，p_t表示样本属于类别t的概率值，α_t为类别t的平衡因子大小，γ为聚焦参数，C表示样本类别个数。