CN116563636A - 一种合成孔径雷达图像生成方法及系统 - Google Patents

Abstract

本发明涉及图像生成技术领域，公开了一种合成孔径雷达图像生成方法及系统，该方法，将真实的样本数据输入到卷积神经网络中进行训练，训练完成后，对输入样例进行可视化解释，得到类激活图；然后将类激活图、高斯噪声、独热编码标签进行拼接，将拼接后的混合特征作为生成对抗网络生成器的输入；生成对抗网络的生成器与鉴别器进行对抗性博弈，生成合成孔径雷达图像。本发明解决了现有技术存在的生成图像质量差以及识别率低等问题。

Description

一种合成孔径雷达图像生成方法及系统

技术领域

本发明涉及图像生成技术领域，具体是一种合成孔径雷达图像生成方法及系统。

背景技术

近年来，生成对抗网络(Generate Adversarial Network,GAN)被提出，生成网络和鉴别网络进行博弈对抗训练，在此过程中生成网络逐步习得真实数据的分布，最终可以生成和真实数据分布相同的生成数据。GAN摒弃了传统方法中复杂费时的特征提取过程，大大提升了生成效率以及生成数据的质量。随着GAN技术的快速发展，GAN在合成孔径雷达(Synthetic Aperture Radar,SAR)图像生成中的应用越来越多。

曹宗杰等人在其申请的专利文献“一种基于深度卷积生成对抗网络的SAR图像定向生成方法”(申请公布号：CN108399625A)中提出了一种深度卷积生成对抗网络添加方位角判别模型的方法：基于SAR目标分割与边缘提取，采用边缘外接最小外接矩形法，通过计算垂直方向的北端起与最小外接矩形的最长边顺时针的夹角，作为此生成SAR图像目标的方位角，定向生成SAR图像，对于SAR图像数据集的扩充起到很大作用。

Cao.C等人在其发表的论文“A Synthetic Aperture Radar Image GenerationMethod for Automatic Target Recognition”中提出了一种标签导向生成对抗网络，利用条件生成对抗网络(Conditional GAN,CGAN)实现了定向扩展SAR图像数据集的目标，不需要手动或训练模型来标记生成的图像，这也为原始数据库信息的扩充提供了可能。

但现有技术存在以下问题：

(1)基于深度学习的SAR图像识别算法依赖神经网络在海量标签数据集上进行参数拟合获得较高的识别率。在训练数据不足的情况下，很难达到理想的识别率。由于SAR技术的特殊性，很难获取大量带标签的SAR图像。

(2)现有技术生成的SAR图像在识别任务中表现较差。

综上，现有的SAR图像生成模型无法确认生成器学习到什么特征，也无法控制生成器的倾向，导致训练过程难以控制；使用条件生成对抗网络生成SAR图像时，如果仅将类别标签作为生成器的附加输入时，生成的图像在识别任务中表现较差。

发明内容

为克服现有技术的不足，本发明提供了一种合成孔径雷达图像生成方法及系统，解决现有技术存在的生成图像质量差以及识别率低等问题。

本发明解决上述问题所采用的技术方案是：

一种合成孔径雷达图像生成方法，将真实的样本数据输入到卷积神经网络(Convolutional Neural Network,CNN)中进行训练，训练完成后，对输入样例进行可视化解释，得到类激活图；然后将类激活图、高斯噪声、独热编码标签进行拼接，将拼接后的混合特征作为生成对抗网络生成器的输入；生成对抗网络的生成器与鉴别器进行对抗性博弈，生成合成孔径雷达图像。

作为一种优选的技术方案，包括以下步骤：

S1，图像识别模型构建：采用卷积神经网络构建SAR图像识别网络模型；

S2，图像识别模型训练：在MSTAR(移动与静止目标搜索与识别)数据集上对卷积神经网络进行训练；

S3，可视化解释：对输入样例进行可视化解释，得到类激活图；

S4，CAM-C-DCGAN(类激活图约束的深度卷积条件生成对抗网络)网络模型构建：构建CAM-C-DCGAN网络模型，CAM-C-DCGAN网络模型包括生成器和鉴别器；

S5，CAM-C-DCGAN网络模型训练；

S6，图像生成：保存训练好的生成器模型，将类激活图、标签及噪声输入至保存的生成器中生成SAR图像。

作为一种优选的技术方案，步骤S1中，卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、展平层、第一全连接层、第二全连接层、第三全连接层。

作为一种优选的技术方案，步骤S2中，训练时采用随机梯度下降优化器，学习率设置为5×10^-4，动量设置为0.9，批量大小设置为64。

作为一种优选的技术方案，步骤S3中，使用Grad-CAM(梯度加权类激活映射)方法对输入样例进行可视化解释。

作为一种优选的技术方案，步骤S4中，生成器包括依次相连的第一反卷积层、第二反卷积层Deconv2、第三反卷积层Deconv3、第四反卷积层Deconv4、第五反卷积层Deconv5，第一反卷积层包括第一子反卷积层Deconv1.1、第二子反卷积层Deconv1.2、第三子反卷积层Deconv1.3，鉴别器包括依次相连的第一卷积层、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4、第五卷积层Conv5，第一卷积层包括第一子卷积层Conv1.1、第二子卷积层Conv1.2。

作为一种优选的技术方案，步骤S4中，将类激活图、高斯噪声、独热编码标签进行拼接，将拼接后的混合特征作为生成器的输入；Deconv1.1、Deconv1.2和Decoonv1.3分别将随机噪声、标签和类激活图映射到每一张特征图，在生成器中，每个卷积核的尺寸为4*4，卷积核步幅小于卷积核形状，确保两个卷积核的输出区域重叠以形成生成图像；第二反卷积层Deconv2、第三反卷积层Deconv3、第四反卷积层Deconv4、第五反卷积层Deconv5中卷积核步幅值为2，第一子反卷积层Deconv1.1、第二子反卷积层Deconv1.2、第三子反卷积层Deconv1.3中卷积核步幅为1，使生成网络输出的图像尺寸与真实输入图像保持一致。

作为一种优选的技术方案，步骤S4中，步骤S4中，第一子卷积层Conv1.1、第二子卷积层Conv1.2、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4进行特征提取，卷积核的尺寸均为4*4，步幅值都是2；在第五卷积层Conv5中，使用Sigmoid函数实现真实和虚假样本的二元分类，还将标签信息作为条件输入到鉴别器中以确定生成图像是否是某一类别的图像。

作为一种优选的技术方案，步骤S5中，使用自适应矩估计优化器训练CAM-C-DCGAN模型，对自适应矩估计优化器做如下设置：学习率lr＝0.0002，第一个动量的衰减因子beta_1＝0.5，无穷大范数的衰减因子beta_2＝0.999，批量大小为64，每次生成器迭代应用于鉴别器的步数为1。

一种合成孔径雷达图像生成系统，用于实现所述的一种合成孔径雷达图像生成方法，包括以下模块：

图像识别模型构建模块：用以，采用卷积神经网络构建SAR图像识别网络模型；

图像识别模型训练模块：用以，在MSTAR数据集上对卷积神经网络进行训练；

可视化解释模块：用以，对输入样例进行可视化解释，得到类激活图；

CAM-C-DCGAN网络模型构建模块：用以，构建CAM-C-DCGAN网络模型，CAM-C-DCGAN网络模型包括相生成器和鉴别器；

CAM-C-DCGAN网络模型训练模块：用以，训练CAM-C-DCGAN网络模型；

图像生成模块：用以，保存训练好的生成器模型，将类激活图、标签及噪声输入保存的生成器中生成SAR图像。

本发明相比于现有技术，具有以下有益效果：

(1)本发明针对生成模型训练困难以及生成图像质量较差的问题，对CGAN的输入进行改进，提出了基于类激活映射(Class Activation Mapping,CAM)方法的CAM-C-DCGAN(CAM Conditional Deep Convolutional GAN)模型，该模型利用分类器正确分类的表征可视化特征，在一定程度上控制了生成器的学习趋势，提高了训练效率以及生成SAR图像的质量；

(2)本发明将分类模型的解释结果与生成对抗网络模型相结合，在C-DCGAN的生成器中加入分类模型的类激活图信息；CAM方法生成的类激活图作为对分类模型决策依据的可视化解读，包含分类器将图像分类为正确类别最重要的语义信息。CAM-C-DCGAN利用分类器正确分类的表征可视化特征，在一定程度上控制了生成器的学习趋势，提高了训练效率；

(3)本发明生成的SAR图像与普通生成模型生成的SAR图像相比，在视觉质量、真实性、多样性和实际可应用性等方面均与真实SAR图像更接近；可以作为一种新的数据生成方法来解决SAR图像识别应用中数据稀缺不足的问题，从而提高SAR图像分类性能。

附图说明

图1为基于CAM-C-DCGAN生成SAR图像的整体框架的结构示意图；

图2为CNN结构示意图；

图3为CAM-C-DCGAN架构图；

图4为混合实验结果图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例1

如图1至图4所示，本发明针对生成模型训练困难以及生成图像质量较差的问题，对CGAN的输入进行改进，提出了基于CAM方法的CAM-C-DCGAN模型，该模型利用分类器正确分类的表征可视化特征，在一定程度上控制了生成器的学习趋势，提高了训练效率以及生成SAR图像的质量。

本发明提供一种基于CAM-C-DCGAN模型的SAR图像生成方案，通过多重约束生成高质量、多类别的SAR图像。该发明将分类模型的解释结果与生成对抗网络模型相结合，在C-DCGAN的生成器中加入分类模型的类激活图信息，如图1所示，具体实现如下：

步骤1：构建SAR图像识别网络模型。

采用卷积神经网络作为识别网络。CNN采用图2中的架构，采用两个卷积层和两个池化层进行特征提取，另有3层全连接层进行分类映射。具体结构参数如表1所示。

表1CNN网络结构及参数表

步骤2：在MSTAR数据集上对CNN进行训练。

训练时，采用随机梯度下降优化器，学习率设置为5×10^-4，动量设置为0.9，批量大小为64。

步骤3：使用Grad-CAM方法对输入样例进行可视化解释，得到类激活图，类激活图包含图像中对分类最重要的特征表示。

步骤4：构建CAM-C-DCGAN网络模型，网络架构如图3所示。生成器和鉴别器详细的网络结构与参数列于表2中。

表2CAM-C-DCGAN网络结构及参数表

具体包括：

(1)将类激活图和高斯噪声以及独热编码标签进行拼接，高斯噪声的维度为100，标签信息维度为10，类激活图的维度为64。将拼接后的混合特征作为生成器的输入。

(2)生成器由五个反卷积层组成。Deconv1.1、Deconv1.2和Decoonv1.3分别将随机噪声、标签和类激活图映射到每一张特征图，在生成器中，每个卷积核的尺寸为4*4，没有完全连接或池化层，取而代之的是分数跨步卷积实现上采样。卷积核步幅必须小于卷积核形状，确保两个卷积核的输出区域重叠以形成生成图像。大多数卷积核步幅值为2，但是在反卷积层1中，卷积核步幅为1，使生成网络输出的图像尺寸与真实输入图像保持一致。

(3)鉴别器由五个卷积层组成。在最后一个卷积层之前，有四个卷积层进行特征提取，卷积核的尺寸均为4*4，步幅值都是2。所有卷积层之后的池化层被跨步卷积所取代，有利于网络学习其空间下采样。在最后一层中，使用Sigmoid函数实现真实和虚假样本的二元分类。类别标签信息不仅是作为生成图像所属类别的重要信息，而且是鉴别网络形成类间决策边界划分的基础。因此，为了确定生成图像是否是有向生成，还将标签信息作为条件输入到鉴别器中以确定生成图像是否是某一类别的图像。

步骤5：训练CAM-C-DCGAN模型。

使用自适应矩估计优化器，学习率lr＝0.0002，第一个动量的衰减因子beta_1＝0.5，无穷大范数的衰减因子beta_2＝0.999，批量大小为64，每次生成器迭代应用于鉴别器的步数为1。

步骤6：保存生成器模型，输入类激活图、标签及噪声生成SAR图像。

本发明方案主要包括两大部分：分类网络的可视化解释以及生成对抗网络的训练。将真实的样本数据输入到CNN中进行训练，训练完成后，使用Grad-CAM方法对输入样例进行可视化解释，得到类激活图，类激活图包含图像中对分类最重要的特征表示。然后将类激活图和高斯噪声以及独热编码标签进行拼接，将拼接后的混合特征作为生成器的输入。生成器与鉴别器进行对抗性博弈，生成高质量的图像。通过结合分类网络、生成器、鉴别器，生成高质量、多类别的SAR图像作为原始数据集的补充。

本发明将分类模型的解释结果与生成对抗网络模型相结合，在C-DCGAN的生成器中加入分类模型的类激活图信息。Grad-CAM方法生成的类激活图作为对分类模型决策依据的可视化解读，包含分类器将图像分类为正确类别最重要的语义信息。CAM-C-DCGAN利用分类器正确分类的表征可视化特征，在一定程度上控制了生成器的学习趋势，提高了训练效率。

以下结合仿真实验，对本发明的技术效果作以说明。

实验一：GAN-test实验

MSTAR作为训练集，训练图1所示的分类网络，然后分别在C-DCGAN和CAM-C-DCGAN生成的图像上进行测试，得到的分类精度如表3所示。

表3 GAN-test结果表

图像生成模型	C-DCGAN	CAM-C-DCGAN
			识别率(％)	70.87	82.02

从表3中可以看出，由CAM-C-DCGAN生成的图像在原始数据集训练的分类网络上取得了更高的识别精度，说明将类激活图信息加入生成对抗网络的训练中可以使生成器挖掘到图像中更多的用于分类的特征，从而提升生成图像的真实性。

实验二：GAN－train实验

分别使用由C-DCGAN和CAM-C-DCGAN生成的图像训练两个分类网络，然后在两个网络上对原始的MSTAR数据集进行测试，得到分类精度。结果如表4所示。

表4 GAN-train结果表

图像生成模型	C-DCGAN	CAM-C-DCGAN
			识别率(％)	56.83	68.85

在该实验中，由CAM-C-DCGAN生成图像训练的模型对真实图像的识别率更高，说明CAM-C-DCGAN生成的图像不仅学习了真实样本的特征，而且保留了更多的类别信息；相比之下，C-DCGAN模型的GAN-train结果较差，说明生成的图像中包含的类别信息较少。这说明类激活图中确实包含模型的分类依据，将其加入到生成对抗网络的训练中后，类激活图中包含的决策信息可以指导模型学习更多的类别信息。

实验三：混合实验

首先从真实训练样本中随机选择100个样本(每类各10张)。然后，以100个样本为一批(每类各10张)，将真实样本和两种生成的样本分批添加到训练样本中，重新训练模型，观察不同类型的训练样本对识别率的影响。实验结果如图4所示。

将CAM-C-DCGAN生成的样本添加到训练样本中时，识别率显著增加，随着样本量逐渐增加，识别率趋于不变，最终稳定在70％左右。由于真实样本是混合的，C-DCGAN模型的性能也有了提高，但不如CAM-C-DCGAN模型性能提升显著，CAM-C-DCGAN最终达到的识别率也更高，表明所提出的模型生成图像具有很好的辅助SAR图像识别的能力。本发明生成的SAR图像与普通生成模型生成的SAR图像相比，在视觉质量、真实性、多样性和实际可应用性等方面均与真实SAR图像更接近。可以作为一种新的数据生成方法来解决SAR图像识别应用中数据稀缺不足的问题，从而提高SAR图像分类性能。

图1展示了基于CAM-C-DCGAN生成SAR图像的整体框架，主要包括两大部分：分类网络的可视化解释以及生成对抗网络的训练。将真实的样本数据输入到CNN中进行训练，训练完成后，得到识别率为96.59％的CNN。使用Grad-CAM方法对输入样例进行可视化解释，得到类激活图，类激活图包含图像中对分类最重要的特征表示。然后将类激活图和高斯噪声以及独热编码标签进行拼接，将拼接后的混合特征作为生成器的输入。生成器与鉴别器进行对抗性博弈，生成高质量的图像。

图2展示了CNN结构，采用两个卷积层和两个池化层进行特征提取，另有3层全连接层进行分类映射。

图3展示了CAM-C-DCGAN架构，CAM-C-DCGAN生成器的输入包含三部分：分别是高斯白噪声、独热编码的标签信息和类激活图。高斯噪声的维度为100，标签信息维度为10。为了减少模型参数，降低训练难度，没有直接采用CAM热图，而是没有经过上采样的类激活图，类激活图的维度为64。输入层接收到这三个输入后，经过第一层反卷积层映射为4*4大小的特征图，然后将第一个反卷积层输出的特征图进行拼接，输入到后续的反卷积层中。

针对高质量数据在基于深度学习的SAR图像识别方法中的稀缺问题，本发明以类激活映射方法提取出的决策显著性区域作为指导信息，基于生成对抗网络研究SAR图像的生成。利用分类器正确分类的表征可视化特征对生成对抗网络中生成器的输入进行多重约束，控制了生成器的学习趋势，可以生成高质量的SAR图像，提高生成图像的实际应用价值。可以作为一种新的数据生成方法来解决SAR图像识别应用中数据稀缺不足的问题，从而提高SAR图像分类性能。

如上所述，可较好地实现本发明。

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种合成孔径雷达图像生成方法，其特征在于，将真实的样本数据输入到卷积神经网络中进行训练，训练完成后，对输入样例进行可视化解释，得到类激活图；然后将类激活图、高斯噪声、独热编码标签进行拼接，将拼接后的混合特征作为生成对抗网络生成器的输入；生成对抗网络的生成器与鉴别器进行对抗性博弈，生成合成孔径雷达图像。

2.根据权利要求1所述的一种合成孔径雷达图像生成方法，其特征在于，包括以下步骤：

S1，图像识别模型构建：采用卷积神经网络构建SAR图像识别网络模型；

S2，图像识别模型训练：在MSTAR数据集上对卷积神经网络进行训练；

S3，可视化解释：对输入样例进行可视化解释，得到类激活图；

S4，CAM-C-DCGAN网络模型构建：构建CAM-C-DCGAN网络模型，CAM-C-DCGAN网络模型包括生成器和鉴别器；

S5，CAM-C-DCGAN网络模型训练；

S6，图像生成：保存训练好的生成器模型，将类激活图、标签及噪声输入至保存的生成器中生成SAR图像。

3.根据权利要求2所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S1中，卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、展平层、第一全连接层、第二全连接层、第三全连接层。

4.根据权利要求3所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S2中，训练时采用随机梯度下降优化器，学习率设置为5×10^-4，动量设置为0.9，批量大小设置为64。

5.根据权利要求4所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S3中，使用Grad-CAM方法对输入样例进行可视化解释。

6.根据权利要求2至5任一项所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S4中，生成器包括依次相连的第一反卷积层、第二反卷积层Deconv2、第三反卷积层Deconv3、第四反卷积层Deconv4、第五反卷积层Deconv5，第一反卷积层包括第一子反卷积层Deconv1.1、第二子反卷积层Deconv1.2、第三子反卷积层Deconv1.3，鉴别器包括依次相连的第一卷积层、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4、第五卷积层Conv5，第一卷积层包括第一子卷积层Conv1.1、第二子卷积层Conv1.2。

7.根据权利要求6所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S4中，将类激活图、高斯噪声、独热编码标签进行拼接，将拼接后的混合特征作为生成器的输入；Deconv1.1、Deconv1.2和Decoonv1.3分别将随机噪声、标签和类激活图映射到每一张特征图，在生成器中，每个卷积核的尺寸为4*4，卷积核步幅小于卷积核形状，确保两个卷积核的输出区域重叠以形成生成图像；第二反卷积层Deconv2、第三反卷积层Deconv3、第四反卷积层Deconv4、第五反卷积层Deconv5中卷积核步幅值为2，第一子反卷积层Deconv1.1、第二子反卷积层Deconv1.2、第三子反卷积层Deconv1.3中卷积核步幅为1，使生成网络输出的图像尺寸与真实输入图像保持一致。

8.根据权利要求7所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S4中，第一子卷积层Conv1.1、第二子卷积层Conv1.2、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4进行特征提取，卷积核的尺寸均为4*4，步幅值都是2；在第五卷积层Conv5中，使用Sigmoid函数实现真实和虚假样本的二元分类，还将标签信息作为条件输入到鉴别器中以确定生成图像是否是某一类别的图像。

9.根据权利要求8所述的一种合成孔径雷达图像生成方法，其特征在于，步骤S5中，使用自适应矩估计优化器训练CAM-C-DCGAN模型，对自适应矩估计优化器做如下设置：学习率lr＝0.0002，第一个动量的衰减因子beta_1＝0.5，无穷大范数的衰减因子beta_2＝0.999，批量大小为64，每次生成器迭代应用于鉴别器的步数为1。

10.一种合成孔径雷达图像生成系统，其特征在于，用于实现权利要求1至9任一项所述的一种合成孔径雷达图像生成方法，包括以下模块：

图像识别模型构建模块：用以，采用卷积神经网络构建SAR图像识别网络模型；

图像识别模型训练模块：用以，在MSTAR数据集上对卷积神经网络进行训练；

可视化解释模块：用以，对输入样例进行可视化解释，得到类激活图；

CAM-C-DCGAN网络模型构建模块：用以，构建CAM-C-DCGAN网络模型，CAM-C-DCGAN网络模型包括生成器和鉴别器；

CAM-C-DCGAN网络模型训练模块：用以，训练CAM-C-DCGAN网络模型；

图像生成模块：用以，保存训练好的生成器模型，将类激活图、标签及噪声输入保存的生成器中生成SAR图像。