CN110363215A - 基于生成式对抗网络的sar图像转化为光学图像的方法 - Google Patents

Abstract

本发明公开了一种基于生成式对抗网络的SAR图像转化为光学图像的方法，利用深度学习和图像处理方法完成SAR图像到光学图像转化的技术，通过分割和再拼接，完成将大幅SAR图像转化为便于理解的光学图像的任务。本发明能够实现人工干预工作量大大减少，根据待处理场景的特点完成SAR图像的自动转化，图像细节部分处理效果较好，转化结果图像在保持地物空间结构信息方面与SAR图像保持一致，在纹理、色调和光谱等方面非常接近目标图像的效果。

Description

基于生成式对抗网络的SAR图像转化为光学图像的方法

技术领域

本发明属于图像处理技术领域，是利用深度学习和图像处理方法完成SAR图像到光学图像转化的技术，通过分割和再拼接，完成将大幅SAR图像转化为便于理解的光学图像的任务。

背景技术

遥感图像解译领域，常见的是多源遥感图像的转换和应用，而其中SAR图像和光学遥感图像的结合应用以图像融合为主，将SAR图像转化为光学图像的研究成果较少。光学图像和SAR图像之间优势的互补处很多，完成SAR图像转化为光学图像的任务可以实现对SAR图像信息的理解和提取，在如地震、山体滑坡等灾害应急处理场合有很大的应用价值。

传统的将SAR图像向光学图像转化的任务是采用遥感影像翻译技术实现SAR影像典型目标向光学影像的转化和表达，即先对地面典型目标进行分类，并构建分类翻译知识库，随后在各知识库中，利用特征提取算法记录地物样本的光谱统计特征、纹理特征、形状统计特征，采用机器学习算法将上述特征作为样本数据进行学习和训练，构建完整的分类模型库；最后根据学习结果，结合专家人工转化的翻译结果，制定对于不同地物目标的翻译规则，确定不同地物的特征转换规则和映射关系。随后利用欧式距离或相关系数计算翻译好的光学图像结果与目标光学图像的相似性度量值，对该指标较高的翻译结果作为示例，构建翻译示例库，以供后续工作参考。该方法相较于深度学习方法，人工干预性强，对得到的原始SAR图像需要进行繁杂的预处理步骤，对复杂区域，即地物目标数量较多的场景转化效果不佳，图像的局部细节信息处理手段较少，因而翻译结果失真。

目前有以下几种利用深度学习方法来获取与待处理SAR图像对应的光学图像的方法。如利用传统的对抗生成网络(GAN)方法完成这一任务，经验证，该方法主要根据SAR图像中的形状或阴影信息生成光学图像，而无法准确还原图像整体的颜色信息，同时对具有相似形状的物体对象会估计为相同的颜色，转化得到的光学图像质量低。再如之前被提出的通过改进pix2pix网络，完成将多光谱光学图像和SAR图像融合，从而去除云雾遮挡的SAR-OPT-cGAN方法，其通过使用与多光谱图像联合生成的SAR图像，代替近红外数据，作为记录被云雾覆盖地区的辅助性的信息被使用，对被遮挡地区部分重新建模，生成消除云雾遮挡后的多光谱光学数据。该方法虽然降低光学遥感数据的噪声，但需要应用大量数据集才能达到较好的融合效果。且方法实施过程中需要同时使用SAR图像和光学图像，以此提升算法运行的性能优势。而仅仅使用原始pix2pix网络模型完成将SAR图像转化为光学图像的任务效果不佳，该网络模型处理过程中无法完成像素级配准的任务，生成图像细节部分模糊，可读信息较少。且由于SAR图像具有和光学图像不同的成像角度，图像转化结果中不可避免的会出现几何畸变现象，从而无法从结果图像中获取原图像记录的地物信息。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于生成式对抗网络的SAR图像转化为光学图像的方法。本发明方法与现有技术相比，能够实现人工干预工作量大大减少，根据待处理场景的特点完成SAR图像的自动转化，图像细节部分处理效果较好，转化结果图像在保持地物空间结构信息方面与SAR图像保持一致，在纹理、色调和光谱等方面非常接近目标图像的效果。

为了实现上述技术目的，本发明采用如下技术方案：

一种基于生成式对抗网络的SAR图像转化为光学图像的方法，

在训练阶段，首先构建SAR图像场景分类数据集和构造残差神经网络SAR图像场景分类模型，并采用构建的SAR图像场景分类数据集训练残差神经网络SAR图像场景分类模型；

然后构建不同场景下的像素级配准的SAR图像和光学图像对数据集，同时构造生成式对抗网络图像转化模型，采用不同场景下的SAR图像和光学图像对数据集训练所述生成式对抗网络模型，得到多个不同场景下训练好的生成式对抗网络模型；

在测试阶段，首先对整幅SAR图像进行无重叠的分割，得到多个SAR图像块，再采用训练好的残差神经网络SAR图像场景分类模型对所述SAR图像块进行场景分类，然后根据每个SAR图像块的分类结果选取不同的生成式对抗网络模型把SAR图像块转化为光学图像块，最后对转化后的光学图像块进行拼接得到最终的拼接结果。

所述训练阶段具体包括以下步骤：

S1、构建SAR图像场景分类数据集；

S2、构造残差神经网络SAR图像场景分类模型；

S3、残差神经网络SAR图像场景分类模型训练，得到训练好的残差神经网络SAR图像场景分类模型；

S4、构建不同场景下的像素级配准SAR图像和光学图像对数据集，并随机抽取各集合下70％的图像对作为训练样本集，其余的图像对作为测试样本；

S5、构造不同场景下的生成式对抗网络图像转化模型，即通过调整已被提出应用于从语义标签图中生成逼真的高分辨率图像任务的PIX2PIX-HD网络结构，抛弃其中原有的语义标签图生成器结构和标签判别结构，来构造用于完成图像转化任务的SAR2OPT-GAN模型；

S6、整幅SAR图像进行无重叠分块处理，得到待转化的多幅SAR图像块；

S7、使用训练好的残差神经网络SAR图像场景分类模型对步骤S6得到的SAR图像块进行场景分类，得出SAR图像块所属类别对应的图像标签；

S8、根据分类结果选取不同的GAN模型参数进行图像转化，根据步骤S7中得到的图像标签，选取对应的场景分类模型，载入模型，将待处理图像输入到训练好的网络中，进行图像转化，得到合成的多块光学图像块；

S9、将步骤S8中得到的光学图像块按原对应顺序进行无缝拼接，得到合成的整幅光学图像。

步骤S5具体包括以下步骤：

S5.1、随机初始化全局生成器G_A，局部生成器G_B，多尺度判别器D的网络参数；

S5.2、设置生成网络的结构与判别网络的结构，其中生成网络由全局生成器G_A和局部生成器G_B组成，判别网络由多尺度判别器组成，生成网络和判别网络共同组成条件生成式对抗网络；

S5.3、将清晰完整的SAR图像和对应的光学图像经处理后输入网络；

S5.4、设定用于图像转化的生成对抗网络的损失函数；

对不同尺度上真实光学图像与生成光学图像的特征差异进行求和，并与经DenseNet模型训练得到的感知损失相加，公式如下：

其中，为多尺度判别器的各层损失函数之和；

D₁、D₂、D₃代表处理不同尺度的生成图像的判别器；

α_FM(G,D_k)为第k层判别器中基于判别器的特征匹配损失；

λ为用来平衡生成图像与真实图像间的特征匹配损失和判别器处理后的对抗约束损失两种损失的权重大小；

S5.5、将待处理SAR图像输入生成网络，经由全局生成器G_A和局部生成器G_B处理得到合成图像，计算生成图像与真实图像的差异，分别优化生成器和多尺度判别器，并利用梯度下降方法，结合步骤5.4中所述，反复进行前述操作，直至整体损失函数收敛，得到不同场景下生成式对抗网络的模型参数。

本发明与现有技术相比具有以下优点：

第一，本发明提出的多尺度判别器方法，在不同尺度上对生成图像和真实图像进行判别，避免出现因卷积深度加深导致的网络训练困难这一问题，从而得到质量更高的合成图像，训练更加稳定。

第二，本发明提出的网络损失已被证明可以提升判别器的性能，相较于原始的条件生成式对抗网络，生成结果中重复图案的出现几率降低。

第三，本发明提出的从粗到细的生成器结构，将全局视角的信息和局部细节信息整合，鼓励生成器生成分辨率更高的图像。不同于前人采用深度过深的卷积网络，本方法中，通过生成多个尺度的图像特征图，对未知数据具有更高的泛化能力，有效解决深层次神经网络产生的过拟合问题，消耗时间资源和硬件资源都很少，算法效率高。

第四，本发明采用Resnet分类策略，相比于传统的卷积神经网络如VGG，网络更深，但仍具有较低的复杂度。

第五、受合成孔径原理限制，SAR系统无法在垂直向下的观测角度进行工作，而是以斜向角度对地面进行观测。这一现象导致在原有算法处理过程中，难以把控SAR图像和光学图像的配准精度，进而导致生成图像中出现几何畸变现象。本发明人提出的方法利用深度学习模型可以提取图像的高层语义特征，可以在语义层对图像进行转化，有效的解决SAR图像和光学图像不能准确的配准问题。

附图说明

图1是本发明的网络结构图；

图2是本发明的步骤流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参照图1，本发明实现的具体步骤如下：

S1、构建SAR图像场景分类数据集，即包括农田、山地、森林、城市在内共四个场景图像集；

S2、构造残差神经网络SAR图像场景分类模型；

S2.1、构造残差神经网络SAR图像场景分类模型，其结构为：输入层—>卷积层—>池化层—>残差块—>残差块—>残差块—>残差块—>全局平均池化—>全连接softmax分类器。

步骤S2.1中所述的残差神经网络模型结构参数如下：

对于第一层输入层，设置特征图谱数目为3，即图像的三个颜色通道；

对于第二层卷积层，设置特征图谱数目为64；

对于第三层池化层，设置特征图谱数目为64；

对于第四层第一个残差块3层，设置特征图谱数目为64；

对于第五层第二个残差块4层，设置特征图谱数目为128；

对于第六层第三个残差块23层，设置特征图谱数目为256；

对于第七层第四个残差块3层，设置特征图谱数目为512；

对于第八层池化层，设置特征图谱数目为512；

对于第九层全连接softmax分类器，设置特征数为SAR图像的场景类别数，本实验中为4。

S3、残差神经网络SAR图像场景分类模型训练；

S3.1、将S1构造好的数据集中每张图片的尺寸调整成224×224；

S3.2、利用修改尺寸后的数据集，采用批量梯度下降算法对残差神经网络SAR图像场景分类模型进行训练，保存模型参数；

S4、得到训练好的残差神经网络SAR图像场景分类模型(ResNet)；

S5、构建不同场景下的像素级配准SAR和光学图像对数据集，包括农田、山地、森林、城市共四个场景图像对集合，并随即抽取各集合下70％的图像对作为训练样本集，其余的图像对作为测试样本；

S6、构造不同场景下的条件生成式对抗网络图像转化模型，其具体构造步骤如下：

S6.1、构造条件生成式对抗网络模型，其中生成网络被分为两部分：全局生成器G_A和局部生成器G_B。其中全局生成器G_A结构为：输入层→反射填充层→卷积层→归一化层→激活层→下采样卷积层→下采样归一化层→下采样激活层→残差块→上采样反卷积层→上采样归一化层→激活层。而局部增强生成器结构与全局生成器结构的相同，区别在于，全局生成器的输入为原始图像，局部增强生成器的输入分别为原始图像的二倍下采样、四倍下采样及八倍下采样的结果序列。由此得到生成器结构：全局生成器G_A→局部增强生成器G_B→卷积层→激活层；其中降采样处理细节如下:将输入的64维特征图进行卷积，卷积核数量翻倍，输出的特征图再经批处理和非线性整流函数变换操作，即完成对原图像的缩略图像的特征提取，经多次降采样处理后，得到了图像在不同尺度上的特征图记录；其中残差块的处理细节如下：输出的特征图记录经一个由多个残差块构成的残差网络处理，得到其中每一个残差块均为两层残差学习单元，每经过一个残差处理单元，都将记录残差，最终生成器学习目标输出与输入的差别，得到特征图并记录；上采样层处理方式为降采样层处理方式的逆过程；局部生成器G_B对输入的合成图像进行两次降采样操作，得到二倍降采样与四倍降采样的结果，并对这三个结果分别进行平均池化操作，保留全局基本信息；而后提取各尺度图像的特征，并将特征与池化结果一同进行上采样操作，即最大限度提取、保留特征信息，得到高分辨率的合成图像；生成网络最终输出的是由全局生成器输出的最后一层特征图与局部生成器生成的高分辨率特征图信息进行卷积整合得到的合成图像。

S6.2、全局生成器G_A的卷积核数在下采样过程中依次为64，64，128，256，512，残差块计算过程中卷积核数为512，上采样过程中依次为256，128，64，64。

S6.3、该模型中判别网络由多尺度判别器组成，即对不同尺度图像采用马尔科夫判别器结构，只对图像块在该尺度上的结构损失作惩罚。每个尺度的判别器以卷积方式划过对应尺度的图像块，对特征图中每一个代表原图的一定大小的感受野的像素点进行判别，输出一个为真或假的标签，以此区分生成图像的真假。其各尺度判别器具体结构为：卷积层→非线性ReLU激活层→卷积层→归一化层→激活层→sigmoid激活函数；

使用全局平均池化方法进行下采样，对输入图像及其二倍下采样、四倍下采样结果分别判别，将输出标签组成一个矩阵，作为判别结果；

S6.4、模型中采用的损失函数公式如下：

公式(2)表示的条件生成式对抗网络中的对抗损失约束，其中，

s代表待处理图像，

x为根据输入图像合成的输出图像，

D(s,x)表示判别器对图像对(s,x)的匹配预测，

D(s,G(s))表示判别器对(s,G(s))的匹配预测结果；

公式(3)表示的是特征匹配损失，该部分希望判别器正确区分出真实图像和合成图像中的假图像。生成网络在不同尺度上获得对应的数据分布，而后在各个尺度的判别器中，提取真实图像和合成图像的特征，并学习匹配这些特征，公式中，

D_k表示第k个判别器，

T表示该尺度判别器的总层数，

Ni表示该判别器中的第i个特征元素，

E表示数学期望，

表示变量(s,x)服从数据分布

表示输入图像s的数据分布服从

||*||₁表示一范数，用于计算该尺度判别器对真实图像和合成图像的特征元素差异大小。

同样将生成样本与真实数据分别送入Dense Net网络提取特征，对特征做点乘运算，得出感应特征损失；

S6.5、通过最小化对抗约束损失和特征匹配损失来优化局部生成器目标函数，更新生成器参数，经多次迭代后对全局生成器也进行优化，完成对生成器的整体优化。

S7、整幅SAR图像进行无重叠分块处理；

对整幅图像做分块处理，得到待转化的多幅尺寸均为256*256的SAR图像；

S8、使用训练好的深度残差网络模型对步骤S7得到的SAR图像进行场景分类；

S8、使用训练好的残差神经网络SAR图像场景分类模型对步骤S7得到的SAR图像进行场景分类；

S8.1、将数据集中的图像大小调整为224×224；

S8.2、使用训练好的深度残差网络模型对SAR图像进行场景分类；

S8.3、将输出结果采用分类器softmax进行分类，求的最大概率所属类别，最后将图像按类别存入不同的文件夹中。

S9、根据图像所属类别选取不同的SAR2OPT-GAN模型进行图像转化；根据S8中得到的图像标签，载入对应的SAR2OPT-GAN模型，将待处理图像输入到训练好的网络中，进行图像转化，得到合成的光学图像块；

S10、将步骤S9中得到的光学图像块按原对应顺序进行无缝拼接，得到合成的整幅光学图像。

下面对本发明一种基于生成式对抗网络的SAR图像转化为光学图像的方法的效果做进一步的说明：

1、实验条件：

本发明的实验是在NVIDIA GTX 1080Ti GPU的硬件环境和Python、MATLAB2016a的软件环境下进行的。

本发明的实验数据集使用Google Earth Engine制作，图像集包含农田、山地、森林、城市四个场景信息，训练集包括19092对图像，测试集包括130对图像。图像大小为256×256，每个像素点代表地面尺寸20米。

2、结果分析：

本发明的仿真实验采用本发明方法和采用Pix2Pix网络模型对由Google EarthEngine云平台得到的数据集进行转化，并将转化结果进行对比分析。

表1是本发明采用两种生成式对抗网络和本发明方法对生成图像的质量进行对比的统计表。使用SSIM与FID两个指标对生成图像质量进行评价，以下是对两个评价指标的说明：

SSIM是一种衡量两幅图片相似度的指标，假设输入的两张图像分别为x和y，则

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ,

其中：

其中，l(x,y)是亮度比较，c(x,y)是对比度比较，s(x,y)是结构比较。

μ_x和μ_y分别代表x，y的平均值，σ_x和σ_y分别代表x，y的标准差。

σ_xy代表x和y的协方差。

SSIM是一个0到1之间的数，越大表示输出图像和无失真图像的差距越小，即图像质量越好。

FID是由Heusel et al.(2017)引入并用来评估GAN的度量方法。

对于适当的特征函数(默认为Inception网络的卷积特征)，FID将和建模为高斯随机变量，且其样本均值为μr与μg、样本协方差为Cr与Cg。两个高斯分布的FID距离可通过下式计算：

FID(P_r,P_g)＝||μ_r-μ_g||+Tr(C_r+C_g-2(C_rC_g)^1/2),

较低的FID意味着较高图片的质量和多样性。

表1 SAR到光学图像的转化结果比较表

从表1可以看出，本发明方法在数据集上结果优于传统的条件生成式对抗网络方法。

Claims (3)

1.一种基于生成式对抗网络的SAR图像转化为光学图像的方法，其特征在于，

在训练阶段，首先构建SAR图像场景分类数据集和构造残差神经网络SAR图像场景分类模型，并采用构建的SAR图像场景分类数据集训练残差神经网络SAR图像场景分类模型；

然后构建不同场景下的像素级配准的SAR图像和光学图像对数据集，同时构造生成式对抗网络图像转化模型，采用不同场景下的SAR图像和光学图像对数据集训练所述生成式对抗网络模型，得到多个不同场景下训练好的生成式对抗网络模型；

在测试阶段，首先对整幅SAR图像进行无重叠的分割，得到多个SAR图像块，再采用训练好的残差神经网络SAR图像场景分类模型对所述SAR图像块进行场景分类，然后根据每个SAR图像块的分类结果选取不同的生成式对抗网络模型把SAR图像块转化为光学图像块，最后对转化后的光学图像块进行拼接得到最终的拼接结果。

2.根据权利要求1所述的基于生成式对抗网络的SAR图像转化为光学图像的方法，其特征在于，所述训练阶段具体包括以下步骤：

S1、构建SAR图像场景分类数据集；

S2、构造残差神经网络SAR图像场景分类模型；

S3、残差神经网络SAR图像场景分类模型训练，得到训练好的残差神经网络SAR图像场景分类模型；

S4、构建不同场景下的像素级配准SAR图像和光学图像对数据集，并随机抽取各集合下70％的图像对作为训练样本集，其余的图像对作为测试样本；

S5、构造不同场景下的生成式对抗网络图像转化模型，具体是通过调整已被提出应用于从语义标签图中生成逼真的高分辨率图像任务的PIX2PIX-HD网络结构，并抛弃原有的语义标签图生成器结构和标签判别结构，来构造用于完成图像转化任务的SAR2OPT-GAN模型；

S6、整幅SAR图像进行无重叠分块处理，得到待转化的多幅SAR图像块；

S7、使用训练好的残差神经网络SAR图像场景分类模型对步骤S6得到的SAR图像块进行场景分类，得出SAR图像块所属类别对应的图像标签；

S8、根据分类结果选取不同的GAN模型参数进行图像转化，根据步骤S7中得到的图像标签，选取对应的场景分类模型，载入模型，将待处理图像输入到训练好的网络中，进行图像转化，得到合成的多块光学图像块；

S9、将步骤S8中得到的光学图像块按原对应顺序进行无缝拼接，得到合成的整幅光学图像。

3.根据权利要求2所述的基于生成式对抗网络的SAR图像转化为光学图像的方法，其特征在于，步骤S5具体包括以下步骤：

S5.1、随机初始化全局生成器G_A，局部生成器G_B，多尺度判别器D的网络参数；

S5.2、设置生成网络的结构与判别网络的结构，其中生成网络由全局生成器G_A和局部生成器G_B组成，判别网络由多尺度判别器组成，生成网络和判别网络共同组成条件生成式对抗网络；

S5.3、将清晰完整的SAR图像和对应的光学图像经处理后输入网络；

S5.4、设定用于图像转化的生成对抗网络的损失函数；

对不同尺度上真实光学图像与生成光学图像的特征差异进行求和，并与经Dense Net模型训练得到的感知损失相加，公式如下：

其中，为多尺度判别器的各层损失函数之和；

D₁、D₂、D₃代表处理不同尺度的生成图像的判别器；

α_FM(G,D_k)为第k层判别器中基于判别器的特征匹配损失；

λ为用来平衡生成图像与真实图像间的特征匹配损失和判别器处理后的对抗约束损失两种损失的权重大小；

S5.5、将待处理SAR图像输入生成网络，经由全局生成器G_A和局部生成器G_B处理得到合成图像，计算生成图像与真实图像的差异，分别优化生成器和多尺度判别器，并利用梯度下降方法，结合步骤5.4中所述，反复进行前述操作，直至整体损失函数收敛，得到不同场景下生成式对抗网络的模型参数。