CN111784581A - 基于自归一化生成对抗网络的sar图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，包括以下步骤：将原始的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，输出得到重建的超分辨率SAR图像；将原始的高分辨SAR图像与生成得到的超分辨SAR图像一起输入自归一化生成对抗网络的判别器中；若判别器判断输入的超分辨率SAR图像为生成器重建输出的，则重新训练生成器；若判别器判断为原始的高分辨率SAR图像，则将待重建的低分辨率SAR图像输入生成器中，对应输出重建的超分辨率SAR图像。与现有技术相比，本发明采用SeLU激活函数，改进得到具有自归一化功能的生成对抗网络，能够提升模型的稳定性和对SAR图像的适应性，从而达到从低分辨率原图中重建超分辨率图像的目的。

Description

基于自归一化生成对抗网络的SAR图像超分辨率重建方法

技术领域

本发明涉及合成孔径雷达图像超分辨率处理技术领域，尤其是涉及一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法。

背景技术

SAR(Synthetic Aperture Radar)，即合成孔径雷达，是一种主动式的对地观测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，SAR系统在灾害监测、环境监测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特的优势，可发挥其他遥感手段难以发挥的作用。

合成孔径雷达主要是机载或星载平台，由于平台硬件及成像原理等因素的限制，机/星载SAR采集到的原始图像数据很难全部保证足够高的分辨率，导致图像特征信息不明显，进而对后续的图像分析处理造成影响。从低分辨率的原始图像中重建高分辨率图像一直是图像处理领域的重点研究课题。近年来基于生成对抗网络(GAN)的重建算法已逐渐成为图像超分辨率重建领域的主流方法，例如被广泛应用于光学图像超分辨率重建领域的SRGAN方法，在原始的SRGAN算法设计中，用于图像重建的生成器为数个残差模块组成的卷积神经网络结构，每个残差模块主要包括卷积层，批量归一化(Batch Norm，BN)层和激活函数。BN操作能够通过将输入图像中每个单元的均值和方差归一化至μ＝0,σ²＝1，从而加速网络的训练进程和避免梯度消失，是保证深度模型训练稳定性的重要步骤。然而这些基于经典GAN模型的图像重建对图像范围灵活性影响较大，无法适应大尺寸的SAR图像超分辨率重建。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，以适应大尺寸SAR图像的超分辨率重建，同时满足重建图像的高质量要求。

本发明的目的可以通过以下技术方案来实现：一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，包括以下步骤：

S1、获取原始的高分辨率SAR图像以及低分辨率SAR图像；

S2、将原始的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，输出得到重建的超分辨率SAR图像；

S3、将原始的高分辨SAR图像与步骤S2得到的超分辨SAR图像一起输入自归一化生成对抗网络的判别器中，由判别器判断输入的超分辨率SAR图像是由生成器重建输出的还是原始的高分辨率SAR图像；

S4、若判别器判断为生成器重建输出的，则返回步骤S2重新训练生成器；若判别器判断为原始的高分辨率SAR图像，则执行步骤S5；

S5、将待重建的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，对应输出重建的超分辨率SAR图像。

进一步地，所述生成器包括依次连接的生成器输入层、生成器第一卷积层、生成器第一激活函数层、第一残差模块组、生成器第二卷积层、总求和层、上采样组、生成器第三卷积层和生成器输出层，所述生成器第一激活函数层的输出还连接至总求和层，所述生成器第一激活函数层采用SeLU激活函数。

进一步地，所述第一残差模块组包括多个依次连接的生成器残差模块，所述生成器残差模块由依次连接的生成器第一子卷积层、子激活函数层、生成器第二子卷积层和子求和层组成，所述生成器第一子卷积层的输入连接至子求和层，所述子激活函数层采用SeLU激活函数。

进一步地，所述生成器残差模块的数量为5。

进一步地，所述上采样组包括两个依次连接的上采样单元，所述上采样单元包括依次连接的采样卷积层、上采样层和采样激活函数层，所述采样激活函数层采用SeLU激活函数。

进一步地，所述判别器包括依次连接的判别器输入层、判别器卷积层、判别器第一非饱和激活函数层、第二残差模块组、判别器第一全连接层、判别器第二非饱和激活函数层、判别器第二全连接层、饱和激活函数层和判别输出层，所述判别器第一非饱和激活函数层和判别器第二非饱和激活函数层均采用LeakyReLU激活函数，所述饱和激活函数层采用Sigmoid激活函数。

进一步地，所述第二残差模块组包括多个依次连接的判别器残差模块，所述判别器残差模块包括依次连接的判别器子卷积层、批量归一化层和非饱和子激活函数层，所述非饱和子激活函数层采用LeakyReLU激活函数。

进一步地，所述判别器残差模块的数量为7。

进一步地，所述步骤S2具体包括以下步骤：

S21、将原始的低分辨率SAR图像输入生成器输入层，经过生成器第一卷积层得到对应的特征图；

S22、特征图经过SeLU激活函数，输出非线性特征图；

S23、非线性特征图分别输入给第一残差模块组和总求和层，其中，非线性特征图进入第一残差模块组后，每个生成器残差模块均基于SeLU激活函数进行归一化处理，最后一个残差模块的输出经过生成器第二卷积层后进入总求和层；

S24、总求和层输出的特征图进入上采样组，在上采样组中，每个上采样单元均基于PixelShuffle像素重组以提高特征图分辨率、基于SeLU激活函数进行归一化处理；

S25、上采样组输出的特征图经生成器第三卷积层处理后，输出得到重建的超分辨率SAR图像。

进一步地，所述步骤S3具体包括以下步骤：

S31、将原始的高分辨SAR图像与生成器输出的超分辨SAR图像一起输入判别器输入层，经过判别器卷积层进行卷积处理，得到对应的特征图；

S32、特征图经过判别器第一非饱和激活函数层，输出非线性特征图；

S33、非线性特征图进入第二残差模块组，在第二残差模块组中，每个判别器残差模块均对特征图进行批量归一化处理，并使用LeakyReLU激活函数；

S34、第二残差模块组的输出依次经过判别器第一全连接层、LeakyReLU激活函数层、判别器第二全连接层后，进入饱和激活函数层，通过Sigmoid激活函数操作，输出结果0或1；

S35、判别器输出层根据饱和激活函数层的输出结果，判断输入的超分辨率SAR图像是由生成器重建输出的还是原始的高分辨率SAR图像，若输出结果为1，则判断输入的超分辨率SAR图像是原始的高分辨率SAR图像，若输出结果为0，则判断输入的超分辨率SAR图像是由生成器重建输出的。

与现有技术相比，本发明具有以下优点：

一、本发明利用传统GAN模型学习特征分布的能力，通过学习从低分辨率到高分辨率图像的映射关系，并利用具有自归一化功能的SeLU激活函数替代传统的批量归一化层，以解决批量归一化层导致网络模型的范围灵活性降低以及梯度消失问题，能够适应大尺寸的SAR图像超分辨率重建。

二、本发明通过构建自归一化生成对抗网络，将生成器的所有激活函数层均采用SeLU激活函数，并在生成器和判别器中分别设置第一残差模块组和第二残差模块组，能够有效降低网络模型的运算量和复杂度，避免发生训练过拟合详细，从而实现SAR图像高质量、高稳定性的超分辨率重建。

附图说明

图1为本发明的方法流程示意图；

图2为传统SRGAN模型结构示意图；

图3为本发明中自归一化生成对抗网络中生成器改进结构示意图；

图4为本发明中自归一化生成对抗网络整体结构示意图；

图5a为实施例中原始SAR图像示意图；

图5b为实施例中采用Bicubic方法后SAR图像超分辨率重建结果示意图；

图5c为实施例中采用SRCNN方法后SAR图像超分辨率重建结果示意图；

图5d为实施例中采用SRGAN方法后SAR图像超分辨率重建结果示意图；

图5e为实施例中采用本发明方法后SAR图像超分辨率重建结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，包括以下步骤：

S1、获取原始的高分辨率SAR图像以及低分辨率SAR图像；

S2、将原始的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，输出得到重建的超分辨率SAR图像；

S3、将原始的高分辨SAR图像与步骤S2得到的超分辨SAR图像一起输入自归一化生成对抗网络的判别器中，由判别器判断输入的超分辨率SAR图像是由生成器重建输出的还是原始的高分辨率SAR图像；

S4、若判别器判断为生成器重建输出的，则返回步骤S2重新训练生成器；若判别器判断为原始的高分辨率SAR图像，则执行步骤S5；

S5、将待重建的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，对应输出重建的超分辨率SAR图像。

本发明主要是基于传统GAN模型，通过引入具有自归一化功能的SeLU激活函数，以提升对SAR图像的适用性，实现对低分辨率SAR原始图像数据的超分辨率重建。其中，基于传统的图像超分辨重建算法SRGAN模型结构如图2所示，其生成器G和判别器D分别由两个包含多个残差模块的卷积网络构成，生成器G和判别器D的初始化参数分别为θ_G和θ_D，对于高分辨率训练样本I^HR及其低分辨率副本I^LR，可以等效视为GAN生成模型中的真实样本和随机噪声输入，训练生成器作为重建模型生成对应的超分辨率图像SR，因此SRGAN的最终优化目标函数可以表示为

在传统图像重建算法中，通常用来优化的损失函数L^SR为基于像素的均方误差(Mean Square Error，MSE)，其数学公式表示如下

其中W、H分别代表图像的宽度和高度，尽管基于MSE的优化能够得到较高的峰值信噪比，但是它会损失图像大部分的高频特征，对图像细节和纹理方面的生成效果并不理想。因此SRGAN提出一种特定的感知损失函数

它可以表示为内容损失(Content loss)和对抗损失(Adversarial loss)的加权和，其数学表达式为：

式中内容损失

为基于MSE损失改进的损失模型，其定义为高分辨率样本I^HR和重建图像

特征表示之间的欧氏距离，即

W、H仍然表示图像的宽度和高度，(i,j)为每个特征图所处的位置，φ_ij表示卷积网络中连接第i个Pooling层与第j个卷积层的特征图；

对抗损失

则基于判别器在所有训练样本上对于高维流形空间的概率来定义，它能够生成使判别器难以鉴别的数据分布，其表达式为：

其中

表示判别器

将生成样本

判别为真实高分辨率样本I^HR的概率。在求解

的最小化时，本发明采用

替代目标函数中的

项以此来增强训练初期的梯度变化。

虽然SRGAN算法自提出后便被广泛应用于光学图像的超分辨率重建领域中并取得了令人满意的结果。然而，由于SAR图像在尺寸和成像机制上均与光学图像存在较大的差异，直接将SRGAN算法应用于SAR图像会在很大程度上影响重建的效果。

在原始的SRGAN算法设计中，用于图像重建的生成器为数个残差模块组成的卷积神经网络结构，每个残差模块主要包括卷积层，批量归一化(BN)层和激活函数。BN操作能够通过将输入图像中每个单元的均值和方差归一化至μ＝0,σ²＝1，从而加速网络的训练进程和避免梯度消失，是保证深度模型训练稳定性的重要步骤。然而，BN层在对图像特征表示进行归一化处理时，会同时去除网络模型的范围灵活性，这使得BN层更适合用于图像分类识别而非超分辨率重建模型中。

因此本发明提出了一种具有自归一化能力并适用于SAR图像超分辨率重建的生成对抗网络，如图3和图4所示，基于传统SRGAN模型结构进行以下改进：

(1)移除SRGAN模型残差模块中的所有归一化(BN)层；

(2)使用SeLU激活函数替代原来的ReLU或PReLU激活函数。

其中，SeLU(Scaled exponential Linear Units)是Klambauer等人在2017年提出的一种新型激活函数，它是ReLU的改进激活函数eLU(exponential Linear Units)的一种变体形式，其数学表达式为：

λ＝1.0507009873554804934193349852946

α＝1.6732632423543772848170429916717 (6)

式中，λ,α的取值为公式推导得到，研究已经证明SeLU激活函数能够在深度网络传播的过程中将均值和方差逐渐趋近于0和单位方差。因此，通过采用SeLU激活函数代替BN层和ReLU/PReLU激活函数，以构建得到自归一化的GAN超分辨率重建模型SNGAN，可以在保证模型归一化和生成能力的同时减少批量归一化层对图像特征的影响，从而极大的提高算法的生成效果和对SAR图像的适应性。

为验证本发明方法的有效性，本实施例分别采用双三次插值法(Bicubic)、SRCNN、SRGAN和本发明方法对图5a所示的原始SAR图像进行超分辨率重建，对应的重建结果分别如图5b、图5c、图5d和图5e所示，通过对比图5b～图5e可知，采用本发明方法能够得到更高质量的超分辨率重建结果。

综上所述，本发明主要对生成器结构进行改进，通过去掉所有残差模块中的BN层以避免其对图像范围灵活度造成影响而引起梯度消失等问题；此外，将原模型中的激活函数改为SeLU函数，以替代原本由BN层实现的图像归一化作用。采用本发明提出的方法进行SAR图像超分辨率重建，其中的自归一化生成网络既保留了图像的范围灵活度，使其对大尺寸，细节丰富的SAR图像具有更强的适应性，同时又确保了模型的较低运算量和复杂度，降低了训练过拟合的风险，从而能够实现SAR图像高质量、高稳定性的超分辨率重建。

Claims (10)

1.一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，包括以下步骤：

S1、获取原始的高分辨率SAR图像以及低分辨率SAR图像；

S2、将原始的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，输出得到重建的超分辨率SAR图像；

S3、将原始的高分辨SAR图像与步骤S2得到的超分辨SAR图像一起输入自归一化生成对抗网络的判别器中，由判别器判断输入的超分辨率SAR图像是由生成器重建输出的还是原始的高分辨率SAR图像；

S4、若判别器判断为生成器重建输出的，则返回步骤S2重新训练生成器；若判别器判断为原始的高分辨率SAR图像，则执行步骤S5；

S5、将待重建的低分辨率SAR图像输入自归一化生成对抗网络的生成器中，对应输出重建的超分辨率SAR图像。

2.根据权利要求1所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述生成器包括依次连接的生成器输入层、生成器第一卷积层、生成器第一激活函数层、第一残差模块组、生成器第二卷积层、总求和层、上采样组、生成器第三卷积层和生成器输出层，所述生成器第一激活函数层的输出还连接至总求和层，所述生成器第一激活函数层采用SeLU激活函数。

3.根据权利要求2所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述第一残差模块组包括多个依次连接的生成器残差模块，所述生成器残差模块由依次连接的生成器第一子卷积层、子激活函数层、生成器第二子卷积层和子求和层组成，所述生成器第一子卷积层的输入连接至子求和层，所述子激活函数层采用SeLU激活函数。

4.根据权利要求3所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述生成器残差模块的数量为5。

5.根据权利要求3所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述上采样组包括两个依次连接的上采样单元，所述上采样单元包括依次连接的采样卷积层、上采样层和采样激活函数层，所述采样激活函数层采用SeLU激活函数。

6.根据权利要求1所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述判别器包括依次连接的判别器输入层、判别器卷积层、判别器第一非饱和激活函数层、第二残差模块组、判别器第一全连接层、判别器第二非饱和激活函数层、判别器第二全连接层、饱和激活函数层和判别输出层，所述判别器第一非饱和激活函数层和判别器第二非饱和激活函数层均采用LeakyReLU激活函数，所述饱和激活函数层采用Sigmoid激活函数。

7.根据权利要求6所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述第二残差模块组包括多个依次连接的判别器残差模块，所述判别器残差模块包括依次连接的判别器子卷积层、批量归一化层和非饱和子激活函数层，所述非饱和子激活函数层采用LeakyReLU激活函数。

8.根据权利要求7所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述判别器残差模块的数量为7。

9.根据权利要求5所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、将原始的低分辨率SAR图像输入生成器输入层，经过生成器第一卷积层得到对应的特征图；

S22、特征图经过SeLU激活函数，输出非线性特征图；

S23、非线性特征图分别输入给第一残差模块组和总求和层，其中，非线性特征图进入第一残差模块组后，每个生成器残差模块均基于SeLU激活函数进行归一化处理，最后一个残差模块的输出经过生成器第二卷积层后进入总求和层；

S24、总求和层输出的特征图进入上采样组，在上采样组中，每个上采样单元均基于PixelShuffle像素重组以提高特征图分辨率、基于SeLU激活函数进行归一化处理；

S25、上采样组输出的特征图经生成器第三卷积层处理后，输出得到重建的超分辨率SAR图像。

10.根据权利要求6所述的一种基于自归一化生成对抗网络的SAR图像超分辨率重建方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、将原始的高分辨SAR图像与生成器输出的超分辨SAR图像一起输入判别器输入层，经过判别器卷积层进行卷积处理，得到对应的特征图；

S32、特征图经过判别器第一非饱和激活函数层，输出非线性特征图；

S33、非线性特征图进入第二残差模块组，在第二残差模块组中，每个判别器残差模块均对特征图进行批量归一化处理，并使用LeakyReLU激活函数；

S34、第二残差模块组的输出依次经过判别器第一全连接层、LeakyReLU激活函数层、判别器第二全连接层后，进入饱和激活函数层，通过Sigmoid激活函数操作，输出结果0或1；

S35、判别器输出层根据饱和激活函数层的输出结果，判断输入的超分辨率SAR图像是由生成器重建输出的还是原始的高分辨率SAR图像，若输出结果为1，则判断输入的超分辨率SAR图像是原始的高分辨率SAR图像，若输出结果为0，则判断输入的超分辨率SAR图像是由生成器重建输出的。

Images