CN114897677A - 一种基于约束重构的无监督遥感图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于约束重构的无监督遥感图像超分辨率重建方法，包括生成对抗网络模型的训练过程，生成对抗网络模型包括生成器模块、判别器模块和图像退化模块；训练过程如下：步骤1：将待训练的低分辨率图像作为输入；经过生成器模块生成高分辨率的重建图像；步骤2：高分辨率的重建图像经过图像退化模块生成退化的低分辨率图像；步骤3：将低分辨率图像和退化的低分辨率图像作为输入经过判别器模块进行判别；训练完成后，将低分辨率遥感图像作为输入，经过生成器模块生成对应的高分辨率遥感图像。本发明打破原有用于遥感图像超分辨率重建的生成对抗网络约束关系，并对约束函数进行改进，仅使用低分辨率图像即可实现超分辨率重建。

Description

一种基于约束重构的无监督遥感图像超分辨率重建方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于约束重构的无监督遥感图像超分辨率重建方法。

背景技术

目前，超分辨率重建是一项将低分辨图像重建为具有丰富纹理细节的高分辨图像的图像处理技术，单帧图像超分辨率重建是指输入的图像数据为单帧图像，将其重建为单帧高分辨率图像。对于遥感图像超分辨率重建，研究人员一般使用与真实低分辨率图像所配对的高分辨率图像进行约束，从而找到可信的解决方案。自生成对抗网络后，神经网络参数化的生成模型也得到迅猛发展。

但是，在实际遥感图像背景下，大多数生成对抗网络模型所需的要么是配对的图像数据、要么是原始低分辨率图像和具有一定监督信息的辅助高分辨率图像进行训练，用于遥感图像超分辨率重建的数据获取是十分困难的。

因此，提供一种基于约束重构的无监督遥感图像超分辨率重建方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于约束重构的无监督遥感图像超分辨率重建方法，通过无监督的方式学习生成重建图像退化的低分辨图像，以低分辨图像和重建图像退化的低分辨率图像训练生成对抗网络模型，达到高分辨率图像重建的目的，并且重建的图像质量更好。

为了实现上述目的，本发明采用如下技术方案：一种基于约束重构的无监督遥感图像超分辨率重建方法，包括生成对抗网络模型的训练过程：所述生成对抗网络模型包括生成器模块、判别器模块和图像退化模块；训练过程如下：

步骤1：将待训练的低分辨率图像作为输入；经过所述生成器模块生成高分辨率的重建图像；步骤2：所述高分辨率的重建图像经过所述图像退化模块生成退化的低分辨率图像；步骤3：将所述低分辨率图像和所述退化的低分辨率图像作为输入经过所述判别器模块进行判别；判别过程根据所述低分辨率图像和所述退化的低分辨率图像的映射关系，对所述判别器模块进行判别真假的无监督训练；并输出判别结果；训练完成后，将未重建的低分辨率遥感图像作为输入生成器模块生成对应的高分辨率遥感图像。

优选的，所述生成器模块的结构包括基础模块、SAF模块、上采样模块、卷积层模块；待训练的低分辨率图像经过卷积层模块生成输出结果一；所述输出结果一经过若干个所述基础模块和卷积层模块生成输出结果二；所述输出结果一和所述输出结果二相加后经过SAF模块、上采样模块以及两个卷积层模块生成高分辨率的重建图像。

优选的，所述判别器模块的结构均为卷积层，用于提取所述低分辨率图像和所述退化的低分辨率图像特征。

优选的，生成对抗网络损失包括网络整体损失函数和判别器损失函数；所述网络整体损失函数对所述生成器模块进行约束，所述判别器模块损失函数对所述判别器模块进行约束。

优选的，网络整体损失函数为：

L_{G_total}＝λ₁·L_cb+λ_per·L_per+λ_adv·L_{G_adv}

其中，L_{G_total}为网络整体损失函数，λ₁表示L_cb的权重，λ_per表示L_per的权重，λ_adv为生成器模块的对抗损失权重，L_cb像素损失，L_per表示感知损失，L_{G_adv}为生成器模块的对抗损失。

优选的，所述生成器模块的对抗损失函数为：

其中，

为生成器模块的第一项约束，

为生成器模块的第二项约束，SR为重建的高分辨率，F(I^LR；θ)为退化算子，I^LR为低分辨率图像，θ为参数，D(I^LR，F(I^LR；θ))和D(F(I^LR；θ)，I^LR)为判别器对低分辨率图像与重建图像退化的低分辨率图像的约束，生成器模块的第一项约束与第二项约束使得重建结果退化图像与真实低分辨率图像接近。

优选的，所述判别器模块损失函数为：

其中，D(I^LR，F(I^LR；θ))和D(F(I^LR；θ)，I^LR)为判别器对低分辨率图像与重建结果退化的低分辨率图像的约束，I^LR为低分辨率图像，θ为参数，F(I^LR；θ)为退化算子。

优选的，像素损失公式为：

其中，N为像素总数，i为第i个像素点，ρ(x)为中间结果，F(I^LR；θ)为输入图像的退化算子，ε为极小常数，x为高分辨率图像，ρ(F(I^LR；θ)-I^LR)为退化图像的低分辨率图像与低分辨率图像的像素损失，θ为参数，I^LR为低分辨图像。

优选的，所述基础模块包括密集块和通道注意力模块。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于约束重构的无监督遥感图像超分辨率重建方法，具有以下益处：

(1)打破原有用于遥感图像超分辨率重建的生成对抗网络约束关系，实现无监督遥感图像超分辨率重建，仅使用低分辨率图像即可实现超分辨率重建。

(2)采用生成对抗网络实现图像超分辨率重建，约束函数进行了改进，即对损失函数进行了改进，在像素损失部分采用Lcb替代传统的L1与L2损失函数，以此提升遥感图像无监督超分辨率网络性能。

(3)改进了传统用于超分辨率重建的卷积神经网络的结构。修改后的网络重建具有更好的效果，重建的图像质量更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的无监督形式GAN约束示意图。

图2为现有技术的有监督形式GAN约束示意图。

图3为本发明的生成器模块结构示意图。

图4为本发明的重建图像展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于约束重构的无监督遥感图像超分辨率重建方法，给定一个低分辨率图像，目标是找到一个尽可能接近对应的真实高分辨率图像的信号。但是一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此本发明在求解高分辨率图像时会加一个先验信息进行规范化约束，即重建图像公式为：

其中，p_Y|X(y|x)是给定低分辨率图像y的高分辨率图像x的似然性，p_X(x)为在x处的先验概率；X为低分辨率图像，Y为真实高分辨率图像。

将G：Y→X，该映射将每个测量值y与其在训练集上的关联MAP估计值x^*进行联系，将目标函数转化如下：

(1)求似然项

根据下列公式对目标函数的似然项进行边缘化：

即利用X和参数Θ之间的独立性，

将图像退化模块的公式Y＝F(X；Θ)+n带入上式的logp_Y|X，Θ(y|G(y)，θ)中，得到如式：

将公式4带入公式3中，得到的期望项公式为：

其中，c₁为常量，c₂为常量；σ²为方差；Y为退化函数的空间描述，F(X；Θ)为输入图像的退化算子；

在参数Θ和高分辨率图像x下采样测量y，然后约束G使得

接近于零，目的是低分辨率图像y与重建图像保持一致。

(2)求先验项p_X(G(y))：p_X(G(y))最大化类似于学习一个映射G，使

的分布接近于p_X的分布。

(3)在重建高分辨率图像过程中，先验项与似然项是基于概率计算，这个计算中会产生概率损失，则其概率损失为：

l^prior为先验项的概率损失，l^likeli为似然项的概率损失，p_X为先验分布，

为生成器的输出分布，

为重建图像退化的低分辨率图像，λ为似然项的概率损失权重。

在本实施例中，本发明根据上述理论基础进行建模并训练，包括以下步骤：采用网络整体函数对生成对抗网络模型进行训练，生成对抗网络模型包括生成器模块、判别器模块和图像退化模块；步骤1：将待训练的低分辨率图像作为输入；经过生成器模块生成高分辨率的重建图像；步骤2：高分辨率的重建图像经过图像退化模块生成退化的低分辨率图像；步骤3：将低分辨率图像和退化的低分辨率图像作为输入经过判别器模块进行判别；判别过程根据所述低分辨率图像和所述退化的低分辨率图像的映射关系，对所述判别器模块进行判别真假的无监督训练；并输出判别结果。训练完成后，将低分辨率遥感图像作为输入，经过生成器模块生成对应的高分辨率遥感图像。

在本实施例中，本发明所使用的超分辨率重建网络为生成对抗网络，生成对抗网络的生成器如图3所示，包括基础模块、SAF模块、上采样模块、卷积层模块；待训练的低分辨率图像经过卷积层模块生成输出结果一；输出结果一经过若干个所述基础模块和卷积层模块生成输出结果二；输出结果一和所述输出结果二相加后经过SAF模块、上采样模块以及两个卷积层模块生成高分辨率的重建图像。网络的基础模块是密集块(dense block)与通道注意力模块(CA)的组合模块，并在整体的网络中未使用批归一化处理BN(BatchNormalization)层，因添加BN层易造成人造的伪影产生并且易影响模型的泛化能力，在本发明的生成器模块中加入SAF模块，使得模型的表达能力得到进一步增强。

在本实施例中，选择补丁判别器(patch discriminator)作为判别器，补丁判别器也解决了原用于超分辨率生成对抗网络中所使用的VGG-128的两个缺陷：1)VGG-128将生成图像的大小限制为128，很难进行多尺度的训练。2)VGG-128具有更深的网络结构，其固定的全连接层使鉴别器更加关注全局特征而忽略局部特征。IRSR所使用的补丁判别器是一个全卷积网络，由一个三层网络对应一个70×70的补丁，patch判别器的输出是二维的矩阵，为N*N的矩阵；矩阵中的每个元素表示输入图像的一个局部区域，如果局部区域是真实的，会得到1，否则是0，每一个值代表着的是对图像的局部区域的判断，这使得判别器的每个输出值只与局部固定区域的补丁有关，再通过补丁损失将反馈给生成器以优化局部细节的梯度，最终的误差是所有局部误差的平均值，以保证全局一致性。

在本实施例中，生成对抗网络损失包括网络整体损失函数和判别器损失函数；通过网络整体损失函数对生成器模块进行约束，通过判别器模块损失函数对判别器模块进行约束。

在本实施例中，网络整体损失函数为：

L_{G_total}＝λ₁·L_cb+λ_per·L_per+λ_adv·L_{G_adv}#(9)

其中，L_{G_total}为网络整体损失函数，λ₁表示L_cb的权重，λ_per表示L_per的权重，λ_adv为生成器模块的对抗损失权重，L_cb像素损失，L_per表示感知损失，L_{G_adv}为生成器模块的对抗损失。

在本实施例中，像素损失公式为：

其中，N为像素总数，i为第i个像素点，F(I^LR；θ)为输入图像的退化算子，ρ(x)为中间结果，ε为极小常数，x为高分辨率图像，ρ(F(I^LR；θ)-I^LR)为退化图像的低分辨率图像与低分辨率图像的像素损失，θ为参数，I^LR为低分辨图像。

在本实施例中，感知损失通过将低分辨率图像与生成的高分辨率图像再退化的低分辨率图像转换到特征域进行约束。感知损失是采用训练好的VGG-19实现，将其转换到特征空间可以有效的解决经过激活层特征的稀疏性。

在本实施例中，生成器模块的对抗损失函数为：

其中，

为生成器的第一项约束，

为生成器的第二项约束，SR为重建的高分辨率，F(I^LR；θ)为退化算子，I^LR为低分辨率图像，θ为参数，D(I^LR，F(I^LR；θ))和D(F(I^LR；θ)，I^LR)为判别器对低分辨率图像与重建图像退化的低分辨率图像的约束。

在本实施例中，判别器模块损失函数为：

其中，D(I^LR，F(I^LR；θ))和D(F(I^LR；θ)，I^LR)为判别器对低分辨率图像与重建图像退化的低分辨率图像的约束，I^LR为低分辨率图像，θ为参数，F(I^LR；θ)为退化算子，LR为低分辨率。

在本实施例中，本发明将用于遥感图像超分辨率的生成对抗网络约束进行重构，以此来进行无监督遥感图像超分辨率重建。本发明所使用的图像为公开的遥感数据集Inria，评价指标为PSNR、SSIM、ERGAS及NIQE，PSNR和SSIM越高表明图像质量越高，ERGAS与NIQE则是越低，表明重建图像质量越高。

表1本发明方法同其他方法对比

方法	PSNR(dB)	SSIM	ERGAS	NIQE
					IBP	25.18	0.6667	3.141	20.21
BDB	24.19	0.6243	3.589	21.98
					GPR	24.89	0.6311	3.232	20.97
FSR	23.79	0.5586	3.897	22.98
					EUSR	25.21	0.6798	3.132	18.79
UGSR	18.13	0.3987	6.153	25.89
					ZSSR	27.02	0.7001	3.025	18.16
UnSRGAN(ours)	26.13	0.7101	3.001	15.91

从表1中可以看出，本发明在定量结果上，与其他无监督超分辨重建方法相比，在PSNR与ESRGAS指标表上仅次于ZSSR方法，在SSIM指标上和NIQE的指标表现上，实现了超越其他方法的性能，NIQE与人眼的感知评判较为一致，这也体现了本发明所重建图像视觉效果的提升。可视化结果如图2所示。本发明重建所得的图像具有最精细的纹理细节，在可视化结果上，重建图像实现了最佳的视觉效果，在对于灰色屋顶的重建，仅有本发明取得了与高分辨率图像纹理相近的细节表现，这也验证了UnSRGAN(基于约束重构的无监督遥感图像超分辨重建方法)的有效性及良好的细节恢复的能力。证明了本发明用于遥感图像无监督超分辨率重建的巨大应用价值。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，包括生成对抗网络模型的训练过程：所述生成对抗网络模型包括生成器模块、判别器模块和图像退化模块；训练过程如下：

步骤1：将待训练的低分辨率图像作为输入，经过所述生成器模块生成高分辨率的重建图像；

步骤2：所述高分辨率的重建图像经过所述图像退化模块生成退化的低分辨率图像；

步骤3：将所述低分辨率图像和所述退化的低分辨率图像作为输入经过所述判别器模块进行判别；判别过程根据所述低分辨率图像和所述退化的低分辨率图像的映射关系，对所述判别器模块进行判别真假的无监督训练；并输出判别结果；

训练完成后，将未重建的低分辨率遥感图像作为输入，经过所述生成器模块生成对应的高分辨率遥感图像。

2.根据权利要求1所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述生成器模块的结构包括基础模块、SAF模块、上采样模块、卷积层模块；

待训练的低分辨率图像经过卷积层模块生成输出结果一；所述输出结果一经过若干个所述基础模块和卷积层模块生成输出结果二；所述输出结果一和所述输出结果二相加后经过SAF模块、上采样模块以及两个卷积层模块生成高分辨率的重建图像。

3.根据权利要求1所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述判别器模块的结构包括全卷积网络层，用于提取所述低分辨率图像和所述退化的低分辨率图像特征。

4.根据权利要求1所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，生成对抗网络损失包括网络整体损失函数和判别器损失函数；所述网络整体损失函数对所述生成器模块进行约束；所述判别器模块损失函数对所述判别器模块进行约束。

5.根据权利要求4所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述网络整体损失函数为：

L_{G_total}＝λ₁·L_cb+λ_per·L_per+λ_adv·L_{G_adv}

其中，L_{G_total}为网络整体损失函数，L_cb像素损失，L_per表示感知损失，L_{G_adv}表示生成器模块的对抗损失，λ₁表示L_cb的权重，λ_per表示L_per的权重，λ_adv表示生成器模块的对抗损失权重。

6.根据权利要求5所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述生成器模块的对抗损失函数为：

其中，

为生成器模块的第一项约束，

为生成器模块的第二项约束，SR为重建的高分辨率，F(I^LR；θ)为退化算子，I^LR为低分辨率图像，θ为参数，D(I^LR，F(I^LR；θ)和D(F(I^LR；θ)，I^LR)为判别器模块对低分辨率图像与重建图像退化的低分辨率图像的约束。

7.根据权利要求5所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，像素损失公式为：

其中，N为像素总数，i为第i个像素点，F(I^LR；θ)为输入图像的退化算子，ρ(x)为中间结果，ε为极小常数，x为高分辨率图像，ρ(F(I^LR；θ)-I^LR)为退化图像的低分辨率图像与低分辨率图像的像素损失，θ为参数，I^LR为低分辨图像。

8.根据权利要求4所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述判别器模块损失函数为：

其中，D(I^LR，F(I^LR；θ))和D(F(I^LR；θ)，I^LR)为判别器模块对低分辨率图像与重建图像退化的低分辨率图像的约束，I^LR为低分辨率图像，LR为低分辨率，θ为参数，F(I^LR；θ)为退化算子。

9.根据权利要求2所述的一种基于约束重构的无监督遥感图像超分辨率重建方法，其特征在于，所述基础模块包括密集块和通道注意力模块。

Images