CN110992262B - 一种基于生成对抗网络的遥感图像超分辨重建方法 - Google Patents
一种基于生成对抗网络的遥感图像超分辨重建方法 Download PDFInfo
- Publication number
- CN110992262B CN110992262B CN201911175452.2A CN201911175452A CN110992262B CN 110992262 B CN110992262 B CN 110992262B CN 201911175452 A CN201911175452 A CN 201911175452A CN 110992262 B CN110992262 B CN 110992262B
- Authority
- CN
- China
- Prior art keywords
- network
- resolution
- remote sensing
- image
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 15
- 230000001629 suppression Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 23
- 230000016776 visual perception Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 230000008034 disappearance Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000007704 transition Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 8
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000001162 G-test Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明涉及计算机图像处理技术领域，具体涉及一种基于生成对抗网络的遥感图像超分辨重建方法，包括构建由生成器网络和判别器网络构成的遥感图像超分辨率重建模型；在生成器网络中引入场景约束子网络解决场景变化问题，引入边增强子网络解决生成图像的边过渡平滑问题，引入TV损失进行噪声抑制，引入内容保真度应对训练过程中的不稳定性和梯度消失问题；在判别器网络中引入谱归一化控制判别器的性能，推动生成器更好的学习。本发明能够基于低分辨率遥感图像生成高质量的高分辨率遥感图像，有效提高低分辨率遥感图像在分类检测中的精度，解决了遥感图像超分辨中边过渡平滑问题和场景变化问题，同时解决了GAN网络下训练不稳定性和梯度消失问题。
Description
技术领域
本发明涉及计算机图像处理技术领域，具体涉及一种基于生成对抗网络的遥感图像超分辨重建方法。
背景技术
遥感图像的分辨率是影响遥感图像解译的重要因素，高分辨率遥感图像包含更多细节，也更有利于遥感图像分类和目标检测等解译任务，所以更期望能获得更高分辨率的遥感图像。由于传感器等硬件成本和工艺的限制，高分辨率遥感图像的获取一直存在难度大、成本高的问题，这严重地限制了遥感图像的应用。超分辨(Super-Resolution，RS)重建可以利用计算机软件从一幅或多幅低分辨率图像生成对应的高分辨率图像，是一种灵活经济的提高图像分辨率的技术，可获得更高分辨率的遥感图像、提高遥感图像场景分类和目标检测等任务的精度、扩大遥感技术的应用领域。
现有图像超分辨率重建方法根据重建时使用低分辨率图像的数量一般可分为两类：单图像超分辨重建和多图像超分辨重建。单图像超分辨率重建用线性或非线性映射以及图像先验使用低分辨率(LR)图像作为输入产生令人满意的高分辨率图像。单图像超分辨重建方法通常分为基于模型的和基于深度学习的方法，前者始终将线性或亚线性重构和图像先验结合到超分辨率重建中，结果会丢失图像细节，并且引起锯齿现象甚至改变了关键语义；而后者则是在深度学习规范和硬件设备的基础上构建的，尤其是基于生成对抗网络(GAN)的单图像超分辨重建方法展示了强大的潜力。
尽管已经提出了一些基于GAN算法来实现遥感图像的超分辨率，如文件CN110136063A公开的基于条件生成对抗网络的单幅图像超分辨率重建方法。由于遥感图像和自然图像相比具有更复杂的背景和种类繁多的地物信息，其纹理结构和高频细节也更复杂。因此，基于GANs方法的遥感图像超分辨率重建仍然存在一些限制，如生成图像场景变化、生成图像的边缘过度平滑且精度不高。除此之外，大多数基于GANs的SR方法几乎都采用基本的生成对抗框架，是不稳定的，还可能存在梯度消失的问题。
发明内容
本发明解决的技术问题是，现有的基于GANs方法的遥感图像超分辨率重建方法会产生场景变化、边缘过度平滑及训练不稳定等问题。本发明提供的基于生成对抗网络的遥感图像超分辨重建方法，把低分辩率遥感图像通过超分辨率重建为高分辨率遥感图像，解决了场景变化、边缘过度平滑及训练不稳定的问题。
本发明提供的基础方案为：一种基于生成对抗网络的遥感图像超分辨重建方法，包括步骤1：预处理遥感图像数据集，制作高、低分辨率遥感图像及对应的标签作为训练数据集；步骤4：将待处理的低分辨率遥感图像和标签输入到训练好的生成模型，获得超分辨率重建的高分辨率遥感图像；还包括，步骤2：使用稠密块构建用于训练的生成对抗网络模型，在生成网络中引入场景约束子网络、边增强子网络和噪声抑制子网络，在判别网络中引入谱归一化，损失函数中引入条件对抗损失，引入内容保真度；步骤3：将步骤1得到的低、高分辨率遥感图像和对应标签作为训练集输入到生成对抗网络中进行模型训练，训练过程中设定一个阈值作为训练是否结束的判断条件，如果前后两次损失差连续多次小于该阈值说明对抗生成结束，自动终止训练。
本发明的工作原理及优点在于：构建由生成器网络和判别器网络构成的遥感图像超分辨率重建模型，在生成器网络中引入场景约束子网络解决场景变化问题；引入边增强子网络解决生成图像的边过渡平滑问题；引入TV损失进行噪声抑制，消除生成图像过程中的噪声；引入内容保真度，应对训练过程中的不稳定性和梯度消失问题；在判别器网络中引入谱归一化控制判别器的性能，推动生成器更好的学习。通过构建条件对抗损失和内容损失，内容损失用于提高超分辨率遥感图像的感知质量，条件对抗损失用来增强高分辨率细节的生成来欺骗判别器，同时训练生成器网络和判别器网络达到一个纳什均衡。本发明能够基于低分辨率遥感图像生成高质量的高分辨率遥感图像，有效提高低分辨率遥感图像在分类检测中的精度，解决了遥感图像超分辨中边过渡平滑问题和场景变化问题，同时通过内容保真度的引入解决了GAN网络下训练不稳定性和梯度消失问题。
进一步，步骤1中训练集制作过程为：
(1)从遥感图像数据集和辅助标签集随机采样一批高分辨率图像和标签，作为高分辨率图像训练集；(2)对高分辨率遥感图像训练集中图像进行双三次插值下采样(下采样比例为r，r＝2n，n＝0，1，2，3……)，获得的低分辨率遥感图像和对应标签作为低分辨率图像训练集。其他方法只有图像而没有标签，引入标签可以实现条件对抗，保持生成图像场景不变性，同时图像的分辨率也会提高。
进一步，步骤2中，采用集成Dense block构建生成对抗网络模型。这样可以有效提高该网络模型对图像特征的提取能力和分辨率，也有利于改善算法和提高定位精度。
进一步，步骤2中，生成网络中引入辅助标签构建场景约束子网络。该辅助标签影响内容损失函数和对抗损失函数，保持生成的超分辨率重建图像场景不变性；除此之外还有利于合理利用场景特征、降低图像噪声从而提高视觉的可接受程度。
进一步，步骤2中，生成网络中引入边增强子网络。对生成的初步超分辨率图像获取图像边缘信息然后进行边缘增强，能够解决边过度平滑问题，消除噪声可能对边缘产生的影响；图像增强的效果也会使得图像边界增强后更符合视觉特性。
通过拉普拉斯算子对初步超分辨率图像进行边缘检测，抽取边缘信息，如式(1)，
E(x,y)表示抽取的边，L(x,y)表示拉普拉斯算子，I(x,y)表示初步超分辨率图像。
为了增强边，利用Dense block提取边缘图并将其同时转换为LR空间，同时使用一个mask(掩码)分支来学习要检测的图像mask。随后，通过子像素卷积操作将增强的边缘图投影到HR空间上，如式(2)，
其中B(·)是双三次下采样算子，E(·)表示边缘增强部分中的密集子网络，用于特征提取和融合。M(·)代表mask分支，以学习图像掩码以抑制噪声和虚假边缘；PS(·)是带有子像素卷积的上采样操作，用于将边缘图转换为HR空间；
是生成网络输出的初步超分辨率遥感图像，而不是最终的SR图像。
进一步，步骤2中，生成网络中引入噪音抑制网络，使用全变分损失(TV)。其思想是将对图像去除噪声的问题，通过建模转化为一个能量函数的极小值问题，从而平滑图像。同时由于引入偏微分方程用于图像去噪，既能在平滑图像的噪声，又能使得图像的边缘得到保持，这很好地解决了恢复图像细节和抑制噪声之间的矛盾；既可以抑制生成的超分辨图像包含的噪声，又提高图像生成质量。
基于TV的优化算法如式(3)，
式中：λ为权重系数，用来控制平滑度，避免过度平滑。
式(2)和(3)组合进行逐元素求和得到边增强和噪声抑制后的最终超分辨率遥感图像，可以表示为式(4)。
进一步，步骤2中，通过多个卷积层和Dense连接层构建判别网络，并加入谱归一化层。多个卷积层可以提高判别器的性能，无需额外空间即可使其在存储空间的利用上达到最优；谱归一化可以消除训练时出现的收敛问题，使训练过程变得稳定，从而推动生成器更好的学习。
由于谱范数被定义为：
并且等于矩阵A的最大奇异值。谱归一化定义为
可以使判别网络满足Lipschitz约束
所以谱归一化的使用较好的控制判别网络的判别性能，从而让生成器更好的学习，生成高质量超分辨率重建结果。
进一步，步骤2中，使用像素方均方误差损失(pixel-wise mean square error，pMSE)和视觉感知损失(VGG)共同构成内容损失，强制生成器生成流形一致的初步超分辨遥感图像。由于像素方均方误差损失是采用使用像素级均方误差作为损失函数来训练生成器网络，这有效地避免了网络模型训练初期时的反复、大幅度来回跳动，从而防止生成器网络得到的不是最优解。视觉感知损失对输出结果的稳定性进行优化并提升回归的稳定性，从而提升整体视觉感知算法性能，这可以增强超分辨率重建图像的质量。
像素方均方误差损失(pixel-wise mean square error，pMSE)和视觉感知损失(VGG)分如式(5)和(6)所示，这里引入了辅助标签l。
进一步，步骤2中，使用基于Wasserstein距离增加辅助标签约束的对抗损失函数。
这样能够克服低对比度、噪声、模糊边界因素等带来的负面影响，从而提高对图像分割的准确率；还可以提高网络的判断精度与故障诊断能力。
通过辅助标签施加条件的条件对抗损失可以用式(7)表示，
三种损失函数组合，优化生成器参数，最终总的损失函数可表示为公式(8)，
LTotal＝LCGen+αLpMSE+βLVGG/i,j (8)
上述式(5)-(8)中，l表示辅助类别标签信息，G表示生成网络，D表示判别网络，θg表示生成网络的参数，θd表示判别网络的参数，
和
分别表示原始图像IHR和待超分辨率图像ILR中第(x,y)像素点的像素值，W和H分别表示
和
的图像大小，r表示比例因子，α和β为控制三种损失比例的权重系数，通过训练过程获得。
训练过程中设定一个损失函数比较阈值作为训练是否结束的判断条件，如果前后两次损失差连续多次小于该阈值说明梯度收敛，则对抗生成结束，自动终止训练。
进一步，步骤2中，引入了内容保真项。获取的保真样本图像可用于扩充训练样本数量、丰富样本特征，从而提高深度学习算法模型的识别和泛化能力，保证训练的稳定性和解决梯度消失问题。
最终GAN的对抗过程用公式表示为式(9)，
通过式(9)中的第2项，即内容保真项(标准的对抗过程公式不包含第2项)可以保证训练的稳定性，并且避免了梯度消失问题的产生，而训练不稳定和梯度消失是GAN的较大问题。
进一步，步骤3所述模型的训练过程用下列算法所示的伪代码表示。
假设：遥感图像数据集为X，批量采样器为SA，比例因子为R，辅助标签为L，边缘检测运算符为O，双三次插值下采样运算符B；确保网络G和D分别具有参数θg和θd。
最小批大小为m，总迭代次数为I，损失函数比较阈值为Lη，计数器cnt＝0。
1：for iter<I do；
2：(HR,l)←SA(X,L){从遥感图像数据集X和辅助标签L分别采样一批高分辨率图像和标签}；
3：LR←B(HR){对采样的一批图像进行降采样以获得相应的低分辨率图像}；
4：输入LR-HR图像对和标签到判别器和生成器中；
5：使用式(10)通过增加其随机梯度来更新判别器D；
6：使用式(11)通过沿其随机梯度下降来更新生成器G；
7：SR←G(LR|l){从LR图像重建SR图像}；
8：Edge←O(SR){提取SR图像的边缘}；
9：SR←TV(SR){使用式(3)抑制SR图像的噪音}；
10：SR←SR⊕Edge{使用式(4)融合去噪的SR图像和提取的边缘}；
11：判断前后两次损失函数差，是否小于损失函数比较阈值，如果小于cnt＝cnt+1；
12：if cnt>＝10退出循环；
13：结束循环；
附图说明
图1是本发明基于生成对抗网络的遥感图像超分辨重建方法实施例的算法流程图。
具体实施方式
下面通过具体实施方式进一步详细的说明。
如附图1所示，本实施例提供的一种基于生成对抗网络的遥感图像超分辨率重建方法，包括如下步骤：
步骤1.对高分辨率遥感图像数据集进行预处理。从高分辨率遥感图像数据集AID中随机采取80％的图像和对应标签，构成高分辨率遥感图像训练集；然后对训练集中的图像采用双三次插值下采样，生成含标签的低分辨率遥感图像训练集；然后对高低分辨率训练集使用批大小32进行批采样，把采样得到的高低分辨率和对应标签构成的数据对作为生成对抗网络的输入。其他方法只有图像而没有标签，引入标签可以实现条件对抗，保持生成图像场景不变性，同时图像的分辨率也会提高。
步骤2.构建生成对抗网络模型。该模型包含生成器网络和判别器网络，在生成网络中引入场景约束子网络、边增强子网络和噪声抑制子网络；在判别网络中引入谱归一化，该模型引入内容损失和条件对抗损失，还引入了内容保真度。生成器用于接收低分辨率遥感图像和对应标签，生成超分辨重建的高分辨率遥感图像；判别器同时接收原始高分辨率遥感图像和超分辨重建的高分辨率遥感图像及他们对应的标签，用于判别原始真实高分辨率遥感图像和超分辨率图像。生成器目的是使超分辨率生成的遥感图像能骗过判别器，判别器以原始真实高分辨率遥感图像为判别条件，判断输入的高分辨率图像到底是真实的还是超分辨率重建的。
生成对抗网络构建中各部分涉及的详细过程如下：
1)使用Dense block构建生成网络，这样可以有效提高该网络模型对图像特征的提取能力和分辨率，也有利于改善算法和提高定位精度。生成网络中引入辅助标签构建场景约束子网络，该辅助标签影响内容损失函数和对抗损失函数，保持生成的超分辨率重建图像场景不变性；除此之外还有利于合理利用场景特征、降低图像噪声从而提高视觉的可接受程度。
具体通过把待超分辨率重建的图像及对应类别标签同时输入，把类标签作为约束条件加入该子网络。接受输入的待超分辨率的图像和标签后，经过该子网络生成初步超分辨率重建图像
2)生成网络中引入边增强子网络，对生成的初步超分辨率图像
获取图像边缘信息，对生成的初步超分辨率图像获取图像边缘信息然后进行边缘增强，能够解决边过度平滑问题，消除噪声可能对边缘产生的影响；图像增强的效果也会使得图像边界增强后更符合视觉特性。
具体的过程为：针对初步超分辨率重建图像
通过拉普拉斯算子进行边缘检测，抽取边信息，可以表示为式(1)，
E(x,y)表示抽取的边，L(x,y)表示拉普拉斯算子，I(x,y)表示初步超分辨率图像。为了增强边，利用Dense块提取边缘图并将其同时转换为低分辨率(Low-Resolution，LR)空间，还使用了一个mask分支来学习要检测的图像mask。随后，通过子像素卷积操作将增强的边缘图投影到高分辨率(High-Resolution，HR)空间上。上述操作过程可以表述为式(2)，
其中B(·)是双三次下采样算子，E(·)表示边缘增强部分中的密集子网络，用于特征提取和融合。M(·)代表mask分支，以学习图像掩码以抑制噪声和虚假边缘。PS(·)是带有子像素卷积的上采样操作，用于将边缘图转换为HR空间，
是生成的初步超分辨率遥感图像对应的边缘图像。
3)生成网络中引入噪音抑制子网络，使用全变分损失(TV)。其思想是将对图像去除噪声的问题，通过建模转化为一个能量函数的极小值问题，从而平滑图像。同时由于引入偏微分方程用于图像去噪，既能在平滑图像的噪声，又能使得图像的边缘得到保持，这很好地解决了恢复图像细节和抑制噪声之间的矛盾；既可以抑制生成的超分辨图像包含的噪声，又提高图像生成质量。
基于TV的优化算法对应公式可以表示为式(3)，
λ为权重系数，用来控制平滑度，避免过度平滑，
为去掉噪声后的超分辨率重建图像。式(2)和(3)组合进行逐元素求和得到最终的超分辨率遥感图像，可以表示为式(4)。
4)通过多个卷积层和Dense连接层构建判别网络，并加入谱归一化层。多个卷积层可以提高判别器的性能，无需额外空间即可使其在存储空间的利用上达到最优；谱归一化可以消除训练时出现的收敛问题，使训练过程变得稳定，从而推动生成器更好的学习。
由于谱范数被定义为：
并且等于矩阵A的最大奇异值。谱归一化定义为
可以使判别网络满足Lipschitz约束
所以谱归一化的使用较好的控制判别网络的判别性能。
5)使用像素方均方误差损失(pixel-wise mean square error，pMSE)和视觉感知损失(VGG)共同构成内容损失，强制生成器生成流形一致的初步超分辨遥感图像。由于像素方均方误差损失是采用使用像素级均方误差作为损失函数来训练生成器网络，这有效地避免了网络模型训练初期时的反复、大幅度来回跳动，从而防止生成器网络得到的不是最优解。视觉感知损失对输出结果的稳定性进行优化并提升回归的稳定性，从而提升整体视觉感知算法性能，这可以增强超分辨率重建图像的质量。
像素方均方误差损失(pixel-wise mean square error，pMSE)，视觉感知损失(VGG)，分别用式(5)和(6)表示。
6)使用基于Wasserstein距离增加辅助标签约束的对抗损失函数。这样能够克服低对比度、噪声、模糊边界因素等带来的负面影响，从而提高对图像分割的准确率；还可以提高网络的判断精度与故障诊断能力。
条件对抗损失可以用式(7)表示：
三种损失函数组合，优化生成器参数，最终，总的损失函数可表示为式(8)，
LTotal＝LCGen+αLpMSE+βLVGG/i,j (8)
上述公式(5)-(8)中l表示辅助类别标签信息，G表示生成网络，D表示判别网络，θg表示生成网络的参数，θd表示判别网络的参数，
和
分别表示原始图像IHR和待超分辨率图像ILR中第(x,y)像素点的像素值，W和H分别表示
和
的图像大小，r表示比例因子，α和β为控制三种损失比例的权重系数。
7)引入了内容保真项。获取的保真样本图像可用于扩充训练样本数量、丰富样本特征，从而提高深度学习算法模型的识别和泛化能力，保证训练的稳定性和解决梯度消失问题。
最终的生成对抗过程用如下目标函数表示，对应式(9)，
通过式(9)中的第2项，即内容保真项可以增加训练的稳定性，并且避免了梯度消失问题的产生。
步骤3将训练集中的低、高分辨率遥感图像和对应标签输入生成对抗网络中进行模型训练。模型的训练过程可以用如下所示的伪代码中for循环表示。
假设：遥感图像数据集X使用AID；批量采样器：SA，比例因子R，辅助标签L，边缘检测运算符O，双三次插值下采样运算符B；
确保：生成网络G和判别网络D分别具有参数θg和θd。
初始化操作：
最小批大小设为32，总迭代次数I设为500。
1：for iter<I do
2：(HR,l)←SA(X,L){从遥感图像数据集X和辅助标签L采样数据集80％的高分辨率图像HR和标签l}；
3：LR←B(HR){对采样的一批图像进行4倍降采样以获得相应的低分辨率图像LR}；
4：输入LR-HR图像和标签对到判别器和生成器中；
5：使用式(10)通过增加其随机梯度来更新判别器D；
6：使用式(11)通过沿其随机梯度下降来更新生成器G；
7：SR←G(LR|l){通过生成器对LR图像重建生成超分辨率重建的SR图像}；
8：Edge←O(SR){提取SR图像的边缘}；
9：SR←TV(SR){使用式(3)抑制SR图像的噪音}；
10：SR←SR⊕Edge{使用式(4)融合去噪的SR图像和提取的边缘}；
11：结束循环；
步骤4.一旦模型训练好后，将待处理的低分辨率遥感图像和标签输入到训练好的生成对抗网络模型，即可获得超分辨率重建的高分辨率遥感图像。对重建图像的评估结果对比如表1所示。
表1.AID数据集上各种方法超分辨率重建结果指标比较
| Methods | SSIM | FSIM | MSIM | PSNR | MSE | IFC | IS | FID | SWD | G-train | G-test |
| CTF | 0.903 | 0.953 | 0.966 | 23.17 | 0.088 | 2.158 | - | - | - | - | - |
| ESPCN | 0.868 | 0.902 | 0.953 | 23.01 | 0.087 | 1.957 | - | - | - | - | - |
| FSRCNN | 0.826 | 0.896 | 0.931 | 24.52 | 0.076 | 1.586 | - | - | - | - | - |
| LapSRN | 0.903 | 0.910 | 0.946 | 25.10 | 0.069 | 2.133 | - | - | - | - | - |
| SRGAN | 0.867 | 0.917 | 0.925 | 24.73 | 0.058 | 1.897 | 5.83 | 29.55 | 34.53 | 72.8％ | 74.6％ |
| EEGAN | 0.936 | 0.972 | 0.990 | 26.22 | 0.045 | 2.015 | 9.25 | 17.84 | 27.65 | 78.5％ | 79.9％ |
| SNSRGAN | 0.933 | 0.966 | 0.986 | 26.37 | 0.046 | 2.733 | 11.23 | 16.64 | 26.33 | 79.2％ | 80.7％ |
| ESGAN | 0.941 | 0.989 | 0.992 | 26.80 | 0.033 | 3.050 | 12.58 | 15.45 | 20.55 | 80.3％ | 82.6％ |
表1中ESGAN方法代表本发明使用的方法，SSIM表示结构相似度，MSIM表示多尺度结构相似度，FSIM表示特征相似度，PSNR表示峰值信噪比，MSE表示均方误差，IFC表示信息保真标准。前三项是与结构相关的评估，MSE和IFC是感知相关的评估，其中MSE越小越好，其他的指标越大越好。GANs的评估由SWD，IS，FID，GAN-train和GAN-test五个指标评价，IS、GAN-train和GAN-test越大越好，FID和SWD越小越好。
从表1中各种数据可以看出，本发明使用的方法相较于其他方法，各种指标都很好。对于SSIM指标，采用ESGAN方法时高达0.941，而采用其他几种方法时最高也只有0.903，相比而言SSIM指标高出4.2％；对于MSIM指标，采用ESGAN方法时高达0.992，而采用其他几种方法时最高也只有0.966，相比而言MSIM指标高出2.7％；对于MSE指标，采用ESGAN方法为0.033，而采用其他几种方法时最高有0.088，相比而言MSE指标高出2.7倍。可见本发明通过稠密块构建用于训练的生成对抗网络模型，在生成网络中引入场景约束子网络、边增强子网络和噪声抑制子网络，在判别网络中引入谱归一化，损失函数中引入条件对抗损失，引入内容保真度；从而使得在多种指标评价中均优于其他几种方法。
为了量化说明场景约束子网络即辅助标签的效果，及谱归一化和内容保真项引入的效果，本实施例中对本方法变体进行实验评价，最终得到的评价结果如表2所示。
表2.ESGAN及其变体方法各项指标量化评价结果
| Methods | SSIM | FSIM | MSIM | PSNR | MSE | IFC |
| ESGAN | 0.941 | 0.989 | 0.992 | 26.80 | 0.033 | 3.050 |
| ESGAN-L | 0.923 | 0.962 | 0.968 | 24.71 | 0.874 | 2.771 |
| <![CDATA[ESGAN-S(10<sup>4</sup>)]]> | 0.936 | 0.973 | 0.986 | 25.85 | 0.887 | 2.867 |
| <![CDATA[ESGAN-S(10<sup>7</sup>)]]> | 0.937 | 0.972 | 0.988 | 25.87 | 0.884 | 2.915 |
| <![CDATA[ESGAN-C(10<sup>5</sup>)]]> | 0.926 | 0.958 | 0.965 | 23.14 | 0.842 | 3.133 |
| <![CDATA[EEGAN-C(10<sup>6</sup>)]]> | 0.896 | 0.957 | 0.984 | 20.01 | 0.887 | 3.217 |
表2中ESGAN方法代表本发明使用的方法，表2中迭代了103次，ESGAN-L表示不带辅助标签的方法也迭代了103次，ESGAN-S表示不带谱归一化的方法，ESGAN-C表示不带内容保真项的方法，方法名后括号里面的数字代表迭代训练的次数。
可以看出ESGAN优于它的变体的平均增量分别为：SSIM为3.16％，FSIM为4.64％、MSIM为3.66％。可见，在训练迭代次数相同的情况下，ESGAN-L生成的超分辨图像各项指标明显差于ESGAN，说明了辅助标签引入的效果；也即有利于合理利用场景特征、降低图像噪声，保持生成的超分辨率重建图像场景不变性。
从104迭代结果ESGAN-S(104)和107迭代结果ESGAN-S(107)比较可以看出，相差103次迭代ESGAN-S方法各项评价指标只有很小的提高，而ESGAN只进行103迭代，各项指标均优于ESGAN-S，说明谱归一化可以消除训练时出现的收敛问题，使训练过程变得稳定；从而加快了算法的收敛速度，推动了生成器更好的学习。105迭代结果ESGAN-C(105)和106迭代结果ESGAN-C(106)比较表明，获取的保真样本图像可扩充训练样本数量、丰富样本特征，提高深度学习算法模型的识别和泛化能力；从而保证训练的稳定性和解决梯度消失问题，并能使训练更稳定。
实施例2
在实施例1的基础上：
步骤1中训练集制作过程中对高分辨率遥感图像训练集中图像进行双三次插值下采样，也可以采用最邻近法。其思想是将最邻近的像元值赋予新像元，将原图像中像元的亮度值赋给输出的图像中带阴影的像元。该方法的优点是输出图像仍然保持原来的像元值，处理起来简单、快捷。也可采用线性内插法，使用邻近4个点的像元值根据其距内插点的距离赋予不同的权重进行线性内插。该方法具有平均化的低通滤波效果，边缘会因为受到平滑作用而产生一个比较连贯的输出图像。
步骤2中生成网络中引入边增强子网络也可采用Roberts算子，这种算法利用局部差分算子寻找边缘，采用对角线方向相邻两象素之差近似梯度幅值检测边缘。其检测垂直边缘的效果好于斜向边缘，定位精度高，适用于边缘明显且噪声较少的图像分割。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (4)
1.一种基于生成对抗网络的遥感图像超分辨重建方法，其特征在于，包括：
步骤1、预处理遥感图像数据集，制作高、低分辨率遥感图像及对应的标签作为训练数据集；
步骤2、使用稠密块构建用于训练的生成对抗网络模型，在生成网络中引入场景约束子网络、边增强子网络和噪声抑制子网络，在判别网络中引入谱归一化，损失函数中引入条件对抗损失，引入内容保真度；
步骤3、将步骤1得到的低、高分辨率遥感图像和对应标签作为训练集输入到生成对抗网络中进行模型训练，训练过程中设定一个阈值作为训练是否结束的判断条件，如果前后两次损失差连续多次小于该阈值说明对抗生成结束，自动终止训练
步骤4、将待处理的低分辨率遥感图像和标签输入到训练好的生成模型，获得超分辨率重建的高分辨率遥感图像；
步骤2中，生成网络中引入辅助标签构建场景约束子网络；
步骤2中，生成网络中引入边增强子网络，具体如下：
通过拉普拉斯算子对初步超分辨率图像进行边缘检测，抽取边缘信息，如下式，
表示抽取的边，表示拉普拉斯算子，表示初步超分辨率图像；
利用Dense block提取边缘图并将其同时转换为LR空间，同时使用一个mask分支来学习要检测的图像mask；随后通过子像素卷积操作将增强的边缘图投影到HR空间上，如下式，
其中B（）是双三次下采样算子，E（）表示边缘增强部分中的密集子网络，用于特征提取和融合，M（）代表mask分支，以学习图像掩码以抑制噪声和虚假边缘；PS（）是带有子像素卷积的上采样操作，用于将边缘图转换为HR空间；是生成网络输出的初步超分辨率遥感图像，而不是最终的SR图像；
步骤2中，生成网络中引入噪音抑制网络，使用全变分损失，全变分损失记为TV，基于TV的优化算法如下式，
式中，λ为权重系数；
步骤2中，使用像素方均方误差损失和视觉感知损失共同构成内容损失，强制生成器生成流形一致的初步超分辨遥感图像，像素方均方误差损失和视觉感知损失分别如下所示，
其中，引入了辅助标签l，像素方均方误差损失记为pMSE，视觉感知损失记为VGG；
步骤2中，使用基于Wasserstein距离增加辅助标签约束的对抗损失函数，通过辅助标签施加条件的条件对抗损失如下，
其中，l表示辅助标签，G表示生成网络，D表示判别网络，θ g 表示生成网络的参数，θ d 表示判别网络的参数，和分别表示原始图像I HR 和待超分辨率图像I LR 中第（x，y）像素点的像素值，W和H分别表示和的图像大小，r表示比例因子，α和β为控制三种损失比例的权重系数，通过训练过程获得；
步骤2中，引入内容保真项，得到公式如下，
上式为最终GAN的对抗过程用公式。
2.根据权利要求1所述的基于生成对抗网络的遥感图像超分辨重建方法，其特征在于，步骤1中训练集制作过程如下：
（1）从遥感图像数据集和辅助标签集随机采样一批高分辨率图像和标签，作为高分辨率图像训练集；
（2）对高分辨率遥感图像训练集中图像进行双三次插值下采样，获得的低分辨率遥感图像和对应标签作为低分辨率图像训练集。
3.根据权利要求2所述的基于生成对抗网络的遥感图像超分辨重建方法，其特征在于，步骤2中，采用集成Dense block构建生成对抗网络模型。
4.根据权利要求3所述的基于生成对抗网络的遥感图像超分辨重建方法，其特征在于，步骤2中，通过多个卷积层和Dense连接层构建判别网络，并加入谱归一化层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911175452.2A CN110992262B (zh) | 2019-11-26 | 2019-11-26 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911175452.2A CN110992262B (zh) | 2019-11-26 | 2019-11-26 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992262A CN110992262A (zh) | 2020-04-10 |
| CN110992262B true CN110992262B (zh) | 2023-04-07 |
Family
ID=70087103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911175452.2A Active CN110992262B (zh) | 2019-11-26 | 2019-11-26 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992262B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625608B (zh) * | 2020-04-20 | 2023-04-07 | 中国地质大学（武汉） | 一种基于gan模型根据遥感影像生成电子地图的方法、系统 |
| CN111931553B (zh) * | 2020-06-03 | 2024-02-06 | 西安电子科技大学 | 遥感数据增强生成对抗网络方法、系统、存储介质及应用 |
| CN111899168B (zh) * | 2020-07-02 | 2023-04-07 | 中国地质大学（武汉） | 一种基于特征增强的遥感影像超分辨率重建方法和系统 |
| CN111915491A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于远近景的弱监督超分辨率重建模型及方法 |
| CN112348103B (zh) * | 2020-11-16 | 2022-11-11 | 南开大学 | 图像块分类方法和装置及其超分辨重建方法和装置 |
| CN112508862B (zh) * | 2020-11-19 | 2022-03-25 | 电子科技大学 | 一种通过改进gan增强裂纹磁光图像的方法 |
| CN112396566A (zh) * | 2020-11-19 | 2021-02-23 | 中国石油大学(华东) | 基于生成对抗网络的海洋涡旋图像自动增强系统、计算机设备、存储介质 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN112734638B (zh) * | 2020-12-24 | 2022-08-05 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112837232B (zh) * | 2021-01-13 | 2022-10-04 | 山东省科学院海洋仪器仪表研究所 | 一种水下图像增强及细节恢复的方法 |
| CN112767226B (zh) * | 2021-01-15 | 2023-09-12 | 南京信息工程大学 | 基于gan网络结构自动学习失真的图像隐写方法和系统 |
| CN112837221B (zh) * | 2021-01-26 | 2022-08-19 | 合肥工业大学 | 一种基于双重判别的sar图像超分辨率重建方法 |
| CN112784777B (zh) * | 2021-01-28 | 2023-06-02 | 西安电子科技大学 | 基于对抗学习的无监督高光谱图像变化检测方法 |
| CN113516585B (zh) * | 2021-04-12 | 2023-04-11 | 中国科学院西安光学精密机械研究所 | 基于非成对的光学遥感图像质量提升方法 |
| CN113012049B (zh) * | 2021-04-15 | 2022-08-02 | 山东新一代信息产业技术研究院有限公司 | 一种基于gan网络的遥感数据隐私保护方法 |
| CN113160056A (zh) * | 2021-04-19 | 2021-07-23 | 东南大学 | 一种基于深度学习的带噪图像超分辨率重建方法 |
| CN113269722A (zh) * | 2021-04-22 | 2021-08-17 | 北京邮电大学 | 生成对抗网络的训练方法、及高分辨率图像重建方法 |
| CN113284046B (zh) * | 2021-05-26 | 2023-04-07 | 中国电子科技集团公司第五十四研究所 | 基于无高分辨率参考图的遥感图像增强和复原方法及网络 |
| CN113344110B (zh) * | 2021-06-26 | 2024-04-05 | 浙江理工大学 | 一种基于超分辨率重建的模糊图像分类方法 |
| CN113538247B (zh) * | 2021-08-12 | 2022-04-15 | 中国科学院空天信息创新研究院 | 超分辨率生成与条件对抗网络遥感影像样本生成方法 |
| CN114187179B (zh) * | 2021-12-14 | 2023-02-03 | 广州赋安数字科技有限公司 | 一种基于视频监控的遥感图像模拟生成方法及系统 |
| CN117893413A (zh) * | 2024-03-15 | 2024-04-16 | 博创联动科技股份有限公司 | 基于图像增强的车载终端人机交互方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2019
- 2019-11-26 CN CN201911175452.2A patent/CN110992262B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685716A (zh) * | 2018-12-14 | 2019-04-26 | 大连海事大学 | 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的单帧遥感图像超分辨率;苏健民等;《计算机工程与应用》(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992262A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992262B (zh) | 一种基于生成对抗网络的遥感图像超分辨重建方法 | |
| CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| Li et al. | Recurrent feature reasoning for image inpainting | |
| Zhu et al. | GAN-based image super-resolution with a novel quality loss | |
| CN105844630B (zh) | 一种双目视觉的图像超分辨率融合去噪方法 | |
| CN106709877B (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN107146228A (zh) | 一种基于先验知识的大脑磁共振图像超体素生成方法 | |
| CN110135438B (zh) | 一种基于梯度幅值预运算的改进surf算法 | |
| Shen et al. | Convolutional neural pyramid for image processing | |
| CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
| CN110992292A (zh) | 一种增强型低秩稀疏分解模型医学ct图像去噪方法 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| Wang et al. | Multi-focus image fusion based on quad-tree decomposition and edge-weighted focus measure | |
| Liu et al. | An efficient residual learning neural network for hyperspectral image superresolution | |
| Chen et al. | Single depth image super-resolution using convolutional neural networks | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| Li | Image super-resolution using attention based densenet with residual deconvolution | |
| CN111340697A (zh) | 一种基于聚类回归的图像超分辨方法 | |
| CN111340741B (zh) | 基于四元数与l1范数的粒子群优化灰度图像增强方法 | |
| Liu et al. | Edge-guided depth image super-resolution based on KSVD | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231023 Address after: 101316 1215, floor 12, building 2, yard 3, Jinguan North 2nd Street, Nanfaxin Town, Shunyi District, Beijing Patentee after: Beijing Jiu'An Tianxia Technology Co.,Ltd. Address before: 473000 No. 80 Changjiang Road, Wancheng District, Nanyang City, Henan Province Patentee before: NANYANG INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |