CN111754399A - 基于梯度的保持几何结构的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于梯度的保持几何结构的图像超分辨率方法，包括以下步骤：将低清图片输入生成网络，其中，生成网络包括超分分支和梯度分支，两个分支分别对输入的低清图像进行特征提取，梯度分支会将超分分支的部分中间特征作为输入，进行梯度的重建；之后将重建后的梯度特征输送回超分分支，使超分分支掌握梯度的相关信息。最后对于生成的梯度图和超分图片，利用提出的梯度目标方程，对生成网络进行约束和优化，最终训练的模型即可生成保持几何结构的清晰图片。该方法既能保持生成图像的几何结构又能保证图像修复的清晰程度。

Description

基于梯度的保持几何结构的图像超分辨率方法

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种基于梯度的保持几何结构的图像超分辨率方法，具体涉及图像复原和超分辨率技术。

背景技术

图像超分辨率技术(Super Resolution，SR)是计算机视觉领域中的一个经典问题，有着广泛的应用场景，比如监控图像和卫星图像等。图像超分技术将低分辨率的输入图片(LR)进行重建和修复，得到对应的高分辨率图像(HR)作为输出，因为输入的每个像素都对应输出中的多个像素，因此一个输入可能对应多个求解，超分问题也格外具备挑战性。

随着深度学习的发展，超分辨率方法已经有了突破性的进展。目前的大多数超分方法是基于均方误差的损失函数进行优化的，这些方法度量超分图片和高清图片之间的平均像素距离，所以会导致生成结果有较高的峰值信噪比(PSNR)，但这样生成的图片也通常会较为模糊，因为生成结果往往是可能结果的统计平均。为了生成更加真实自然的超分结果，很多方法开始利用近年来飞速发展的对抗生成网络(GAN)的相关技术。这样的方法能够生成更锐利的边缘，也能使复原的图像整体看起来更加清晰。但同时也存在着巨大的问题，在生成的图像中会有一些几何上的失真或者形状奇怪的噪点，这些都是不应该出现的情况。因此基于PSNR的方法和基于GAN的方法各有利弊，前者没有结构失真，但图像相对模糊，后者图像清晰自然，但可能出现较为严重的失真。虽然一些方法尝试着在两种生成效果之间进行转换，但仍需要在二者之间进行权衡取舍，没有办法兼顾二者的优势。因此如何在生成清晰图片的情况下保持原图良好的几何结构，是提高图像超分辨率性能的关键因素。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于梯度的保持几何结构的图像超分辨率方法，该方法利用图像的梯度图来提高生成图像的质量。

为达到上述目的，本发明实施例提出了基于梯度的保持几何结构的图像超分辨率方法，包括以下步骤：步骤S1，采样并提取低清图片的低清梯度图；步骤S2，将所述低清图片输入生成网络中，所述生成网络中的超分分支和梯度分支分别提取深度特征进行图像重建，得到超分图片；步骤S3，求解所述超分图片的超分梯度图，约束所述超分梯度图生成损失函数，以对所述生成网络进行训练，将所述低清图片输入训练后的生成网络中，生成保持几何结构的清晰图片。

本发明实施例的基于梯度的保持几何结构的图像超分辨率方法，通过提出梯度分支，来显式地对图像梯度图进行建模和恢复，从而辅助图像生成的分支；另一方面，基于梯度的目标方程，从而为生成网络提供额外的监督信号，使得网络的生成能力得到大幅提高。

另外，根据本发明上述实施例的基于梯度的保持几何结构的图像超分辨率方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，采样训练集中的高清图片得到低清图片。

进一步地，在本发明的一个实施例中，所述步骤S2进一步包括：将所述低清图片输入所述超分分支中，提取所述深度特征；将所述深度特征的中间特征和所述低清梯度图输入所述梯度分支中，生成对应的重建梯度图；将所述重建梯度图重新输入至所述梯度分支中处理，生成所述超分图片。

进一步地，在本发明的一个实施例中，利用梯度求解法计算所述超分图片的超分梯度图。

进一步地，在本发明的一个实施例中，所述梯度求解法的公式为：

I_x(x,y)＝I(x+1,y)-I(x-1,y)

I_y(x,y)＝I(x,y+1)-I(x,y-1)

其中，I表示超分图片，x和y表示其中某一点的坐标，M表示I的超分梯度图。

进一步地，在本发明的一个实施例中，步骤S3中利用像素距离度量约束所述超分梯度图与原使高清图像的梯度图的表象相似度，利用对抗生成损失度量约束所述超分梯度图与原使高清图像的梯度图的语义相似度。

进一步地，在本发明的一个实施例中，所述表象相似度L₁和所述语义相似度L₂的计算公式分别为：

其中，G表示生成网络，M表示梯度，LR和HR分别表示低清图片和高清图片，N表示图像总数量，D表示梯度图的判别器。

进一步地，在本发明的一个实施例中，所述损失函数包括超分分支的监督损失函数和梯度分支的监督损失函数。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于梯度的保持几何结构的图像超分辨率方法的流程图；

图2为根据本发明一个实施例的基于梯度的保持几何结构的图像超分辨率方法的网络结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于梯度的保持几何结构的图像超分辨率方法。

图1是本发明一个实施例的基于梯度的保持几何结构的图像超分辨率方法的流程图。

如图1所示，该基于梯度的保持几何结构的图像超分辨率方法包括以下步骤：

在步骤S1中，采样并提取低清图片的低清梯度图。

也就是说，将训练集中的高清图片进行下采样，得到低清图片作为生成网络的输入，同时，对低清图片提取梯度图，以作为梯度分支的输入。

在步骤S2中，将低清图片输入生成网络中，生成网络中的超分分支和梯度分支分别提取深度特征进行图像重建，得到超分图片。

进一步地，在本发明的一个实施例中，步骤S2进一步包括：将低清图片输入超分分支中，提取深度特征；将深度特征的中间特征和低清梯度图输入梯度分支中，生成对应的重建梯度图；将重建梯度图重新输入至梯度分支中处理，生成超分图片。

具体地，如图2所示，低清图片经过超分分支进行特征提取，其中部分层的输出特征被传到梯度分支当中作为输入，梯度分支同时会将低清图片的梯度图作为输入，最终输出对应的重建梯度图。重建后的梯度特征会被重新输送回超分分支，作为超分图像几何结构的引导信息，经过卷积层得到最后的超分图片。本发明实施例基于梯度图的生成网络结构，借用原有超分结构的中间输出特征进行梯度图的重建，重建后的梯度图又会重新作用在超分网络上提高了超分性能。

在步骤S3中，求解超分图片的超分梯度图，约束超分梯度图生成损失函数，以对生成网络进行训练，将低清图片输入训练后的生成网络中，生成保持几何结构的清晰图片。

具体地，在得到生成的超分图像之后，利用梯度求解法计算超分图片的超分梯度图，梯度求解法的公式为：

I_x(x,y)＝I(x+1,y)-I(x-1,y)

I_y(x,y)＝I(x,y+1)-I(x,y-1)

式中I表示超分图片，x和y表示其中某一点的坐标，M表示I的超分梯度图。

进一步地，再约束该梯度图和原高清图像的梯度图一致，该一致性体现在两个方面，一方面利用像素距离度量约束超分梯度图与原使高清图像的梯度图的表象相似度L₁，二方面利用对抗生成损失度量约束超分梯度图与原使高清图像的梯度图的语义相似度L₂，具体表达式为：

式中G表示生成网络，M表示梯度，LR和HR分别表示低清图片和高清图片，N表示图像总数量，D表示梯度图的判别器，该训练目的是将生成图像和原始高清图像区分开来，从而与G构成对抗，提高G的生成性能。

需要说明的是，损失函数包括超分分支的监督损失函数和梯度分支的监督损失函数。其中，超分分支监督损失又分为两部分，图像域损失和梯度域损失。梯度分支监督损失则为生成梯度图的像素级损失，因此共由以下6项组成：

(1)

超分分支图像域像素级损失(均方误差或L1损失)；

(2)

超分分支图像域视觉损失(利用VGG网络的特征距离来反映生成性能)；

(3)

超分分支图像域生成对抗损失；

(4)

超分分支梯度域像素级损失(均方误差或L1损失)；

(5)

超分分支梯度域生成对抗损失；

(6)

梯度分支梯度图像素级损失(均方误差或L1损失)。

综上，本发明实施例提出的基于梯度的保持几何结构的图像超分辨率方法，通过设计梯度分支对图像的梯度进行修复和重建，梯度分支就能够专注于图像中几何结构信息的处理，从而能够显式地获取超分图像内部的几何结构信息为高质量的图像超分做准备，在获取了生成的梯度信息之后，超分分支又会利用卷积层对特征进行处理，最终得到输出的超分图片。而在训练网络的时候，超分图片除了要用以往方法中提到的均方误差损失、视觉损失、对抗损失来监督外，还由梯度损失进行监督，也就是对超分图片也提取梯度，使其等于对应高清图片的梯度，从而完成生成网络的学习。该方法既保证了图像清晰程度，又避免生成过程中可能有的失真，同时，利用基于梯度的目标函数对生成网络施加额外的监督信号，约束解空间，使得生成网络更加符合人视觉特征的图像结果。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于梯度的保持几何结构的图像超分辨率方法，其特征在于，包括以下步骤：

步骤S1，采样并提取低清图片的低清梯度图；

步骤S2，将所述低清图片输入生成网络中，所述生成网络中的超分分支和梯度分支分别提取深度特征进行图像重建，得到超分图片；以及

步骤S3，求解所述超分图片的超分梯度图，约束所述超分梯度图生成损失函数，以对所述生成网络进行训练，将所述低清图片输入训练后的生成网络中，生成保持几何结构的清晰图片。

2.根据权利要求1所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，采样训练集中的高清图片得到低清图片。

3.根据权利要求1所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，所述步骤S2进一步包括：

将所述低清图片输入所述超分分支中，提取所述深度特征；

将所述深度特征的中间特征和所述低清梯度图输入所述梯度分支中，生成对应的重建梯度图；

将所述重建梯度图重新输入至所述梯度分支中处理，生成所述超分图片。

4.根据权利要求1所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，利用梯度求解法计算所述超分图片的超分梯度图。

5.根据权利要求4所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，所述梯度求解法的公式为：

I_x(x，y)＝I(x+1，y)-I(x-1，y)

I_y(x，y)＝I(x，y+1)-I(x，y-1)

其中，I表示超分图片，x和y表示其中某一点的坐标，M表示I的超分梯度图。

6.根据权利要求1所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，步骤S3中利用像素距离度量约束所述超分梯度图与原使高清图像的梯度图的表象相似度，利用对抗生成损失度量约束所述超分梯度图与原使高清图像的梯度图的语义相似度。

7.根据权利要求6所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，所述表象相似度L₁和所述语义相似度L₂的计算公式分别为：

其中，G表示生成网络，M表示梯度，LR和HR分别表示低清图片和高清图片，N表示图像总数量，D表示梯度图的判别器。

8.根据权利要求1所述的基于梯度的保持几何结构的图像超分辨率方法，其特征在于，所述损失函数包括超分分支的监督损失函数和梯度分支的监督损失函数。

Images