CN109949222B - 基于语义图的图像超分辨率重建方法 - Google Patents

Abstract

本发明提供一种基于语义图的图像超分辨率重建方法，属于图像重构技术领域。该方法对原始图像进行预处理，获取预处理图像，所述预处理图像的分辨率高于所述原始图像的分辨率；利用语义图生成网络获取所述预处理图像的语义图；根据所述预处理图像和所述预处理图像的语义图，获取初步重构图像；对所述初步重构图像进行细化处理，获取最终重构图像。本发明解决大尺度因子中的非线性映射问题，利用语义图重构图像，使用图像细化网络以优化重构出的结果，生成具有更好感知质量的高分辨率图像。

Description

基于语义图的图像超分辨率重建方法

技术领域

本发明涉及图像重构技术领域，具体涉及一种基于语义图的图像超分辨率重建方法。

背景技术

近年来，随着信息技术产业的快速发展，人们对图像、视频的要求越来越高。尤其是超分辨率图像，4K超高清电视，凭借着超高清晰度、高保真度，给用户带来了极其震撼的视觉冲击。在实际的网络传输中，由于网络带宽的限制以及实时性传输的要求，尽可能用较少的比特数来重建出较多的图像或视频信息。

图像的语义图，也就是语义分割图，它包含了原始自然图像的类别信息和位置信息。语义分割的应用范围很广，从场景理解、自动驾驶到图像中对象之间的关系。对于一幅语义图，不需要存储大量的图像信息，可以节省存储空间。

图像超分辨率(Super-Resolution,SR)的任务就是从给定的低分辨率图像重建出高分辨率图像。在计算机视觉领域，图像超分辨率是一个非常有趣的研究主题，具有广泛的应用，例如医学图像、监控图像、卫星图像和人脸识别等。图像超分辨率技术主要包括基于插值的超分辨率重建技术，基于模型的超分辨率重建技术和基于深度学习的超分辨率重建技术。在计算机视觉社区中已经提出了许多SR方法。早期的方法使用非常快速的插值方法，例如双立方插值，并且通常产生具有过于平滑纹理的结果。一些更强大的方法利用统计图像先验或内部图像块重现。

近年来，深度学习在计算机视觉领域取得了巨大成功，例如图像分类，图像翻译，图像超分辨率等。对于图像超分辨率，文献[1]提出了一种超分辨率卷积神经网络(SRCNN)，以端到端的方式学习从低分辨率图像(Low-Resolution,LR)到高分辨率图像(High-Resolution,HR)的映射关系；文献[2]提出了一种递归卷积神经网络，它允许远程像素依赖，实现最先进的结果；文献[3]通过估计图像SR的结构和细节，提出了一种通用的双卷积神经网络(DualCNN)。此外，残差学习已经显示出是一个有效的学习技巧，文献[4]使用残差块来构建具有残差缩放的非常宽的网络结构；文献[5]提出了统一的框架残差密集网络和残差密集块来用于高质量图像SR。

虽然这些SR模型显示出很好的结果，但有两个主要问题。首先，目前的方法难以学习LR和HR之间的关系，特别是对于大的缩放因子。在大的缩放因子中，HR图像的精细细节可能在其LR图像中具有很少或没有，因此重建的图像可能不令人满意。其次，大多数当前方法利用重建的HR图像和原始图像之间的均方误差来优化网络。由于均方误差未能捕获高频纹理细节的能力非常有限，因此重建的HR图像通常过于平滑且感知质量较差。

最近，生成对抗网络(Generative Adversarial Network,GAN)已成为计算机视觉中生成模型的流行网络模型。GAN由两个网络组成：生成器和鉴别器，它们可以交替训练以相互竞争。GAN可以提供一个强大的框架，用于生成具有高感知质量的看似合理的自然图像。它可实现各种应用，如图像生成、图像编辑、图像超分辨率和表示学习。GAN成功的关键是对其抗性训练的想法，迫使生成的图像与自然图像无法区分。对于图像超分辨的任务，文献[6]提出了一种超分辨率的生成对抗网络(SRGAN)，它采用具有跳级连接的深度残差网络，并为×4放大因子下实现了照片般逼真的自然图像。

参考文献：

[1]C.Dong,C.C.Loy,K.He,and X.Tang,“Image Super-Resolution Using DeepConvolutional Networks,”IEEE Transactions on Pattern Analysis&MachineIntelligence,vol.38,no.2,pp.295-307,2016.

[2]J.Kim,JK.Lee,and KM.Lee,“Deeply-Recursive Convolutional Networkfor Image Super-Resolution,”IEEE Conference on Computer Vision and PatternRecognition,pp.1637-1645,2016.

[3]J.Pan,S.Liu,J.Zhang,Y.Liu,J.Ren,Z.Li,J.Tang,H.Lu,Y.-W.Tai,andMing-Hsuan Yang,“Learning Dual Convolutional Neural Networks for Low-LevelVision”,IEEE Conference on Computer Vision and Pattern Recognition,pp.3070-3079,2018.

[4]B.Lim,S.Son,H.Kim,S.Nah,and K.M.Lee,“Enhanced deep residualnetworks for image super-resolution,”IEEE Conference on Computer Vision andPattern Recognition Workshops,2017.

[5]Y.Zhang,Y.Tian,Y.Kong,B.Zhong,and Y.Fu,“Residual dense network forimage super-resolution,”IEEE Conference on Computer Vision and PatternRecognition,pp.2474-2481,2018.

[6]C.Ledig,L.Theis,F.Husz′ar,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang,and W.Shi,“Photo-Realistic Single ImageSuper-Resolution Using a Generative Adversarial Network,”IEEE Conference onComputer Vision and Pattern Recognition,pp.105-114,2017.

发明内容

本发明的目的在于提供一种基于语义图的图像超分辨率重建方法，以解决上述背景技术中存在的技术问题。

为了实现上述目的，本发明采取了如下技术方案：

本发明提供的一种基于语义图的超分辨率重建方法，包括以下过程：

步骤S110：对原始图像进行预处理，获取预处理图像，所述预处理图像的分辨率高于所述原始图像的分辨率；

步骤S120：利用语义图生成网络获取所述预处理图像的语义图；

步骤S130：根据所述预处理图像和所述预处理图像的语义图，获取初步重构图像；

步骤S140：对所述初步重构图像进行细化处理，获取最终重构图像。

优选的，所述步骤S110具体包括：

采用双三次方插值算法对所述原始图像进行处理，获取预处理图像。

优选的，所述步骤S120具体包括：

选择U-Net卷积神经网络，执行卷积操作之后，进行批量标准化和ReLU激活，利用卷积核大小为4×4、步幅2的卷积层学习预处理图像的特征图；利用卷积核大小4×4、步幅2的反卷积层对特征图进行上采样；使用跳级连接来连接特征图，最终获取与预处理图像对应的语义图。

优选的，所述步骤S120中，

将预处理图像和预处理图像的语义图作为判别器的输入，依次通过第一下采样层、第二下采样层、第三下采样层的卷积层进行操作；再依次通过第四卷积层、第五卷积层输出大小为30×30特征图；利用判别器，判断输出图像中的每个30×30特征图是“真”还是“假”。

优选的，所述第一下采样层、第二下采样层、第三下采样层的卷积核大小为4×4，步长为2，所述第四卷积层、第五卷积层的卷积核大小为4×4，步长为1。

优选的，所述步骤S140中，

利用具有残差块的编码器-解码器网络对初步重构图像的细节进行细化，其中，编码器-解码器网络的编码器的第一层卷积核大小为7×7、步长为1，第二层、第三层卷积核大小为3×3、步长为2，对特征图进行下采样，获取图像特征；将图像特征送到九个残差块中，其学习输入图像和原始高分辨率图像之间的差异；为了使解码器的输出大小与输入保持一致，依次通过第一反卷积层、第二反卷积层，对特征映射进行上采样；再通过最后一个卷积层，生成最终重建图像

优选的，所述第一反卷积层和所述第二反卷积层的卷积核大小3×3、步长2，所述最后一个卷积层的卷积核大小7×7、步长为1。

本发明有益效果：使用对抗训练和语义信息来帮助解决大尺度因子中的非线性映射问题。使用预定义双三次插值将输入低分辨率图像放大到中等分辨率图像，然后使用该中等分辨率图像通过语义图生成网络获得相应的语义图。语义图包含图像的一些重要信息，可以用于重构逼真图像。在下一阶段，中等分辨率图像与语义图结合在一起，作为图像重构网络的输入，该网络可以同时学习语义信息和低频信息，用以重构出高分辨率的图像。在最后阶段，使用图像细化网络以优化重构出的结果，生成具有更好感知质量的高分辨率图像。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于语义图的图像超分辨率重构算法原理图；

图2为本发明中语义图生成网络和图像重构网络中使用的U-Net网络结构；

图3为本发明中图像细化网络中使用的残差网络；

图4为本发明中所使用的判别器结构；

图5为本发明的语义图生成网络得到语义图和原始语义图对比结果。

图6为本发明在4倍因子下，各个阶段输出结果的对比图。

图7为本发明在8倍因子下，各个阶段输出结果的对比图。

图8为本发明在4倍因子下的重构结果和其他方法结果的主观感知质量比较图。

图9为本发明在8倍因子下的重构结果和其他方法结果的主观感知质量比较图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的模块。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

本领域普通技术人员应当理解的是，附图只是一个实施例的示意图，附图中的部件或装置并不一定是实施本发明所必须的。

实施例

如图1所示是本专利所提出的系统框图，主要包括三个部分：语义图生成网络，图像重构网络和图像细化网络。首先，语义图生成网络从给定输入的图像生成对应的语义图。然后，该图像和对应生成的语义图结合一起作为图像重构网络的输入，初步重构出高分辨率的图像。最后，通过图像细化网络的后处理，最终重构出具有高感知质量的高分辨率的图像。下面具体介绍系统框图的各个部分。

(1)语义图生成网络

对于图像超分辨率的任务，为了保留逼真的图像细节的同时重构高分辨率图像，本发明实施例结合语义图和对抗训练的特点来解决这个病态问题。

与大多数从低分辨率图像直接预测高分辨率图像的方法不同，首先，当给定低分辨图像时，首先采用双三次方插值算法获得中等分辨率图像，然后该中等分辨率图像输入到语义图生成网络输出对应的语义图。

具体来说，本发明实施例中，选择U-Net作为该网络的生成器，因为它在语义分割任务中具有简单性和有效性，如图2所示。基础的U-Net是一个全卷积网络，它包含一系列下采样层，后跟一系列上采样层。特征图被裁剪并从下采样层复制到上采样层。

本发明实施例中，从基本的U-Net网络中去除了裁剪和复制单元，并仅使用连接操作，从而产生了一种改进的网络结构，从而获得了更好的性能。如图2所示，该网络由两个部分组成：卷积编码和解码单元。在网络的两个部分中，执行基本的卷积操作之后，接着是批量标准化和ReLU激活，除了最后一个使用Tanh激活。在编码单元中，卷积核大小为4×4，步幅2的卷积层被设计为捕获有用特征信息。在解码阶段，执行具有核大小4×4，步幅2的反卷积运算以对特征映射进行上采样。并且使用跳级连接来连接从编码单元到解码单元的特征映射，最终输出对应的语义图。

对于语义图生成网络中的判别器，网络结构如图4所示。网络输入有两部分组成：输入中等分辨率的图像和输出的语义图作为“假”判别器的输入，输入中等分辨率图像和原始语义图作为“真”判别器的输入。输入图像通过三个下采样的卷积层进行操作，卷积核大小为4×4，步长为2。最后两层的卷积核大小为4×4，步长为1。此时，输出大小为30×30特征图。最后，该判别器试图判断输出图像中的每个30×30图像块是“真”还是“假”，平均所有响应以提供判别器的最终输出。

(2)图像重构网络

本发明实施例中，图像重建网络学习从中等分辨率图像和相应的语义图到期望的高分辨率图像的映射，我们的图像重构网络以生成的语义图和相应的中等分辨率图像为条件，以生成高分辨率图像。

在图像重构网络中，采用生成的语义图和相应的中等分辨率图像作为网络的输入，以进行图像重构的任务。

为了结合语义信息和低频信息，在本发明的实施例中，使用U-Net作为图像重构网络的生成器，如图2所示。虽然基于GAN的方法仅通过语义图可以合成具有视觉吸引力图像，但它的细节可能完全不同于原始图像。为了获得高质量的重构图像，我们使用中等分辨率图像和相应的语义图作为图像重构网络的输入。

对于图像重构网络的判别器，网络结构如图4所示。网络输入有两部分组成：本阶段的输入图像和重构图像作为“假”判别器的输入，输入图像和原始图像作为“真”判别器的输入。输入图像通过三个下采样的卷积层进行操作，卷积核大小为4×4，步长为2。最后两层的卷积核大小为4×4，步长为1。此时，输出大小为30×30特征图。最后，该判别器试图判断输出图像中的每个30×30图像块是“真”还是“假”，平均所有响应以提供判别器的最终输出。

(3)图像细化网络

初步重构的结果可能在视觉质量上不令人满意，图像重构网络中丢失了图像中的一些细节信息，这对于生成逼真的图像至关重要。

为了提高重构图像的质量，本发明实施例设计了一个有效的后处理模块，如图3所示。在图像重构网络的输出之后，增加一个图像细化网络，用于对重构出的图像进行后处理，得到高感知高分辨率的图像。

在本发明实施例中，图像细化网络的生成器设计为具有残差块的编码器-解码器网络。该网络结构可以对重构图像的细节进行细化，以生成逼真的高分辨率图像。在所设计的图像细化网络中，第一层卷积核大小为7×7，步长1用于捕获更多图像信息，接下来的两个卷积(编码器)具有核大小3×3，步长2，以对特征映射进行下采样。然后，将编码器图像特征送到九个残差块中，其学习输入图像和原始高分辨率图像之间的差异。为了使解码器的输出大小与输入保持一致，通过卷积核大小3×3，步长2的反卷积层(解码器)，以对特征映射进行上采样。在最后一层，使用的卷积核大小7×7，步长为1。这种具有残差块的生成器能够细化图像的细节并使对象的边缘更加锐利，从而生成照片般逼真的HR图像。

对于图像细化网络判别器，网络结构如图4所示。网络输入由两部分组成：本阶段的输入图像和后处理图像作为“假”判别器的输入，输入图像和原始图像作为“真”判别器的输入。输入图像通过三个下采样的卷积层进行操作，卷积核大小为4×4，步长为2。最后两层的卷积核大小为4×4，步长为1。此时，输出大小为30×30特征图。最后，该判别器试图判断输出图像中的每个30×30图像块是“真”还是“假”，平均所有响应以提供判别器的最终输出。

(4)损失函数

本发明实施例中，提出的阶段性生成对抗网络包含三部分：语义图生成网络，图像重构网络和图像细化网络。每部分的网络都是基于条件GAN的，条件GAN通过学习对抗性损失函数，试图确定输出图像是“真实的”还是“虚假的”，同时训练生成模型最小化该目标函数。

在语义图生成网络中，对抗损失函数可以表示为：

其中，

是中等分辨率的图像，

是原始语义图。语义图生成网络以图像

为条件，通过交替最大化D₀并最小化G₀来训练判别器和生成器。在网络中以Dropout而不是高斯噪声的形式提供噪声。

在图像重构网络中，对抗损失函数可以表示为：

其中，

是中等分辨率图像

和对应生成的语义图I_sem的结合，

是原始高分辨率图像。图像重构网络以图像

和对应语义图I_sem为条件，通过交替最大化D₁并最小化G₁来训练判别器和生成器。这里，仍然以Dropout而不是高斯噪声的形式提供噪声。

在图像细化网络中，对抗损失函数可以表示为：

其中，

是图像重构网络的输出，

是原始高分辨率图像。图像细化网络以重构图像

为条件，通过交替最大化D₂并最小化G₂来训练判别器和生成器。

对于图像超分辨率，大多数监督算法的方法利用重构图像和原始图像之间的L2距离来优化网络。由于L2损失未能捕获感知相关的差异，例如高纹理细节，因此重构的图像通常过于平滑。特别是在大的缩放因子中，重构的图像看起来模糊，这与人类视觉感知相差较大。为了解决这个问题，我们使用L1距离而不是L2距离。

在本专利的网络中，语义图生成网络、图像重构网络和图像细化网络中的L1损失函数分别为：

其中，L₁(G_i)表示不同部分(i＝0,1,2)的L1损失函数，I_sem是语义图生成网络输出的语义图，

是图像重构网络的输出结果，I_SR是通过图像细化网络处理后的输出结果，

和

分别是原始语义图和原始高分辨率图像。

最后，整体的损失函数可以表示为：

其中，L_loss代表网络模型的整体损失函数，λ是平衡对抗损失函数和L1损失函数的参数，在本专利中，实验设置参数λ取值为100。

对比实验

本发明实施例中，我们的模型以监督的方式在语义分割数据集上进行训练，使用CMP Facades数据集作为测试，该数据集中400张图像用于训练，100张图像用于验证模型的性能。

采样原始图像到256×256分辨率大小，并在图像范围[0,1]上为我们的实验。LR图像是通过双立方插值得到的，采样因子分别为×4和×8。在U-Net中，编码器中所有Relu都是弱的，斜率为0.2。在图像细化网络使用一个带有9个残差块的结构，如图3所示。对于判别器，卷积操作后进行批处理归一化和斜率为0.2的Relu激活，最后一层除外。在训练过程中，使用Adam优化器，它的批次大小为1，动量参数为0.5。权值由均值为0，标准差为0.02的高斯分布初始化。学习速率设置为0.0002。

与现有的方法进行在×4和×8因子下进行比较，其中包括双三次方插值，SRCNN,LapSRN。在本发明实施例中，生成具有高感知质量的逼真的高分辨率图像。尤其是对于×8因子下，实验结果在视觉质量上优势更加明显。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于语义图的图像超分辨率重建方法，其特征在于，包括以下过程：

步骤S110：对原始图像进行预处理，获取预处理图像，所述预处理图像的分辨率高于所述原始图像的分辨率；

步骤S120：利用语义图生成网络获取所述预处理图像的语义图；包括：选择U-Net卷积神经网络，执行卷积操作之后，进行批量标准化和ReLU激活，利用卷积核大小为4×4、步幅2的卷积层学习预处理图像的特征图；利用卷积核大小4×4、步幅2的反卷积层对特征图进行上采样；使用跳级连接来连接特征图，最终获取与预处理图像对应的语义图；

步骤S130：根据所述预处理图像和所述预处理图像的语义图，获取初步重构图像；

步骤S140：对所述初步重构图像进行细化处理，获取最终重构图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤S110具体包括：

采用双三次方插值算法对所述原始图像进行处理，获取预处理图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S120中，

将预处理图像和预处理图像的语义图作为判别器的输入，依次通过第一下采样层、第二下采样层、第三下采样层的卷积层进行操作；再依次通过第四卷积层、第五卷积层输出大小为30×30特征图；利用判别器，判断输出图像中的每个30×30特征图是“真”还是“假”。

4.根据权利要求3所述的方法，其特征在于，所述第一下采样层、第二下采样层、第三下采样层的卷积核大小为4×4，步长为2，所述第四卷积层、第五卷积层的卷积核大小为4×4，步长为1。

5.根据权利要求4所述的方法，其特征在于，所述步骤S140中，

利用具有残差块的编码器-解码器网络对初步重构图像的细节进行细化，其中，编码器-解码器网络的编码器的第一层卷积核大小为7×7、步长为1，第二层、第三层卷积核大小为3×3、步长为2，对特征图进行下采样，获取图像特征；将图像特征送到九个残差块中，其学习输入图像和原始高分辨率图像之间的差异；为了使解码器的输出大小与输入保持一致，依次通过第一反卷积层、第二反卷积层，对特征映射进行上采样；再通过最后一个卷积层，生成最终重建图像

6.根据权利要求5所述的方法，其特征在于，所述第一反卷积层和所述第二反卷积层的卷积核大小3×3、步长2，所述最后一个卷积层的卷积核大小7×7、步长为1。

Images