CN112669240B - 高清图像修复方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种高清图像修复方法、装置、电子设备和存储介质，其中方法包括以下步骤：获取待修复图像；对所述待修复图像进行编码，得到编码图像数据；基于编码图像数据获得图像退化特征；将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像。应用本发明，能够对待修复图像做到较为全面的高清修复。

Description

高清图像修复方法、装置、电子设备和存储介质

技术领域

本发明涉及图像识别的技术领域，特别涉及一种高清图像修复方法、装置、电子设备和存储介质。

背景技术

图像修复包括图像降噪、图像去模糊、图像超分辨率以及图像去压缩。目前的技术方案分为两种，一种是只针对部分问题，进行人像修复，比如只针对人像超分辨率、人像去模糊问题提出的方案，将问题分步骤做完；另外一种是将降噪去模糊超分问题混杂在一起，利用额外的先验信息，采用训练一个基于生成对抗的自动编码器来进行人像修复。现有的技术方案，在面对现实世界真实多样的图像退化问题时，往往难以做到全面修复。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种高清图像修复方法、装置、电子设备和存储介质，能够对待修复图像做到较为全面的高清修复。

根据本发明的第一方面实施例的高清图像修复方法，包括以下步骤：

获取待修复图像；

对所述待修复图像进行编码，得到编码图像数据；

基于编码图像数据获得图像退化特征；

将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像。

根据本发明实施例的高清图像修复方法，至少具有如下有益效果：首先获取人像图像，然后对人像图像进行编码，得到编码图像数据，并且从编码图像数据中获取图像退化特征，将编码图像数据和图像退化特征输入基于风格的生成对抗网络中，得到人像图像的高清图像。通过上述的步骤，利用基于风格的生成对抗网络的超高清生成能力，使得修复后的人像清晰自然，细节清晰明显，无失真，从而能够对人像图像做到较为全面的高清修复。其中，基于风格的生成对抗网络可以是Style Gan网络。

根据本发明的一些实施例，所述获取待修复图像，包括：

获取原始图像；

对所述原始图像进行人脸检测，检测到人脸后，对人脸区域做关键点配准，将关键点配准到实际检测后的人脸框内；

对人脸进行模板校准，将人脸形变扭曲到模板方向上；

将做完形变后的人脸区域框，统一采样到固定大小，将图像数值归一化到[-1,1]的范围内，得到所述人像图像，将所述人像图像设置为待修复图像。

根据本发明的一些实施例，还包括：

将所述基于风格的生成对抗网络输出的所述图像数值反归一化到[0,1]的数值范围内，得到修复好的所述高清图像。

根据本发明的一些实施例，所述对所述待修复图像进行编码，得到编码图像数据，还包括：

将所述编码图像数据输入隐式编码层中。

根据本发明的一些实施例，所述将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像，包括：

基于风格的生成对抗网络中的全连接模块从所述隐式编码层中获取所述编码图像数据，得到不同层级的图像风格；

基于风格的生成对抗网络中的解码模块从所述全连接模块中获取所述图像风格，并且所述解码模块中的各层一一对应地获取所述图像退化特征；

所述解码模块根据所述人像风格和所述图像退化特征，得到所述待修复图像修复后的高清图像。

根据本发明的一些实施例，还包括：

获取训练图像集合；

对所述训练图像集合进行模拟图像退化，得到退化图像集合；

从所述退化图像集合获取编码图像数据和图像退化特征，并将所述编码图像数据和图像退化特征输入基于风格的生成对抗网络，得到优化函数；

根据所述优化函数调整所述训练图像集合的输入参数。

根据本发明的一些实施例，所述优化函数包括多个损失函数，多个所述损失函数分别为图像回归的均方误差损失函数、感知损失函数、Arc损失函数、退化损失函数和生成对抗损失函数。

根据本发明的第二方面实施例的人像高清修复装置，包括：

图像获取模块，用于获取待修复图像；

编码模块，用于对所述待修复图像进行编码，得到编码图像数据；所述编码模块包括编码单元和隐式编码层，所述编码单元包括多个卷积层和激活函数层；

噪声模块，用于基于编码图像数据获得图像退化特征；所述噪声模块包括多个卷积层和激活函数层；

基于风格的生成对抗网络，用于根据所述编码图像数据和所述图像退化特征，得到所述待修复图像修复后的高清图像；所述基于风格的生成对抗网络为StyleGan网络，所述基于风格的生成对抗网络包括全连接模块和解码模块，所述全连接模块包括多个全连接层，所述解码模块包括多个耦合卷积层、解耦合卷积层和激活函数层。

根据本发明的第三方面实施例的电子设备，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行所述至少一个程序以实现上述的方法。

根据本发明的第四方面实施例的存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述的方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的电子设备的示意图；

图2为本发明实施例的高清图像修复方法的流程图；

图3为本发明实施例的高清图像修复方法的神经网络训练流程图；

图4为本发明实施例的人像高清修复装置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，该电子设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库160用于保存数据。

电子设备100还包括接入设备140，接入设备140使得电子设备100能够经由一个或多个网络150通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1400可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或者多个，例如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口等等。

在本发明的一些具体实施例中，电子设备100的上述部件以及图1中未示出的其他部件可以彼此相连接，例如通过总线。应当理解，图1所示的电子设备结构框图仅仅是出于示例的目的，而不是对本发明范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。电子设备可以是任何类型的电子设备，例如计算机、智能手机、智能平板等。

其中，处理器120可以执行图2所示高清图像修复方法中的步骤。图2示出了根据本发明实施例的高清图像修复方法的流程图，参照图2，包括步骤S100至步骤S400。

步骤S100：获取待修复图像。

可以理解的是，获取待修复图像，包括：获取原始图像；对原始图像进行人脸检测，检测到人脸后，对人脸区域做关键点配准，将关键点配准到实际检测后的人脸框内；对人脸进行模板校准，将人脸形变扭曲到模板方向上；将做完形变后的人脸区域框，统一采样到固定大小，将图像数值归一化到[-1,1]的范围内，得到人像图像，将人像图像设置为待修复图像。将基于风格的生成对抗网络输出的图像数值反归一化到[0,1]的数值范围内，得到修复好的高清图像。其中，关键点可以是68点。

步骤S200：对待修复图像进行编码，得到编码图像数据。

可以理解的是，对待修复图像进行编码，得到编码图像数据，还包括：

将编码图像数据输入隐式编码层中。

步骤S300：基于编码图像数据获得图像退化特征。

步骤S400：将编码图像数据和图像退化特征输入预训练好的基于风格的生成对抗网络中，得到待修复图像修复后的高清图像。

可以理解的是，将编码图像数据和图像退化特征输入基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像，包括：基于风格的生成对抗网络中的全连接模块从隐式编码层中获取编码图像数据，得到不同层级的人像风格；基于风格的生成对抗网络中的解码模块从全连接模块中获取图像风格，并且解码模块中的各层一一对应地获取图像退化特征；解码模块根据图像风格和图像退化特征，得到待修复图像的高清图像。将基于风格的生成对抗网络输出的图像数值反归一化到[0,1]的数值范围内，得到修复好的高清图像。图像退化特征可以包括图像噪声和其他退化类型，例如各种模糊、压缩等。

参照图3，可以理解的是，本申请的高清图像修复方法还包括对神经网络的整体训练，包括以下步骤：

步骤S110：获取训练图像集合；

步骤S120：对训练图像集合进行模拟图像退化，得到退化图像集合；

步骤S130：从退化图像集合获取编码图像数据和图像退化特征，并将编码图像数据和图像退化特征输入基于风格的生成对抗网络，得到优化函数；

步骤S140：根据优化函数调整训练图像集合的输入参数。

可以理解的是，在训练过程中，采用FFHQ高清数据集，对数据集数据采用模拟图像退化方法进行实际图像退化模拟，图像退化模拟公式如下所示。

其中，I^d表示退化图像，I^h表示高清图像，k表示模糊卷积核，↓_r表示倍率为r的下采样，n_δ表示服从零均值σ方差高斯分布的噪声，JPEG_q表示质量分数为q的JPEG压缩。

可以理解的是，优化函数包括多个损失函数，多个损失函数分别为保证图像回归的均方误差(Mean Square Error)损失函数、保证图像细节的感知(Perception)损失函数、保证图像人像区域相似的Arc损失函数、保证在退化图像流形平面相似的退化(Degradation)损失函数以及保证StyleGan稳定和生成真实细节的生成对抗(Generateand Adverserial)损失函数。

均方误差损失的公式为：

l_mse＝||I^h-F(I^d,θ)||² (2)

其中I^h表示高清图像，F(I^d,θ)表示退化图像经过网络后的结果。

感知损失函数公式为：

其中Ψ_m函数表示VGG网络第m层的特征平面，表示经过网络之后的结果，I^h表示高清图像，C_mH_mW_m分别表示VGG网络第m层特征平面的通道数、宽和长。

Arc损失函数公式为：

其中R表示预训练好的人脸识别网络，表示网络生成图片人像区域，I_f ^h表示高清图片人像区域。

退化损失函数公式为：

其中f表示退化函数，这里包含模糊、噪声、超分以及JPEG压缩，表示经过网络之后的结果，I^h表示高清图像。

生成对抗损失公式表示为：

其中表示经过网络之后的结果，I^h表示高清图像，P(I^h)表示服从高清图像域的分布，/>表示服从网络结果图像域的分布，D表示判别器网络，E表示分布均值。

总体损失函数公式表示为：

l_total＝l_mse+λ_perceptionl_perception+λ_degradationl_degradation+λ_advl_adv,G+λ_arcl_arc

通过多次迭代，利用神经网络反向传播算法优化损失函数，使网络收敛到一个最优解。以上就是网络训练部分的具体流程。通过上述的训练过程，可以针对任意退化模式修复人像。真实场景下的退化模式多种多样，实际模拟很难模拟出对应的退化方式，通过生成对抗先验，规避掉退化的形式，让生成结果对退化不敏感。

本申请首先获取待修复图像，然后对待修复图像进行编码，得到编码图像数据，并且从编码图像数据中获取图像退化特征，将编码图像数据和图像退化特征输入基于风格的生成对抗网络中，得到待修复图像修复后的高清图像。通过上述的步骤，利用Style Gan网络的超高清生成能力，使得修复后的人像清晰自然，细节清晰明显，无失真，从而能够对待修复图像做到较为全面的高清修复。

参照图4，本申请的其他方面公开了一种高清图像修复装置，包括：图像获取模块，用于获取待修复图像；编码模块，用于对待修复图像进行编码，得到编码图像数据；编码模块包括编码单元和隐式编码层，编码单元包括多个卷积层和激活函数层；噪声模块，从编码图像数据中获取图像退化特征；噪声模块包括多个卷积层和激活函数层；基于风格的生成对抗网络，用于根据编码图像数据和图像退化特征，得到待修复图像修复后的高清图像；基于风格的生成对抗网络为StyleGan网络，基于风格的生成对抗网络包括全连接模块和解码模块，全连接模块包括多个全连接层，解码模块包括多个耦合卷积层、解耦合卷积层和激活函数层。可以理解的是，噪声模块的各层可以设置成与解码模块的各层一一对应。

可以理解的是，该高清图像修复装置的技术方案与上述的高清图像修复方法的技术方案属于同一构思，高清图像修复装置的技术方案未详细描述的细节内容，均可以参见上述高清图像修复方法的技术方案的描述。

本申请的另一方面还公开了一种存储介质，存储介质为计算机可读存储介质，所计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述的高清图像修复方法。

需要说明的是，该计算机可读存储介质的技术方案与上述的高清图像修复方法的技术方案属于同一构思，计算机可读存储介质的技术方案未详细描述的细节内容，均可以参见上述高清图像修复方法的技术方案的描述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种高清图像修复方法，其特征在于，包括以下步骤：

获取待修复图像；

对所述待修复图像进行编码，得到编码图像数据；

基于编码图像数据获得图像退化特征；

将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像；所述基于风格的生成对抗网络为StyleGan网络；

还包括：

获取训练图像集合；

对所述训练图像集合进行模拟图像退化，得到退化图像集合；

从所述退化图像集合获取编码图像数据和图像退化特征，并将所述编码图像数据和图像退化特征输入基于风格的生成对抗网络，得到优化函数；

根据所述优化函数调整所述训练图像集合的输入参数，

所述优化函数包括多个损失函数，多个所述损失函数分别为图像回归的均方误差损失函数、感知损失函数、Arc损失函数、退化损失函数和生成对抗损失函数；

均方误差损失的公式为：

l_mse＝||I^h-F(I^d,θ)||² (2)

其中I^h表示高清图像，F(I^d,θ)表示退化图像经过网络后的结果，

感知损失函数公式为：

其中Ψ_m函数表示VGG网络第m层的特征平面，表示经过网络之后的结果，I^h表示高清图像，C_mH_mW_m分别表示VGG网络第m层特征平面的通道数、宽和长，

Arc损失函数公式为：

其中R表示预训练好的人脸识别网络，表示网络生成图片人像区域，I_f ^h表示高清图片人像区域，

退化损失函数公式为：

其中f表示退化函数，这里包含模糊、噪声、超分以及JPEG压缩，表示经过网络之后的结果，I^h表示高清图像，

生成对抗损失公式表示为：

其中表示经过网络之后的结果，I^h表示高清图像，P(I^h)表示服从高清图像域的分布，表示服从网络结果图像域的分布，D表示判别器网络，E表示分布均值；

优化函数表示为：

l_total＝l_mse+λ_perceptionl_perception+λ_degradationl_degradation+λ_advl_adv,G+λ_arcl_arc

2.根据权利要求1所述的高清图像修复方法，所述获取待修复图像，包括：

获取原始图像；

对所述原始图像进行人脸检测，检测到人脸后，对人脸区域做关键点配准，将关键点配准到实际检测后的人脸框内；

对人脸进行模板校准，将人脸形变扭曲到模板方向上；

将做完形变后的人脸区域框，统一采样到固定大小，将图像数值归一化到[-1,1]的范围内，得到所述人像图像，将所述人像图像设置为待修复图像。

3.根据权利要求2所述的高清图像修复方法，其特征在于，还包括：

将所述基于风格的生成对抗网络输出的所述图像数值反归一化到[0,1]的数值范围内，得到修复好的所述高清图像。

4.根据权利要求1所述的高清图像修复方法，所述对所述待修复图像进行编码，得到编码图像数据，还包括：

将所述编码图像数据输入隐式编码层中。

5.根据权利要求4所述的高清图像修复方法，所述将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像，包括：

基于风格的生成对抗网络中的全连接模块从所述隐式编码层中获取所述编码图像数据，得到不同层级的图像风格；

基于风格的生成对抗网络中的解码模块从所述全连接模块中获取所述图像风格，并且所述解码模块中的各层一一对应地获取所述图像退化特征；

所述解码模块根据所述图像风格和所述图像退化特征，得到所述待修复图像修复后的高清图像。

6.一种高清图像修复装置，其特征在于，包括：

图像获取模块，用于获取待修复图像；

编码模块，用于对所述待修复图像进行编码，得到编码图像数据；所述编码模块包括编码单元和隐式编码层，所述编码单元包括多个卷积层和激活函数层；

噪声模块，用于基于编码图像数据获得图像退化特征；所述噪声模块包括多个卷积层和激活函数层；

基于风格的生成对抗网络，用于根据所述编码图像数据和所述图像退化特征，得到所述待修复图像修复后的高清图像；所述基于风格的生成对抗网络为StyleGan网络，所述基于风格的生成对抗网络包括全连接模块和解码模块，所述全连接模块包括多个全连接层，所述解码模块包括多个耦合卷积层、解耦合卷积层和激活函数层；

还包括：

获取训练图像集合；

对所述训练图像集合进行模拟图像退化，得到退化图像集合；

从所述退化图像集合获取编码图像数据和图像退化特征，并将所述编码图像数据和图像退化特征输入基于风格的生成对抗网络，得到优化函数；

根据所述优化函数调整所述训练图像集合的输入参数，

所述优化函数包括多个损失函数，多个所述损失函数分别为图像回归的均方误差损失函数、感知损失函数、Arc损失函数、退化损失函数和生成对抗损失函数；

均方误差损失的公式为：

l_mse＝||I^h-F(I^d,θ)||² (2)

其中I^h表示高清图像，F(I^d,θ)表示退化图像经过网络后的结果，

感知损失函数公式为：

其中Ψ_m函数表示VGG网络第m层的特征平面，表示经过网络之后的结果，I^h表示高清图像，C_mH_mW_m分别表示VGG网络第m层特征平面的通道数、宽和长，

Arc损失函数公式为：

其中R表示预训练好的人脸识别网络，表示网络生成图片人像区域，I_f ^h表示高清图片人像区域，

退化损失函数公式为：

其中f表示退化函数，这里包含模糊、噪声、超分以及JPEG压缩，表示经过网络之后的结果，I^h表示高清图像，

生成对抗损失公式表示为：

其中表示经过网络之后的结果，I^h表示高清图像，P(I^h)表示服从高清图像域的分布，表示服从网络结果图像域的分布，D表示判别器网络，E表示分布均值；

优化函数表示为：

l_total＝l_mse+λ_perceptionl_perception+λ_degradationl_degradation+λ_advl_adv,G+λ_arcl_arc

7.一种电子设备，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行所述至少一个程序以实现如权利要求1至5任一项所述的方法。

8.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的方法。