CN113160079A - 人像修复模型的训练方法、人像修复方法和装置 - Google Patents
人像修复模型的训练方法、人像修复方法和装置 Download PDFInfo
- Publication number
- CN113160079A CN113160079A CN202110396798.6A CN202110396798A CN113160079A CN 113160079 A CN113160079 A CN 113160079A CN 202110396798 A CN202110396798 A CN 202110396798A CN 113160079 A CN113160079 A CN 113160079A
- Authority
- CN
- China
- Prior art keywords
- portrait
- quality
- picture
- portrait picture
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000006731 degradation reaction Methods 0.000 claims abstract description 163
- 230000015556 catabolic process Effects 0.000 claims abstract description 161
- 238000012545 processing Methods 0.000 claims abstract description 121
- 238000013519 translation Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 230000007850 degeneration Effects 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003412 degenerative effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 20
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 8
- 230000008439 repair process Effects 0.000 description 7
- 238000005315 distribution function Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种人像修复模型的训练方法、人像修复方法和装置。所述方法包括：获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。采用本方法能够提升人像修复效果。
Description
技术领域
本申请涉及人像处理领域，特别是涉及一种人像修复模型的训练方法、人像修复方法和装置。
背景技术
随着计算机技术的发展，出现了人像修复技术，人像修复是指重建人像或视频中丢失或损坏的部分的过程。人像修复又称人像插值或视频插值，是指利用复杂的算法来替换已丢失、损坏的人像数据，主要替换一些小区域和瑕疵等。
然而，传统技术中，人像修复模型的训练过程缺乏大量且高质量的人像图片对训练集，即，高画质人像图片和对应的低画质人像图片所组成的训练集，从而导致现有的人像修复模型的修复效果较差。
发明内容
本申请实施例提供了一种人像修复模型的训练方法、人像修复方法和装置，可以提升人像修复效果。
一种人像修复模型的训练方法，所述方法包括：
获取目标高画质人像图片和样本低画质人像图片；
对所述目标高画质人像图片进行降质处理，得到降质人像图片；
基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
在其中一个实施例中，所述对所述目标高画质人像图片进行降质处理，得到降质人像图片，包括：
通过预先训练好的人像退化模型中的图片降质网络，对所述目标高画质人像图片进行降质处理，得到降质人像图片；
所述基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片，包括：
通过预先训练好的人像退化模型中的图片翻译网络，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
其中，所述人像退化模型是通过所述样本低画质人像图片和对应的样本高画质人像图片训练得到。
在其中一个实施例中，所述人像退化模型的网络结构包括初始卷积层、基础网络层和语义转换层；所述人像退化模型的训练步骤，包括：
获取样本高画质人像图片；
将所述样本高画质人像图片输入至所述初始卷积层进行初步卷积处理，得到初始特征图；
将所述初始特征图输入至所述基础网络层进行进一步卷积处理和非线性运算，得到基础特征图；
将所述基础特征图输入至所述语义转换层进行语义转换处理，得到模拟低画质人像图片；
将所述模拟低画质人像图片和对应的样本低画质人像图片输入至第一判别器中进行判别，得到第一判别结果，并根据所述第一判别结果确定第一目标对抗损失参数；
基于所述第一目标对抗损失参数更新所述初始卷积层、基础网络层和语义转换层的网络参数，并返回所述将所述样本高画质人像图片输入至所述初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，直至所述人像退化模型收敛，终止训练，得到已训练的人像退化模型。
在其中一个实施例中，所述第一目标对抗损失参数包括所述人像退化模型的退化对抗损失参数和所述第一判别器的判别损失参数，所述退化对抗损失参数的确定步骤，包括：
根据所述第一判别结果和所述人像退化模型对应的第一目标损失函数，确定初始对抗损失参数；
确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数；
根据所述初始对抗损失参数、所述内容损失参数、所述感知损失参数、以及所述人像退化模型对应的第二目标损失函数，确定退化对抗损失参数；
所述判别对抗损失参数的确定步骤，包括：
根据所述第一判别结果和所述第一判别器对应的目标损失函数，确定判别对抗损失参数。
在其中一个实施例中，所述确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数，包括：
分别获取所述模拟低画质人像图片与对应的样本高画质人像图片的像素数据；
根据所述像素数据，确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数；
将所述模拟低画质人像图片和对应的样本高画质人像图片分别输入至预先训练好的特征提取网络进行特征提取，对应得到第一特征图谱和第二特征图谱；
根据所述第一特征图谱和所述第二特征图谱确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
在其中一个实施例中，所述基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片，包括：
确定所述样本低画质人像图片的目标数据流形分布结构；
按照所述目标数据流形分布结构对所述降质人像图片进行域迁移处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；所述目标低画质人像图片的数据流形分布结构与所述目标数据流形分布结构相匹配。
在其中一个实施例中，所述人像修复模型的网络结构包括编码器和解码器；所述通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型，包括：
将与所述目标高画质人像图片对应的目标低画质人像图片输入至所述编码器中进行编码，得到不同尺寸的编码特征图；
通过所述解码器对所述编码特征图进行人像重建处理，得到模拟高画质人像图片；
将所述模拟高画质人像图片和对应的目标高画质人像图片输入至第二判别器中进行判别，得到第二判别结果，并根据所述第二判别结果确定第二目标对抗损失参数；
基于所述第二目标对抗损失参数更新所述编码器和所述解码器的网络参数，并返回所述将与所述目标高画质人像图片对应的目标低画质人像图片输入至所述编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，直至所述人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
一种人像修复模型的训练装置，所述装置包括：
第一获取模块，用于获取目标高画质人像图片和样本低画质人像图片；
降质模块，用于对所述目标高画质人像图片进行降质处理，得到降质人像图片；
翻译模块，用于基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
训练模块，用于通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标高画质人像图片和样本低画质人像图片；
对所述目标高画质人像图片进行降质处理，得到降质人像图片；
基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标高画质人像图片和样本低画质人像图片；
对所述目标高画质人像图片进行降质处理，得到降质人像图片；
基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
上述人像修复模型的训练方法和装置，通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。
一种人像修复方法，所述方法包括：
获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
一种人像修复装置，所述装置包括：
第二获取模块，用于获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
修复模块，用于通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
上述人像修复方法和装置，通过获取待修复的低画质人像图片，将待修复的低画质人像图片输入已训练好的人像修复模型；已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；通过已训练好的人像修复模型对待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。通过已训练好的人像修复模型对现实场景中待修复的低画质人像图片进行人像修复，可以得到对应的高画质人像图片。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中人像修复模型的训练方法或人像修复方法的应用场景图；
图2为一个实施例中人像修复模型的训练方法的流程示意图；
图3为一个实施例中本申请人像退化效果与传统人像退化效果比对示意图；
图4为一个实施例中人像退化模型的具体训练流程示意图；
图5为一个实施例中人像退化模型的网络结构示意图；
图6为一个实施例中经本申请人像退化模型退化后的人像图片展示；
图7为一个实施例中退化损失参数确定流程示意图；
图8为一个实施例中感知损失参数确定流程示意图；
图9为另一个实施例中人像修复模型的具体训练流程示意图；
图10为一个实施例中人像退化修复模型的网络结构示意图；
图11为另一个实施例中人像修复模型的训练方法的流程示意图；
图12为一个实施例中人像修复方法的流程示意图；
图13为一个实施例中本申请人像修复效果与传统人像修复效果比对示意图；
图14为一个实施例中人像修复模型的训练装置的结构框图；
图15为一个实施例中人像修复装置的结构框图；
图16为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一判别器称为第二判别器，且类似地，可将第二判别器称为第一判别器。第一判别器和第二判别器两者都是判别器，但其不是同一判别器。
图1为一个实施例中人像修复模型的训练方法、人像修复方法的应用环境示意图。如图1所示，该应用环境包括终端102和服务器104。终端102与服务器104通过网络进行通信。终端102和服务器104可以分别独立或配合完成人像修复模型的训练方法、人像修复方法。其中，终端102具体可以包括台式终端或移动终端。移动终端具体可以包括手机、平板电脑和笔记本电脑等中的至少一种。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。
终端102或服务器104可获取目标高画质人像图片和样本低画质人像图片，并对目标高画质人像图片进行降质处理，得到降质人像图片。终端102或服务器104可基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片，通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型，其中，人像修复模型可用于对低画质人像图片进行人像修复。
图2为一个实施例中人像修复模型的训练方法的流程图。本实施例中的人像修复模型的训练方法，以运行于图1中的终端102或服务器104上为例进行描述。如图2所示，人像修复模型的训练方法包括以下步骤：
步骤202，获取目标高画质人像图片和样本低画质人像图片。
其中，人像修复模型的训练网络结构中，可包括预先训练好的人像退化模型和待训练的人像修复模型。人像退化模型可通过样本低画质人像图片和对应的样本高画质人像图片训练得到。
具体地，可获取训练人像退化模型所使用的样本低画质人像图片，以及待输入至预先训练好的人像退化模型中的目标高画质人像图片。
步骤204，对目标高画质人像图片进行降质处理，得到降质人像图片。
其中，降质处理是一种降低图像清晰程度的图像处理方式。可选地，降质处理具体可包括在图像中加入模糊、加入噪声和对图像进行压缩等操作中的至少一种。
具体地，预先训练好的人像退化模型中可包括图片降质网络。可通过预先训练好的人像退化模型中的图片降质网络，对目标高画质人像图片进行降质处理，得到降质人像图片。可以理解，可将目标高画质人像图片输入至预先训练好的人像退化模型的图片降质网络中进行降质处理，则，人像退化模型的输出可作为降质人像图片。
步骤206，基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片。
其中，人像翻译处理是一种将图像从源域迁移至目标域的图像处理方式，人像翻译处理可实现图像之间不同形式的转换，比如，可将图像在RGB(Red、Green、Blue；红、绿、蓝)场景、梯度场、边缘映射或语义映射等形式中进行转换。可以理解，源域可提供图像的内容，目标域可提供图像的风格。
具体地，预先训练好的人像退化模型中可包括图片翻译网络。可通过预先训练好的人像退化模型中的图片翻译网络，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片。可以理解，可将降质人像图片输入至预先训练好的人像退化模型的图片翻译网络中进行降质处理，则，人像退化模型的输出可作为与目标高画质人像图片对应的目标低画质人像图片。
步骤208，通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。
具体地，可将目标低画质人像图片输入至待训练的人像修复模型中，人像修复模型可输出模拟高画质人像图片。可将模拟高画质人像图片和目标高画质人像图片输入至判别器进行分类判别，进而可根据判别误差更新人像修复模型中的网络参数，直到判别器的判别结果不再出现误差时，说明人像修复模型已经收敛，此时，人像修复模型的训练完成，得到已训练好的人像修复模型。人像修复模型用于对低画质人像图片进行人像修复，即，可以理解，可将待修复的低画质人像图片输入至已训练好的人像修复模型进行人像修复，得到对应的已修复的高画质人像图片。
上述人像修复模型的训练方法中，通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。
如图3所示，第一列(3a)为待退化的高画质人像图片，第二列(3b)为仅通过降质处理之后的低画质人像图片，第三列(3c)为通过本申请图像退化模型中图片降质网络和图片翻译网络之后的低画质人像图片，第四列(4d)为样本低画质人像图片组成的训练集，该训练集用于训练本申请的图像退化模型。经过比对可知，本申请所采用的图像退化网络，其图像退化效果比传统的经通过降质处理图片的效果好。通过本申请的人像退化网络，可自动获取到大量且高质量的人像图片对训练集，通过大量且高质量的人像图片对训练集对人像修复模型进行训练，可提升人像修复模型的图像修复效果。
在一个实施例中，如图4所示，人像退化模型的网络结构包括初始卷积层、基础网络层和语义转换层。人像退化模型的训练步骤，包括：
步骤402，获取样本高画质人像图片。
步骤404，将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图。
具体地，可将样本高画质人像图片输入至人像退化模型的网络结构中的初始卷积层，通过初始卷积层对样本高画质人像图片进行初步卷积处理，得到多张尺寸相同的初始特征图。
步骤406，将初始特征图输入至基础网络层进行进一步卷积处理和非线性运算，得到基础特征图。
具体地，可将得到的多张尺寸相同的初始特征图输入至人像退化模型的网络结构中的基础网络层，通过基础网络层对各初始特征图分别不断地进行进一步卷积处理和非线性运算，得到各自不同尺寸的基础特征图。
步骤408，将基础特征图输入至语义转换层进行语义转换处理，得到模拟低画质人像图片。
具体地，可将各不同尺寸的基础特征图输入至人像退化模型的网络结构中的语义转换层，通过语义转换层对各不同尺寸的基础特征图进行语义转换处理，最终生成模拟低画质人像图片。
步骤410，将模拟低画质人像图片和对应的样本低画质人像图片输入至第一判别器中进行判别，得到第一判别结果，并根据第一判别结果确定第一目标对抗损失参数。
具体地，人像退化模型所在的模型训练网络还包括第一判别器。可将模拟低画质人像图片和对应的样本低画质人像图片输入至模型训练网络中的第一判别器，通过第一判别器对模拟低画质人像图片和对应的样本低画质人像图片进行分类判别，得到第一判别结果。进而，可根据第一判别结果确定第一目标对抗损失参数。
步骤412，基于第一目标对抗损失参数更新初始卷积层、基础网络层和语义转换层的网络参数，并返回将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，直至人像退化模型收敛，终止训练，得到已训练的人像退化模型。
具体地，可以理解，初始卷积层、基础网络层和语义转换层可形成生成器。由生成器和第一判别器可形成生成对抗网络。通过该生成对抗网络，基于第一目标对抗损失参数更新初始卷积层、基础网络层和语义转换层的网络参数。在人像退化模型未收敛之前，可返回将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，不断循环，直至人像退化模型收敛，终止训练，得到已训练的人像退化模型。
举例说明，如图5所示，待训练的图像退化模型，即图5中的生成器(Generator)。人像退化模型的网络结构包括初始卷积层(conv)、基础网络层(basic network)和语义转换层(conv)。可将样本高画质人像图片输入至待训练的人像退化模型进行图像退化处理，得到模拟低画质人像图片(fake)，进而将模拟低画质人像图片(fake)和样本低画质人像图片(real)输入判别器(Discriminator)进行分类判别，并基于判别结果更新人像退化模型中的网络参数，直至人像退化模型收敛，终止训练，得到已训练的人像退化模型。
如图6所示，第一行为输入至已训练好的人像退化模型中的目标高画质人像图片，第二行为通过人像退化模型退化处理之后的模拟低画质人像图片，第三行为用于训练人像退化模型的样本低画质人像图片。通过比对可知，通过人像退化模型退化处理之后的模拟低画质人像图片，其退化程度与用于训练人像退化模型的样本低画质人像图片非常接近，这说明，本申请的人像退化模型具备优秀的人像退化能力。通过本申请的人像退化模型大量且高质量的人像图片对训练集，通过大量且高质量的人像图片对训练集可实现对人像修复模型的训练，使得人像修复模型最终具备优秀的人像修复能力。
可选地，可采用图片质量评价算法BRISQUE(Blind/Referenceless ImageSpatial QUality Evaluator，一种无参考的空间域图像质量评估算法)算法，对进行退化处理前后的人像图片进行批量评价打分。需要说明的是，评分越小，表示图片的质量越好，即清晰度越高。如表1所示，对147张尺寸为512*512何256*256的人像图像进行批量评价打分，各数据集的评分如下。
表1
从上表1可知，本申请的人像退化方法具备优秀的人像退化效果。
上述实施例中，结合生成器和判别器所形成的生成对抗网络结构，通过少量的样本高画质人像图片和对应的样本低画质人像图片，对人像退化模型进行训练，可简单快捷地获得优秀退化效果的人像退化模型。
在一个实施例中，如图7所示，第一目标对抗损失参数包括人像退化模型的退化对抗损失参数和第一判别器的判别损失参数。退化对抗损失参数的确定步骤，包括：
步骤702，根据第一判别结果和人像退化模型对应的第一目标损失函数，确定初始对抗损失参数。
可选地，可通过ragan的方式来训练生成器和第一判别器，第一目标损失函数
可表示为如下公式：
其中，xr为样本低画质人像图片，xf为模拟低画质人像图片。DRa(xr,xf)为样本低画质人像图片xr相对模拟低画质人像图片xf更逼真的概率，DRa(xf,xr)为模拟低画质人像图片xf相对样本低画质人像图片xr更不逼真的概率。
为样本低画质人像图片xr相对模拟低画质人像图片xf更逼真的概率的分布函数的期望值，
为模拟低画质人像图片xf相对样本低画质人像图片xr更不逼真的概率的分布函数的期望值。
具体地，可根据第一判别结果计算DRa(xr,xf)和DRa(xf,xr)，进而可将DRa(xr,xf)和DRa(xf,xr)带入人像退化模型对应的第一目标损失函数
中进行计算，得到初始对抗损失参数。
步骤704，确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数。
步骤706，根据初始对抗损失参数、内容损失参数、感知损失参数、以及人像退化模型对应的第二目标损失函数，确定退化对抗损失参数。
其中，内容损失参数是人像图片中像素的损失参数，感知损失参数是人像图片中特征的损失参数。
可选地，第二目标损失函数LG可表示为如下公式：
其中，L1为内容损失参数，Lpercep为感知损失参数。
具体地，将内容损失参数L1、感知损失参数Lpercep、以及上述通过第一目标损失函数
计算得到的初始对抗损失参数，带入第二目标损失函数LG中进行计算，最终得到退化对抗损失参数。
在本实施例中，判别对抗损失参数的确定步骤，包括：根据第一判别结果和第一判别器对应的目标损失函数，确定判别对抗损失参数。
可选地，第一判别器对应的目标损失函数
可表示为如下公式：
其中，
为样本低画质人像图片xr相对模拟低画质人像图片xf更逼真的概率的分布函数的期望值，
为模拟低画质人像图片xf相对样本低画质人像图片xr更不逼真的概率的分布函数的期望值。
具体地，可根据第一判别结果计算DRa(xr,xf)和DRa(xf,xr)，进而可将DRa(xr,xf)和DRa(xf,xr)带入第一判别器对应的目标损失函数
中进行计算，得到判别对抗损失参数。
上述实施例中，通过第一判别结果、第一目标损失函数和第二目标损失函数计算退化对抗损失参数，以及通过第一判别结果和第一判别器对应的目标损失函数计算判别对抗损失参数，提升了退化对抗损失参数和判别对抗损失参数的计算准确率。
在一个实施例中，如图8所示，步骤704，也就是确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数的步骤，具体包括：
步骤702A，分别获取模拟低画质人像图片与对应的样本高画质人像图片的像素数据。
具体地，模拟低画质人像图片与对应的样本高画质人像图片中均有各个像素点组成。进而，可直接分别获取模拟低画质人像图片与对应的样本高画质人像图片的像素数据。
步骤702B，根据像素数据，确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数。
具体地，可将模拟低画质人像图片的像素值与对应的样本高画质人像图片的像素值之间像素差值，作为模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数。
步骤702C，将模拟低画质人像图片和对应的样本高画质人像图片分别输入至预先训练好的特征提取网络进行特征提取，对应得到第一特征图谱和第二特征图谱。
可选地，特征提取网络具体可以是通过Imagenet数据集训练得到的vgg19网络。
步骤702D，根据第一特征图谱和第二特征图谱确定模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
可选地，可直接将第一特征图谱和第二特征图谱之间的特征差值作为模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
可选地，也可将第一特征图谱乘以第一预设权重，将第二特征图谱乘以第二预设权重之后，两者之间的特征差值作为模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
上述实施例中，通过模拟低画质人像图片与对应的样本高画质人像图片的像素数据计算内容损失参数，以及通过预先训练好的特征提取网络获取第一特征图谱和第二特征图谱，并基于第一特征图谱和第二特征图谱计算感知损失参数，提升了内容损失参数和感知损失参数的准确率。
在一个实施例中，步骤206，也就是基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片的步骤，具体包括：确定样本低画质人像图片的目标数据流形分布结构；按照目标数据流形分布结构对降质人像图片进行域迁移处理，得到与目标高画质人像图片对应的目标低画质人像图片；目标低画质人像图片的数据流形分布结构与目标数据流形分布结构相匹配。
其中，数据流形分布结构是一种符合流形分布定律的数据分布结构。流形分布定律，即，自然界中同一类别的高维数据，往往集中在某个低维流形附近。
具体地，不同域的图片可具有不同的数据流形分布结构，可以理解，样本低画质人像图片的数据流形分布结构与目标低画质人像图片的数据流形分布结构是不同的。可先确定样本低画质人像图片的目标数据流形分布结构，进而，再按照目标数据流形分布结构对降质人像图片进行域迁移处理，得到与目标高画质人像图片对应的目标低画质人像图片。其中，目标低画质人像图片的数据流形分布结构与目标数据流形分布结构相匹配。
可选地，目标低画质人像图片的数据流形分布结构与目标数据流形分布结构相匹配，可以理解为，目标低画质人像图片的数据流形分布结构无限趋近于样本低画质人像图片的目标数据流形分布结构。目标低画质人像图片的数据流形分布结构与样本低画质人像图片的目标数据流形分布结构的域差异无限趋近于0。
上述实施例中，通过按照目标数据流形分布结构对降质人像图片进行域迁移处理，可提升人像翻译的准确性。
在一个实施例中，如图9所示，人像修复模型的网络结构包括编码器和解码器。步骤208，也就是通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型的步骤，具体包括：
步骤208A，将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图。
步骤208B，通过解码器对编码特征图进行人像重建处理，得到模拟高画质人像图片。
具体地，可复用编码器输出的不同尺寸的编码特征图，并将其和解码器上对应的大小的特征图相加，进而，再通过解码器进行人像重建处理，得到模拟高画质人像图片。
举例说明，如图10所示，将目标低画质人像图片输入至编码器，通过编码器按照如图10中Stage0、Stage1、Stage2、Stage3、Stage4的顺序依次对目标低画质人像图片进行编码，生成不同尺寸的编码特征图S。针对每一个尺寸的编码特征图S，可通过解码器按照对应大小的尺寸对编码特征图S进行人像重建处理，生成模拟高画质人像图片R。
步骤208C，将模拟高画质人像图片和对应的目标高画质人像图片输入至第二判别器中进行判别，得到第二判别结果，并根据第二判别结果确定第二目标对抗损失参数。
步骤208D，基于第二目标对抗损失参数更新编码器和解码器的网络参数，并返回将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，直至人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
具体地，编码器和解码器可组合成生成器，生成器和第一判别器可形成生成对抗网络。通过生成对抗网络，基于第二目标对抗损失参数更新编码器和解码器的网络参数，在人像修复模型未收敛之前，可返回将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，以此循环，直至人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
上述实施例中，结合由编码器和解码器所组成的生成器，与对应判别器所形成的生成对抗网络结构，通过大量且高质量的目标高画质人像图片对应的目标低画质人像图片，对人像修复模型进行训练，获得优秀修复效果的人像修复模型。
在一个实施例中，如图11所示，将获取得到的目标高画质人像图片输入至预先训练好的人像退化模型，通过人像退化模型中的图片降质网络和图片翻译网络，对目标高画质人像图片进行图片退化处理，得到对应的目标低画质人像图片。将目标低画质人像图片输入至待训练的人像修复模型，通过人像修复模型中的编码器和解码器对目标低画质人像图片进行修复，得到模拟高画质人像图片。将模拟高画质人像图片和对应的目标高画质人像图片输入至判别器中，并根据判别器的判别结果更新人像修复模型的网络参数，直到训练完成，得到已训练的人像修复模型。
在一个具体的实施例中，提供了一种人像修复模型的训练方法，具体包括以下过程：
1、获取样本高画质人像图片和对应的样本低画质人像图片；
2、将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图；
3、将初始特征图输入至基础网络层进行进一步卷积处理和非线性运算，得到基础特征图；
4、将基础特征图输入至语义转换层进行语义转换处理，得到模拟低画质人像图片；
5、将模拟低画质人像图片和对应的样本低画质人像图片输入至第一判别器中进行判别，得到第一判别结果；
6、根据第一判别结果和人像退化模型对应的第一目标损失函数，确定初始对抗损失参数；
7、分别获取模拟低画质人像图片与对应的样本高画质人像图片的像素数据；
8、根据像素数据，确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数；
9、将模拟低画质人像图片和对应的样本高画质人像图片分别输入至预先训练好的特征提取网络进行特征提取，对应得到第一特征图谱和第二特征图谱；
10、根据第一特征图谱和第二特征图谱确定模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数；
11、根据初始对抗损失参数、内容损失参数、感知损失参数、以及人像退化模型对应的第二目标损失函数，确定退化对抗损失参数；
12、根据第一判别结果和第一判别器对应的目标损失函数，确定判别对抗损失参数；
13、基于退化对抗损失参数和判别对抗损失参数更新初始卷积层、基础网络层和语义转换层的网络参数，并返回将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，直至人像退化模型收敛，终止训练，得到已训练的人像退化模型。
14、获取目标高画质人像图片；
15、通过预先训练好的人像退化模型中的图片降质网络，对目标高画质人像图片进行降质处理，得到降质人像图片；其中，人像退化模型是通过样本低画质人像图片和对应的样本高画质人像图片训练得到；
16、确定样本低画质人像图片的目标数据流形分布结构；
17、通过预先训练好的人像退化模型中的图片翻译网络，按照目标数据流形分布结构对降质人像图片进行域迁移处理，得到与目标高画质人像图片对应的目标低画质人像图片；目标低画质人像图片的数据流形分布结构与目标数据流形分布结构相匹配。
18、将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图；
19、通过解码器对编码特征图进行人像重建处理，得到模拟高画质人像图片；
20、将模拟高画质人像图片和对应的目标高画质人像图片输入至第二判别器中进行判别，得到第二判别结果，并根据第二判别结果确定第二目标对抗损失参数；
21、基于第二目标对抗损失参数更新编码器和解码器的网络参数，并返回将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，直至人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
图12为一个实施例中人像修复方法的流程图。本实施例中的人像修复方法，以运行于图1中的终端102或服务器104上为例进行描述。如图12所示，人像修复方法包括以下步骤：
步骤1202，获取待修复的低画质人像图片，将待修复的低画质人像图片输入已训练好的人像修复模型；已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的。
具体地，可获取训练人像退化模型所使用的样本低画质人像图片，以及待输入至预先训练好的人像退化模型中的目标高画质人像图片。预先训练好的人像退化模型中可包括图片降质网络和图片翻译网络。可通过预先训练好的人像退化模型中的图片降质网络，对目标高画质人像图片进行降质处理，得到降质人像图片。可以理解，可将目标高画质人像图片输入至预先训练好的人像退化模型的图片降质网络中进行降质处理，则，人像退化模型的输出可作为降质人像图片。可通过预先训练好的人像退化模型中的图片翻译网络，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片。可以理解，可将降质人像图片输入至预先训练好的人像退化模型的图片翻译网络中进行降质处理，则，人像退化模型的输出可作为与目标高画质人像图片对应的目标低画质人像图片。可将目标低画质人像图片输入至待训练的人像修复模型中，人像修复模型可输出模拟高画质人像图片。可将模拟高画质人像图片和目标高画质人像图片输入至判别器进行分类判别，进而可根据判别误差更新人像修复模型中的网络参数，直到判别器的判别结果不再出现误差时，说明人像修复模型已经收敛，此时，人像修复模型的训练完成，得到已训练好的人像修复模型。可获取待修复的低画质人像图片，并将待修复的低画质人像图片输入已训练好的人像修复模型。
步骤1204，通过已训练好的人像修复模型对待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
在一个实施例中，如图13所示，第一列(13a)为待修复的低画质人像图片，第二列(13b)是经过ESRGAN(Enhanced Super-Resolution Generative Adversarial Networks，增强型超分辨率生成对抗网络)算法修复的高画质图片，第三列(13c)是经过HiFaceGAN(Face Renovation via CollaborativeSuppression and Replenishment，通过协同抑制和补给进行面部修复)算法修复的高画质图片，第四列(13d)是经过DFDNet(人脸幻构)算法修复的高画质图片，第五列(13e)为经过本申请人像修复模型修复的高画质图片。对比原始的待修复的低画质人像图片和修复之后的结果图，可以看出经过本申请人像修复模型修复的人像图片更清晰。
可选地，可采用图片质量评价算法SOTA算法，对进行修复处理前后的人像图片进行批量评价打分。需要说明的是，评分越小，表示图片的质量越好，即清晰度越高。如表2所示，对1000张人像图像进行批量评价打分，各数据集的评分如表所示。
表2
从上表2可知，本申请的人像修复方法修复人像图片的效果，明显优于传统人像修复方法修复人像图片的效果。
上述人像修复方法中，通过获取待修复的低画质人像图片，将待修复的低画质人像图片输入已训练好的人像修复模型；已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；通过已训练好的人像修复模型对待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。通过已训练好的人像修复模型对现实场景中待修复的低画质人像图片进行人像修复，可以得到对应的高画质人像图片。
应该理解的是，虽然图2、图4、图7、图8、图9和图12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图7、图8、图9和图12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种人像修复模型的训练装置1400，包括：第一获取模块1401、降质模块1402、翻译模块1403和训练模块1404，其中：
第一获取模块1401，用于获取目标高画质人像图片和样本低画质人像图片。
降质模块1402，用于对目标高画质人像图片进行降质处理，得到降质人像图片。
翻译模块1403，用于基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片。
训练模块1404，用于通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。
在一个实施例中，降质模块1402还用于通过预先训练好的人像退化模型中的图片降质网络，对目标高画质人像图片进行降质处理，得到降质人像图片。翻译模块1403还用于通过预先训练好的人像退化模型中的图片翻译网络，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片。其中，人像退化模型是通过样本低画质人像图片和对应的样本高画质人像图片训练得到。
在一个实施例中，人像退化模型的网络结构包括初始卷积层、基础网络层和语义转换层；训练模块1404还用于获取样本高画质人像图片；将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图；将初始特征图输入至基础网络层进行进一步卷积处理和非线性运算，得到基础特征图；将基础特征图输入至语义转换层进行语义转换处理，得到模拟低画质人像图片；将模拟低画质人像图片和对应的样本低画质人像图片输入至第一判别器中进行判别，得到第一判别结果，并根据第一判别结果确定第一目标对抗损失参数；基于第一目标对抗损失参数更新初始卷积层、基础网络层和语义转换层的网络参数，并返回将样本高画质人像图片输入至初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，直至人像退化模型收敛，终止训练，得到已训练的人像退化模型。
在一个实施例中，第一目标对抗损失参数包括人像退化模型的退化对抗损失参数和第一判别器的判别损失参数，训练模块1404还用于根据第一判别结果和人像退化模型对应的第一目标损失函数，确定初始对抗损失参数；确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数；根据初始对抗损失参数、内容损失参数、感知损失参数、以及人像退化模型对应的第二目标损失函数，确定退化对抗损失参数。根据第一判别结果和第一判别器对应的目标损失函数，确定判别对抗损失参数。
在一个实施例中，训练模块1404还用于分别获取模拟低画质人像图片与对应的样本高画质人像图片的像素数据；根据像素数据，确定模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数；将模拟低画质人像图片和对应的样本高画质人像图片分别输入至预先训练好的特征提取网络进行特征提取，对应得到第一特征图谱和第二特征图谱；根据第一特征图谱和第二特征图谱确定模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
在一个实施例中，翻译模块1403还用于确定样本低画质人像图片的目标数据流形分布结构；按照目标数据流形分布结构对降质人像图片进行域迁移处理，得到与目标高画质人像图片对应的目标低画质人像图片；目标低画质人像图片的数据流形分布结构与目标数据流形分布结构相匹配。
在一个实施例中，人像修复模型的网络结构包括编码器和解码器；训练模块1404还用于将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图；通过解码器对编码特征图进行人像重建处理，得到模拟高画质人像图片；将模拟高画质人像图片和对应的目标高画质人像图片输入至第二判别器中进行判别，得到第二判别结果，并根据第二判别结果确定第二目标对抗损失参数；基于第二目标对抗损失参数更新编码器和解码器的网络参数，并返回将与目标高画质人像图片对应的目标低画质人像图片输入至编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，直至人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
上述人像修复模型的训练装置，通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；人像修复模型用于对低画质人像图片进行人像修复。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。
在一个实施例中，如图15所示，提供了一种人像修复装置1500，包括：第二获取模块1501和修复模块1502，其中：
第二获取模块1501，用于获取待修复的低画质人像图片，将待修复的低画质人像图片输入已训练好的人像修复模型；已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的。
修复模块1502，用于通过已训练好的人像修复模型对待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
上述人像修复装置，通过获取待修复的低画质人像图片，将待修复的低画质人像图片输入已训练好的人像修复模型；已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对目标高画质人像图片进行降质处理，得到降质人像图片；基于样本低画质人像图片，对降质人像图片进行人像翻译处理，得到与目标高画质人像图片对应的目标低画质人像图片；通过目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；通过已训练好的人像修复模型对待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。这样，通过结合图片的降质处理和翻译处理，自动生成大量且高质量的人像图片对训练集，并通过这些丰富的人像图片对训练集训练人像修复模型，从而使得已训练好的人像修复模型具备较好的人像修复效果。通过已训练好的人像修复模型对现实场景中待修复的低画质人像图片进行人像修复，可以得到对应的高画质人像图片。
上述人像修复模型的训练装置和人像修复装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将人像修复模型的训练装置和人像修复装置可按照需要划分为不同的模块，以完成上述人像修复模型的训练装置和人像修复装置的全部或部分功能。
关于人像修复模型的训练装置的具体限定可以参见上文中对于人像修复模型的训练方法的限定，人像修复装置的具体限定可以参见上文中对于人像修复方法的限定，在此不再赘述。上述人像修复模型的训练装置和人像修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图16为一个实施例中电子设备的内部结构示意图。如图16所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的人像修复模型的训练方法或人像修复方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例中提供的人像修复模型的训练装置和人像修复装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请各实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行人像修复模型的训练方法或人像修复方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行人像修复模型的训练方法或人像修复方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种人像修复模型的训练方法，其特征在于，所述方法包括：
获取目标高画质人像图片和样本低画质人像图片；
对所述目标高画质人像图片进行降质处理，得到降质人像图片；
基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标高画质人像图片进行降质处理，得到降质人像图片，包括：
通过预先训练好的人像退化模型中的图片降质网络，对所述目标高画质人像图片进行降质处理，得到降质人像图片；
所述基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片，包括：
通过预先训练好的人像退化模型中的图片翻译网络，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
其中，所述人像退化模型是通过所述样本低画质人像图片和对应的样本高画质人像图片训练得到。
3.根据权利要求2所述的方法，其特征在于，所述人像退化模型的网络结构包括初始卷积层、基础网络层和语义转换层；所述人像退化模型的训练步骤，包括：
获取样本高画质人像图片；
将所述样本高画质人像图片输入至所述初始卷积层进行初步卷积处理，得到初始特征图；
将所述初始特征图输入至所述基础网络层进行进一步卷积处理和非线性运算，得到基础特征图；
将所述基础特征图输入至所述语义转换层进行语义转换处理，得到模拟低画质人像图片；
将所述模拟低画质人像图片和对应的样本低画质人像图片输入至第一判别器中进行判别，得到第一判别结果，并根据所述第一判别结果确定第一目标对抗损失参数；
基于所述第一目标对抗损失参数更新所述初始卷积层、基础网络层和语义转换层的网络参数，并返回所述将所述样本高画质人像图片输入至所述初始卷积层进行初步卷积处理，得到初始特征图的步骤以继续执行，直至所述人像退化模型收敛，终止训练，得到已训练的人像退化模型。
4.根据权利要求3所述的方法，其特征在于，所述第一目标对抗损失参数包括所述人像退化模型的退化对抗损失参数和所述第一判别器的判别损失参数，所述退化对抗损失参数的确定步骤，包括：
根据所述第一判别结果和所述人像退化模型对应的第一目标损失函数，确定初始对抗损失参数；
确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数；
根据所述初始对抗损失参数、所述内容损失参数、所述感知损失参数、以及所述人像退化模型对应的第二目标损失函数，确定退化对抗损失参数；
所述判别对抗损失参数的确定步骤，包括：
根据所述第一判别结果和所述第一判别器对应的目标损失函数，确定判别对抗损失参数。
5.根据权利要求4所述的方法，其特征在于，所述确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数和感知损失参数，包括：
分别获取所述模拟低画质人像图片与对应的样本高画质人像图片的像素数据；
根据所述像素数据，确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的内容损失参数；
将所述模拟低画质人像图片和对应的样本高画质人像图片分别输入至预先训练好的特征提取网络进行特征提取，对应得到第一特征图谱和第二特征图谱；
根据所述第一特征图谱和所述第二特征图谱确定所述模拟低画质人像图片与对应的样本高画质人像图片之间的感知损失参数。
6.根据权利要求1所述的方法，其特征在于，所述基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片，包括：
确定所述样本低画质人像图片的目标数据流形分布结构；
按照所述目标数据流形分布结构对所述降质人像图片进行域迁移处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；所述目标低画质人像图片的数据流形分布结构与所述目标数据流形分布结构相匹配。
7.根据权利要求1所述的方法，其特征在于，所述人像修复模型的网络结构包括编码器和解码器；所述通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型，包括：
将与所述目标高画质人像图片对应的目标低画质人像图片输入至所述编码器中进行编码，得到不同尺寸的编码特征图；
通过所述解码器对所述编码特征图进行人像重建处理，得到模拟高画质人像图片；
将所述模拟高画质人像图片和对应的目标高画质人像图片输入至第二判别器中进行判别，得到第二判别结果，并根据所述第二判别结果确定第二目标对抗损失参数；
基于所述第二目标对抗损失参数更新所述编码器和所述解码器的网络参数，并返回所述将与所述目标高画质人像图片对应的目标低画质人像图片输入至所述编码器中进行编码，得到不同尺寸的编码特征图的步骤以继续执行，直至所述人像修复模型收敛，终止训练，得到已训练好的人像修复模型。
8.一种人像修复方法，其特征在于，所述方法包括：
获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
9.一种人像修复模型的训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标高画质人像图片和样本低画质人像图片；
降质模块，用于对所述目标高画质人像图片进行降质处理，得到降质人像图片；
翻译模块，用于基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；
训练模块，用于通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成，得到已训练好的人像修复模型；所述人像修复模型用于对低画质人像图片进行人像修复。
10.一种人像修复装置，其特征在于，所述装置包括：
第二获取模块，用于获取待修复的低画质人像图片，将所述待修复的低画质人像图片输入已训练好的人像修复模型；所述已训练好的人像修复模型是通过获取目标高画质人像图片和样本低画质人像图片；对所述目标高画质人像图片进行降质处理，得到降质人像图片；基于所述样本低画质人像图片，对所述降质人像图片进行人像翻译处理，得到与所述目标高画质人像图片对应的目标低画质人像图片；通过所述目标高画质人像图片和对应的目标低画质人像图片，对人像修复模型进行训练，直至训练完成得到的；
修复模块，用于通过所述已训练好的人像修复模型对所述待修复的低画质人像图片进行修复，输出已修复的高画质人像图片。
11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396798.6A CN113160079A (zh) | 2021-04-13 | 2021-04-13 | 人像修复模型的训练方法、人像修复方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110396798.6A CN113160079A (zh) | 2021-04-13 | 2021-04-13 | 人像修复模型的训练方法、人像修复方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160079A true CN113160079A (zh) | 2021-07-23 |
Family
ID=76890268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110396798.6A Pending CN113160079A (zh) | 2021-04-13 | 2021-04-13 | 人像修复模型的训练方法、人像修复方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160079A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862699A (zh) * | 2022-04-14 | 2022-08-05 | 中国科学院自动化研究所 | 基于生成对抗网络的人脸修复方法、装置及存储介质 |
| WO2023245927A1 (zh) * | 2022-06-23 | 2023-12-28 | 中国科学院自动化研究所 | 图像生成器的训练方法、装置、电子设备和可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110705625A (zh) * | 2019-09-26 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN112288627A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种面向识别的低分辨率人脸图像超分辨率方法 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
-
2021
- 2021-04-13 CN CN202110396798.6A patent/CN113160079A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110705625A (zh) * | 2019-09-26 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN112288627A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种面向识别的低分辨率人脸图像超分辨率方法 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862699A (zh) * | 2022-04-14 | 2022-08-05 | 中国科学院自动化研究所 | 基于生成对抗网络的人脸修复方法、装置及存储介质 |
| WO2023245927A1 (zh) * | 2022-06-23 | 2023-12-28 | 中国科学院自动化研究所 | 图像生成器的训练方法、装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| EP3848887A1 (en) | Gan network-based vehicle damage image enhancement method and apparatus | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN113901894A (zh) | 一种视频生成方法、装置、服务器及存储介质 | |
| Zhang et al. | Fine-grained quality assessment for compressed images | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN112823379A (zh) | 用于训练机器学习模型的方法和装置、用于视频风格转移的装置 | |
| CN113160079A (zh) | 人像修复模型的训练方法、人像修复方法和装置 | |
| CN111612708B (zh) | 一种基于对抗生成网络的图像修复方法 | |
| CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN115424088A (zh) | 图像处理模型训练方法以及装置 | |
| CN113674191A (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| Qiao et al. | Csc-net: Cross-color spatial co-occurrence matrix network for detecting synthesized fake images | |
| Liu et al. | X-gans: Image reconstruction made easy for extreme cases | |
| CN113763268A (zh) | 人脸图像盲修复方法及系统 | |
| CN115713585B (zh) | 纹理图像重建方法、装置、计算机设备和存储介质 | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN114419691A (zh) | 人脸衰老图像的生成方法、模型训练方法、设备和介质 | |
| CN113822790A (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| Tekalp | Deep Learning for Image/Video Restoration and Super-resolution | |
| Wu et al. | Semantic image inpainting based on generative adversarial networks | |
| CN113688694B (zh) | 基于非配对学习的提升视频清晰度的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |