CN116309148A - 图像修复模型训练方法、图像修复方法、装置和电子设备 - Google Patents

图像修复模型训练方法、图像修复方法、装置和电子设备 Download PDF

Info

Publication number
CN116309148A
CN116309148A CN202310234775.4A CN202310234775A CN116309148A CN 116309148 A CN116309148 A CN 116309148A CN 202310234775 A CN202310234775 A CN 202310234775A CN 116309148 A CN116309148 A CN 116309148A
Authority
CN
China
Prior art keywords
image
pattern generation
training
network
restoration model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310234775.4A
Other languages
English (en)
Inventor
黄子琦
李骈臻
刘洛麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202310234775.4A priority Critical patent/CN116309148A/zh
Publication of CN116309148A publication Critical patent/CN116309148A/zh
Priority to PCT/CN2024/076393 priority patent/WO2024188008A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像修复模型训练方法、图像修复方法、装置和电子设备，属于计算机技术领域。所述方法包括：基于第一训练图像集训练得到样式生成对抗网络，并将样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型；基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入特征提取网络进行特征提取，得到特征向量；由样式生成对抗网络根据特征向量以及编码层输出的噪声信息输出预测人脸图像；根据各预测人脸图像和第二训练图像集确定损失信息，基于损失信息对初始图像修复模型进行迭代优化，直至满足预设条件，将满足预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。本申请可以提高人脸修复的精度和实用性。

Description

图像修复模型训练方法、图像修复方法、装置和电子设备
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种图像修复模型训练方法、图像修复方法、装置和电子设备。
背景技术
随着人工智能技术的发展，人们开始利用神经网络技术开始进行图像的修复，比如对老旧照片或模糊的人脸图像进行修复。
相关技术中，为了进行人脸图像的修复可以利用待修复图像中较为清晰的区域对破损或模糊的区域进行填充修复。比如，可以基于样本块修复的算法，基于待修复图像中破损或模糊的待修复区域以及周围清晰的区域确定出各待修复区域的优先权，并以优先权由大到小的顺序对各待修复区域进行修复。具体地，可以基于最小绝对差平方制定匹配标准，从大量可能的样本块中寻找出与各待修复区域最为匹配的匹配块填充到各待修复区域，最后得到一张修复完成的人脸图像。
然而，由于相关技术的方案需要根据待修复图像中较为清晰的区域对模糊或缺失的区域进行修复，若待修复图像中的面部信息缺失严重、或者图像不平整，就会导致修复得到的人脸图像与原图差异很大。因此，这种方案存在人脸修复的精度较低和实用性较差的问题。
发明内容
本申请的目的在于提供一种图像修复模型训练方法、图像修复方法、装置和电子设备，可以达到提高人脸修复的精度和实用性的效果。
本申请的实施例是这样实现的：
本申请实施例的第一方面，提供一种图像修复模型训练方法，所述方法包括：
基于第一训练图像集训练得到样式生成对抗网络，并将所述样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，所述特征提取网络中包括依次连接的多个编码层以及全连接层；
基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量；
由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像；
根据各所述预测人脸图像和所述第二训练图像集确定损失信息，基于所述损失信息对所述初始图像修复模型进行迭代优化，直至满足预设条件，将满足所述预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
可选地，所述基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量，包括：
对所述第二训练图像集中的初始人脸图像进行劣化处理，得到各所述目标人脸图像，各所述目标人脸图像的质量低于各所述初始人脸图像的质量；
将各所述目标人脸图像输入到所述特征提取网络中的首个编码层，并依次由所述特征提取网络中的各编码层进行编码，得到特征图；
由所述特征提取网络中的全连接层对所述特征图进行维度调整，得到所述特征向量。
可选地，所述对所述第二训练图像集中的初始人脸图像进行劣化处理，得到各所述目标人脸图像，包括：
基于双边滤波算法对所述初始人脸图像进行滤波，并利用卷积核对所述初始人脸图像进行模糊处理；
对模糊处理后的特征进行下采样处理，并进行高斯噪声处理；
将高斯噪声处理后的特征进行压缩处理和上采样处理，得到所述目标人脸图像。
可选地，所述样式生成对抗网络中包括多个样式生成模块，各所述样式生成模块依次连接；
所述由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中各编码层输出的噪声信息输出至少一个预测人脸图像，包括：
通过所述样式生成对抗网络中的映射网络将所述特征向量映射为隐空间特征；
将所述隐空间特征输入到各所述样式生成模块，并根据所述初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各所述样式生成模块中，得到各所述预测人脸图像。
可选地，所述根据所述初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各所述样式生成模块中，得到各所述预测人脸图像，包括：
确定各所述样式生成模块的排列顺序；
若所述样式生成模块的排列顺序为1，则将所述隐空间特征、预设的常数项以及随机噪声输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
若所述样式生成模块的排列顺序不为1且小于预设数值，则将所述隐空间特征、所述样式生成模块前一个的样式生成模块输出的解码信息以及随机噪声输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
若所述样式生成模块的排列顺序等于或大于预设数值，则将所述隐空间特征、与所述样式生成模块前一个的样式生成模块对应的编码层输出的特征图、以及所述样式生成模块前一个的样式生成模块输出的信息输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
将最后一个样式生成模块输出的解码信息作为所述预测人脸图像。
可选地，所述根据各所述预测人脸图像和所述第二训练图像集确定损失信息，包括：
确定所述第二训练图像集中与各所述目标人脸图像对应的初始人脸图像；
将各所述目标人脸图像、各所述初始人脸图像和各所述预测人脸图像拼接为多个图像对，并将各所述图像对输入所述判别器中；
由所述判别器根据各所述图像对确定所述损失信息。
可选地，所述由所述判别器根据各所述图像对确定所述损失信息，包括：
由所述判别器根据各所述目标人脸图像和各所述预测人脸图像计算生成对抗损失值；
根据各所述初始人脸图像和各所述预测人脸图像计算绝对值损失值(SmoothL1Loss)、附加角边缘损失值(Arcface Loss)和梯度差损失值；
基于对所述生成对抗损失值、所述绝对值损失值、所述附加角边缘损失值和所述梯度差损失值进行加权求和，并将得到的和值作为所述损失信息。
本申请实施例的第二方面，提供了一种图像修复方法，所述方法包括：
获取待修复图像，并将所述待修复图像输入到图像修复模型中，所述图像修复模型为上述第一方面训练得到的任一目标图像修复模型，所述图像修复模型中包括：特征提取网络以及样式生成对抗网络；
由所述特征提取网络对所述待修复图像进行特征提取，得到目标特征向量；
由所述样式生成对抗网络根据所述目标特征向量以及所述特征提取网络中各编码层输出的噪声信息输出所述待修复图像的修复后图像。
本申请实施例的第三方面，提供了一种图像修复模型训练装置，所述装置包括：
组成模块，用于基于第一训练图像集训练得到样式生成对抗网络，并将所述样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，所述特征提取网络中包括依次连接的多个编码层以及全连接层；
第一提取模块，用于基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量；
第一输出模块，用于由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像；
优化模块，用于根据各所述预测人脸图像和所述第二训练图像集确定损失信息，基于所述损失信息对所述初始图像修复模型进行迭代优化，直至满足预设条件，将满足所述预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
本申请实施例的第四方面，提供了一种图像修复装置，所述装置包括：
获取输入模块，用于获取待修复图像，并将所述待修复图像输入到图像修复模型中，所述图像修复模型中包括：特征提取网络以及样式生成对抗网络；
第二提取模块，用于由所述特征提取网络对所述待修复图像进行特征提取，得到特征向量；
第二输出模块，用于由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中各编码层输出的噪声信息输出所述待修复图像的修复后图像。
本申请实施例的第五方面，提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面的图像修复模型训练方法和第二方面的图像修复方法。
本申请实施例的第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像修复模型训练方法和第二方面的图像修复方法。
本申请实施例的有益效果包括：
本申请实施例提供的一种图像修复模型训练方法，其中，基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，可以得到一个能够对输入的人脸图像进行修复，进而输出修复后的人脸图像的该初始图像修复模型。
基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量。这样，可以将各目标人脸图像转换为特征向量，以确保后续该特征提取网络将该特征向量输入到该样式生成对抗网络之后，该样式生成对抗网络可以识别、解析该特征向量。
由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像。在将该特征向量以及各噪声信息输入到该样式生成对抗网络之后，该样式生成对抗网络就可以生成一张质量较高的、修复后的人脸图像。这样，便于后续根据该预测人脸图像对该初始图像修复模型进行训练。
根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
由于该损失信息表征了该初始图像修复模型输出的预测人脸图像与该第二训练图像集中原图、或目标人脸图像之间的差异，那么通过该损失信息对该初始图像修复模型进行迭代修正，可以有效降低该初始图像修复模型输出的误差，进而提升该初始图像修复模型修复图像的精确度。
也即，可以通过对基于生成对抗网络的初始图像修复模型进行训练，得到能够准确生成高清人脸图像的目标图像修复模型。如此，可以达到提高人脸修复的精度和实用性的效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种图像修复模型训练方法的流程图；
图2为本申请实施例提供的第二种图像修复模型训练方法的流程图；
图3为本申请实施例提供的第三种图像修复模型训练方法的流程图；
图4为本申请实施例提供的第四种图像修复模型训练方法的流程图；
图5为本申请实施例提供的第五种图像修复模型训练方法的流程图；
图6为本申请实施例提供的第六种图像修复模型训练方法的流程图；
图7为本申请实施例提供的一种图像修复方法的流程图；
图8为本申请实施例提供的一种图像修复模型的结构示意图；
图9为本申请实施例提供的一种图像修复模型训练装置的结构示意图；
图10为本申请实施例提供的一种图像修复装置的结构示意图；
图11为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在相关技术中，为了进行人脸图像的修复可以利用待修复图像中较为清晰的区域对破损或模糊的区域进行填充修复。比如，可以基于样本块修复的算法，基于待修复图像中破损或模糊的待修复区域以及周围清晰的区域确定出各待修复区域的优先权，并以优先权由大到小的顺序对各待修复区域进行修复。具体地，可以基于最小绝对差平方制定匹配标准，从大量可能的样本块中寻找出与各待修复区域最为匹配的匹配块填充到各待修复区域，最后得到一张修复完成的人脸图像。
然而，由于相关技术的方案需要根据待修复图像中较为清晰的区域对模糊或缺失的区域进行修复，若待修复图像中的面部信息缺失严重、或者图像不平整，就会导致修复得到的人脸图像与原图差异很大。因此，这种方案存在人脸修复的精度较低和实用性较差的问题。
为此，本申请实施例提供了图像修复模型训练方法，通过基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量，由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像，根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。可以达到提高人脸修复的精度和实用性的效果。
本申请实施例以应用在电子设备中的图像修复模型训练方法为例进行说明。但不表明本申请实施例仅能应用于电子设备中进行图像修复模型训练。
下面对本申请实施例提供的图像修复模型训练方法进行详细地解释说明。
图1为本申请提供的一种图像修复模型训练方法的流程图，该方法可以应用于计算机设备，该电子设备可以是任一终端设备或服务器。参见图1，本申请实施例提供一种图像修复模型训练方法，包括：
步骤1001：基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型。
可选地，该第一训练图像集中可以包括多张高清人脸图像。各高清人脸图像可以是维红绿蓝(Red-Green-Blue，简称RGB)图像，各高清人脸图像的质量可以较高，比如对比度、信噪比较高，而畸变程度较小。
并且，该样式生成对抗网络可以基于高斯分布采样的随机向量和随机噪声，随机生成高清人脸图像。该随机向量可以是用于表征各高清人脸图像中人脸特征信息的向量，该随机噪声用于表征各高清人脸图像中的人脸细节。
在训练该样式生成对抗网络的过程中，可以将该随机向量与各随机噪声、或者将该随机向量对应的隐空间特征与各随机噪声进行拼接再输入到该样式生成对抗网络中。本申请实施例对此不做限定。
另外，该样式生成对抗网络中可以包括多个样式生成模块，各样式生成模块依次连接。
示例性地，在将相应的随机向量输入到该样式生成对抗网络中之后，各样式生成模块可以对各向量进行解码或解析，以输出相应的解码信息，而各样式生成模块中的最后一个样式生成模块输出的解码信息则为一张图像。
另外，可以利用任意可能的训练方式，来训练得到该样式生成对抗网络，本申请实施例对此不做限定。
可选地，该特征提取网络中包括依次连接的多个编码层以及全连接层。该特征提取网络可以对输入的人脸图像进行特征提取，并输出与输入的人脸图像对应的特征向量。
另外，各编码层中的最后一个编码层可以与该全连接层连接，该全连接层可以与该样式生成对抗网络连接。
各编码层可以对输入到该特征提取网络的图像或信息进行特征提取，以输出相应的张量或向量，且各编码层中除最后一个编码层之外的其他编码层可以向下一个编码层输出一个特征图。而各编码层中的最后一个编码层可以向该全连接层输出一个特征图。
又例如，可以将各编码层整体视作一个编码器。
该全连接层可以对接收到的特征图进行映射处理，以确保到该样式生成对抗网络可以准确识别、解析、处理该特征提取网络输出的信息。
该判别器可以通过判断该样式生成对抗网络的输出的真实性，来确定该初始图像修复模型的性能，本申请实施例对此不做限定。
可选地，该初始图像修复模型可以是一个用于修复图像的网络模型。可选地，该初始图像修复模型可以是指还没有训练完成或还没有进行训练的图像修复模型。
一般地，该初始图像修复模型的输入可以是任意质量较低的、低清的人脸图像，而该初始图像修复模型的输出可以是基于对输入的人脸图像进行修复之后得到的质量较高的人脸图像，本申请实施例对此不做限定。
值得注意的是，由于该样式生成对抗网络可以基于随机向量和随机噪声生成质量较高、高清的人脸图像，且该特征提取网络可以输出人脸图像的特征向量，那么就可以确保该初始图像修复模型能够在输入一张人脸图像的情况下，对输入的这张人脸图像进行修复，进而输出一张修复后的人脸图像，以便后续对该初始图像修复模型进行训练。
步骤1002：基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量。
可选地，该第二训练图像集中可以与该第一训练图像集相同，也可以与该第一训练图像集不同，本申请实施例对此不做限定。
示例性地，该第二训练图像集中可以只包括多张高清人脸图像，也可以包括多张高清人脸图像以及与各高清人脸图像对应的低清人脸图像，还可以包括多个高清人脸图像和低清人脸图像的图像对，本申请实施例对此不做限定。
也即，若该第二训练图像集中包括多张高清人脸图像，那么这多张高清人脸图像就可以视为各目标人脸图像的原图。
可选地，各目标人脸图像可以是指质量较低的低清人脸图像，本申请实施例对此不做限定。
另外，可以依次将各目标人脸图像输入该特征提取网络进行特征提取，以分别得到多个特征向量。也即，该特征向量可以是与一张目标人脸图像对应的向量，且该特征向量用于表征该目标人脸图像中人脸的特征信息和整体内容。
该特征向量的维度可以是(1，512)维，还可以是其他任意可能的维度，本申请实施例对此不做限定。
值得说明的是，由于各目标人脸图像是质量较低的低清人脸图像，那么各特征向量就是用于表征低清人脸图像中人脸的特征信息和整体内容的向量。这样，可以将各目标人脸图像转换为特征向量，以确保后续该特征提取网络将该特征向量输入到该样式生成对抗网络之后，该样式生成对抗网络可以识别、解析该特征向量，进而确保该图像修复模型训练方法的实用性。
步骤1003：由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像。
可选地，该噪声信息可以是指在该编码层对各目标人脸图像进行编码时输出的特征图，该噪声信息可以用于进行各目标人脸图像中人脸细节的补充。
另外，该特征提取网络中至少一个编码层输出的噪声信息可以是指由该特征提取网络中一部分编码层输出的特征图。
可选地，该预测人脸图像可以是指由该初始图像修复模型或该初始图像修复模型中的样式生成对抗网络对该目标人脸图像进行修复得到的修复后人脸图像。
值得注意的是，由于该样式生成对抗网络可以是基于高斯分布采样的随机向量和随机噪声生成高清人脸图像的生成对抗网络。那么，在将该特征向量以及各噪声信息输入到该样式生成对抗网络之后，该样式生成对抗网络就可以生成一张质量较高的、修复后的人脸图像。这样，便于后续根据该预测人脸图像对该初始图像修复模型进行训练。
步骤1004：根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
可选地，该损失信息可以用于表征该初始图像修复模型的性能，也可与用于表征各预测人脸图像与该第二训练图像集中原图之间的差异或者各预测人脸图像与基于该第二训练图像集得到的目标人脸图像之间的差异。
可选地，该预设条件可以是指迭代次数达到一定的阈值，或者该损失信息小于或等于某一预设损失值，本申请实施例对此不做限定。
可选地，该目标图像修复模型可以是指训练完成的初始图像修复模型，也可以是指在修复质量较低或存在缺失的人脸图像时性能较高的初始图像修复模型，本申请实施例对此不做限定。
值得注意的是，由于在步骤1001-1003中的该初始图像修复模型还未经过训练或优化，此时该初始图像修复模型输出的预测人脸图像可能存在质量较低、模糊、或与原图差异较大的问题。因此，还需要通过确定该损失信息，进而确定出该初始图像修复模型的性能，并对该初始图像修复模型的参数进行相应的调整和优化，以在迭代优化的过程中不断提升该初始图像修复模型修复各目标人脸图像的性能。
值得说明的是，由于该损失信息表征了该初始图像修复模型输出的预测人脸图像与该第二训练图像集中原图、或目标人脸图像之间的差异，那么通过该损失信息对该初始图像修复模型进行迭代修正，可以有效降低该初始图像修复模型输出的误差，进而提升该初始图像修复模型的精确度。
这样，就可以提高训练该初始图像修复模型的可靠性和精度，进而提高该目标图像修复模型根据输入的低清人脸图像进行修复，以生成高清人脸图像的精度。
在本申请实施例中，通过基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型。基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量。由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像。根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
其中，基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，可以得到一个能够对输入的人脸图像进行修复，进而输出修复后的人脸图像的该初始图像修复模型。
基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量。这样，可以将各目标人脸图像转换为特征向量，以确保后续该特征提取网络将该特征向量输入到该样式生成对抗网络之后，该样式生成对抗网络可以识别、解析该特征向量。
由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像。在将该特征向量以及各噪声信息输入到该样式生成对抗网络之后，该样式生成对抗网络就可以生成一张质量较高的、修复后的人脸图像。这样，便于后续根据该预测人脸图像对该初始图像修复模型进行训练。
根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
由于该损失信息表征了该初始图像修复模型输出的预测人脸图像与该第二训练图像集中原图、或目标人脸图像之间的差异，那么通过该损失信息对该初始图像修复模型进行迭代修正，可以有效降低该初始图像修复模型输出的误差，进而提升该初始图像修复模型修复图像的精确度。
也即，可以通过对基于生成对抗网络的初始图像修复模型进行训练，得到能够准确生成高清人脸图像的目标图像修复模型。如此，可以达到提高人脸修复的精度和实用性的效果。
一种可能的实现方式中，参见图2，基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量，包括：
步骤1005：对该第二训练图像集中的初始人脸图像进行劣化处理，得到各目标人脸图像。
可选地，在本申请中，劣化处理可以是指降低图像质量的操作，比如劣化处理可以包括：降低图像的质量、提高图像的模糊程度、对图像进行缩小、或者对图像进行压缩等操作，本申请实施例对此不做限定。
可选地，各初始人脸图像就可以是上述的在该第二训练图像集中的多张高清人脸图像。
可选地，各目标人脸图像的质量低于各初始人脸图像的质量。
示例性地，一般可以通过图像的信噪比、对比度、畸变程度、模糊程度等参数作为评价图像质量的指标。比如，一张图像的质量越高，那么这张图像的信噪比、对比度就越高，而畸变程度和模糊程度越低。一张图像的质量越低，那么这张图像的信噪比、对比度就越低，而畸变程度和模糊程度越高。
这样，就可以得到质量较低的、低清的各目标人脸图像，便于后续提取各目标人脸图像的特征向量，以对该初始图像修复模型进行训练。
步骤1006：将各目标人脸图像输入到该特征提取网络中的首个编码层，并依次由该特征提取网络中的各编码层进行编码，得到特征图。
可选地，各编码层中可以分别包括3×3的卷积层和非线性激活层。
示例性地，各编码层可以视作编码器E，全连接层可以用F表示，那么全连接层输出的该特征向量可以用zlq＝F(E(Ilq))表示。
其中，Ilq为该目标人脸图像。
由于各编码层是依次连接的，该首个编码层就可以是指排列在各编码层中的第一个编码层。
可选地，依次由该特征提取网络中的各编码层进行编码可以是指：任一编码层对接收到的特征图或信息进行编码，并向下一个编码层输出编码后的特征图或信息，直至最后一个编码层将编码后的特征图输出到该全连接层中。
示例性地，在一张目标人脸图像输入到首个编码层之后，该首个编码层可以输出一个维度为(1，512，4，4)的张量，各编码层依次进行编码之后，最后一个编码层可以输出一个(1，512*4*4)＝(1，8192)维的向量，也即，该特征图可以是(1，8192)维的向量。
如此，可以完成对各目标人脸图像的编码，并将编码得到的特征图输出到该全连接层。
步骤1007：由该特征提取网络中的全连接层对该特征图进行维度调整，得到该特征向量。
可选地，该维度调整可以是指将各编码层对各目标人脸图像编码之后输出的特征图的维度调整为输入上述样式生成对抗网络需要的维度。具体可以是指降维操作。
比如，若在步骤1006中得到的特征图可以是(1，8192)维的向量，在经过维度调整之后，可以得到一个(1，512)维的特征向量。
如此，可以将各目标人脸图像转换为用于表征低清人脸图像中人脸的特征信息和整体内容的特征向量，以确保后续该特征提取网络将该特征向量输入到该样式生成对抗网络之后，该样式生成对抗网络可以识别、解析该特征向量，进而确保该图像修复模型训练方法的实用性。
一种可能的实现方式中，参见图3，对该第二训练图像集中的初始人脸图像进行劣化处理，得到各目标人脸图像，包括：
步骤1008：基于双边滤波算法对该初始人脸图像进行滤波，并利用卷积核对该初始人脸图像进行模糊处理。
可选地，该双边滤波算法可以基于双边滤波器实现，并且基于双边滤波算法对该初始人脸图像进行滤波可以模拟出磨皮效果。
可选地，该卷积核可以是用于对图像进行模糊处理的卷积核。
模糊处理操作可以包括：高斯模糊和/或运动模糊，本申请实施例对此不做限定。
这样，可以提升各目标人脸图像对人脸细节的模拟效果。
步骤1009：对模糊处理后的特征进行下采样处理，并进行高斯噪声处理。
可选地，对模糊处理后的初始人脸图像进行下采样处理可以是指对该初始人脸图像进行缩小处理。而缩小该初始人脸图像的倍率可以根据实际需要设置。
高斯噪声处理可以是指对该初始人脸图像添加高斯噪声。
步骤1010：将高斯噪声处理后的特征进行压缩处理和上采样处理，得到该目标人脸图像。
可选地，压缩处理可以是指静止图像压缩(Joint Photographic Experts Group，简称JPEG)。压缩处理的压缩率可以是(100-q)％，q可以是任意正实数，具体可以根据实际需要进行调整。
可选地，可以对压缩处理完成之后的特征进行上采样处理，上采样处理可以视作对压缩处理完成之后的特征进行放大处理。一般地，对压缩处理完成之后的特征进行上采样处理之后得到的结果则为该目标人脸图像，本申请实施例对此不做限定。
而放大该压缩处理完成之后的特征的倍率可以根据实际需要设置。一般情况下，放大该压缩处理完成之后的特征的倍率与缩小该初始人脸图像的倍率的乘积为1。这样，就可以确保得到的各目标人脸图像与各初始人脸图像的尺寸相同。
需要说明的是，该劣化处理可以包括：基于双边滤波算法的滤波、模糊处理、下采样处理和压缩处理。一般，可以将上采样处理视作在该劣化处理之后进行的将图像还原为进行下采样处理之前的原始大小的操作。
示例性地，可以通过如下公式对初始人脸图像进行劣化处理：
Figure BDA0004121711820000151
其中，Ihq是输入的初始人脸图像，k表示用于模糊的卷积核，↓s表示对进行采样的尺度，nσ表示对初始人脸图像添加方差为σ的高斯噪声，JPEGq表示对原图应用压缩率为(100-q)％的JPEG图像压缩，Ilq为与初始人脸图像对应的目标人脸图像，BF表示双边滤波器。
具体地，可以通过如下公式实现双边滤波算法的滤波处理：
Figure BDA0004121711820000152
Figure BDA0004121711820000153
其中，w(i,j,x,y)代表空间域S中的点(i，j)处的双边滤波权值值，点(i，j)可以是空间域S中的任一个点，点(x,y)为空间域S的中心点的坐标，Ihq(i,j)代表初始人脸图像在点(i，j)处的像素值。
另外，
Figure BDA0004121711820000154
代表空间域S中高斯分布的方差，/>
Figure BDA0004121711820000155
代表值域方差。
这样，可以实现对初始人脸图像的劣化处理。另外，在劣化处理完成之后，可以通过相应的上采样处理，确保各目标人脸图像与初始人脸图像的尺寸相同，以便后续输入到该特征提取网络中进行处理。
一种可能的实现方式中，参见图4，由该样式生成对抗网络根据该特征向量以及该特征提取网络中各编码层输出的噪声信息输出至少一个预测人脸图像，包括：
步骤1011：通过该样式生成对抗网络中的映射网络将该特征向量映射为隐空间特征。
可选地，该映射网络可以与上述全连接层连接，还可以与该样式生成对抗网络中各样式生成模块连接。
该映射网络的输入为该全连接层输出的该特征向量，该映射网络的输出为该隐空间特征。
可选地，该隐空间特征一般可以是任意维度的张量或向量，一般可以是一个4维的张量。并且上述各随机噪声的维度一般可以与该隐空间特征的维度相同。
在训练该样式生成对抗网络的过程中，可以将该随机向量对应的隐空间特征与各随机噪声进行拼接再输入到该样式生成对抗网络中。比如，任一随机向量对应的隐空间特征可以是(1，512，4，4)维的张量，各随机噪声也可以是(1，512，4，4)维的张量，那么在将这任一随机向量对应的隐空间特征与任一随机噪声在第二个维度上进行拼接之后，可以得到一个(1，1024，4，4)维的张量。本申请实施例对此不做限定。
值得注意的是，一般地，该特征向量是符合均匀分布或者高斯分布的随机向量，但各种初始人脸图像的分布非常复杂，所以通过映射网络将该特征向量映射到更复杂的隐空间中通过该隐空间特征进行表达，可以提高表达该特征向量的丰富程度。如此，可以避免因该特征向量不符合均匀分布或者高斯分布导致无法准确表达该目标人脸图像的问题。
步骤1012：将该隐空间特征输入到各样式生成模块，并根据该初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各样式生成模块中，得到各预测人脸图像。
可选地，各编码层与各样式生成模型存在对应关系。一般地，首个编码层对应最后一个样式生成模型，……，最后一个编码层对应首个样式生成模型。
比如，若存在9个样式生成模型，就需要设置9个编码层。一般地，第N个编码层需要向第10-N个样式生成模型输出噪声信息，N为小于或等于9的正整数。
这样，就可以通过各样式生成模块基于该隐空间特征和各噪声信息生成各预测人脸图像。并且，由于该隐空间特征表达的丰富度更高，因此可以进一步提高生成各预测人脸图像的精度和可靠性。
一种可能的实现方式中，根据该初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各样式生成模块中，得到各预测人脸图像，包括：
确定各样式生成模块的排列顺序。
可选地，各样式生成模块的排列顺序可以是指各样式生成模块依次连接的顺序。
若该样式生成模块的排列顺序为1，则将该隐空间特征、预设的常数项以及随机噪声输入到该样式生成模块，并由该样式生成模块输出解码信息。
可选地，该预设的常数项可以是用于使得该样式生成模块能够进行正常解码的常数，该预设的常数项可以是由任一网络层或模块产生并输入到样式生成模块的。
可选地，该解码信息可以用于表征该样式生成模块对该隐空间特征、预设的常数项以及随机噪声进行解码得到的图像数据。
值得注意的是，由于排列顺序为1的样式生成模块之前不存在其他样式生成模块，因此需要输入该常数项使得该首个样式生成模块正常解码。
若该样式生成模块的排列顺序不为1且小于预设数值，则将该隐空间特征、该样式生成模块前一个的样式生成模块输出的解码信息以及随机噪声输入到该样式生成模块，并由该样式生成模块输出解码信息。
可选地，该预设数值可以是由相关技术人员根据实际需要确定的，一般地，该预设数值小于各样式生成模块的数量，并且，可以将该预设数值设置的较小。
值得注意的是，由于排列顺序不为1的样式生成模块之前还有其他样式生成模块，因此需要该样式生成模块前一个的样式生成模块输出的解码信息输出到这些样式生成模块中，这样，可以实现对各编码层的编码数据进行对应解码。
另外，由于排列顺序小于预设数值的各样式生成模块中仍采用服从高斯分布的随机噪声输入，这样，可以保持随机高斯噪声的输入，以使得该样式生成对抗网络保持了较高的生成能力，进而提升了生成该预设人脸图像的质量。
若该样式生成模块的排列顺序等于或大于预设数值，则将该隐空间特征、与该样式生成模块前一个的样式生成模块对应的编码层输出的特征图、以及该样式生成模块前一个的样式生成模块输出的信息输入到该样式生成模块，并由该样式生成模块输出解码信息。
值得说明的是，由于排列顺序等于或大于预设数值的各样式生成模块中输入与该样式生成模块前一个的样式生成模块对应的编码层输出的特征图，这样，可以为生成的该预设人脸图像补充更多来自该目标人脸图像的特征信息，进而可以减小该预设人脸图像与该目标人脸图像的差异。
将最后一个样式生成模块输出的解码信息作为该预测人脸图像。
值得说明的是，各样式生成模块可以整体视作一个解码器，该解码器可以将这个特征向量当中蕴含的信息重新解析并生成为一张图像，那么各样式生成模块中最后一个样式生成模块输出的解码信息，就可以是一张图像，也即该预测人脸图像。
一种可能的实现方式中，参见图5，根据各预测人脸图像和该第二训练图像集确定损失信息，包括：
步骤1013：确定该第二训练图像集中与各目标人脸图像对应的初始人脸图像。
这样，可以能够准确地确定出各目标人脸图像与各初始人脸图像的对应关系。
步骤1014：将各目标人脸图像、各初始人脸图像和各预测人脸图像拼接为多个图像对，并将各图像对输入该判别器中。
示例性地，若将各初始人脸图像分别用Ilq表示，各预测人脸图像分别用
Figure BDA0004121711820000181
表示，各初始人脸图像分别用Ihq表示，那么拼接后得到的图像对可以用/>
Figure BDA0004121711820000182
表示，并且
Figure BDA0004121711820000183
G表示上述样式生成对抗网络。
一种可能的方式，若该第二训练图像集包括多个高清人脸图像和低清人脸图像的图像对，也即该第二训练图像集包括多个由目标人脸图像和对应的初始人脸图像组成的初始图像对，那么可以直接将各目标人脸图像对应的初始图像对以及各预测人脸图像拼接为多个图像对。本申请实施例对此不做限定。
步骤1015：由该判别器根据各图像对确定该损失信息。
这样，可以准确地确定出表征该初始图像修复模型的性能、各预测人脸图像与该第二训练图像集中原图之间的差异或者各预测人脸图像与基于该第二训练图像集得到的目标人脸图像之间的差异的损失信息。
一种可能的实现方式中，参见图6，由该判别器根据各图像对确定该损失信息，包括：
步骤1016：由该判别器根据各目标人脸图像和各预测人脸图像计算生成对抗损失值。
示例性地，可以根据如下公式计算该生成对抗损失值：
Figure BDA0004121711820000191
其中，G和D分别代表上述样式生成对抗网络与该判别器，concat代表拼接操作。
步骤1017：根据各初始人脸图像和各预测人脸图像计算绝对值损失值、附加角边缘损失值和梯度差损失值。
示例性地，可以根据如下公式计算该绝对值损失值Lsmooth：
Figure BDA0004121711820000192
可以根据如下公式计算该附加角边缘损失值Lid：
Figure BDA0004121711820000193
其中，Arcface表示公开开源的Arcface网络。
还可以根据如下公式计算该梯度差损失值：
Figure BDA0004121711820000194
其中，
Figure BDA0004121711820000195
与/>
Figure BDA0004121711820000196
分别代表Ihq与/>
Figure BDA0004121711820000197
的像素个数，/>
Figure BDA0004121711820000198
表示/>
Figure BDA0004121711820000199
在坐标为(i-1，j)处的像素值。
如此，可以通过该梯度差损失值确定各预测人脸图像和各初始人脸图像之间水平梯度和垂直梯度的差异，便于对毛发等细节内容的差异值进行计算，进而可以提高该目标图像修复模型或该初始图像修复模型生成更多细节内容的性能。
步骤1018：基于对该生成对抗损失值、该绝对值损失值、该附加角边缘损失值和该梯度差损失值进行加权求和，并将得到的和值作为该损失信息。
如此，可以准确地确定出该损失信息，便于准确、可靠、有效地对该初始图像修复模型进行训练，以确保得到的该目标图像修复模型生成人脸图像的性能。
一种可能的方式中，在基于第一训练图像集训练得到样式生成对抗网络时，可以先基于预设结构建立一个初始生成对抗网络，然后基于该第一训练图像集中的各高清人脸图像得到多个低清人脸图像，再各低清人脸图像中提取出随机向量，再将随机向量和随机噪声输入初始生成对抗网络中的各个样式生成模块中。
各样式生成模块分别可以包括样式调制层，在将相应的随机向量输入该样式调制层之后，可以得到风格化特征，再将风格化特征与随机噪声进行拼接之后进行一次含有上采样的风格调制，并将调制之后的结果输出到下一个样式生成模块。直至最后一个样式生成模块将调制后的结果作为训练过程中输出的人脸图像。
然后可以利用相应的损失函数对最后一个样式生成模块输出的人脸图像进行网络损失信息的计算，并根据该网络损失信息对初始生成对抗网络进行迭代优化，并性能达标的初始生成对抗网络作为最终组成初始图像修复模型的样式生成对抗网络。
如此，就可以完成对样式生成对抗网络的训练。
图7为本申请提供的一种图像修复模型训练方法的流程图，该方法可以应用于上述电子设备。参见图7，本申请实施例提供一种图像修复方法，包括：
步骤2001：获取待修复图像，并将该待修复图像输入到图像修复模型中。
可选地，该待修复图像可以是任意质量、任意对比度、信噪比、畸变程度和/或分辨率的图像，且该待修复图像中可以包括整个人脸或一部分人脸，本申请实施例对此不做限定。
可选地，该图像修复模型为上述任一实施例训练得到的目标图像修复模型，该图像修复模型中包括：特征提取网络以及样式生成对抗网络。
具体地，将该待修复图像输入到该图像修复模型中可以是指将该待修复图像输入到该图像修复模型中的首个编码层中。
步骤2002：由该特征提取网络对该待修复图像进行特征提取，得到目标特征向量。
可选地，该目标特征向量可以是通过该特征提取网络中的多个编码层依次对该待修复图像进行编码并输出编码结果，也即输出特征图，然后通过该特征提取网络中的全连接层对最后一个编码层输出的特征图进行维度调整得到的。
步骤2003：由该样式生成对抗网络根据该目标特征向量以及该特征提取网络中各编码层输出的噪声信息输出该待修复图像的修复后图像。
可选地，该修复后图像是通过该图像修复模型对该待修复图像进行修复之后得到的图像。该修复后图像的信噪比、对比度、清晰度、质量等指标均高于该待修复图像。
值得注意的是，在步骤2003中，该样式生成对抗网络根据该目标特征向量以及各编码层输出的噪声信息输出该修复后图像时，需要利用该特征提取网络中所有编码层输出的噪声信息。
在一种可能的方式中，由该样式生成对抗网络根据该目标特征向量以及该特征提取网络中各编码层输出的噪声信息输出该待修复图像的修复后图像，包括：
基于该目标特征向量映射得到目标隐空间特征。
确定各样式生成模块的排列顺序。
若该样式生成模块的排列顺序为1，则将该目标隐空间特征、预设的常数项以及各编码层中最后一个编码层输出的噪声信息输入到该样式生成模块，并由该样式生成模块输出目标解码信息。
若该样式生成模块的排列顺序不为1，则将该目标隐空间特征、该样式生成模块前一个的样式生成模块输出的目标解码信息以及各编码层中与该样式生成模块对应的编码层输出的噪声信息输入到该样式生成模块，并由该样式生成模块输出目标解码信息。
示例性地，各编码层中的第n个编码层与各样式生成模块中的第M+1-n个编码层对应。其中，M为各编码层的数量或各样式生成模块的数量，n为小于或等于M的正整数。
在该样式生成模块的排列顺序不为1时，将各编码层中与该样式生成模块对应的编码层输出的噪声信息输入到各样式生成模块，可以是指将除了最后一个编码层之外的其他所有编码曾输出的噪声信息分别输入到对应的样式生成模块中。
这样，可以确保能维持该待修复图像和该修复后图像之间特征信息的一致性。
将最后一个样式生成模块输出的目标解码信息作为该修复后图像。
这样，就可以基于该图像修复模型完成对该待修复图像的修复。
需要说明的是，本申请提供的图像修复方法和图像修复模型训练方法是对应的。图像修复方法对应的实施例中一些名词已经在图像修复模型训练方法对应的实施例中进行了定义，具体可以参见上述任意实施例。
可以理解的是，在执行图像修复方法时，应当也能够执行上述对应图像修复模型训练方法的各个实施例中的各个步骤。也就是说，在训练完成并得到该目标图像修复模型之后，应用该目标图像修复模型或该图像修复模型时，可以参照上述训练过程中基于初始图像修复模型执行的各个步骤进行图像修复。
另外，由于训练得到的该目标图像修复模型的性能已经较高，那么在应用该目标图像修复模型或该图像修复模型时，则不需要调用模型中的判别器执行损失函数或迭代优化的过程。
图8是本申请实施例提供的一种图像修复模型的结构示意图，参见图8，图8示出的图像修复模型A包括样式生成对抗网络Y、特征提取网络T和判别器P。
可见，特征提取网络T中包括编码器B和全连接层q，编码器B还包括多个依次连接的编码层b。
样式生成对抗网络Y中包括映射网络y和解码器j，解码器j中还包括多个依次连接的样式生成模块s。
具体地，各编码层b中的最后一个编码层b与全连接层q连接，且全连接层q与映射网络y连接，映射网络y分别与各样式生成模块s连接。
各样式生成模块s中的第一个样式生成模块s还用于输入常数项。
另外，各编码层b按照排列顺序分别与各样式生成模块s对应连接，具体是第一个编码层b与最后一个样式生成模块s连接……最后一个编码层b与第一个样式生成模块s连接。
图像修复模型A可以是上述的初始图像修复模型、目标图像修复模型或图像修复模型，图像修复模型A的工作原理与有益效果具体可以参见上述其他实施例中的描述，本申请实施例在此不做赘述。
下述对用以执行的本申请所提供图像修复模型训练方法的装置、设备及计算机可读存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图9是本申请实施例提供的一种图像修复模型训练装置的结构示意图，参见图9，该装置包括：
组成模块301，用于基于第一训练图像集训练得到样式生成对抗网络，并将该样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型。
可选地，该特征提取网络中包括依次连接的多个编码层以及全连接层。
第一提取模块302，用于基于第二训练图像集得到多张目标人脸图像，并将各目标人脸图像输入该特征提取网络进行特征提取，得到特征向量。
第一输出模块303，用于由该样式生成对抗网络根据该特征向量以及该特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像。
优化模块304，用于根据各预测人脸图像和该第二训练图像集确定损失信息，基于该损失信息对该初始图像修复模型进行迭代优化，直至满足预设条件，将满足该预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
图10是本申请实施例提供的一种图像修复模型训练装置的结构示意图，参见图10，该装置包括：
获取输入模块401，用于获取待修复图像，并将该待修复图像输入到图像修复模型中。
可选地，该图像修复模型中包括：特征提取网络以及样式生成对抗网络。
第二提取模块402，用于由该特征提取网络对该待修复图像进行特征提取，得到特征向量。
第二输出模块403，用于由该样式生成对抗网络根据该特征向量以及该特征提取网络中各编码层输出的噪声信息输出该待修复图像的修复后图像。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微控制器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图11是本申请实施例提供的一种电子设备的结构示意图。参见图11，电子设备包括：存储器501、处理器502，存储器501中存储有可在处理器502上运行的计算机程序，处理器502执行计算机程序时，实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述任一图像修复模型训练方法或图像修复方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像修复模型训练方法，其特征在于，所述方法包括：
基于第一训练图像集训练得到样式生成对抗网络，并将所述样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，所述特征提取网络中包括依次连接的多个编码层以及全连接层；
基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量；
由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像；
根据各所述预测人脸图像和所述第二训练图像集确定损失信息，基于所述损失信息对所述初始图像修复模型进行迭代优化，直至满足预设条件，将满足所述预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
2.如权利要求1所述的图像修复模型训练方法，其特征在于，所述基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量，包括：
对所述第二训练图像集中的初始人脸图像进行劣化处理，得到各所述目标人脸图像，各所述目标人脸图像的质量低于各所述初始人脸图像的质量；
将各所述目标人脸图像输入到所述特征提取网络中的首个编码层，并依次由所述特征提取网络中的各编码层进行编码，得到特征图；
由所述特征提取网络中的全连接层对所述特征图进行维度调整，得到所述特征向量。
3.如权利要求2所述的图像修复模型训练方法，其特征在于，所述对所述第二训练图像集中的初始人脸图像进行劣化处理，得到各所述目标人脸图像，包括：
基于双边滤波算法对所述初始人脸图像进行滤波，并利用卷积核对所述初始人脸图像进行模糊处理；
对模糊处理后的特征进行下采样处理，并进行高斯噪声处理；
将高斯噪声处理后的特征进行压缩处理和上采样处理，得到所述目标人脸图像。
4.如权利要求1所述的图像修复模型训练方法，其特征在于，所述样式生成对抗网络中包括多个样式生成模块，各所述样式生成模块依次连接；
所述由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中各编码层输出的噪声信息输出至少一个预测人脸图像，包括：
通过所述样式生成对抗网络中的映射网络将所述特征向量映射为隐空间特征；
将所述隐空间特征输入到各所述样式生成模块，并根据所述初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各所述样式生成模块中，得到各所述预测人脸图像。
5.如权利要求4所述的图像修复模型训练方法，其特征在于，所述根据所述初始图像修复模型中各编码层的排列顺序将至少一个编码层输出的噪声信息分别输入到各所述样式生成模块中，得到各所述预测人脸图像，包括：
确定各所述样式生成模块的排列顺序；
若所述样式生成模块的排列顺序为1，则将所述隐空间特征、预设的常数项以及随机噪声输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
若所述样式生成模块的排列顺序不为1且小于预设数值，则将所述隐空间特征、所述样式生成模块前一个的样式生成模块输出的解码信息以及随机噪声输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
若所述样式生成模块的排列顺序等于或大于预设数值，则将所述隐空间特征、与所述样式生成模块前一个的样式生成模块对应的编码层输出的特征图、以及所述样式生成模块前一个的样式生成模块输出的信息输入到所述样式生成模块，并由所述样式生成模块输出解码信息；
将最后一个样式生成模块输出的解码信息作为所述预测人脸图像。
6.如权利要求1所述的图像修复模型训练方法，其特征在于，所述根据各所述预测人脸图像和所述第二训练图像集确定损失信息，包括：
确定所述第二训练图像集中与各所述目标人脸图像对应的初始人脸图像；
将各所述目标人脸图像、各所述初始人脸图像和各所述预测人脸图像拼接为多个图像对，并将各所述图像对输入所述判别器中；
由所述判别器根据各所述图像对确定所述损失信息。
7.如权利要求6所述的图像修复模型训练方法，其特征在于，所述由所述判别器根据各所述图像对确定所述损失信息，包括：
由所述判别器根据各所述目标人脸图像和各所述预测人脸图像计算生成对抗损失值；
根据各所述初始人脸图像和各所述预测人脸图像计算绝对值损失值、附加角边缘损失值和梯度差损失值；
基于对所述生成对抗损失值、所述绝对值损失值、所述附加角边缘损失值和所述梯度差损失值进行加权求和，并将得到的和值作为所述损失信息。
8.一种图像修复方法，其特征在于，所述方法包括：
获取待修复图像，并将所述待修复图像输入到图像修复模型中，所述图像修复模型为上述权利要求1-7任一项训练得到的目标图像修复模型，所述图像修复模型中包括：特征提取网络以及样式生成对抗网络；
由所述特征提取网络对所述待修复图像进行特征提取，得到目标特征向量；
由所述样式生成对抗网络根据所述目标特征向量以及所述特征提取网络中各编码层输出的噪声信息输出所述待修复图像的修复后图像。
9.一种图像修复模型训练装置，其特征在于，所述装置包括：
组成模块，用于基于第一训练图像集训练得到样式生成对抗网络，并将所述样式生成对抗网络以及特征提取网络和判别器组成初始图像修复模型，所述特征提取网络中包括依次连接的多个编码层以及全连接层；
第一提取模块，用于基于第二训练图像集得到多张目标人脸图像，并将各所述目标人脸图像输入所述特征提取网络进行特征提取，得到特征向量；
第一输出模块，用于由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中至少一个编码层输出的噪声信息输出至少一个预测人脸图像；
优化模块，用于根据各所述预测人脸图像和所述第二训练图像集确定损失信息，基于所述损失信息对所述初始图像修复模型进行迭代优化，直至满足预设条件，将满足所述预设条件时的初始图像修复模型作为目标图像修复模型，并停止训练。
10.一种图像修复装置，其特征在于，所述装置包括：
获取输入模块，用于获取待修复图像，并将所述待修复图像输入到图像修复模型中，所述图像修复模型中包括：特征提取网络以及样式生成对抗网络；
第二提取模块，用于由所述特征提取网络对所述待修复图像进行特征提取，得到特征向量；
第二输出模块，用于由所述样式生成对抗网络根据所述特征向量以及所述特征提取网络中各编码层输出的噪声信息输出所述待修复图像的修复后图像。
11.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述权利要求1至8任一项所述的方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至8中任一项所述方法的步骤。
CN202310234775.4A 2023-03-13 2023-03-13 图像修复模型训练方法、图像修复方法、装置和电子设备 Pending CN116309148A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310234775.4A CN116309148A (zh) 2023-03-13 2023-03-13 图像修复模型训练方法、图像修复方法、装置和电子设备
PCT/CN2024/076393 WO2024188008A1 (zh) 2023-03-13 2024-02-06 图像修复模型训练方法、图像修复方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310234775.4A CN116309148A (zh) 2023-03-13 2023-03-13 图像修复模型训练方法、图像修复方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116309148A true CN116309148A (zh) 2023-06-23

Family

ID=86820157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310234775.4A Pending CN116309148A (zh) 2023-03-13 2023-03-13 图像修复模型训练方法、图像修复方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN116309148A (zh)
WO (1) WO2024188008A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630465A (zh) * 2023-07-24 2023-08-22 海信集团控股股份有限公司 一种模型训练、图像生成方法及设备
CN116823597A (zh) * 2023-08-02 2023-09-29 北京中科闻歌科技股份有限公司 一种图像生成系统
WO2024188008A1 (zh) * 2023-03-13 2024-09-19 厦门美图之家科技有限公司 图像修复模型训练方法、图像修复方法、装置和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
US20220180447A1 (en) * 2019-05-16 2022-06-09 Retrace Labs Artificial Intelligence Platform for Dental Claims Adjudication Prediction Based on Radiographic Clinical Findings
CN113592724A (zh) * 2020-04-30 2021-11-02 北京金山云网络技术有限公司 目标人脸图像的修复方法和装置
CN111783603A (zh) * 2020-06-24 2020-10-16 有半岛(北京)信息科技有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN112270654A (zh) * 2020-11-02 2021-01-26 浙江理工大学 基于多通道gan的图像去噪方法
CN113160079B (zh) * 2021-04-13 2024-08-02 Oppo广东移动通信有限公司 人像修复模型的训练方法、人像修复方法和装置
CN113763268B (zh) * 2021-08-26 2023-03-28 中国科学院自动化研究所 人脸图像盲修复方法及系统
CN116309148A (zh) * 2023-03-13 2023-06-23 厦门美图之家科技有限公司 图像修复模型训练方法、图像修复方法、装置和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024188008A1 (zh) * 2023-03-13 2024-09-19 厦门美图之家科技有限公司 图像修复模型训练方法、图像修复方法、装置和电子设备
CN116630465A (zh) * 2023-07-24 2023-08-22 海信集团控股股份有限公司 一种模型训练、图像生成方法及设备
CN116630465B (zh) * 2023-07-24 2023-10-24 海信集团控股股份有限公司 一种模型训练、图像生成方法及设备
CN116823597A (zh) * 2023-08-02 2023-09-29 北京中科闻歌科技股份有限公司 一种图像生成系统
CN116823597B (zh) * 2023-08-02 2024-05-07 北京中科闻歌科技股份有限公司 一种图像生成系统

Also Published As

Publication number Publication date
WO2024188008A1 (zh) 2024-09-19

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Yu et al. A unified learning framework for single image super-resolution
CN116309148A (zh) 图像修复模型训练方法、图像修复方法、装置和电子设备
CN110830808A (zh) 一种视频帧重构方法、装置及终端设备
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
Yuan et al. Single image dehazing via NIN-DehazeNet
CN112365422A (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN114782291A (zh) 图像生成器的训练方法、装置、电子设备和可读存储介质
CN116739950A (zh) 一种图像修复方法、装置、终端设备和存储介质
Liu et al. Facial image inpainting using multi-level generative network
Aquilina et al. Improving super-resolution performance using meta-attention layers
Huang et al. Underwater image enhancement via LBP‐based attention residual network
Wang et al. A customized deep network based encryption-then-lossy-compression scheme of color images achieving arbitrary compression ratios
CN113674187A (zh) 图像重构方法、系统、终端设备及存储介质
CN113177483A (zh) 视频目标分割方法、装置、设备以及存储介质
CN112001865A (zh) 一种人脸识别方法、装置和设备
CN117196940A (zh) 一种基于卷积神经网络的适用于真实场景图像的超分辨率重构方法
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Jia et al. Learning rich information for quad bayer remosaicing and denoising
Zhao et al. Fast blind decontouring network
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
JP2022129683A (ja) 画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination