CN113284073A - 一种图像修复方法、装置及存储介质 - Google Patents

一种图像修复方法、装置及存储介质 Download PDF

Info

Publication number
CN113284073A
CN113284073A CN202110771495.8A CN202110771495A CN113284073A CN 113284073 A CN113284073 A CN 113284073A CN 202110771495 A CN202110771495 A CN 202110771495A CN 113284073 A CN113284073 A CN 113284073A
Authority
CN
China
Prior art keywords
image
sample
sample image
target
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110771495.8A
Other languages
English (en)
Other versions
CN113284073B (zh
Inventor
刘恩雨
李松南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110771495.8A priority Critical patent/CN113284073B/zh
Publication of CN113284073A publication Critical patent/CN113284073A/zh
Application granted granted Critical
Publication of CN113284073B publication Critical patent/CN113284073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开一种图像修复方法、装置及存储介质，其中，方法包括对与样本对象相关联的原始样本图像进行降质处理，得到与样本对象相关联的降质样本图像；在确定对象关键点在降质样本图像中的样本位置信息时，对构建的与降质样本图像具有相同图像尺寸的待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到修复样本图像；基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为目标网络模型。采用本申请实施例，可以提升图像修复的质量和准确度。

Description

一种图像修复方法、装置及存储介质
技术领域
本申请涉及互联网技术领域，尤其涉及一种图像修复方法、装置及存储介质。
背景技术
现有的图像修复方法包括依赖于人脸超分模型来对人脸进行图像修复的方案。但是，发明人在实践中发现，该依赖于人脸超分模型来对人脸进行图像修复的方案，在对人脸进行图像修复的过程中，需要预先对图像中的人脸进行检测、裁剪等一系列预处理操作，进而可以使用亚像素卷积方式针对裁剪出的人脸进行超分辨率处理，以使裁剪出的人脸的轮廓可以更加清晰的呈现出来。但是，在对人脸进行超分辨率处理的过程中，势必会造成该图像中的某些内容和细节的损失，且这些损失是无法恢复的。换言之，前述依赖于人脸超分模型来对人脸进行图像修复的方案会在一定程度上影响图像修复的质量，进而会降低图像修复的准确度。
发明内容
本申请实施例提供一种图像修复方法、装置及存储介质，可以提升图像修复的质量和准确度。
本申请实施例一方面提供了一种图像修复方法，方法包括：
获取与样本对象相关联的原始样本图像，对原始样本图像进行降质处理，得到与样本对象相关联的降质样本图像；降质样本图像的图像质量低于原始样本图像的图像质量；
在降质样本图像中获取样本对象对应的对象关键点，确定对象关键点在降质样本图像中的样本位置信息，在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；
将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；
基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
本申请实施例一方面提供了一种图像修复装置，装置包括：
原始样本获取模块，用于获取与样本对象相关联的原始样本图像，对原始样本图像进行降质处理，得到与样本对象相关联的降质样本图像；降质样本图像的图像质量低于原始样本图像的图像质量；
标记样本获取模块，用于在降质样本图像中获取样本对象对应的对象关键点，确定对象关键点在降质样本图像中的样本位置信息，在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；
修复样本确定模块，用于将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；
模型训练模块，用于基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
其中，原始样本获取模块包括：
降质策略获取单元，用于将与样本对象相关联的高清图像作为原始样本图像，获取原始样本图像对应的图像降质策略；样本对象包括分布在原始样本图像中的人脸；
降质图像确定单元，用于基于图像降质策略对包含人脸的原始样本图像进行降质处理，将降质处理后的原始样本图像作为与人脸相关联的降质样本图像。
其中，图像降质策略包括用于对原始样本图像进行模糊处理的图像模糊策略、下采样插值策略、高斯噪声策略以及图像压缩策略中的一种或者多种；其中，图像模糊策略包括基于二维正态分布函数的高斯模糊子策略和基于点扩散函数的运动模糊子策略。
其中，样本对象包括分布在原始样本图像中的人脸，且降质样本图像中包含人脸；
标记样本获取模块，包括：
关键点检测策略获取单元，用于获取降质样本图像对应的关键点检测策略；
对象关键点确定单元，用于通过关键点检测策略在降质样本图像中确定人脸对应的内部关键点和人脸对应的轮廓关键点，将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且在降质样本图像中确定对象关键点的样本位置信息；
待处理区域确定单元，用于构建与降质样本图像具有相同图像尺寸的辅助图像，将辅助图像对应的像素区域作为待处理图像区域，在待处理图像区域中将与样本位置信息具有相同坐标位置的像素点确定为第一像素点，并在待处理图像区域中将除第一像素点之外的像素点确定为第二像素点；
标记样本图像确定单元，用于将第一像素点的像素值标记为第一像素值，并将第二像素点的像素值标记为第二像素值，将标记有第一像素值和第二像素值的辅助图像确定为与样本对象相关联的二值标记样本图像。
其中，对象关键点确定单元包括：
定位框获取子单元，用于通过关键点检测策略所指示的第一网络，获取降质样本图像中的人脸对应的人脸定位框；人脸定位框包括人脸对应的内部边界框和人脸对应的轮廓边界框；
初始定位子单元，用于通过关键点检测策略所指示的第二网络，对位于内部边界框中的内部关键点进行定位，定位得到内部关键点的初始位置信息，并通过第二网络对位于轮廓边界框中的轮廓关键点进行定位，定位得到轮廓关键点的初始位置信息；
器官定位子单元，用于将内部关键点的初始位置信息输入关键点检测策略所指示的第三网络，由第三网络定位输出内部关键点所属的面部器官，且在面部器官中确定内部关键点的待处理位置信息；
关键位置输出子单元，用于将内部关键点的待处理位置信息输入关键点检测策略所指示的第四网络，由第四网络对内部关键点所属的面部器官进行旋转处理，在旋转处理后的面部器官中输出内部关键点的关键位置信息；
样本位置确定子单元，用于将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且基于内部关键点的关键位置信息和轮廓关键点的初始位置信息，确定对象关键点在降质样本图像中的样本位置信息。
其中，修复样本确定模块包括：
初始网络获取单元，用于获取用于对降质样本图像进行图像修复的初始网络模型；初始网络模型包含下采样层、残差层和上采样层；
合并样本确定单元，用于在将降质样本图像与二值标记样本图像输入初始网络模型时，将降质样本图像对应的三通道数据和二值标记样本图像对应的单通道数据进行通道合并，得到与降质样本图像相关联的合并样本图像；合并样本图像的合并通道数据是由三通道数据和单通道数据所构成的；合并样本图像的图像尺寸与降质样本图像的图像尺寸保持一致；
下采样处理单元，用于将合并样本图像输入至下采样层，由下采样层对合并样本图像进行下采样处理，得到合并样本图像对应的下采样特征图；下采样特征图的图像尺寸为合并样本图像的图像尺寸的(1/2)2N倍；N为正整数，且N为下采样层所包含的下采样卷积层的数量；
残差处理单元，用于将下采样特征图输入残差层，由残差层提取下采样特征图的残差特征，基于下采样特征图中的下采样特征和残差特征，确定残差层对应的深度残差特征图；深度残差特征图的图像尺寸与下采样特征图的图像尺寸保持一致；
上采样处理单元，用于将深度残差特征图输入上采样层，由上采样层对深度残差特征图进行上采样处理，得到深度残差特征图对应的上采样特征图，基于上采样特征图确定降质样本图像对应的修复样本图像；上采样特征图的图像尺寸为深度残差特征图的图像尺寸的(2)2M倍；M为上采样层所包含的上采样卷积层的数量，且M为等于N的正整数；上采样特征图的图像特征是由上采样卷积层所采集的上采样特征与对应下采样卷积层所采集到的下采样特征所确定的。
其中，若N=3，则下采样层中的下采样卷积层包括第一下采样卷积层、第二下采样卷积层和第三下采样卷积层；合并样本图像的图像尺寸为W*H，且合并样本图像的通道数据为C；其中，W为合并样本图像的宽，H为合并样本图像的高，C=4；
下采样处理单元包括：
第一下采样子单元，用于将合并样本图像输入第一下采样卷积层，通过第一下采样卷积层将合并样本图像的宽和高均缩减1/2倍，得到合并样本图像对应的第一下采样图像，将在第一下采样图像中所提取到的通道数为S的下采样卷积特征作为第一下采样特征；第一下采样图像的图像尺寸为W/2*H/2；S为正整数；
第二下采样子单元，用于基于第一下采样特征和第一下采样图像，确定合并样本图像对应的第一下采样特征图，将第一下采样特征图输入第二下采样卷积层，通过第二下采样卷积层将第一下采样图像的宽和高均缩减1/2倍，得到第一下采样图像对应的第二下采样图像，将在第二下采样图像中所提取到的通道数为2S的下采样卷积特征作为第二下采样特征；第二下采样图像的图像尺寸为W/4*H/4；
第三下采样子单元，用于基于第二下采样特征和第二下采样图像，确定第一下采样特征图对应的第二下采样特征图，将第二下采样特征图输入第三下采样卷积层，通过第三下采样卷积层将第二下采样图像的宽和高均缩减1/2倍，得到第二下采样图像对应的第三下采样图像，将在第三下采样图像中所提取到的通道数为4S的下采样卷积特征作为第三下采样特征；第三下采样图像的图像尺寸为W/8*H/8；
下采样确定子单元，用于基于第三下采样特征和第三下采样图像，确定第二下采样特征图对应的第三下采样特征图，将第三下采样特征图作为合并样本图像对应的下采样特征图。
其中，上采样层中的上采集卷积层包括第一上采样卷积层、第二上采样卷积层和第三上采样卷积层；
上采样处理单元包括：
第一上采样子单元，用于将深度残差特征图输入第一上采样卷积层，通过第一上采样卷积层将深度残差特征图的宽和高均增大2倍，得到深度残差特征图对应的第一上采样图像，将在第一上采样图像中所提取到的通道数为2S的上采样卷积特征作为第一上采样特征；第一上采样图像的图像尺寸为W/4*H/4；S为正整数；
第二上采样子单元，用于将通道数为2S的第一上采样特征和通道数为2S的第二下采样特征进行特征拼接，得到与第一上采样图像具有相同图像尺寸的第一特征拼接图，将第一特征拼接图输入第二上采样卷积层，通过第二上采样卷积层将第一特征拼接图的宽和高均放增大2倍，得到第一特征拼接图对应的第二上采样图像，将在第二上采样图像中所提取到的通道数为S的上采样卷积特征作为第二上采样特征；第二上采样图像的图像尺寸为W/2*H/2；
第三上采样子单元，用于将通道数为S的第二上采样特征和通道数为S的第一下采样特征进行特征拼接，得到与第二上采样图像具有相同图像尺寸的第二特征拼接图，将第二特征拼接图输入第三上采样卷积层，通过第三上采样卷积层将第二特征拼接图的宽和高均放增大2倍，得到第二特征拼接图对应的第三上采样图像，将在第三上采样图像中所提取到的通道数为3的上采样卷积特征作为第三上采样特征；第三上采样图像的图像尺寸为W*H；
修复样本输出子单元，用于基于第三上采样特征和第三上采样图像，得到深度残差特征图对应的上采样特征图，将上采样特征图作为初始网络模型输出的降质样本图像对应的修复样本图像。
其中，模型训练模块包括：
第一损失确定单元，用于确定修复样本图像和原始样本图像之间的内容相似度，将内容相似度作为初始网络模型对应的第一损失函数；
第二损失确定单元，用于将修复样本图像和原始样本图像输入与初始网络模型级联的判决器网络，由判决器网络判定修复样本图像为原始样本图像的概率，基于判决器网络所判定的概率确定修复样本图像的真实度，将真实度作为初始网络模型对应的第二损失函数；
模型损失确定单元，用于基于第一损失函数和第二损失函数，确定初始网络模型的模型损失函数；
模型参数调整单元，用于基于模型损失函数对初始网络模型的模型参数进行调整，将调整模型参数后的初始网络模型作为过渡网络模型，对过渡网络模型进行迭代训练，得到模型训练结果；
目标模型确定单元，用于若模型训练结果指示迭代训练后的过渡网络模型满足模型收敛条件，则将满足模型收敛条件的过渡网络模型确定为用于对目标图像进行图像修复的目标网络模型。
其中，模型损失确定单元包括：
权重获取子单元，用于获取第一损失函数对应的第一权重，并获取第二损失函数对应的第二权重；
乘积获取子单元，用于将第一损失函数与第一权重之间的乘积作为第一乘积，将第二损失函数与第二权重之间的乘积作为第二乘积；
模型损失确定子单元，用于将第一乘积与第二乘积之和作为初始网络模型的模型损失函数。
本申请实施例一方面提供了一种图像修复方法，方法包括：
将与目标对象相关联的待修复图像作为目标图像，获取用于对目标图像进行图像修复的目标网络模型；目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；修复样本图像是由初始网络模型根据降质样本图像和与降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；降质样本图像是对原始样本图像进行降质处理后所得到的；二值标记样本图像是由在降质样本图像中所获取到的样本对象的对象关键点所确定的；
在目标图像中获取目标对象对应的目标关键点，确定目标关键点在目标图像中的目标位置信息，在构建得到与目标图像具有相同图像尺寸的待标记图像区域时，基于目标位置信息对待标记图像区域进行标记处理，得到与目标对象相关联的二值标记目标图像；
将目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过目标网络模型对合并目标图像进行图像特征提取，基于提取到的图像特征对目标图像进行图像修复，得到目标图像对应的修复图像；修复图像的图像质量高于目标图像的图像质量。
本申请实施例一方面提供了一种图像修复装置，装置包括：
目标网络获取模块，用于将与目标对象相关联的待修复图像作为目标图像，获取用于对目标图像进行图像修复的目标网络模型；目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；修复样本图像是由初始网络模型根据降质样本图像和与降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；降质样本图像是对原始样本图像进行降质处理后所得到的；二值标记样本图像是由在降质样本图像中所获取到的样本对象的对象关键点所确定的；
二值标记模块，用于在目标图像中获取目标对象对应的目标关键点，确定目标关键点在目标图像中的目标位置信息，在构建得到与目标图像具有相同图像尺寸的待标记图像区域时，基于目标位置信息对待标记图像区域进行标记处理，得到与目标对象相关联的二值标记目标图像；
修复图像输出模块，用于将目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过目标网络模型对合并目标图像进行图像特征提取，基于提取到的图像特征对目标图像进行图像修复，得到目标图像对应的修复图像；修复图像的图像质量高于目标图像的图像质量。
本申请实施例一方面提供了一种计算机设备，计算机设备包括：处理器和存储器；
处理器与存储器相连，其中，存储器用于存储计算机程序，处理器用于调用计算机程序，以使得计算机设备执行本申请实施例任一方面中的方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序适于由处理器加载并执行，以使得具有处理器的计算机设备执行本申请实施例任一方面中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例任一方面中的方法。
本申请实施例在获取到与样本对象相关联的原始样本图像（例如，包含人脸的高清图像）时，可以对原始样本图像进行降质处理，以得到与样本对象相关联的降质样本图像。应当理解，本申请实施例中的样本对象可以为任意一个需要进行针对性修复的对象，例如，这里的对象不仅可以为需要修复的人的人脸，还可以为需要进行修复的物件等，这里将不对其进行限定；此外，应当理解，这里的降质样本图像的图像质量低于原始样本图像的图像质量；进一步的，计算机设备还可以在降质样本图像中获取样本对象对应的对象关键点，并可以进一步确定对象关键点在降质样本图像中的样本位置信息，进一步的，计算机设备还可以在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；进一步的，计算机设备还可以将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；进一步的，计算机设备还可以基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。由此可见，计算机设备在获取到二值标记样本图像时，可以将该二值标记样本图像与待进行修复的降质样本图像一并输入到初始网络模型，进而可以在模型训练阶段输出该降质样本图像对应的修复样本图像。应当理解，在本申请实施例该计算机设备可以基于修复得到的修复样本图像和原始获取到的原始样本图像，对该初始网络模型进行迭代训练，进而可以将迭代训练后满足模型收敛条件的初始网络模型确定为后续能够对目标图像进行图像修复的目标网络模型。换言之，本申请实施例通过对初始网络模型进行模型训练，可以得到具备较强图像修复功能的目标网络模型，这样，当计算机设备使用目标网络模型对当前获取到的任意来源的目标图像（即待修复图像）进行图像修复时，不仅可以提升图像修复的质量，还可以提升图像修复的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图；
图2是本申请实施例提供的一种通过目标网络模型对待修复图像进行图像修复的场景示意图；
图3是本申请实施例提供的一种图像修复方法的流程示意图；
图4是本申请实施例提供的一种对原始样本图像进行降质处理的场景示意图；
图5是本申请实施例提供的一种在降质样本图像中确定对象关键点的样本位置信息的场景示意图；
图6是本申请实施例提供的一种网络模型的场景示意图；
图7是本申请实施例提供的一种图像修复方法的示意图；
图8是本申请实施例提供的一种图像修复装置的结构示意图；
图9是本申请实施例提供的一种图像修复装置的结构示意图；
图10是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案属于人工智能领域下的机器学习((Machine Learning，ML)。可以理解的是，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
请参见图1，图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示，该网络架构适用于图像修复系统，该图像修复系统可以包括业务服务器2000和用户终端集群，其中，用户终端集群可以包括一个或者多个用户终端，这里将不对用户终端的数量进行限定，如图1所示，多个用户终端具体可以包括用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n；如图1所示，用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n可以分别与业务服务器2000进行网络连接，以便于每个用户终端可以通过该网络连接与业务服务器2000之间进行数据交互。
其中，如图1所示的业务服务器2000可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，这里将不对其进行限定。此外，上述的服务器可以是区块链上节点，或者所涉及的图像处理数据可储存于区块链上。
为便于理解，本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端，该目标用户终端可以包括：智能手机、平板电脑、桌上型电脑等携带图像数据处理功能（例如，视频数据加载功能、视频数据播放功能等）的智能终端。例如，本申请实施例可以将图1所示的用户终端3000a作为目标用户终端，该目标用户终端中可以集成有具备该图像数据处理功能的目标应用。应当理解，集成在该目标用户终端中目标应用可以统称为应用客户端。其中，应用客户端可以包括社交应用、多媒体应用（例如，视频播放应用）、娱乐应用（例如，游戏应用）、虚拟房间应用（例如，直播应用）等具有帧序列（例如，帧动画序列）加载和播放功能的应用。在该目标用户终端中所加载和播放的帧动画序列（也可以称之为图像序列）可以包含一个或者多个图像帧。
其中，可以理解的是，在该目标用户终端中所播放的帧动画序列中的这些图像帧可以为对待修复图像进行图像修复后所得到的修复图像。其中，这里的待修复图像可以为目标用户终端所获取到的一些存在噪声图像帧和/或一些比较模糊的图像帧，比如，这里的待修复图像可以为目标用户终端通过网络从前述业务服务器2000上所加载的一些待进行图像修复的电影或者视频（例如，一些年代比较久远的老片）中的图像帧。本申请实施例可以将这些待进行图像修复的电影或者视频中的图像帧所构成的图像序列统称为待修复图像序列，并在这些待修复图像序列中将当前需要进行修复的某个待修复图像统称为目标图像，以便于后续可以通过训练好的网络模型（即目标网络模型）来对该目标图像进行图像修复。
比如，目标用户终端可以在获取到待修复图像序列中的目标图像时，进一步获取目标图像中的目标对象（例如，人脸）的目标关键点（例如，人脸关键点），并可以进一步确定目标关键点在目标图像中的目标位置信息，进而可以基于目标位置信息对当前所构建的与目标图像具有相同图像尺寸的待标记图像区域进行标记处理，以得到与目标对象（例如，人脸）相关联的二值标记目标图像。此时，目标用户终端可以通过已经训练好的目标网络模型对该目标图像和二值标记目标图像进行图像合并，进而可以对合并目标图像进行图像特征提取，以便于可以根据提取到的图像特征对前述目标对象进行图像修复，以得到该目标对象对应的修复图像。需要注意的是，在本申请实施例中，通过该目标网络模型所输出的修复图像的图像质量高于输入该目标网络模型的目标图像的图像质量。基于此，该目标用户终端可以在上述目标应用中加载并播放这些由目标网络模型所修复完成的修复图像构成的修复图像序列，进而可以向使用该目标用户终端的用户呈现出对整张目标图像进行图像修复后的修复图像，并可以在修复图像中实现对人脸关键点所在区域的针对性修复，从而可以在提升图像修复质量的同时，一并提升图像修复的准确度。
其中，可以理解的是，目标图像中可以包含一个或者多个具有运动状态的目标对象，例如，人、物等运动对象，这里将不对目标对象的具体类型进行限定。其中，具体的，这些具有运动状态的目标对象可以包含但不限于游戏应用中的游戏角色、直播应用中的主播以及视频播放应用中由公众人物所扮演的影视角色等。
可以理解的是，本申请实施例在通过上述目标网络模型对上述包含目标对象的目标图像进行图像修复之后，可以得到该目标图像对应的修复图像。其中，可以理解的是，本申请实施例所涉及的目标网络模型可以集成并运行在目标用户终端中，这样，上述目标用户终端可以在获取到目标图像以及与该目标图像相关联的二值标记目标图像的情况下，则可以使用该目标网络模型对目标图像进行图像修复。
可选的，本申请所涉及的目标网络模型可以集成并运行在业务服务器2000中，这样，上述业务服务器2000可以在获取到目标图像以及与该目标图像相关联的二值标记目标图像的情况下，则可以使用该目标网络模型对目标图像进行图像修复。这样，当目标用户终端向该业务服务器2000发送针对用户所请求播放的上述电影或者视频的待修复视频序列的图像修复指令时，则可以在该业务服务器2000中进行图像修复，进而可以将目前修复完成的电影或者视频的修复图像序列返回给目标用户终端进行播放，以使目标用户终端可以通过目标应用呈现出具有清晰轮廓的目标对象的修复图像。
为便于理解，本申请实施例以当前训练好的目标网络模型集成运行在业务服务器中为例，以阐述在该业务服务器中对目标图像进行图像修复的具体过程。进一步的，请参见图2，图2是本申请实施例提供的一种通过目标网络模型对待修复图像进行图像修复的场景示意图。其中，本申请实施例所示的用户终端10a为上述目标用户终端，当某个用户通过该用户终端10a在观看视频A的过程中，该用户终端10a可以接收用户针对该视频A触发的图像修复指令，进而可以向图2所示的服务器20a（即上述业务服务器2000a）发送针对该视频A的图像修复指令。此时，该服务器20a可以基于该图像修复指令获取该视频A的视频序列，并将该视频A的视频序列统称为上述待修复图像序列。应当理解，该服务器20a可以进一步将该待修复图像序列中的每个图像帧（也可以称之为视频帧）统称为上述待修复图像，在这些待修复图像中，该服务器20可以将当前需要进行图像修复的待修复图像作为该视频A中的目标图像。
如图2所示，为便于理解，本申请实施例可以将图2所示的待修复图像21a作为前述目标图像，并可以将该目标图像中需要进行针对性修复的人脸统称为目标对象，进而可以在该待修复图像21a（即目标图像）中确定该目标对象对应的人脸关键点（目标关键点）的目标位置信息，进而可以在构建得到与该待修复图像21a（即目标图像）具有相同图像尺寸的待标记图像区域的情况下，在该待标记图像区域中对定位到的人脸关键点进行标记处理，以得到该待修复图像21a（即目标图像）对应的二值标记目标图像21b。
进一步的，如图2所示，服务器20a可以将该待修复图像21a和二值标记目标图像21b作为目标网络模型（注意，这里的目标网络模型为通过大量高清的原始样本图像的降低样本图像对初始网络模型进行模型训练后所得到的）的输入图像。此时，服务器20a可以将作为输入图像的待修复图像21a和二值标记目标图像21b进行图像合并，以得到合并目标图像。其中，应当理解，这里的图像合并具体是指将待修复图像21a的通道数据与该二值标记目标图像21b的通道数据进行通道合并，进而可以在模型应用阶段将进行通道合并后所得到的合并图像统称为合并目标图像。此时，该服务器20a可以进一步通过该目标网络模型中的各个网络层（例如，图2所示的下采样层2a、残差层2b以及上采样层2c）提取该合并目标图像的图像特征，进而可以基于提取到的图像特征对该待修复图像21a（即目标图像）进行图像修复，从而可以由该目标网络模型输出图2所示的修复图像21c。应当理解，该修复图像21c的图像质量高于（即优于）待修复图像21a（即目标图像）的图像质量。
应当理解，在本申请实施例中，该服务器20a不仅可以通过该目标网络模型对该待修复图像21a（即目标图像）的整张图像进行图像修复，还可以在检测到目标对象包括人脸的情况下，进一步对该待修复图像21a中的人脸进行针对性的增强修复（也可以称之为加清修复），进而可以使得修复图像21c中的人脸的清晰度高于该待修复图像21a中的人脸的清晰度。由此可见，本申请实施例可以在无需对待修复图像21a中的人脸进行局部裁剪校正等一系列操作的情况下，直接借助于二值标记目标图像21b中的人脸关键点的标记信息，对该待修复图像21a中的人脸进行精细化的图像修复，这样，不仅可以提升图像修复的质量，还可以提升图像修复的准确度。
进一步的，如图2所示，当用户终端10a接收到服务器20a返回的修复图像21c时，可以在该用户终端10a中对该修复图像21c所在的修复图像序列进行加载和播放，进而可以在该用户终端10a中提高对视频A的视频数据的播放效果，比如，用户可以在用户终端10a中观看到具有较高清晰度的修复图像21c。
应当理解，本申请实施例为提升图像修复的质量和准确度，提出了一种基于深度学习的图片修复方案，尤其针对有人脸出现的情况，可以通过训练好的目标网络模型学习到针对人脸的精细化修复方案。
比如，在模型训练阶段，本申请实施例可以预先收集到大量的高清人脸数据集，并可以将这些收集到的高清人脸数据集中的高清人脸数据统称为原始样本图像，进而可以对收集到的这些高清人脸数据（即原始样本图像）进行降质处理，以获得与各高清人脸数据对应的降质样本图像。进一步的，本申请实施例可以将在降质样本图像中所获取到的人脸（即样本对象）的（landmark）标注点信息统称为对象关键点，进而可以将获取到的对象关键点转化为与降质样本图像具有相同图像尺寸的二值标记样本图像；这样，本申请实施例可以在模型训练阶段，将降质样本图像和二值标记样本图像输入当前设计生成的对抗网络中的初始网络模型，以使该初始网络模型输出对降质样本图像进行图像修复后的修复样本图像，进一步的，本申请实施例还可以将修复样本图像和前述获取到的对应的高清人脸数据（即原始样本图像），输入到当前设计生成的对抗网络中的判决器网络（该判决器网络为级联在初始网络模型之后的已经预先训练好的网络），以使该判决器网络参与判定由该初始网络模型所输出的修复样本图像为真实世界中的原始样本图像的概率。
其中，在模型训练阶段，为便于理解，本申请实施例可以将由初始网络模型所输出的修复样本图像与原始样本图像之间的内容相似度统称为该初始网络模型的第一损失函数，并将由该判决器网络所判定的由该初始网络模型所输出的修复样本图像为真实世界中的原始样本图像的概率所反映的真实度统称为第二损失函数，进而可以基于这里的第一损失函数和第二损失函数，得到该初始网络模型的模型损失函数。可以理解的是，本申请实施例可以基于这里的模型损失函数反向调整该初始网络模型的模型参数，进而可以用上述收集到的高清人脸数据集对当前的网络模型（即调整模型参数的初始网络模型，在本申请实施例中，还可以将调整模型参数的初始网络模型统称为过渡网络模型）进行迭代训练，以将迭代训练所得到的网络模型（例如，迭代训练后的过渡网络模型）作为前述目标网络模型，以便于后续可以通过该目标网络模型智能对当前获取到的任意一帧待修复图像进行图像修复。
其中，应当理解，本申请实施例所设计生成的对抗网络可以包含当前待进行训练的初始网络模型，还可以包含当前已经训练的判决器网络。可以理解的是，通过引入判决器网络，可以更好地辅助优化初始网络模型的模型参数，进而可以在模型训练阶段，提升对初始网络模型进行模型训练的高效性和准确性。
其中，本申请实施例获取降质样本图像和二值标注样本图像、以及由初始网络模型基于二值标注样本图像对降质样本图像进行图像修复的具体实现方式可以参见如下图3至图7所对应的实施例。
进一步地，请参见图3，图3是本申请实施例提供的一种图像修复方法的流程示意图。其中，可以理解的是，本申请实施例提供的方法可以由计算机设备执行，这里的计算机设备包括但不限于用户终端（例如，上述图2所对应实施例中的用户终端10a）或业务服务器（例如，上述图2所对应实施例中的服务器20a）。为便于理解，本申请实施例以该计算机设备为业务服务器为例，以阐述在该业务服务器中对初始网络模型进行训练，得到用于对目标图像进行图像修复的目标网络模型的具体过程。如图3所示，方法至少包括以下步骤S101-步骤S104：
步骤S101，获取与样本对象相关联的原始样本图像，对原始样本图像进行降质处理，得到与样本对象相关联的降质样本图像；
其中，降质样本图像的图像质量低于原始样本图像的图像质量；
具体的，计算机设备（例如，业务服务器）可以在模型训练阶段，将与样本对象相关联的高清图像作为原始样本图像，并可以获取原始样本图像对应的图像降质策略；应当理解，这里的样本对象包括但不限于分布在原始样本图像中的人脸；分布在该原始样本图像中的人脸的数量可以为一个或者多个，这里将不对分布在该原始样本图像中的人脸的数量进行限定。可选的，这里的样本对象还可以包含分布在该原始样本图像中的其他对象（例如，发饰、服饰等），这里将不对样本对象的对象类型进行限定。进一步的，计算机设备可以基于图像降质策略对包含人脸的原始样本图像进行降质处理，并可以将降质处理后的原始样本图像作为与人脸相关联的降质样本图像。
其中，可以理解的是，本申请实施例中的原始样本图像可以为从获取到的大量的高清人脸数据集中所选取的包含高清人脸的图像帧。可以理解的是，本申请实施例所获取到的高清人脸数据集中的图像帧可以来自于同一视频，也可以来自不同视频，这里将不对这些高清人脸数据集的来源进行限定。
基于此，本申请实施例可以将这些包含高清人脸的图像帧作为后续用于辅助训练初始网络模型的原始样本图像时，这样，计算机设备在针对某些需要进行人脸修复的业务场景（例如，人脸识别场景等）下，针对性地提出了一种基于深度学习的图像修复方案。比如，在人脸识别场景下，通过该图像修复方案所指示的目标网络模型（即对前述初始网络模型进行模型训练后所得到的网络模型），可以对某些拍摄比较模糊的图像帧（即目标图像）进行图像修复，从而可以尽可能准确地还原得到包含高清人脸的修复图像。
其中，可以理解的是，本申请所涉及的图像降质策略可以包括用于对原始样本图像进行模糊处理的图像模糊策略、下采样插值策略、高斯噪声策略以及图像压缩策略中的一种或者多种；其中，图像模糊策略包括基于二维正态分布函数的高斯模糊子策略和基于点扩散函数的运动模糊子策略。
（1）图像模糊策略是指计算机设备可以对前述图像（例如，在模型训练阶段中的原始样本图像）随机进行图像模糊处理，这里的图像模糊处理是指使用以下图像模糊子策略随机进行模糊处理。例如，这里所涉及的图像模糊子策略至少包含高斯模糊子策略、运动模糊子策略、均值模糊子策略、中值模糊子策略中的一种或者多种。
其中，高斯模糊子策略本质上是使用一种图像模糊滤波器对图像进行数据平滑处理。该图像模糊滤波器具体是指可以用正态分布（即正态分布函数）来计算图像中每个像素的变换。其中，N维空间正态分布方程如下：
Figure 676251DEST_PATH_IMAGE001
公式（1）；
其中，如上述公式（1）所示，r是模糊半径，σ是正态分布的标准偏差。基于此，对于分布在二维空间的原始样本图像而言，基于上述公式（1）所演变得到的二维空间正态分布方程（即二维正态分布函数）如下：
Figure 858970DEST_PATH_IMAGE002
公式（2）；
其中，如上述公式（2）所示，u和v表示该二维空间中的单位双向量，例如，可以通过u和v表示位于该二维空间中的原始样本图像的某个像素点（例如，中心像素点）的像素坐标。所以，由这个公式（2）所生成的曲面的等高线是从中心（即中心像素点）开始呈正态分布的同心圆。通过将由这些同心圆所确定的分布不为零的像素点组成的卷积矩阵与原始图像做卷积变换，可以确定每个像素点（即每个中心像素点）的像素值都是由周围相邻像素点的像素值的加权平均所得到的。其中，对于中心像素点所对应的原始像素值而言，具有最大的高斯分布值，所以在卷积矩阵中有最大的权重，且对于在模糊半径内与中心像素点相邻的其他像素点的像素值而言，会随着距离原始像素值越来越远，其对应的卷积矩阵中的权重也越来越小。
应当理解，在通过基于二维正态分布函数的高斯模糊子策略进行高斯模糊处理的过程中，高斯核大小的选取，会影响模糊程度。比如，高斯核选取的越大，则导致模糊程度越大。发明人在实践中发现，对于二维空间中的每张图而言，在进行高斯模糊时，高斯核大小可以在【3-15】的高斯核大小范围中的奇数中随机取值；这里之所以选取的是奇数，是因为高斯核的大小取决于一个以模糊半径为r的中心像素点。例如，若模糊半径为2，则高斯核则可以为一个的5×5大小的矩阵。又比如，若模糊半径为1，则高斯核则可以为一个的3×3大小的矩阵。以此类推，若模糊半径为r，则高斯核则可以为一个的(r2+1)×(r2+1)大小的矩阵。
其中，基于点扩散函数的运动模糊子策略是静态场景或一系列的图片，像电影或是动画中快速移动的物体造成明显的模糊拖动痕迹。为便于理解，本申请实施例假设有一清晰平面图片y(x)，这里的x为该清晰平面图片y(x)（例如，上述原始样本图像）中的像素点。本申请实施例可以通过点扩展函数PSF(Point Spread Function)，比如，psf(x)，可以对该清晰平面图片y(x)（例如，上述原始样本图像）进行模糊处理，以得到模糊处理后的图片(y*psf) (x)。其中，psf(x)为前述点扩散函数PSF(Point Spread Function)，*表示进行卷积（convolution）。假设此卷积为离散且有噪声，则观察到的图片可表示成：
Figure 169866DEST_PATH_IMAGE003
公式（3）；
其中，ε(x)为噪声，x为该清晰平面图片y(x)中的像素点。这些像素点整齐分布在的n1*n2格子X中，其中，X={ k1，k2：k1=1，2，…，n1，k2=1，2，…，n2}。其中，在二维空间中，该清晰平面图片y(x)的宽度可以为n1，该清晰平面图片y(x)的高度可以为n2；其中，若点扩散函数PSF(Point Spread Function)属于最简单的动态模糊模型，则该最简单的动态模糊模型可用直线型点扩散函数以离散卷积形式表示如下：
Figure 96234DEST_PATH_IMAGE004
公式（4）；
如公式（4）所示，若
Figure 176185DEST_PATH_IMAGE005
，则
Figure 529806DEST_PATH_IMAGE006
；反之，则
Figure 62419DEST_PATH_IMAGE007
。其中，L为卷积核的长度，这里的长度是由运动速率决定的；其中，tanβ为斜 率，这里的斜率则是由运动方向所决定的。此模型假设图片中的所有像素的移动皆相同。则 经过实验，每张图在进行运动模糊时，L在【1-20】的卷积核长度范围中取值，运动方向则可 以在【0-90】度的运动方向范围中随机选取。
（2）下采样插值策略（即下采样再插值放大策略）主要是指先对图像进行下采样，该下采样的程度（比如，下采样的次数）可以在【2-5】的下采样范围中随机选取，进而可以在下采样后，再对图像进行放大，以放大到原来的尺寸。注意，在该下采样插值策略中，放大的方法可以随机选取以下三种：双线性插值方法，双三次插值方法以及最近邻插值方法。
（3）高斯噪声策略是指可以在进行降质处理后的图像中加入高斯噪声，且加入的高斯噪声的噪声均值可以在【1-20】的噪声范围中随机选取。
（4）图像压缩策略（例如，Jpeg压缩策略）是指可以最终将图像保存为jpeg格式，需要注意的是，需要设定jpeg压缩质量参数可以在【40-70】的压缩质量范围中随机选取。
为便于理解，进一步的，请参见图4，图4是本申请实施例提供的一种对原始样本图像进行降质处理的场景示意图。如图4所示，计算机设备可以在获取到大量的高清人脸数据集（如图4所示，这里的高清人脸数据集可以包含图像帧4a、图像帧4b、…图像帧4c和图像帧4d）的情况下，进一步在这些高清人脸数据集中选取包含高清人脸的图像帧（例如，图4所示的图像帧4a）作为原始样本图像，以得到图4所示的原始样本图像41a。此时，计算机设备可以随机采用上述4种图像降质策略中的一种或者多种，对该原始样本图像41a进行降质处理，以得到图4所示的降质样本图像41b。如图4所示，该降质处理前的原始样本图像41a的图像质量（例如，图像清晰度）优于降质处理后的降质样本图像41b的图像质量（例如，图像清晰度）。此时，计算机设备可以在得到降质样本图像的情况下，进一步执行下述步骤S102，以基于该降质样本图像中所检测的对象关键点，构建得到与该降质样本图像具有相同图像尺寸的二值标记样本图像。
步骤S102，在降质样本图像中获取样本对象对应的对象关键点，确定对象关键点在降质样本图像中的样本位置信息，在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；
具体的，计算机设备可以在样本对象包括分布在原始样本图像中的人脸，且降质样本图像中包含人脸的情况下，获取降质样本图像对应的关键点检测策略（例如，人脸关键点检测策略）；进一步的，计算机设备可以通过关键点检测策略（例如，人脸关键点检测策略）在降质样本图像中确定人脸对应的内部关键点和人脸对应的轮廓关键点，进而可以将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且在降质样本图像中确定对象关键点的样本位置信息；进一步的，计算机设备可以构建与降质样本图像具有相同图像尺寸的辅助图像，进而可以将辅助图像对应的像素区域作为待处理图像区域，以在待处理图像区域中将与样本位置信息具有相同坐标位置的像素点确定为第一像素点，并在待处理图像区域中将除第一像素点之外的像素点确定为第二像素点；进一步的，计算机设备可以将第一像素点的像素值标记为第一像素值，并将第二像素点的像素值标记为第二像素值，将标记有第一像素值和第二像素值的辅助图像确定为与样本对象相关联的二值标记样本图像。
为便于理解，进一步的，请参见图5，图5是本申请实施例提供的一种在降质样本图像中确定对象关键点的样本位置信息的场景示意图。其中，如图5所示的图像帧51a即为降质样本图像，比如，该降质样本图像可以为上述图4所对应实施例中的降质样本图像41b。此时，计算机设备可以获取针对该降质样本图像的关键点检测策略，通过该关键点检测策略可以对该降质样本图像（即图5所示的图像帧51a）中的人脸标注点（也可以称之为需要进行标注的人脸关键点）进行检测，进而可以将检测到的人脸关键点大致划分为内部关键点和轮廓关键点。注意，在包含人脸的降质样本图像中，检测到的内部关键点和轮廓关键点的数量之和可以为68个，即通过上述关键点检测策略，可以在降质样本图像（即图5的图像帧51a）中获取到共68个关键点，本申请实施例可以在模型训练阶段将获取到的这68个关键点统称为样本对象的对象关键点。
具体的，如图5所示，计算机设备可以通过关键点检测策略所指示的第一网络（例如，图5所示的网络5a），获取降质样本图像（即图5的图像帧51a）中的人脸对应的人脸定位框；如图5所示，这里的人脸定位框大致可以包括呈现在图5所示的图像帧52a中的内部边界框和呈现在图5所示的图像帧52b中的轮廓边界框。换言之，本申请实施例通过该网络5a所获取到的人脸定位框可以包括人脸对应的内部边界框和人脸对应的轮廓边界框。
应当理解，如图5所示，计算机设备可以按照关键点检测策略执行以下4个级别的处理层次。比如，图5所示的网络5a（即分布在第一处理层次的第一网络）所起到的第一级别作用，是为了快速获得面部的边界框（即上述人脸定位框），进而可以基于人脸定位框的类别将其划分为图5所示的内部边界框（也可以称之为面内边界框）和轮廓边界框。又比如，图5所示的网络5b所起到的第二级别作用，是为了输出分布在内部边界框中的51个内部标注点的预测位置和输出分布在外部边界框中的17个轮廓标注点的预测位置，进而可以通过该网络5b（即分布在第二处理层次的第二网络）进行粗定位，为便于理解，本申请实施例可以将通过网络5b所初步定为到的各个对象关键点（即前述内部标注点和轮廓标注点）的位置信息统称为初始位置信息，进而可以将内部标注点的初始位置信息给图5所示的网络5c（即分布在第三处理层次的第三网络），以通过该网络5c启动第三级别的处理层次；比如，该网络5c所起到的第三级别作用，是指计算机设备可以根据不同内部标注点所属的器官进行从粗到细的定位，进而可以在定位到的器官中进一步得到这些内部标注点的待处理位置信息。最后，网络5d（即分布在第四处理层次的第四网络）所起到的第四级别作用，是为了将通过网络5c进行第三级别处理后所输出的51个内部标注点进行旋转，进而可以最终将有旋转后的51个内部标注点和前述17个轮廓标注点，输出显示在图5所示的图像帧54a上，即本申请实施例可以在该图像帧54a上输出68个标注点。应当理解，为便于进行区别，这里引入图5所示的图像帧51a、图像帧52a、图像帧52b、图像帧53a、图像帧53b以及图像帧54a，这些图像帧均为不同时刻下的降质样本图像。
具体的，如图5所示，计算机设备可以通过该关键点检测策略所指示的第二网络（例如，图5所示的网络51b），对位于图5所示的内部边界框中的内部关键点进行定位，以粗略定位得到内部关键点（即前述内部标注点）的初始位置信息，并可以通过第二网络对位于图5所示的轮廓边界框中的轮廓关键点（即前述轮廓标注点）进行定位，以粗略定位得到轮廓关键点的初始位置信息；
进一步的，计算机设备可以将内部关键点的初始位置信息输入关键点检测策略所指示的第三网络（即图5所示的网络5c），并由第三网络（即图5所示的网络5c）定位输出内部关键点所属的面部器官，例如，这里的面部器官可以包括但不限于眼睛、鼻子和嘴巴。此时，计算机设备可以在定位到的这些面部器官中确定内部关键点的待处理位置信息；进一步的，如图5所示，计算机设备可以将内部关键点的待处理位置信息输入关键点检测策略所指示的第四网络（即图5所示的网络5d），并由第四网络（即图5所示的网络5d）对内部关键点所属的面部器官进行旋转处理，以在旋转处理后的面部器官中输出内部关键点的关键位置信息；应当理解，本申请实施例所涉及的旋转处理是指将这些面部器官旋转到指定位置，例如，可以将这些面部器官配准对齐人的正脸所在的位置，以便于后续可以更好地在降质样本图像中确定出人脸关键点（即对象关键点）的样本位置信息。
其中，可以理解的是，在模型训练阶段，计算机设备可以将由网络5d所输出的内部关键点（例如，上述51个内部标注点）和由网络5b所输出的轮廓关键点（例如，上述17个轮廓标注点）统称为样本对象对应的对象关键点，进而可以基于内部关键点的关键位置信息和轮廓关键点的初始位置信息，最终确定出这些对象关键点在降质样本图像中的样本位置信息。
进一步的，可以理解的是，计算机设备可以在获得到上述68个标注点的坐标（即前述样本位置信息）后，构建一个二维的图像，该二维图像的宽和高则为前述降质样本图像的宽和高。为便于理解，本申请实施例可以将构建的与降质样本图像具有相同图像尺寸的二维图像统称为辅助图像，进而可以将该辅助图像所对应的像素区域称之为待处理图像区域。此时，计算机设备可以在根据这68个标注点的坐标，在辅助图像所对应的待处理图像区域中，将与前述标注点具有相同坐标位置的像素点作为第一像素点，并在该待处理图像区域中将该第一像素点的像素值标记为1（即上述第一像素值）。应当理解，与此同时，计算机设备还可以在待处理图像区域中将除第一像素点之外所剩余的所有像素点确定为第二像素点，并可以在辅助图像所对应的待处理图像区域中，将第二像素点的像素值标记为0（即上述第二像素值），以形成最终的人脸标注点二值图像，本申请实施例可以将在模型训练阶段所形成的人脸标注点二值图像统称为二值标记样本图像。换言之，本申请实施例可以将标记有第一像素值和第二像素值的辅助图像统称为与样本对象相关联的二值标记样本图像。
步骤S103，将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；
具体的，计算机设备可以获取用于对降质样本图像进行图像修复的初始网络模型；其中，初始网络模型包含下采样层、残差层和上采样层；进一步的，计算机设备可以在将降质样本图像与二值标记样本图像输入初始网络模型时，将降质样本图像对应的三通道数据和二值标记样本图像对应的单通道数据进行通道合并，得到与降质样本图像相关联的合并样本图像；合并样本图像的合并通道数据是由三通道数据和单通道数据所构成的；合并样本图像的图像尺寸与降质样本图像的图像尺寸保持一致；进一步的，计算机设备可以将合并样本图像输入至下采样层，由下采样层对合并样本图像进行下采样处理，得到合并样本图像对应的下采样特征图；下采样特征图的图像尺寸为合并样本图像的图像尺寸的（1/2）2N倍；N为正整数，且N为下采样层所包含的下采样卷积层的数量；进一步的，计算机设备可以将下采样特征图输入残差层，由残差层提取下采样特征图的残差特征，基于下采样特征图中的下采样特征和残差特征，确定残差层对应的深度残差特征图；深度残差特征图的图像尺寸与下采样特征图的图像尺寸保持一致；进一步的，计算机设备可以将深度残差特征图输入上采样层，由上采样层对深度残差特征图进行上采样处理，得到深度残差特征图对应的上采样特征图，基于上采样特征图确定降质样本图像对应的修复样本图像；上采样特征图的图像尺寸为深度残差特征图的图像尺寸的（2）2M倍；M为上采样层所包含的上采样卷积层的数量，且M为等于N的正整数；上采样特征图的图像特征是由上采样卷积层所采集的上采样特征与对应下采样卷积层所采集到的下采样特征所确定的。
为便于理解，进一步的，请参见图6，图6是本申请实施例提供的一种网络模型的场景示意图。其中，如图6所示的网络模型600a可以为前述初始网络模型。如图6所示，该初始网络模型（即网络模型600a）至少可以包含下采样层6a、残差层6b、以及上采样层6c。
其中，如图6所示的下采样层6a可以包含N（例如，N=3）个下采样卷积层，这3个下采样卷积层具体可以包含图6所示的下采样卷积层61a、下采样卷积层62a和下采样卷积层63a。为便于理解，本申请实施例可以将图6所示的下采样卷积层61a称之为第一下采样卷积层、并可以将下采样卷积层62a称之为第二下采样卷积层和将下采样卷积层63a称之为第三下采样卷积层；应当理解，本申请实施例将不对N的取值进行限定。
应当理解，该第一下采样卷积层（即图6所示的下采样卷积层61a）可以用于接收图像尺寸为W*H的合并样本图像，且该合并样本图像的通道数据为C。这里的C=4，即计算机设备在将上述降质样本图像与二值标记样本图像输入初始网络模型时，可以将该降质样本图像对应的三通道数据和该二值标记样本图像对应的单通道数据进行通道合并，以得到与降质样本图像相关联的合并样本图像；由此可见，这里的合并样本图像的合并通道数据是由三通道数据和单通道数据所构成的，且该合并样本图像的图像尺寸与前述降质样本图像的图像尺寸保持一致。为便于理解，这里以合并样本图像的图像尺寸为64*64为例。即此时，该合并样本图像的图像宽度W=64，图像高度H=64。
基于此，如图6所示，当将合并样本图像输入至图6所示的下采样层6a时，可以由下采样层6a中的下采样卷积层61a（即第一下采样卷积层）将合并样本图像的宽和高均缩减1/2倍，以得到合并样本图像对应的第一下采样图像，此时，计算机设备可以将在第一下采样图像中所提取到的通道数为S的下采样卷积特征作为第一下采样特征；第一下采样图像的图像尺寸为W/2*H/2（即此时，第一下采样图像的图像尺寸可以为32*32）；其中，S为正整数；比如，这里的S可以为64。应当理解，从该第一下采样图像所提取到的通道数为S的下采样卷积特征的特征维度可以即为S维，一个通道数用于表示一个特征维度。
进一步的，如图6所示，计算机设备可以基于第一下采样特征和第一下采样图像，确定合并样本图像对应的第一下采样特征图，进而可以将第一下采样特征图输入图6所示的下采样卷积层62a（即前述第二下采样卷积层）。此时，计算机设备可以通过该下采样卷积层62a（即前述第二下采样卷积层）进一步将前述第一下采样图像的宽和高均缩减1/2倍，以得到第一下采样图像对应的第二下采样图像，进而可以将在第二下采样图像中所提取到的通道数为2S（例如，128）的下采样卷积特征作为第二下采样特征；第二下采样图像的图像尺寸为W/4*H/4（即此时，该第二下采样图像的图像尺寸为16*16）；应当理解，此时，该第二下采样特征的特征维度可以为128维。
进一步的，如图6所示，计算机设备可以基于第二下采样特征和第二下采样图像，确定第一下采样特征图对应的第二下采样特征图，进而可以将第二下采样特征图输入图6所示的下采样卷积层63a（即前述第三下采样卷积层），以通过该下采样卷积层63a（即前述第三下采样卷积层）更进一步将第二下采样图像的宽和高均缩减1/2倍，得到第二下采样图像对应的第三下采样图像。此时，计算机设备可以将在第三下采样图像中所提取到的通道数为4S（例如，256）的下采样卷积特征作为第三下采样特征；第三下采样图像的图像尺寸为W/8*H/8（即此时，第三下采样图像的图像尺寸为8*8）；应当理解，此时，该第三下采样特征的特征维度可以为128维。
应当理解，本申请实施例通过对该合并样本图像进行多次的下采样处理，旨在可以从缩放处理后的下采样图像中提取到更为丰富的图像特征。所以，计算机设备可以基于第三下采样特征和第三下采样图像，快速确定第二下采样特征图对应的第三下采样特征图，进而可以将第三下采样特征图作为合并样本图像对应的下采样特征图，以给到图6的残差层6b。
其中，可以理解的是，如图6所示，计算机设备可以将该由下采样层6a所输出的下采样特征度输入子图6的残差层6b，以通过该残差层中的多个残差块（例如，图6所示的残差块个数为5）提取更高维度的图像特征。应当理解，本申请所涉及的残差块的个数可变，即残差块的个数可以根据实际业务需求进行增加或者减少，比如，残差块的个数越多，则提取到的更具代表性的特征的效果越好，但是最终输出深度残差特征图的效率就会越差，所以需要根据实际业务需要对残差块的个数进行权衡。
其中，如图5所示，对于残差层6b中的每个残差块而言，均可以包含两个权重层，通过这两个权重层可以帮助计算机设备从前述下采样特征图（即图6所示的x）中提取更高维度的残差特征（例如，F（x）），进而可以基于提取到的残差特征和该残差特征对应的输入特征，得到该残差层6b对应的深度残差特征图。例如，对于级联在下采样卷积层63a中的残差块而言，则可以将下采样特征和残差特征进行特征拼接，以将当前拼接得到的拼接特征作为第一残差拼接特征。同理，对于第二个残差块而言，则可以将由第一个残差块所输出的第一残差拼接特征作为新的x，进而可以通过两个权重层从该第一残差拼接特征对应的特征图中提取更高维度的残差特征（例如，新的F（x）），进而可以基于新提取到的残差特征和该残差特征对应的输入特征（即前述新的x），得到新的拼接特征（例如，第二残差拼接特征）。可以理解的是，本申请实施例可以将第一残差块所拼接输出的残差特征称之为第一残差拼接特征，并可以将第二残差块所拼接输出的残差特征称之为第二残差拼接特征。以此类推，计算机设备可以将第五残差块所拼接输出的残差特征称之为第五残差拼接特征，并可以将该第五残差拼接特征所对应的特征图称之为该残差层6b所对应的深度残差特征图。应当理解，这里的深度残差特征图的图像尺寸与前述下采样特征图的图像尺寸保持一致。
其中，如图6所示的上采样层6c可以包含M（例如，M=N=3）个上采样卷积层，这3个上采样卷积层具体可以包含图6所示的上采样卷积层61c、上采样卷积层62c和上采样卷积层63c。为便于理解，本申请实施例可以将上采样卷积层61c称之为第一上采样卷积层、并可以将上采样卷积层62c称之为第二上采样卷积层和将上采样卷积层63c称之为第三上采样卷积层。
如图6所示，计算机设备可以将深度残差特征图输入图6所示的上采样卷积层61c（即前述第一上采样卷积层），并通过该上采样卷积层61c（即前述第一上采样卷积层）将深度残差特征图的宽和高均增大2倍，以得到深度残差特征图对应的第一上采样图像。此时，计算机设备可以将在第一上采样图像中所提取到的通道数为2S（即128）的上采样卷积特征作为第一上采样特征；第一上采样图像的图像尺寸为W/4*H/4（此时，该第一上采样图像的图像尺寸可以为16*16）；S为正整数。
进一步的，如图6所示，计算机设备可以将通道数为2S（即128）的第一上采样特征和通道数为2S（即128）的第二下采样特征进行特征拼接，以得到与第一上采样图像具有相同图像尺寸的第一特征拼接图，并可以将第一特征拼接图输入图6所示的上采样卷积层62c（即前述第二上采样卷积层），并可以通过该上采样卷积层62c（即前述第二上采样卷积层）将第一特征拼接图的宽和高均放增大2倍，以得到第一特征拼接图对应的第二上采样图像。此时，计算机设备可以将在第二上采样图像中所提取到的通道数为S（即64）的上采样卷积特征作为第二上采样特征；第二上采样图像的图像尺寸为W/2*H/2（此时，该第二上采样图像的图像尺寸可以为32*32）；
进一步的，计算机设备可以将通道数为S（即64）的第二上采样特征和通道数为S（即64）的第一下采样特征进行特征拼接，以得到与第二上采样图像具有相同图像尺寸的第二特征拼接图，进而可以将第二特征拼接图输入图6所示的上采样卷积层63c（即前述第三上采样卷积层），并可以通过该上采样卷积层63c（即前述第三上采样卷积层）将第二特征拼接图的宽和高均放增大2倍，以得到第二特征拼接图对应的第三上采样图像。此时，计算机设备可以将在第三上采样图像中所提取到的通道数为3的上采样卷积特征作为第三上采样特征；第三上采样图像的图像尺寸为W*H（此时，该第三上采样图像的图像尺寸可以为64*64）。比如，第三上采样图像的3个通道的通道数据具体可以为RGB颜色空间下的各个颜色通道的通道数据，这里将不对其进行限定。
基于此，计算机设备可以基于第三上采样特征和第三上采样图像，得到深度残差特征图对应的上采样特征图，进而可以将上采样特征图作为初始网络模型输出的降质样本图像对应的修复样本图像。应当理解，在本申请实施例中，该上采样层6c的最后一层即可以为图6所示的上采样卷积层63c，也为该初始网络模型的输出层。如果该上采样层6c的最后一层为输出层，则可以直接通过该输出层输出通道数为3的修复样本图像，该修复样本图像的图像尺寸与前述降质样本图像的图像尺寸保持一致。
可选的，在一些其他场景实施例中，该初始网络模型的输出层还可以独立于该上采样层6c的最后一层。这样，计算机设备在通过该上采样层6c的最后一层得到深度残差特征图对应的上采样特征图时，则可以直接将上采样特征图给到该初始网络模型的输出层，进而可以由该输出层输出该降质样本图像对应的修复样本图像，以便于后续可以继续执行步骤S104。
步骤S104，基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
具体的，计算机设备可以确定修复样本图像和原始样本图像之间的内容相似度，进而可以将内容相似度作为初始网络模型对应的第一损失函数；进一步的，计算机设备可以将修复样本图像和原始样本图像输入与初始网络模型级联的判决器网络，由判决器网络判定修复样本图像为原始样本图像的概率，进而可以基于判决器网络所判定的概率确定修复样本图像的真实度，将真实度作为初始网络模型对应的第二损失函数；进一步的，计算机设备可以基于第一损失函数和第二损失函数，确定初始网络模型的模型损失函数；进一步的，计算机设备可以基于模型损失函数对初始网络模型的模型参数进行调整，将调整模型参数后的初始网络模型作为过渡网络模型，对过渡网络模型进行迭代训练，得到模型训练结果；进一步的，若模型训练结果指示迭代训练后的过渡网络模型满足模型收敛条件，则计算机设备可以将满足模型收敛条件的过渡网络模型确定为用于对目标图像进行图像修复的目标网络模型。
其中，可以理解的是，计算机设备获取初始网络模型的模型损失函数的具体过程可以描述为：获取第一损失函数对应的第一权重，并获取第二损失函数对应的第二权重；将第一损失函数与第一权重之间的乘积作为第一乘积，将第二损失函数与第二权重之间的乘积作为第二乘积；将第一乘积与第二乘积之和作为初始网络模型的模型损失函数。
其中，该网络损失函数L（即模型损失函数）可以通过以下公式表示：
L = L1*k1 + LGAN*k2 公式（5）；
其中，如上述公式（5）所示，k1和k2为相应的系数。比如，该公式（5）中的系数k1可以为第一损失函数（即L1）对应的第一权重。又比如，该公式（5）中的系数k2可以为第二损失函数（即LGAN）对应的第二权重。
其中，L1可以用如下公式（6）表示：
L1 = ||It-G（Is）|| 公式（6）；
如上公式（6）所示，It可以为包含高清人脸的原始样本图像，即该原始样本图像为输入初始网络模型的降质样本图像Is所对应的原始高清图像。其中，G（）表示当前需要训练的初始网络模型，G（Is）表示该初始网络模型的输出，即在模型训练阶段，该初始网络模型所输出的图像帧可以为上述修复样本图像。
此时，计算机设备可以通过该公式（6）计算得到该原始样本图像与修复样本图像之间的内容相似度，进而可以将该内容相似度作为第一损失函数（即L1）对应的第一权重。
其中，公式（5）中的LGAN为在模型训练阶段所设计生成的对抗网络的损失，该设计生成的对抗网络的损失可以通过下述公式（7）表示：
Figure 526898DEST_PATH_IMAGE008
公式（7）；
其中，如上述公式（7）所示，D表示在设计生成的对抗网络中的已经预训练得到的判决器网络，该判决器网络的目的在于判决由该初始网络模型所输出的修复样本图像是否真实。如果是真实的，则由该判决器网络所输出的概率为1，即此时，计算机设备可以基于与初始网络模型级联的判决器网络所判定的修复样本图像为原始样本图像的概率，作为初始网络模型对应的第二损失函数。需要注意的是，该初始网络模型对应的第二损失函数即为前述LGAN。
经过实验，k1=1，k2= 0.01时效果最好，即可以达到最小模型损失函数。应当理解，计算机设备可以在确定上述迭代训练后所得到的网络模型满足模型收敛条件的情况下，将满足该模型收敛条件的网络模型作为目标网络模型，进而可以在获取到任意一帧待修复图像时，可以智能通过该目标网络模型对该待修复图像进行图像修复，以提升对该待修复图像进行图像修复时的图像质量。其中，通过该目标网络模型输出该待修复图像对应的修复图像的具体过程，可以参见上述图2所对应实施例对修复目标图像的描述，这里将不再继续进行赘述。
本申请实施例中，计算机设备在获取到与样本对象相关联的原始样本图像（例如，包含人脸的高清图像）时，可以对原始样本图像进行降质处理，以得到与样本对象相关联的降质样本图像。应当理解，本申请实施例中的样本对象可以为任意一个需要进行针对性修复的对象，例如，这里的对象不仅可以为需要修复的人的人脸，还可以为需要进行修复的物件等，这里不对其进行限定；此外，应当理解，这里的降质样本图像的图像质量低于原始样本图像的图像质量；进一步的，计算机设备还可以在降质样本图像中获取样本对象对应的对象关键点，并可以进一步确定对象关键点在降质样本图像中的样本位置信息，进一步的，计算机设备还可以在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；进一步的，计算机设备还可以将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；进一步的，计算机设备还可以基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。由此可见，计算机设备在获取到二值标记样本图像时，可以将该二值标记样本图像与待进行修复的降质样本图像一并输入到初始网络模型，进而可以在模型训练阶段输出该降质样本图像对应的修复样本图像。应当理解，在本申请实施例该计算机设备可以基于修复得到的修复样本图像和原始获取到的原始样本图像，对该初始网络模型进行迭代训练，进而可以将迭代训练后满足模型收敛条件的初始网络模型确定为后续能够对目标图像进行图像修复的目标网络模型。换言之，本申请实施例通过对初始网络模型进行模型训练，可以得到具备较强图像修复功能的目标网络模型，这样，当计算机设备使用目标网络模型对当前获取到任意来源的目标图像（即待修复图像）进行图像修复时，不仅可以提升图像修复的质量，还可以提升图像修复的准确度。
进一步地，请参见图7，图7是本申请实施例提供的一种图像修复方法的示意图。该方法可以由上述计算机设备执行，如图7所示，方法可以包含以下步骤：
步骤S201，将与样本对象相关联的高清图像作为原始样本图像，获取原始样本图像对应的图像降质策略；
其中，样本对象包括分布在原始样本图像中的人脸；
步骤S202，基于图像降质策略对包含人脸的原始样本图像进行降质处理，将降质处理后的原始样本图像作为与人脸相关联的降质样本图像。
其中，图像降质策略包括用于对原始样本图像进行模糊处理的图像模糊策略、下采样插值策略、高斯噪声策略以及图像压缩策略中的一种或者多种；其中，图像模糊策略包括基于二维正态分布函数的高斯模糊子策略和基于点扩散函数的运动模糊子策略。应当理解，步骤S201-步骤S202的具体实现方式可以参见上述图3所对应实施例中对得到降质样本图像的具体过程的描述，这里将不再继续进行赘述。
其中，样本对象包括分布在原始样本图像中的人脸，且降质样本图像中包含人脸；需要注意的是，分布在原始样本图像中的人脸的数量可以为一个或者多个，这里将不对分布在该原始样本图像中的人脸的数量进行限定。
步骤S203，获取降质样本图像对应的关键点检测策略；
步骤S204，通过关键点检测策略在降质样本图像中确定人脸对应的内部关键点和人脸对应的轮廓关键点，将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且在降质样本图像中确定对象关键点的样本位置信息；
步骤S205，构建与降质样本图像具有相同图像尺寸的辅助图像，将辅助图像对应的像素区域作为待处理图像区域，在待处理图像区域中将与样本位置信息具有相同坐标位置的像素点确定为第一像素点，并在待处理图像区域中将除第一像素点之外的像素点确定为第二像素点；
步骤S206，将第一像素点的像素值标记为第一像素值，并将第二像素点的像素值标记为第二像素值，将标记有第一像素值和第二像素值的辅助图像确定为与样本对象相关联的二值标记样本图像。
步骤S207，将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；
步骤S208，基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
步骤S209，将与目标对象相关联的待修复图像作为目标图像，获取用于对目标图像进行图像修复的目标网络模型；
其中，应当理解，这里的目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；这里的修复样本图像是由所述初始网络模型根据降质样本图像和与该降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；这里的降质样本图像是对所述原始样本图像进行降质处理后所得到的；这里的二值标记样本图像是由在所述降质样本图像中所获取到的样本对象的对象关键点所确定的。
步骤S210，在目标图像中获取目标对象对应的目标关键点，确定目标关键点在目标图像中的目标位置信息，在构建得到与目标图像具有相同图像尺寸的待标记图像区域时，基于目标位置信息对待标记图像区域进行标记处理，得到与目标对象相关联的二值标记目标图像；
步骤S211，将目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过目标网络模型对合并目标图像进行图像特征提取，基于提取到的图像特征对目标图像进行图像修复，得到目标图像对应的修复图像；
其中，修复图像的图像质量高于目标图像的图像质量。
其中，可以理解的是，待修复视频序列可以为目标用户终端所采集到的视频序列。比如，在直播场景下，该待修复视频序列还可以为直播应用中的主播用户所录制的视频序列。可选的，该待修复视频序列还可以为上述目标用户终端通过网络从视频播放应用对应的业务服务器上所下载得到的视频序列。可以理解的是，本申请实施例所描述的待修复视频序列具体可以包含上述业务服务器上所存储的通过多次压缩所得到的视频，还可以包含一些年代比较久远的视频（比如，一些年代比较久远的电影等老片）。可以理解的是，本申请实施例之所以需要对这些年代比较久远的视频中的图像帧进行图像修复，是考虑到当时用于对这些视频进行图像处理的技术不够，进而造成这些视频的存在一定的噪声，以至于会在播放这些带有噪声的视频时，呈现出视频的模糊现象，所以，通过对这些视频中的每个图像帧进行图像修复，可以尽可能地对每个图像帧的中的目标对象（即模型应用阶段中的人脸）的细节等进行针对性的修复，从而可以提高视频数据的播放效果。
在本申请实施例中，计算机设备在获取到二值标记样本图像时，可以将该二值标记样本图像与待进行修复的降质样本图像一并输入到初始网络模型，进而可以在模型训练阶段输出该降质样本图像对应的修复样本图像。应当理解，在本申请实施例该计算机设备可以基于修复得到的修复样本图像和原始获取到的原始样本图像，对该初始网络模型进行迭代训练，进而可以将迭代训练后满足模型收敛条件的初始网络模型确定为后续能够对目标图像进行图像修复的目标网络模型。换言之，本申请实施例通过对初始网络模型进行模型训练，可以得到具备较强图像修复功能的目标网络模型，这样，当计算机设备使用目标网络模型对当前获取到任意来源的目标图像（即待修复图像）进行图像修复时，不仅可以提升图像修复的质量，还可以提升图像修复的准确度。
进一步地，请参见图8，图8是本申请实施例提供的一种图像修复装置的结构示意图。该图像修复装置1可以是运行于计算机设备中的一个计算机程序（包括程序代码），例如该图像修复装置1可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。应当理解，这里的计算机设备可以为上述目标用户终端，比如，该目标用户终端可以为上述图1所对应实施例中的用户终端3000a；可选的，该计算机设备还可以为上述业务服务器2000。这里将不对运行该图像修复装置的计算机设备的设备类型进行限定。其中，进一步地，该图像修复装置1可以包括：原始样本获取模块11，标记样本获取模块12，修复样本确定模块13和模型训练模块14；
原始样本获取模块11，用于获取与样本对象相关联的原始样本图像，对原始样本图像进行降质处理，得到与样本对象相关联的降质样本图像；降质样本图像的图像质量低于原始样本图像的图像质量；
其中，原始样本获取模块11包括：降质策略获取单元111和降质图像确定单元112；
降质策略获取单元111，用于将与样本对象相关联的高清图像作为原始样本图像，获取原始样本图像对应的图像降质策略；样本对象包括分布在原始样本图像中的人脸；
降质图像确定单元112，用于基于图像降质策略对包含人脸的原始样本图像进行降质处理，将降质处理后的原始样本图像作为与人脸相关联的降质样本图像。
其中，图像降质策略包括用于对原始样本图像进行模糊处理的图像模糊策略、下采样插值策略、高斯噪声策略以及图像压缩策略中的一种或者多种；其中，图像模糊策略包括基于二维正态分布函数的高斯模糊子策略和基于点扩散函数的运动模糊子策略。
其中，降质策略获取单元111和降质图像确定单元112的具体实现方式，可以参见上述图3所对应实施例中对获取降质样本图像的具体过程的描述，这里将不再继续进行赘述。
标记样本获取模块12，用于在降质样本图像中获取样本对象对应的对象关键点，确定对象关键点在降质样本图像中的样本位置信息，在构建得到与降质样本图像具有相同图像尺寸的待处理图像区域时，基于样本位置信息对待处理图像区域进行标记处理，得到与样本对象相关联的二值标记样本图像；
其中，样本对象包括分布在原始样本图像中的人脸，且降质样本图像中包含人脸；
标记样本获取模块12包括：关键点检测策略获取单元121，对象关键点确定单元122，待处理区域确定单元123和标记样本图像确定单元124；
关键点检测策略获取单元121，用于获取降质样本图像对应的关键点检测策略；
对象关键点确定单元122，用于通过关键点检测策略在降质样本图像中确定人脸对应的内部关键点和人脸对应的轮廓关键点，将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且在降质样本图像中确定对象关键点的样本位置信息；
其中，对象关键点确定单元122包括：定位框获取子单元1221，初始定位子单元1222，器官定位子单元1223，关键位置输出子单元1224和样本位置确定子单元1225；
定位框获取子单元1221，用于通过关键点检测策略所指示的第一网络，获取降质样本图像中的人脸对应的人脸定位框；人脸定位框包括人脸对应的内部边界框和人脸对应的轮廓边界框；
初始定位子单元1222，用于通过关键点检测策略所指示的第二网络，对位于内部边界框中的内部关键点进行定位，定位得到内部关键点的初始位置信息，并通过第二网络对位于轮廓边界框中的轮廓关键点进行定位，定位得到轮廓关键点的初始位置信息；
器官定位子单元1223，用于将内部关键点的初始位置信息输入关键点检测策略所指示的第三网络，由第三网络定位输出内部关键点所属的面部器官，且在面部器官中确定内部关键点的待处理位置信息；
关键位置输出子单元1224，用于将内部关键点的待处理位置信息输入关键点检测策略所指示的第四网络，由第四网络对内部关键点所属的面部器官进行旋转处理，在旋转处理后的面部器官中输出内部关键点的关键位置信息；
样本位置确定子单元1225，用于将内部关键点和轮廓关键点确定为样本对象对应的对象关键点，且基于内部关键点的关键位置信息和轮廓关键点的初始位置信息，确定对象关键点在降质样本图像中的样本位置信息。
其中，定位框获取子单元1221，初始定位子单元1222，器官定位子单元1223，关键位置输出子单元1224和样本位置确定子单元1225的具体实现方式，可以参见上述图3所对应实施例中对确定样本位置信息的具体过程的描述，这里将不再继续进行赘述。
待处理区域确定单元123，用于构建与降质样本图像具有相同图像尺寸的辅助图像，将辅助图像对应的像素区域作为待处理图像区域，在待处理图像区域中将与样本位置信息具有相同坐标位置的像素点确定为第一像素点，并在待处理图像区域中将除第一像素点之外的像素点确定为第二像素点；
标记样本图像确定单元124，用于将第一像素点的像素值标记为第一像素值，并将第二像素点的像素值标记为第二像素值，将标记有第一像素值和第二像素值的辅助图像确定为与样本对象相关联的二值标记样本图像。
其中，关键点检测策略获取单元121，对象关键点确定单元122，待处理区域确定单元123和标记样本图像确定单元124的具体实现方式，可以参见上述图3所对应实施例中对获取二值标记样本图像的具体过程的描述，本申请实施例将不再继续进行赘述。
修复样本确定模块13，用于将降质样本图像与二值标记样本图像输入初始网络模型，由初始网络模型基于二值标记样本图像对降质样本图像进行图像修复，得到降质样本图像对应的修复样本图像；
其中，修复样本确定模块13包括：初始网络获取单元131，合并样本确定单元132，下采样处理单元133，残差处理单元134和上采样处理单元135；
初始网络获取单元131，用于获取用于对降质样本图像进行图像修复的初始网络模型；初始网络模型包含下采样层、残差层和上采样层；
合并样本确定单元132，用于在将降质样本图像与二值标记样本图像输入初始网络模型时，将降质样本图像对应的三通道数据和二值标记样本图像对应的单通道数据进行通道合并，得到与降质样本图像相关联的合并样本图像；合并样本图像的合并通道数据是由三通道数据和单通道数据所构成的；合并样本图像的图像尺寸与降质样本图像的图像尺寸保持一致；
下采样处理单元133，用于将合并样本图像输入至下采样层，由下采样层对合并样本图像进行下采样处理，得到合并样本图像对应的下采样特征图；下采样特征图的图像尺寸为合并样本图像的图像尺寸的(1/2)2N倍；N为正整数，且N为下采样层所包含的下采样卷积层的数量；
其中，若N=3，则下采样层中的下采样卷积层包括第一下采样卷积层、第二下采样卷积层和第三下采样卷积层；合并样本图像的图像尺寸为W*H，且合并样本图像的通道数据为C；其中，W为合并样本图像的宽，H为合并样本图像的高，C=4；
下采样处理单元133包括：第一下采样子单元1331，第二下采样子单元1332，第三下采样子单元1333和下采样确定子单元1334；
第一下采样子单元1331，用于将合并样本图像输入第一下采样卷积层，通过第一下采样卷积层将合并样本图像的宽和高均缩减1/2倍，得到合并样本图像对应的第一下采样图像，将在第一下采样图像中所提取到的通道数为S的下采样卷积特征作为第一下采样特征；第一下采样图像的图像尺寸为W/2*H/2；S为正整数；
第二下采样子单元1332，用于基于第一下采样特征和第一下采样图像，确定合并样本图像对应的第一下采样特征图，将第一下采样特征图输入第二下采样卷积层，通过第二下采样卷积层将第一下采样图像的宽和高均缩减1/2倍，得到第一下采样图像对应的第二下采样图像，将在第二下采样图像中所提取到的通道数为2S的下采样卷积特征作为第二下采样特征；第二下采样图像的图像尺寸为W/4*H/4；
第三下采样子单元1333，用于基于第二下采样特征和第二下采样图像，确定第一下采样特征图对应的第二下采样特征图，将第二下采样特征图输入第三下采样卷积层，通过第三下采样卷积层将第二下采样图像的宽和高均缩减1/2倍，得到第二下采样图像对应的第三下采样图像，将在第三下采样图像中所提取到的通道数为4S的下采样卷积特征作为第三下采样特征；第三下采样图像的图像尺寸为W/8*H/8；
下采样确定子单元1334，用于基于第三下采样特征和第三下采样图像，确定第二下采样特征图对应的第三下采样特征图，将第三下采样特征图作为合并样本图像对应的下采样特征图。
其中，第一下采样子单元1331，第二下采样子单元1332，第三下采样子单元1333和下采样确定子单元1334的具体实现方式，可以参见上述图3所对应实施例对下采样的具体过程的描述，这里将不再继续进行赘述。
残差处理单元134，用于将下采样特征图输入残差层，由残差层提取下采样特征图的残差特征，基于下采样特征图中的下采样特征和残差特征，确定残差层对应的深度残差特征图；深度残差特征图的图像尺寸与下采样特征图的图像尺寸保持一致；
上采样处理单元135，用于将深度残差特征图输入上采样层，由上采样层对深度残差特征图进行上采样处理，得到深度残差特征图对应的上采样特征图，基于上采样特征图确定降质样本图像对应的修复样本图像；上采样特征图的图像尺寸为深度残差特征图的图像尺寸的(2)2M倍；M为上采样层所包含的上采样卷积层的数量，且M为等于N的正整数；上采样特征图的图像特征是由上采样卷积层所采集的上采样特征与对应下采样卷积层所采集到的下采样特征所确定的。
其中，上采样层包括第一上采样卷积层、第二上采样卷积层和第三上采样卷积层；
上采样处理单元135包括：第一上采样子单元1351，第二上采样子单元1352，第三上采样子单元1353和修复样本输出子单元1354；
第一上采样子单元1351，用于将深度残差特征图输入第一上采样卷积层，通过第一上采样卷积层将深度残差特征图的宽和高均增大2倍，得到深度残差特征图对应的第一上采样图像，将在第一上采样图像中所提取到的通道数为2S的上采样卷积特征作为第一上采样特征；第一上采样图像的图像尺寸为W/4*H/4；S为正整数；
第二上采样子单元1352，用于将通道数为2S的第一上采样特征和通道数为2S的第二下采样特征进行特征拼接，得到与第一上采样图像具有相同图像尺寸的第一特征拼接图，将第一特征拼接图输入第二上采样卷积层，通过第二上采样卷积层将第一特征拼接图的宽和高均放增大2倍，得到第一特征拼接图对应的第二上采样图像，将在第二上采样图像中所提取到的通道数为S的上采样卷积特征作为第二上采样特征；第二上采样图像的图像尺寸为W/2*H/2；
第三上采样子单元1353，用于将通道数为S的第二上采样特征和通道数为S的第一下采样特征进行特征拼接，得到与第二上采样图像具有相同图像尺寸的第二特征拼接图，将第二特征拼接图输入第三上采样卷积层，通过第三上采样卷积层将第二特征拼接图的宽和高均放增大2倍，得到第二特征拼接图对应的第三上采样图像，将在第三上采样图像中所提取到的通道数为3的上采样卷积特征作为第三上采样特征；第三上采样图像的图像尺寸为W*H；
修复样本输出子单元1354，用于基于第三上采样特征和第三上采样图像，得到深度残差特征图对应的上采样特征图，将上采样特征图作为初始网络模型输出的降质样本图像对应的修复样本图像。
其中，第一上采样子单元1351，第二上采样子单元1352，第三上采样子单元1353和修复样本输出子单元1354的具体实现方式，可以参见上述图3所对应实施例中对上采样的具体过程的描述，这里将不再继续进行赘述。
其中，初始网络获取单元131，合并样本确定单元132，下采样处理单元133，残差处理单元134和上采样处理单元135的具体实现方式，可以参见上述图3所对应实施例中对输出修复样本图像的具体过程的描述，这里将不再继续进行赘述。
模型训练模块14，用于基于修复样本图像和原始样本图像，对初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
其中，模型训练模块14包括：第一损失确定单元141，第二损失确定单元142，模型损失确定单元143，模型参数调整单元144和目标模型确定单元145；
第一损失确定单元141，用于确定修复样本图像和原始样本图像之间的内容相似度，将内容相似度作为初始网络模型对应的第一损失函数；
第二损失确定单元142，用于将修复样本图像和原始样本图像输入与初始网络模型级联的判决器网络，由判决器网络判定修复样本图像为原始样本图像的概率，基于判决器网络所判定的概率确定修复样本图像的真实度，将真实度作为初始网络模型对应的第二损失函数；
模型损失确定单元143，用于基于第一损失函数和第二损失函数，确定初始网络模型的模型损失函数；
其中，模型损失确定单元143包括：权重获取子单元1431，乘积获取子单元1432和模型损失确定子单元1433；
权重获取子单元1431，用于获取第一损失函数对应的第一权重，并获取第二损失函数对应的第二权重；
乘积获取子单元1432，用于将第一损失函数与第一权重之间的乘积作为第一乘积，将第二损失函数与第二权重之间的乘积作为第二乘积；
模型损失确定子单元1433，用于将第一乘积与第二乘积之和作为初始网络模型的模型损失函数。
其中，权重获取子单元1431，乘积获取子单元1432和模型损失确定子单元1433的具体实现方式，可以参见上述图3所对应实施例中对确定模型损失函数的描述，这里将不再继续进行赘述。
模型参数调整单元144，用于基于模型损失函数对初始网络模型的模型参数进行调整，将调整模型参数后的初始网络模型作为过渡网络模型，对过渡网络模型进行迭代训练，得到模型训练结果；
目标模型确定单元145，用于若模型训练结果指示迭代训练后的过渡网络模型满足模型收敛条件，则将满足模型收敛条件的过渡网络模型确定为用于对目标图像进行图像修复的目标网络模型。
其中，第一损失确定单元141，第二损失确定单元142，模型损失确定单元143，模型参数调整单元144和目标模型确定单元145的具体实现方式，可以参见上述图3所对应实施例中对过渡网络模型进行的迭代训练的具体过程的描述，这里将不再继续进行赘述。
其中，原始样本获取模块11，标记样本获取模块12，修复样本确定模块13和模型训练模块14的具体实现方式可以参见上述图3所对应实施例中对步骤S101-步骤S104的描述，这里将不再继续进行赘述。可以理解的是，本申请实施例中的图像修复装置1可执行前文图3或图7所对应实施例中对图像修复方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图9，图9是本申请实施例提供的一种图像修复装置的结构示意图。该图像修复装置2可以是运行于计算机设备中的一个计算机程序（包括程序代码），例如该图像修复装置2可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。应当理解，这里的计算机设备可以为上述目标用户终端，比如，该目标用户终端可以为上述图1所对应实施例中的用户终端3000a；可选的，该计算机设备还可以为上述业务服务器2000。进一步地，该图像修复装置1可以包括：目标网络获取模块21，二值标记模块22和修复图像输出模块23；
目标网络获取模块21，用于将与目标对象相关联的待修复图像作为目标图像，获取用于对目标图像进行图像修复的目标网络模型；目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；修复样本图像是由初始网络模型根据降质样本图像和与降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；降质样本图像是对原始样本图像进行降质处理后所得到的；二值标记样本图像是由在降质样本图像中所获取到的样本对象的对象关键点所确定的；
二值标记模块22，用于在目标图像中获取目标对象对应的目标关键点，确定目标关键点在目标图像中的目标位置信息，在构建得到与目标图像具有相同图像尺寸的待标记图像区域时，基于目标位置信息对待标记图像区域进行标记处理，得到与目标对象相关联的二值标记目标图像；
修复图像输出模块23，用于将目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过目标网络模型对合并目标图像进行图像特征提取，基于提取到的图像特征对目标图像进行图像修复，得到目标图像对应的修复图像；修复图像的图像质量高于目标图像的图像质量。
其中，目标网络获取模块21，二值标记模块22和修复图像输出模块23的具体实现方式，可以参见上述图2所对应实施例中对通过目标网络模型输出修复图像的具体过程的描述，这里将不再继续进行赘述。可以理解的是，本申请实施例中的图像修复装置2可执行前文图3或图7所对应实施例中对图像修复方法的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
进一步地，请参见图10，图10是本申请实施例提供的一种计算机设备的结构示意图。如图10所示，该计算机设备1000可以为上述图2所对应实施例中的用户终端10a，可选的，该计算机设备1000也可以为上述图2所对应实施例中的服务器20a，这里将不对其进行具体限制。该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，该计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中，应当理解，在一些实施例中，若该计算机设备1000为上述图2所对应实施例中的用户终端10a，则上述可选用户接口1003还可以包括显示屏（Display）、键盘（Keyboard）。其中，在图10所示的计算机设备1000中，网络接口1004可提供网络通讯功能；此时，可选用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以执行前文图3或图7所对应实施例中对图像修复方法的描述，也可执行前文图8所对应实施例中对图像修复装置1的描述，还可以执行前述图9所对应实施例中对图像修复装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请实施例还提供了一种计算机存储介质，且计算机存储介质中存储有前文提及的图像修复装置1所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3或图7所对应实施例中对图像修复方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种图像修复方法，其特征在于，包括：
获取与样本对象相关联的原始样本图像，对所述原始样本图像进行降质处理，得到与所述样本对象相关联的降质样本图像；所述降质样本图像的图像质量低于所述原始样本图像的图像质量；
在所述降质样本图像中获取所述样本对象对应的对象关键点，确定所述对象关键点在所述降质样本图像中的样本位置信息，在构建得到与所述降质样本图像具有相同图像尺寸的待处理图像区域时，基于所述样本位置信息对所述待处理图像区域进行标记处理，得到与所述样本对象相关联的二值标记样本图像；
将所述降质样本图像与所述二值标记样本图像输入初始网络模型，由所述初始网络模型基于所述二值标记样本图像对所述降质样本图像进行图像修复，得到所述降质样本图像对应的修复样本图像；
基于所述修复样本图像和所述原始样本图像，对所述初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
2.根据权利要求1所述的方法，其特征在于，所述获取与样本对象相关联的原始样本图像，对所述原始样本图像进行降质处理，得到与所述样本对象相关联的降质样本图像，包括：
将与样本对象相关联的高清图像作为原始样本图像，获取所述原始样本图像对应的图像降质策略；所述样本对象包括分布在所述原始样本图像中的人脸；
基于所述图像降质策略对包含所述人脸的原始样本图像进行降质处理，将降质处理后的原始样本图像作为与所述人脸相关联的降质样本图像。
3.根据权利要求2所述的方法，其特征在于，所述图像降质策略包括用于对所述原始样本图像进行模糊处理的图像模糊策略、下采样插值策略、高斯噪声策略以及图像压缩策略中的一种或者多种；其中，所述图像模糊策略包括基于二维正态分布函数的高斯模糊子策略和基于点扩散函数的运动模糊子策略。
4.根据权利要求1所述的方法，其特征在于，所述样本对象包括分布在所述原始样本图像中的人脸，且所述降质样本图像中包含所述人脸；
所述在所述降质样本图像中获取所述样本对象对应的对象关键点，确定所述对象关键点在所述降质样本图像中的样本位置信息，在构建得到与所述降质样本图像具有相同图像尺寸的待处理图像区域时，基于所述样本位置信息对所述待处理图像区域进行标记处理，得到与所述样本对象相关联的二值标记样本图像，包括：
获取所述降质样本图像对应的关键点检测策略；
通过所述关键点检测策略在所述降质样本图像中确定所述人脸对应的内部关键点和所述人脸对应的轮廓关键点，将所述内部关键点和所述轮廓关键点确定为所述样本对象对应的对象关键点，且在所述降质样本图像中确定所述对象关键点的样本位置信息；
构建与所述降质样本图像具有相同图像尺寸的辅助图像，将所述辅助图像对应的像素区域作为待处理图像区域，在所述待处理图像区域中将与所述样本位置信息具有相同坐标位置的像素点确定为第一像素点，并在所述待处理图像区域中将除所述第一像素点之外的像素点确定为第二像素点；
将所述第一像素点的像素值标记为第一像素值，并将所述第二像素点的像素值标记为第二像素值，将标记有所述第一像素值和所述第二像素值的辅助图像确定为与所述样本对象相关联的二值标记样本图像。
5.根据权利要求4所述的方法，其特征在于，所述通过所述关键点检测策略在所述降质样本图像中确定所述人脸对应的内部关键点和所述人脸对应的轮廓关键点，将所述内部关键点和所述轮廓关键点确定为所述样本对象对应的对象关键点，且在所述降质样本图像中确定所述对象关键点的样本位置信息，包括：
通过所述关键点检测策略所指示的第一网络，获取所述降质样本图像中的所述人脸对应的人脸定位框；所述人脸定位框包括所述人脸对应的内部边界框和所述人脸对应的轮廓边界框；
通过所述关键点检测策略所指示的第二网络，对位于所述内部边界框中的内部关键点进行定位，定位得到所述内部关键点的初始位置信息，并通过所述第二网络对位于所述轮廓边界框中的轮廓关键点进行定位，定位得到所述轮廓关键点的初始位置信息；
将所述内部关键点的初始位置信息输入所述关键点检测策略所指示的第三网络，由所述第三网络定位输出所述内部关键点所属的面部器官，且在所述面部器官中确定所述内部关键点的待处理位置信息；
将所述内部关键点的待处理位置信息输入所述关键点检测策略所指示的第四网络，由所述第四网络对所述内部关键点所属的面部器官进行旋转处理，在旋转处理后的面部器官中输出所述内部关键点的关键位置信息；
将所述内部关键点和所述轮廓关键点确定为所述样本对象对应的对象关键点，且基于所述内部关键点的关键位置信息和所述轮廓关键点的初始位置信息，确定所述对象关键点在所述降质样本图像中的样本位置信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述降质样本图像与所述二值标记样本图像输入初始网络模型，由所述初始网络模型基于所述二值标记样本图像对所述降质样本图像进行图像修复，得到所述降质样本图像对应的修复样本图像，包括：
获取用于对所述降质样本图像进行图像修复的初始网络模型；所述初始网络模型包含下采样层、残差层和上采样层；
在将所述降质样本图像与二值标记样本图像输入初始网络模型时，将所述降质样本图像对应的三通道数据和所述二值标记样本图像对应的单通道数据进行通道合并，得到与所述降质样本图像相关联的合并样本图像；所述合并样本图像的合并通道数据是由所述三通道数据和所述单通道数据所构成的；所述合并样本图像的图像尺寸与所述降质样本图像的图像尺寸保持一致；
将所述合并样本图像输入至所述下采样层，由所述下采样层对所述合并样本图像进行下采样处理，得到所述合并样本图像对应的下采样特征图；所述下采样特征图的图像尺寸为所述合并样本图像的图像尺寸的(1/2)2N倍；所述N为正整数，且所述N为所述下采样层所包含的下采样卷积层的数量；
将所述下采样特征图输入所述残差层，由所述残差层提取所述下采样特征图的残差特征，基于所述下采样特征图中的下采样特征和所述残差特征，确定所述残差层对应的深度残差特征图；所述深度残差特征图的图像尺寸与所述下采样特征图的图像尺寸保持一致；
将所述深度残差特征图输入所述上采样层，由所述上采样层对所述深度残差特征图进行上采样处理，得到所述深度残差特征图对应的上采样特征图，基于所述上采样特征图确定所述降质样本图像对应的修复样本图像；所述上采样特征图的图像尺寸为所述深度残差特征图的图像尺寸的(2)2M倍；所述M为所述上采样层所包含的上采样卷积层的数量，且所述M为等于所述N的正整数；所述上采样特征图的图像特征是由所述上采样卷积层所采集的上采样特征与对应下采样卷积层所采集到的下采样特征所确定的。
7.根据权利要求6所述的方法，其特征在于，若N=3，则所述下采样层中的下采样卷积层包括第一下采样卷积层、第二下采样卷积层和第三下采样卷积层；所述合并样本图像的图像尺寸为W*H，且所述合并样本图像的通道数据为C；其中，W为所述合并样本图像的宽，H为所述合并样本图像的高，C=4；
所述将所述合并样本图像输入至所述下采样层，由所述下采样层对所述合并样本图像进行下采样处理，得到所述合并样本图像对应的下采样特征图，包括：
将所述合并样本图像输入所述第一下采样卷积层，通过所述第一下采样卷积层将所述合并样本图像的宽和高均缩减1/2倍，得到所述合并样本图像对应的第一下采样图像，将在所述第一下采样图像中所提取到的通道数为S的下采样卷积特征作为第一下采样特征；所述第一下采样图像的图像尺寸为W/2*H/2；S为正整数；
基于所述第一下采样特征和所述第一下采样图像，确定所述合并样本图像对应的第一下采样特征图，将所述第一下采样特征图输入所述第二下采样卷积层，通过所述第二下采样卷积层将所述第一下采样图像的宽和高均缩减1/2倍，得到所述第一下采样图像对应的第二下采样图像，将在所述第二下采样图像中所提取到的通道数为2S的下采样卷积特征作为第二下采样特征；所述第二下采样图像的图像尺寸为W/4*H/4；
基于所述第二下采样特征和所述第二下采样图像，确定所述第一下采样特征图对应的第二下采样特征图，将所述第二下采样特征图输入所述第三下采样卷积层，通过所述第三下采样卷积层将所述第二下采样图像的宽和高均缩减1/2倍，得到所述第二下采样图像对应的第三下采样图像，将在所述第三下采样图像中所提取到的通道数为4S的下采样卷积特征作为第三下采样特征；所述第三下采样图像的图像尺寸为W/8*H/8；
基于所述第三下采样特征和所述第三下采样图像，确定所述第二下采样特征图对应的第三下采样特征图，将所述第三下采样特征图作为所述合并样本图像对应的下采样特征图。
8.根据权利要求7所述的方法，其特征在于，所述上采样层中的上采集卷积层包括第一上采样卷积层、第二上采样卷积层和第三上采样卷积层；
所述将所述深度残差特征图输入所述上采样层，由所述上采样层对所述深度残差特征图进行上采样处理，得到所述深度残差特征图对应的上采样特征图，基于所述上采样特征图确定所述降质样本图像对应的修复样本图像，包括：
将所述深度残差特征图输入所述第一上采样卷积层，通过所述第一上采样卷积层将所述深度残差特征图的宽和高均增大2倍，得到所述深度残差特征图对应的第一上采样图像，将在所述第一上采样图像中所提取到的通道数为2S的上采样卷积特征作为第一上采样特征；所述第一上采样图像的图像尺寸为W/4*H/4；S为正整数；
将通道数为2S的所述第一上采样特征和通道数为2S的所述第二下采样特征进行特征拼接，得到与所述第一上采样图像具有相同图像尺寸的第一特征拼接图，将所述第一特征拼接图输入所述第二上采样卷积层，通过所述第二上采样卷积层将所述第一特征拼接图的宽和高均放增大2倍，得到所述第一特征拼接图对应的第二上采样图像，将在所述第二上采样图像中所提取到的通道数为S的上采样卷积特征作为第二上采样特征；所述第二上采样图像的图像尺寸为W/2*H/2；
将通道数为S的所述第二上采样特征和通道数为S的所述第一下采样特征进行特征拼接，得到与所述第二上采样图像具有相同图像尺寸的第二特征拼接图，将所述第二特征拼接图输入所述第三上采样卷积层，通过所述第三上采样卷积层将所述第二特征拼接图的宽和高均放增大2倍，得到所述第二特征拼接图对应的第三上采样图像，将在所述第三上采样图像中所提取到的通道数为3的上采样卷积特征作为第三上采样特征；所述第三上采样图像的图像尺寸为W*H；
基于所述第三上采样特征和所述第三上采样图像，得到所述深度残差特征图对应的上采样特征图，将所述上采样特征图作为所述初始网络模型输出的所述降质样本图像对应的修复样本图像。
9.根据权利要求1~8任一项所述的方法，其特征在于，所述基于所述修复样本图像和所述原始样本图像，对所述初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型，包括：
确定所述修复样本图像和所述原始样本图像之间的内容相似度，将所述内容相似度作为所述初始网络模型对应的第一损失函数；
将所述修复样本图像和所述原始样本图像输入与所述初始网络模型级联的判决器网络，由所述判决器网络判定所述修复样本图像为所述原始样本图像的概率，基于所述判决器网络所判定的概率确定所述修复样本图像的真实度，将所述真实度作为所述初始网络模型对应的第二损失函数；
基于所述第一损失函数和所述第二损失函数，确定所述初始网络模型的模型损失函数；
基于所述模型损失函数对所述初始网络模型的模型参数进行调整，将调整模型参数后的初始网络模型作为过渡网络模型，对所述过渡网络模型进行迭代训练，得到模型训练结果；
若所述模型训练结果指示迭代训练后的过渡网络模型满足模型收敛条件，则将满足所述模型收敛条件的过渡网络模型确定为用于对目标图像进行图像修复的目标网络模型。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一损失函数和所述第二损失函数，确定所述初始网络模型的模型损失函数，包括：
获取所述第一损失函数对应的第一权重，并获取所述第二损失函数对应的第二权重；
将所述第一损失函数与所述第一权重之间的乘积作为第一乘积，将所述第二损失函数与第二权重之间的乘积作为第二乘积；
将所述第一乘积与所述第二乘积之和作为所述初始网络模型的模型损失函数。
11.一种图像修复方法，其特征在于，包括：
将与目标对象相关联的待修复图像作为目标图像，获取用于对所述目标图像进行图像修复的目标网络模型；所述目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；所述修复样本图像是由所述初始网络模型根据降质样本图像和与所述降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；所述降质样本图像是对所述原始样本图像进行降质处理后所得到的；所述二值标记样本图像是由在所述降质样本图像中所获取到的样本对象的对象关键点所确定的；
在所述目标图像中获取所述目标对象对应的目标关键点，确定所述目标关键点在所述目标图像中的目标位置信息，在构建得到与所述目标图像具有相同图像尺寸的待标记图像区域时，基于所述目标位置信息对所述待标记图像区域进行标记处理，得到与所述目标对象相关联的二值标记目标图像；
将所述目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过所述目标网络模型对所述合并目标图像进行图像特征提取，基于提取到的图像特征对所述目标图像进行图像修复，得到所述目标图像对应的修复图像；所述修复图像的图像质量高于所述目标图像的图像质量。
12.一种图像修复装置，其特征在于，包括：
原始样本获取模块，用于获取与样本对象相关联的原始样本图像，对所述原始样本图像进行降质处理，得到与所述样本对象相关联的降质样本图像；所述降质样本图像的图像质量低于所述原始样本图像的图像质量；
标记样本获取模块，用于在所述降质样本图像中获取所述样本对象对应的对象关键点，确定所述对象关键点在所述降质样本图像中的样本位置信息，在构建得到与所述降质样本图像具有相同图像尺寸的待处理图像区域时，基于所述样本位置信息对所述待处理图像区域进行标记处理，得到与所述样本对象相关联的二值标记样本图像；
修复样本确定模块，用于将所述降质样本图像与所述二值标记样本图像输入初始网络模型，由所述初始网络模型基于所述二值标记样本图像对所述降质样本图像进行图像修复，得到所述降质样本图像对应的修复样本图像；
模型训练模块，用于基于所述修复样本图像和所述原始样本图像，对所述初始网络模型进行迭代训练，将迭代训练后的初始网络模型确定为用于对目标图像进行图像修复的目标网络模型。
13.一种图像修复装置，其特征在于，包括：
目标网络获取模块，用于将与目标对象相关联的待修复图像作为目标图像，获取用于对所述目标图像进行图像修复的目标网络模型；所述目标网络模型是基于原始样本图像与修复样本图像对初始网络模型进行迭代训练后所得到的；所述修复样本图像是由所述初始网络模型根据降质样本图像和与所述降质样本图像具有相同图像尺寸的二值标记样本图像所输出的；所述降质样本图像是对所述原始样本图像进行降质处理后所得到的；所述二值标记样本图像是由在所述降质样本图像中所获取到的样本对象的对象关键点所确定的；
二值标记模块，用于在所述目标图像中获取所述目标对象对应的目标关键点，确定所述目标关键点在所述目标图像中的目标位置信息，在构建得到与所述目标图像具有相同图像尺寸的待标记图像区域时，基于所述目标位置信息对所述待标记图像区域进行标记处理，得到与所述目标对象相关联的二值标记目标图像；
修复图像输出模块，用于将所述目标图像与二值标记目标图像进行图像合并，得到合并目标图像，通过所述目标网络模型对所述合并目标图像进行图像特征提取，基于提取到的图像特征对所述目标图像进行图像修复，得到所述目标图像对应的修复图像；所述修复图像的图像质量高于所述目标图像的图像质量。
14.一种计算机设备，其特征在于，包括：处理器和存储器；
所述处理器与存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-11任一项所述的方法。
CN202110771495.8A 2021-07-08 2021-07-08 一种图像修复方法、装置及存储介质 Active CN113284073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110771495.8A CN113284073B (zh) 2021-07-08 2021-07-08 一种图像修复方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771495.8A CN113284073B (zh) 2021-07-08 2021-07-08 一种图像修复方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113284073A true CN113284073A (zh) 2021-08-20
CN113284073B CN113284073B (zh) 2022-04-15

Family

ID=77286524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771495.8A Active CN113284073B (zh) 2021-07-08 2021-07-08 一种图像修复方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113284073B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331903A (zh) * 2021-12-31 2022-04-12 电子科技大学 一种图像修复方法及存储介质
CN114612580A (zh) * 2022-03-15 2022-06-10 中国人民解放军国防科技大学 一种面向低质量相机的高清成像方法
CN116523792A (zh) * 2023-05-09 2023-08-01 武汉科技大学 一种基于神经网络的图像高清还原方法及系统
CN116757965A (zh) * 2023-08-16 2023-09-15 小米汽车科技有限公司 图像增强方法、装置和存储介质
WO2023207778A1 (zh) * 2022-04-24 2023-11-02 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机及可读存储介质
CN117649358A (zh) * 2024-01-30 2024-03-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544450A (zh) * 2018-11-09 2019-03-29 武汉烽火众智数字技术有限责任公司 一种对抗生成网络构建方法及装置、图像重构方法及装置
CN111507914A (zh) * 2020-04-10 2020-08-07 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN111784582A (zh) * 2020-07-08 2020-10-16 桂林电子科技大学 一种基于dec_se的低照度图像超分辨率重建方法
CN112183353A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN113066034A (zh) * 2021-04-21 2021-07-02 腾讯科技（深圳）有限公司 人脸图像的修复方法与装置、修复模型、介质和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544450A (zh) * 2018-11-09 2019-03-29 武汉烽火众智数字技术有限责任公司 一种对抗生成网络构建方法及装置、图像重构方法及装置
CN111507914A (zh) * 2020-04-10 2020-08-07 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN111784582A (zh) * 2020-07-08 2020-10-16 桂林电子科技大学 一种基于dec_se的低照度图像超分辨率重建方法
CN112183353A (zh) * 2020-09-28 2021-01-05 腾讯科技（深圳）有限公司 一种图像数据处理方法、装置和相关设备
CN113066034A (zh) * 2021-04-21 2021-07-02 腾讯科技（深圳）有限公司 人脸图像的修复方法与装置、修复模型、介质和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
（菲）罗韦尔•阿蒂恩扎著；蔡磊，潘华贤，程国建译: "《Keras高级深度学习》", 31 March 2020 *
UGUR DEMIR ET AL.: "Patch-based image inpainting with generative adversarial networks", 《ARXIV:1803.07422V1》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331903A (zh) * 2021-12-31 2022-04-12 电子科技大学 一种图像修复方法及存储介质
CN114612580A (zh) * 2022-03-15 2022-06-10 中国人民解放军国防科技大学 一种面向低质量相机的高清成像方法
WO2023207778A1 (zh) * 2022-04-24 2023-11-02 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机及可读存储介质
CN116523792A (zh) * 2023-05-09 2023-08-01 武汉科技大学 一种基于神经网络的图像高清还原方法及系统
CN116757965A (zh) * 2023-08-16 2023-09-15 小米汽车科技有限公司 图像增强方法、装置和存储介质
CN116757965B (zh) * 2023-08-16 2023-11-21 小米汽车科技有限公司 图像增强方法、装置和存储介质
CN117649358A (zh) * 2024-01-30 2024-03-05 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN117649358B (zh) * 2024-01-30 2024-04-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113284073B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113284073B (zh) 一种图像修复方法、装置及存储介质
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN108921782B (zh) 一种图像处理方法、装置及存储介质
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
CN106682632B (zh) 用于处理人脸图像的方法和装置
US20200234480A1 (en) Systems and methods for realistic head turns and face animation synthesis on mobile device
JP7542740B2 (ja) 画像の視線補正方法、装置、電子機器、及びコンピュータプログラム
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
WO2023035531A1 (zh) 文本图像超分辨率重建方法及其相关设备
CN111507333A (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
CN115171199B (zh) 图像处理方法、装置及计算机设备、存储介质
CN112241940B (zh) 一种多张多聚焦图像融合方法及装置
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN114723760A (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN114022497A (zh) 一种图像处理方法及装置
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN113569824B (zh) 模型处理方法、相关设备、存储介质及计算机程序产品
WO2024104144A1 (zh) 图像合成方法和装置、存储介质及电子设备
Park et al. Dual-stage Super-resolution for edge devices
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
JP2022095565A (ja) 画像からシーンテキストを除去するための方法及びシステム
CN112487943B (zh) 关键帧去重的方法、装置和电子设备
CN110996173B (zh) 一种图像数据处理方法、装置及存储介质
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049946

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant