CN116167945A - 一种图像修复方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像修复方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：获取待修复图像；将所述待修复图像输入去噪网络，以去除所述待修复图像中的噪声，得到初始图像；对所述初始图像进行人脸检测，得到第一检测信息，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度；在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；将所述第一修复图像输入超分网络，以提升所述第一修复图像的分辨率，得到所述待修复图像对应的修复图像。

Description

一种图像修复方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，具体而言，涉及一种图像修复方法、装置、电子设备及存储介质。

背景技术

随着时间的流逝，对于一些年代较为久远的图像，因为当时的图像采集设备的条件限制使得采集的图像存在瑕疵，或者由于保存不当，使图像出现了破损、模糊、褪色等问题，但是作为珍贵记忆的见证者，人们非常需要将这些图像重新变得清晰。

然而，老旧图像由于可能存在多种不同的问题，例如划痕、模糊、褪色等，在对老照片进行修复时，就需要针对不同类型的图像问题来针对性选择相应的修复方法，这直接导致无法建立标准修复流程适应性的对具有不同问题的图像进行修复，这使得图像修复过程需要投入更多的人力。因此，如何实现对图像修复的流程化处理，成为本领域技术人员亟待解决的技术问题。

发明内容

本申请实施例在于提供一种图像修复方法、装置、电子设备及存储介质，旨在解决如何实现对图像修复的流程化处理的问题。

本申请实施例第一方面提供一种图像修复方法，包括：

获取待修复图像；

将所述待修复图像输入去噪网络，得到初始图像；

对所述初始图像进行人脸检测，得到第一检测信息；

在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；

将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

在一种可选的实施方式中，在所述获取待修复图像之后，在所述将所述待修复图像输入去噪网络之前，所述方法还包括：

对所述待修复图像进行划痕检测；

若检测到所述待修复图像中存在划痕，对所述待修复图像进行划痕强化处理，得到所述待修复图像对应的强化划痕特征图像；

将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，得到所述待修复图像对应的第二修复图像；

用所述第二修复图像更新所述待修复图像。

在一种可选的实施方式中，若检测到所述待修复图像中不存在划痕，将所述待修复图像作为所述第二修复图像。

在一种可选的实施方式中，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度；所述第一检测信息满足修复条件，包括：

所述人脸框大小大于第一阈值且所述人脸偏转角度小于第二阈值；

所述第一检测信息不满足所述修复条件，包括：

所述人脸框大小小于或等于所述第一阈值，或，所述人脸偏转角度大于或等于所述第二阈值；

其中，所述第一阈值为人脸框尺寸阈值，所述第二阈值为人脸偏转角度阈值。

在一种可选的实施方式中，在得到第一检测信息之后，所述方法还包括：

在所述第一检测信息不满足所述修复条件时，将所述初始图像作为所述第一修复图像；

将所述第一修复图像输入所述超分网络，得到所述待修复图像对应的所述修复图像。

在一种可选的实施方式中，在得到所述待修复图像对应的修复图像之后，所述方法还包括：

将所述修复图像输入目标检测网络，获取所述修复图像中的实例图像；

将所述实例图像输入实例着色网络，以提取所述实例图像的实例图像特征，得到实例特征图；

将所述修复图像输入全图像着色网络，以提取所述修复图像的全局图像特征，得到全局特征图；

将所述实例特征图与所述全局特征图进行融合，得到所述修复图像对应的着色图像。

在一种可选的实施方式中，在得到所述修复图像对应的着色图像之后，所述方法还包括：

获取用户输入的颜色偏好信息；

基于所述颜色偏好信息，获取所述着色图像的颜色信息与所述颜色偏好信息的颜色匹配度；

若所述颜色匹配度大于第三阈值，以所述着色图像更新所述修复图像。

在一种可选的实施方式中，所述去噪网络包括第一分支和第二分支，将所述待修复图像输入去噪网络，以去除所述待修复图像中的噪声，得到初始图像，包括：

将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，所述第一去噪图像为含有盲点的去噪图像；

将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像，所述第二去噪图像为不含盲点的去噪图像；

将所述第一去噪图像与所述第二去噪图像进行组合，得到所述初始图像。

在一种可选的实施方式中，所述第一分支包括盲点生成子网络、去噪子网络以及合并子网络，将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，包括：

将所述待修复图像输入所述盲点生成子网络，以对所述待修复图像中的目标区域的像素进行掩码处理，生成多张含有盲点的子图像；

将所述多张含有盲点的子图像输入所述去噪子网络，以对每张含有盲点的子图像进行去噪处理，得到多张含有盲点的去噪子图像；

将所述多张含有盲点的去噪子图像输入所述合并子网络，以对所述多张含有盲点的去噪子图像进行组合，得到所述第一去噪图像。

在一种可选的实施方式中，对所述初始图像进行人脸检测，得到第一检测信息，包括：

将所述初始图像输入主干特征提取网络，得到不同维度的特征图；

将所述不同维度的特征图输入特征金字塔网络，以对所述不同维度的特征图进行特征提取，得到特征金字塔，所述特征金字塔包含多个预测特征层；

将所述特征金字塔输入单阶段无头网络，以增加所述特征金字塔中的每个预测特征层的感受野，得到多个有效特征层；

将所述有效特征层分别输入第一头部子网络以及第二头部子网络，得到人脸框信息以及所述人脸偏转角度；

基于所述人脸框信息确定所述人脸框大小；将所述人脸框大小以及所述人脸偏转角度作为所述第一检测信息。

在一种可选的实施方式中，对所述初始图像进行人脸修复，得到第一修复图像，包括：

将所述初始图像输入编码网络，基于所述编码网络中串联的多个下采样层，对所述初始图像进行多次下采样处理，得到多个下采样层输出的特征图；

将最后一个下采样层输出的特征图输入映射网络，生成权重值；

基于解码网络，对下采样层输出的特征图进行处理，得到所述第一修复图像，所述解码网络由多个上采样层串联组成，每个上采样层的输入数据包括与所述每个上采样层对应的下采样层输出的特征图、上一个上采样层输出的特征图以及所述权重值。

在一种可选的实施方式中，将所述第一修复图像输入超分网络，以提升所述第一修复图像的分辨率，得到所述待修复图像对应的修复图像，包括：

对所述第一修复图像进行多次预设倍数的下采样处理，得到多个下采样层输出的特征图；

对每个下采样层对应的融合特征图进行预设倍数的上采样处理，得到修复特征图，所述每个下采样层对应的融合特征图为将上一个下采样层输出的特征图进行预设倍数的上采样处理后，与本下采样层输出的特征图进行融合得到的；

对所述修复特征图进行多倍上采样处理，得到所述修复图像。

本申请实施例第二方面提供一种图像修复装置，包括：

获取模块，用于获取待修复图像；

去噪模块，用于将所述待修复图像输入去噪网络，得到初始图像；

第一检测模块，用于对所述初始图像进行人脸检测，得到第一检测信息；

第一修复模块，用于在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；

第一超分模块，用于将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

在一种可选的实施方式中，所述装置还包括：

第二检测模块，用于对所述待修复图像进行划痕检测；

增强模块，用于若检测到所述待修复图像中存在划痕，对所述待修复图像进行划痕强化处理，得到所述待修复图像对应的强化划痕特征图像；

第二修复模块，用于将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，得到所述待修复图像对应的第二修复图像；

第一更新模块，用于用所述第二修复图像更新所述待修复图像。

在一种可选的实施方式中，所述装置还包括：

第二更新模块，用于若检测到所述待修复图像中不存在划痕，将所述待修复图像作为所述第二修复图像。

在一种可选的实施方式中，所述装置还包括：

第三修复模块，用于在所述第一检测信息不满足所述修复条件时，将所述初始图像作为所述第一修复图像；

第二超分模块，用于将所述第一修复图像输入所述超分网络，得到所述待修复图像对应的所述修复图像。

在一种可选的实施方式中，所述装置还包括：

实例图像获取模块，用于将所述修复图像输入目标检测网络，获取所述修复图像中的实例图像；

第一着色模块，用于将所述实例图像输入实例着色网络，以提取所述实例图像的实例图像特征，得到实例特征图；

第二着色模块，用于将所述修复图像输入全图像着色网络，以提取所述修复图像的全局图像特征，得到全局特征图；

着色融合模块，用于将所述实例特征图与所述全局特征图进行融合，得到所述修复图像对应的着色图像。

在一种可选的实施方式中，所述装置还包括：

颜色偏好获取模块，用于获取用户输入的颜色偏好信息；

匹配度获取模块，用于基于所述颜色偏好信息，获取所述着色图像的颜色信息与所述颜色偏好信息的颜色匹配度；

第三更新模块，用于若所述颜色匹配度大于第三阈值，以所述着色图像更新所述修复图像。

在一种可选的实施方式中，所述去噪模块，包括：

第一去噪子模块，用于将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，所述第一去噪图像为含有盲点的去噪图像；

第二去噪子模块，用于将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像，所述第二去噪图像为不含盲点的去噪图像；

组合子模块，用于将所述第一去噪图像与所述第二去噪图像进行组合，得到所述初始图像。

在一种可选的实施方式中，所述第一去噪子模块，包括：

盲点生成子单元，用于将所述待修复图像输入所述盲点生成子网络，以对所述待修复图像中的目标区域的像素进行掩码处理，生成多张含有盲点的子图像；

盲点去噪子单元，用于将所述多张含有盲点的子图像输入所述去噪子网络，以对每张含有盲点的子图像进行去噪处理，得到多张含有盲点的去噪子图像；

组合子单元，用于将所述多张含有盲点的去噪子图像输入所述合并子网络，以对所述多张含有盲点的去噪子图像进行组合，得到所述第一去噪图像。

在一种可选的实施方式中，所述第一检测模块，包括：

主干子模块，用于将所述初始图像输入主干特征提取网络，得到不同维度的特征图；

特征金字塔获取子模块，用于将所述不同维度的特征图输入特征金字塔网络，以对所述不同维度的特征图进行特征提取，得到特征金字塔，所述特征金字塔包含多个预测特征层；

特征融合子模块，用于将所述特征金字塔输入单阶段无头网络，以增加所述特征金字塔中的每个预测特征层的感受野，得到多个有效特征层；

头部子模块，用于将所述有效特征层分别输入第一头部子网络以及第二头部子网络，得到人脸框信息以及所述人脸偏转角度；

第一检测信息获取子模块，用于基于所述人脸框信息确定所述人脸框大小；将所述人脸框大小以及所述人脸偏转角度作为所述第一检测信息。

在一种可选的实施方式中，所述第一修复模块，包括：

编码子模块，用于将所述初始图像输入编码网络，基于所述编码网络中串联的多个下采样层，对所述初始图像进行多次下采样处理，得到多个下采样层输出的特征图；

映射子模块，用于将最后一个下采样层输出的特征图输入映射网络，生成权重值；

解码子模块，用于基于解码网络，对下采样层输出的特征图进行处理，得到所述第一修复图像，所述解码网络由多个上采样层串联组成，每个上采样层的输入数据包括与所述每个上采样层对应的下采样层输出的特征图、上一个上采样层输出的特征图以及所述权重值。

在一种可选的实施方式中，所述第一超分模块，包括：

下采样子模块，用于对所述第一修复图像进行多次预设倍数的下采样处理，得到多个下采样层输出的特征图；

第一上采样子模块，用于对每个下采样层对应的融合特征图进行预设倍数的上采样处理，得到修复特征图，所述每个下采样层对应的融合特征图为将上一个下采样层输出的特征图进行预设倍数的上采样处理后，与本下采样层输出的特征图进行融合得到的；

第二上采样子模块，用于对所述修复特征图进行多倍上采样处理，得到所述修复图像。

本申请实施例第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面中任一所述的图像修复方法。

本申请实施例第四方面提供一种非瞬态计算机存储介质，所述非瞬态计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面中任一所述的图像修复方法。

有益效果：

本申请提供一种图像修复方法、装置、电子设备及存储介质，包括：获取待修复图像；将所述待修复图像输入去噪网络，以去除所述待修复图像中的噪声，得到初始图像；对所述初始图像进行人脸检测，得到第一检测信息，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度；在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；将所述第一修复图像输入超分网络，以提升所述第一修复图像的分辨率，得到所述待修复图像对应的修复图像。

本申请构建了一种图像修复流程化处理的方法，按照预设顺序对待修复图像进行针对不同问题的检测和修复，使得不同类型的待修复图像均可以根据本申请的方法进行修复，用户无需因待修复图像具有的不同类型问题，自行组装不同的修复网络和流程，大大降低了图像修复过程所需耗费的人力；另一方面，本申请对图像先进行去噪处理再进行超分修复，对于同时需要进行去噪和超分处理的图像，避免了由于噪声对超分阶段产生的不良影响导致的图像修复质量下降的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的一种图像修复方法流程图；

图2是本申请一实施例提出的一种图像修复流程示意图；

图3是本申请一实施例提出的一种基于去噪网络第一分支的去噪方法流程图；

图4是本申请一实施例提出的一种基于去噪网络的网络架构示意图；

图5是本申请一实施例提出的一种划痕修复方法流程图；

图6是本申请一实施例提出的一种划痕修复网络架构图；

图7是本申请一实施例提出的一种人脸检测方法流程图；

图8是本申请一实施例提出的一种人脸检测网络的网络架构示意图；

图9是本申请一实施例提出的一种人脸修复网络的网络架构示意图；

图10是本申请一实施例提出的一种超分网络的网络架构示意图；

图11是本申请一实施例提出的一种着色网络的网络架构示意图；

图12是本申请一实施例提出的一种图像修复装置示意图；

图13是本申请一实施例提出的一种电子设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，老旧图像由于可能存在多种不同的问题，例如划痕、模糊、褪色等，在对老照片进行修复时，就需要针对不同类型的图像问题来针对性选择相应的修复方法，这直接导致无法建立标准修复流程适应性的对具有不同问题的图像进行修复，这使得图像修复过程需要投入更多的人力。

有鉴于此，本申请实施例提出一种图像修复方法，图1示出了一种图像修复方法流程图，如图1所示，包括如下步骤：

S101、获取待修复图像。

S102、将所述待修复图像输入去噪网络，得到初始图像。

S103、对所述初始图像进行人脸检测，得到第一检测信息。

对所述初始图像进行人脸检测，得到第一检测信息，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度。

S104、在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像。

S105、将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

本申请实施例中，待修复图像为存在至少一种图像问题的图像，例如老旧照片图像等，其中，图像问题可以为因保存不当或时间流逝导致图像产生的不良变化，如图像褪色、图像破损、划痕等，也可以为因图像采集设备的性能限制导致的图像问题，如黑白图像(未着色)、图像模糊、噪声等问题。

本申请实施例的可实施环境可以包含图像、采集设备、服务器以及终端显示设备。其中，图像可以为照片对应的数字化图像；采集设备可以为用于将真实场景拍摄为数字化图像或照片的相机；服务器包括处理器，服务器可以与采集设备之间建立有线连接或无线连接，基于该有线连接或无线连接对采集设备采集的数字化图像进行图像修复，生成相应的修复图像，在终端显示设备上显示所述修复图像。

本申请实施例中，去噪网络用于除去待修复图像中的图像噪声，其中，图像噪声是指存在于图像数据中的不必要的或多余的干扰信息，图像噪声的存在会使得图像模糊，甚至淹没图像特征，给图像的观看以及后续的图像处理分析带来不良影响。示例性地，图像噪声可以包括电噪声，机械噪声，信道噪声和其他噪声。对于存放时间较长的图像，如老旧照片，因其保存不当或受到当时的图像采集设备的性能限制(如像素限制)等问题，使得图像中存在明显的图像噪声，在图像修复过程中，需要先对图像进行去噪处理，得到初始图像，该初始图像为不含噪声的待修复图像；随后再对去噪图像针对其他问题进行修复，避免后续处理流程中将图像噪声当作图像特征的一部分进行放大，从而影响图像的修复质量。

本申请实施例中，通过人脸检测来确定初始图像是否需要进行人脸修复。其中，通过对初始图像进行人脸检测获取图像的第一检测信息，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度。具体而言，人脸框大小是指图像中包含目标人脸图像的最小识别框的大小，人脸偏转角度可以为图像中目标人脸图像的偏转角度(0°～90°)，也可以为图像中目标人脸的偏转角度与图像完全侧面的偏转角度(90°)的比值。基于所述第一检测信息，判断初始图像中的目标人脸图像是否需要进行人脸修复。

具体而言，当图像中的目标人脸图像的面积较小时，采集设备采集到的目标人脸图像本身具有的细节特征较少，此时若对该目标人脸图像进行人脸修复时，修复后的该目标人脸图像中会生成更多的伪细节特征，从而使得修复后的目标人脸图像失真；由于图像中人脸偏转角度是多样的，当目标人脸图像的人脸偏转角度较大时，目标人脸图像只能展示正面可视部分的人脸区域的细节特征，若直接对该种目标人脸图像进行修复，人脸修复网络会直接修复出完整的正脸图像，这也会使修复后的图像大幅失真。因此，为了避免上述问题发生，需要基于修复条件对第一检测信息进行判断，当第一检测信息不满足修复条件时，不对目标人脸图像进行修复；当第一检测信息满足修复条件时，对目标人脸图像进行修复，得到第一修复图像，该第一修复图像是对初始图像中满足修复条件的目标人脸进行人脸修复后的修复图像。

本申请实施例中，基于超分网络提升第一修复图像整体的分辨率。由于上述人脸修复过程只对待修复图像中的人脸区域进行了修复，待修复图像中的其他区域的图像，如背景区域的图像、人体区域的图像、物体区域的图像等仍然处于分辨率较低的状态，因此在进行了人脸修复后，将所述第一修复图像输入超分网络，提升第一修复图像的分辨率。其中，由于满足修复条件的目标人脸图像已进行修复，因此，本申请实施例中将超分过程置于人脸检测和人脸修复之后，避免人脸修复时对超分过程产生的新增特征进行修复从而造成失真现象。

图2示出了一种图像修复流程示意图，该流程可应用于上述实施环境的服务器中，如图2所示，结合图2，为了使本领域技术人员更好的理解本申请的方案，接下来对本申请提出的一种图像修复方法进行详细阐述：

具体实施步骤S101时，所述待修复图像为具有至少一种图像问题的图像，所述待修复图像中包括的图像问题可以为：图像划痕、图像噪声、图像褪色、黑白图像以及图像模糊(图像分辨率低)。所述待修复图像也可以包括不具有图像问题的图像。

在一种可选的实施方式中，所述待修复图像可以是采集设备通过摄像头实时采集到的照片对应的数字图像，例如，所述待修复图像可以为移动终端通过摄像头现场拍摄的图像；所述待修复图像也可以为从采集设备的存储空间中获取的已有图像，例如，所述待修复图像可以为移动终端的相册或建立连接的云平台中已存储的图像。对于待修复图像的获取类型，可根据实际情况确定，本申请在此不作限制。

在一种可选的实施方式中，如图2所示，在获取待修复图像之后，在执行步骤S102对所述待修复图像进行去噪之前，对所述待修复图像进行划痕修复。图5示出了一种划痕修复方法流程图，如图5所示，包括如下步骤：

S301、对所述待修复图像进行划痕检测。

首先，将所述待修复图像输入划痕检测网络中进行划痕检测。其中，所述划痕检测网络为以无划痕图像和划痕图像(在所述无划痕图像上覆盖划痕特征的图像)作为一组训练数据组成的训练数据集对目标检测网络进行训练得到的，示例性地，所述目标检测网络可以为YOLO系列的检测网络(如YOLOv4、YOLOv5、YOLOv7等)，具体的目标检测网络可根据实际情况确定，本申请对此不作限制。

S3021-1、若检测到所述待修复图像中存在划痕，对所述待修复图像进行划痕强化处理，得到所述待修复图像对应的强化划痕特征图像。

在基于划痕检测网络检测到所述待修复图像中存在划痕的情况下，需要对待修复图像进行划痕修复处理，图6示出了一种划痕修复网络架构图，如图6所示，首先获取划痕检测网络输出的划痕区域特征图，所述划痕区域特征图为待修复图像中划痕区域的图像。具体而言，所述划痕修复网络对所述待修复图像进行掩码处理并进行归一化，得到掩码图像，所述掩码图像为元素值由0和1组成的掩码矩阵，由于所述掩码矩阵的元素与待修复图像中的像素一一对应，因此所述掩码矩阵与待修复图像大小相同，其中元素值为0代表黑色，对应所述待修复图像中的无划痕区域像素；元素值为1代表白色，对应所述待修复图像中的划痕区域像素，基于所述划痕区域像素的位置，获取所述待修复图像中的划痕区域特征图。

随后，对所述待修复图像对应的划痕区域特征图进行划痕强化处理，得到强化划痕区域特征图，其中，将所述划痕区域特征图中的像素点置于最小面积的规则框体区域中，对所述划痕区域特征图中的所有像素点执行上述操作，得到强化划痕区域，再将所述强化划痕区域中的像素值置为1，得到所述强化划痕区域特征图像。本申请通过将划痕区域特征图转换为强化划痕区域特征图像，降低了划痕区域的复杂性，基于所述强化划痕特征图像进行划痕修复，可以使划痕修复的修复效果得到有效提升。

S3021-2、将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，得到所述待修复图像对应的第二修复图像。

按照所述强化划痕特征图按照对应的划痕区域特征图在所述待修复图像中的位置，将所述强化划痕特征图与待修复图像进行组合，得到待修复图像对应的强化划痕特征图像；将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，划痕修复网络对待修复图像中的划痕特征与强化划痕特征图像中的强化划痕特征进行融合，得到所述待修复图像对应的第二修复图像。需要说明的是，所述划痕修复网络可以为以无划痕图像和强化划痕图像(在所述无划痕图像上覆盖强化划痕特征的图像)作为一组训练数据组成的训练数据集对特征融合网络进行训练得到的。

S3022、若检测到所述待修复图像中不存在划痕，将所述待修复图像作为所述第二修复图像。

S303、用所述第二修复图像更新所述待修复图像。

若检测到所述待修复图像不存在划痕，基于上述S3021-1和S3021-2的流程进行划痕修复得到第二修复图像，用所述第二修复图像更新所述待修复图像执行步骤S102进行去噪处理。

若检测到所述待修复图像中不存在划痕，则跳过所述划痕修复的流程，将所述待修复图像作为所述第二修复图像，随后直接执行步骤S102对所述待修复图像(第二修复图像)进行去噪处理。

具体实施步骤S102时，将所述待修复图像输入去噪网络进行去噪，图4示出了一种基于去噪网络的网络架构示意图，如图4所示，所述去噪网络包括第一分支和第二分支。其中，第一分支在去噪过程中引入盲点的影响，用于生成含有盲点的第一去噪图像，第二分支不引入盲点的影响，用于生成不含盲点的第二去噪图像，再将第一去噪图像和第二去噪图像进行组合，得到去噪后的初始图像。其中，去噪过程按照如下步骤进行：

S201、将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像。

将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，所述第一去噪图像为含有盲点的去噪图像。具体而言，所述第一分支还包括盲点生成子网络、去噪子网络以及合并子网络，图3示出了一种基于去噪网络第一分支的去噪方法流程图，如图3所示，包括如下步骤：

S201-1、将所述待修复图像输入所述盲点生成子网络，以对所述待修复图像中的目标区域的像素进行掩码处理，生成多张含有盲点的子图像。

将所述待修复图像输入盲点生成子网络，所述盲点生成子网络将所述待修复图像均分为相同大小的N个子图像(图中子图像1至子图像N)；随后对每张子图像进行掩码处理，获得N张含有盲点的子图像。示例性地，待修复图像为6*6的图像，将所述待修复图像分成2*2大小的9个子图像(N＝9)；随后将每个子图像中目标位置的像素点的像素值置为0(像素点为黑色)，得到9张含有盲点的子图像。需要说明的是，上述示例只是为了使本领域技术人员更好的理解本方案而提出的一种可选示例，具体的子图像数量、分割方式和掩码处理方式可根据实际情况确定，本申请在此不作限制。

S201-2、将所述多张含有盲点的子图像输入所述去噪子网络，以对每张含有盲点的子图像进行去噪处理，得到多张含有盲点的去噪子图像。

将所述多张含有盲点的子图像输入去噪子网络，所述去噪子网络用于根据每个子图像中盲点周围像素估计该盲点像素，输出对应的去噪子图像。

S201-3、将所述多张含有盲点的去噪子图像输入所述合并子网络，以对所述多张含有盲点的去噪子图像进行组合，得到所述第一去噪图像。

将所述多张含有盲点的去噪子图像输入所述合并子网络，所述合并子网络用于将多张去噪子图像中去噪后的盲点像素合并为一张图像，作为所述第一去噪图像输出。

S202、将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像。

将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像，所述第二去噪图像为不含盲点的去噪图像。具体而言，直接将待修复图像输入去噪子网络中，输出不含盲点的第二去噪图像。本申请通过去噪网络的第一分支在去噪过程中引入盲点影响，第二分支不引入盲点影响，从而避免去噪网络在对待修复图像进行去噪处理时产生恒等映射而无法实现有效去噪的问题。

S203、将所述第一去噪图像与所述第二去噪图像进行组合，得到所述初始图像。

对第一去噪图像赋予去噪权重，将第一去噪图像和第二去噪图像进行加权平均，得到的结果作为输出的所述初始图像。其中，所述去噪权重是基于去噪网络的训练优化得到的最优权重，所述去噪网络的训练采用的损失函数为基于第一去噪图像与待修复图像的第一损失(正则化项)以及基于初始图像与待修复图像的第二损失，在训练过程中，基于第一损失和第二损失对去噪网络中的可训练参数和权重进行优化。

具体实施步骤S103时，本申请实施例采用人脸检测网络对初始图像进行人脸检测，其中，人脸检测网络可以包括主干特征提取网络(Backbone)、颈部网络(Neck)以及头部网络，图7示出了一种人脸检测流程图，如图7所示，包括如下步骤：

S401、将所述初始图像输入主干特征提取网络，得到不同维度的特征图。

示例性地，所述主干特征提取网络可以选用MobilenetV1-0.25网络架构，具体而言，将初始图像作为主干特征提取网络的输入数据进行输入，基于主干特征提取网络对所述初始图像进行深度可分离卷积，得到多个不同维度的特征图，其中，主干提取网络用于将图像特征图内特征相关性的提取与特征图通道间特征相关性的提取分开进行，大幅减少模型参数的同时提高参数的可解释性。在基于主干特征提取网络对初始图像的处理获取多个不同维度的特征图后，取预设数量的特征图构建特征金字塔。图8示出了一种人脸检测网络的网络架构示意图，如图8所示，将初始图像输入主干特征提取网络进行深度可分离卷积，并将最后获取的第一特征图、第二特征图和第三特征图作为颈部网络的输入，用于构建特征金字塔。需要说明的是，上述示例只是为了使本领域技术人员更好的理解本申请提出的一种可选实施方式，具体的主干特征提取网络可根据实际情况进行选择，例如还可以选择Resnet等网络架构，对于主干特征提取网络的架构类型，本申请不作具体限制。

S402、将所述不同维度的特征图输入特征金字塔网络，以对所述不同维度的特征图进行特征提取，得到特征金字塔。

所述颈部网络包括特征金字塔网络(Feature Pyramid Networks，FPN)以及单阶段无头网络，其中，所述特征金字塔网络用于基于多个不同维度的特征图生成对应的特征金字塔，所述特征金字塔包含多个预测特征层，每个预测特征层与不同维度的特征图相对应。具体而言，将多个不同维度的特征图进行通道数调整，随后将深层的特征图经过上采样处理后与浅层的特征图进行融合，得到多个预测特征层，将得到的预测特征层构成所述特征金字塔。以图8所示的人脸检测网络为例，如图8所示，获取主干特征提取网络提取的第一特征图、第二特征图和第三特征图，调整第一特征图、第二特征图和第三特征图的通道数，将调整通道数后的第一特征图作为第一预测特征层；对调整通道数后的第一特征图进行上采样处理后与调整通道数后的第二特征图进行特征融合，得到第二预测特征层；对调整通道数后的第二特征图进行上采样处理后与调整通道数后的第三特征图进行特征融合，得到第三预测特征层；基于第一预测特征层、第二预测特征层以及第三预测特征层构建特征金字塔。

S403、将所述特征金字塔输入单阶段无头网络，以增加所述特征金字塔中的每个预测特征层的感受野，得到多个有效特征层。

在获取所述特征金字塔之后，将所述特征金字塔中的每个预测特征层输入单阶段无头网络以进一步增加感受野，加强特征提取，得到每个预测特征层对应的有效特征层。示例性地，所述单阶段无头网络可以为SSH(Single Stage Headless Face Detector)网络，所述SSH网络包含三个并行的检测模块，将每个预测特征层输入SSH网络，基于SSH网络中的三个并行的检测模块，分别在输入的预测特征层中引入上下文信息后融合，得到每个预测特征层对应的有效特征层。以图8所示的人脸检测网络为例，获取特征金字塔中的第一预测特征层、第二预测特征层以及第三预测特征层，分别输入SSH网络，得到对应的第一有效特征层、第二有效特征层以及第三有效特征层，将所述第一有效特征层、第二有效特征层以及第三有效特征层作为颈部网络的输出。

S404、将所述有效特征层分别输入第一头部子网络以及第二头部子网络，得到人脸框信息以及所述人脸偏转角度。

所述头部网络可以包括第一头部子网络和第二头部子网络，其中，第一头部子网络用于对有效特征层中先验框中的信息进行调整，获取人脸框信息，所述人脸框信息为在图像坐标系中人脸框的顶点坐标；第二头部子网络用于基于有效特征层获取人脸偏转角度，所述人脸偏转角度可以为人脸绕水平方向旋转的角度(0°～90°)，也可以为人脸偏转角度与侧面偏转角度(90°)的比值，当人脸未偏转时，表明该人脸图像为正面图像，此时人脸绕水平方向旋转角度为0°；当人脸完全偏转向侧面时，表明该人脸图像为完全侧面图像，此时人脸绕水平方向旋转角度为90°。

在一种可选的实施方式中，所述头部网络还可以包括第三头部子网络、第四头部子网络以及第五头部子网络，其中，第三头部子网络用于基于有效特征层获取人脸分类预测结果，所述人脸分类预测结果用于判断先验框中是否为人脸；所述第四头部子网络用于对有效特征层中先验框中的信息进行调整，获取人脸关键点信息；所述第五头部子网络用于基于有效特征层获取3D人脸顶点。

S405、基于所述人脸框信息确定所述人脸框大小；将所述人脸框大小以及所述人脸偏转角度作为所述第一检测信息。

所述人脸框信息为在图像坐标系中人脸框的顶点坐标，基于所述人脸框在所述图像坐标系中的坐标，获取人脸框大小，其中，所述图像坐标系为以初始图像所在平面为坐标平面，以初始图像左上角像素点为坐标原点构建的二维坐标系。将得到的人脸框大小以及人脸偏转角度作为第一检测信息，该第一检测信息用于结合修复条件对该初始图像是否需要进行人脸修复进行判断。

在一种可选的实施方式中，所述修复条件包括第一阈值和第二阈值，其中，所述第一阈值为人脸框尺寸阈值，所述第二阈值为人脸偏转角度阈值。在获取第一检测信息后，判断第一检测信息中人脸框大小与第一阈值的大小关系，当人脸框大小大于第一阈值时，说明初始图像中该人脸框对应的人脸图像具有的细节特征较多；当人脸框大小小于或等于第一阈值时，说明初始图像中该人脸框对应的人脸图像具有的细节特征较少，对该人脸图像进行人脸修复会导致失真。判断第一检测信息中人脸偏转角度与第二阈值的大小关系，当人脸偏转角度小于第二阈值时，说明初始图像中该人脸框对应的人脸图像的正面图像信息较多；当人脸偏转角度大于或等于第二阈值时，说明初始图像中该人脸框对应的人脸图像具有的正面图像信息较少，对该人脸图像进行人脸修复会导致将侧脸修复为正脸而导致失真。

所述修复条件综合基于第一阈值和第二阈值的判断结果，具体来说，在所述人脸框大小大于第一阈值且所述人脸偏转角度小于第二阈值的情况下，认为所述第一检测信息满足修复条件，对初始图像中的目标人脸图像执行人脸修复，得到第一修复图像；在所述人脸框大小小于或等于第一阈值，或，所述人脸偏转角度大于或等于第二阈值的情况下，认为所述第一检测信息不满足修复条件，对初始图像中的目标人脸图像不执行人脸修复，将所述初始图像作为所述第一修复图像。

例如，初始图像中目标人脸图像的第一检测信息为人脸框大小400像素*400像素，人脸偏转角度为0.6(人脸水平旋转角度与完全侧面角度的比值)。修复条件中第一阈值为300像素*300像素，第二阈值为0.8，则经过判断得到人脸框大小大于第一阈值，且人脸偏转角度小于第二阈值，此时第一检测信息满足修复条件，对初始图像中目标人脸图像进行人脸修复，得到第一修复图像。需要说明的是，所述第一阈值和第二阈值可根据实际情况设定数值，本申请不作具体限制。

具体实施步骤S104时，对所述初始图像输入人脸修复网络进行人脸修复，得到第一修复图像，所述人脸修复网络包括编码网络、映射网络以及解码网络组成。具体而言，图9示出了一种人脸修复网络的网络架构示意图，如图9所示，首先将初始图像输入编码网络，编码网络由N个串联的下采样层(图9中D1至DN)组成，基于所述编码网络中串联的多个下采样层，对所述初始图像进行多次下采样处理，得到多个下采样层输出的特征图；将最后一个下采样层输出的特征图输入全连接层(图9中FC，fully connected layers)进行处理后输入映射网络进行投射，生成权重值，该权重值用于在解码网络中进行仿射变换；与此同时，将每个下采样输出特征图输入其对应的上采样层中，在每个上采样层中基于其对应的下采样输出特征图控制全局人脸结构、局部人脸细节以及人脸图像背景的重建，完成对人脸图像的修复。

解码网络由由N个串联的上采样层(图9中U1至UN)组成，基于所述解码网络中串联的多个上采样层，对下采样层输出的特征图进行处理，得到所述第一修复图像。例如，先将初始噪声(图9中Const)输入解码网络的第一上采样层(U1)中，并接收第一下采样层(D1)输出的特征图以及权重值，基于第一上采样层获取第一上采样层输出的特征图输入下一上采样层中，经过解码网络中所有上采样层处理，最终获取第一修复图像。

具体实施步骤S105时，基于超分网络对第一修复图像进行超分处理，其中，所述超分网络为N-Net结构的网络，所述超分网络包括多个下采样层以及上采样层，首先对所述第一修复图像进行多次预设倍数的下采样处理，并进行特征提取和合并，得到多个下采样层输出的特征图；随后，对每一个下采样层，取其上一个下采样层输出的特征图进行预设倍数的上采样处理，使上一个下采样层输出的特征图与本下采样层输出的特征图的尺寸相同，将两者进行融合作为每个下采样层对应的融合特征图，经过所有上采样处理后得到修复特征图，所述修复特征图与第一修复图像的尺寸相同；最后对所述修复特征图进行多倍上采样处理，得到所述待修复图像对应的所述修复图像。

图10示出了一种超分网络的网络架构示意图，以图10为例，采用两个下采样层和上采样层进行超分处理。将第一修复图像输入超分网络，先对所述第一修复图像进行特征提取和合并，得到特征图1；将特征图1输入下采样层1进行预设倍数的下采样，并进行特征提取和合并，得到特征图2；将特征图2输入下采样层2进行预设倍数的下采样，并进行特征提取和合并，得到特征图3，至此完成下采样的过程。随后，将特征图3输入上采样层1，进行预设倍数的上采样，将上采样后的特征图3与特征图2进行融合并进行特征提取，得到融合特征2；将融合特征2输入上采样层2，进行预设倍数的上采样，将上采样后的融合特征2与特征图1进行融合并进行特征提取，得到融合特征1(即修复特征图)，此时融合特征1与第一修复图像尺寸相同；最后对融合特征1进行多倍上采样，得到所述待修复图像对应的修复图像。

需要说明的是，上述超分网络中下采样次数以及预设倍数可根据实际情况确定，上述示例只是为了使本领域技术人员更好的理解本申请而给出的一种具体情况，对于超分网络中下采样次数以及预设倍数本申请不作具体限制。

在一种可选的实施方式中，在得到所述待修复图像对应的修复图像之后，基于着色网络对修复图像进行上色。图11示出了一种着色网络的网络架构示意图，如图11所示，所述着色网络包括目标检测网络、实例着色网络以及全图像着色网络，其中，目标检测网络用于获取着色实例框，所述着色实例框中包含需要进行着色的实例图像，实例图像为修复图像中的前景图像，例如人体区域图像等；实例着色网络用于对实例图像进行着色，全图像着色网络用于对修复图像(包括前景图像以及背景图像)整体进行着色。具体而言，将所述修复图像输入目标检测网络，获取所述修复图像中的实例图像，所述目标检测网络可以为Mask R-CNN检测网络；将所述实例图像输入实例着色网络，基于所述实例着色网络提取所述实例图像的实例图像特征，基于实例图像特征对实例图像进行着色，得到实例特征图；将所述修复图像输入全图像着色网络，以提取所述修复图像的全局图像特征，基于全局图像特征对修复图像进行着色，得到全局特征图；最后将所述实例特征图与所述全局特征图进行特征融合，获取所述修复图像对应的着色图像。

由于着色图像是基于着色网络进行着色得到的图像，因此其着色的颜色偏好不依赖于用户本身的喜好，因此着色图像与用户的颜色偏好可能存在冲突。因此，为了提升用户的体验，在一种可选的实施方式中，在获取所述着色图像之后，根据第三阈值判断输出的修复图像是否采用着色图像，所述第三阈值为颜色匹配度阈值。具体而言，首先获取用户输入的颜色偏好信息；随后，基于着色图像，获取着色图像的颜色信息；将着色图像的颜色信息与用户的颜色偏好信息进行匹配，获取所述着色图像的颜色信息与所述颜色偏好信息的颜色匹配度；判断颜色匹配对与第三阈值的大小关系，当颜色匹配度大于第一阈值时，说明着色图像的着色效果与用户的偏好相似度较大，可以满足用户的期待，则以所述着色图像更新所述修复图像。

当颜色匹配度小于或等于第三阈值时，说明着色图像的颜色与用户的期待颜色差距较大，则放弃该着色图像，在目标次数内重复上述着色过程对修复图像进行着色。若在目标次数内颜色匹配度大于第三阈值，以本次的着色图像更新所述修复图像；若达到目标次数颜色匹配度均小于或等于第三阈值时，输出未着色的修复图像。通过引入用户的偏好信息，并基于第三阈值输出满足最能满足用户期待的修复图像，保证输出的修复图像的颜色更接近用户的颜色偏好，提升了用户的体验。

本申请提供一种图像修复方法，包括：获取待修复图像；将所述待修复图像输入去噪网络，以去除所述待修复图像中的噪声，得到初始图像；对所述初始图像进行人脸检测，得到第一检测信息，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度；在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；将所述第一修复图像输入超分网络，以提升所述第一修复图像的分辨率，得到所述待修复图像对应的修复图像。

本申请构建了一种图像修复流程化处理的方法，按照预设顺序对待修复图像进行针对不同问题的检测和修复，使得不同类型的待修复图像均可以根据本申请的方法进行修复，用户无需因待修复图像具有的不同类型问题，自行组装不同的修复网络和流程，大大降低了图像修复过程所需耗费的人力；另一方面，本申请对图像先进行去噪处理再进行超分修复，对于同时需要进行去噪和超分处理的图像，避免了由于噪声对超分阶段产生的不良影响导致的图像修复质量下降的问题。

基于同一发明构思，本申请实施例公开一种图像修复装置，图12示出了一种图像修复装置示意图，如图12所示，所述图像修复装置包括：

获取模块，用于获取待修复图像；

去噪模块，用于将所述待修复图像输入去噪网络，得到初始图像；

第一检测模块，用于对所述初始图像进行人脸检测，得到第一检测信息；

第一修复模块，用于在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；

第一超分模块，用于将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

在一种可选的实施方式中，所述装置还包括：

第二检测模块，用于对所述待修复图像进行划痕检测；

增强模块，用于若检测到所述待修复图像中存在划痕，对所述待修复图像进行划痕强化处理，得到所述待修复图像对应的强化划痕特征图像；

第二修复模块，用于将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，得到所述待修复图像对应的第二修复图像；

第一更新模块，用于用所述第二修复图像更新所述待修复图像。

在一种可选的实施方式中，所述装置还包括：

第二更新模块，用于若检测到所述待修复图像中不存在划痕，将所述待修复图像作为所述第二修复图像。

在一种可选的实施方式中，所述装置还包括：

第三修复模块，用于在所述第一检测信息不满足所述修复条件时，将所述初始图像作为所述第一修复图像；

第二超分模块，用于将所述第一修复图像输入所述超分网络，得到所述待修复图像对应的所述修复图像。

在一种可选的实施方式中，所述装置还包括：

实例图像获取模块，用于将所述修复图像输入目标检测网络，获取所述修复图像中的实例图像；

第一着色模块，用于将所述实例图像输入实例着色网络，以提取所述实例图像的实例图像特征，得到实例特征图；

第二着色模块，用于将所述修复图像输入全图像着色网络，以提取所述修复图像的全局图像特征，得到全局特征图；

着色融合模块，用于将所述实例特征图与所述全局特征图进行融合，得到所述修复图像对应的着色图像。

在一种可选的实施方式中，所述装置还包括：

颜色偏好获取模块，用于获取用户输入的颜色偏好信息；

匹配度获取模块，用于基于所述颜色偏好信息，获取所述着色图像的颜色信息与所述颜色偏好信息的颜色匹配度；

第三更新模块，用于若所述颜色匹配度大于第三阈值，以所述着色图像更新所述修复图像。

在一种可选的实施方式中，所述去噪模块，包括：

第一去噪子模块，用于将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，所述第一去噪图像为含有盲点的去噪图像；

第二去噪子模块，用于将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像，所述第二去噪图像为不含盲点的去噪图像；

组合子模块，用于将所述第一去噪图像与所述第二去噪图像进行组合，得到所述初始图像。

在一种可选的实施方式中，所述第一去噪子模块，包括：

盲点生成子单元，用于将所述待修复图像输入所述盲点生成子网络，以对所述待修复图像中的目标区域的像素进行掩码处理，生成多张含有盲点的子图像；

盲点去噪子单元，用于将所述多张含有盲点的子图像输入所述去噪子网络，以对每张含有盲点的子图像进行去噪处理，得到多张含有盲点的去噪子图像；

组合子单元，用于将所述多张含有盲点的去噪子图像输入所述合并子网络，以对所述多张含有盲点的去噪子图像进行组合，得到所述第一去噪图像。

在一种可选的实施方式中，所述第一检测模块，包括：

主干子模块，用于将所述初始图像输入主干特征提取网络，得到不同维度的特征图；

特征金字塔获取子模块，用于将所述不同维度的特征图输入特征金字塔网络，以对所述不同维度的特征图进行特征提取，得到特征金字塔，所述特征金字塔包含多个预测特征层；

特征融合子模块，用于将所述特征金字塔输入单阶段无头网络，以增加所述特征金字塔中的每个预测特征层的感受野，得到多个有效特征层；

头部子模块，用于将所述有效特征层分别输入第一头部子网络以及第二头部子网络，得到人脸框信息以及所述人脸偏转角度；

第一检测信息获取子模块，用于基于所述人脸框信息确定所述人脸框大小；将所述人脸框大小以及所述人脸偏转角度作为所述第一检测信息。

在一种可选的实施方式中，所述第一修复模块，包括：

编码子模块，用于将所述初始图像输入编码网络，基于所述编码网络中串联的多个下采样层，对所述初始图像进行多次下采样处理，得到多个下采样层输出的特征图；

映射子模块，用于将最后一个下采样层输出的特征图输入映射网络，生成权重值；

解码子模块，用于基于解码网络，对下采样层输出的特征图进行处理，得到所述第一修复图像，所述解码网络由多个上采样层串联组成，每个上采样层的输入数据包括与所述每个上采样层对应的下采样层输出的特征图、上一个上采样层输出的特征图以及所述权重值。

在一种可选的实施方式中，所述第一超分模块，包括：

下采样子模块，用于对所述第一修复图像进行多次预设倍数的下采样处理，得到多个下采样层输出的特征图；

第一上采样子模块，用于对每个下采样层对应的融合特征图进行预设倍数的上采样处理，得到修复特征图，所述每个下采样层对应的融合特征图为将上一个下采样层输出的特征图进行预设倍数的上采样处理后，与本下采样层输出的特征图进行融合得到的；

第二上采样子模块，用于对所述修复特征图进行多倍上采样处理，得到所述修复图像。

基于同一发明构思，本申请实施例公开一种电子设备，图13示出了本申请实施例提出的电子设备的示意图，如图13所示，电子设备100包括：存储器110和处理器120，存储器110与处理器120之间通过总线通信连接，存储器110中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集可在处理器120上加载并运行，以实现本申请实施例公开的一种图像修复方法中的步骤。

基于同一发明构思，本申请实施例公开一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现本申请实施例公开的一种图像修复方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本发明实施例是参照根据本发明实施例的方法、装置、电子设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像修复方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像修复方法，其特征在于，包括：

获取待修复图像；

将所述待修复图像输入去噪网络，得到初始图像；

对所述初始图像进行人脸检测，得到第一检测信息；

在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；

将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

2.根据权利要求1所述的图像修复方法，其特征在于，在所述获取待修复图像之后，在所述将所述待修复图像输入去噪网络之前，所述方法还包括：

对所述待修复图像进行划痕检测；

若检测到所述待修复图像中存在划痕，对所述待修复图像进行划痕强化处理，得到所述待修复图像对应的强化划痕特征图像；

将所述强化划痕特征图像以及所述待修复图像输入划痕修复网络，得到所述待修复图像对应的第二修复图像；

用所述第二修复图像更新所述待修复图像。

3.根据权利要求2所述的图像修复方法，其特征在于，若检测到所述待修复图像中不存在划痕，将所述待修复图像作为所述第二修复图像。

4.根据权利要求1所述的图像修复方法，其特征在于，所述第一检测信息包括以下至少一项：人脸框大小以及人脸偏转角度；所述第一检测信息满足修复条件，包括：

所述人脸框大小大于第一阈值且所述人脸偏转角度小于第二阈值；

所述第一检测信息不满足所述修复条件，包括：

所述人脸框大小小于或等于所述第一阈值，或，所述人脸偏转角度大于或等于所述第二阈值；

其中，所述第一阈值为人脸框尺寸阈值，所述第二阈值为人脸偏转角度阈值。

5.根据权利要求1所述的图像修复方法，其特征在于，在得到第一检测信息之后，所述方法还包括：

在所述第一检测信息不满足所述修复条件时，将所述初始图像作为所述第一修复图像；

将所述第一修复图像输入所述超分网络，得到所述待修复图像对应的所述修复图像。

6.根据权利要求1所述的图像修复方法，其特征在于，在得到所述待修复图像对应的修复图像之后，所述方法还包括：

将所述修复图像输入目标检测网络，获取所述修复图像中的实例图像；

将所述实例图像输入实例着色网络，以提取所述实例图像的实例图像特征，得到实例特征图；

将所述修复图像输入全图像着色网络，以提取所述修复图像的全局图像特征，得到全局特征图；

将所述实例特征图与所述全局特征图进行融合，得到所述修复图像对应的着色图像。

7.根据权利要求6所述的图像修复方法，其特征在于，在得到所述修复图像对应的着色图像之后，所述方法还包括：

获取用户输入的颜色偏好信息；

基于所述颜色偏好信息，获取所述着色图像的颜色信息与所述颜色偏好信息的颜色匹配度；

若所述颜色匹配度大于第三阈值，以所述着色图像更新所述修复图像。

8.根据权利要求1所述的图像修复方法，其特征在于，所述去噪网络包括第一分支和第二分支，将所述待修复图像输入去噪网络，以去除所述待修复图像中的噪声，得到初始图像，包括：

将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，所述第一去噪图像为含有盲点的去噪图像；

将所述待修复图像输入所述第二分支，基于所述第二分支获取第二去噪图像，所述第二去噪图像为不含盲点的去噪图像；

将所述第一去噪图像与所述第二去噪图像进行组合，得到所述初始图像。

9.根据权利要求8所述的图像修复方法，其特征在于，所述第一分支包括盲点生成子网络、去噪子网络以及合并子网络，将所述待修复图像输入所述第一分支，基于所述第一分支获取第一去噪图像，包括：

将所述待修复图像输入所述盲点生成子网络，以对所述待修复图像中的目标区域的像素进行掩码处理，生成多张含有盲点的子图像；

将所述多张含有盲点的子图像输入所述去噪子网络，以对每张含有盲点的子图像进行去噪处理，得到多张含有盲点的去噪子图像；

将所述多张含有盲点的去噪子图像输入所述合并子网络，以对所述多张含有盲点的去噪子图像进行组合，得到所述第一去噪图像。

10.根据权利要求1所述的图像修复方法，其特征在于，对所述初始图像进行人脸检测，得到第一检测信息，包括：

将所述初始图像输入主干特征提取网络，得到不同维度的特征图；

将所述不同维度的特征图输入特征金字塔网络，以对所述不同维度的特征图进行特征提取，得到特征金字塔，所述特征金字塔包含多个预测特征层；

将所述特征金字塔输入单阶段无头网络，以增加所述特征金字塔中的每个预测特征层的感受野，得到多个有效特征层；

将所述有效特征层分别输入第一头部子网络以及第二头部子网络，得到人脸框信息以及所述人脸偏转角度；

基于所述人脸框信息确定所述人脸框大小；将所述人脸框大小以及所述人脸偏转角度作为所述第一检测信息。

11.根据权利要求1所述的图像修复方法，其特征在于，对所述初始图像进行人脸修复，得到第一修复图像，包括：

将所述初始图像输入编码网络，基于所述编码网络中串联的多个下采样层，对所述初始图像进行多次下采样处理，得到多个下采样层输出的特征图；

将最后一个下采样层输出的特征图输入映射网络，生成权重值；

基于解码网络，对下采样层输出的特征图进行处理，得到所述第一修复图像，所述解码网络由多个上采样层串联组成，每个上采样层的输入数据包括与所述每个上采样层对应的下采样层输出的特征图、上一个上采样层输出的特征图以及所述权重值。

12.根据权利要求1所述的图像修复方法，其特征在于，将所述第一修复图像输入超分网络，以提升所述第一修复图像的分辨率，得到所述待修复图像对应的修复图像，包括：

对所述第一修复图像进行多次预设倍数的下采样处理，得到多个下采样层输出的特征图；

对每个下采样层对应的融合特征图进行预设倍数的上采样处理，得到修复特征图，所述每个下采样层对应的融合特征图为将上一个下采样层输出的特征图进行预设倍数的上采样处理后，与本下采样层输出的特征图进行融合得到的；

对所述修复特征图进行多倍上采样处理，得到所述修复图像。

13.一种图像修复装置，其特征在于，包括：

获取模块，用于获取待修复图像；

去噪模块，用于将所述待修复图像输入去噪网络，得到初始图像；

第一检测模块，用于对所述初始图像进行人脸检测，得到第一检测信息；

第一修复模块，用于在所述第一检测信息满足修复条件时，对所述初始图像进行人脸修复，得到第一修复图像；

第一超分模块，用于将所述第一修复图像输入超分网络，得到所述待修复图像对应的修复图像。

14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的图像修复方法。

15.一种非瞬态计算机存储介质，其特征在于，所述非瞬态计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的图像修复方法。

Images