CN117036178A - 一种图像修复方法、装置、计算机设备、介质及程序 - Google Patents

Abstract

本发明实施例公开了一种图像修复方法、装置、计算机设备、介质及程序；本发明实施例中可以获取待修复图像，所述待修复图像包含目标对象；对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；基于所述第一图像特征，确定所述目标对象的修复特征；将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。解决了图像修复效果不理想的问题，实现了同时改善待修复图像的高清和的可信度的效果。

Description

一种图像修复方法、装置、计算机设备、介质及程序

技术领域

本发明涉及图像处理领域，具体涉及一种图像修复方法、装置、计算机设备、介质及程序。

背景技术

目前图像修复的技术主要是利用各种先验知识方法来完成图像修复。例如在人脸图像修复时常见的先验知识方法包括如下几种：一是几何先验，比如人脸关键点，人脸分割图或者人脸组件热图，但是该方法无法提供足够的细节信息来恢复面部高清细节。二是参考先验，即使用固化的参考高清人脸图，或者根据高清人脸图构建一个高清的字典，但是该方法需要有高清人脸图像做参考而导致应用场景过于限制，三是基于脸部组件字典的参考先验，但是该方法需要事先构建高清的人脸部件的先验，有限的字典限制了模型结果的多样性与丰富性。因此现有的图像修复技术效果并不理想，且无法同时改善图像的高清和图像的可信效果。

发明内容

本发明实施例提供一种图像修复方法、装置、计算机设备、介质及程序，可以提高图像修复的效果。

一种图像修复方法，包括：

获取待修复图像，所述待修复图像包含目标对象；

对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；

基于所述第一图像特征，确定所述目标对象的修复特征；

将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；

基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

相应的，本发明实施例提供一种图像修复装置，包括：

获取单元，用于获取待修复图像，所述待修复图像包含目标对象；

提取单元，用于对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；

确定单元，用于基于所述第一图像特征，确定所述目标对象的修复特征；

融合单元，用于将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；

修复单元，用于基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

可选地，在一些实施例中，所述图像修复装置还可以包括融合单元，所述构建单元，具体可以用于对所述修复特征进行上采样卷积处理，得到多尺度修复特征；对所述第一图像特征进行下采样处理，得到多尺度图像特征；将所述多尺度修复特征和所述多尺度图像特征进行融合处理，得到多尺度下的融合修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括融合单元，所述构建单元，具体可以用于根据所述修复特征和所述第一图像特征进行位移卷积处理，以确定卷积采样位置的位移特征；根据所述位移特征对所述修复特征进行可变形卷积处理，得到所述融合修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括解码单元，所述构建单元，具体可以用于对所述融合修复特征进行解码处理，以对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

可选地，在一些实施例中，所述图像修复装置还可以包括上采样单元，所述构建单元，具体可以用于获取上采样尺度；基于所述上采样尺度，对所述融合修复特征进行上采样卷积处理。

可选地，在一些实施例中，所述图像修复装置还可以包括提取单元，所述构建单元，具体可以用于对所述待修复图像进行卷积操作，以提取所述待修复图像中所述目标对象的纹理、轮廓和位置中的至少一种；基于所述纹理、轮廓和位置中的至少一种，确定所述目标对象对应的第一图像特征。

可选地，在一些实施例中，所述图像修复装置还可以包括确定单元，所述构建单元，具体可以用于对所述第一图像特征进行下采样卷积处理，得到所述待修复图像中所述目标对象的第二图像特征；基于所述第二图像特征，确定所述目标对象的修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括确定单元，所述构建单元，具体可以用于获取与所述待修复图像中所述目标对象匹配的参考修复特征；基于所述第二图像特征和所述参考修复特征，确定所述目标对象的修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括修正单元，所述构建单元，具体可以用于计算所述参考修复特征与所述第二图像特征之间的相似度；基于相似度满足预设条件的参考修复特征，对所述第二图像特征进行修正，得到所述目标对象的修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括替换单元，所述构建单元，具体可以用于将相似度最高的参考修复特征，替换所述第二图像特征，得到所述目标对象的修复特征。

可选地，在一些实施例中，所述图像修复装置还可以包括判定单元，所述构建单元，具体可以用于计算所述参考修复特征与所述第二图像特征之间的特征距离；若所述特征距离小于预设阈值，则判定所述参考修复特征与所述第二图像特征之间的相似度满足预设条件。

此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像修复方法。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像修复方法中的步骤。

此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以执行本申请实施例所提供的任一项所述的图像修复方法。

本发明实施例中计算机设备获取待修复图像，所述待修复图像包含目标对象；对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；基于所述第一图像特征，确定所述目标对象的修复特征；将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像修复方法的流程示意图；

图2是本发明实施例提供的图像修复方法的另一流程示意图；

图3为本发明实施例提供的图像修复装置中的图像修复处理模块示意图；

图4为本发明实施例提供的图像修复装置中向量量化模块的示意图；

图5为本发明实施例提供的图像修复装置中纹理变形模块的示意图；

图6是本发明实施例提供的图像修复装置的结构示意图；

图7是本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像修复方法、装置、计算机设备、介质及程序。其中，该图像修复装置可以集成在计算机设备中，该计算机设备可以是电子设备，该电子设备可以是服务器，也可以是终端等设备，该介质即为计算机可读存储介质，该程序即为计算机程序产品或计算机程序。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

例如，参见图1，以图像修复装置集成在电子设备中为例，电子设备可以获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。

以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从图像修复装置的角度进行描述，该图像修复装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC，Personal Computer)、可穿戴设备、虚拟现实设备或其他可以获取数据的智能设备等设备。

一种图像修复方法，包括：

如图1所示，该图像修复方法的具体流程如下：

101、获取待修复图像，待修复图像包含目标对象。

其中，待修复图像可以是模糊的低质量的图像，待修复图像可以存在细节缺失或者图像中的部分组件缺失的情况，该目标对象可以是人脸、动物以及植物等对象中的一种或多种。

该图像修复方法的执行主体可以是电子设备或服务器，该修复图像可以从图像修复方法的执行主体中获取，也可以从独立于执行主体外的第三方电子设备或服务器中获取。例如，电子设备获取本地存储的待修复图像或者从服务器中获取待修复图像或者从第三方电子设备获取待修复图像，或者，服务器获取电子设备发送的待修复图像。

102、对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征。

其中，修复信息可以包括目标对象的纹理、轮廓和位置中的至少一种，该第一图像特征为修复信息相关的图像特征，该第一图像特征可以是多维的，可以包括多种修复信息，该第一图像特征也可以是多个与修复信息相关的图像特征组成的图像特征集合。例如，以目标对象为人脸为例，修复信息可以包括人脸部纹理、脸型轮廓、发型轮廓以及脸部各个五官组件位置中的至少一种，第一图像特征可以包括提取到的修复信息，不同的待修复图像所能识别到的修复信息不一定相同，因而不同带修复图像的第一图像特征也不一定相同，例如有的待修复图像中纹理缺失严重，已无法识别到纹理，因而第一图像特征中便可以不包含纹理特征。

对应地，对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征可以包括：对待修复图像进行卷积操作，以提取待修复图像中目标对象的纹理、轮廓和位置中的至少一种；基于纹理、轮廓和位置中的至少一种，确定目标对象对应的第一图像特征。

在一实施例中，以纹理为例，纹理是图像固有的特征之一，是灰度在空间以一定的形式变换而产生的图案，有时具有一定的周期性，纹理区域的像素灰度级分布具有一定的形式，而直方图正是描述图像中像素灰度级分布的有力工具，因此可以用直方图来描述纹理。例如，提取待修复图像中目标对象的第一图像特征可以采用预设的图像特征提取算法，将待修复图像分成小的连通区域，然后采集连通区域中各像素点的梯度的或边缘的方向直方图，最后把这些直方图组合起来，就可以构成图像的纹理特征，其中该预设的图像特征提取算法可以是方向梯度直方图(HOG，Histogram of Oriented Gradient)特征提取算法。

例如，将待修复图像通过方向梯度直方图特征提取算法进行卷积操作，从而提取待修复图像中目标对象的纹理、轮廓和位置中的至少一种，并将待修复图像中目标对象的纹理、轮廓和位置中的至少一种组成的特征集作为目标对象对应的第一图像特征。

103、基于第一图像特征，确定目标对象的修复特征。

其中，该修复特征与第一图像特征为对应关系，该修复特征可以为多个且多维的修复特征组成的修复特征集合，修复特征可以用来对第一图像特征进行正，从而修复待修复图像的。例如，若第一图像特征为低质量的目标对象的轮廓特征，则修复特征可以是该轮廓特征对应的高质量的轮廓特征，通过第一图像特征确定对应的修复特征，可以实现对待修复图像中目标对象的第一图像特征进行准确地修正，从而修复待修复图像。

在一实施例中，基于第一图像特征，确定目标对象的修复特征可以包括：

S1、对第一图像特征进行下采样卷积处理，得到待修复图像中目标对象的第二图像特征。

其中，该第二图像特征可以是多维的图像特征组成的图像特征集合，该下采样卷积处理可以是层级卷积处理，例如可以先获取下采样尺度，其中，该尺度可以是指空间尺度，如待修复图像中第一图像特征的空间尺度。按照该下采样尺度对第一图像特征进行层级下采样卷积处理，从而将第一图像特征的尺度降低，得到待修复图像中目标对象在最小尺度上的第二图像特征，该第二图像特征可以称作隐特征，该下采样卷积处理可以通过层级卷积神经网络实现。

可以理解的是，当对图像进行相关处理时，电子设备没有办法预先得知图像中目标对象的空间尺度，因此，需要同时考虑图像在多尺度下的描述，以确定目标对象的空间尺度。因此，可以将图像构建为一系列不同空间尺度的图像集，在不同的空间尺度中去检测图像特征。一般而言，图像特征的空间尺度越大，该图像特征中每个特征对应的像素区域越小，也就是该图像特征中包含的信息越多，图像特征的空间尺度越小，该图像特征中每个特征对应的像素区域越大。

例如，若待修复图像的原始的空间尺度信息为512x512像素，下采样尺度可以是将原始尺度信息除以2，那么对第一图像特征进行一次下采样卷积处理后可以得到空间尺度为256x256像素的图像特征，在进行将第一图像特征通过层级卷积神经网络进行4次下采样卷积处理，可以得到空间尺度为16x16像素的第二图像特征。

S2、基于第二图像特征，确定目标对象的修复特征。

在本实施例中，将第一图像特征进行层级卷积处理后得到第二图像特征，并基于第二图像特征确定目标对象的修复特征，而不是直接采用第一图像特征确定修复特征，是因为第一图像特征中每个图像特征对应的像素区域太小，可能出现一个图像特征是一个像素点的情况，这样过于小的无法准确匹配修复特征，从而导致修复特征不准确，而采用最小尺度的第二图像特征来确定修复特征，这样可以更容易确定与第二图像特征匹配的目标对象的修复特征。

在一实施例中，基于第二图像特征，确定目标对象的修复特征可以包括：

(1)获取与待修复图像中目标对象匹配的参考修复特征。

其中，参考修复特征可以是从目标对象对应的向量量化字典中获取，该向量量化字典中包含目标对象对应的大量的参考修复特征以及特征匹配算法，该参考修复特征是从大量的真实目标对象对应的高质量图像样本中提取得到的，其中包含真实的图像细节信息。可以将参考修复特征与第二图像特征进行匹配，从而修复待修复图像中的目标对象。

在一实施例中，电子设备可以从本地获取目标对象对应的向量量化字典，或者从服务器中获取目标对象对应的向量量化字典，并从该向量量化字典中获取与待修复图像中目标对象匹配的参考修复特征。

(2)基于第二图像特征和参考修复特征，确定目标对象的修复特征。

其中，修复特征是参考修复特征中与第二图像特征匹配的特征。

例如，对于第二图像特征中的每一个空间位置上的特征向量，计算参考修复特征中的特征向量与第二图像特征中的每一个空间位置上的特征向量之间的匹配度以确定参考修复特征与第二图像特征之间的匹配度，将与第二图像特征最匹配的参考修复特征作为目标对象的修复特征。

可选地，在一实施例中，该匹配度可以是特征之间的相似度，相似度越高即匹配度越高，基于第二图像特征和参考修复特征，确定目标对象的修复特征，可以包括：

计算参考修复特征与第二图像特征之间的相似度；基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征。

其中，计算参考修复特征与第二图像特征之间的相似度，可以包括：计算参考修复特征与第二图像特征中特征向量之间的特征距离，其中该特征距离可以是欧氏距离，根据特征距离确定参考修复特征与第二图像特征中特征向量之间的相似度。其中，该特征距离越小，参考修复特征与第二图像特征中特征向量之间的相似度越高。在本实施例中，可以预先将参考修复特征与第二图像特征中特征向量之间的特征距离与相似度之间设置好映射关系，从而可以在计算出参考修复特征与第二图像特征中特征向量之间的特征距离后，可以根据该映射关系快速确定参考修复特征与第二图像特征中特征向量之间的相似度。

在一实施例中，基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征，之前可以包括：计算参考修复特征与第二图像特征之间的特征距离；若特征距离小于预设阈值，则判定参考修复特征与第二图像特征之间的相似度满足预设条件。

其中，该预设阈值可以预先设定好，该预设阈值可以是一个固定的值，也可以是根据所有特征距离的值按照百分比计算的阈值，例如，若计算参考修复特征中100个参考修复特征与第二图像特征中的一个图像特征A之间的特征距离后得到100个特征距离，那么可以将这100个特征距离按照从小到大的顺序进行排序，选择排序前1％的特征距离作为该预设阈值，若计算参考修复特征中1000个参考修复特征与第二图像特征中的一个图像特征A之间的特征距离后得到1000个特征距离，那么可以将这1000个特征距离按照从小到大的顺序进行排序，选择排序前0.1％的特征距离作为该预设阈值。若计算得到预设阈值为3，那么特征距离小于3的参考修复特征即为相似度满足预设。

在一实施例中，特征距离小于预设阈值的参考修复特征可以为多个，基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征，可以包括：将特征距离小于预设阈值的多个参考修复特征进行特征融合后，对第二图像特征进行修正，得到目标对象的修复特征，或者，选择特征距离小于预设阈值的多个参考修复特征中特征距离最小的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征。

在一实施例中，特征距离小于预设阈值的参考修复特征可以为多个，基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征，可以包括：将特征距离小于预设阈值的多个参考修复特征进行特征融合后，对第二图像特征进行修正，得到目标对象的修复特征，或者，选择特征距离小于预设阈值的多个参考修复特征中特征距离最小的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征。

在一实施例中，基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征，之前可以包括：计算参考修复特征与第二图像特征之间的特征距离；若特征距离最小，则判定参考修复特征与第二图像特征之间的相似度满足预设条件。

例如，计算参考修复特征A、B、C以及D与第二图像特征X之间的特征距离分别为2、4、3以及1，那么参考修复特征D与第二图像特征X之间的特征距离最小，则判定参考修复特征与第二图像特征X之间的相似度满足预设条件，则基于参考修复特征D，对第二图像特征X进行修正，得到目标对象的修复特征。

在一实施例中，基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征，可以包括：将相似度最高的参考修复特征，替换第二图像特征，得到目标对象的修复特征。

例如，计算参考修复特征A、B、C以及D与第二图像特征X之间的特征距离，若参考修复特征D与第二图像特征X之间的特征距离最小，则判定将该参考修复特征D与第二图像特征X之间的相似度最高，则将该参考修复特征D替换掉第二图像特征X，作为修复特征。

104、将修复特征和第一图像特征进行融合处理，得到融合修复特征。

其中，该融合处理可以是特征变形处理，如将修复特征变形到第一图像特征对应的信息上，从而得到融合修复特征。

在本实施例中，由于修复特征具备目标对象对应的高质量的细节特征，但由于该修复特征是通过对参考修复特征相似度匹配得到的，因而该结果虽然包含了目标对象的细节特征，但是存在一定的不可信度，而第一图像特征是通过待修复图像直接提取得到的，因而具备可信度，因此将修复特征与第一图像特征进行融合处理，可以同时改善待修复图像对应的修复后图像的质量和可信度效果。

可选地，该修复特征可以包括多尺度修复特征，该第一图像特征可以包括多尺度图像特征。将修复特征和第一图像特征进行融合处理，得到融合修复特征，可以包括：

S1、对修复特征进行上采样卷积处理，得到多尺度修复特征。

需要说明的是，由于第一图像特征以及第二图像特征均是单一空间尺度上的，而基于单一空间尺度上的第一图像特征或者第二图像特征得到的修复特征也是单一空间尺度上的特征，因此基于单一空间尺度上的修复特征以及单一空间尺度上的第一图像特征得到的融合修复特征，不能准确地修复待修复图像中的目标对象。因此为了更准确地确定融合修复特征，可以将修复特征与第一图像特征均在所有尺度上进行缩放，从而得到多尺度的修复特征与多尺度的第一图像特征。

例如，获取预设的采样尺度，根据该采样尺度对修复特征进行上采样卷积处理，得到多尺度修复特征。例如，若预设的采样尺度为2的一次方，修复特征的尺度为16x16像素的，待修复图像的原始尺度为512x512像素，那么按照预设的采样尺度对修复特征进行一次上采样卷积处理，可以得到32x32像素尺度下的的修复特征，多次对修复特征进行上采样卷积处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的修复特征。

S2、对第一图像特征进行下采样处理，得到多尺度图像特征。

需要说明的是，为了保留第一图像特征中与待修复图像相关的特征，所以将第一图像特征缩放在各个尺度上时，不进行卷积处理，而只对第一图像特征进行简单的差值计算来缩放得到所有尺度上的第一图像特征。

例如，获取预设的采样尺度，根据该采样尺度对第一图像特征进行下采样差值处理，得到多尺度图像特征。例如若预设的采样尺度为2的一次方，第一图像特征的尺度为512x512像素的，待修复图像的原始尺度为512x512像素，那么按照预设的采样尺度对第一图像特征进行一次下采样差值处理，可以得到256x256像素尺度下的的第一图像特征，多次对第一图像特征进行下采样卷积处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的图像特征。

S3、将多尺度修复特征和多尺度图像特征进行融合处理，得到多尺度下的融合修复特征。

例如，将尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的修复特征与尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的第一图像特征分别进行融合处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的融合修复特征。

可选地，在一实施例中，将修复特征和第一图像特征进行融合处理，得到融合修复特征，还可以包括：

S4、根据修复特征和第一图像特征进行位移卷积处理，以确定卷积采样位置的位移特征。

例如，对于16x16尺度下的修复特征以及第一图像特征，若修复特征的维度为256，第一图像特征的维度为256，将修复特征与第一图像特征在维度通道上并联起来得到维度为256，空间尺度为16x16的修复特征以及第一图像特征，将该修复特征以及第一图像特征通过位移卷积处理，生成该修复特征以及第一图像特征对应的位移特征。

其中，该修复特征以及第一图像特征均可以是多尺度的，将多尺度下的修复特征以及第一图像特征分别通过位移卷积处理，可以生成多尺度的位移特征。

S5、根据位移特征对修复特征进行可变形卷积处理，得到融合修复特征。

例如，将该位移特征以及修复特征输入到可变形卷积中，得到融合修复特征。其中该位移特征以及修复特征可以是多尺度的位移特征以及修复特征，将多尺度的位移特征以及修复特征分别输入到可变形卷积中，得到多尺度的融合修复特征。

105、基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。

在一实施例中，基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像，可以包括：对融合修复特征进行解码处理，以对待修复图像中的目标对象进行修复，得到修复后图像。

其中，融合修复特征可以是多尺度的融合修复特征，对融合修复特征进行解码处理，包括：获取上采样尺度；基于上采样尺度，对融合修复特征进行上采样卷积处理。

在一实施例中，若多尺度的融合修复特征的尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素，待修复图像的尺度为512x512像素，那么基于上采样尺度，对融合修复特征进行上采样卷积处理可以包括：按照从小到大的顺序对各个尺度的融合修复特征进行上采样卷积处理，例如，若上采样尺度为2，对尺度为16x16像素的融合修复特征进行一次上采样卷积处理，可以得到32x32尺度的融合修复特征，将32x32尺度上的融合修复特征再次进行上采样卷积处理，可以得到64x64尺度上的融合修复特征，依次执行上述步骤，最终得到512x512上的融合修复特征，该尺度的融合修复特征即为修复后的目标对象，根据该修复后的目标对象即可确定修复后图像。

在本实施例提供的技术方案中，电子设备获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像修复装置具体集成在电子设备，如图2所示，一种图像修复方法，具体流程如下：

201、电子设备获取待修复图像，待修复图像包含目标对象。

其中，待修复图像可以是模糊的低质量的图像，低质量可以指低清晰度或者待修复图像有缺陷，待修复图像可以存在细节缺失或者图像中的部分组件缺失的情况，在本实施例中该目标对象以人脸为例，该待修复图像可以是低质量的人脸图像。

例如，电子设备可以从获取本地存储的待修复图像或者从服务器中获取待修复图像或者从第三方电子设备获取待修复图像。

202、电子设备对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征。

其中，修复信息包括目标对象的纹理、轮廓和位置中的至少一种，该第一图像特征为修复信息相关的图像特征，可以包括多种修复信息，该第一图像特征可以是多维的，也可以是多个与修复信息相关的图像特征组成的图像特征集合。例如，以目标对象为人脸为例，修复信息可以包括人脸部纹理、脸型轮廓、发型轮廓以及脸部各个五官组件位置中的至少一种，第一图像特征可以包括提取到的修复信息，不同的待修复图像所能识别到的修复信息不一定相同，因而不同带修复图像的第一图像特征也不一定相同。

例如，电子设备可以通过图像特征提取算法提取到待修复图像中目标对象对应的第一图像特征。该图像特征提取算法可以是方向梯度直方图(HOG，Histogram of OrientedGradient)特征提取算法，在此并不对图像特征提取算法进行限制。

203、电子设备对第一图像特征进行下采样卷积处理，得到待修复图像中目标对象的第二图像特征。

其中，该第一图像特征为待修复图像原始尺度的图像特征，该第二图像特征为第一图像特征卷积处理得到的低尺度的图像特征，该第二图像特征可以是多维的图像特征组成的图像特征集合。该下采样卷积处理可以是层级卷积处理，例如可以先获取下采样尺度，其中，该尺度可以是指空间尺度，如待修复图像中第一图像特征的空间尺度。按照该下采样尺度对第一图像特征进行层级下采样卷积处理，从而将第一图像特征的尺度降低，得到待修复图像中目标对象在最小尺度上的第二图像特征，该第二图像特征可以称作隐特征，该下采样卷积处理可以通过层级卷积神经网络实现。

可以理解的是，当对图像进行相关处理时，电子设备没有办法预先得知图像中目标对象的空间尺度，因此，需要同时考虑图像在多尺度下的描述，以确定目标对象的空间尺度。因此，可以将图像构建为一系列不同空间尺度的图像集，在不同的空间尺度中去检测图像特征。一般而言，图像特征的空间尺度越大，该图像特征中每个特征对应的像素区域越小，也就是该图像特征中包含的信息越多，图像特征的空间尺度越小，该图像特征中每个特征对应的像素区域越大。

例如，若待修复图像的原始的空间尺度信息为512x512像素，下采样尺度可以是将原始尺度信息除以2的一次方，那么对第一图像特征进行一次下采样卷积处理后可以得到空间尺度为256x256像素的图像特征，在进行将第一图像特征通过层级卷积神经网络进行4次下采样卷积处理，可以得到空间尺度为16x16像素的第二图像特征，该第二图像特征可以称作待修复图像中目标对象对应的隐特征。

204、电子设备获取与待修复图像中目标对象匹配的参考修复特征。

其中，参考修复特征可以是从目标对象对应的向量量化字典中获取，该向量量化字典中包含目标对象对应的大量的参考修复特征以及特征匹配算法，以人脸图像为例，该参考修复特征是从大量的真实人脸高质量图像样本中提取得到的，其中包含真实的人脸细节信息。可以将参考修复特征与第二图像特征进行匹配，从而修复待修复图像中的目标对象。在本实施例中该参考修复特征可以是高质量的人脸图像特征。

例如，电子设备可以从本地获取目标对象对应的向量量化字典，或者从服务器中获取目标对象对应的向量量化字典，并从该向量量化字典中获取与待修复图像中目标对象匹配的参考修复特征。

205、电子设备基于第二图像特征和参考修复特征，确定目标对象的修复特征。

其中，修复特征是参考修复特征中与第二图像特征匹配的特征，在本实施例中，该参考修复特征可以目标对象对应的高质量的人脸图像特征，该修复特征可以与目标对象中提取的第二图像特征最相似的高质量人脸图像特征。

需要说明的是，人脸部图像的特征分的越小，会不容易进行准确的特征匹配，因此为了能更准确地对人脸进行特征匹配，向量量化字典中的参考修复特征可以设置为低尺度的参考修复特征，该参考修复特征中的一个特征可以表示人脸部一小片区域的特征。因而在本实施例中需要对待修复图像对应的原尺度的第一图像特征进行层级卷积处理后得到低尺度的图像特征第二图像特征，并采用低尺度的第二图像特征匹配目标对象的修复特征，从而能够更容易与字典中的参考修复特征进行匹配，提高修复特征匹配的准确性。

可选地，在一实施例中，可以计算参考修复特征与第二图像特征之间的相似度；基于相似度满足预设条件的参考修复特征，对第二图像特征进行替换，得到目标对象的修复特征。

其中，计算参考修复特征与第二图像特征之间的相似度，可以包括：计算参考修复特征与第二图像特征中特征向量之间的特征距离，其中该特征距离可以是欧氏距离，根据特征距离确定参考修复特征与第二图像特征中特征向量之间的相似度。其中，该特征距离越小，参考修复特征与第二图像特征中特征向量之间的相似度越高。在本实施例中，可以预先将参考修复特征与第二图像特征中特征向量之间的特征距离与相似度之间设置好映射关系，从而可以在计算出参考修复特征与第二图像特征中特征向量之间的特征距离后，可以根据该映射关系快速确定参考修复特征与第二图像特征中特征向量之间的相似度。

在一实施例中，电子设备基于相似度满足预设条件的参考修复特征，对第二图像特征进行替换，得到目标对象的修复特征，之前可以包括：计算参考修复特征与第二图像特征之间的特征距离；若特征距离小于预设阈值，则判定参考修复特征与第二图像特征之间的相似度满足预设条件。

其中，该预设阈值可以预先设定好，该预设阈值可以是一个固定的值，也可以是根据所有特征距离的值按照百分比计算的阈值，例如，若计算参考修复特征中100个参考修复特征与第二图像特征中的一个图像特征A之间的特征距离后得到100个特征距离，那么可以将这100个特征距离按照从小到大的顺序进行排序，选择排序前1％的特征距离作为该预设阈值，若计算参考修复特征中1000个参考修复特征与第二图像特征中的一个图像特征A之间的特征距离后得到1000个特征距离，那么可以将这1000个特征距离按照从小到大的顺序进行排序，选择排序前0.1％的特征距离作为该预设阈值。若计算得到预设阈值为3，那么特征距离小于3的参考修复特征即为相似度满足预设。

在一实施例中，基于相似度满足预设条件的参考修复特征，对第二图像特征进行替换，得到目标对象的修复特征，之前可以包括：计算参考修复特征与第二图像特征之间的特征距离；若特征距离最小，则判定参考修复特征与第二图像特征之间的相似度满足预设条件。

例如，计算参考修复特征A、B、C以及D与第二图像特征X之间的特征距离分别为2、4、3以及1，那么参考修复特征D与第二图像特征X之间的特征距离最小，则判定参考修复特征与第二图像特征X之间的相似度满足预设条件，则基于参考修复特征D，对第二图像特征X进行替换，得到目标对象的修复特征。

206、电子设备对修复特征进行上采样卷积处理，得到多尺度修复特征。

其中，上采样卷积处理可以通过电子设备中的修复特征解码模块进行处理，修复特征可以是向量量化字典中与待修复图像中人脸对应的第二图像特征匹配的高质量的人脸图像特征，该多尺度修复特征是修复特征在待修复图像对应的所有尺度上的缩放得到的。

需要说明的是，由于第一图像特征以及第二图像特征均是单一空间尺度上的，而基于单一空间尺度上的第一图像特征或者第二图像特征得到的修复特征也是单一空间尺度上的特征，因此基于单一空间尺度上的修复特征以及单一空间尺度上的第一图像特征得到的融合修复特征，不能准确地修复待修复图像中的目标对象。因此为了更准确地确定融合修复特征，可以将修复特征与第一图像特征均在所有尺度上进行缩放，从而得到多尺度的修复特征与多尺度的第一图像特征。

例如，电子设备获取预设的采样尺度，根据该采样尺度对修复特征进行上采样卷积处理，得到多尺度修复特征。例如，若预设的采样尺度为2的一次方，修复特征的尺度为16x16像素的，待修复图像的原始尺度为512x512像素，那么按照预设的采样尺度对修复特征进行一次上采样卷积处理，可以得到32x32像素尺度下的的修复特征，多次对修复特征进行上采样卷积处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的修复特征。

207、电子设备对第一图像特征进行下采样处理，得到多尺度图像特征。

需要说明的是，为了保留第一图像特征中与待修复图像相关的可利用的人脸信息，所以将第一图像特征缩放在各个尺度上时，不进行卷积处理，而只对第一图像特征进行简单的差值计算来缩放得到所有尺度上的第一图像特征。

例如，获取预设的采样尺度，根据该采样尺度对第一图像特征进行下采样差值处理，得到多尺度图像特征。例如若预设的采样尺度为2的一次方，第一图像特征的尺度为512x512像素的，待修复图像的原始尺度为512x512像素，那么按照预设的采样尺度对第一图像特征进行一次下采样差值处理，可以得到256x256像素尺度下的的第一图像特征，多次对第一图像特征进行下采样卷积处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的图像特征。

208、电子设备将多尺度修复特征和多尺度图像特征进行融合处理，得到多尺度下的融合修复特征。

其中，该融合处理可以是特征变形处理，如将多尺度修复特征变形到多尺度第一图像特征对应的人脸信息上，从而得到多尺度下的融合修复特征。

在本实施例中，由于修复特征具备目标对象对应的高质量的细节特征，但由于该修复特征是通过对参考修复特征相似度匹配得到的，因而该结果虽然包含了目标对象的细节特征，但是存在一定的不可信度，而第一图像特征是通过待修复图像直接提取得到的，因而具备可信度，因此将修复特征与第一图像特征进行融合处理，可以同时改善待修复图像对应的修复后图像的质量和可信度效果。

例如，将尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的修复特征与尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的第一图像特征分别进行融合处理，可以得到尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素的融合修复特征。

可选地，在一实施例中，将多尺度修复特征和多尺度图像特征进行融合处理，得到多尺度下的融合修复特征，还可以包括：

S1、根据多尺度修复特征和多尺度第一图像特征进行位移卷积处理，以确定卷积采样位置的多尺度位移特征。

例如，对于16x16尺度下的修复特征以及第一图像特征，若修复特征的维度为256，第一图像特征的维度为256，将修复特征与第一图像特征在维度通道上并联起来得到维度为256，空间尺度为16x16的修复特征以及第一图像特征，将该修复特征以及第一图像特征通过位移卷积处理，生成该修复特征以及第一图像特征对应的位移特征。对应地重复上述步骤，将多尺度下的修复特征以及第一图像特征分别通过位移卷积处理，可以生成多尺度的位移特征。

S2、根据多尺度位移特征对多尺度修复特征进行可变形卷积处理，得到多尺度融合修复特征。

例如，将多尺度的位移特征以及修复特征分别输入到可变形卷积中，得到多尺度的融合修复特征。

209、电子设备对融合修复特征进行解码处理，以对待修复图像中的目标对象进行修复，得到修复后图像。

其中，融合修复特征可以是多尺度的融合修复特征，对融合修复特征进行解码处理，包括：获取上采样尺度；基于上采样尺度，对融合修复特征进行上采样卷积处理。

在一实施例中，若多尺度的融合修复特征的尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素，待修复图像的尺度为512x512像素，那么基于上采样尺度，对融合修复特征进行上采样卷积处理可以包括：按照从小到大的顺序对各个尺度的融合修复特征进行上采样卷积处理，例如，若上采样尺度为2，对尺度为16x16像素的融合修复特征进行一次上采样卷积处理，可以得到32x32尺度的融合修复特征，将32x32尺度上的融合修复特征再次进行上采样卷积处理，可以得到64x64尺度上的融合修复特征，依次执行上述步骤，最终得到512x512上的融合修复特征，该尺度的融合修复特征即为修复后的目标对象，根据该修复后的目标对象即可确定修复后图像。

在本实施例提供的技术方案中，电子设备获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

根据上面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该图像修复装置具体集成在电子设备，如图3、图4以及图5所示，图3为本发明实施例提供的图像修复装置中的图像修复处理模块示意图，图4为本发明实施例提供的图像修复装置中向量量化模块的示意图，图5为本发明实施例提供的图像修复装置中纹理变形模块的示意图；其中，图像修复装置中可以设置有向量量化模块以及并行解码器，该向量量化模块中可以包括向量量化字典以及特征匹配算法，该并行解码器可以包括纹理分支解码器以及主解码器，该纹理分支解码器以及主解码器之间采用纹理变形模块。

在本实施例中，向量量化字典中包含与待修复图像中的目标对象对应的参考修复特征，该参考修复特征可以是目标对象对应的高质量的人脸图像特征，在图像处理装置获取待修复图像，其中待修复图像中包括目标对象，目标对象可以是人脸；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征，其中，该第一图像特征可以是低质量的人脸特征；并对第一图像特征进行下采样卷积处理，得到待修复图像中目标对象的第二图像特征，其中，第二图像特征可以是人脸图像对应的隐特征，之后，该特征匹配算法用于计算参考修复特征与目标对象对应的第二图像特征之间的相似度；基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征。

该纹理分支解码器中可以提供目标对象对应的多尺度的高质量的人脸图像特征。该纹理分支解码器可以用于对修复特征进行上采样卷积处理，得到多尺度修复特征，以及，对第一图像特征进行下采样处理，得到多尺度图像特征，此时，多尺度修复特征提供了高质量的真实人脸图像特征，而多尺度图像特征提供了低质量的人脸信息。

该纹理变形模块可以用于将多尺度修复特征和多尺度图像特征进行融合处理，得到多尺度下的融合修复特征，也就是说纹理变形模块可以将高质量的真实人脸图像特征往低质量人脸信息上变形，得到变形纹理特征。这样得到的融合修复特征平衡了人脸修复结果的纹理真实性和可信度。

该主解码器可以用于对该多尺度下的融合修复特征进行解码处理，以对待修复图像中的目标对象进行修复，得到修复后图像。

具体地，参考图4，图4为本发明实施例提供的图像修复装置中向量量化模块的示意图，其中，向量量化模块可以包括向量量化字典以及特征匹配算法，该向量量化字典中包含与待修复图像中的目标对象对应的参考修复特征，该特征匹配算法，用于计算第二图像特征与参考修复特征之间的特征距离，若特征距离小于预设阈值，和/或特征距离最小，则判定参考修复特征与第二图像特征之间的相似度满足预设条件，将相似度满足预设条件的参考修复特征，替换第二图像特征，得到目标对象的修复特征。这样将与低质量的人脸图像特征之间的特征距离最小的高质量的人脸图像特征，替换掉低质量的人脸图像特征，从而可以得到与待修复特征中的人脸图像最接近的修复特征。

具体地，参考图5，图5为本发明实施例提供的图像修复装置中纹理变形模块的示意图，其中，该纹理变形模块中可以包含位移卷积处理算法以及可变形卷积处理算法，该位移卷积处理算法可以根据修复特征和第一图像特征进行位移卷积处理，以确定卷积采样位置的位移特征，该可变形卷积处理算法可以根据位移特征对修复特征进行可变形卷积处理，得到融合修复特征。

在本实施例中，获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

为了更好地实施以上方法，本申请实施例还提供一种图像修复装置，该图像修复装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、智能电视、手机、笔记本电脑和/或个人计算机等。

例如，如图6所示，该图像修复装置可以包括获取单元301、提取单元302、确定单元303、融合单元304以及修复单元305，如下：

获取单元301，用于获取待修复图像，待修复图像包含目标对象；

其中，待修复图像可以是模糊的低质量的图像，待修复图像可以存在细节缺失或者图像中的部分组件缺失的情况，在本实施例中该目标对象以人脸为例，该待修复图像可以是低质量的人脸图像。

例如，电子设备可以从获取本地存储的待修复图像或者从服务器中获取待修复图像或者从第三方电子设备获取待修复图像。

提取单元302，用于对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；

例如，例如，电子设备可以通过图像特征提取算法提取到待修复图像中目标对象对应的第一图像特征。该图像特征提取算法可以是方向梯度直方图(HOG，Histogram ofOriented Gradient)特征提取算法，在此并不对图像特征提取算法进行限制。

确定单元303，用于基于第一图像特征，确定目标对象的修复特征；

可选地，对第一图像特征进行下采样卷积处理，得到待修复图像中目标对象的第二图像特征；获取与待修复图像中目标对象匹配的参考修复特征；计算参考修复特征与第二图像特征之间的相似度；基于相似度满足预设条件的参考修复特征，对第二图像特征进行修正，得到目标对象的修复特征。

例如，计算参考修复特征A、B、C以及D与第二图像特征X之间的特征距离，若参考修复特征D与第二图像特征X之间的特征距离最小，则判定将该参考修复特征D与第二图像特征X之间的相似度最高，则将该参考修复特征D替换掉第二图像特征X，作为修复特征。

融合单元304，用于将修复特征和第一图像特征进行融合处理，得到融合修复特征；

其中，该融合处理可以是特征变形处理，如将修复特征变形到第一图像特征对应的信息上，从而得到融合修复特征。

在本实施例中，由于修复特征具备目标对象对应的高质量的细节特征，但由于该修复特征是通过对参考修复特征相似度匹配得到的，因而该结果虽然包含了目标对象的细节特征，但是存在一定的不可信度，而第一图像特征是通过待修复图像直接提取得到的，因而具备可信度，因此将修复特征与第一图像特征进行融合处理，可以同时改善待修复图像对应的修复后图像的质量和可信度效果。

例如，根据修复特征和第一图像特征进行位移卷积处理，以确定卷积采样位置的位移特征；根据位移特征对修复特征进行可变形卷积处理，得到融合修复特征。

修复单元305，用于基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。

可选地，对融合修复特征进行解码处理，以对待修复图像中的目标对象进行修复，得到修复后图像。

其中，融合修复特征可以是多尺度的融合修复特征，对融合修复特征进行解码处理，包括：获取上采样尺度；基于上采样尺度，对融合修复特征进行上采样卷积处理。

例如，若多尺度的融合修复特征的尺度为16x16、32x32、64x64、128x128、256x256以及512x512像素，待修复图像的尺度为512x512像素，那么基于上采样尺度，对融合修复特征进行上采样卷积处理可以包括：按照从小到大的顺序对各个尺度的融合修复特征进行上采样卷积处理，例如，若上采样尺度为2，对尺度为16x16像素的融合修复特征进行一次上采样卷积处理，可以得到32x32尺度的融合修复特征，将32x32尺度上的融合修复特征再次进行上采样卷积处理，可以得到64x64尺度上的融合修复特征，依次执行上述步骤，最终得到512x512上的融合修复特征，该尺度的融合修复特征即为修复后的目标对象，根据该修复后的目标对象即可确定修复后图像。

由以上可知，本实施例中获取单元301，用于获取待修复图像，待修复图像包含目标对象；提取单元302，用于对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；确定单元303，用于基于第一图像特征，确定目标对象的修复特征；融合单元304，用于将修复特征和第一图像特征进行融合处理，得到融合修复特征；修复单元305，用于基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

本发明实施例还提供一种电子设备，如图7所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据。可选地，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由以上可知，本发明实施例在获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。这样基于有缺陷的待修复图像中目标对象的第一图像特征确定的修复特征，可以提高图像复原的高清细节效果，通过对修复特征与第一图像特征进行融合处理，提高了图像复原的可信度，从而实现同时改善待修复图像的高清和的可信度的效果。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像修复方法中的步骤。例如，该指令可以执行如下步骤：

获取待修复图像，待修复图像包含目标对象；对待修复图像进行修复信息识别，以提取待修复图像中目标对象对应的第一图像特征；基于第一图像特征，确定目标对象的修复特征；将修复特征和第一图像特征进行融合处理，得到融合修复特征；基于融合修复特征对待修复图像中的目标对象进行修复，得到修复后图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像修复方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像修复方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像修复方面的各种可选实现方式中提供的方法。

以上对本发明实施例所提供的一种图像修复方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种图像修复方法，其特征在于，包括：

获取待修复图像，所述待修复图像包含目标对象；

对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；

基于所述第一图像特征，确定所述目标对象的修复特征；

将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；

基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

2.根据权利要求1所述的图像修复方法，其特征在于，所述将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征，包括：

对所述修复特征进行上采样卷积处理，得到多尺度修复特征；

对所述第一图像特征进行下采样处理，得到多尺度图像特征；

将所述多尺度修复特征和所述多尺度图像特征进行融合处理，得到多尺度下的融合修复特征。

3.根据权利要求1所述的图像修复方法，其特征在于，所述将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征，包括：

根据所述修复特征和所述第一图像特征进行位移卷积处理，以确定卷积采样位置的位移特征；

根据所述位移特征对所述修复特征进行可变形卷积处理，得到所述融合修复特征。

4.根据权利要求1所述的图像修复方法，其特征在于，所述基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像，包括：

对所述融合修复特征进行解码处理，以对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

5.根据权利要求4所述的图像修复方法，其特征在于，所述对所述融合修复特征进行解码处理，包括：

获取上采样尺度；

基于所述上采样尺度，对所述融合修复特征进行上采样卷积处理。

6.根据权利要求1所述的图像修复方法，其特征在于，所述修复信息包括所述目标对象的纹理、轮廓和位置中的至少一种，所述对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征，包括：

对所述待修复图像进行卷积操作，以提取所述待修复图像中所述目标对象的纹理、轮廓和位置中的至少一种；

基于所述纹理、轮廓和位置中的至少一种，确定所述目标对象对应的第一图像特征。

7.根据权利要求1至6任一项所述的图像修复方法，其特征在于，所述基于所述第一图像特征，确定所述目标对象的修复特征，包括：

对所述第一图像特征进行下采样卷积处理，得到所述待修复图像中所述目标对象的第二图像特征；

基于所述第二图像特征，确定所述目标对象的修复特征。

8.根据权利要求7所述的图像修复方法，其特征在于，所述基于所述第二图像特征，确定所述目标对象的修复特征，包括：

获取与所述待修复图像中所述目标对象匹配的参考修复特征；

基于所述第二图像特征和所述参考修复特征，确定所述目标对象的修复特征。

9.根据权利要求8所述的图像修复方法，其特征在于，所述基于所述第二图像特征和所述参考修复特征，确定所述目标对象的修复特征，包括：

计算所述参考修复特征与所述第二图像特征之间的相似度；

基于相似度满足预设条件的参考修复特征，对所述第二图像特征进行修正，得到所述目标对象的修复特征。

10.根据权利要求9所述的图像修复方法，其特征在于，所述基于相似度满足预设条件的参考修复特征，对所述第二图像特征进行修正，得到所述目标对象的修复特征，包括：

将相似度最高的参考修复特征，替换所述第二图像特征，得到所述目标对象的修复特征。

11.根据权利要求9所述的图像修复方法，其特征在于，所述基于相似度满足预设条件的参考修复特征，对所述第二图像特征进行修正，得到所述目标对象的修复特征之前，包括：

计算所述参考修复特征与所述第二图像特征之间的特征距离；

若所述特征距离小于预设阈值，则判定所述参考修复特征与所述第二图像特征之间的相似度满足预设条件。

12.一种图像修复装置，其特征在于，包括：

获取单元，用于获取待修复图像，所述待修复图像包含目标对象；

提取单元，用于对所述待修复图像进行修复信息识别，以提取所述待修复图像中所述目标对象对应的第一图像特征；

确定单元，用于基于所述第一图像特征，确定所述目标对象的修复特征；

融合单元，用于将所述修复特征和所述第一图像特征进行融合处理，得到融合修复特征；

修复单元，用于基于所述融合修复特征对所述待修复图像中的所述目标对象进行修复，得到修复后图像。

13.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至11任一项所述的图像修复方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至11任一项所述的图像修复方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述的图像修复方法。