CN113628122A - 图像处理方法、模型训练方法、装置及设备 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法、模型训练方法、装置及设备，方法包括：获取待处理的人脸图像；确定与人脸图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征；将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像；第一机器学习模型被训练为用于基于多维度特征确定与人脸图像相对应的目标图像，目标图像的清晰度与人脸图像的清晰度不同。本实施例提供的技术方案，能够实现通过多维度特征对任何应用场景中的人脸图像进行处理操作，并且还保证了图像处理的质量和效果，使得该方法能够广阔的适用到各个应用场景中。

Description

图像处理方法、模型训练方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、模型训练方法、装置及设备。

背景技术

在图像处理技术领域，对图像或视频中模糊人脸图像的增强清晰化处理有着广泛的应用场景；例如：在监控安防中，对低清人脸图像的增强可以协助判定监控中人物的身份，或者，对老照片、老影视剧中人脸图像的修复处理不仅可以提升图像的质量，并且还可以提升观众的观看感受。

目前，在进行图像增强处理时，可以利用通过人工合成的数据集学习训练生成机器学习模型，而后基于上述的机器学习模型可以对模糊人脸图像进行图像增强处理。

然而，虽然利用人工合成的数据集来学习训练生成机器学习模型具有不错的性能，但是人工合成的数据集不能覆盖实际场景中包括的所有应用场景，因此，在利用机器学习模型进行图像处理时，不具有泛化能力，无法保证对各个应用场景中的图像进行处理的质量和效率。

发明内容

本发明实施例提供了一种图像处理方法、模型训练方法、装置及设备，能够实现通过多维度特征对任何应用场景中的人脸图像进行处理操作，并且还保证了图像处理的质量和效果，使得该方法能够广阔的适用到各个应用场景中。

第一方面，本发明实施例提供了一种图像处理方法，包括：

获取待处理的人脸图像；

确定与所述人脸图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

将所述多维度特征和所述人脸图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述人脸图像进行处理，获得与所述人脸图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述人脸图像相对应的目标图像，所述目标图像的清晰度与所述人脸图像的清晰度不同。

第二方面，本发明实施例提供了一种图像处理装置，包括：

第一获取模块，用于获取待处理的人脸图像；

第一确定模块，用于确定与所述人脸图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

第一处理模块，用于将所述多维度特征和所述人脸图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述人脸图像进行处理，获得与所述人脸图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述人脸图像相对应的目标图像，所述目标图像的清晰度与所述人脸图像的清晰度不同。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像处理方法。

第四方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的图像处理方法。

第五方面，本发明实施例提供了一种图像处理方法，包括：

获取待处理图像；

确定与所述待处理图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述待处理图像相对应的图像特征；

将所述多维度特征和所述待处理图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述待处理图像进行处理，获得与所述待处理图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述待处理图像相对应的目标图像，所述目标图像的清晰度与所述待处理图像的清晰度不同。

第六方面，本发明实施例提供了一种图像处理装置，包括：

第二获取模块，用于获取待处理图像；

第二确定模块，用于确定与所述待处理图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述待处理图像相对应的图像特征；

第二处理模块，用于将所述多维度特征和所述待处理图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述待处理图像进行处理，获得与所述待处理图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述待处理图像相对应的目标图像，所述目标图像的清晰度与所述待处理图像的清晰度不同。

第七方面，本发明实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的图像处理方法。

第八方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第五方面中的图像处理方法。

第九方面，本发明实施例提供了一种模型训练方法，包括：

获取第一图像以及与所述第一图像相对应的参考图像，所述参考图像的清晰度与所述第一图像的清晰度不同；

确定与所述第一图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

基于所述第一图像、参考图像和所述多维度特征进行学习训练，获得第一机器学习模型，所述第一机器学习模型用于基于所述多维度特征确定与所述第一图像相对应的目标图像,所述目标图像的清晰度与所述第一图像的清晰度不同。

第十方面，本发明实施例提供了一种模型训练装置，包括：

第三获取模块，用于获取第一图像以及与所述第一图像相对应的参考图像，所述参考图像的清晰度与所述第一图像的清晰度不同；

第三确定模块，用于确定与所述第一图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

第三处理模块，用于基于所述第一图像、参考图像和所述多维度特征进行学习训练，获得第一机器学习模型，所述第一机器学习模型用于基于所述多维度特征确定与所述第一图像相对应的目标图像,所述目标图像的清晰度与所述第一图像的清晰度不同。

第十一方面，本发明实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第九方面中的模型训练方法。

第十二方面，本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第九方面中的模型训练方法。

本实施例提供的图像处理方法、模型训练方法、装置及设备，通过获取待处理的人脸图像；确定与人脸图像相对应的多维度特征，而后第一机器学习模型可以基于多维度特征对人脸图像进行图像处理，从而实现了通过多维度特征对任何应用场景中的人脸图像进行处理操作，使得该方法能够广阔的适用到各个应用场景中，从而有效地提高了该方法的实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的一种图像处理方法的应用场景示意图一；

图3为本发明实施例提供的一种图像处理方法的应用场景示意图二；

图4为本发明实施例提供的利用第二机器学习模型对所述人脸图像进行分析处理，确定与所述人脸图像相对应的多维度特征的流程示意图；

图5为本发明实施例提供的利用第二机器学习模型对所述人脸图像进行分析处理，确定与所述人脸图像相对应的多维度特征的示意图；

图6为本发明实施例提供的将所述多维度特征和所述人脸图像输入至第一机器学习模型的示意图；

图7为本发明实施例提供的另一种图像处理方法的流程示意图；

图8为本发明实施例提供的确定与所述人脸图像相对应的多维度特征的流程示意图；

图9为本发明实施例提供的获取与所述卷积核相对应的调制函数的流程示意图；

图10为本发明实施例提供的基于所述第一原始输入向量和所述第二原始输入向量，确定与所述卷积核相对应的调制函数的流程示意图；

图11为本发明应用实施例提供的一种图像处理方法的流程示意图；

图12为本发明实施例提供的又一种图像处理方法的流程示意图；

图13为本发明实施例提供的一种模型训练方法的流程示意图；

图14为本发明实施例提供的一种图像处理装置的结构示意图；

图15为与图14所示实施例提供的图像处理装置对应的电子设备的结构示意图；

图16为本发明实施例提供的另一种图像处理装置的结构示意图；

图17为与图16所示实施例提供的图像处理装置对应的电子设备的结构示意图；

图18为本发明实施例提供的一种模型训练装置的结构示意图；

图19为与图18所示实施例提供的模型训练装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

为了便于理解本申请的技术方案，下面对现有技术进行简要说明：

随着科学技术的飞速发展，用户对视频和照片的质量要求越来越高。然而，一些以前拍摄的老照片或者经典的影视作品往往十分模糊，观看的体验效果欠佳。其中，人脸图像在影视作品中占据了非常重要的部分，即无论是影视作品或者老旧照片中，包含人物的应用场景较多，用户对人物图像中的清晰度也更加敏感。

常见的基于卷积神经网络(Convolutional Neural Networks,简称CNN)的深度学习图片复原算法都是使用(低质量图像，高质量图像)的图片对来训练网络，其中，深度学习图片复原算法可以包括以下至少之一：超分辨率生成对抗网络(Super-ResolutionGenerative Adversarial Networks，简称SRGAN)、深度残差通道注意力网络RCAN、增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative AdversarialNetworks，简称ESRGAN)等等。

然而，在利用上述训练后的卷积神经网络来进行图像处理时，存在以下缺点：上述的网络训练使用的低质量图片一般是通过人工降采样获得的，这样容易导致训练的网络不适用于真实的低质量人脸图片；另外，没有充分利用人脸结构的先验知识，进而对图像进行处理的准确可靠性。

为了解决上述技术问题，本实施例提供了一种图像处理方法、模型训练方法、装置及设备，通过获取待处理的人脸图像，确定与人脸图像相对应的多维度特征，上述的多维度特征包括至少两个不同的、与人脸图像相对应的图像特征，例如：多维度特征可以包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征；在获取到多维度特征之后，可以将多维度特征和人脸图像输入至第一机器学习模型，从而可以获得与人脸图像相对应的目标图像，从而实现了可以基于与人脸图像相对应的多维度特征对任何应用场景(真实场景)中的人脸图像进行处理操作，保证了图像处理的质量和效果，降低了对图像进行处理的困难程度，使得该方法能够广阔的适用到各个应用场景中，进一步提高了该方法的适用范围和实用性。

下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种图像处理方法的流程示意图；参考附图1所示，本实施例提供了一种图像处理方法，该方法的执行主体可以为图像处理装置，可以理解的是，该图像处理装置可以实现为软件、或者软件和硬件的组合。具体的，该处理方法可以包括：

步骤S101：获取待处理的人脸图像。

步骤S102：确定与人脸图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征。

步骤S103：将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像。

下面针对上述各个步骤进行详细阐述：

步骤S101：获取待处理的人脸图像。

其中，待处理的人脸图像是指需要进行图像处理的人脸面部图像，可以理解的是，上述的图像处理可以包括以下至少之一：图像增强处理、图像模糊处理、图像渲染处理、图像编辑处理等等，具体的，上述的图像增强处理可以增加人脸图像显示的清晰度、局部细节等等，图像模糊处理可以降低人脸图像显示的清晰度、局部细节等等，图像渲染处理可以对人脸图像中的人脸主体进行美白、美容等渲染处理，图像编辑处理可以对人脸图像进行各种类型的编辑操作，例如，图像的滤波处理、图像的纹理处理、图像的裁剪处理等等。

另外，待处理的人脸图像可以包括以下至少之一：通过拍摄装置拍摄获得的图像信息、视频信息中的图像信息、合成图像等等。可以理解的是，待处理图像的个数可以为一个或多个，在待处理图像的个数为多个时，多个待处理图像可以构成一图像序列，从而可以实现对图像序列进行图像处理操作。并且，待处理图像的图像类性可以静态图像或者动态图像，从而可以实现对静态图像或者动态图像进行图像处理操作。

此外，本实施例对于图像处理装置获取待处理的人脸图像的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如：拍摄装置可以与增强装置通信连接，在拍摄装置拍摄获得待处理的人脸图像之后，图像处理装置可以通过拍摄装置获得待处理的人脸图像，具体的，图像处理装置可以主动获取拍摄装置获得的待处理的人脸图像，或者，拍摄装置可以主动将待处理的人脸图像发送至增强装置，从而使得图像处理装置可以获得待处理的人脸图像。再或者，待处理的人脸图像可以存储在预设区域，图像处理装置可以通过访问预设区域获得待处理的人脸图像。

步骤S102：确定与人脸图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征。

在获取到人脸图像之后，可以对人脸图像进行分析处理，以确定与人脸图像相对应的多维度特征，上述的多维度特征可以包括至少两个不同的与人脸图像相对应的图像特征，例如：多维度特征可以包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

另外，本实施例对于确定与人脸图像相对应的多维度特征的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如，一种可实现的方式可以通过预设的机器学习模型来确定与人脸图像相对应的多维度特征，具体的，确定与人脸图像相对应的多维度特征可以包括：

步骤S1021：利用第二机器学习模型对人脸图像进行分析处理，确定与人脸图像相对应的多维度特征，第二机器学习模型被训练为用于确定与人脸图像相对应的多维度特征。

其中，第二机器学习模型可以是预先被训练为用于确定与人脸图像相对应的多维度特征，可以理解的是，不同的应用场景中，所确定的与人脸图像所对应的多维度特征的数量可以相同或不同。

另外，可以通过对卷积神经网络进行学习训练来生成第二机器学习模型，即利用预设的参考图像以及参考图像相对应的多维度特征对卷积神经网络进行学习训练，从而可以获得第二机器学习模型。在生成第二机器学习模型之后，可以利用第二机器学习模型对人脸图像进行分析处理，从而可以获得与人脸图像相对应的多维度特征。

本实施例中，通过训练好的第二机器学习模型对人脸图像进行分析处理，获得与人脸图像相对应的多维度特征，不仅有效地保证了对多维度特征进行获取的准确可靠性，并且也保证了基于多维度特征来获得目标图像的质量和效率，进一步提高了该方法使用的稳定可靠性。

当然的，本领域技术人员也可以采用其他的方式来确定与人脸图像相对应的多维度特征，只要能够保证准确地获取到与人脸图像相对应的多维度特征即可，在此不再赘述。

步骤S103：将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像。

其中，在获取到多维度特征之后，可以将多维度特征和人脸图像输入至第一机器学习模型中，以使得第一机器学习模型可以基于多维度特征对人脸图像进行分析处理，从而实现了以多维度特征作为图像处理的引导特征对人脸图像进行分析处理，进而保证了对人脸图像进行处理的质量和效率，即获取到与人脸图像相对应的目标图像。上述的第一机器学习模型被训练为用于基于多维度特征确定与人脸图像相对应的目标图像，需要注意的是，上述的第二机器学习模型与第一机器学习模型可以是不同的机器学习模型，或者，第二机器学习模型与第一机器学习模型可以是同一个机器学习模型。

另外，所获得的目标图像的清晰度与人脸图像的清晰度不同，即上述目标图像的清晰度与人脸图像清晰度之间的关系可以包括：目标图像的清晰度高于待处理图像的清晰度；或者,目标图像的清晰度低于人脸图像的清晰度。可以理解的是，在目标图像的清晰度高于人脸图像的清晰度时，第一机器学习模型被训练为用于基于多维度特征确定用于对人脸图像进行增强处理的目标图像。在目标图像的清晰度低于人脸图像的清晰度时，第二机器学习模型被训练为用于基于多维度特征确定用于对人脸图像进行模糊处理的目标图像。

此外，在获取到与人脸图像相对应的目标图像时，目标图像的个数可以为至少一个，在目标图像的个数为多个，可以基于多个目标图像与人脸图像之间的相似度来确定一个最终的目标图像。具体的，至少一个目标图像与人脸图像之间可以对应有至少一个相似度，目标图像与人脸图像之间的相似度可以包括：目标图像中人脸的结构和外观与人脸图像中人脸的结构和外观的相似度。上述的人脸的结构包括以下至少之一：面部朝向(朝前、朝左、朝右等等)、姿态(仰头、低头等等)、人脸相对于图像中的位置信息(中心位置、偏左位置、偏右位置等等)；人脸的外观包括以下至少之一：头发特征、肤色特征、亮度特征、颜色特征。

可以理解的是，不同的目标图像与人脸图像的相似度可以相同或不同。在获取到人脸图像与不同的目标图像之间的相似度之后，可以基于相似度的大小对至少一个目标图像进行排序，从而可以获得基于不同相似度的至少一个目标图像的排序队列，基于排序队列可以获得相似度最高的一个目标图像，并将上述所选择的一个目标图像确定为最终的目标参考图像，这样可以有效地保证图像处理的质量和效果。

举例1，参考附图2所示，以能够实现图像增强操作的图像处理方法为例进行说明，此时，执行该图像处理方法的执行主体为图像处理装置，该图像处理装置通信连接客户端，在用户存在图像增强需求时，可以在客户端生成与图像增强需求相对应的图像处理请求，该图像处理请求对应有人脸图像，而后客户端可以将所生成的图像处理请求和人脸图像传输至图像处理装置，在图像处理装置接收到图像处理请求和人脸图像之后，可以基于图像处理请求对人脸图像进行处理，具体的，包括：

步骤1:接收图像处理请求和人脸图像。

步骤2：对人脸图像进行处理，获得与人脸图像相对应的多维度特征。

步骤3：将人脸图像和多维度特征输入至预设的第一机器学习模型中，获得与人脸图像相对应的目标图像，该目标图像的清晰度高于人脸图像的清晰度。

步骤4：将目标图像传输至客户端，以使得客户端可以通过预设的显示区域对目标图像进行显示，使得用户可以查看到经过图像增强处理后的目标图像。

举例2，参考附图3所示，以能够实现图像模糊操作的图像处理方法为例进行说明，此时，执行该图像处理方法的执行主体为图像处理装置，该图像处理装置通信连接客户端，在用户存在图像模糊需求时，可以在客户端生成与图像模糊需求相对应的图像处理请求，该图像处理请求对应有人脸图像，而后客户端可以将所生成的图像处理请求和人脸图像传输至图像处理装置，在图像处理装置接收到图像处理请求和人脸图像之后，可以基于图像处理请求对人脸图像进行处理，具体的，包括：

步骤1:接收图像处理请求和人脸图像。

步骤2：对人脸图像进行处理，获得与人脸图像相对应的多维度特征。

步骤3：将人脸图像和多维度特征输入至预设的第一机器学习模型中，获得与人脸图像相对应的目标图像，该目标图像的清晰度低于人脸图像的清晰度。

步骤4：将目标图像传输至客户端，以使得客户端可以通过预设的显示区域对目标图像进行显示，使得用户可以查看到经过图像模糊处理后的目标图像。

本实施例提供的图像处理方法，通过获取待处理的人脸图像，确定与待处理的人脸图像相对应的多维度特征，将多维度特征和人脸图像输入至第一机器学习模型，从而实现了第一机器学习模型可以将多维度特征作为对人脸图像进行分析处理的引导信息，继而获得了与人脸图像相对应的目标图像；这样有效地实现了无需获取到高清晰度人脸图像，即能够实现对任何应用场景(真实场景)中的图像进行处理操作，并且还保证了图像处理的质量和效果，降低了对图像进行处理的困难程度，使得图像处理方法能够广阔的适用到各个应用场景中，进一步提高了该方法的适用范围和实用性。

在一些实例中，在利用第二机器学习模型对人脸图像进行分析处理，确定与人脸图像相对应的多维度特征时，第二机器学习模型包括：一个或多个第二网络单元，多个第二网络单元依次串联连接，第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与第二输入信息相对应的第二输出信息。上述的第二输入信息可以包括以下任意之一：人脸图像、上一级第二网络单元所输出的第二输出信息。

具体的，参考附图4-图5所示，本实施例中的利用第二机器学习模型对人脸图像进行分析处理，确定与人脸图像相对应的多维度特征可以包括：

步骤S401：在利用第二机器学习模型对人脸图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息。

步骤S402：将一个或多个第二输出信息确定为与人脸图像相对应的多维度特征。

其中，第二机器学习模型可以包括一个或多个第二网络单元，在利用第二机器学习模型对人脸图像进行分析处理时，即利用一个或多个第二网络单元对人脸图像进行分析处理，由于多个第二网络单元依次串联连接，因此，位于下一级的第二网络单元可以获取到上一级第二网络单元的分析处理结果(第二输出信息)，并对上一级第二网络单元的分析处理结果进行分析处理，以确定与人脸图像相对应的多维度特征。

举例来说，如图5所示，第二机器学习模型可以包括：第二网络单元A1、第二网络单元A2......第二网络单元An和第二网络单元An+1；其中，A1单元的输出端口与A2单元的输入端口通信连接，An-1单元的输出端口与An单元的输入端口通信连接，An单元的输出端口与An+1单元的输入端口通信连接，从而实现了多个第二网络单元依次串联连接。

在获取到人脸图像之后，可以将人脸图像输入至A1单元，A1单元可以对人脸图像进行分析处理，从而可以获得与人脸图像相对应的第二输出信息B1；在获取到第二输出信息B1之后，可以将B1信息发送至A2单元。而后，A2单元可以对B1信息进行分析处理，从而可以获得与B1信息相对应的第二输出信息B2。以此类推，在An-1单元生成第二输出信息Bn-1时，可以将Bn-1信息发送至第二网络单元An，在An单元获取到Bn-1信息之后，可以对Bn-1信息进行分析处理，从而可以获取到第二输出信息Bn，以将Bn信息发送至An+1单元，进而可以获取到一个或多个第二网络单元所输出的一个或多个第二输出信息。

在获取到一个或多个第二输出信息之后，可以将一个或多个第二输出信息确定为与人脸图像相对应的多维度特征，此时的多维度特征可以包括至少两个不同的、与人脸图像相对应的图像特征(A1单元所输出的第二输出信息B1、A2单元所输出的第二输出信息B2......An单元所输出的第二输出信息Bn、An+1单元所输出的第二输出信息Bn+1)，从而有效地保证了对与人脸图像相对应的多维度特征进行获取的准确可靠性。

在一些实例中,第一机器学习模型可以包括：一个或多个第一网络单元，多个第一网络单元依次串联连接，第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与第一输入信息相对应的第一输出信息。

其中，第一输入信息可以包括以下任意之一：与人脸图像相对应的多维度特征、引导特征信息、上一级第一网络单元所输出的第一输出信息。上述的引导特征信息可以包括以下至少之一：人脸语义图、关键点定位图、热力图，可以理解的是，引导特征信息可以是指基于应用需求和设计需求输入至第一机器学习模型中的特征信息。

另外，在第一网络单元的第一输入信息中包括与人脸图像相对应的多维度特征时，即第二机器学习模型中第二网络单元的第二输出信息可以输入至第一网络单元中，以使第一网络单元可以基于第二输出信息对人脸图像进行分析处理。上述的第一网络单元和第二网络单元的个数可以相同或不同，在第一网络单元的个数大于第二网络单元的个数时，多个第二网络单元所输出的多个第二输出信息可以输入至部分的第一网络单元中。在第一网络单元的个数小于第二网络单元的个数时，多个第二网络单元所输出的多个第二输出信息可以输入至部分或所有的第一网络单元中。在第一网络单元的个数等于第二网络单元的个数时，多个第二网络单元所输出的多个第二输出信息可以输入至部分或所有的第一网络单元中。

本实施例中，通过第一机器学习模型可以包括一个或多个第一网络单元，多个第一网络单元依次串联连接，并且，第一网络单元的第一输入信息可以包括以下任意之一：与人脸图像相对应的多维度特征、引导特征信息、上一级第一网络单元所输出的第一输出信息，从而有效地保证了第一机器学习模型可以基于多维度特征作为引导信息对待处理图像进行处理的稳定可靠性，进一步保证了图像处理的质量和效率。

图7为本发明实施例提供的另一种图像处理方法的流程示意图；在上述实施例的基础上，继续参考附图7所示，本实施例中的方法还可以包括：

步骤S701：获取引导特征信息。

步骤S702：将引导特征信息输入至第一机器学习模型中所包括的第一网络单元，以使第一网络单元基于引导特征信息和多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像。

其中，为了进一步提高图像处理的质量和效率，可以获取用于对人脸图像进行分析处理的引导特征信息，可以理解的是，引导特征信息可以是用户输入至图像处理装置的，或者，引导特征信息也可以是其他装置发送至图像处理装置的，或者，引导特征信息也可以存储在图像处理装置的预设区域中，通过访问预设区域可以获取到引导特征信息。当然的，本领域技术人员也可以采用其他的方式来获取到引导特征信息，只要能够保证对引导特征信息进行获取的准确可靠性即可，在此不再赘述。

在获取到引导特征信息之后，可以将引导特征信息输入至第一机器学习模型中所包括的第一网络单元中，以使第一网络单元可以基于引导特征信息和多维度特征对人脸图像进行处理，从而可以获得与人脸图像相对应的目标图像。具体的，由于第一机器学习模型包括一个或多个第一网络单元，因此，在获得与人脸图像相对应的目标图像时，可以包括：在一个或多个第一网络单元中，可以将最后一级第一网络单元所输出的第一输出信息，确定为与人脸图像相对应的目标图像，从而有效地保证了对人脸图像进行分析处理的质量和效率。

需要说明的是，第一机器学习模型所包括的第一网络单元的个数可以因不同的应用场景和应用需求而有所不同，即在对第一机器学习模型进行学习训练时，可以基于不同的应用场景和应用需求训练出包括有不同数量的第一网络单元的第一机器学习模型，该第一机器学习模型的图像处理效果可以适用于不同的应用场景，并且可以满足不同的图像处理需求。

本实施例中，通过获取引导特征信息，而后将引导特征信息输入至第一机器学习模型中所包括的第一网络单元，从而使得第一网络单元可以基于引导特征信息和多维度特征对人脸图像进行处理，进一步保证了对人脸图像进行分析处理的质量和效率，提高了该方法使用的稳定可靠性。

图8为本发明实施例提供的确定与人脸图像相对应的多维度特征的流程示意图；在上述实施例的基础上，继续参考附图8所示，本实施例提供了另一种确定与人脸图像相对应的多维度特征的实现方式，具体的，本实施例中的确定与人脸图像相对应的多维度特征可以包括：

步骤S801：获取用于对人脸图像进行处理的卷积核以及与卷积核相对应的调制函数。

步骤S802：基于卷积核和调制函数对人脸图像进行处理，获得与人脸图像相对应的多维度特征。

其中，卷积核用于对人脸图像进行分析处理，可以理解的是，不同的应用场景或者不同的应用需求可以对应有不同的卷积核。在获取到卷积核之后，可以获取与卷积核相对应的调制函数，具体的，本实施例对于获取与卷积核相对应的调制函数的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如：预先配置有卷积核与调制函数之间的对应关系，基于上述的对应关系可以确定与卷积核相对应的调制函数等等，只要能够保证对调制函数进行获取的准确可靠性即可，在此不再赘述。在获取到卷积核和调制函数之后，即可以基于卷积核和调制函数对人脸图像进行处理，从而可以获得与人脸图像相对应的多维度特征。

本实施例中，通过获取用于对人脸图像进行处理的卷积核以及与卷积核相对应的调制函数，而后基于卷积核和调制函数对人脸图像进行处理，以获得与人脸图像相对应的多维度特征，这样有效地保证了对多维度特征进行获取的准确可靠性。

图9为本发明实施例提供的获取与卷积核相对应的调制函数的流程示意图；在上述实施例的基础上，继续参考附图9所示，本实施例提供了另一种获取与卷积核相对应的调制函数，具体的，本实施例中的获取与卷积核相对应的调制函数可以包括：

步骤S901：确定第二输入信息在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量。

步骤S902：基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数。

其中，第二输入信息可以包括以下任意之一：人脸图像、上一级第二网络单元所输出的第二输出信息。在获取到第二输入信息之后，可以确定第二输入信息在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量，具体的，可以先确定与人脸图像相对应的预设坐标系，该预设坐标系中可以包括第一空域坐标轴和第二空域坐标轴，第一空域坐标轴和第二空域坐标轴相互垂直，在获取到第二输入信息之后，可以对位于预设坐标系中的第二输入信息进行分析处理，从而可以获得第二输入信息在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量。

上述的第一原始输入向量和第二原始输入向量用于标识第二输入信息在预设坐标系中的信息特征；在获取到第一原始输入向量和第二原始输入向量之后，可以对第一原始输入向量和第二原始输入向量进行分析处理，以确定与卷积核相对应的调制函数。具体的，参考附图10所示，本实施例中的基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数可以包括：

步骤S9021：确定将第一原始输入向量映射至预设空域坐标轴上的第一映射函数、以及将第二原始输入向量映射至预设空域坐标轴上的第二映射函数。

步骤S9022：基于第一映射函数和第二映射函数，确定与卷积核相对应的调制函数。

具体的，在获取到第一原始输入向量之后，可以将第一原始输入向量映射至预设空域坐标轴上，从而可以获得与第一原始输入向量相对应的第一映射函数；相类似的，在获取到第二原始输入向量之后，可以将第二原始输入向量映射至预设空域坐标轴上，从而可以获得与第二原始输入向量相对应的第二映射函数。在获取到第一映射函数和第二映射函数之后，可以基于第一映射函数和第二映射函数来确定与卷积核相对应的调制函数，从而有效地保证了对卷积核所对应的调制函数进行获取的准确可靠性，进一步提高了该方法的实用性。

具体应用时，参考附图11所示，本应用实施例提供了一种图像处理方法，该方法可以实现对待处理的人脸图像进行人脸修缮处理，其中，人脸修缮(Face Renovation)是指针对真实应用场景，对包含复杂退化的低质量的人脸图像(或视频帧)进行重建，从而可以获得相对应的高清晰度、逼真、自然的目标人脸图像，与待处理的人脸图像相比，目标人脸图像具有较为真实的人脸细节，使得人脸的细节纹理(如皱纹，发丝等)更为生动逼真。具体的，该方法可以包括：

步骤1：获取待处理的人脸图像；

步骤2：将人脸图像输入至第二机器学习模型，确定与人脸图像相对应的多维度特征，该多维度特征可以包括至少两个不同的、与人脸图像相对应的图像特征。

如图11所示，第二机器学习模型可以包括一个或多个第二网络单元，一个或多个第二网络单元可以对人脸图像进行分析处理，从而可以确定与人脸图像相对应的多维度特征(例如：关键点、人脸轮廓、纹理、颜色)。具体的，由于第二网络单元的个数为一个或多个，在第二网络单元为多个，且利用多个第二网络单元对人脸图像进行分析处理时，位于第一级的第二网络单元可以对人脸图像进行分析处理，从而可以获得第一级输出结果，而后可以将第一级输出结果输入至第二级的第二网络单元，第二级的第二网络单元可以对第一级输出结果进行分析处理，从而可以获得第二级输出结果。依次类推，可以实现每一级的第二网络单元对所接收到的输入信息进行分析处理，并输出相对应的输出结果。经过上述过程，可以获取到每一级的第二网络单元所输出的输出结果，之后可以将每一级的第二网络单元所输出的输出结果确定为与人脸图像相对应的多维度特征。

具体的，在第二网络单元对所输入的信息(人脸图像或者上一级第二网络单元的输出结果)进行处理时，可以包括：获取到卷积核和自适应权重调制函数，其中，卷积核可以为尺寸固定C*C`*S*S的四维浮点数矩阵，上述的C是指输入通道宽度，C`是指输出通道宽度，S用于限定卷积处理的运算范围。

另外，自适应权重调制函数可以是通过神经网络训练而获得的，该调制函数用于对输入特征(人脸图像，或者，上一级第二网络单元所输出的输出结果)做非线性变换，从而可以确定与人脸图像相对应的多维度特征。具体的，在利用卷积核和自适应权重调制函数对人脸图像进行分析处理时，可以按照以下公式进行分析处理：

其中，DRAFT(F；W)_i是每一级第二网络单元所输出的结果，

是自适应权重调制函数，可以理解的是，不同的应用场景可以对应有不同的

fj是指输入信息在第二空域坐标轴j上的第二原始输入向量，fi是指输入信息在第一空域坐标轴i上的第一原始输入向量；W∈R^C×C×S×S，R是卷积核，F是输入信息，Ω(i)是滑动窗口居中在i坐标轴，i、j分别是预设的2D空域坐标轴，w是预设系数，Δji是坐标i与坐标j之间的偏移量，用于在w中进行索引元素，b为与卷积核相对应的偏差向量。

需要注意的是，上述的

可以通过以下公式获得：

其中，

是指自适应权重调制函数，exp是指数函数，

是指第一原始输入向量映射至预设空域坐标轴上的第一映射函数，

是指第二原始输入向量映射至预设空域坐标轴上的第二映射函数。

在一些实例中，在第二网络单元将所对应的第二输出结果输入至下一级的第二网络单元之前，可以先对第二输出结果进行降采样处理，以实现对第二输出结果进行特征筛选处理，而后可以将处理后的第二输出结果输入至下一级的第二网络单元，这样可以有效地降低第二输出结果所占用的内存空间，进一步提高了第二网络单元对数据进行处理的质量和效率。

步骤3：将多维度特征输入至第一机器学习模型，以使得第一机器学习模型可以基于多维度特征对人脸图像进行分析处理，确定与人脸图像相对应的目标图像，目标图像的清晰度高于人脸图像的清晰度。

其中，对于第一机器学习模型而言，第一机器学习模型可以对所接收到人脸图像进行分析处理，具体的，第一机器学习模型可以将多维度特征作为引导特征信息对人脸图像进行修缮处理，例如：可以增补人脸图像的细节。需要注意的是，第一机器学习模型可以包括一个或多个第一网络单元，每个第一网络单元可以对当前所接收到的输入信息进行处理，并将所获得的第一输出结果输入至下一级的第一网络单元，如此迭代，直至确定与人脸图像相对应的目标图像。

需要注意的是，本应用实施例所提供的图像处理方法，并未限定只能用于对人脸图像进行图像修缮处理，例如，可以对与拥有复杂背景的人脸图像，或者还可以对动物头像进行图像修缮处理等等。

另外，在第一机器学习模型包括多个第一网络单元，第二机器学习模型包括多个第二网络单元时，多个第一网络单元和多个第二网络单元的级联方式可以是嵌套式结构，或者，多个第一网络单元和多个第二网络单元可以采用串联结构、并联结构或者串联和并联组合结构，并且，上述的第一机器学习模型和第二机器学习模型可以采用循环神经网络(RNN，LSTM)经过学习训练迭代获得。

此外，第一网络单元的个数可以与第二网络单元的个数可以相同或者不同，例如：第一机器学习模型由5个第一网络单元级联而成，第二机器学习模型由3个第二网络单元级联而成，此时，第二机器学习模型中每一个第二网络单元所输出的结果可以共享至第一机器学习模型中的5个第一网络单元，例如：第二网络单元D1->第一网络单元S5；第二网络单元D2->第一网络单元S4；第二网络单元D3->第一网络单元S1、第一网络单元S2、第一网络单元S3。由上可知，第一网络单元和第二网络单元之间的映射关系可以是一对一的映射关系或者一对多的映射关系等等。

步骤3`：获取用户输入的引导特征信息，将多维度特征输入至第一机器学习模型，以使得第一机器学习模型可以基于引导特征信息和多维度特征对人脸图像进行分析处理，确定与人脸图像相对应的目标图像，目标图像的清晰度高于人脸图像的清晰度。

其中，引导特征信息可以包括以下至少之一：人脸语义图、关键点定位图、热力图，可以理解的是，引导特征信息并不限于上述所举例的信息，本领域技术人员还可以包括其他类型的特征信息，在此不再赘述。

本实施例中提供的图像处理方法，能够适应各个真实场景中的任意复杂噪声和退化的图像进行处理，通过级联的第一机器学习模型和第二机器学习模型可以自适应地筛选出多维度特征，而后基于多维度特征信息对人脸图像进行处理，这样有效地保证了对高质量的目标图像进行获取的质量和效率，并且降低了对图像进行处理的困难程度，使得图像处理方法能够广阔的适用到各个应用场景中，进一步提高了该方法的实用性。

图12为本发明实施例提供的又一种图像处理方法的流程示意图；参考附图12所示，本实施例提供了又一种图像处理方法，该方法的执行主体可以为图像处理装置，可以理解的是，该图像处理装置可以实现为软件、或者软件和硬件的组合。具体的，该处理方法可以包括：

步骤S1201：获取待处理图像。

步骤S1202：确定与待处理图像相对应的多维度特征，多维度特征包括至少两个不同的、与待处理图像相对应的图像特征。

步骤S1203：将多维度特征和待处理图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像。

其中，第一机器学习模型被训练为用于基于多维度特征确定与待处理图像相对应的目标图像，目标图像的清晰度与待处理图像的清晰度不同。

下面针对上述各个步骤进行详细阐述：

步骤S1201：获取待处理图像。

其中，待处理图像是需要进行图像处理的生物面部图像，可以理解的是，上述的图像处理可以包括以下至少之一：图像增强处理、图像模糊处理、图像渲染处理、图像编辑处理等等，具体的，上述的图像增强处理可以增加待处理图像显示的清晰度，图像模糊处理可以降低待处理图像显示的清晰度，图像渲染处理可以对待处理图像中的目标进行美白、美容等渲染处理，图像编辑处理可以对待处理图像进行各种类型的编辑操作，例如，图像的滤波处理、图像的纹理处理、图像的裁剪处理等等。

另外，生物面部图像可以是指：人脸图像、猫脸图像、狗脸图像或者其他生物的生物脸部头像等等。该待处理图像可以包括以下至少之一：通过拍摄装置拍摄获得的图像信息、视频信息中的图像信息、合成图像等等。可以理解的是，待处理图像的个数可以为一个或多个，在待处理图像的个数为多个时，多个待处理图像可以构成一图像序列，从而可以实现对图像序列进行图像处理操作。并且，待处理图像的图像类性可以静态图像或者动态图像，从而可以实现对静态图像或者动态图像进行图像处理操作。

此外，本实施例对于图像处理装置获取待处理图像的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如：拍摄装置可以与增强装置通信连接，在拍摄装置拍摄获得待处理图像之后，图像处理装置可以通过拍摄装置获得待处理图像，具体的，图像处理装置可以主动获取拍摄装置获得的待处理图像，或者，拍摄装置可以主动将待处理图像发送至增强装置，从而使得图像处理装置可以获得待处理图像。再或者，待处理图像可以存储在预设区域，图像处理装置可以通过访问预设区域获得待处理图像。

步骤S1202：确定与待处理图像相对应的多维度特征，多维度特征包括至少两个不同的、与待处理图像相对应的图像特征。

步骤S1203：将多维度特征和待处理图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像。

其中，本实施例中上述步骤的具体实现方式和实现效果与上述图1实施例中步骤S102-步骤S103的具体实现方式和实现效果相类似，具体可参考上述陈述内容，在此不再赘述。需要注意的是，与上述图1实施例中不同的是，本实施例中以待处理的人脸图像作为待处理图像为例来实现本实施例中的图像处理方法。

在一些实例中，确定与待处理图像相对应的多维度特征可以包括：利用第二机器学习模型对待处理图像进行分析处理，确定与待处理图像相对应的多维度特征，第二机器学习模型被训练为用于确定与待处理图像相对应的多维度特征。

在一些实例中，第二机器学习模型包括：一个或多个第二网络单元，多个第二网络单元依次串联连接，第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与第二输入信息相对应的第二输出信息。

在一些实例中，第二输入信息包括以下任意之一：待处理图像、上一级第二网络单元所输出的第二输出信息。

在一些实例中，利用第二机器学习模型对待处理图像进行分析处理，确定与待处理图像相对应的多维度特征可以包括：在利用第二机器学习模型对待处理图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息；将一个或多个第二输出信息确定为与待处理图像相对应的多维度特征。

在一些实例中，第一机器学习模型包括：一个或多个第一网络单元，多个第一网络单元依次串联连接，第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与第一输入信息相对应的第一输出信息。

在一些实例中，第一输入信息包括以下任意之一：与待处理图像相对应的多维度特征、引导特征信息、上一级第一网络单元所输出的第一输出信息。

在一些实例中，引导特征信息包括以下至少之一：语义图、关键点定位图、热力图。

在一些实例中，第一网络单元和第二网络单元的个数相同或不同。

在一些实例中，本实施例中的方法还可以包括：获取引导特征信息；将引导特征信息输入至第一机器学习模型中所包括的第一网络单元，以使第一网络单元基于引导特征信息和多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像。

在一些实例中，获得与待处理图像相对应的目标图像可以包括：在一个或多个第一网络单元中，将最后一级第一网络单元所输出的第一输出信息，确定为与待处理图像相对应的目标图像。

在一些实例中，多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

在一些实例中，确定与待处理图像相对应的多维度特征可以包括：获取用于对待处理图像进行处理的卷积核以及与卷积核相对应的调制函数；基于卷积核和调制函数对待处理图像进行处理，获得与待处理图像相对应的多维度特征。

在一些实例中，获取与卷积核相对应的调制函数可以包括：确定待处理图像在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量；基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数。

在一些实例中，基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数可以包括：确定将第一原始输入向量映射至预设空域坐标轴上的第一映射函数、以及将第二原始输入向量映射至预设空域坐标轴上的第二映射函数；基于第一映射函数和第二映射函数，确定与卷积核相对应的调制函数。

在一些实例中，获得与待处理图像相对应的目标图像可以包括：获取与待处理图像相对应的待处理区域，利用预设配置的马赛克覆盖待处理区域，生成马赛克图像，将马赛克图像确定为与待处理图像相对应的目标图像。

其中，不同的应用场景可以对应有不同的待处理图像，具体的，待处理图像可以为游戏界面图像、人脸图像、待审核的文本图像等等；为了保证数据显示的安全可靠性，避免数据泄露，可以对待处理图像的相关部分进行马赛克处理，即生成具有马赛克效果的目标图像。

例如：在待处理图像为人脸图像时，为了避免人脸信息的泄露，可以确定与待处理图像相对应的人脸显示区域，而后利用预设配置的马赛克覆盖人脸显示区域，从而生成具有马赛克效果的目标图像。或者，在待处理图像为游戏界面图像时，为了避免游戏相关信息(账号信息、密码信息等等)的泄露，保证游戏相关信息的安全可靠性，则可以确定与待处理图像相对应的游戏相关信息区域，而后利用预设配置的马赛克覆盖游戏相关信息区域，从而生成具有马赛克效果的目标图像。或者，在待处理图像为待审核的文本图像时，为了避免文本信息的泄露，可以确定与待审核的文本图像相对应的文本显示区域，而后利用预设配置的马赛克覆盖全部或者部分的文本显示区域，从而生成具有马赛克效果的目标图像。

本实施例中，通过获取与待处理图像相对应的待处理区域，利用预设配置的马赛克覆盖待处理区域，从而生成具有马赛克效果的目标图像，从而有效地保证了对目标图像进行处理的灵活可靠性，进一步提高了该方法使用的稳定可靠性。

在一些实例中，在确定与待处理图像相对应的多维度特征时，可以包括：获取与待处理图像相对应的配置规则，基于配置规则确定与待处理图像相对应的多维度特征，以便将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像。

具体的，不同的应用场景中可以对应有不同的多维度特征，因此，在获取到待处理图像之后，为了能够提高对待处理图像进行分析处理的质量和效率，可以获取与待处理图像相对应的配置规则(用于确定与待处理图像相对应的多维度特征)，具体的，预先配置有多个配置规则，而后可以获取到待处理图像与配置规则相对应的映射关系，基于上述映射关系来确定与待处理图像相对应的配置规则；或者，可以对待处理图像进行分析处理，确定与待处理图像相对应的图像类别(人物类图像、数据类型图像等等)，基于图像类别确定与待处理图像相对应的配置规则。

在获取到配置规则之后，可以基于所确定的配置规则确定与人脸图像相对应的多维度特征，而后将所获得的多维度特征和待处理图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像，这样有效地保证了对待处理图像进行处理的质量和效率，进一步提高了图像处理的稳定可靠性。

本实施例中上述方法的执行过程和技术效果与图1-图11所示实施例中的方法的执行过程和技术效果相类似，具体可参考上述陈述内容，在此不再赘述。

图13为本发明实施例提供的一种模型训练方法的流程示意图；参考附图13所示，本实施例提供了一种模型训练方法，该方法的执行主体可以是模型训练装置，可以理解的是，该模型训练装置可以实现为软件、或者软件和硬件的组合。具体的，该方法可以包括：

步骤S1301：获取第一图像以及与第一图像相对应的参考图像，参考图像的清晰度与第一图像的清晰度不同。

步骤S1302：确定与第一图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征。

步骤S1303：基于第一图像、参考图像和多维度特征进行学习训练，获得第一机器学习模型，第一机器学习模型用于基于多维度特征确定与第一图像相对应的目标图像,目标图像的清晰度与第一图像的清晰度不同。

其中，第一图像与参考图像是清晰度不同的同一图像，具体实现时，参考图像的清晰度可以高于第一图像的清晰度，或者，参考图像的清晰度低于第一图像的清晰度。第一图像和参考图像可以存储在预设区域中，通过访问预设区域可以获取到第一图像和参考图像。具体应用时，多个第一图像可以是预设的多个模糊图像，上述的第一图像可以包括以下至少之一：通过拍摄装置拍摄获得的图像信息、视频信息中的图像信息、合成图像等等。本实施例对于训练装置获取第一图像的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，例如：拍摄装置可以与训练装置通信连接，在拍摄装置拍摄获得第一图像之后，训练装置可以通过拍摄装置获得第一图像，具体的，训练装置可以主动获取拍摄装置获得第一图像，或者，拍摄装置可以主动将第一图像发送至训练装置，从而使得训练装置获得第一图像。再或者，第一图像可以存储在预设区域，训练装置可以通过访问预设区域获得第一图像。

在获取到第一图像之后，可以对第一图像进行分析处理，从而可以获得与第一图像相对应的多维度特征，该多维度特征可以包括至少两个不同的、与人脸图像相对应的图像特征。在获取到多维度特征之后，可以基于多维度特征、参考图像和第一图像进行学习训练，具体的，可以基于多维度特征、参考图像和第一图像对空间自适应卷积残差网络进行学习训练，从而可以获得第一机器学习模型，第一机器学习模型用于确定与第一图像相对应的目标图像，目标图像的清晰度与第一图像的清晰度不同。

本实施例提供的模型训练方法，通过获取第一图像以及与第一图像相对应的参考图像；确定与第一图像相对应的多维度特征，基于多维度特征、参考图像和第一图像进行学习训练，从而可以获得适用于所有应用场景的图像进行处理的第一机器学习模型，该第一机器学习模型可以确定与第一图像相对应的目标图像，实现了基于所生成的第一机器学习模型对图像进行分析处理，从而有效地保证了该第一机器学习模型的适用范围，提高了该模型训练方法的实用性。

在一些实例中，多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

在一些实例中，本实施例中的方法还可以包括：获取与第一图像相对应的引导特征信息；基于第一图像、参考图像、多维度特征和引导特征信息进行学习训练，获得第一机器学习模型，第一机器学习模型用于基于多维度特征确定与第一图像相对应的目标图像,目标图像的清晰度与第一图像的清晰度不同。

在一些实例中，引导特征信息包括以下至少之一：人脸语义图、关键点定位图、热力图、对第一图像进行处理所获得的输出特征信息。

本实施例中上述步骤的具体执行过程和技术效果与上述实施例中基于第一图像、参考图像和多维度特征进行学习训练，获得第一机器学习模型的具体执行过程和技术效果相类似，具体可参考上述陈述内容，在此不再赘述。

图14为本发明实施例提供的一种图像处理装置的结构示意图；参考附图14所示，本实施例提供了一种图像处理装置，该图像处理装置可以执行上述图1所对应的图像处理方法，该图像处理装置可以包括第一获取模块11、第一确定模块12和第一处理模块13；具体的，

第一获取模块11，用于获取待处理的人脸图像；

第一确定模块12，用于确定与人脸图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征；

第一处理模块13，用于将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像；

其中，第一机器学习模型被训练为用于基于多维度特征确定与人脸图像相对应的目标图像，目标图像的清晰度与人脸图像的清晰度不同。

在一些实例中，在第一确定模块12确定与人脸图像相对应的多维度特征时，第一确定模块12可以用于执行：利用第二机器学习模型对人脸图像进行分析处理，确定与人脸图像相对应的多维度特征，第二机器学习模型被训练为用于确定与人脸图像相对应的多维度特征。

在一些实例中，第二机器学习模型包括：一个或多个第二网络单元，多个第二网络单元依次串联连接，第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与第二输入信息相对应的第二输出信息。

在一些实例中，第二输入信息包括以下任意之一：人脸图像、上一级第二网络单元所输出的第二输出信息。

在一些实例中，在第一确定模块12利用第二机器学习模型对人脸图像进行分析处理，确定与人脸图像相对应的多维度特征时，第一确定模块12可以用于执行：在利用第二机器学习模型对人脸图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息；将一个或多个第二输出信息确定为与人脸图像相对应的多维度特征。

在一些实例中，第一机器学习模型包括：一个或多个第一网络单元，多个第一网络单元依次串联连接，第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与第一输入信息相对应的第一输出信息。

在一些实例中，第一输入信息包括以下任意之一：与人脸图像相对应的多维度特征、引导特征信息、上一级第一网络单元所输出的第一输出信息。

在一些实例中，引导特征信息包括以下至少之一：人脸语义图、关键点定位图、热力图。

在一些实例中，第一网络单元和第二网络单元的个数相同或不同。

在一些实例中，本实施例中的第一获取模块11和第一处理模块13可以用于执行以下步骤：

第一获取模块11，用于获取引导特征信息；

第一处理模块13，用于将引导特征信息输入至第一机器学习模型中所包括的第一网络单元，以使第一网络单元基于引导特征信息和多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像。

在一些实例中，在第一处理模块13获得与人脸图像相对应的目标图像时，第一处理模块13可以用于执行：在一个或多个第一网络单元中，将最后一级第一网络单元所输出的第一输出信息，确定为与人脸图像相对应的目标图像。

在一些实例中，多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

在一些实例中，在第一确定模块12确定与人脸图像相对应的多维度特征时，该第一确定模块12可以用于执行：获取用于对人脸图像进行处理的卷积核以及与卷积核相对应的调制函数；基于卷积核和调制函数对人脸图像进行处理，获得与人脸图像相对应的多维度特征。

在一些实例中，在第一确定模块12获取与卷积核相对应的调制函数时，该第一确定模块12可以用于执行：确定第二输入信息在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量；基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数。

在一些实例中，在第一确定模块12基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数时，该第一确定模块12可以用于执行：确定将第一原始输入向量映射至预设空域坐标轴上的第一映射函数、以及将第二原始输入向量映射至预设空域坐标轴上的第二映射函数；基于第一映射函数和第二映射函数，确定与卷积核相对应的调制函数。

图14所示装置可以执行图1-图11所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图11所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图11所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图14所示图像处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图15所示，该电子设备可以包括：第一处理器21和第一存储器22。其中，第一存储器22用于存储相对应电子设备执行上述图1-图11所示实施例中提供的图像处理方法的程序，第一处理器21被配置为用于执行第一存储器22中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第一处理器21执行时能够实现如下步骤：

获取待处理的人脸图像；

确定与人脸图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征；

将多维度特征和人脸图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对人脸图像进行处理，获得与人脸图像相对应的目标图像；

其中，第一机器学习模型被训练为用于基于多维度特征确定与人脸图像相对应的目标图像，目标图像的清晰度与人脸图像的清晰度不同。

进一步的，第一处理器21还用于执行前述图1-图11所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第一通信接口23，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图1-图11所示方法实施例中图像处理方法所涉及的程序。

图16为本发明实施例提供的另一种图像处理装置的结构示意图；参考附图16所示，本实施例提供了另一种图像处理装置，该图像处理装置可以执行上述图12所对应的图像处理方法，该图像处理装置可以包括第二获取模块31、第二确定模块32和第二处理模块33；具体的，

第二获取模块31，用于获取待处理图像；

第二确定模块32，用于确定与待处理图像相对应的多维度特征，多维度特征包括至少两个不同的、与待处理图像相对应的图像特征；

第二处理模块33，用于将多维度特征和待处理图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像；

其中，第一机器学习模型被训练为用于基于多维度特征确定与待处理图像相对应的目标图像，目标图像的清晰度与待处理图像的清晰度不同。

在一些实例中，在第二确定模块32确定与待处理图像相对应的多维度特征时，第二确定模块32可以用于执行：利用第二机器学习模型对待处理图像进行分析处理，确定与待处理图像相对应的多维度特征，第二机器学习模型被训练为用于确定与待处理图像相对应的多维度特征。

在一些实例中，第二机器学习模型包括：一个或多个第二网络单元，多个第二网络单元依次串联连接，第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与第二输入信息相对应的第二输出信息。

在一些实例中，第二输入信息包括以下任意之一：待处理图像、上一级第二网络单元所输出的第二输出信息。

在一些实例中，在第二确定模块32利用第二机器学习模型对待处理图像进行分析处理，确定与待处理图像相对应的多维度特征时，第二确定模块32可以用于执行：在利用第二机器学习模型对待处理图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息；将一个或多个第二输出信息确定为与待处理图像相对应的多维度特征。

在一些实例中，第一机器学习模型包括：一个或多个第一网络单元，多个第一网络单元依次串联连接，第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与第一输入信息相对应的第一输出信息。

在一些实例中，第一输入信息包括以下任意之一：与待处理图像相对应的多维度特征、引导特征信息、上一级第一网络单元所输出的第一输出信息。

在一些实例中，引导特征信息包括以下至少之一：语义图、关键点定位图、热力图。

在一些实例中，第一网络单元和第二网络单元的个数相同或不同。

在一些实例中，本实施例中的第二获取模块31和第二处理模块33可以用于执行以下步骤：

第二获取模块31，用于获取引导特征信息；

第二处理模块33，用于将引导特征信息输入至第一机器学习模型中所包括的第一网络单元，以使第一网络单元基于引导特征信息和多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像。

在一些实例中，在第二处理模块33获得与待处理图像相对应的目标图像时，该第二处理模块33可以用于执行：在一个或多个第一网络单元中，将最后一级第一网络单元所输出的第一输出信息，确定为与待处理图像相对应的目标图像。

在一些实例中，多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

在一些实例中，在第二确定模块32确定与待处理图像相对应的多维度特征时，该第二确定模块32可以用于执行：获取用于对待处理图像进行处理的卷积核以及与卷积核相对应的调制函数；基于卷积核和调制函数对待处理图像进行处理，获得与待处理图像相对应的多维度特征。

在一些实例中，在第二确定模块32获取与卷积核相对应的调制函数时，该第二确定模块32可以用于执行：确定待处理图像在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量；基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数。

在一些实例中，在第二确定模块32基于第一原始输入向量和第二原始输入向量，确定与卷积核相对应的调制函数时，该第二确定模块32可以用于执行：确定将第一原始输入向量映射至预设空域坐标轴上的第一映射函数、以及将第二原始输入向量映射至预设空域坐标轴上的第二映射函数；基于第一映射函数和第二映射函数，确定与卷积核相对应的调制函数。

图16所示装置可以执行图12所示实施例的方法，本实施例未详细描述的部分，可参考对图12所示实施例的相关说明。该技术方案的执行过程和技术效果参见图12所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图16所示图像处理装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图17所示，该电子设备可以包括：第二处理器41和第二存储器42。其中，第二存储器42用于存储相对应电子设备执行上述图12所示实施例中提供的图像处理方法的程序，第二处理器41被配置为用于执行第二存储器42中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第二处理器41执行时能够实现如下步骤：

获取待处理图像；

确定与待处理图像相对应的多维度特征，多维度特征包括至少两个不同的、与待处理图像相对应的图像特征；

将多维度特征和待处理图像输入至第一机器学习模型，以使第一机器学习模型基于多维度特征对待处理图像进行处理，获得与待处理图像相对应的目标图像；

其中，第一机器学习模型被训练为用于基于多维度特征确定与待处理图像相对应的目标图像，目标图像的清晰度与待处理图像的清晰度不同。

进一步的，第二处理器41还用于执行前述图12所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第二通信接口43，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图12所示方法实施例中图像处理方法所涉及的程序。

图18为本发明实施例提供的一种模型训练装置的结构示意图；参考附图18所示，本实施例提供了一种模型训练装置，该图模型训练装置可以执行上述图13所对应的模型训练方法，该模型训练装置可以包括第三获取模块51、第三确定模块52和第三训练模块53；具体的，

第三获取模块51，用于获取第一图像以及与第一图像相对应的参考图像，参考图像的清晰度与第一图像的清晰度不同；

第三确定模块52，用于确定与第一图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征；

第三处理模块53，用于基于第一图像、参考图像和多维度特征进行学习训练，获得第一机器学习模型，第一机器学习模型用于基于多维度特征确定与第一图像相对应的目标图像,目标图像的清晰度与第一图像的清晰度不同。

在一些实例中，多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

在一些实例中，本实施例中的第三获取模块51和第三处理模块53可以用于执行以下步骤：

第三获取模块51，用于获取与第一图像相对应的引导特征信息；

第三处理模块53，用于基于第一图像、参考图像、多维度特征和引导特征信息进行学习训练，获得第一机器学习模型，第一机器学习模型用于基于多维度特征确定与第一图像相对应的目标图像,目标图像的清晰度与第一图像的清晰度不同。

在一些实例中，引导特征信息包括以下至少之一：人脸语义图、关键点定位图、热力图、对第一图像进行处理所获得的输出特征信息。

图18所示装置可以执行图13所示实施例的方法，本实施例未详细描述的部分，可参考对图13所示实施例的相关说明。该技术方案的执行过程和技术效果参见图13所示实施例中的描述，在此不再赘述。

在一个可能的设计中，图18所示模型训练装置的结构可实现为一电子设备，该电子设备可以是手机、平板电脑、服务器等各种设备。如图15所示，该电子设备可以包括：第三处理器61和第三存储器62。其中，第三存储器62用于存储相对应电子设备执行上述图13所示实施例中提供的模型训练方法的程序，第三处理器61被配置为用于执行第三存储器62中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被第三处理器61执行时能够实现如下步骤：

获取第一图像以及与第一图像相对应的参考图像，参考图像的清晰度与第一图像的清晰度不同；

确定与第一图像相对应的多维度特征，多维度特征包括至少两个不同的、与人脸图像相对应的图像特征；

基于第一图像、参考图像和多维度特征进行学习训练，获得第一机器学习模型，第一机器学习模型用于基于多维度特征确定与第一图像相对应的目标图像,目标图像的清晰度与第一图像的清晰度不同。

进一步的，第三处理器61还用于执行前述图13所示实施例中的全部或部分步骤。

其中，电子设备的结构中还可以包括第三通信接口63，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述图13所示方法实施例中模型训练方法所涉及的程序。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (40)

1.一种图像处理方法，其特征在于，包括：

获取待处理的人脸图像；

确定与所述人脸图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

将所述多维度特征和所述人脸图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述人脸图像进行处理，获得与所述人脸图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述人脸图像相对应的目标图像，所述目标图像的清晰度与所述人脸图像的清晰度不同。

2.根据权利要求1所述的方法，其特征在于，确定与所述人脸图像相对应的多维度特征，包括：

利用第二机器学习模型对所述人脸图像进行分析处理，确定与所述人脸图像相对应的多维度特征，所述第二机器学习模型被训练为用于确定与所述人脸图像相对应的多维度特征。

3.根据权利要求2所述的方法，其特征在于，所述第二机器学习模型包括：一个或多个第二网络单元，多个所述第二网络单元依次串联连接，所述第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与所述第二输入信息相对应的第二输出信息。

4.根据权利要求3所述的方法，其特征在于，

所述第二输入信息包括以下任意之一：所述人脸图像、上一级所述第二网络单元所输出的第二输出信息。

5.根据权利要求3所述的方法，其特征在于，利用第二机器学习模型对所述人脸图像进行分析处理，确定与所述人脸图像相对应的多维度特征，包括：

在利用第二机器学习模型对所述人脸图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息；

将一个或多个第二输出信息确定为与所述人脸图像相对应的多维度特征。

6.根据权利要求3-5中任意一项所述的方法，其特征在于，所述第一机器学习模型包括：一个或多个第一网络单元，多个所述第一网络单元依次串联连接，所述第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与所述第一输入信息相对应的第一输出信息。

7.根据权利要求6所述的方法，其特征在于，所述第一输入信息包括以下任意之一：与所述人脸图像相对应的多维度特征、引导特征信息、上一级所述第一网络单元所输出的第一输出信息。

8.根据权利要求7所述的方法，其特征在于，所述引导特征信息包括以下至少之一：人脸语义图、关键点定位图、热力图。

9.根据权利要求6所述的方法，其特征在于，所述第一网络单元和所述第二网络单元的个数相同或不同。

10.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取所述引导特征信息；

将所述引导特征信息输入至所述第一机器学习模型中所包括的第一网络单元，以使所述第一网络单元基于所述引导特征信息和多维度特征对所述人脸图像进行处理，获得与所述人脸图像相对应的目标图像。

11.根据权利要求7所述的方法，其特征在于，获得与所述人脸图像相对应的目标图像，包括：

在一个或多个第一网络单元中，将最后一级第一网络单元所输出的第一输出信息，确定为与所述人脸图像相对应的目标图像。

12.根据权利要求1-5中任意一项所述的方法，其特征在于，所述多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

13.根据权利要求4所述的方法，其特征在于，确定与所述人脸图像相对应的多维度特征，包括：

获取用于对人脸图像进行处理的卷积核以及与所述卷积核相对应的调制函数；

基于所述卷积核和所述调制函数对所述人脸图像进行处理，获得与所述人脸图像相对应的多维度特征。

14.根据权利要求13所述的方法，其特征在于，获取与所述卷积核相对应的调制函数，包括：

确定所述第二输入信息在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量；

基于所述第一原始输入向量和所述第二原始输入向量，确定与所述卷积核相对应的调制函数。

15.根据权利要求14所述的方法，其特征在于，基于所述第一原始输入向量和所述第二原始输入向量，确定与所述卷积核相对应的调制函数，包括：

确定将所述第一原始输入向量映射至预设空域坐标轴上的第一映射函数、以及将所述第二原始输入向量映射至预设空域坐标轴上的第二映射函数；

基于所述第一映射函数和所述第二映射函数，确定与所述卷积核相对应的调制函数。

16.一种图像处理方法，其特征在于，包括：

获取待处理图像；

确定与所述待处理图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述待处理图像相对应的图像特征；

将所述多维度特征和所述待处理图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述待处理图像进行处理，获得与所述待处理图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述待处理图像相对应的目标图像，所述目标图像的清晰度与所述待处理图像的清晰度不同。

17.根据权利要求16所述的方法，其特征在于，确定与所述待处理图像相对应的多维度特征，包括：

利用第二机器学习模型对所述待处理图像进行分析处理，确定与所述待处理图像相对应的多维度特征，所述第二机器学习模型被训练为用于确定与所述待处理图像相对应的多维度特征。

18.根据权利要求17所述的方法，其特征在于，所述第二机器学习模型包括：一个或多个第二网络单元，多个所述第二网络单元依次串联连接，所述第二网络单元用于对所接收到的第二输入信息进行分析处理，确定与所述第二输入信息相对应的第二输出信息。

19.根据权利要求18所述的方法，其特征在于，

所述第二输入信息包括以下任意之一：所述待处理图像、上一级所述第二网络单元所输出的第二输出信息。

20.根据权利要求18所述的方法，其特征在于，利用第二机器学习模型对所述待处理图像进行分析处理，确定与所述待处理图像相对应的多维度特征，包括：

在利用第二机器学习模型对所述待处理图像进行分析处理时，获取一个或多个第二网络单元所输出的一个或多个第二输出信息；

将一个或多个第二输出信息确定为与所述待处理图像相对应的多维度特征。

21.根据权利要求18-20中任意一项所述的方法，其特征在于，所述第一机器学习模型包括：一个或多个第一网络单元，多个所述第一网络单元依次串联连接，所述第一网络单元用于对所接收到的第一输入信息进行分析处理，确定与所述第一输入信息相对应的第一输出信息。

22.根据权利要求21所述的方法，其特征在于，所述第一输入信息包括以下任意之一：与所述待处理图像相对应的多维度特征、引导特征信息、上一级所述第一网络单元所输出的第一输出信息。

23.根据权利要求22所述的方法，其特征在于，所述引导特征信息包括以下至少之一：语义图、关键点定位图、热力图。

24.根据权利要求21所述的方法，其特征在于，所述第一网络单元和所述第二网络单元的个数相同或不同。

25.根据权利要求22所述的方法，其特征在于，所述方法还包括：

获取所述引导特征信息；

将所述引导特征信息输入至所述第一机器学习模型中所包括的第一网络单元，以使所述第一网络单元基于所述引导特征信息和多维度特征对所述待处理图像进行处理，获得与所述待处理图像相对应的目标图像。

26.根据权利要求22所述的方法，其特征在于，获得与所述待处理图像相对应的目标图像，包括：

在一个或多个第一网络单元中，将最后一级第一网络单元所输出的第一输出信息，确定为与所述待处理图像相对应的目标图像。

27.根据权利要求16-20中任意一项所述的方法，其特征在于，所述多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

28.根据权利要求16所述的方法，其特征在于，确定与所述待处理图像相对应的多维度特征，包括：

获取用于对待处理图像进行处理的卷积核以及与所述卷积核相对应的调制函数；

基于所述卷积核和所述调制函数对所述待处理图像进行处理，获得与所述待处理图像相对应的多维度特征。

29.根据权利要求28所述的方法，其特征在于，获取与所述卷积核相对应的调制函数，包括：

确定所述待处理图像在第一空域坐标轴上的第一原始输入向量和在第二空域坐标轴上的第二原始输入向量；

基于所述第一原始输入向量和所述第二原始输入向量，确定与所述卷积核相对应的调制函数。

30.根据权利要求29所述的方法，其特征在于，基于所述第一原始输入向量和所述第二原始输入向量，确定与所述卷积核相对应的调制函数，包括：

确定将所述第一原始输入向量映射至预设空间空域坐标轴上的第一映射函数、以及将所述第二原始输入向量映射至预设空间空域坐标轴上的第二映射函数；

基于所述第一映射函数和所述第二映射函数，确定与所述卷积核相对应的调制函数。

31.一种模型训练方法，其特征在于，包括：

获取第一图像以及与所述第一图像相对应的参考图像，所述参考图像的清晰度与所述第一图像的清晰度不同；

确定与所述第一图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

基于所述第一图像、参考图像和所述多维度特征进行学习训练，获得第一机器学习模型，所述第一机器学习模型用于基于所述多维度特征确定与所述第一图像相对应的目标图像,所述目标图像的清晰度与所述第一图像的清晰度不同。

32.根据权利要求31所述的方法，其特征在于，所述多维度特征包括以下至少之二：关键点特征、轮廓特征、纹理特征、颜色特征。

33.根据权利要求31所述的方法，其特征在于，所述方法还包括:

获取与所述第一图像相对应的引导特征信息；

基于所述第一图像、参考图像、多维度特征和所述引导特征信息进行学习训练，获得第一机器学习模型，所述第一机器学习模型用于基于所述多维度特征确定与所述第一图像相对应的目标图像,所述目标图像的清晰度与所述第一图像的清晰度不同。

34.根据权利要求33所述的方法，其特征在于，所述引导特征信息包括以下至少之一：人脸语义图、关键点定位图、热力图、对所述第一图像进行处理所获得的输出特征信息。

35.一种图像处理装置，其特征在于，包括：

第一获取模块，用于获取待处理的人脸图像；

第一确定模块，用于确定与所述人脸图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

第一处理模块，用于将所述多维度特征和所述人脸图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述人脸图像进行处理，获得与所述人脸图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述人脸图像相对应的目标图像，所述目标图像的清晰度与所述人脸图像的清晰度不同。

36.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1-15中任意一项所述的图像处理方法。

37.一种图像处理装置，其特征在于，包括：

第二获取模块，用于获取待处理图像；

第二确定模块，用于确定与所述待处理图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述待处理图像相对应的图像特征；

第二处理模块，用于将所述多维度特征和所述待处理图像输入至第一机器学习模型，以使第一机器学习模型基于所述多维度特征对所述待处理图像进行处理，获得与所述待处理图像相对应的目标图像；

其中，所述第一机器学习模型被训练为用于基于所述多维度特征确定与所述待处理图像相对应的目标图像，所述目标图像的清晰度与所述待处理图像的清晰度不同。

38.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求16-30中任意一项所述的图像处理方法。

39.一种模型训练装置，其特征在于，包括：

第三获取模块，用于获取第一图像以及与所述第一图像相对应的参考图像，所述参考图像的清晰度与所述第一图像的清晰度不同；

第三确定模块，用于确定与所述第一图像相对应的多维度特征，所述多维度特征包括至少两个不同的、与所述人脸图像相对应的图像特征；

第三处理模块，用于基于所述第一图像、参考图像和所述多维度特征进行学习训练，获得第一机器学习模型，所述第一机器学习模型用于基于所述多维度特征确定与所述第一图像相对应的目标图像,所述目标图像的清晰度与所述第一图像的清晰度不同。

40.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求31-34中任意一项所述的模型训练方法。

Images