CN113221847A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供的一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：获取待处理图像和参考图像；待处理图像中的待处理人脸与参考图像中的参考人脸相同或者不同；根据待处理人脸的形状特征和纹理特征，以及参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；根据待处理图像、渲染图和深度图，生成目标图像；其中，目标图像具有待处理人脸；待处理人脸具有参考人脸的表情特征和/或姿势特征。本发明实施例可以生成具有待处理人脸的目标图像，且该待处理人脸具有参考人脸的表情特征和/或姿态特征，能够解决现有技术中的人脸变形问题，同时还可以实现头部姿态以及表情的解耦控制的效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着社会的不断发展，诸如手机、平板电脑等电子设备已经广泛应用在学习、娱乐、工作等方面，扮演着越来越重要的角色。在这些电子设备中配置有摄像头，可用于拍照、录像或者直播等应用。

在直播、AR(AugmentedReality，增强现实)、制作表情等应用中，人脸驱动技术可以识别当前用户的人脸状态，从而驱动另一个人脸表达该人脸状态。但是，现有的人脸驱动方法是一种基于人脸关键点识别的驱动方式，这种人脸驱动方式对图像要求高，需要源图和驱动图是同一张人脸，否则会出现人脸变形问题，而且无法实现人脸表情和姿势的解耦控制。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决现有技术出现的人脸变形而且无法实现人脸表情和姿势的解耦控制问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明提供一种图像处理方法，所述方法包括：获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；其中，所述目标图像具有所述待处理人脸；所述待处理人脸具有所述参考人脸的表情特征和/或姿势特征。

第二方面，本发明提供一种图像处理装置，包括：获取模块，用于获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；处理模块，用于根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；处理模块，还用于根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；所述目标图像具有所述待处理人脸；所述待处理人脸具有所述表情特征和/或所述姿势特征。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现第一方面所述的图像处理方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有机器可执行指令，所述机器可执行指令被处理器执行时实现第一方面所述的图像处理方法。

本发明提供的一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；其中，所述目标图像具有所述待处理人脸；所述待处理人脸具有所述表情特征和/或所述姿势特征。

与现有技术的区别在于，现有的人脸驱动方法是一种基于人脸关键点识别的驱动方式，一旦驱动图与源图不是同一张人脸的时候，则会导致人脸变形的问题，同时，这种人脸驱动方式也无法达到头部姿态以及表情的解耦控制。本发明实施例提供了一种人脸驱动方式，不再依赖人脸关键技术进行人脸驱动，而是在利用待处理人脸的形状特征和纹理特征，以及参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图，可以看出，获得的渲染图和深度图中包含了待处理人脸的形状特征、参考人脸的表情特征和/或姿势特征，可以实现人脸驱动的效果，同时还可以实现头部姿态以及表情的解耦控制的效果。同时深度图中还具有待处理人脸的深度信息、渲染图还包含了待处理人脸的纹理信息，基于这些信息可以保证生成的目标图像中的待处理人脸的准确度，解决了现有技术中的人脸变形问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像处理方法的示意性流程图；

图2为本发明实施例提供的一种场景示意图；

图3为本发明实施例提供的步骤S105的一种实现方式的示意性流程图；

图4为本发明实施例提供的步骤S106的一种实现方式的示意性流程图；

图5为本发明实施例提供的另一种场景示意图；

图6为本发明实施例提供的一种模型训练示意图；

图7A和图7B是本发明实施例提供的用户界面的示意图；

图8为本发明实施例提供的一种图像处理装置的功能模块图；

图9为本发明实施例提供的一种电子设备结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在直播、AR(AugmentedReality，增强现实)、制作表情等应用中，人脸驱动技术越来越受用户的喜爱，人脸驱动技术可以识别当前用户的人脸状态，从而驱动另一个人脸表达该人脸状态。也就是说：假设给定两张图片，其中一张为源图(图中具有待处理人脸)，另一张为驱动图(图中具有参考人脸)，将这两张图像进行处理，输出的图像中具有待处理人脸，但待处理人脸具有参考人脸的头部姿态与表情与驱动图。

现有的人脸驱动方法是一种基于人脸关键点识别的驱动方式，例如，相关技术采用了将人脸关键点和源图输入到神经网络模型进行人脸驱动，但是不同人脸在形状(包括脸)、五官位置等方面存在差别，基于关键点的生成方案中以关键点作为输入，通过关键点标记五官位置，那么，一旦驱动图与源图不是同一张人脸的时候，则此时从驱动图提取的关键点所表征的脸部形状、五官距离与源图中人脸的关键点不同，会导致最终生成的图片人脸形状和驱动图中的人脸形状一样，但人脸肤色又是和源图中人脸的肤色相同，这就出现人脸变形以及清晰度不高的问题，同时，这种人脸驱动方式也无法达到头部姿态以及表情的解耦控制。

可以理解的是，现有基于人脸关键点技术进行人脸驱动的方式对图像要求高，需要源图和驱动图是同一张人脸，否则会出现人脸清晰度问题与人脸变形问题，而且无法实现人脸表情和姿势的解耦控制。

为了解决上述技术问题，本发明实施例提供了一种人脸驱动方式，即不再依赖人脸关键技术进行人脸驱动，而是在利用源图的形状特征、纹理特征以及驱动图的表情特征和/或姿势特征进行人脸重建，获得重建后的人脸渲染图和人脸深度图，进而根据人脸渲染图和人脸深度图进行图像合成，获得目标图像，由于在图像合成过程中提供更多的人脸信息，例如纹理信息、深度信息等，从而可以解决现有技术中人脸变形和清晰度差的问题，进而，由于在获得渲染图和深度图的过程中使用的表情特征和/或姿势特征，从而可以实现头部姿态以及表情的解耦控制的效果。

为了方便理解上述技术效果，下面将结合相关附图对本发明实施例提供的图像处理方法进行介绍。

请参见图1，图1为本发明实施例提供的一种图像处理方法的示意性流程图，该方法可以包括：

S104，获取待处理图像和参考图像。

可以理解的是，在本发明实施例中，待处理图像中的待处理人脸和参考图像中的参考人脸可以相同，也可以不同。也就是说，待处理人脸和参考人脸相同，那么本发明实施例后续获得的目标图像中的人脸自然也就不会出现变形的问题，即使待处理人脸和参考人脸不同，那么通过本发明实施例后续处理步骤同样可以解决人脸变形问题。

在一些可能的实施例中，待处理图像可以是一张，获得方式可以上获取预先存储的图像，或者通过采集设备采集的图像；参考图像可以是单独的一张图像，也可以是连续几帧图像，因此，获得参考图像的方式可以是获取预先存储的图像，或者是通过采集设备采集的图像，还可以是视频的全部帧图像。

S105，根据待处理人脸的形状特征和纹理特征，以及参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图。

可以理解的是，在本发明实施例中，可以根据待处理图像和参考图像各自的人脸特征进行人脸重建，进而获得重建后的人脸的渲染图和深度图。为了使得后续获得的目标图像中具有待处理人脸，那么在S105的过程中，生成的渲染图和深度图中的人脸包含了待处理人脸的形状特征、参考人脸的表情特征和/或姿势特征。

还可以理解的是，上述的渲染图指得的是对三维人脸模型进行渲染获得的人脸平面图，深度图是一个256x256的图片，其中每个像素点的像素值在0-255之间，像素值的大小表征该像素点代表的脸部位置距离屏幕的距离，也就是人脸的纵深，像素值越靠近255表明该像素点距离屏幕越近，像素值越靠近0表明该像素点距离屏幕越远，比如，就鼻子和眼睛在脸部的位置，鼻子更突出，距离屏幕的距离小，因此鼻子部位对应的像素点的像素值要大于眼睛部位对应的像素值。

在本发明实施例中，申请人经研究发现，当一个人转动头部的时候，其纹理特征会因光照影响而产生值的变化，因此，为了消除光照对纹理特征的影响，可以根据额外的深度信息，去微调生成的人脸，使得生成的人脸更加逼真。

S106，根据待处理图像、渲染图和深度图，生成目标图像。

其中，目标图像具有待处理人脸，待处理人脸具有参考人脸的表情特征和/或姿势特征。

可以理解的是，为了使得目标图像中的待处理人脸与待处理图像中的待处理人脸更加逼近，可以在获得目标图像的过程中参考待处理图像中的特征，同时，由于渲染图和深度图中的应该包含了待处理人脸的形状特征、参考人脸的表情特征和/或姿势特征，那么生成的目标图像中就可以具有待处理人脸，且该待处理人脸具有参考人脸的表情特征和/或姿势特征。

本发明实施例提供的一种图像处理方法，与现有技术的区别在于，现有的人脸驱动方法是一种基于人脸关键点识别的驱动方式，一旦驱动图与源图不是同一张人脸的时候，则会导致人脸变形的问题，同时，这种人脸驱动方式也无法达到头部姿态以及表情的解耦控制。本发明实施例提供了一种人脸驱动方式，不再依赖人脸关键技术进行人脸驱动，而是在利用待处理人脸的形状特征和纹理特征，以及参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图，可以看出，获得的渲染图和深度图中包含了待处理人脸的形状特征、参考人脸的表情特征和/或姿势特征，可以实现人脸驱动的效果，同时还可以实现头部姿态以及表情的解耦控制的效果。同时深度图中还具有待处理人脸的深度信息、渲染图还包含了待处理人脸的纹理信息，基于这些信息可以保证生成的目标图像中的待处理人脸的准确度，解决了现有技术中的人脸变形问题。

为了方便理解上述效果，请参见图2，图2为本发明实施例提供的一种场景示意图。从图2中可以看出，本发明实施例根据待处理图像和参考图像可以获得一个人脸的渲染图和深度图，可以看出，渲染图和深度图中的人脸已经是待处理人脸，进而根据获得的渲染图、深度图以及待处理图像获得目标图像，获得的目标图像中的人脸即为待处理人脸，且该待处理人脸具有参考人脸的表情特征和姿势特征。

在一些可能的实施例中，为了保证获得的渲染图和深度图包含待处理人脸的脸部特征以及参考人脸的表情特征和/或姿势特征，同时为了保证不出现人脸变形的问题，下面给出一种获得渲染图和深度图的实现方式，请参见图3，图3为本发明实施例提供的步骤S105的一种实现方式的示意性流程图，步骤S105可以包括以下子步骤：

子步骤S105-1，对待处理图像进行人脸重建，获得形状特征和纹理特征。

可以理解的是，为了使最终生成的目标图像中具有待处理人脸，形状特征可以在后续进行人脸重建的过程使得渲染图和深度图中的人脸为待处理人脸。同时为了防止人脸变形，还可以获得待处理人脸的纹理特征，这里所说的纹理特征是由图像上的物重复排列造成的灰度值有规则的分布，这样的特征就是图像的纹理特征，也就是说，对于不同的人脸，其在图像中的呈现出的灰度值有规则的分布不同，因此，获得纹理特征可以后续重建获得的人脸与待处理人脸近乎相同。

在一些可能的实施例中，若待处理人脸也具有表情特征和/或姿势特征，那么对待处理人脸进行人脸重建，还可以获得待处理人脸的表情特征和/或姿势特征。

子步骤S105-2，对参考图像进行人脸重建，获得表情特征和/或姿势特征。

可以理解的是，为了使最终生成的目标图像中的待处理人脸具有参考人脸的表情特征和/或姿势特征，那么在获得渲染图和深度图的过程中，应该考虑参考人脸的表情特征和/或姿势特征，实现通过待处理人脸表达参考人脸的状态。

子步骤S105-3，将表情特征和/或姿势特征，以及形状特征、纹理特征输入到预设的参数模型，获得三维人脸模型。

在本发明实施例中，预设的参数模型可以根据获得的表情特征和/或姿势特征，以及形状特征和纹理特征进行人脸重建，获得三维人脸模型。

在一种可能的实现方式中，可以将表情特征、形状特征、纹理特征输入到预设的参数模型，获得三维人脸模型，这样一来，获得的三维人脸具有这三种特征，在另一种可能的实现方式中，还可以将姿势、形状特征、纹理特征输入到预设的参数模型，以使获得三维人脸具有这三种特征，在另一种可能的实现方式中，还可以将表情特征、姿势特征、形状特征、纹理特征都输入到预设的参数模型，以使获得三维人脸具有这四种特征，如此一来，即可实现表情特征和姿势特征的解耦控制的效果。

子步骤S105-4，根据三维人脸模型，获得渲染图和深度图。

通过上述流程，即可获得渲染图和深度图，可以看出，由于是根据待处理人脸的形状特征、纹理特征以及参考人脸的表情特征和/或姿势特征获得的三维人脸模型，因此该三维人脸应该具有待处理人脸的形状、纹理，同时具有参考人脸的表情和/或姿势。

在一些可能的实施例中，为了使得最终获得的目标图像，下面给出一种实现方式，请参见图4，图4为本发明实施例提供的步骤S106的一种实现方式的示意性流程图，步骤S106可以包括以下子步骤：

子步骤S106-1，将待处理图像、渲染图和深度图输入预训练的图像生成模型中。

子步骤S106-2，通过图像生成模型提取待处理图像、渲染图和深度图各自的语义特征，并根据获得的语义特征生成目标图像。

可以理解的是，上述的图像生成模型可以但不限于是Unet神经网络，由于渲染图中具有待处理人脸的纹理特征，纹理特征为Unet神经网络提供了更多的人脸信息，由于Unet神经网络具有跳跃链接，则可以直接将人脸渲染图通过跳跃链接输出，可以防止生成的人脸变形不成样子。进而，Unet神经网络的输入中加入深度图是可以改善因光照问题导致人脸纹理值被改变的问题，因为通过预设的参数模型进行人脸重建时，只是移动了纹理特征的位置，不改变纹理的值，但一个人在转动头的时候，其纹理会受到光照的影响而产生值的变化，将深度图输入到Unet神经网络中，让Unet神经网络不仅仅得到人脸的平面信息(人脸渲染图)，还可以得到人脸的深度信息，这样Unet在学习的时候，可以根据额外的深度信息，去微调生成人脸，以使生成的人脸更加逼真。

为了方便理解上述实现流程，下面在图2的基础上给出另一种场景示意图，请参见图5，图5为本发明实施例提供的另一种场景示意图，可以看出，根据人脸重建，可以分别获得待处理人脸的形状特征、纹理特征，参考人脸的表情特征、姿势特征，然后将这些特征输入到预设的参数模型中，可以获得三维人脸模型，然后对三维人脸模型进行渲染，获得渲染图和深度图，可以看出，渲染图和深度图中的人脸的形状是待处理人脸的形状，表情和姿势是参考人脸的表情和姿势，进而，将待处理图像、渲染图和深度图同时输入到图像生成模型中，图像生成模型可以提出待处理模型中的人脸的语义特征，例如，提取渲染图中的形状特征、纹理特征以及提取到深度图中的深度特征，还可以提取到待处理图像中的其它特征，结合这些特征进行图像生成，最终生成的图像可以具有待处理人脸的形状、纹理以及参考人脸的表情和姿势。

在一些可能的实施例中，请结合图6，图6为本发明实施例提供的一种模型训练示意图，本发明实施例中的图像生成模型是按照以下方式训练的：

步骤1，获得训练样本图像集；训练样本图像集中包括训练源图像和训练参考图；训练源图像和训练参考图像具有相同的人脸。

可以理解的是，训练源图和训练参考图像都是同一个人，因为这样才可以构造图像损失。训练源图和训练参考图像不一样的时候，生成图像和训练参考图像虽然表情一样，但是不同人的人脸。

步骤2，根据训练样本图像集，训练初始的人脸驱动模型。

步骤3，若图像生成模型的损失函数值在预设阈值范围内，则获得训练后的图像生成模型。

可以理解的是，在训练的时候，可以进一步利用人脸重建对生成的图像进行重建，获得生成的图像的纹理特征、形状特征、表情特征和姿势特征，将这些特征分别与训练原图像的形状特征、纹理特征以及训练参考图的表情特征、姿势特征构造形状特征损失函数，纹理特征损失函数，表情特征损失函数和姿势特征损失函数，使得训练的时候获得更多监督信息，提高效果，同时还可以利用生成的图像与训练源图像构建图像感知损失函数和图像损失函数，结合形状特征损失函数、纹理特征损失函数、表情特征损失函数、姿势特征损失函数、图像感知损失函数和图像损失函数共同构建图像生成模型的损失函数，在一种实现方式中，最终构建的损失函数可以表示为：损失函数＝10*图像感知损失函数+10*图像损失函数+形状特征损失函数+表情特征函数+姿态损失函数+纹理损失函数。

在一些可能的实施例中，训练次数可以但不限于是150个epoch，每个epoch 4万次迭代，当这个损失函数的损失值从80降到6，7，即可获得训练后的图像生成模型。

在一些可能的实施例中，为了方便用户操作，下面还给出一种获取待处理图像和参考图像的实现方式，请参见图7A和图7B，图7A和图7B是本发明实施例提供的用户界面的示意图。

如图7A所示，在一种实现方式中，待处理图像和参考图像均为一张静止的图像，则获得待处理图像和参考图像的方式可以是：响应用户操作，显示人脸驱动界面；人脸驱动界面具有源图录入区域和参考图录入区域，可以理解的是，源图也就是本发明实施例中的待处理图像。当接收到源图录入区域的录入操作指令时，将获得的图像作为待处理图像；当接收到源图录入区域的录入操作指令时，将获得的图像作为参考图像。

继续参见图7B，在另一种实现方式中，待处理图像为一张静止的图像，参考图为视频中的每一帧图像，则获得待处理图像和参考图像的方式可以是：响应用户操作，显示人脸驱动界面；人脸驱动界面具有源图录入区域和参考图录入区域；当接收到源图录入区域的录入操作指令时，将获得的图像作为参考图像。当接收到参考图录入区域的选择操作指令时，将获得的视频文件的帧图像作为参考图像。

需要说明的是，在获得待处理图像和参考图像的过程中，源图录入区域和参考图录入区域也可以不在同一个显示界面中，例如，在一个显示界面中可以具有源图录入区域，当接收到用户的录入操作，触发显示另一个界面，在另一个界面上可以具有参考图录入区域。

继续参见图7A和图7B，界面上还具有指引用户进行图像生成的标识，例如“开始”标识，当在人脸驱动显示界面接收到生成操作指令，将生成的目标图像显示在预览区域。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种图像处理装置的实现方式，请参阅图8，图8为本发明实施例提供的一种图像处理装置的功能模块图。需要说明的是，本实施例所提供的图像处理装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该图像处理装置20包括：

获取模块21，用于获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；

处理模块22，用于根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；其中，所述目标图像具有所述待处理人脸；所述待处理人脸具有所述参考人脸的表情特征和/或姿势特征。

可选地，所述渲染图和所述深度图均具有所述表情特征和/或姿势特征以及所述待处理人脸的形状特征；所述渲染图还具有所述待处理人脸的纹理特征；所述深度图还具有所述待处理人脸的深度特征；处理模块22，具体用于对所述待处理图像进行人脸重建，获得所述形状特征和所述纹理特征；对所述参考图像进行人脸重建，获得所述表情特征和/或所述姿势特征；将所述表情特征和/或所述姿势特征，以及所述形状特征、所述纹理特征输入到预设的参数模型，获得三维人脸模型；根据所述三维人脸模型，获得所述渲染图和所述深度图。

可选地，处理模块22，还具体用于将所述待处理图像、所述渲染图和所述深度图输入预训练的图像生成模型中；通过所述图像生成模型提取所述待处理图像、所述渲染图和所述深度图各自的语义特征，并根据获得的所述语义特征生成所述目标图像。

可选地，所述图像生成模型是按照以下方式训练的：获得训练样本图像集；所述训练样本图像集中包括训练源图像和训练参考图；所述训练源图像和所述训练参考图像具有相同的人脸；根据所述训练样本图像集，训练初始的所述人脸驱动模型；若所述图像生成模型的损失函数值在预设阈值范围内，则获得训练后的所述图像生成模型。

可选地，获取模块21具体用于：响应用户操作，显示人脸驱动界面；所述人脸驱动界面具有源图录入区域和参考图录入区域；当接收到所述源图录入区域的录入操作指令时，将获得的图像作为所述待处理图像；当接收到所述源图录入区域的录入操作指令时，将获得的图像作为所述参考图像；或者，当接收到所述源图录入区域的选择操作指令时，将获得的视频文件的帧图像作为所述参考图像；

可选地，获取模块21还用于在所述人脸驱动显示界面的预览区域显示所述待处理图像和所述参考图像；当在所述人脸驱动显示界面接收到生成操作指令，将生成的所述目标图像显示在所述预览区域。

本发明实施例还提供一种电子设备，如图9，图9为本发明实施例提供的一种电子设备结构框图。该电子设备80包括通信接口81、处理器82和存储器83。该处理器82、存储器83和通信接口81相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器83可用于存储软件程序及模块，如本发明实施例所提供的基于图像处理方法对应的程序指令/模块，处理器82通过执行存储在存储器83内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口81可用于与其他节点设备进行信令或数据的通信。在本发明中该电子设备80可以具有多个通信接口81。

其中，存储器83可以是但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory，PROM)，可擦除只读存储器(ErasableProgrammableRead-OnlyMemory，EPROM)，电可擦除只读存储器(ElectricErasableProgrammableRead-OnlyMemory，EEPROM)等。

处理器82可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

可选地，上述模块可以软件或固件(Firmware)的形式存储于图9所示的存储器中或固化于该电子设备的操作系统(OperatingSystem，OS)中，并可由图9中的处理器执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器中。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；

根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；

根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；其中，所述目标图像具有所述待处理人脸；所述待处理人脸具有所述表情特征和/或所述姿势特征。

2.根据权利要求1所述的图像处理方法，其特征在于，所述渲染图和所述深度图均具有所述表情特征和/或姿势特征以及所述形状特征；所述渲染图还具有所述纹理特征；所述深度图还具有所述待处理人脸的深度特征；

根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图的步骤，包括：

对所述待处理图像进行人脸重建，获得所述形状特征和所述纹理特征；

对所述参考图像进行人脸重建，获得所述表情特征和/或所述姿势特征；

将所述表情特征和/或所述姿势特征，以及所述形状特征、所述纹理特征输入到预设的参数模型，获得三维人脸模型；

根据所述三维人脸模型，获得所述渲染图和所述深度图。

3.根据权利要求1所述的图像处理方法，其特征在于，根据所述待处理图像、所述渲染图和所述深度图，生成目标图像的步骤，包括：

将所述待处理图像、所述渲染图和所述深度图输入预训练的图像生成模型中；

通过所述图像生成模型提取所述待处理图像、所述渲染图和所述深度图各自的语义特征，并根据获得的所述语义特征生成所述目标图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像生成模型是按照以下方式训练的：

获得训练样本图像集；所述训练样本图像集中包括训练源图像和训练参考图像；所述训练源图像和所述训练参考图像具有相同的人脸；

根据所述训练样本图像集，训练初始的所述图像生成模型；

若所述图像生成模型的损失函数值在预设阈值范围内，则获得训练后的所述图像生成模型。

5.根据权利要求1所述的图像处理方法，其特征在于，获取所述待处理图像和参考图像的步骤，包括：

响应用户操作，显示人脸驱动界面；所述人脸驱动界面具有源图录入区域和参考图录入区域；

当接收到所述源图录入区域的录入操作指令时，将获得的图像作为所述待处理图像；

当接收到所述参考图录入区域的录入操作指令时，将获得的图像作为所述参考图像；或者，当接收到所述参考图录入区域的选择操作指令时，将获得的视频文件的帧图像作为所述参考图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：

在所述人脸驱动显示界面的预览区域显示所述待处理图像和所述参考图像；

当在所述人脸驱动显示界面接收到生成操作指令，将生成的所述目标图像显示在所述预览区域。

7.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像和参考图像；所述待处理图像中的待处理人脸与所述参考图像中的参考人脸相同或者不同；

处理模块，用于根据所述待处理人脸的形状特征和纹理特征，以及所述参考人脸的表情特征和/或姿势特征进行人脸重建，获得渲染图和深度图；

处理模块，还用于根据所述待处理图像、所述渲染图和所述深度图，生成目标图像；所述目标图像具有所述待处理人脸；所述待处理人脸具有所述表情特征和/或所述姿势特征。

8.根据权利要求7所述的图像处理装置，其特征在于，所述渲染图和所述深度图均具有所述表情特征和/或姿势特征以及所述待处理人脸的形状特征；所述渲染图还具有所述纹理特征；所述深度图还具有所述待处理人脸的深度特征；所述处理模块，具体用于：

对所述待处理图像进行人脸重建，获得所述形状特征和所述纹理特征；

对所述参考图像进行人脸重建，获得所述表情特征和/或所述姿势特征；

将所述表情特征和/或所述姿势特征，以及所述形状特征、所述纹理特征输入到预设的参数模型，获得三维人脸模型；

根据所述人脸模型，获得所述渲染图和所述深度图。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6任一所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有机器可执行指令，其特征在于，所述机器可执行指令被处理器执行时实现如权利要求1-6中任一项所述的图像处理方法。

Images