CN113538639A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取目标面部图像和预设表情系数；基于预设表情系数，对目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；对目标面部图像进行区域去除处理，得到目标待填补图像；将目标局部重建系数和目标待填补图像输入面部更新网络进行面部更新处理，得到目标面部图像对应的面部更新图像。利用本公开实施例提供的技术方案可以灵活高效地得到目标面部图像对应的面部更新图像，且效果自然。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着视频和图像处理技术的发展，利用虚拟主播进行直播的方式一方面能够大大节省主播人力，另一方面能够为观众带来更加丰富多彩的观看体验，但如何得到需要的主播面部图像(例如与文字、语音或指定表情匹配的主播面部图像)成为该技术中的难题。

相关技术中，常常会利用参考图片和输入的语音来预测适配该输入语音的人脸图片，需要学习较多的人脸姿态，模型训练需要的数据量大，训练和预测较为困难，效率低，且生成的人脸与背景难以融合，或是生成的面部效果不自然。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中生成面部更新图像效率低和效果不自然的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取目标面部图像和预设表情系数；

基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；

对所述目标面部图像进行区域去除处理，得到目标待填补图像；

将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。

在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络，所述将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像包括：

将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；

将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。

在一个示例性的实施方式中，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像包括：

将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；

将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，得到多通道纹理贴图；

将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；

将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。

在一个示例性的实施方式中，所述基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数包括：

对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；

根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。

在一个示例性的实施方式中，所述获取目标面部图像和预设表情系数包括：

获取目标原始视频；

将所述目标原始视频中的每个帧图像作为所述目标面部图像；

获取所述每个帧图像对应的表情系数；

将所述对应的表情系数作为所述预设表情系数。

在一个示例性的实施方式中，所述对所述目标面部图像进行区域去除处理，得到目标待填补图像包括：

获取所述目标区域在所述目标面部图像中的位置信息；

基于所述目标区域的位置信息对所述目标面部图像进行区域去除处理，得到目标待填补图像。

在一个示例性的实施方式中，所述方法还包括：

获取多个样本面部图像；

对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数；

对所述每个样本面部图像进行区域去除处理，得到所述每个样本面部图像对应的样本待填补图像；

将所述每个样本面部图像对应的样本局部重建系数，以及所述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到所述每个样本面部图像对应的样本面部更新图像；

基于所述每个样本面部图像和对应的样本面部更新图像确定训练损失数据；

基于所述训练损失数据对所述预设神经网络进行训练，得到所述面部更新网络。

在一个示例性的实施方式中，所述对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数包括：

对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数；

确定所述每个样本面部图像对应的初始重建系数中的待调整系数，并对所述待调整系数进行预设范围内的数值调整，得到所述每个样本面部图像对应的样本局部重建系数。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

数据获取模块，被配置为执行获取目标面部图像和预设表情系数；

重建处理模块，被配置为执行基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；

区域去除处理模块，被配置为执行对所述目标面部图像进行区域去除处理，得到目标待填补图像；

面部更新模块，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。

在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络；所述面部更新模块包括：

局部图像生成单元，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；

图像合成单元，被配置为执行将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。

在一个示例性的实施方式中，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述局部图像生成单元包括：

局部建模单元，被配置为执行将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；

系数处理单元，被配置为执行将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，得到多通道纹理贴图；

纹理渲染单元，被配置为执行将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；

解码处理单元，被配置为执行将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。

在一个示例性的实施方式中，所述重建处理模块包括：

局部三维重建单元，被配置为执行对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；

系数更新单元，被配置为执行根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。

在一个示例性的实施方式中，所述数据获取模块包括：

原始视频获取单元，被配置为执行获取目标原始视频；

目标面部图像确定单元，被配置为执行将所述目标原始视频中的每个帧图像作为所述目标面部图像；

表情系数获取单元，被配置为执行获取所述每个帧图像对应的表情系数；

预设表情系数确定单元，被配置为执行将所述对应的表情系数作为所述预设表情系数。

在一个示例性的实施方式中，所述区域去除处理模块包括：

位置信息获取单元，被配置为执行获取所述目标区域在所述目标面部图像中的位置信息；

区域去除单元，被配置为执行基于所述目标区域的位置信息对所述目标面部图像进行区域去除处理，得到所述目标待填补图像。

在一个示例性的实施方式中，所述装置还包括：

样本面部图像获取模块，被配置为执行获取多个样本面部图像；

样本局部重建处理模块，被配置为执行对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数；

样本区域去除处理模块，被配置为执行对所述每个样本面部图像进行区域去除处理，得到所述每个样本面部图像对应的样本待填补图像；

样本面部更新模块，被配置为执行将所述每个样本面部图像对应的样本局部重建系数，以及所述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到所述每个样本面部图像对应的样本面部更新图像；

损失数据确定模块，被配置为执行基于所述每个样本面部图像和对应的样本面部更新图像确定训练损失数据；

网络训练模块，被配置为执行基于所述训练损失数据对所述预设神经网络进行训练，得到所述面部更新网络。

在一个示例性的实施方式中，所述样本局部重建处理模块包括：

样本局部三维重建单元，被配置为执行对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数；

数值调整单元，被配置为执行确定所述每个样本面部图像对应的初始重建系数中的待调整系数，并对所述待调整系数进行预设范围内的数值调整，得到所述每个样本面部图像对应的样本局部重建系数。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取目标面部图像和预设表情系数，进而基于预设表情系数，对目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数，以及对目标面部图像进行区域去除处理，得到目标待填补图像，进而将目标局部重建系数和目标待填补图像输入面部更新网络进行面部更新处理，得到目标面部图像对应的面部更新图像，能够根据需求灵活实现面部控制，高效地得到目标面部图像对应的面部更新图像，且效果自然。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图；

图2是根据一示例性实施例示出的另一种图像处理方法的流程图；

图3是根据一示例性实施例示出的另一种图像处理方法的流程图；

图4是根据一示例性实施例示出的另一种图像处理方法的流程图；

图5是根据一示例性实施例示出的另一种图像处理方法的流程图；

图6是根据一示例性实施例示出的另一种图像处理方法的流程图；

图7是根据一示例性实施例示出的面部更新网络的结构示意图；

图8是根据一示例性实施例示出的另一种图像处理方法的流程图；

图9是根据一示例性实施例示出的另一种图像处理方法的流程图；

图10是根据一示例性实施例示出的一种面部更新网络的训练过程示意图；

图11是根据一示例性实施例示出的一种图像处理方法的应用环境示意图；

图12是根据一示例性实施例示出的一种图像处理装置的框图；

图13是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法应用于终端、服务器、边缘计算节点等电子设备中，包括以下步骤：

在步骤S101中，获取目标面部图像和预设表情系数。

具体的，上述目标面部图像中可以包括目标对象的面部信息和背景信息，目标对象可以包括具有人脸特征的对象，例如真实人物、虚拟仿真动画人物等；上述目标面部图像可以为预设图像库中的静态图像，在一个可选的实施例中，该预设图像库中可以包括目标样本视频中的多帧图像，每帧图像包括该目标对象的面部信息和背景信息；上述目标面部图像也可以为目标原始视频中的一帧图像。预设表情系数可以指示需要目标面部图像中的目标对象展示的表情对应的表情系数，预设表情系数可以为用户根据表情更新需求获取的。结合根据实际需求获取相应的预设表情系数，进而有利于后续灵活生成需要的面部更新图像。

在一个示例性的实施方式中，请参阅图2，上述的获取目标面部图像和预设表情系数可以包括以下步骤：

在步骤S201中，获取目标原始视频。

具体的，该目标原始视频可以指示目标对象的面部连续变化情况，例如，该目标原始视频可以包括目标对象说话的视频片段。

在步骤S203中，将该目标原始视频中的每个帧图像作为上述的目标面部图像。

在步骤S205中，获取上述每个帧图像对应的表情系数。

在一个具体的实施例中，获取上述每个帧图像对应的表情系数可以包括：获取预设文字信息或预设语音信息，将上述预设文字信息或预设语音信息输入表情系数预测网络，得到上述每个帧图像对应的表情系数，该表情系数预测网络为预先利用大量样本文字信息或语音信息，以及对应的表情系数进行表情系数预测训练得到的。通过根据预设文字信息或预设语音信息得到每个帧图像对应的表情系数，能够利用文字/语音作为驱动使得目标对象展现需要的表情信息；在另一个具体的实施例中，可以获取表情变化需求信息，获取用户根据上述的表情变化需求信息编写的每个帧图像对应的表情系数，例如表情变化需求信息为希望目标对象张开嘴再闭上嘴，则可以编写每个帧图像对应的表情系数实现这一场景，本公开不以此为限，能够灵活获取每个帧图像对应的表情系数，进而实现灵活控制视频中目标对象的面部表情(例如控制目标对象的唇形与需求一致)。

在步骤S207中，将所述对应的表情系数作为所述预设表情系数。

在实际应用中，可以将该目标原始视频中的每个帧图像作为目标面部图像，且获取每个帧图像对应的表情系数，进而后续可以结合面部更新网络得到目标原始视频中每个帧图像对应的面部更新图像，再进行排序播放，得到需要的新视频，在结合面部更新网络时，可以并行地对目标原始视频中的多个帧图像进行面部更新处理，提升生成面部更新图像的效率，也可以将该目标原始视频中的帧图像和其对应的表情系数按照时间顺序结合面部更新网络进行面部更新处理，得到面部更新图像后展示播放，提升面部更新图像生成的实时性。

在步骤S103中，基于上述的预设表情系数，对上述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数。

具体的，上述的目标区域可以指示目标面部图像中的目标面部元素及其周围预设范围内的区域，例如，嘴唇及其周围预设范围内的区域。上述的目标局部重建系数可以指示上述目标面部图像中的目标区域对应的更新三维形态信息，上述的目标局部重建系数可以包括刚性系数、形状系数和表情系数，在一个具体的实施例中，上述的目标局部重建系数不包括纹理系数和光照系数。

在一个示例性的实施方式中，请参阅图3，上述的基于上述的预设表情系数，对上述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数可以包括以下步骤：

在步骤S301中，对上述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数。

具体的，上述的初始重建系数可以指示上述目标面部图像中的目标区域对应的初始三维形态信息，上述的初始重建系数可以包括刚性系数、形状系数和表情系数。在一个具体的实施例中，上述的目标局部重建系数不包括纹理系数，无需获取纹理信息，提升三维重建的效率，对上述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数可以包括对上述目标面部图像中的目标区域进行关键点检测，以及基于3DMM算法进行拟合，得到上述的初始重建系数。针对目标区域进行局部三维重建，且重建时无需关注纹理信息，能够提升三维重建的效率，进而提升生成面部更新图像的效率。

在步骤S303中，根据上述的预设表情系数更新该初始重建系数，得到上述的目标局部重建系数。

具体地，可以利用上述的预设表情系数替换该初始重建系数中的表情系数，实现更新该初始重建系数，得到上述的目标局部重建系数，此时上述的目标局部重建系数中的表情系数即上述的预设表情系数。

通过针对目标面部图像进行局部三维重建，得到初始重建系数，有利于提升三维重建的效率，进而有利于高效实现针对面部图像中目标区域的表情更新(例如，唇部区域的更新)，且根据预设表情系数更新初始重建系数，有利于结合实际的表情展示需求，灵活实现针对面部图像中目标区域的表情更新。

在步骤S105中，对上述目标面部图像进行区域去除处理，得到目标待填补图像。

具体的，该目标待填补图像可以指示与上述目标面部图像对应的目标区域空缺图像。

在一个示例性的实施方式中，请参阅图4，上述的对所述目标面部图像进行区域去除处理，得到目标待填补图像可以包括以下步骤：

在步骤S401中，获取上述的目标区域在上述目标面部图像中的位置信息。

具体的，上述目标面部图像中的位置信息可以包括嘴唇及其周围预设范围内的区域的位置信息，位置信息可以包括例如坐标信息。

在步骤S403中，基于上述目标区域的位置信息对上述目标面部图像进行区域去除处理，得到该目标待填补图像。

具体的，可以基于上述目标区域的位置信息，对上述目标区域进行预设比例的扩张，得到扩张后区域，然后在上述目标面部图像中针对该扩张后区域进行去除，将去除该扩张后区域的目标面部图像作为该目标待填补图像，使得利用模型对目标待填补图像和目标局部图像进行合成处理时衔接处更加自然(例如脖子等位置)。

通过获取目标区域的位置信息，对目标面部图像进行区域去除处理，有利于快速得到目标面部图像对应的待填补图像，进而后续能够结合面部更新模型对目标面部图像进行面部更新，且使得利用模型对目标待填补图像和目标局部图像进行合成处理时衔接处更加自然。

在步骤S107中，将上述的目标局部重建系数和该目标待填补图像输入面部更新网络进行面部更新处理，得到该目标面部图像对应的面部更新图像。

具体的，该面部更新图像可以指示针对目标面部图像的目标区域进行表情更新后的面部图像。该面部更新网络为预先获取基于样本面部图像进行面部更新训练得到的，每个样本面部图像中可以包括该目标对象的面部信息和背景信息，在一个可选的实施例中，上述的目标面部图像可以为从上述多个样本面部图像中选取的图像。

在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络，请参阅图5，上述的将上述的目标局部重建系数和该目标待填补图像输入面部更新网络进行面部更新处理，得到该目标面部图像对应的面部更新图像可以包括以下步骤：

在步骤S501中，将上述的目标局部重建系数和该目标待填补图像输入该局部图像生成网络进行局部图像生成，得到与上述目标区域对应的目标局部图像。

具体的，该目标局部图像可以指示与上述目标区域对应的包含纹理信息的三通道二维局部图像。通过利用局部图像生成网络进行局部图像生成，得到与上述目标区域对应的目标局部图像，无需直接预测整个面部，有利于更加高效地实现面部更新。

在一个示例性的实施方式中，该局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，请参阅图6，上述的将上述的目标局部重建系数和该目标待填补图像输入该局部图像生成网络进行局部图像生成，得到与上述目标区域对应的目标局部图像包括以下步骤：

在步骤S601中，将上述的目标局部重建系数输入该局部建模层进行局部建模，得到上述目标区域对应的目标三维局部模型。

具体的，该目标三维局部模型可以指示上述目标区域对应的局部模型，例如嘴唇及其周围预设范围内的区域对应的人脸局部模型。

在步骤S603中，将上述目标局部重建系数中的表情系数输入该纹理贴图生成层进行系数处理，得到多通道纹理贴图。

具体的，该多通道纹理贴图可以指示该目标三维局部模型的多通道UV纹理信息，该多通道纹理贴图可以包括多通道UV纹理贴图，UV纹理贴图为三维模型表面的平面表示，用于给三维模型添加纹理信息。由于上述的目标局部重建系数包括刚性系数、形状系数和表情系数，而不包括纹理信息，此时上述目标局部重建系数中的表情系数为上述的预设表情系数。经过步骤S601得到的目标三维局部模型是一个不包含纹理信息的模型，需要利用UV纹理贴图添加该目标三维局部模型的纹理信息；在面部更新网络进行网络训练时，该纹理贴图生成层存储的网络参数即预设纹理贴图参数，可以通过输入的表情系数控制得到相应的多通道纹理贴图。通过将上述目标局部重建系数中的表情系数输入该纹理贴图生成层进行系数处理，能够快速得到多通道纹理贴图。

在步骤S605中，将该多通道纹理贴图和该目标三维局部模型输入该纹理渲染层进行纹理渲染，得到与该目标区域对应的多通道局部图像。

具体地，该多通道局部图像可以指示与该目标区域对应的多通道二维图像，例如嘴唇及其周围预设范围内的区域对应的多通道二维图像。在一个可选的实施例中，将该多通道纹理贴图和该目标三维局部模型输入该纹理渲染层进行纹理渲染，得到与该目标区域对应的多通道局部图像可以包括：在纹理渲染层中，基于该目标三维局部模型进行平面投影，得到与该目标三维局部模型对应的初始二维局部图像，然后基于该多通道纹理贴图和上述初始二维局部图像进行纹理渲染，得到上述的多通道局部图像；在实际应用中，该目标三维局部模型可以由多个几何面片组成，该多通道纹理贴图包括该目标三维局部模型中每个几何面片的纹理信息，基于该目标三维局部模型进行平面投影得到对应的初始二维局部图像之后，相当于得到了该目标三维局部模型中各几何面片对应的二维平面投影，此时该初始二维图像缺少纹理信息，然后可以根据位置对应关系在该多通道纹理贴图中确定各几何面片对应的纹理信息并进行渲染，得到包含纹理信息的多通道局部图像。

在一个可选的实施例中，当检测到目标对象的面部偏转角度属于预设范围内时(例如，目标对象的面部偏转角度小于或等于30度)，可以对初始二维局部图像中的多个几何面片进行并行渲染，提升渲染效率，进而提升得到面部更新图像的效率，由于当目标对象面部偏转角度较小时，出现几何面片覆盖重叠的概率较小，可以对多个几何面片进行并行渲染，提升渲染效率。

在步骤S607中，将该多通道局部图像和该目标待填补图像输入该纹理解码层进行解码处理，得到上述的目标局部图像。

具体的，该目标局部图像可以指示与上述目标区域对应的，包含纹理信息的RGB三通道二维局部图像。

在实际应用中，多通道能够更好地捕获一些细节信息，除了颜色以外还有例如明暗信息等，通过将上述目标局部重建系数中的表情系数输入该纹理贴图生成层进行系数处理，得到多通道纹理贴图，进而得到多通道局部图像，包含更多维度的纹理信息，解码后就能够得到更加丰富自然的RGB三通道局部图像，且将目标待填补图像也输入纹理解码层有利于提供光照信息等辅助信息，有利于提升生成的目标局部图像的质量，进而提升得到的面部更新图像的质量，使得面部更新图像更加丰富自然。局部图像生成网络中的各层分别用于执行对应的部分功能(生成多通道纹理贴图、纹理解码等)，计算量较小，预测速度快，有利于提升目标局部图像的生成速度，进而提升面部更新图像的生成效率。

在步骤S503中，将上述的目标局部图像和该目标待填补图像输入该图像合成网络进行合成处理，得到上述的面部更新图像。

通过利用局部图像生成网络进行局部图像生成，得到与上述目标区域对应的目标局部图像，无需直接预测整个面部，有利于更加高效地实现面部更新，将根据表情需求新生成的目标区域对应的局部图像与该目标待填补图像(缺失目标区域的目标面部图像)输入该图像合成网络进行合成处理，能够结合网络快速得到面部更新图像，且生成的面部更新图像效果自然。

在一个具体的实施例中，如图7所示，图7是根据一示例性实施例示出的一种面部更新网络的结构示意图。

上述实施例中，根据局部图像生成网络进行局部图像生成，无需直接预测整个面部，有利于更加高效地实现面部更新，且局部图像生成网络具体包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，结合多通道有利于提升生成的目标局部图像的质量，再结合图像合成网络对目标局部图像和目标待填补图像进行合成处理，快速得到面部更新图像，且生成的面部更新图像效果自然。

在一个可选的实施例中，上述方法还可以包括：

在步骤S801中，获取多个样本面部图像。

具体的，与上述目标面部图像类似，每个样本面部图像中可以包括上述目标对象的面部信息和背景信息，上述的多个样本面部图像可以为目标样本视频中的多帧图像。在本公开的实施例中，上述的目标样本视频与上述目标原始视频为同一个视频，或，上述的目标原始视频为上述目标样本视频中的一部分，例如，上述目标原始视频可以为对上述目标样本视频进行截取得到的视频片段。通过获取多个样本面部图像，有利于使得模型学习到上述目标对象的面部信息和背景信息，进而在对目标面部图像进行面部更新时，能够得到更加自然的面部更新图像。

在步骤S803中，对每个样本面部图像中的目标区域进行局部重建处理，得到上述每个样本面部图像对应的样本局部重建系数。

在一个可选的实施例中，请参阅图9，上述对每个样本面部图像中的目标区域进行局部重建处理，得到上述每个样本面部图像对应的样本局部重建系数可以包括：

S901：对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数。

具体的，上述对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数的详细过程与步骤S301类似，可以参见S301的相关描述，在此不再赘述。

S903：确定上述每个样本面部图像对应的初始重建系数中的待调整系数，并对上述待调整系数进行预设范围内的数值调整，得到上述每个样本面部图像对应的样本局部重建系数。

在一个可选的实施例中，可以随机抽取上述每个样本面部图像对应的初始重建系数中预设个数的系数作为待调整系数，该预设个数可以结合实际应用需求进行设定，例如，1个或2个。对上述待调整系数进行预设范围内的数值调整可以包括增加或减少一个预设范围内的值，该预设范围较小，例如一个单位，将调整后的初始重建系数作为上述每个样本面部图像对应的样本局部重建系数。

在实际应用中，进行三维重建时视频中相邻两帧图像的关键点检测可能存在差距较大，重建得到的系数不准确等问题，可以在获取训练样本时对重建系数进行轻微的扰动，训练模型能够在系数扰动的情况下生成需要的图像，有利于提升面部更新模型的稳定性，使得实际面部更新过程中得到的面部更新图像更加稳定。

在步骤S805中，对上述每个样本面部图像进行区域去除处理，得到上述每个样本面部图像对应的样本待填补图像。

在一个可选的实施例中，对上述每个样本面部图像进行区域去除处理，得到上述每个样本面部图像对应的样本待填补图像的过程与步骤S105类似，可以参见步骤S105的相关描述，在此不再赘述。在另一个可选的实施例中，可以基于样本局部重建系数进行局部建模，得到上述目标区域对应的样本三维局部模型，然后基于样本三维局部模型进行投影，得到样本三维局部模型在样本面部图像中对应的投影区域，并对该投影区域进行预设比例的放大处理，得到放大后的投影区域，从样本面部图像中对上述放大后的投影区域进行去除处理，得到样本面部图像对应的样本待填补图像。

在步骤S807中，将上述每个样本面部图像对应的样本局部重建系数，以及上述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到上述每个样本面部图像对应的样本面部更新图像。

具体的，将上述每个样本面部图像对应的样本局部重建系数，以及上述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到上述每个样本面部图像对应的样本面部更新图像的过程与步骤S107，可以参见步骤S107的相关描述，在此不再赘述。

在步骤S809中，基于上述每个样本面部图像和对应的样本面部更新图像确定训练损失数据。

具体的，由于在训练过程中未对初始重建系数中的表情系数进行替换，模拟面部更新的流程，理想状态下生成样本面部更新图像应与对应的样本面部图像趋于一致，因此可以基于上述每个样本面部图像和对应的样本面部更新图像确定训练损失数据。在一个可选的实施例中，上述的训练损失数据可以包括预设损失函数的损失值和对抗损失函数的损失值，具体的，该预设损失函数可以包括L1损失函数(绝对值损失函数)，对抗损失函数为引入的判别网络对应的损失函数，可以基于对抗学习的方式，利用该判别网络对该预设神经网络生成的样本面部更新图像进行真假判别，使得该判别网络判断样本面部图像为真，而样本面部更新图像为假，交替训练该预设神经网络和该判别网络。

在步骤S811中，基于上述的训练损失数据对该预设神经网络进行训练，得到上述的面部更新网络。

在一个可选的实施例中，上述的训练损失数据可以包括预设损失函数的损失值和对抗损失函数的损失值时，可以当该预设损失函数的损失值满足第一预设条件，且该对抗损失函数的损失值满足第二预设条件时停止训练，得到上述的面部更新网络，该第一预设条件和第二预设条件可以结合实际预测需求进行设定。

在一个具体的实施例中，如图10所示，图10是根据示例性实施例示出的一种面部更新网络的训练过程示意图。

通过对预设神经网络进行面部更新训练，能够得到可靠的面部更新网络，提升面部更新网络的性能，进而能够结合面部更新网络高效得到与目标面部图像对应的面部更新图像，且效果自然。

请参阅图11，图11是根据一示例性实施例示出的一种应用环境的示意图，如图11所示，该应用环境可以包括服务器100和终端200。

在一个可选的实施例中，服务器100可以用于训练面部更新模型。具体的，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个可选的实施例中，终端200可以结合服务器100训练出的面部模型对目标面部图像进行面部更新处理。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

此外，需要说明的是，图11所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如面部更新模型的训练，也可以在终端200上实现。

本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

图12是根据一示例性实施例示出的一种图像处理装置的框图。参照图12，该图像处理装置1200包括数据获取模块1210、重建处理模块1220、区域去除处理模块1230和面部更新模块1240，其中：

数据获取模块1210，被配置为执行获取目标面部图像和预设表情系数；

重建处理模块1220，被配置为执行基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；

区域去除处理模块1230，被配置为执行对所述目标面部图像进行区域去除处理，得到目标待填补图像；

面部更新模块1240，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。

在一个示例性的实施方式中，所述面部更新网络包括局部图像生成网络和图像合成网络；所述面部更新模块1240包括：

局部图像生成单元，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；

图像合成单元，被配置为执行将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。

在一个示例性的实施方式中，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述局部图像生成单元包括：

局部建模单元，被配置为执行将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；

系数处理单元，被配置为执行将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，得到多通道纹理贴图；

纹理渲染单元，被配置为执行将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；

解码处理单元，被配置为执行将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。

在一个示例性的实施方式中，所述重建处理模块1220包括：

局部三维重建单元，被配置为执行对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；

系数更新单元，被配置为执行根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。

在一个示例性的实施方式中，所述数据获取模块1210包括：

原始视频获取单元，被配置为执行获取目标原始视频；

目标面部图像确定单元，被配置为执行将所述目标原始视频中的每个帧图像作为所述目标面部图像；

表情系数获取单元，被配置为执行获取所述每个帧图像对应的表情系数；

预设表情系数确定单元，被配置为执行将所述对应的表情系数作为所述预设表情系数。

在一个示例性的实施方式中，所述区域去除处理模块1230包括：

位置信息获取单元，被配置为执行获取所述目标区域在所述目标面部图像中的位置信息；

区域去除单元，被配置为执行基于所述目标区域的位置信息对所述目标面部图像进行区域去除处理，得到所述目标待填补图像。

在一个示例性的实施方式中，所述装置还包括：

样本面部图像获取模块，被配置为执行获取多个样本面部图像；

样本局部重建处理模块，被配置为执行对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数；

样本区域去除处理模块，被配置为执行对所述每个样本面部图像进行区域去除处理，得到所述每个样本面部图像对应的样本待填补图像；

样本面部更新模块，被配置为执行将所述每个样本面部图像对应的样本局部重建系数，以及所述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到所述每个样本面部图像对应的样本面部更新图像；

损失数据确定模块，被配置为执行基于所述每个样本面部图像和对应的样本面部更新图像确定训练损失数据；

网络训练模块，被配置为执行基于所述训练损失数据对所述预设神经网络进行训练，得到所述面部更新网络。

在一个示例性的实施方式中，所述样本局部重建处理模块包括：

样本局部三维重建单元，被配置为执行对每个样本面部图像中的目标区域进行局部三维重建，得到所述每个样本面部图像对应的初始重建系数；

数值调整单元，被配置为执行确定所述每个样本面部图像对应的初始重建系数中的待调整系数，并对所述待调整系数进行预设范围内的数值调整，得到所述每个样本面部图像对应的样本局部重建系数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例的图像处理装置通过获取目标面部图像和预设表情系数，进而基于预设表情系数，对目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数，以及对目标面部图像进行区域去除处理，得到目标待填补图像，进而将目标局部重建系数和目标待填补图像输入面部更新网络进行面部更新处理，得到目标面部图像对应的面部更新图像，能够根据需求灵活实现面部控制，高效地得到目标面部图像对应的面部更新图像，且效果自然。

图13是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取目标面部图像和预设表情系数；

基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；

对所述目标面部图像进行区域去除处理，得到目标待填补图像；

将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。

2.根据权利要求1所述的方法，其特征在于，所述面部更新网络包括局部图像生成网络和图像合成网络，所述将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像包括：

将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像；

将所述目标局部图像和所述目标待填补图像输入所述图像合成网络进行合成处理，得到所述面部更新图像。

3.根据权利要求2所述的方法，其特征在于，所述局部图像生成网络包括局部建模层、纹理贴图生成层、纹理渲染层和纹理解码层，所述将所述目标局部重建系数和所述目标待填补图像输入所述局部图像生成网络进行局部图像生成，得到与所述目标区域对应的目标局部图像包括：

将所述目标局部重建系数输入所述局部建模层进行局部建模，得到所述目标区域对应的目标三维局部模型；

将所述目标局部重建系数中的表情系数输入所述纹理贴图生成层进行系数处理，得到多通道纹理贴图；

将所述多通道纹理贴图和所述目标三维局部模型输入所述纹理渲染层进行纹理渲染，得到与所述目标区域对应的多通道局部图像；

将所述多通道局部图像和所述目标待填补图像输入所述纹理解码层进行解码处理，得到所述目标局部图像。

4.根据权利要求1所述的方法，其特征在于，所述基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数包括：

对所述目标面部图像中的目标区域进行局部三维重建，得到初始重建系数；

根据所述预设表情系数更新所述初始重建系数，得到所述目标局部重建系数。

5.根据权利要求1所述的方法，其特征在于，所述获取目标面部图像和预设表情系数包括：

获取目标原始视频；

将所述目标原始视频中的每个帧图像作为所述目标面部图像；

获取所述每个帧图像对应的表情系数；

将所述对应的表情系数作为所述预设表情系数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个样本面部图像；

对每个样本面部图像中的目标区域进行局部重建处理，得到所述每个样本面部图像对应的样本局部重建系数；

对所述每个样本面部图像进行区域去除处理，得到所述每个样本面部图像对应的样本待填补图像；

将所述每个样本面部图像对应的样本局部重建系数，以及所述每个样本面部图像对应的样本待填补图像输入预设神经网络进行面部更新处理，得到所述每个样本面部图像对应的样本面部更新图像；

基于所述每个样本面部图像和对应的样本面部更新图像确定训练损失数据；

基于所述训练损失数据对所述预设神经网络进行训练，得到所述面部更新网络。

7.一种图像处理装置，其特征在于，所述装置包括：

数据获取模块，被配置为执行获取目标面部图像和预设表情系数；

重建处理模块，被配置为执行基于所述预设表情系数，对所述目标面部图像中的目标区域进行三维重建处理，得到目标局部重建系数；

区域去除处理模块，被配置为执行对所述目标面部图像进行区域去除处理，得到目标待填补图像；

面部更新模块，被配置为执行将所述目标局部重建系数和所述目标待填补图像输入面部更新网络进行面部更新处理，得到所述目标面部图像对应的面部更新图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。

Images