CN114792356A - 脸部图像的处理方法、装置和系统 - Google Patents

Abstract

本申请公开了一种脸部图像的处理方法、装置和系统。其中，该方法包括：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。本申请解决了相关技术中通过人工方式生成虚拟对象，导致处理成本较高且效果较差的技术问题。

Description

脸部图像的处理方法、装置和系统

技术领域

本申请涉及图像处理领域，具体而言，涉及一种脸部图像的处理方法、装置和系统。

背景技术

随着直播和短视频在网络媒体中的地位日益提升和三维渲染技术的普及，获取实体对象的三维虚拟形象的需求越来越显著。在传统的三维虚拟形象捏脸系统中，通常采取人工处理方式，由设计人员直接根据脸部图像，并根据经验调整虚拟形象，以使虚拟形象更加符合人脸。但是，人工处理方式在时间和费用等成本方面都存在很大劣势，而且也很难以保证使用的灵活性，并且不同设计人员的主观认知差异也会导致相同的脸部图像产出不同的虚拟形象。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种脸部图像的处理方法、装置和系统，以至少解决相关技术中通过人工方式生成虚拟对象，导致处理成本较高且效果较差的技术问题。

根据本申请实施例的一个方面，提供了一种脸部图像的处理方法，包括：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理方法，包括：接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；输出目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理方法，包括：在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型；在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理方法，包括：通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理装置，包括：获取模块，用于获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块，用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块，用于构建脸部图像的三维模型；第二生成模块，用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理装置，包括：接收模块，用于接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块，用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块，用于构建脸部图像的三维模型；第二生成模块，用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；输出模块，用于输出目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理装置，包括：第一显示模块，用于在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；触发模块，用于如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型；第二显示模块，用于在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理装置，包括：第一调用模块，用于通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块，用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块，用于构建脸部图像的三维模型；第二生成模块，用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；第二调用模块，用于通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述的脸部图像的处理方法。

根据本申请实施例的另一方面，还提供了一种处理终端，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时执行上述的脸部图像的处理方法。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理系统，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

根据本申请实施例的另一方面，还提供了一种脸部图像的处理方法，包括：在接收到通信请求的情况下，获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；在通信界面中展示目标虚拟对象。

在本申请实施例中，在获取到实体对象的脸部图像之后，可以基于脸部图像中的多个脸部组件，生成初始虚拟对象，并且在构建脸部图像的三维模型之后，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象，实现虚拟对象生成的目的。容易注意到的是，目标虚拟对象是基于构建的三维模型对初始虚拟对象进行微调，无需专业设计人员人为操作即可自动完成，避免同样的脸部图像由于不同的设计人员产出完全不同的处理结果，达到了节省处理时间和人力成本，提高处理效果，提升用户体验感和好感度的技术效果，进而解决了相关技术中通过人工方式生成虚拟对象，导致处理成本较高且效果较差的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现脸部图像的处理方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本申请实施例的第一种脸部图像的处理方法的流程图；

图3是根据本申请实施例的一种可选的脸部图像的处理方法的流程图；

图4是根据本申请实施例的第二种脸部图像的处理方法的流程图；

图5是根据本申请实施例的第三种脸部图像的处理方法的流程图；

图6是根据本申请实施例的一种可选的交互界面的示意图；

图7是根据本申请实施例的第四种脸部图像的处理方法的流程图；

图8是根据本申请实施例的第一种脸部图像的处理装置的示意图；

图9是根据本申请实施例的第二种脸部图像的处理装置的示意图；

图10是根据本申请实施例的第三种脸部图像的处理装置的示意图；

图11是根据本申请实施例的第四种脸部图像的处理装置的示意图；

图12是根据本申请实施例的第五种脸部图像的处理方法的流程图；

图13是根据本申请实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

照片捏脸：根据人物的图像，在给定的三维虚拟形象生成系统中，生成和图像中的人物最接近的三维虚拟形象。

三维虚拟形象：带贴图的三维网格模型，用于近似特定人物。

多任务图像分类网络：输入为图像，输出为多个分类标签的深度学习网络。

3dmm：3D Morphable Model，三维可变形模型，将整个人体或部分人体(例如人脸)，通过一组连续可调的参数进行表达。

Blendshape：对单个网络模型进行变形，以实现多个预定义形状和任何数量之间组合的技术。通过Blendshape值来定量反映变形程度的大小。在三维虚拟形象生成系统中，生成的虚拟形象的脸部，表达为五官的blendshape值的组合。

目前存在根据人脸的关键点直接估计五官参数，然后对应到Blendshape值的方法，该方法容易受到实际照片中光照、人脸姿态、遮挡物等各种干扰因素的影响。此外，由于三维虚拟形象捏脸系统中实际使用的是卡通风格的形象，因此，直接将五官参数与Blendshape值进行对应存在较多问题，随意将五官参数对应的Blendshape值往往会导致捏脸结果和照片中的真是人脸差异过大，甚至会导致捏脸结果不像正常人脸。

为了解决上述问题，本申请提供了如下实现方案，从而可以根据照片，在现有的三维虚拟形象捏脸系统中，生成和照片中的人脸尽可能相似的三维虚拟形象。

实施例1

根据本申请实施例，提供了一种脸部图像的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现脸部图像的处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的脸部图像的处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的脸部图像的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Control ler，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

在上述运行环境下，本申请提供了如图2所示的脸部图像的处理方法。图2是根据本申请实施例的第一种脸部图像的处理方法的流程图。如图2所示，该方法可以包括如下步骤：

步骤S202，获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像。

上述步骤中的实体对象可以是需要进行形象虚拟化的真实的物体或生物，由于本申请针对的是实体对象的脸部虚拟化，在本申请实施例中，上述的实体对象可以是真实的人物、机器人等，但不仅限于此。上述步骤中的脸部组件可以是指人脸五官、包括脸型、眉毛、眼睛、鼻子、嘴巴等，可以根据虚拟形象的生成需要进行设定。

在一种可选的实施例中，可以通过摄像头、相机、手机、平板电脑、笔记本电脑等拍摄设备直接对实体对象的脸部部分进行拍摄，从而得到实体对象的脸部图像。在另一种可选的实施例中，可以通过上述的拍摄设备对实体对象进行拍照，并通过对图像进行裁剪等处理得到脸部图像。

需要说明的是，虚拟形象的生成设备可以是用户的智能手机、平板电脑等移动终端，或笔记本电脑、PC电脑等计算机终端，用户可以通过直接拍摄脸部图像，或选择已拍摄好的脸部图像的方式获取脸部图像并进行处理。为了减少移动终端或计算机终端的计算量，虚拟形象的生成设备还可以是服务器，用户可以通过互联网、WIFI、3G、4G或5G等方式将人脸图像上传至服务器进行处理。

步骤S204，基于脸部图像中的多个脸部组件，生成初始虚拟对象。

在一种可选的实施例中，可以利用图像目标检测技术对脸部图像进行处理，在脸部图像中标记出每个脸部组件的位置，也即，利用预先训练好的神经网络模型对脸部图像进行处理，在脸部图像中框出每个脸部组件，并识别出每个脸部组件的类型。

而且可以对人脸的各部分包括脸型、眉毛、眼睛、鼻子、嘴巴等，定义不同的分类(例如，可以针对不同眼型定义丹凤眼、标准眼、圆眼等类型)，并预先制作好的各个分类对应的三维脸部素材，也即对应部分的Blendshape值。

在识别出每个脸部组件的类型之后，可以从素材库中读取相应的Blendshape值并聚合成初始虚拟对象。

步骤S206，构建脸部图像的三维模型。

在一种可选的实施例中，可以直接利用结构光等建模手段构建脸部图像的三维模型，但是，由于采用该方法需要使用红外和可见结构光等昂贵深度传感器，增加处理成本。

因此，为了进一步降低成本，在本申请实施例中，可以采用三维可变形模型构建脸部图像的三维模型。在一种可选的实施例中，可以使用基于3dmm的单张照片人脸重建技术对脸部图像进行三维重建，得到三维模型。

步骤S208，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

在一种可选的实施例中，在初始虚拟对象的基础上，基于脸部图像的三维模型进行微调，使得最终得到的目标虚拟对象更加符合脸部图像，具有更强的独特性和差异性。

通过本申请上述实施例提供的方案，在获取到实体对象的脸部图像之后，可以基于脸部图像中的多个脸部组件，生成初始虚拟对象，并且在构建脸部图像的三维模型之后，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象，实现虚拟对象生成的目的。容易注意到的是，目标虚拟对象是基于构建的三维模型对初始虚拟对象进行微调，无需专业设计人员人为操作即可自动完成，避免同样的脸部图像由于不同的设计人员产出完全不同的处理结果，达到了节省处理时间和人力成本，提高处理效果，提升用户体验感和好感度的技术效果，进而解决了相关技术中通过人工方式生成虚拟对象，导致处理成本较高且效果较差的技术问题。

本申请上述实施例中，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象包括：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

上述步骤中的混合形状参数可以是Blendshape值。虚拟对象可以表达为五官的Blendshape值的组合。

在一种可选的实施例中，初始虚拟对象是基于多个脸部组件生成的，并不是针对不同人物生成的差异化形象，为了使得最终得到目标虚拟对象更加符合脸部图像，可以构建脸部图像的三维模型，该模型可以准确表征人物的五官信息。另外，初始虚拟对象可以表达为Blendshape值的组合，因此，可以通过三维模型对初始虚拟对象的Blendshape值进行调整，进一步将调整后的Blendshape值聚合成最终的目标虚拟对象。

本申请上述实施例中，基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

上述步骤中的三维模型可以通过一组连续可调的参数进行表达，也即，三维模型可以通过五官的细节参数进行表达，因此，上述的参数信息可以是五官参数。

在一种可选的实施例中，三维模型可以通过不同脸部组件的细节参数进行表达，因此，在使用基于3dmm的单张照片人脸重建技术对照片中的人脸进行三维建模之后，可以估计出其五官的细节参数，并基于五官的细节参数修正初始虚拟对象的Blendshape值。

本申请上述实施例中，基于脸部图像中的多个脸部组件，生成初始虚拟对象包括：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

在一种可选的实施例中，可以预先针对脸部图像包含的不同的脸部组件，定义不同的分类，并预先制作好不同分类对应的Blendshape值，生成相应的素材库。在识别出脸部图像中的每个脸部组件之后，可以通过查询的素材库匹配得到符合每个脸部组件的Blendshape值，并将不同脸部组件的Blendshape值聚合成初始虚拟对象。

本申请上述实施例中，采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

上述步骤中的多任务图像分类网络模型可以是卷积神经网络模型，主干网络可以选取resnet50，但不仅限于此，可以根据实际处理精度和处理速度进行确定。神经网络模型的输入可以是脸部图像，输出为预定义的人脸五官类型。

上述步骤中的类型可以是针对不同脸部组件所设定的分类结果，例如，对于眼睛这个脸部组件，类型可以是丹凤眼、桃花眼、标准眼等；对于脸型这个脸部组件，类型可以是普通脸、方脸、圆脸等。

在一种可选的实施例中，首先获取大量人脸图像作为训练样本，并人工标注人脸五官分类，从而基于训练样本训练卷积神经网络模型，可以得到多任务图像分类网络模型。在训练得到多任务图像分类网络模型之后，可以将获取到的脸部图像输入至多任务图像分类网络模型中，提取五官特征，得到多个脸部组件的类型。

本申请上述实施例中，获取与每个脸部组件匹配的混合形状参数包括：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

上述步骤中的素材库可以是存储有不同五官分类对应的Blendshape值的数据库。

在一种可选的实施例中，可以采用多任务图像分类网络模型识别出脸部图像中每个脸部组件的具体分类，进而通过查询素材库，可以匹配到每个分类的Blendshape值，也即，匹配到每个脸部组件的Blendshape值。

下面结合图3对本申请一种优选的实施例进行详细说明，如图3所示，该方法可以由前端客户端或后端服务器执行，该方法包括如下步骤：

步骤S31，获取人脸正面照片，并经过预处理获得人脸区域，也即，得到脸部图像。

步骤S32，将图像输入到多任务图像分类网络，根据已经训练好的网络权重，预测出输入的人脸各部位，包括眼睛、嘴、脸部、鼻子等所属的类别，并从素材库中选取各类别对应的Blendshape值。例如，以图3中方框所示的眼睛为例，输入的人脸被分类为“标准眼”。

步骤S33，将图像作为输入，利用基于3dmm的单张人脸照片建模技术估计出照片中人脸的三维模型。

步骤S34，根据所获得人脸三维模型，在各个类别对应的Blendshape值基础上进行进一步的微调，最终使得Blendshape值更符合实际的人脸外观。

通过上述步骤，本申请提出了一种基于多任务图像分类网络加3dmm微调的方法，在不使用红外和可见结构光等昂贵深度传感器的情况下，无需专业设计人员而自动从人脸照片恢复出人脸五官的各种参数，从而实现自动的三维虚拟形象的脸部创建。该方规避了高成本的设备依赖，并大幅度减轻了设计人员的工作量，简化了作为三维虚拟形象的基础的形象创造环节，带来了更好的用户体验与实际的经济和社会效益。

另外，通过引入多任务图像分类网络，很大程度降低了实际照片中光照、人脸姿态、遮挡物等方面存在的诸多干扰因素；通过根据单张图像中人脸的三维模型对Blendshape值进行微调，一方面限制了变化幅度所以大幅减小了不似人脸的错误结果的出现可能性，同时加入了三维模型的信息后，Blendshape值的变化能够遵循更多的合理约束，可以很好地避免极端的Blendshape值变化，使得Blendshape值能够根据不同人脸的特征而具有更强的独特性和差异性，使得最终微调的结果能够获得较好的主观评价。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

实施例2

根据本申请实施例，还提供了一种脸部图像的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图4是根据本申请实施例的第二种脸部图像的处理方法的流程图。如图4所示，该方法可以包括如下步骤：

步骤S402，接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像。

上述步骤中的实体对象可以是需要进行形象虚拟化的真实的物体或生物，由于本申请针对的是实体对象的脸部虚拟化，在本申请实施例中，上述的实体对象可以是真实的人物、机器人等，但不仅限于此。上述步骤中的脸部组件可以是指人脸五官、包括脸型、眉毛、眼睛、鼻子、嘴巴等，可以根据虚拟形象的生成需要进行设定。

需要说明的是，接收脸部图像的主体可以是后台服务器，例如云服务器，但不仅限于此。上传脸部图像的主体可以是前端客户端，也即，安装在用户使用的手机、平板电脑等移动终端，还可以是笔记本电脑、台式电脑等计算机终端等设备上的应用程序，但不仅限于此。前端客户端可以通过互联网、WIFI、3G、4G或5G等方式与后台服务器通信。

在一种可选的实施例中，用户可以通过摄像头、相机、手机、平板电脑等拍摄设备对实体对象进行拍摄，从而可以得到实体对象的脸部图像。在拍摄得到脸部图像之后，用户可以在前端客户端上进行操作，选择需要处理的脸部图像，并将其上传至后端服务器。

步骤S404，基于脸部图像中的多个脸部组件，生成初始虚拟对象。

步骤S406，构建脸部图像的三维模型。

步骤S408，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

步骤S410，输出目标虚拟对象。

在一种可选的实施例中，后台服务器在生成目标虚拟对象之后，可以通过互联网、WIFI、3G、4G或5G等方式将目标虚拟对象传输至前端客户端，由前端客户端显示给用户查看。

本申请上述实施例中，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象包括：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

上述步骤中的混合形状参数可以是Blendshape值。虚拟对象可以表达为五官的Blendshape值的组合。

本申请上述实施例中，基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

上述步骤中的三维模型可以通过一组连续可调的参数进行表达，也即，三维模型可以通过五官的细节参数进行表达，因此，上述的参数信息可以是五官参数。

本申请上述实施例中，基于脸部图像中的多个脸部组件，生成初始虚拟对象包括：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

上述步骤中的多任务图像分类网络模型可以是卷积神经网络模型，主干网络可以选取resnet50，但不仅限于此，可以根据实际处理精度和处理速度进行确定。神经网络模型的输入可以是脸部图像，输出为预定义的人脸五官类型。

上述步骤中的类型可以是针对不同脸部组件所设定的分类结果，例如，对于眼睛这个脸部组件，类型可以是丹凤眼、桃花眼、标准眼等；对于脸型这个脸部组件，类型可以是普通脸、方脸、圆脸等。

本申请上述实施例中，获取与每个脸部组件匹配的混合形状参数包括：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

上述步骤中的素材库可以是存储有不同五官分类对应的Blendshape值的数据库。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例3

根据本申请实施例，还提供了一种脸部图像的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图5是根据本申请实施例的第三种脸部图像的处理方法的流程图。如图5所示，该方法可以包括如下步骤：

步骤S502，在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像。

上述步骤中的交互界面可以是用于实现脸部图像处理的设备的显示屏上提供给用户的操作界面，例如，交互界面可以是显示在移动终端的显示屏上的操作界面，也可以是显示在计算机终端的显示屏上的操作界面，但不仅限于此。

上述步骤中的实体对象可以是需要进行形象虚拟化的真实的物体或生物，由于本申请针对的是实体对象的脸部虚拟化，在本申请实施例中，上述的实体对象可以是真实的人物、机器人等，但不仅限于此。上述步骤中的脸部组件可以是指人脸五官、包括脸型、眉毛、眼睛、鼻子、嘴巴等，可以根据虚拟形象的生成需要进行设定。

在一种可选的实施例中，在拍摄到脸部图像之后，用户可以通过点击如图6所示的“上传图像”按钮，或者将脸部图像拖至虚线框的方式，选择拍摄到脸部图像，该脸部图像可以显示在如图6所示的第一显示区域。

在另一种可选的实施例中，用户可以通过点击如图6所示的“拍摄图像”按钮直接拍摄脸部图像，拍摄到的脸部图像可以显示在如图6所示的第一显示区域。

步骤S504，如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型。

上述步骤中的形象操作指令可以是用户通过点击交互界面上的特定按钮所生成的指令，或者由用户在交互界面上执行预定的手势操作所生成的指令，该指令用于基于脸部图像生成相应的虚拟形象。

在一种可选的实施例中，在上传脸部图像之后，用户可以通过点击如图6所示的“虚拟形象生成”按钮生成形象操作指令，或者直接通过手势操作生成形象操作指令，从而计算机终端、移动终端或服务器可以接收到该形象操作指令，基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型。

步骤S506，在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

在一种可选的实施例中，虚拟对象可以显示在如图6所示的第二显示区域中。

本申请上述实施例中，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象包括：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

上述步骤中的混合形状参数可以是Blendshape值。虚拟对象可以表达为五官的Blendshape值的组合。

本申请上述实施例中，基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

上述步骤中的三维模型可以通过一组连续可调的参数进行表达，也即，三维模型可以通过五官的细节参数进行表达，因此，上述的参数信息可以是五官参数。

本申请上述实施例中，基于脸部图像中的多个脸部组件，生成初始虚拟对象包括：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

上述步骤中的多任务图像分类网络模型可以是卷积神经网络模型，主干网络可以选取resnet50，但不仅限于此，可以根据实际处理精度和处理速度进行确定。神经网络模型的输入可以是脸部图像，输出为预定义的人脸五官类型。

上述步骤中的类型可以是针对不同脸部组件所设定的分类结果，例如，对于眼睛这个脸部组件，类型可以是丹凤眼、桃花眼、标准眼等；对于脸型这个脸部组件，类型可以是普通脸、方脸、圆脸等。

本申请上述实施例中，获取与每个脸部组件匹配的混合形状参数包括：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

上述步骤中的素材库可以是存储有不同五官分类对应的Blendshape值的数据库。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例4

根据本申请实施例，还提供了一种脸部图像的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图7是根据本申请实施例的第四种脸部图像的处理方法的流程图。如图7所示，该方法可以包括如下步骤：

步骤S702，通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像。

上述步骤中的第一接口可以是前端客户端与后台服务器之间进行数据交互的接口，前端客户端可以将脸部图像传入接口函数，作为接口函数的一个参数，实现脸部图像上传至后台服务器的目的。

上述步骤中的实体对象可以是需要进行形象虚拟化的真实的物体或生物，由于本申请针对的是实体对象的脸部虚拟化，在本申请实施例中，上述的实体对象可以是真实的人物、机器人等，但不仅限于此。上述步骤中的脸部组件可以是指人脸五官、包括脸型、眉毛、眼睛、鼻子、嘴巴等，可以根据虚拟形象的生成需要进行设定。

步骤S704，基于脸部图像中的多个脸部组件，生成初始虚拟对象。

步骤S706，构建脸部图像的三维模型。

步骤S708，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

步骤S710，通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

上述步骤中的第二接口可以是后台服务器与前端客户端之间进行数据交互的接口，后台服务器可以将目标虚拟对象传入接口函数，作为接口函数的一个参数，实现目标虚拟对象下发至前端客户端的目的。

本申请上述实施例中，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象包括：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

上述步骤中的混合形状参数可以是Blendshape值。虚拟对象可以表达为五官的Blendshape值的组合。

本申请上述实施例中，基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

上述步骤中的三维模型可以通过一组连续可调的参数进行表达，也即，三维模型可以通过五官的细节参数进行表达，因此，上述的参数信息可以是五官参数。

本申请上述实施例中，基于脸部图像中的多个脸部组件，生成初始虚拟对象包括：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

上述步骤中的多任务图像分类网络模型可以是卷积神经网络模型，主干网络可以选取resnet50，但不仅限于此，可以根据实际处理精度和处理速度进行确定。神经网络模型的输入可以是脸部图像，输出为预定义的人脸五官类型。

上述步骤中的类型可以是针对不同脸部组件所设定的分类结果，例如，对于眼睛这个脸部组件，类型可以是丹凤眼、桃花眼、标准眼等；对于脸型这个脸部组件，类型可以是普通脸、方脸、圆脸等。

本申请上述实施例中，获取与每个脸部组件匹配的混合形状参数包括：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

上述步骤中的素材库可以是存储有不同五官分类对应的Blendshape值的数据库。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例5

根据本申请实施例，还提供了一种用于实施上述脸部图像的处理方法的脸部图像的处理装置，如图8所示，该装置800包括：获取模块802、第一生成模块804、构建模块806和第二生成模块808。

其中，获取模块802用于获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块804用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块806用于构建脸部图像的三维模型；第二生成模块808用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

此处需要说明的是，上述获取模块802、第一生成模块804、构建模块806和第二生成模块808对应于实施例1中的步骤S202至步骤S208，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

本申请上述实施例中，第二生成模块包括：调整单元和第一生成单元。

其中，调整单元用于基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；第一生成单元用于将调整后的混合形状参数进行聚合，生成目标虚拟对象。

本申请上述实施例中，调整单元包括：第一确定子单元和调整子单元。

其中，第一确定子单元用于基于三维模型，确定每个脸部组件的参数信息；调整子单元用于基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

本申请上述实施例中，第一生成模块包括：获取单元和第二生成单元。

其中，获取单元用于获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；第二生成单元用于将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，该装置还包括：处理模块。

其中，处理模块用于采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

本申请上述实施例中，获取单元包括：匹配子单元和第二确定子单元。

其中，匹配子单元用于基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；第二确定子单元用于基于匹配到的素材，确定混合形状参数。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例6

根据本申请实施例，还提供了一种用于实施上述脸部图像的处理方法的脸部图像的处理装置，如图9所示，该装置900包括：接收模块902、第一生成模块904、构建模块906、第二生成模块908和输出模块910。

其中，接收模块902用于接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块904用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块906用于构建脸部图像的三维模型；第二生成模块908用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；输出模块910用于输出目标虚拟对象。

此处需要说明的是，上述接收模块902、第一生成模块904、构建模块906、第二生成模块908和输出模块910对应于实施例2中的步骤S402至步骤S410，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

本申请上述实施例中，第二生成模块包括：调整单元和第一生成单元。

其中，调整单元用于基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；第一生成单元用于将调整后的混合形状参数进行聚合，生成目标虚拟对象。

本申请上述实施例中，调整单元包括：第一确定子单元和调整子单元。

其中，第一确定子单元用于基于三维模型，确定每个脸部组件的参数信息；调整子单元用于基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

本申请上述实施例中，第一生成模块包括：获取单元和第二生成单元。

其中，获取单元用于获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；第二生成单元用于将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，该装置还包括：处理模块。

其中，处理模块用于采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

本申请上述实施例中，获取单元包括：匹配子单元和第二确定子单元。

其中，匹配子单元用于基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；第二确定子单元用于基于匹配到的素材，确定混合形状参数。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例7

根据本申请实施例，还提供了一种用于实施上述脸部图像的处理方法的脸部图像的处理装置，如图10所示，该装置1000包括：第一显示模块1002、触发模块1004和第二显示模块1006。

其中，第一显示模块1002用于在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；触发模块1004用于如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型；第二显示模块1006用于在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

此处需要说明的是，上述第一显示模块1002、触发模块1004和第二显示模块1006对应于实施例4中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

本申请上述实施例中，该装置还包括：调整模块和生成模块。

其中，调整模块用于基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；生成模块用于将调整后的混合形状参数进行聚合，生成目标虚拟对象。

本申请上述实施例中，调整模块包括：确定单元和调整单元。

其中，确定单元用于基于三维模型，确定每个脸部组件的参数信息；调整单元用于基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

本申请上述实施例中，触发模块包括：获取单元和生成单元。

其中，获取单元用于获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；生成单元用于将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，该装置还包括：处理模块。

其中，处理模块用于采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

本申请上述实施例中，获取单元包括：匹配子单元和确定子单元。

其中，匹配子单元用于基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；确定子单元用于基于匹配到的素材，确定混合形状参数。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例8

根据本申请实施例，还提供了一种用于实施上述脸部图像的处理方法的脸部图像的处理装置，如图11所示，该装置1100包括：第一调用模块1102、第一生成模块1104、构建模块1106、第二生成模块1108和第二调用模块1110。

其中，第一调用模块1102用于通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像；第一生成模块1104用于基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建模块1106用于构建脸部图像的三维模型；第二生成模块1108用于基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；第二调用模块1110用于通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

此处需要说明的是，上述第一调用模块1102、第一生成模块1104、构建模块1106、第二生成模块1108和第二调用模块1110对应于实施例4中的步骤S702至步骤S710，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。

本申请上述实施例中，第二生成模块包括：调整单元和第一生成单元。

其中，调整单元用于基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；第一生成单元用于将调整后的混合形状参数进行聚合，生成目标虚拟对象。

本申请上述实施例中，调整单元包括：第一确定子单元和调整子单元。

其中，第一确定子单元用于基于三维模型，确定每个脸部组件的参数信息；调整子单元用于基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

本申请上述实施例中，第一生成模块包括：获取单元和第二生成单元。

其中，获取单元用于获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；第二生成单元用于将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，该装置还包括：处理模块。

其中，处理模块用于采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

本申请上述实施例中，获取单元包括：匹配子单元和第二确定子单元。

其中，匹配子单元用于基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；第二确定子单元用于基于匹配到的素材，确定混合形状参数。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例9

根据本申请实施例，还提供了一种脸部图像的处理系统，包括：

处理器；以及

存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例10

根据本申请实施例，还提供了一种脸部图像的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图12是根据本申请实施例的第五种脸部图像的处理方法的流程图。如图12所示，该方法可以包括如下步骤：

步骤S1202，在接收到通信请求的情况下，获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像。

上述步骤中的通信请求可以是用户间发起的视频通话请求，用户可以通过智能手机、平板电脑、笔记本电脑等移动终端、AR(Augmented Real ity，增强现实)设备或VR(Virtual Real ity，虚拟现实)设备等设备发起通信请求。通信请求发起之后，可以在通话界面中显示用户真实形象，或者虚拟形象，在本申请实施例中，以虚拟脸部图像为例进行说明。

上述步骤中的实体对象可以是需要进行形象虚拟化的真实的物体或生物，由于本申请针对的是实体对象的脸部虚拟化，在本申请实施例中，上述的实体对象可以是真实的人物、机器人等，但不仅限于此。上述步骤中的脸部组件可以是指人脸五官、包括脸型、眉毛、眼睛、鼻子、嘴巴等，可以根据虚拟形象的生成需要进行设定。

步骤S1204，基于脸部图像中的多个脸部组件，生成初始虚拟对象。

步骤S1206，构建脸部图像的三维模型。

步骤S1208，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

步骤S1210，在通信界面中展示目标虚拟对象。

上述步骤中的通信界面可以是视频通话界面，该界面中可以展示通话双方或多方用户形象，包括真实形象和虚拟形象。

例如，以VR设备通信为例，当用户A的VR设备接收到用户B的VR设备发起的视频通话请求时，如果用户A确定与用户B进行视频通话，并且需要在通话过程中展示虚拟形象，则可以通过VR设备采集用户A的脸部图像，并基于脸部图像中的不同脸部组件，生成初始虚拟形象，进一步构建用户A脸部的三维模型，并基于三维模型对初始虚拟形象进行调整，得到最终展示给用户B查看的虚拟形象，该虚拟形象展示在视频通话界面中，用户A和用户B均可以查看。

本申请上述实施例中，基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象包括：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

上述步骤中的混合形状参数可以是Blendshape值。虚拟对象可以表达为五官的Blendshape值的组合。

本申请上述实施例中，基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

上述步骤中的三维模型可以通过一组连续可调的参数进行表达，也即，三维模型可以通过五官的细节参数进行表达，因此，上述的参数信息可以是五官参数。

本申请上述实施例中，基于脸部图像中的多个脸部组件，生成初始虚拟对象包括：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

本申请上述实施例中，采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

上述步骤中的多任务图像分类网络模型可以是卷积神经网络模型，主干网络可以选取resnet50，但不仅限于此，可以根据实际处理精度和处理速度进行确定。神经网络模型的输入可以是脸部图像，输出为预定义的人脸五官类型。

上述步骤中的类型可以是针对不同脸部组件所设定的分类结果，例如，对于眼睛这个脸部组件，类型可以是丹凤眼、桃花眼、标准眼等；对于脸型这个脸部组件，类型可以是普通脸、方脸、圆脸等。

本申请上述实施例中，获取与每个脸部组件匹配的混合形状参数包括：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

上述步骤中的素材库可以是存储有不同五官分类对应的Blendshape值的数据库。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例11

本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行脸部图像的处理方法中以下步骤的程序代码：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

可选地，图13是根据本申请实施例的一种计算机终端的结构框图。如图13所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器1302、以及存储器1304。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的脸部图像的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的脸部图像的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

可选的，上述处理器还可以执行如下步骤的程序代码：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

可选的，上述处理器还可以执行如下步骤的程序代码：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

可选的，上述处理器还可以执行如下步骤的程序代码：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

可选的，上述处理器还可以执行如下步骤的程序代码：采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

可选的，上述处理器还可以执行如下步骤的程序代码：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；输出目标虚拟对象。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型；在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在接收到通信请求的情况下，获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；在通信界面中展示目标虚拟对象。

采用本申请实施例，提供了一种脸部图像处理的方案。通过脸部图像中的多个脸部组件，生成初始虚拟对象，并基于构建的三维模型对初始虚拟对象进行微调，无需专业设计人员人为操作即可自动完成，避免同样的脸部图像由于不同的设计人员产出完全不同的处理结果，达到了节省处理时间和人力成本，提高处理效果，提升用户体验感和好感度的技术效果，进而解决了相关技术中通过人工方式生成虚拟对象，导致处理成本较高且效果较差的技术问题。

本领域普通技术人员可以理解，图13所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobi leInternet Devices，MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图13中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图13所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例12

本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的脸部图像的处理方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于三维模型对初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；将调整后的混合形状参数进行聚合，生成目标虚拟对象。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于三维模型，确定每个脸部组件的参数信息；基于每个脸部组件的参数信息对混合形状参数进行调整，得到调整后的混合形状参数。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取与每个脸部组件匹配的混合形状参数，其中，混合形状参数用于表征脸部组件的变形程度；将混合形状参数进行聚合，生成初始虚拟对象。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：采用多任务图像分类网络模型处理脸部图像，识别出多个脸部组件，并确定每个脸部组件的类型。

可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：基于每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；基于匹配到的素材，确定混合形状参数。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；输出目标虚拟对象。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在交互界面上显示实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；如果交互界面的任意一个区域内检测到形象操作指令，触发基于脸部图像中的多个脸部组件，生成初始虚拟对象，并构建脸部图像的三维模型；在交互界面上显示目标虚拟对象，其中，目标虚拟对象为基于三维模型对初始虚拟对象进行调整所生成。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口获取实体对象的脸部图像，其中，第一接口包括：第一参数，第一参数的参数值为脸部图像，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；通过调用第二接口输出目标虚拟对象，其中，第二接口包括：第二参数，第二参数的参数值为目标虚拟对象。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在接收到通信请求的情况下，获取实体对象的脸部图像，其中，脸部图像包括实体对象的多个脸部组件的图像；基于脸部图像中的多个脸部组件，生成初始虚拟对象；构建脸部图像的三维模型；基于三维模型对初始虚拟对象进行调整，生成目标虚拟对象；在通信界面中展示目标虚拟对象。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (18)

1.一种脸部图像的处理方法，其特征在于，包括：

获取实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建所述脸部图像的三维模型；

基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象。

2.根据权利要求1所述的方法，其特征在于，基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象包括：

基于所述三维模型对所述初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数；

将所述调整后的混合形状参数进行聚合，生成所述目标虚拟对象。

3.根据权利要求2所述的方法，其特征在于，基于所述三维模型对所述初始虚拟对象的混合形状参数进行调整，得到调整后的混合形状参数包括：

基于所述三维模型，确定每个脸部组件的参数信息；

基于所述每个脸部组件的参数信息对所述混合形状参数进行调整，得到所述调整后的混合形状参数。

4.根据权利要求1所述的方法，其特征在于，采用三维可变形模型构建所述脸部图像的三维模型。

5.根据权利要求1所述的方法，其特征在于，基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象包括：

获取与每个脸部组件匹配的混合形状参数，其中，所述混合形状参数用于表征所述脸部组件的变形程度；

将所述混合形状参数进行聚合，生成所述初始虚拟对象。

6.根据权利要求5所述的方法，其特征在于，采用多任务图像分类网络模型处理所述脸部图像，识别出所述多个脸部组件，并确定所述每个脸部组件的类型。

7.根据权利要求6所述的方法，其特征在于，获取与每个脸部组件匹配的混合形状参数包括：

基于所述每个脸部组件的类型，从素材库中匹配到每个类型对应的素材；

基于匹配到的素材，确定所述混合形状参数。

8.一种脸部图像的处理方法，其特征在于，包括：

接收实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建所述脸部图像的三维模型；

基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象；

输出所述目标虚拟对象。

9.一种脸部图像的处理方法，其特征在于，包括：

在交互界面上显示实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

如果所述交互界面的任意一个区域内检测到形象操作指令，触发基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象，并构建所述脸部图像的三维模型；

在所述交互界面上显示目标虚拟对象，其中，所述目标虚拟对象为基于所述三维模型对所述初始虚拟对象进行调整所生成。

10.一种脸部图像的处理方法，其特征在于，包括：

通过调用第一接口获取实体对象的脸部图像，其中，所述第一接口包括：第一参数，所述第一参数的参数值为所述脸部图像，所述脸部图像包括所述实体对象的多个脸部组件的图像；

基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建所述脸部图像的三维模型；

基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象；

通过调用第二接口输出所述目标虚拟对象，其中，所述第二接口包括：第二参数，所述第二参数的参数值为所述目标虚拟对象。

11.一种脸部图像的处理装置，其特征在于，包括：

获取模块，用于获取实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

第一生成模块，用于基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建模块，用于构建所述脸部图像的三维模型；

第二生成模块，用于基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象。

12.一种脸部图像的处理装置，其特征在于，包括：

接收模块，用于接收实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

第一生成模块，用于基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建模块，用于构建所述脸部图像的三维模型；

第二生成模块，用于基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象；

输出模块，用于输出所述目标虚拟对象。

13.一种脸部图像的处理装置，其特征在于，包括：

第一显示模块，用于在交互界面上显示实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

触发模块，用于如果所述交互界面的任意一个区域内检测到形象操作指令，触发基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象，并构建所述脸部图像的三维模型；

第二显示模块，用于在所述交互界面上显示目标虚拟对象，其中，所述目标虚拟对象为基于所述三维模型对所述初始虚拟对象进行调整所生成。

14.一种脸部图像的处理装置，其特征在于，包括：

第一调用模块，用于通过调用第一接口获取实体对象的脸部图像，其中，所述第一接口包括：第一参数，所述第一参数的参数值为所述脸部图像，所述脸部图像包括所述实体对象的多个脸部组件的图像；

第一生成模块，用于基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建模块，用于构建所述脸部图像的三维模型；

第二生成模块，用于基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象；

第二调用模块，用于通过调用第二接口输出所述目标虚拟对象，其中，所述第二接口包括：第二参数，所述第二参数的参数值为所述目标虚拟对象。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至10中任意一项所述的脸部图像的处理方法。

16.一种处理终端，其特征在于，包括：存储器和处理器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至10中任意一项所述的脸部图像的处理方法。

17.一种脸部图像的处理系统，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；构建所述脸部图像的三维模型；基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象。

18.一种脸部图像的处理方法，其特征在于，包括：

在接收到通信请求的情况下，获取实体对象的脸部图像，其中，所述脸部图像包括所述实体对象的多个脸部组件的图像；

基于所述脸部图像中的所述多个脸部组件，生成初始虚拟对象；

构建所述脸部图像的三维模型；

基于所述三维模型对所述初始虚拟对象进行调整，生成目标虚拟对象；

在通信界面中展示所述目标虚拟对象。

Images