CN111651623A - 高精度人脸表情库的构建方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种高精度人脸表情库的构建方法、装置、设备及存储介质，涉及图像处理领域。该方法包括：获取高精度人脸数据和低精度人脸数据；基于高精度人脸数据的高精度残差数据构建表情基；基于表情基对低精度人脸数据的低精度残差数据的拟合结果，从低精度残差数据中筛选目标低精度残差数据，目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；通过目标低精度残差数据和高精度残差数据迭代更新表情基，得到高精度人脸表情库，高精度人脸表情库为结束迭代时得到的表情基。在保证高精度人脸表情库精度的同时，降低对高精度人脸数据的数据需求量，以此降低高精度人脸表情库的构建成本，并提高了高精度人脸表情库的构建效率。

Description

高精度人脸表情库的构建方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理领域，特别涉及一种高精度人脸表情库的构建方法、装置、设备及存储介质。

背景技术

随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用。人脸表情驱动是一种驱动虚拟对象模拟真实世界中人脸面部表情的技术，被广泛应用于动画表情生成以及虚拟角色驱动等场景。

相关技术中，在实现人脸表情驱动前需要构建人脸表情库，以便后续利用采集到的人脸表情参数和人脸表情库进行人脸表情还原。由于人脸表情还原的效果与人脸表情库的数据精度密切相关，因此需要构建高精度人脸表情库。相关技术中，通常需要不同演员展现不同的面部表情，并采用高速3D相机记录演员的面部表情，得到一系列高精度面部表情数据，进而对高精度面部表情数据进行数据处理，得到高精度人脸数据，最终利用高精度人脸数据构建高精度人脸表情库。

然而，采用上述方式生成高精度人脸表情库时，需要使用专业设备进行面部表情数据采集，且由于专业设备采集到的面部表情数据的数据量较大，因此后续数据处理的处理量较大，导致高精度人脸表情库的构建成本较高，且构建效率较低。

发明内容

本申请实施例提供了一种高精度人脸表情库的构建方法、装置、设备及存储介质，可以在降低高精度人脸表情库的构建成本，并提高构建效率。所述技术方案如下：

一方面，本申请实施例提供了一种高精度人脸表情库的构建方法，所述方法包括：

获取高精度人脸数据和低精度人脸数据，所述高精度人脸数据对应人脸的细节程度高于所述低精度人脸数据对应人脸的细节程度；

基于所述高精度人脸数据的高精度残差数据构建表情基，所述高精度残差数据用于表征所述高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差；

基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，所述目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；

通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，所述高精度人脸表情库为结束迭代时得到的表情基。

另一方面，本申请实施例提供了一种高精度人脸表情库的构建装置，所述装置包括：

数据获取模块，用于获取高精度人脸数据和低精度人脸数据，所述高精度人脸数据对应人脸的细节程度高于所述低精度人脸数据对应人脸的细节程度；

构建模块，用于基于所述高精度人脸数据的高精度残差数据构建表情基，所述高精度残差数据用于表征所述高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差；

数据筛选模块，用于基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，所述目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；

迭代更新模块，用于通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，所述高精度人脸表情库为结束迭代时得到的表情基。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的高精度人脸表情库的构建方法。

另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的高精度人脸表情库的构建方法。

另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的高精度人脸表情库的构建方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

本实施例基于残差数据的思想，首先利用高精度人脸数据的高精度残差数据构建表情基，并利用表情基对低精度人脸数据的低精度残差数据进行拟合，从而根据拟合结果从低精度残差数据中选取拟合误差较大的目标低精度残差数据，进而利用该目标低精度残差数据和高精度残差数据进行表情基的迭代更新，最终在迭代结束时，将得到的表情基确定为高精度人脸表情库。相较于相关技术中用于构建高精度人脸表情库的数据均为高精度人脸数据，本申请实施例中联合高精度人脸数据和低精度人脸数据构建高精度人脸表情库，在保证高精度人脸表情库精度的同时，降低对高精度人脸数据的数据需求量，以此降低高精度人脸表情库的构建成本，并提高了高精度人脸表情库的构建效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的高精度人脸表情库的构建方法的原理示意图；

图2示出了本申请一个示例性实施例提供的实施环境的示意图；

图3示出了本申请一个示例性实施例提供的高精度人脸表情库的构建方法的流程图；

图4是一个示例性实施例提供的数据扩充过程的实施示意图；

图5示出了本申请另一个示例性实施例提供的高精度人脸表情库的构建方法的流程图；

图6是一个示例性实施例提供的分批选取低精度残差数据过程的实施示意图；

图7是本申请一个示例性实施例提供的残差数据拟合过程的流程图；

图8是一个示例性示例提供的人脸表情拟合效果的对比图；

图9是本申请一个示例性实施例提供的高精度人脸表情库的构建装置的结构框图；

图10示出了本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

计算机视觉(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的高精度人脸表情库的构建方法即为计算机视觉技术在人脸表情驱动这一场景下的应用。采用本申请实施例提供的方法，如图1所示，计算机设备首先分别对输入的高精度人脸数据11(数据总量远小于相关技术中用于构建高精度人脸表情库的高精度人脸数据)和低精度人脸数据12进行残差计算，得到高精度残差数据13和低精度残差数据14。对于高精度残差数据13，计算机设备基于高精度残差数据13构建第一表情基15(即初始表情基)，并利用第一表情基15对低精度残差数据14进行数据拟合，从而得到拟合结果16。根据结合结果16与低精度残差数据14之间的拟合误差，计算机设备从低精度残差数据14中筛选出部分拟合误差较大的目标低精度残差数据17，并根据目标低精度残差数据17对高精度残差数据13进行数据扩充，从而基于扩充后的残差数据重构第二表情基18。对于第二表情基18，计算机设备迭代执行上述数据拟合以及残差数据筛选过程，并迭代更新表情基，直至满足迭代结束条件时，将迭代得到的第n表情基19确定为高精度人脸表情库。

在高精度人脸表情库使用阶段，计算机设备获取用户的低精度人脸表情采集数据，从而利用高精度人脸表情库对低精度人脸表情采集数据进行处理，得到高精度人脸数据，进而利用高精度人脸数据进行人脸表情驱动。

本申请实施例提供的高精度人脸表情库的构建方法可以应用于如下场景：

一、虚拟角色的表情驱动

在该应用场景下，采用本申请实施例提供方法所构建的高精度人脸表情库可以应用于提供虚拟角色表情驱动功能的终端或者服务器中。对于用户使用终端的摄像组件对自身面部表情进行采集得到的人脸表情采集数据(通常为低精度数据)，利用高精度人脸表情库对人脸表情采集数据进行拟合，输出高精度人脸数据，从而利用虚拟角色对该高精度人脸数据进行面部表情还原和展示，使虚拟角色的面部表情与用户的真实面部表情保持一致，实现对虚拟角色面部表情的动态驱动。

二、游戏应用中的虚拟角色构建

在该应用场景下，采用本申请实施例提供方法所构建的高精度人脸表情库可以应用于游戏应用程序的后台服务器中。在进行虚拟角色构建时，用户使用终端对自身面部进行面部数据采集，并将采集到的面部数据上传至后台服务器。后台服务器即根据该面部数据和高精度人脸表情库生成高精度人脸数据，并将高精度人脸数据反馈至游戏应用程序，由游戏应用程序根据该高精度人脸数据对虚拟角色进行人脸重建，最终在游戏应用中构建出与用户自身具有相同人脸的虚拟角色。后续游戏应用还可以进一步根据用户的实时面部表情对虚拟角色进行表情驱动。

当然，上述仅以两种应用场景为例进行说明，本申请实施例提供的方法可以应用于其他需要根据输入的低精度数据输出高精度人脸数据的场景(比如使用虚拟角色进行视频通话、虚拟现实技术中的虚拟人构建等等)，本申请实施例并不对具体应用场景进行限定。

本申请实施例提供的高精度人脸表情库的构建方法可以应用于具有较强的数据处理能力的计算机设备中。在一种可能的实施方式中，本申请实施例提供的高精度人脸表情库的构建方法可以应用于个人计算机、工作站或服务器中，即可以通过个人计算机、工作站或服务器进行高精度人脸表情库的构建。

而对于构建得到的高精度人脸表情库，其可以实现成为应用程序的一部分，并被安装在终端中，使终端具备根据低精度数据生成高精度人脸数据的功能；或者，该高精度人脸表情库设置在应用程序的后台服务器中，以便安装有应用程序的终端借助后台服务器实现基于高精度人脸数据的相关功能(比如人脸表情驱动)。

请参考图2，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括终端210和服务器220，其中，终端210与服务器220之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。

终端210中安装有具有虚拟角色面部表情显示需求的应用程序，该应用程序可以是虚拟现实应用程序、游戏应用程序、动态表情应用程序或具有表情驱动功能的人工智能(Artificial Intelligence，AI)应用程序，本申请实施例对此不作限定。

可选的，终端210可以是平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，本申请实施例对此不做限定。

服务器220可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器220是终端210中应用程序的后台服务器。

如图2所示，本实施例中，在表情库构建阶段，服务器220预先获取输入的高精度人脸数据31以及低精度人脸数据32，并分别对两者进行残差计算，得到高精度残差数据33和低精度残差数据34，从而基于残差数据构建高精度人脸表情库33。当接收到终端210发送低精度人脸采集数据(用户使用终端210的拍摄组件拍摄正脸时采集得到)时，服务器220即通过高精度人脸表情库35对低精度人脸采集数据进行数据拟合，得到高精度人脸生成数据36，并将高精度人脸生成数据36反馈至终端210，由终端210中的应用程序根据高精度人脸生成数据36构建虚拟角色的面部，并进行展示。

在其他可能的实施方式中，上述高精度人脸表情库也可以设置在应用程序中，并由终端在本地根据输入的低精度人脸采集数据输出高精度人脸生成数据，而无需借助服务器220，本实施例对此不作限定。

为了方便表述，下述各个实施例以高精度人脸表情库的构建方法由计算机设备执行为例进行说明。

请参考图3，其示出了本申请一个示例性实施例提供的高精度人脸表情库的构建方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤301，获取高精度人脸数据和低精度人脸数据，高精度人脸数据对应人脸的细节程度高于低精度人脸数据对应人脸的细节程度。

在一些实施例中，高精度人脸数据(和低精度人脸数据)中包含多个对象呈现不同人脸表情时人脸数据，且低精度人脸数据的数据量(即包含的对象以及表情数量)大于高精度人脸数据。比如，高精度人脸数据中包含20个对象的人脸数据，且每个对象呈现20种表情，低精度人脸数据中包含200个对象的人脸数据，且每个对象呈现40种表情。

在一种可能的实施方式中，该高精度人脸数据为高精度人脸网格(mesh)数据，而低精度人脸数据为低精度人脸网格数据，且高精度人脸网格数据和低精度人脸网格数据对应的3D人脸具有相同的3D顶点序号和语义。比如，高精度人脸网格数据和低精度人脸网格数据为人脸三维可形变模型(3D Morphable Model，3DMM)数据。

相较于高精度人脸数据，低精度人脸数据的数据精度较低，因此相较于由高精度人脸数据构建的人脸，由低精度人脸数据构建的人脸缺乏细节，且细节平滑，相应的，利用低精度人脸数据在进行人脸表情驱动时，难以表现出真实人脸的细节特征，比如单双眼皮，抬头纹和眼角纹等等。

在一些实施例中，高精度人脸数据是采用高精度扫描设备(比如高速3D相机)对真实人脸进行扫描并处理得到的人脸数据，而低精度人脸数据则是采用低消费级设备(比如kinect)对真实人脸进行扫描并处理得到的人脸数据，或者，低精度人脸数据是现有表情数据集比如中人脸数据，比如FWH(FaceWare House)中的人脸数据。本申请实施例并不对高精度人脸数据和低精度人脸数据的来源进行限定。

步骤302，基于高精度人脸数据的高精度残差数据构建表情基，高精度残差数据用于表征高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差。

由于高精度人脸数据和低精度人脸数据的数据精度不同，因此若直接利用高精度人脸数据生成表情基，并利用表情基对低精度人脸数据进行拟合，将导致拟合效果较差。

为了提高拟合效果，本实施例基于残差数据的思想，首先确定高精度人脸数据和低精度人脸数据各自对应的残差数据，从而利用基于高精度残差数据构建的表情基，对低精度残差数据进行拟合，降低拟合过程中数据精度对拟合效果的影响，提高了拟合效果。

在一种可能的实施方式中，对于获取到的高精度人脸数据，计算机设备获取同一对象对应的人脸数据，并计算人脸表情数据与中性人脸数据之间的偏差。可选的，当高精度人脸数据为高精度人脸网格数据时，高精度残差数据即包含各个顶点对应网格数据的差值。

进一步的，计算机设备根据高精度残差数据构建表情基，该表情及用于拟合呈现表情的人脸相对于中性脸的残差。可选的，该表情基由代表不同表情的可变型网络(blendshape)构成，且各个blendshape由同一3D人脸模型在不同表情下变化形成，不同blendshape对应的顶点序号和含义保持一致。下述实施例将对构建表情基的方式进行详细说明。

步骤303，基于表情基对低精度人脸数据的低精度残差数据的拟合结果，从低精度残差数据中筛选目标低精度残差数据，目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差。

在一种可能的实施方式中，计算机设备采用与计算高精度残差数据类似的方式，计算低精度人脸数据对应的低精度残差数据，并利用构建的表情基拟合低精度残差数据，得到拟合结果。

为了确定该表情基的拟合效果，计算机设备进一步计算拟合结果与原始低精度残差数据之间的拟合误差，从而基于该拟合误差，从低精度残差数据中筛选出拟合效果不佳的目标低精度残差数据。

可选的，筛选出的目标低精度残差数据为至少一个对象对应的低精度残差数据。

步骤304，通过目标低精度残差数据和高精度残差数据迭代更新表情基，得到高精度人脸表情库，高精度人脸表情库为结束迭代时得到的表情基。

为了提高表情基对低精度残差数据的拟合效果，在一种可能的实施方式中，计算机设备利用目标低精度残差数据对高精度残差数据进行数据扩充，并根据扩充后的残差数据重新构建表情基。

经过不断数据扩充以及表情基迭代更新，表情基对低精度残差数据的拟合效果不断提高。当满足迭代结束条件时，计算机设备将最后一次迭代更新得到的表情基确定为高精度人脸表情库。

后续使用过程中，计算机设备即可利用该高精度人脸表情库，根据输入的低精度人脸采集数据输出高精度人脸生成数据，进而利用高精度人脸生成数据还原出细节更为丰富的人脸面部表情。

综上所述，本实施例基于残差数据的思想，首先利用高精度人脸数据的高精度残差数据构建表情基，并利用表情基对低精度人脸数据的低精度残差数据进行拟合，从而根据拟合结果从低精度残差数据中选取拟合误差较大的目标低精度残差数据，进而利用该目标低精度残差数据和高精度残差数据进行表情基的迭代更新，最终在迭代结束时，将得到的表情基确定为高精度人脸表情库。相较于相关技术中用于构建高精度人脸表情库的数据均为高精度人脸数据，本申请实施例中联合高精度人脸数据和低精度人脸数据构建高精度人脸表情库，在保证高精度人脸表情库精度的同时，降低对高精度人脸数据的数据需求量，以此降低高精度人脸表情库的构建成本，并提高了高精度人脸表情库的构建效率。

本申请实施例中，构建高精度人脸表情库可以分为数据准备阶段和表情基迭代更新阶段。其中，计算机设备在数据准备阶段生成高精度残差数据以及低精度残差数据，在表情基迭代更新阶段，计算机设备即根据准备阶段生成的残差数据构建表情基，并进行迭代更新。

由于本申请实施例仅使用少量(相较于相关技术中完全基于高精度人脸数据构建人脸表情库)高精度人脸数据构建人脸表情库，因此在数据准备阶段，计算机设备对高精度人脸数据进行数据扩充，以此提高生成的残差数据的质量；类似的，计算机设备同样对低精度人脸数据进行数据扩充。

在一种可能的实施方式中，获取到高精度人脸数据后，计算机设备对高精度人脸数据和低精度人脸数据进行镜像扩充，得到扩充后的高精度人脸数据和低精度人脸数据，其中，镜像扩充包括沿人脸中线进行左右翻转。

以高精度人脸数据的数据扩充过程为例进行说明，在一些实施例中，计算机设备首先对高精度人脸数据进行坐标系对齐，然后将对齐后的高精度人脸数据，沿人脸中线进行左右翻转，实现镜像扩充。经过镜像扩充，高精度人脸数据的数据量扩充为原先的两倍，且经过镜像扩充后构建得到的高精度人脸表情数据库所表达的表情左右对齐。

示意性的，如图4所示，高精度中性人脸数据41进行镜像处理后，得到镜像高精度中性人脸数据42。

完成镜像扩充后，计算机设备进一步生成高精度残差数据和低精度残差数据。

针对生成高精度残差数据的过程，在一种可能的实施方式中，计算机设备根据高精度人脸数据中的高精度中性人脸数据和高精度人脸表情数据，生成高精度残差数据。

其中，高精度中性人脸为不带表情的人脸数据，而高精度人脸表情数据则是对象呈现相应表情时的人脸数据，且高精度中性人脸和高精度人脸表情数据对应同一对象。

示意性的，计算残差数据的过程可以采用如下公式表示：

offset＝mesh_exp-mesh_neutral

其中，offset为残差数据，mesh_exp为人脸表情数据，mesh_neutral为中性人脸数据。可选的，当人脸数据为人脸网格三维展开数据(即人脸网格数据)，且网格中的顶点数量为N时，mesh_exp和mesh_neutral即为[3N×1]的向量，相应的，若人脸数据中包含M张人脸对应的数据，则生成的人脸残差数据为[3N×M]的矩阵。

在一种可能的实施方式中，为了进一步扩充数据量，完成镜像扩充后，计算机设备获取高精度人脸数据中的高精度中性人脸数据，以及高精度人脸镜像数据中的高精度中性人脸镜像数据，并根据高精度中性人脸数据和高精度中性人脸镜像数据，生成高精度对称中性人脸数据，高精度对称中性人脸数据用于生成高精度残差数据。

相应的，计算机设备获取低精度人脸数据中的低精度中性人脸数据，以及低精度人脸镜像数据中的低精度中性人脸镜像数据，并根据低精度中性人脸数据和低精度中性人脸镜像数据，生成低精度对称中性人脸数据，低精度对称中性人脸数据用于生成低精度残差数据。

在一些实施例中，计算机设备对高精度中性人脸数据和高精度中性人脸镜像数据进行均值处理，得到人脸左右对称的高精度对称中性人脸数据；对低精度中性人脸数据和低精度中性人脸镜像数据进行均值处理，得到人脸左右对称的低精度对称中性人脸数据。

示意性的，如图4所示，计算机设备对高精度中性人脸数据41以及镜像高精度中性人脸数据42进行均值处理，得到左右脸对称的高精度对称中性人脸数据43。

后续生成残差数据时，计算机设备即计算高精度(或低精度)人脸表情数据与高精度(或低精度)对称中性人脸之间的残差。经过上述数据扩充后，生成的残差数据的数据量为原先的4倍。

除了通过上述方式进行数据扩充外，为了使残差数据在数值上具有对称性，并进一步扩充残差数据的数据量，在一种可能的实施方式中，计算机设备沿负方向对高精度残差数据进行数据扩充，得到扩充后的高精度残差数据，使扩充后的高精度残差数据具有对称性。类似的，计算机设备对低精度残差数据也进行负方向数据扩充。

比如，当生成的残差数据为offset时，沿负方向进行数据扩充后，残差数据即变为[offset，-offset]。

本实施例中，在数据准备阶段通过镜像扩充、对称人脸扩充以及残差数据负方向扩充等方式进行数据扩充，增加了残差数据的数据量，有助于提高后续构建的表情基的质量，进而提高最终生成的高精度人脸表情库的质量。

需要说明的是，上述实施例仅以高精度残差数据的生成过程为例进行说明，在实际应用中，计算机设备可以采用相似方式，同步生成低精度残差数据，本实施例在此不再赘述。

请参考图5，其示出了本申请另一个示例性实施例提供的高精度人脸表情库的构建方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤501，获取高精度人脸数据和低精度人脸数据，高精度人脸数据对应人脸的细节程度高于低精度人脸数据对应人脸的细节程度。

本步骤的实施方式可以参考步骤301，本实施例在此不再赘述。

步骤502，根据高精度人脸数据中的高精度中性人脸数据和高精度人脸表情数据，生成高精度残差数据。

其中，在生成高精度残差数据时，可以采用上述实施例中提供的方式进行数据扩充，本实施例在此不再赘述。

步骤503，对高精度残差数据进行主成分分析，得到高精度残差数据对应的均值、主成分特征向量矩阵和主成分方差，主成分方差为主成分特征向量矩阵中特征向量对应的特征值。

通过上述步骤生成的高精度残差数据的数据量较大且数据维度较多，为了使构建的表情基在具备良好拟合效果的同时，降低表情基的数据量和数据维度，以减少后续计算量，在一种可能的实施方式中，计算机设备通过主成分分析(Principal ComponentsAnalysis，PCA)技术对高精度残差数据进行处理，利用降维思想降低数据维度，减少冗余或干扰数据，降低后续过渡拟合的可能性。

关于主成分分析的方式，在一种可能的实施方式中，计算机设备首先计算高精度残差数据的均值，然后计算高精度查查数据对应的特征协方差矩阵，从而根据特征协方差矩阵得到协方差的特征向量和特征值，进而根据特征值的降序，从特征向量中选取特征值最大的若干个特征向量，构成主成分特征向量矩阵，并根据将主成分特征向量矩阵中特征向量对应的特征值，生成主成分方差(向量)。

在一个示意性的例子中，计算机设备对高精度残差数据(h_offset)进行PCA处理，得到均值h_mu、主成分特征向量矩阵h_pc以及主成分方差h_ev_f。其中，h_mu为[3N×1]向量，h_pc为[3N×t]矩阵，h_ev_f为[t×1]向量，t为选取的特征向量的数量，N为人脸网格的顶点的数量。

步骤504，根据均值、主成分特征向量矩阵和主成分方差构建表情基。

在一种可能的实施方式中，为了使经过PAC得到的数据能够用于进行表情拟合(即能够作为表情基)，计算机设备还需要对主成分方差进行处理。

可选的，当主成分方差为列向量时，计算机设备对主成分方差进行矩阵变换，得到主成分对角矩阵，从而将均值主成分特征向量矩阵和主成分对角矩阵确定为表情基，其中，该主成分对角矩阵由主成分标准差构成。

结合上述步骤中的示例，计算机设备对h_ev_f这一[t×1]列向量进行开方处理(即由主成分方差得到主成分标准差)，得到[t×t]的主成分对角矩阵h_ev。相应的，表情基由[3N×1]的h_mu、[3N×t]的h_pc以及[t×t]的h_ev构成。

步骤505，根据低精度残差数据所属的对象，分批选取低精度残差数据，其中，每批选取m个对象对应的低精度残差数据，m为正整数。

通过上述步骤构建得到初始表情基后，计算机设备即可利用初始表情基对低精度残差数据进行拟合。在一种可能的实施方式中，计算机设备可以对所有低精度残差数据进行同时拟合。然而，由于低精度人脸数据的数据量较大，相应的，低精度残差数据的数据量也非常过大(数据量远大于高精度残差数据)，因此若直接对所有低精度残差数据进行拟合，将导致计算量突增。

为了避免拟合过程中计算量过大，计算机设备对低精度残差数据进行分批拟合。

由于低精度残差数据中包含不同对象各自对应的残差数据，因此在分屏选取低精度残差的过程中，需要以对象为单位进行选取。在一种可能的实施方式中，计算机设备根据低精度残差数据所属的对象进行残差数据划分，确保同一对象对应的残差数据被划分至同一批次。

示意性的，如图6所示，低精度残差数据中包含对象A、B、C各自对应的残差数据。在进行分批时，计算机设备可以将对象A对应的所有残差数据划分为一批低精度残差数据，或者，可以将对象A和对象B的所有残差数据划分为一批低精度残差数据，但是将对象A的所有残差数据以及对象B的一部分残差数据划分为一批低精度残差数据，将被视为错误的分批选择。

需要说明的是，上述实施例仅以每批低精度残差数据中包含1个或2个对象的低精度残差数据为例进行说明，当对此并不构成限定。

步骤506，根据表情基对低精度残差数据进行数据拟合，得到低精度残差数据对应的拟合残差数据。

在一种可能的实施方式中，对于低精度残差数据中的每一列残差数据(即一张人脸对应的低精度人脸表情数据与低精度中性人脸数据之间的参数残差)，计算机设备根据人脸表情参数和表情基，拟合得到该列残差数据对应拟合残差数据，其中，人脸表情参数用于表征该残差数据对应的人脸表情。

针对上述数据拟合过程，在一些实施例中，如图7所示，本步骤可以包括如下步骤：

步骤506A，根据表情基、人脸表情参数和低精度残差数据，构建拟合函数，拟合函数用于确定数据拟合过程使用的人脸表情参数。

本申请实施例中，表情基与人脸表情参数配合使用时，可以拟合到呈现目标人脸表情时，人脸表情数据与中性人脸数据之间的残差数据，该目标人脸表情即为人脸表情参数表征的表情。由于待拟合低精度残差数据所对应的人脸表情未知(即人脸表情参数未知)，因此本步骤中，计算机设备需要根据表情基、人脸表情参数和低精度残差数据构建拟合函数，从而通过该拟合函数确定出待拟合低精度残差数据所对应的人脸表情。

在一个示意性的例子中，该拟合函数如下：

其中，β为目标人脸表情参数，l_offsset为待拟合低精度残差数据([3N×1]的列向量)，l_offfset(x)表示低精度残差数据中的第x个数，h_mu为表情基中的均值，h_pc为表情基中的主成分特征向量矩阵，h_ev为表情基中的主成分对角矩阵，β为待调整的人脸表情参数，h_mu+h_pc*h_ev*β)(x)表示经过表情基和人脸表情参数进行拟合后，得到的拟合残差数据中的第x个数，λ为正则系数，N为人脸网格的顶点的数量。

步骤506B，通过调整人脸表情参数最小化拟合函数的函数值，并确定最小化函数值对应的目标人脸表情参数。

人脸表情参数与待拟合低精度残差数据所对应的人脸表情越接近，得到的拟合残差数据与待拟合低精度残差数据越接近，相应的，上述拟合函数的函数值越小。因此，本实施例中，计算机设备通过调整人脸表情参数，使得拟合函数的函数值最小化，从而将取最小化函数值时的人脸表情参数确定为目标人脸表情参数。

步骤506C，根据目标人脸表情参数和表情基进行数据拟合，得到拟合残差数据。

计算机设备进一步根据目标人脸表情参数和表情基进行数据拟合，得到拟合残差数据，其中，拟合残差数据可以表示为：h_mu+h_pc*h_ev*β。

结合上述步骤中的示例，当h_mu为[3N×1]向量，h_pc为[3N×t]矩阵，h_ev为[t×t]矩阵，β为[t×1]向量，拟合得到的拟合残差数据为[3N×1]向量。

步骤507，根据低精度残差数据和拟合残差数据，确定拟合误差。

为了衡量当前表情基的残差数据拟合效果，计算机设备对低精度残差数据和拟合残差数据做差，从而确定两者之间的拟合误差。

示意性的，拟合误差的计算公式如下：

在一种可能的实施方式中，当低精度残差数据和拟合残差数据均为[3N×1]向量时，计算机设备计算向量之间的欧式距离，从而将欧式距离确定为该拟合误差。当然，计算机设备还可以将马氏距离或者余弦距离确定为拟合误差，本实施例对此不作限定。

通过上述步骤计算得到每一列残差数据对应的拟合误差后，若低精度残差数据中共包含S列数据(即[3N×S]的矩阵)，则能够得到由S个拟合误差构成的[1×S]行向量。

步骤508，根据拟合误差从低精度残差数据中筛选目标低精度残差数据。

由于低精度人脸数据中包含多个对象各自对应的多个人脸表情数据，因此在拟合效果不佳的低精度残差数据时，终端同样以对象为单位进行筛选。

在一种可能的实施方式中，筛选低精度残差数据的过程包括如下步骤。

一、根据同一对象对应低精度残差数据的拟合误差，确定各个对象对应的拟合平均误差。

在一些实施例中，计算机设备采用拟合平均误差衡量各个对象对应残差数据的拟合效果。在一种可能的实施方式中，计算机设备对同一对象对应的拟合误差进行平均值运算，得到该对象对应的拟合平均误差。

在一个示意性的例子中，低精度人脸数据中，包含1000个对象对应的人脸数据，且每个对象对应50条人脸数据，计算机设备即对同一对象的50个拟合误差进行平均值运算，得到1000个拟合平均误差。

二、对拟合平均误差进行降序排序，将前k拟合平均误差对应的对象确定为目标对象，k为正整数。

进一步的，计算机设备根据拟合平均误差的降序，对各个对象进行排序，从而将前k个对象确定为目标对象，目标对象对应低精度残差数据的拟合效果低于其他对象。

在一个示意性的例子中，计算机设备对1000个拟合平均误差进行降序排序，并将前10个拟合平均误差对应的对象确定为目标对象。

三、从低精度残差数据中筛选目标对象对应的目标低精度残差数据。

确定出目标对象后，计算机设备将目标对象对应的低精度残差数据确定为目标低精度残差数据。

结合上述步骤中的示例，计算机设备将10个目标对象对应的500条低精度误差数据确定为目标低精度残差数据。

在一种可能的实施方式中，计算机设备对筛选出的目标低精度残差数据进行负方向扩充，使得目标低精度残差数据的数据具备对称性。

步骤509，将目标低精度残差数据添加至高精度残差数据，得到迭代高精度残差数据。

对于筛选出的目标低精度残差数据，计算机设备将其添加至高精度残差数据，实现数据扩充，得到本地迭代更新后的迭代高精度残差数据。

需要说明的是，将目标低精度残差数据添加至高精度残差数据后，该目标低精度残差数据仍旧保留在原始低精度残差数据中。

步骤510，基于迭代高精度残差数据构建迭代表情基。

完成高精度残差数据迭代更新后，计算机设备即利用迭代高精度残差数据重新构建表情基。其中，重构表情基的过程可以参考上述步骤503至504，本实施例在此不再赘述。

由于每次迭代过程中，用于构建表情基的残差数据的数据量都有所增加，因此迭代更新后的表情基的数据拟合效果随着迭代的进行不断提高。

步骤511，响应于满足迭代收敛条件，将迭代表情基确定为高精度人脸表情库。

通过上述步骤，计算机设备即完成一次表情基的迭代更新。每次迭代更新后，计算机设备均需要对迭代表情基的数据拟合效果进行再次验证，直至满足迭代收敛条件。

在一种可能的实施方式中，计算机设备基于迭代表情基对低精度残差数据的拟合结果，确定当前迭代对应的最大拟合误差。若当前迭代对应的最大拟合误差与上一次迭代对应的最大拟合误差的误差差值小于阈值(比如该阈值为上一次迭代时最大拟合误差的5％)，则确定满足迭代收敛条件，并将当前的迭代表情基确定为高精度人脸表情库。

其中，计算机设备基于迭代表情基对低精度残差数据进行拟合，以及确定拟合误差的过程，可以参考上述步骤505至507，本实施例在此不再赘述。

在一种可能的实施方式中，计算机设备计算每次迭代更新过程的最大拟合误差，并通过比较相邻两次迭代过程的最大拟合误差，确定拟合误差是否收敛，从而在拟合误差收敛时，完成迭代更新。

在其他可能的实施方式中，计算机设备设置有最大迭代次数(比如20次)，当迭代次数达到最大迭代次数时，即确定满足迭代收敛条件。

满足迭代收敛条件后，计算机设备将本地迭代得到的表情基确定为高精度人脸表情库。结合上述步骤中的示例，该高精度人脸表情库即为本地迭代过程中，通过PCA确定出的均值、主成分特征向量矩阵以及主成分对角矩阵。

若不满足迭代收敛条件，计算机设备则继续筛选目标低精度残差数据，并迭代更新高精度残差数据和表情基。需要说明的是，不同次迭代更新过程中筛选出的目标低精度残差数据不同，即避免将同一低精度残差数据重复添加至高精度残差数据中。

示意性的，基于高精度人脸数据构建得到的图8中的人脸81，基于人脸表情参数和高精度人脸表情库拟合并构建得到图8中的人脸82，两者的面部表情保持一致，且人脸82保留了较多的人脸细节(比如眼角的皱纹，眉头的皱纹等等)，人脸精度较高。

本实施例中，计算机设备通过对高精度残差数据进行主成分分析，从而根据主成分分析结果构建表情基，在保证表情基具备良好数据拟合效果的前提下，降低了生成的表情基的数据维度，进而降低后续进行数据拟合时的运算量，提高了高精度人脸表情库的构建效率。

此外，本实施例中，计算机设备采用分批策略选取不同对象对应的低精度残差数据，避免同时对所有低精度残差数据进行数据拟合时，出现运算量突增的问题，提高了表情库构建过程的运算稳定性。

同时，本实施例中，计算机设备将拟合效果不佳的低精度残差数据添加至高精度残差数据中，并基于数据扩充后的残差数据迭代更新表情基，使表情基能够在不断迭代过程中，提高对各对象对应残差数据的拟合质量。

图9是本申请一个示例性实施例提供的高精度人脸表情库的构建装置的结构框图，该装置包括：

数据获取模块901，用于获取高精度人脸数据和低精度人脸数据，所述高精度人脸数据对应人脸的细节程度高于所述低精度人脸数据对应人脸的细节程度；

构建模块902，用于基于所述高精度人脸数据的高精度残差数据构建表情基，所述高精度残差数据用于表征所述高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差；

数据筛选模块903，用于基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，所述目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；

迭代更新模块904，用于通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，所述高精度人脸表情库为结束迭代时得到的表情基。

可选的，数据筛选模块903，包括：

拟合单元，用于根据所述表情基对所述低精度残差数据进行数据拟合，得到所述低精度残差数据对应的拟合残差数据；

误差确定单元，用于根据所述低精度残差数据和所述拟合残差数据，确定所述拟合误差；

数据筛选单元，用于根据所述拟合误差从所述低精度残差数据中筛选所述目标低精度残差数据。

可选的，所述拟合单元，用于：

根据所述表情基、人脸表情参数和所述低精度残差数据，构建拟合函数，所述拟合函数用于确定数据拟合过程使用的所述人脸表情参数；

通过调整所述人脸表情参数最小化所述拟合函数的函数值，并确定最小化函数值对应的目标人脸表情参数；

根据所述目标人脸表情参数和所述表情基进行数据拟合，得到所述拟合残差数据。

可选的，所述数据筛选单元，用于：

根据同一对象对应低精度残差数据的所述拟合误差，确定各个对象对应的拟合平均误差；

对所述拟合平均误差进行降序排序，将前k拟合平均误差对应的对象确定为目标对象，k为正整数；

从所述低精度残差数据中筛选所述目标对象对应的所述目标低精度残差数据。

可选的，所述装置，还包括：

批量选择模块，用于根据所述低精度残差数据所属的对象，分批选取所述低精度残差数据，其中，每批选取m个对象对应的所述低精度残差数据，m为正整数。

可选的，所述迭代更新模块904，包括：

数据添加单元，用于将所述目标低精度残差数据添加至所述高精度残差数据，得到迭代高精度残差数据；

迭代更新单元，用于基于所述迭代高精度残差数据构建迭代表情基；

表情库确定单元，用于响应于满足迭代收敛条件，将所述迭代表情基确定为所述高精度人脸表情库。

可选的，所述表情库确定单元，用于：

基于所述迭代表情基对所述低精度残差数据的拟合结果，确定当前迭代对应的最大拟合误差；

响应于所述当前迭代对应的最大拟合误差与上一次迭代对应的最大拟合误差的误差差值小于阈值，确定满足所述迭代收敛条件，并将所述迭代表情基确定为所述高精度人脸表情库。

可选的，所述构建模块902，包括：

残差数据生成单元，用于根据所述高精度人脸数据中的所述高精度中性人脸数据和所述高精度人脸表情数据，生成所述高精度残差数据；

主成分分析单元，用于对所述高精度残差数据进行主成分分析，得到所述高精度残差数据对应的均值、主成分特征向量矩阵和主成分方差，所述主成分方差为所述主成分特征向量矩阵中特征向量对应的特征值；

构建单元，用于根据所述均值、所述主成分特征向量矩阵和所述主成分方差构建所述表情基。

可选的，所述主成分方差为列向量；

所述构建单元，用于：

对所述主成分方差进行矩阵变换，得到主成分对角矩阵，所述主成分对角矩阵由主成分标准差构成；

将所述均值、所述主成分特征向量矩阵和所述主成分对角矩阵确定为所述表情基。

可选的，所述装置还包括：

第一数据扩充模块，用于沿负方向对所述高精度残差数据进行数据扩充，得到扩充后的所述高精度残差数据，其中，扩充后的所述高精度残差数据具有对称性。

可选的，所述装置还包括：

第二数据扩充模块，用于对所述高精度人脸数据和所述低精度人脸数据进行镜像扩充，得到扩充后的所述高精度人脸数据和所述低精度人脸数据，其中，镜像扩充包括沿人脸中线进行左右翻转。

可选的，所述装置包括：

对称人脸生成模块，用于获取所述高精度人脸数据中的所述高精度中性人脸数据，以及高精度人脸镜像数据中的高精度中性人脸镜像数据；根据所述高精度中性人脸数据和所述高精度中性人脸镜像数据，生成高精度对称中性人脸数据，所述高精度对称中性人脸数据用于生成所述高精度残差数据；

获取所述低精度人脸数据中的低精度中性人脸数据，以及低精度人脸镜像数据中的低精度中性人脸镜像数据；根据所述低精度中性人脸数据和所述低精度中性人脸镜像数据，生成低精度对称中性人脸数据，所述低精度对称中性人脸数据用于生成所述低精度残差数据。

综上所述，本实施例基于残差数据的思想，首先利用高精度人脸数据的高精度残差数据构建表情基，并利用表情基对低精度人脸数据的低精度残差数据进行拟合，从而根据拟合结果从低精度残差数据中选取拟合误差较大的目标低精度残差数据，进而利用该目标低精度残差数据和高精度残差数据进行表情基的迭代更新，最终在迭代结束时，将得到的表情基确定为高精度人脸表情库。相较于相关技术中用于构建高精度人脸表情库的数据均为高精度人脸数据，本申请实施例中联合高精度人脸数据和低精度人脸数据构建高精度人脸表情库，在保证高精度人脸表情库精度的同时，降低对高精度人脸数据的数据需求量，以此降低高精度人脸表情库的构建成本，并提高了高精度人脸表情库的构建效率。

需要说明的是：上述实施例提供的高精度人脸表情库的构建装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的高精度人脸表情库的构建装置与高精度人脸表情库的构建方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参考图10，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器1002和只读存储器1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1001执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1001执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一实施例所述的高精度人脸表情库的构建方法。

本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的高精度人脸表情库的构建方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一方法实施例所述的高精度人脸表情库的构建方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种高精度人脸表情库的构建方法，其特征在于，所述方法包括：

获取高精度人脸数据和低精度人脸数据，所述高精度人脸数据对应人脸的细节程度高于所述低精度人脸数据对应人脸的细节程度；

基于所述高精度人脸数据的高精度残差数据构建表情基，所述高精度残差数据用于表征所述高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差；

基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，所述目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；

通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，所述高精度人脸表情库为结束迭代时得到的表情基。

2.根据权利要求1所述的方法，其特征在于，所述基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，包括：

根据所述表情基对所述低精度残差数据进行数据拟合，得到所述低精度残差数据对应的拟合残差数据；

根据所述低精度残差数据和所述拟合残差数据，确定所述拟合误差；

根据所述拟合误差从所述低精度残差数据中筛选所述目标低精度残差数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述表情基对所述低精度残差数据进行数据拟合，得到所述低精度残差数据对应的拟合残差数据，包括：

根据所述表情基、人脸表情参数和所述低精度残差数据，构建拟合函数，所述拟合函数用于确定数据拟合过程使用的所述人脸表情参数；

通过调整所述人脸表情参数最小化所述拟合函数的函数值，并确定最小化函数值对应的目标人脸表情参数；

根据所述目标人脸表情参数和所述表情基进行数据拟合，得到所述拟合残差数据。

4.根据权利要求2所述的方法，其特征在于，所述根据所述拟合误差从所述低精度残差数据中筛选所述目标低精度残差数据，包括：

根据同一对象对应低精度残差数据的所述拟合误差，确定各个对象对应的拟合平均误差；

对所述拟合平均误差进行降序排序，将前k拟合平均误差对应的对象确定为目标对象，k为正整数；

从所述低精度残差数据中筛选所述目标对象对应的所述目标低精度残差数据。

5.根据权利要求2所述的方法，其特征在于，所述根据所述表情基对所述低精度残差数据进行数据拟合，得到所述低精度残差数据对应的拟合残差数据之前，所述方法还包括：

根据所述低精度残差数据所属的对象，分批选取所述低精度残差数据，其中，每批选取m个对象对应的所述低精度残差数据，m为正整数。

6.根据权利要求1至5任一所述的方法，其特征在于，所述通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，包括：

将所述目标低精度残差数据添加至所述高精度残差数据，得到迭代高精度残差数据；

基于所述迭代高精度残差数据构建迭代表情基；

响应于满足迭代收敛条件，将所述迭代表情基确定为所述高精度人脸表情库。

7.根据权利要求6所述的方法，其特征在于，所述响应于满足迭代收敛条件，将所述迭代表情基确定为所述高精度人脸表情库，包括：

基于所述迭代表情基对所述低精度残差数据的拟合结果，确定当前迭代对应的最大拟合误差；

响应于所述当前迭代对应的最大拟合误差与上一次迭代对应的最大拟合误差的误差差值小于阈值，确定满足所述迭代收敛条件，并将所述迭代表情基确定为所述高精度人脸表情库。

8.根据权利要求1至5任一所述的方法，其特征在于，所述基于所述高精度人脸数据的高精度残差数据构建表情基，包括：

根据所述高精度人脸数据中的所述高精度中性人脸数据和所述高精度人脸表情数据，生成所述高精度残差数据；

对所述高精度残差数据进行主成分分析，得到所述高精度残差数据对应的均值、主成分特征向量矩阵和主成分方差，所述主成分方差为所述主成分特征向量矩阵中特征向量对应的特征值；

根据所述均值、所述主成分特征向量矩阵和所述主成分方差构建所述表情基。

9.根据权利要求8所述的方法，其特征在于，所述主成分方差为列向量；

所述根据所述均值、所述主成分特征向量矩阵和所述主成分方差构建所述表情基，包括：

对所述主成分方差进行矩阵变换，得到主成分对角矩阵，所述主成分对角矩阵由主成分标准差构成；

将所述均值、所述主成分特征向量矩阵和所述主成分对角矩阵确定为所述表情基。

10.根据权利要求8所述的方法，其特征在于，所述根据所述高精度人脸数据中的所述高精度中性人脸数据和所述高精度人脸表情数据，生成所述高精度残差数据之后，所述方法还包括：

沿负方向对所述高精度残差数据进行数据扩充，得到扩充后的所述高精度残差数据，其中，扩充后的所述高精度残差数据具有对称性。

11.根据权利要求1至5任一所述的方法，其特征在于，所述获取高精度人脸数据和低精度人脸数据之后，所述方法还包括：

对所述高精度人脸数据和所述低精度人脸数据进行镜像扩充，得到扩充后的所述高精度人脸数据和所述低精度人脸数据，其中，镜像扩充包括沿人脸中线进行左右翻转。

12.根据权利要求11所述的方法，其特征在于，所述对所述高精度人脸数据和所述低精度人脸数据进行镜像扩充之后，所述方法还包括：

获取所述高精度人脸数据中的所述高精度中性人脸数据，以及高精度人脸镜像数据中的高精度中性人脸镜像数据；根据所述高精度中性人脸数据和所述高精度中性人脸镜像数据，生成高精度对称中性人脸数据，所述高精度对称中性人脸数据用于生成所述高精度残差数据；

获取所述低精度人脸数据中的低精度中性人脸数据，以及低精度人脸镜像数据中的低精度中性人脸镜像数据；根据所述低精度中性人脸数据和所述低精度中性人脸镜像数据，生成低精度对称中性人脸数据，所述低精度对称中性人脸数据用于生成所述低精度残差数据。

13.一种高精度人脸表情库的构建装置，其特征在于，所述装置包括：

数据获取模块，用于获取高精度人脸数据和低精度人脸数据，所述高精度人脸数据对应人脸的细节程度高于所述低精度人脸数据对应人脸的细节程度；

构建模块，用于基于所述高精度人脸数据的高精度残差数据构建表情基，所述高精度残差数据用于表征所述高精度人脸数据中，高精度中性人脸数据与高精度人脸表情数据之间的偏差；

数据筛选模块，用于基于所述表情基对所述低精度人脸数据的低精度残差数据的拟合结果，从所述低精度残差数据中筛选目标低精度残差数据，所述目标低精度残差数据的拟合误差高于其他低精度残差数据的拟合误差；

迭代更新模块，用于通过所述目标低精度残差数据和所述高精度残差数据迭代更新所述表情基，得到所述高精度人脸表情库，所述高精度人脸表情库为结束迭代时得到的表情基。

14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的高精度人脸表情库的构建方法。

15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的高精度人脸表情库的构建方法。

Images