CN110163054A - 一种人脸三维图像生成方法和装置 - Google Patents

Abstract

本发明涉及计算机技术，特别涉及图像处理技术，公开了一种人脸三维图像生成方法和装置，本发明提供的方法及装置中，对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；并根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。基于人脸二维图像重构得到人脸三维图像，由于人脸本就是三维立体的，这样在人脸三维图像中添加选择的表情，使得得到的带有表情的人脸三维图像中的表情不仅自然而且更加具有仿真度。

Description

一种人脸三维图像生成方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及图像处理技术领域，尤其涉及一种人脸三维图像生成方法和装置。

背景技术

人脸是人体最具表达力的部分，具有个性化和多样化的特点。生活中我们通过人脸来辨别身份，更通过脸部表情来表达喜怒哀乐，脸部表情在我们平时的沟通交流中起着举足轻重的作用，随着各种即时通信软件的应用，能够描述脸部表情的表情符也得到大量应用。

在各种即时通信中，带有脸部表情的图片可以给用户的生活和学习等方面带来丰富多样的变化，现有带有脸部表情的图片，是把用户的2D图片上的人脸进行反射变形，通过对一组图片进行反射变形并连续播放后，使得人脸做出脸部表情，达到人脸动态变化的效果。然而现有的方法只可以满足给用户做一些简单的变形效果，虽然起到诙谐幽默的效果，但得到的图片中人脸脸部表情不自然，无法做到仿真度较高的用户脸部表情。

因此，如何提高图片中人脸脸部表情的仿真度是计算机通讯技术中需要考虑的问题之一。

发明内容

本发明实施例提供一种人脸三维图像生成方法和装置，用以提高人脸图像中人脸上表情的仿真度。

第一方面，本发明实施例提供一种人脸三维图像生成方法，包括：

对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；

根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；并

根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

这样，基于人脸二维图像重构得到人脸三维图像，由于人脸本就是三维立体的，这样在人脸三维图像中添加选择的表情，使得得到的带有表情的人脸三维图像中的表情的仿真度更高，用户感受更加真实自然。

较佳地，根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，具体包括：

分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，其中，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；

将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述目标人脸三维图像中。

通过利用用户选择的目标表情对应的基本表情模板库中的基本表情基底图像合成所述目标表情的表情偏移项，然后将目标表情的表情偏移项融合到目标人脸三维图像上，使得得到的具有目标表情的目标人脸三维图像上的表情更加自然且更像目标人脸自发产生的目标表情，仿真度更高。

优选地，分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位的基本表情基底图像进行变形处理，具体包括：

针对目标表情中每个特征部位，确定该特征部位对应的基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；以及

将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述目标人脸三维图像中，具体包括：

对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；以及

将所述表情偏移项融合到所述目标人脸三维图像中。

较佳地，根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，具体包括：

对所述目标人脸三维图像与标准人脸的基本表情模板库中标准人脸三维图像进行融合和添加纹理处理，得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；

根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库；

根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理；

将基于变形参数对所述目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

采用上述方法得到的目标人脸三维图像既具有用户选择的素材的风格且更像目标人脸，同时目标人脸三维图像上的目标表情更加生动形象，更能够达到用户的实际需求。同时采用上述方法，不需要设计师对每个用户均设计blendshapes，也大大降低了设计师的工作量，使得风格化的实现门槛大大降低。

进一步地，根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库，具体包括：

确定具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与所述标准人脸三维图像之间的差异量；

根据所述差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，确定所述目标人脸的基本表情模板库。

可选地，根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库，具体包括：

针对标准人脸的基本表情模板库中的每一基本表情基底图像，对该基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像进行融合和添加纹理处理，得到与该基本表情基底图像对应的、具有标准人脸三维图像所属风格的、该目标人脸的基本表情基底图像；

将所述人脸三维图像及确定出的具有标准人脸三维图像所属风格的、该目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

进一步地，对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合处理，具体包括：

根据所述目标人脸三维图像中用于表征目标人脸特征部位的每一特征点，以及所述标准人脸三维图像中与该特征点处于相同位置的特征点，利用预设算法确定该特征点和所述与该特征点处于相同位置的特征点之间的融合点；

基于各个特征点确定出的融合点构造融合后的目标人脸三维图像。

进一步地，对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行添加纹理处理，具体包括：

对目标人脸二维图像进行肤色均衡和展开处理，得到三维纹理图像；并

基于人脸对称性原则，对所述三维纹理图像进行纠正和纹理补充处理，得到处理后的三维纹理图像；

对处理后的三维纹理图像和所述标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像；并

将所述融合后的目标人脸三维纹理图像添加到所述融合后的目标人脸三维图像上。

进一步地，对处理后的三维纹理图像和所述标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像，具体包括：

针对处理后的三维纹理图像中任一点，确定所述标准人脸三维图像对应的三维纹理图像中与该点处于相同位置的点；

利用该点的像素值、所述与该点处于相同位置的点的像素值和该标准人脸所属风格对应的融合程度，确定该点融合后的像素值；

基于各个点确定出的融合后的像素值，得到融合后的目标人脸三维纹理图像。

较佳地，根据所述差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，获得目标人脸的基本表情模板库，具体包括：

针对所述基本表情模板库中的每一基本表情基底图像，确定该基本表情基底图像表征的特征部位的变形程度与所述差异量的乘积；并

对所述乘积与该基本表情基底图像进行叠加处理，得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像；

基于所述基本表情模板库中各个基本表情基底图像分别确定出的目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

优选地，根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，具体包括：

针对目标表情中每个特征部位，确定目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；以及

将基于变形参数对所述目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中，具体包括：

对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；

将所述表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

较佳地，在对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合和添加纹理处理之前，还包括：

确定未基于所述标准人脸三维图像生成目标人脸的基本表情模板库。

较佳地，所述预设算法至少包括以下一种：基于控制点集的移动最小二乘的图像变形算法、仿射变换和图像扭曲算法。

较佳地，所述标准人脸三维图像为根据用户从风格化素材库中选择出的任一素材，从该素材对应的基本表情模板库中提取出的，其中，不同素材对应不同的基本表情模板库。

优选地，按照下述方法获得目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数：

接收选择指令，所述选择指令中携带有选中的目标表情的标识信息；并

根据所述标识信息，从预先配置的表情素材库中获取所述标识信息对应的表情素材包；并

从接收到的选择指令中携带的目标表情的标识信息对应的表情素材包中解析出所述目标表情中各个特征部位分别对应的变形参数，其中，所述表情素材包中包含至少一个目标表情。

可选地，所述方法，还包括：

从所述标识信息对应的表情素材包中解析出目标音频文件，其中，所述目标音频文件包括多个音频段，且预先根据每个音频段的语音特征，为每一音频段配置相应的目标表情；并

针对每一个目标表情，将所述目标人脸视为播音者而获得所述目标人脸的、具有目标表情的目标人脸三维图像；

根据所述多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，并将所述目标音频文件拟合到所述目标视频文件中。

基于上述流程，使得在向用户展示带有表情的人脸三维图像的同时播放语音信息，不仅生动形象而且带有语音播放功能更增加了动态人脸三维图像的实用性。

较佳地，根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像，具体包括：

根据所述各个特征部位的特征信息，确定所述特征信息表征的特征部位对应的特征部位图像模板及模板权重；并

对各个特征部位分别对应的特征部位三维图像模板及模板权重进行加权求和处理得到所述目标人脸的身份偏移项；

对所述身份偏移项和均值三维图像进行求和处理，重构所述目标人脸三维图像，所示均值三维图像为根据历史得到的人脸三维图像确定出的。

可选地，若所述表情为嘴巴张开，则所述方法，还包括：

确定嘴巴张开程度及人脸旋转角度；

根据所述嘴巴张开程度和所述人脸旋转角度，确定牙齿在空腔中的位置信息和牙齿张开程度；

根据所述牙齿张开程度调整牙齿模型，使得调整后的牙齿模型的牙齿张开程度与确定出的牙齿张开程度匹配；并

将所述调整后的牙齿模型嵌入到具有嘴巴张开表情的人脸三维图像中嘴巴的相应位置处。

第二方面，本发明实施例提供一种人脸三维图像生成装置，包括：

获得单元，用于对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；

重构单元，用于根据所述获得单元获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；

生成单元，用于根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

较佳地，所述生成单元，具体用于分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，其中，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述目标人脸三维图像中。

进一步地，所述生成单元，具体用于针对目标表情中每个特征部位，确定该特征部位对应的基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；

所述生成单元，还用于对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；以及将所述表情偏移项融合到所述目标人脸三维图像中。

优选地，所述生成单元，具体用于对所述目标人脸三维图像与标准人脸的基本表情模板库中标准人脸三维图像进行融合和添加纹理处理，得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库；根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理；将基于变形参数对所述目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

进一步地，所述生成单元，具体用于确定具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与所述标准人脸三维图像之间的差异量；根据所述差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，确定所述目标人脸的基本表情模板库。

优选地，所述生成单元，具体用于针对标准人脸的基本表情模板库中的每一基本表情基底图像，对该基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像进行融合和添加纹理处理，得到与该基本表情基底图像对应的、具有标准人脸三维图像所属风格的、该目标人脸的基本表情基底图像；将所述人脸三维图像及确定出的具有标准人脸三维图像所属风格的、该目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

可选地，所述生成单元，具体用于根据所述目标人脸三维图像中用于表征目标人脸特征部位的每一特征点，以及所述标准人脸三维图像中与该特征点处于相同位置的特征点，利用预设算法确定该特征点和所述与该特征点处于相同位置的特征点之间的融合点；基于各个特征点确定出的融合点构造融合后的目标人脸三维图像。

可选地，所述生成单元，具体用于对目标人脸二维图像进行肤色均衡和展开处理，得到三维纹理图像；并基于人脸对称性原则，对所述三维纹理图像进行纠正和纹理补充处理，得到处理后的三维纹理图像；对处理后的三维纹理图像和所述标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像；并将所述融合后的目标人脸三维纹理图像添加到所述融合后的目标人脸三维图像上。

进一步地，所述生成单元，具体用于针对处理后的三维纹理图像中任一点，确定所述标准人脸三维图像对应的三维纹理图像中与该点处于相同位置的点；利用该点的像素值、所述与该点处于相同位置的点的像素值和该标准人脸所属风格对应的融合程度，确定该点融合后的像素值；基于各个点确定出的融合后的像素值，得到融合后的目标人脸三维纹理图像。

较佳地，所述生成单元，具体用于针对所述基本表情模板库中的每一基本表情基底图像，确定该基本表情基底图像表征的特征部位的变形程度与所述差异量的乘积；并对所述乘积与该基本表情基底图像进行叠加处理，得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像；基于所述基本表情模板库中各个基本表情基底图像分别确定出的目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

进一步地，所述生成单元，具体用于针对目标表情中每个特征部位，确定目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；

所述生成单元，还用于对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；将所述表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

较佳地，所述装置，还包括：

确定单元，用于在所述生成单元对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合和添加纹理处理之前，确定未基于所述标准人脸三维图像生成目标人脸的基本表情模板库。

较佳地，所述预设算法至少包括以下一种：基于控制点集的移动最小二乘的图像变形算法、仿射变换和图像扭曲算法。

优选地，所述标准人脸三维图像为根据用户从风格化素材库中选择出的任一素材，从该素材对应的基本表情模板库中提取出的，其中，不同素材对应不同的基本表情模板库。

可选地，所述装置，还包括：

第一处理单元，用于按照下述方法获得目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数：接收选择指令，所述选择指令中携带有选中的目标表情的标识信息；并根据所述标识信息，从预先配置的表情素材库中获取所述标识信息对应的表情素材包；并从所述标识信息对应的表情素材包中解析出所述目标表情中各个特征部位分别对应的变形参数，其中，所述表情素材包中包含至少一个目标表情。

优选地，所述第一处理单元，还用于从接收到的选择指令中携带的目标表情的标识信息对应的表情素材包中解析出目标音频文件，其中，所述目标音频文件包括多个音频段，且预先根据每个音频段的语音特征，为每一音频段配置相应的目标表情；并针对每一个目标表情，将所述目标人脸视为播音者而获得所述目标人脸的、具有目标表情的目标人脸三维图像；根据所述多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，并将所述目标音频文件拟合到所述目标视频文件中。

较佳地，所述重构单元，具体用于根据所述各个特征部位的特征信息，确定所述特征信息表征的特征部位对应的特征部位图像模板及模板权重；并对各个特征部位分别对应的特征部位三维图像模板及模板权重进行加权求和处理得到所述目标人脸的身份偏移项；对所述身份偏移项和均值三维图像进行求和处理，重构所述目标人脸三维图像，所示均值三维图像为根据历史得到的人脸三维图像确定出的。

较佳地，所述装置，还包括：

第二处理单元，用于若所述表情为嘴巴张开，则确定嘴巴张开程度及人脸旋转角度；根据所述嘴巴张开程度和所述人脸旋转角度，确定牙齿在空腔中的位置信息和牙齿张开程度；根据所述牙齿张开程度调整牙齿模型，使得调整后的牙齿模型的牙齿张开程度与确定出的牙齿张开程度匹配；并将所述调整后的牙齿模型嵌入到具有嘴巴张开表情的人脸三维图像中嘴巴的相应位置处。

第三方面，本发明实施例提供一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本申请提供的人脸三维图像生成方法。

第四方面，本发明实施例提供一种终端设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请提供的人脸三维图像生成方法。

本发明有益效果：

本发明实施例提供的人脸三维图像生成方法和装置，对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；并根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。基于人脸二维图像重构得到人脸三维图像，由于人脸本就是三维立体的，这样在人脸三维图像中添加选择的表情，使得得到的带有表情的人脸三维图像中的表情不仅自然而且更加具有仿真度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1a为本发明实施例提供的人脸二维图像的示意图；

图1b为本发明实施例提供的对人脸二维图像的特征点进行拟合后得到的三维特征点的示意图；

图2为本发明实施例提供的应用人脸三维图像生成方法的终端设备100的结构示意图；

图3为本发明实施例提供的人脸三维图像生成方法的应用场景示意图；

图4为本发明实施例提供的人脸三维图像生成方法的流程示意图；

图5为本发明实施例提供的重构人脸三维图像的流程示意图；

图6为本发明实施例提供的基本表情模板库的示意图；

图7为本发明实施例提供的生成具有目标表情的目标人脸三维图像的流程示意图之一；

图8为本发明实施例提供的确定选择出的表情参数序列的流程示意图；

图9为本发明实施例提供的步骤S32的实施流程示意图；

图10为本发明实施例提供的生成具有目标表情的目标人脸三维图像的流程示意图之二；

图11a为本发明实施例提供的对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合处理的流程示意图；

图11b为本发明实施例提供的三维特征点构成的三角形得到的人脸三维图像的效果示意图；

图11c为本发明实施例提供的MLS算法对图像进行融合处理的示意图；

图11d为本发明实施例提供的融合得到的对象的效果示意图；

图12a为本发明实施例提供的目标人脸三维图像的效果示意图；

图12b为本发明实施例提供的标准人脸三维图像的效果示意图；

图12c为本发明实施例提供的融合后的目标人脸三维图像的效果示意图；

图13为本发明实施例提供的对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行添加纹理处理的流程示意图；

图14为本发明实施例提供的步骤S83的实施流程示意图；

图15a为本发明实施例提供的逼真风格下目标人脸的迁移样例示意图；

图15b为本发明实施例提供的步骤S62的实施流程示意图之一；

图15c为本发明实施例提供的步骤S102的实施流程示意图；

图15d为本发明实施例提供的步骤S62的实施流程示意图之二；

图16为本发明实施例提供的目标表情为笑脸的目标人脸三维图像的效果示意图；

图17为本发明实施例提供的获得目标视频文件的流程示意图；

图18为本发明实施例提供的带有空腔的牙齿的三维效果图；

图19a为本发明实施例提供在人脸三维图像中嘴巴处于张开状态时将带有空腔的牙齿嵌入到嘴巴相应位置处的流程示意图；

图19b-19c为本发明实施例提供的基于图1a中的人脸在嘴巴处于不同张开程度时按照图19a所示的流程牙齿在嘴巴中的效果示意图；

图20a为本发明实施例提供的人脸三维图像生成装置的结构示意图之一；

图20b为本发明实施例提供的人脸三维图像生成装置的结构示意图之二；

图20c为本发明实施例提供的人脸三维图像生成装置的结构示意图之三；

图20d为本发明实施例提供的人脸三维图像生成装置的结构示意图之四；

图21为本发明实施例提供的实施人脸三维图像生成方法的终端设备的硬件结构示意图。

具体实施方式

本发明实施例提供的人脸三维图像生成方法和装置，提高人脸图像中人脸上表情的仿真度。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

为了便于理解本发明，本发明涉及的技术术语中：

1、终端设备，为可以安装各类应用程序，并且能够将已安装的应用程序中提供的对象进行显示的设备，该终端设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)或其它能够实现上述功能的终端设备等。

2、应用程序，为可以完成某项或多项特定工作的计算机程序，它具有可视的显示界面，能与用户进行交互，比如电子地图和微信等都可以称为应用程序。

3、人脸检测和人脸识别：是计算机视觉以及深度学习领域的热点领域，目标微软，Ulsee，Face++，Sensetime和腾讯等公司都有相关开发的软件开发工具包(SoftwareDevelopment Kit，SDK)可供使用。通过对这些SDK的性能进行对比和性能检测的准确性，本发明选用腾讯优图提供的人脸识别SDK，对人脸二维图像进行人脸识别，获得用于表征人脸中各个特征部位的特征信息。

4、人脸中各个特征部位：包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓，其中眉毛包括左右两个眉毛；眼睛包括左右两只眼睛。

5、用于表征人脸中各个特征部位的特征信息：由基于人脸识别得到的特征点进行3D拟合后得到的三维特征点构成。以人脸二维图像中的嘴巴为例进行说明，对人脸二维图像进行人脸识别后，可以得到用于表征人脸中嘴巴的至少一个特征点，而然后对这些特征点进行3D拟合以加上嘴巴的深度信息，从而得到相应的三维特征点，这些三维特征点构成了用于表征人脸中嘴巴的特征信息。参考图1a所示的人脸二维图像，对图1a所示的人脸二维图像进行人脸识别后，可以得到18个用于表征人脸中嘴巴的特征点，并对这18个特征点进行3D拟合后得到18个三维特征点，这18个三维特征点构成了用于表征人脸中嘴巴的特征信息。具体地，基于人脸识别得到的18个特征点用像素值来表示，该像素值为二维的，而基于这18个特征点进行3D拟合后得到的三维特征点由像素值+深度值构成，参考图1b所示拟合得到的嘴巴的三维特征点。

6、目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，是指实现用户期望目标人脸上具有的目标表情的各个特征部位分别对应的变形参数值，该变形参数为预先利用表情分解工具分析具有目标表情的脸部特征得到的。

7、身份偏移项：基于特征部位三维图像模板与模板权重就得，而模板权重表征的是人脸的特征部位偏离特征部位图像模板的程度。每一特征部位图像模板与模板权重的乘积表征的是人脸二维图像中人脸的该特征部位的真实形状。基于人脸所有特征部位的特征部位图像模板与模板权重加权求和则表征人脸二维图像中人脸的各个特征部位的真实形状。

8、blendshape，是指变形目标，是3D设计中常见的概念；本发明中的blendshape用于表示基本表情模板库中的一个基本表情基底图像；而本发明中的基本表情模板库由素材而定，同一风格可以包含多种表情素材，而不同素材对应不同的基本表情模板库。实际应用中，为了提高用户对生成带有表情的人脸三维图像应用程序的使用率和满意度，可以设计多种风格的素材，即设计多种素材的基本表情模板库，例如逼真风格、日漫风、美国风和卡通风等等。逼真风格会需要一套逼真的标准人脸的blendshapes，即逼真风格的基本表情模板库，卡通化的风格就需要一套卡通风格的blendshapes---卡通的基本表情模板库。需要说明的是，本发明中的每一个素材中的每一blendshape都是一个3D模型，例如可以是一个obj文件，obj文件是3D模型文件格式。由Alias Wavefront公司为3D建模和动画软件“Advanced Visualizer”开发的一种标准，适合于3D软件模型之间的互相导出。

为了解决现有技术中直接在2D图像上进行反射变形得到的带有表情的图片中人脸表情不自然，仿真度较低的问题，本发明实施例给出了解决方案，提供了一种人脸三维图像生成方法。本发明提供的方法，可以应用于具有生成具有表情的人脸三维图像的应用程序中，上述应用程序可以设置于终端设备中。该终端设备可以为手机、平板电脑、各类可穿戴设备、PDA(Personal Digital Assistant，掌上电脑)等。图2示出了一种终端设备100的结构示意图。参照图2所示，终端设备100包括：处理器110、存储器120、重力加速度传感器130、显示单元1/40、输入单元150、射频(radio frequency，RF)电路160以及电源170等。

其中，处理器110是终端设备100的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器120内的软件程序和/或数据，执行终端设备100的各种功能，从而对终端设备进行整体监控。可选的，处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、各种应用程序等；存储数据区可存储根据终端设备100的使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

重力加速度传感器130可检测各个方向上(一般为三轴)加速度的大小，同时，该重力加速度传感器130还可用于检测终端静止时重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端设备100的各种菜单等，本发明实施例中主要用于显示终端设备100中各应用程序的显示界面以及显示界面中显示的文本、图片等对象。显示单元140可以包括显示面板141。显示面板141可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。

输入单元150可用于接收用户输入的数字或字符等信息。输入单元150可包括触控面板151以及其他输入设备152。其中，触控面板151，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板151上或在触控面板151附近的操作)，例如本发明实施例中的触控面板151可用于检测是否有用户的按压操作，以此确定是否接收到用户针对应用程序向用户展示的包含表情的表情素材执行的选择指令。具体的，触控面板151可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器110，并接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板151。其他输入设备152可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

当然，触控面板151可覆盖显示面板141，当触控面板151检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图2中，触控面板151与显示面板141是作为两个独立的部件来实现终端设备100的输入和输出功能，但是在某些实施例中，可以将触控面板151与显示面板141集成而实现终端设备100的输入和输出功能。

终端设备100还可包括RF电路160，可用于和基站进行收发信息或数据。通常，RF电路160包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。本发明实施例中，RF电路160可以通过无线通信与网络和其他电子设备通信，上述无线通信可以使用任一通信标准或协议。

终端设备100还包括给各个部件供电的电源170(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

终端设备100还可以包括音频电路180、扬声器181、麦克风182可提供用户与终端设备之间的音频接口。音频电路180可将接收到的音频数据转换后的电信号传输到扬声器181，由扬声器181转换为声音信号输出；另一方面，麦克风182将收集的声音信号转换为电信号，由音频电路180接收后转换为音频数据，再将音频数据输出处理器110处理后输出，或者将音频数据输出至存储器120以便进一步处理。

终端设备100还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述终端设备100还可以包括摄像头等其它部件，由于这些部件不是本申请实施例中重点使用的部件，因此，在图2中没有示出，且不再详述。

本领域技术人员可以理解，图2仅仅是终端设备的举例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本发明提供的人脸三维图像生成方法的应用场景是，在终端设备中安装的用于执行人脸三维图像生成方法的应用程序处于开启状态，该应用程序上具有可供用户选择的表情素材及向用户展示生成的具有表情的人脸三维图像的功能。当用户在应用程序中打开或拍摄得到一张目标人脸二维图像后，会选择一个风格，在该风格下选择一个具有目标表情的表情素材，期望目标人脸上具有用户选择的目标表情，由此，应用程序在接收到用户选择的素材后，首先对该目标人脸二维图像进行人脸识别并获得用于表征目标人脸中各个特征部位的特征信息；然后根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；以及根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对目标人脸三维图像的各个特征部位进行变形处理，由此生成具有目标表情的目标人脸三维图像。通过采用上述方法，由于人脸本就是三维立体的，基于人脸特性，根据目标人脸二维图像重构目标人脸三维图像并在目标人脸三维图像上添加目标表情，这样得到的带有目标表情的目标人脸三维图像上的表情具有更高的仿真度，使得目标人脸三维图像上的表情也显得更加真实自然。

另一种可能的应用场景是，参考图3所示的应用场景示意图，用户设备11上安装有设置有可供用户选择的表情的表情素材及向用户展示生成的具有表情人脸三维图像的应用程序，且该应用程序处于开启状态，然后用户10通过用户设备11中安装的应用程序打开本地存储或拍摄得到目标人脸二维图像，同时会选择一个风格且带有目标表情的表情素材，期望目标人脸上具有用户选择的目标表情，由此，应用程序在接收到用户选择的素材后，向服务器12发送该目标人脸二维图像及用户选择的带有目标表情的表情素材及所属风格，服务器12在接收到该目标人脸二维图像后，对该目标人脸二维图像进行人脸识别并获得用于表征目标人脸中各个特征部位的特征信息；然后根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；与此同时，用户10会在用户设备11中的应用程序上触发选择指令，该选择指令中会携带有用户10选择的需要在目标人脸上添加的目标表情，用户设备11在接收到用户10的选择指令后，将该选择指令发送给服务器12，服务器12接收到该选择指令后，会根据选择出的需要在目标人脸上呈现的目标表情中各个特征部位分别对应的变形参数，也即目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。然后服务器12将生成的具有目标表情的目标人脸三维图像发送给用户设备11中的应用程序并展示给用户10。这样操作，一方面可以基于人脸三维立体的特性，根据目标人脸二维图像重构目标人脸三维图像并在目标人脸三维图像上添加表情，这样得到的带有表情的目标人脸三维图像上的表情更加更高的仿真度，从而使得目标人脸三维图像上的表情看起来更加真实自然；另一方面，由于执行人脸三维图像生成方法的过程在服务器端，相比于用户设备端，服务器端具有较强的处理能力，处理速度比较快，不仅可以快速向用户10展示具有表情的目标人脸三维图像，同时还为用户设备节省了处理资源。

本发明实施例提供的三维图像生成方法，可以应用在各种图像处理应用程序中，例如现有的天天P图和美图秀秀等应用程序，也可以用在各种即时通信应用中，用户可以利用该功能在本地客户端中，利用自己上传的二维图片生成多个特有的带有表情的甚至各种风格的人脸三维图像，组成人脸三维表情包，最常用的是利用自己的照片生成自己专有的人脸三维表情包。

需要说明的是，本发明中的目标人脸可以为用户10的人脸，也可以为用户设备11中存储的其他用户的人脸或者用户10使用用户设备11拍摄的其他用户的人脸，本发明对此不进行限定。

需要说明的是，用户设备11与服务器12之间通过网络进行通信连接，该网络可以为局域网、广域网等。用户设备11可以为便携设备(例如：手机、平板、笔记本电脑等)，也可以为个人电脑(PC，Personal Computer)，服务器12可以为任何能够提供互联网服务的设备，用户设备11中的应用程序可以为具有拍摄和/或打开本地照片功能的应用程序，可以为天天P图等等。

下面结合上述应用场景，参考图4-图19c来描述根据本发明示例性实施方式提供的人脸三维图像生成方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。

参考图4所示，为本发明实施例提供的人脸三维图像生成方法的流程示意图，在下文的介绍过程中，以将该方法应用在图2所示的终端设备100为例。该方法的具体实时流程如下：

S11、对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息。

本步骤中，可以采用腾讯优图提供的人脸识别SDK来对目标人脸二维图像进行人脸识别和五官定位，提取用于表征目标人脸中各个特征部位的特征点。人脸识别技术可使用的特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等，人脸识别技术中具有特征提取功能，人脸特征提取就是针对人脸的某些特征进行提取，由此即可获得人脸中各个特征部位的特征点。

本发明中的目标人脸二维图像可以为本地图库中存储的包含人脸的图片，用户基于应用程序打开一张本地存储的包含人脸的图片作为目标人脸二维图像，若利用人脸检测技术检测到图片中存在人脸则对该目标人脸二维图像进行人脸识别。当然还可以基于应用程序调用摄像头拍摄一张人脸图片作为目标人脸二维图像并利用人脸检测技术识别图片中的目标人脸，再利用人脸识别技术获得目标人脸中用于表征人脸中各个特征部位的特征点。

较佳地，人脸检测技术还可以但不限于采用iOS自带人脸检测技术、OpenCV人脸检测技术、Ulsee，Face++和Sensetime人脸检测技术等等。

具体地，本发明中的特征点可以但不限于包括：用于表征脸部轮廓、眼睛轮廓、鼻子和嘴唇等特征部位的特征点，参考图1a所示。

在获得用于表征目标人脸中各个特征部位的特征点后，由于要进行三维重建，故需要对每一特征点进行3D拟合处理，得到该特征点对应的三维特征点，相当于对二维图像加上深度值。得到的三维特征点可以表示为：(x,y,z)，其中，x表示该三维特征点对应的像素点的横坐标值；y表示为该三维特征点对应的纵素点的横坐标值；z表示为该三维特征点的深度值。其中，x和y与基于二维图像得到的特征点的x和y值相同。

本发明中的特征信息是由若干个表征目标人脸局部部位的三维特征点构成。具体的说，基于人脸识别技术直接输出的是表征目标人脸中局部部位的特征点，执行3D拟合处理后得到目标人脸上的三维特征点，而若干个三维特征点构成了该局部部位的特征信息，如图1a中基于人脸识别技术得到了83个特征点，根据标准的人脸模型以及这83个特征点之间的约束关系，进行3D拟合后可以推算出目标人脸上1000个三维特征点，参考图1b所示，图1b中未标出1000个点，仅在图1b中展示出人脸眼睛、鼻子、嘴巴、眉毛和脸部轮廓等的特征点，其他特征点虽未在图1b中展示，但其他特征点是存在的；例如图1b中得到人脸的左、右眉毛的特征信息均是由8个三维特征点构成，人脸的左右眼睛均是由9个三维特征点构成等，例如，图1b中左眉毛对应的三维特征点为编号19～26标识的特征点；右眉毛对应的三维特征点为编号27～34标识的特征点等。

较佳地，本发明中的目标人脸二维图像可以为在光线良好的情况下拍摄得到的目标正脸照片，这样一来，可以保证利用该二维图像重构的三维图像更像目标人脸，更具真实性。

S12、根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像。

本发明中，先介绍一下人脸三维重建的原理：在人脸三维重建过程中，任何人脸的人脸三维模型可以通过在平均人脸模型的顶点上增加偏移来表示，用公式(1)表示为：

公式(1)中，M表示人脸三维模型，用矩阵表示，基于该模型输出的即为目标人脸三维图像；表示平均人脸模型，属于R^3N*1，N为三维模型点云的点数，本发明中的为根据历史获取的人脸的人脸三维图像确定的，同样用矩阵表示。A_id表示人脸图像模板，用矩阵表示；p_id表示人脸图像模板的模板权重，而∑A_id＊p_id表征的是人脸的身份偏移项；A_exp表示基本表情基底图像，用矩阵表示；p_exp表示基本表情基底图像表征的特征部位对应的变形参数值，而∑A_exp＊p_exp表征的是表情偏移项。

本发明中的平均人脸模型，为对基于历史获取的矩阵求取平均得到的一个均值矩阵，而该均值矩阵表征一个均值三维图像。例如历史获取了10000张人脸三维图像的矩阵，然后对10000个矩阵求取平均值即可得到一个均值矩阵，该均值矩阵表征的即为均值三维图像。

基于上述描述，若利用目标人脸二维图像进行三维图像重构，相当于已知，只需确定后边两项即可得到目标人脸三维图像，即确定身份偏移项和表情偏移项。

较佳地，可以按照图5所示的流程重构目标人脸三维图像，包括以下步骤：

S21、根据各个特征部位的特征信息，确定特征信息表征的特征部位对应的特征部位三维图像模板及模板权重。

本发明中预先配置了人脸的三维图像模板，该三维图像模板可以包括各个特征部位的三维图像模板，如鼻子、嘴巴、眼睛、眉毛和轮廓的三维图像模板，然而鼻子、下巴眼睛等包括多种类型，如下巴包括尖下巴、宽下巴、短下巴、翘下巴和肉下巴等，故上述特征部位的三维图像模板其实包括多种类型的三维图像模板，如下巴的三维图像模板包括尖下巴、宽下巴、短下巴、翘下巴和肉下巴的三维图像模板等，其他特征部位也是类似，在此不再一一列举。实际应用中，若要保证精度，可以设置较多的特征部位的三维图像模板。

基于上述人脸重建原理，需要确定目标人脸的身份偏移项，则需要执行步骤S21和S22，本步骤中，需要确定目标人脸二维图像中的目标人脸的各个特征部位对应的特征部位的三维图像模板。

具体地，在进行人脸识别的过程中，可以确定出各个特征部位对应的特征点，从而可以确定出各个特征部位对应的三维特征点，这样可以将基于目标人脸二维图像得到的三维特征点表征的每一特征部位，分别与该特征部位的所有三维图像模板进行匹配，旨在找出最匹配的特征部位三维图像模板。例如将基于目标人脸二维图像得到的任一特征部位的三维特征点构成的矩阵记为C，而将该特征部位的所有三维图像模板的三维特征点构成的矩阵分别记为Mi，假设i介于1～n，则确定C与Mi的差值得到差值矩阵；并对差值矩阵取绝对值得到Di，然后确定每一个D中包含的元素值之和，由此可以得到n个和值；并将和值最小的Di对应的三维图像模板确定为与该特征部位最匹配的模板。例如，以嘴唇为例进行说明，预先配置的嘴唇的三维图像模板可能包括方型唇、尖型唇和圆型唇等三维图像模板，则预先对这几种三维图像模板提取了三维特征点。在基于目标人脸二维图像中的嘴唇得到嘴唇的三维特征点后，将该三维特征点构成的矩阵C，分别与方型唇、尖型唇和圆型唇的三维图像模板的三维特征点构成的矩阵Mi(i介于1与3之间)之间的差值，得到3个差值矩阵D，然后分别每一差值矩阵的绝对值中的元素值之和，这样可以得到3个和值，若确定出D1对应的和值最小，则确定基于目标人脸二维图像中嘴唇对应的嘴唇与方型唇三维图像模板最匹配，也即基于目标人脸二维图像拟合得到三维嘴唇对应的嘴唇图像模板为方型唇三维图像模板A_id。基于上述描述，可以确定出目标人脸二维图像中各个特征部位对应的特征部位三维图像模板。当然还可以采用其他方法确定特征部位对应的特征部位三维图像模板，本发明对此不进行具体限定。

虽然存在有一类人的嘴唇属于方型唇，但彼此之间的方型唇是有差异的，本发明中的特征部位三维图像模板只是表征各大类三维图像模板，并不能与人脸的特征部位完全一样，故在确定出每一特征部位对应的特征部位三维图像模板后，需要确定目标人脸二维图像中目标人脸的该特征部位偏离该特征部位三维图像模板的程度，即模板权重p_id。该模板权重p_id可以为基于目标人脸二维图像得到的该特征部位的三维特征点中的最大特征点与确定出的特征部位图像模板的三维特征点中最大的三维特征点之间的比值，或者也可以为基于目标人脸二维图像得到的该特征部位的三维特征点的平均值与确定出的特征部位图像模板的三维特征点的平均值之间的比值，当然还可以采用其他方法来确定，本发明对此不进行限定。基于上述描述，可以确定出各个特征部位对应的特征部位三维图像模板的模板权重。

S22、对各个特征部位分别对应的特征部位图像模板及模板权重进行加权求和处理得到目标人脸的身份偏移项。

基于步骤S21确定出目标人脸二维图像中各个特征部位分别对应的特征部位图像模板及模板权重后，按照∑A_id＊p_id表达式进行加权求和处理即可得到目标人脸的身份偏移项。

S23、对身份偏移项和均值三维图像进行求和处理，重构目标人脸三维图像。

本发明中的均值三维图像为根据历史得到的人脸三维图像确定出的，具体可以前述对的说明，在此不再描述。

本步骤中，在确定出身份偏移项和均值三维图像后，可以根据公式(1)重构目标人脸三维图像。公式(1)中的表情偏移项∑A_exp＊p_exp可以看做与前边两项维数相同的零矩阵；公式(1)中的表情偏移项∑A_exp＊p_exp还可以利用基于目标人脸二维图像得到的三维特征点去匹配基本表情基底图像并确定基本表情基底图像表征的特征部位对应的变形参数值。具体地，在实际应用中，用户会选择一个风格，期望用户选择的目标人脸上具有用户选择的表情。因此，终端设备会根据用户选择的表情的表情素材，确定该素材对应的基本表情模板库，参考图6所示的用户选择的素材对应的基本表情模板库包含的基本表情基底图像的示意图，图6中第一个为标准人脸三维图像，也就是无表情时的基本表情基底图像，即该标准人脸三维图像中的特征部位在自然状态下的图像；其余的每一个基本表情基底图像中只有一个特征部位发生变化，如图6中第一行第8个基本表情基底图像的表情为嘴巴张开，第11个基本表情基底图像的表情为左嘴角上扬的表情等。

具体地，可以基于目标人脸二维图像得到的每一特征部位的三维特征点，确定与该特征部位匹配度最高的基本表情基底图像，然后与标准人脸三维图像进行差值计算得到的矩阵记为A_exp，确定方法参考确定特征部位对应的特征部位三维图像模板的方法，在此不再赘述，当然还可以采用其他方法，本发明对此不进行限定。然后再确定目标人脸二维图像中该特征部位相对于确定出的基本表情基底图像表征的特征部位的偏离程度，即该特征部位对应的变形参数值p_exp，基于此可以确定出目标人脸二维图像中各个特征部位分别匹配的基本表情基底图像及变形参数值，进而得到表情偏移项∑A_exp＊p_exp。

至此，按照公式(1)即可得到目标人脸三维模型，也即目标人脸三维图像。

S13、根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

本步骤中，从公式(1)中，可以得出保留公式(1)等号右边前两项之和，通过修改第三项∑A_exp＊p_exp即可达到在指定人脸(即目标人脸二维图像中的目标人脸)上应用上目标表情，基于此可以实现在目标人脸三维图像上携带用户期望的表情，既生动又形象，由于人脸本就是三维立体的，在目标人脸三维图像上添加表情也会更加自然，仿真度更高。

较佳地，可以按照图7所示的流程执行步骤S13，包括以下步骤：

S31、分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理。

其中，本发明中的基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像。

本发明中的基本表情模板库为预先设计好的，可以预先为不同风格下的各种素材设计一套基本表情模板库，例如美国风的素材可以有小学生素材和小学生蒙版素材等等。需要说明的是，每一个基本表情模板库由一个标准人脸(正脸)三维图像以及n个不同姿态的blendshape组成，其中，每一个blendshape表示一个模拟特定表情的动作，例如表示不高兴表情的嘟嘴、表示暗示表情的眨眼等，具体数量视产品需求而定，n大于等于1。例如图6即为某一素材的基本表情模板库，图6中包括49个blendshapes，其中图6中标注有Neutral的基本表情基底图像为中立脸，也即该素材的标准人脸三维图像。具体地，本发明中的标准人脸三维图像是指正脸且表示脸部无表情的动作，或表示特定表情的动作的三维图像。

较佳地，本发明中的标准人脸三维图像为根据用户从风格化素材库中选择出的任一素材，从该素材对应的基本表情模板库中提取出的，其中，不同素材对应不同的基本表情模板库。

实际应用中，用户可以在应用程序向用户展示的各种风格中选择一个风格，然后在该风格下选择一个表情素材，旨在用户选择的人脸二维图像中的目标人脸上具有用户选择的素材包含的表情。

具体地，可以按照下述过程执行步骤S31：

针对目标表情中每个特征部位，确定该特征部位对应的基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像。

具体地，终端设备100中的应用程序会向用户展示各种表情素材，用户基于此可以选择一个目标表情，由此终端设备100可以根据用户选择出的目标表情的中各个特征部位分别对应的变形参数，确定目标表情中每一特征部位对应的基本表情基底图像，然后确定该基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像。假设用户选择的目标表情为左眼睁开右眼闭着且嘴巴张开，终端设备100可以基于用户选择的表情确定该表情中各个特征部位分别对应的变形参数序列，该变形参数序列中包含合成该表情的各基本表情基底图像的标识，及各基本表情基底图像的变形参数值p_exp，例如，基本表情基底图像的标识为编号为例进行说明，确定出的编号分别为28和412，由于图6中所示的基本表情模板库包含5行和12列，故编号“28和412”中第一位数字代表的是确定出的基本表情基底图像在图6所示的模板库中的行数，第二三位数字表示的是确定出的基本表情基底图像在图6所示的模板库中的列数。由此查找图6所示的基本表情模板库，即可确定出编号28对应模板库中第2行第8个基本表情基底图像，即嘴巴张开的三维图像；同理，可以确定出编号412对应模板库中第4行第12个基本表情基底图像，即左眼睁开右眼闭着的三维图像。然后分别利用确定出的基本表情基底图像的矩阵与基本表情模板库中的标准人脸三维图像(图6中的中立脸)的矩阵进行差值计算，可以得到两个差值矩阵，而这两个差值矩阵即为本发明的两个差值三维图像，实际上这两个差值矩阵，记为A_exp1和A_exp2。由于基本表情基底图像中只有一个特征部位发生变化，则与标准人脸三维图像进行差值计算得到的差值矩阵可以表征该特征部位的变化。

优选地，可以按照图8所示的方法获得目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，包括以下步骤：

S41、接收选择指令。

具体地，本发明上述选择指令中携带有选中的目标表情的标识信息。

本步骤中，由于终端设备100中应用程序会向用户展示各种表情素材，当用户选择其中一个表情素材后，会向应用程序发送选择指令，同时选择指令中携带有选中的目标表情的标识信息。由此应用程序会接收到该选择指令并获知用户选择的目标表情的标识信息。需要说明的是，各个表情素材的标识信息互不相同。

S42、根据标识信息，从预先配置的表情素材库中获取标识信息对应的表情素材包。

本发明预先配置了表情素材库，该表情素材库中包含各种表情素材包，并为各素材包设置了标识信息，由此在获得用户选中的目标表情的标识信息后，即可从表情素材库中确定用户选中的目标表情的标识信息对应的表情素材包。

实际运用过程中，本发明中的表情素材包通过表情分解工具对人脸上的各种表情进行了脸部特征分解，由此可以得到各种素材下实现该表情时各个特征部位分别对应的变形参数及实现该表情的各个特征部位对应的基本表情基底图像，并将实现该表情的基本表情基底图像的编号和变形参数值以变形参数序列形式存储。例如，利用表情分解工具对人脸上左眼睁开右眼闭着且嘴巴张大的表情进行脸部特征分解，可以得到实现该表情的基本表情基底图像为编号28和编号412对应的基本表情基底图像，则确定出这两个基本表情基底图像的变形参数值，然后将编号和变形参数值以序列形式进行存储，并将变形参数序列存储到表情素材包中并进行命名，该命名即为该表情的标识信息。

S43、从标识信息对应的表情素材包中解析出目标表情中各个特征部位分别对应的变形参数。

其中，本发明中的表情素材包中包含至少一个目标表情。

本步骤中，基于步骤S42获得步骤S41中标识信息对应的表情素材包后，即可解析出用户选择的目标表情中各个特征部位分别对应的变形参数。若表情素材包中包含多个目标表情，则针对每一个目标表情均执行本发明上述步骤S11～S13所示的流程生成具有该目标表情的人脸三维图像。

S32、将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的目标表情的表情偏移项融合到目标人脸三维图像中。

通过执行步骤S31～S32所示的流程，即可将用户选择出的目标表情添加到人脸三维图像中，本发明在人脸三维图像中添加表情，使得得到的具有表情的人脸三维图像的仿真度更高。

具体地，可以按照图9所示的方法执行步骤S32，可以包括以下步骤：

S51、对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到目标表情的表情偏移项。

本步骤中，对选择出的目标表情中各个特征部位分别对应的变形参数和基于目标表情中各个特征部位分别对应的基本表情基底图像确定出的差值三维图像进行加权求和处理，得到表情偏移项。

具体地，在基于步骤S31确定出目标表情为左眼睁开右眼闭着且嘴巴张开的两个差值三维图像后，再利用目标表情嘴巴张开和左眼睁开右眼闭着分别对应的变形参数值，记为p_exp1和p_exp2，由此进行加权求和处理即可得到该目标表情的表情偏移项，表示为：A_exp1＊p_exp1+A_exp2＊p_exp2。

S52、将表情偏移项融合到目标人脸三维图像中。

具体地，在步骤S51确定出表情偏移项后，若基于步骤S23中重构的目标人脸三维模型中不包含目标人脸二维图像中的表情，即∑A_exp＊p_exp为零矩阵，则将上述表情偏移项与步骤S23得到的目标人脸三维图像进行求和处理，即可以得到具有用户选择的目标表情的目标人脸三维图像；若基于步骤S23中重构的目标人脸三维模型中包含目标人脸二维图像中的表情，则利用步骤S51确定出的表情偏移项替换步骤S23中的表情偏移项，由此即可得到一帧具有用户选择的目标表情的人脸三维图像。

较佳地，由于人脸的表情是逐步变化的，并不是一下子到最终定格的那个表情，例如，向用户呈现的是图1a所示的眼睛睁开状态，而眼睛睁开也是从开始闭眼逐步变化半睁开再逐步变化到图1a所示的眼睛的睁开状态。为了使得呈现给用户的表情不是一帧最终定格的表情，而是遵循人体生理特性，动态变化至最终定格的表情，更加符合用户的视觉体验，本发明中可以将变形参数序列中包含的同一个基本表情基底图像表征的特征部位对应的变形参数值p_exp为设置多个值，如嘴巴张开对应的变形参数值设置为0,0.2,0.4,0.5，这样按照步骤S51可以得到多个表情偏移项，从而可以得到多帧带有目标表情的目标人脸三维图像，实现了表情在目标人脸三维图像上的动态变化，更加保证了添加的表情的仿真度。较佳地，也可以只设置一个最终定格的表情的变形参数值，例如p_exp＝0.6，然后在实施步骤S51确定表情偏移项时，可以在0～0.6之间自动选择几个值来确定表情偏移项，由此同样可以得到多帧带有目标表情的目标人脸三维图像，实现了表情在目标人脸三维图像上的动态变化，同样保证了添加的表情的仿真度。

更进一步地，用户选择的素材表情还可以为多个目标表情组合得到的，例如先眨眼---张嘴---闭眼---撇嘴等，这样从用户选择的目标表情的标识信息对应的表情素材包中解析出的变形参数序列则包含能够实现上述各个目标表情中各个特征部位对应的变形参数值和各个特征部位分别对应的基本表情基底图像，然后按照步骤S31～S32的流程依次生成分别带有眨眼、张嘴、闭眼和撇嘴的连续的多帧目标人脸三维图像。

需要说明的是，基于上述描述生成的多帧带有目标表情的目标人脸三维图像，在向用户展示时若设置了各帧目标人脸三维图像的播放时间间隔非常小，例如以人眼无法识别时间间隔播放每一帧目标人脸三维图像，则会形成带有目标表情的动态人脸三维图像。

本发明提供的上述人脸三维图像生成方法，对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；并分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的目标表情的表情偏移项融合到目标人脸三维图像中，从而可以得到具有目标表情的目标人脸三维图像。基于目标人脸二维图像重构得到目标人脸三维图像，由于人脸本就是三维立体的，这样在目标人脸三维图像中添加选择的目标表情，使得得到的带有目标表情的目标人脸三维图像中的表情的仿真度更高。此外，通过利用用户选择的目标表情对应的基本表情模板库中的基本表情基底图像合成目标表情的表情偏移项，然后将目标表情的表情偏移项融合到目标人脸三维图像上，使得得到的具有目标表情的目标人脸三维图像上的表情更加自然且更像目标人脸自发产生的目标表情。

本发明采用步骤S31～S32得到的具有目标表情的目标人脸三维图像是直接在基于目标人脸二维图像重构的目标人脸三维图像上添加目标表情，这样得到的具有目标表情的目标人脸三维图像虽然能够展示出目标表情要表达的意思，但可能不太符合用户选择的目标表情素材所属的风格，如用户期望在一张中国人脸上添加美国风的目标表情，利用步骤S31～S32的方法得到的目标人脸三维图像会展示用户选择的目标表情，但这张目标人脸三维图像中的人脸还是具有中国风带有目标表情的人脸，可能没有表达出美国风格。

此外，现有技术中通常需要设计师设计所有的blendshapes，或者采用专业的采集设备采集所有的表情，由于blendshapes全部由设计师来设计，会造成设计成本非常大，导致3D模型创建成本极高；另外通过人脸实时跟踪方式理由采集设备来采集所有表情，成本同样非常高且对采集环境要求极高，便捷性较差。

为了解决上述问题，本发明提出还可以采用图10所示的流程执行步骤S13，使得生成的目标人脸三维图像既具有用户选择的目标表情，也能表达出用户选择的目标表情的风格，该具有目标表情的目标人脸三维图像生成方法可以包括以下步骤：

S61、对目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合和添加纹理处理，得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像。

其中，本发明提供的基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像。

本步骤中，在利用步骤S11和S12重建目标人脸三维图像后，通过执行步骤S71旨在获得具有用户选择的目标表情所属风格的，也即具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像。由于标准人脸三维图像是根据用户选择的目标表情的素材从风格化素材库中，从用户选择的素材对应的基本表情模板库中提取出的该素材的标准人脸三维图像，故将重构的目标人脸三维图像与标准人脸三维图像进行融合和添加纹理处理后，可以得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，这样得到的人脸三维图像具有用户选择的素材的风格，如用户选择的素材的美国风的目标表情，则通过执行步骤S61，使得得到的人脸三维图像具有美国风，然后在此基础上添加目标表情，使得最终得到的目标人脸三维图像既具有目标表情，又具有目标表情素材所属的风格。

较佳地，可以按照图11a所示的方法对目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合处理，包括以下步骤：

S71、根据目标人脸三维图像中用于表征目标人脸特征部位的每一特征点，以及标准人脸三维图像中与该特征点处于相同位置的特征点，利用预设算法确定该特征点和所述与该特征点处于相同位置的特征点之间的融合点。

具体地，目标人脸三维图像中1000个三维特征点可以构成1900多个三角形，参考图11b所示，这样以便利用开放图形库(Open Graphics Library，OpenGL)等后续GPU的渲染。

具体实施时，在用户选定目标表情素材后，会从风格化素材库中存储的各个素材的基本表情模板中确定用户选择的素材对应的基本表情模板库，然后从确定出的基本表情模板库中提取标准人脸三维图像。然后将重构的目标人脸三维图像与提取出的标准人脸三维图像进行融合，在融合处理之前，要求目标人脸三维图像与标准人脸三维图像在同一尺度下，若不在同一尺度下，则将目标人脸三维图像转换到标准人脸三维图像的尺度，然后再做融合处理。具体地，由于目标人脸与标准人脸的凹度、胖瘦等情况不完全一致，因此需要根据配置信息中的融合程度将目标人脸三维图像与标准人脸三维图像进行融合。本发明纵的配置信息也存储在风格化素材库中，不同素材对应不同的配置信息。

较佳地，本发明中进行融合处理的预设算法可以但不限于包括：基于控制点集的移动最小二乘的图像变形算法(Image Deformation Using Moving Least Squares，MLS)、仿射变换和图像扭曲算法等。

具体地，以MLS算法为例进行说明，参考图11c所示的MLS算法示意图为例进行说明，图11c中左图可以理解为目标对象的三维图像，右图可以理解为标准对象的三维图像；图11c中两个对象上的特征点构成控制点集，其中，处于同一位置的点为一对控制点，即图11c中7对控制点构成控制点集，然后基于该控制点集利用移动最小二乘算法将图11c中的两个对象融合成一个对象，参考图11d所示的融合得到的对象的效果示意图。采用上述预设算法的目的是，使得目标人脸三维图像上的特征点和表征人脸三维图像上的特征点均趋向于融合点。

基于上述原理，假设目标人脸三维图像为图12a，标准人脸三维图像为图12b，融合后的目标人脸三维图像为图12c所示，图12a与图12b在同一尺度下。基于步骤S11得到的1000个特征点，以本发明中图12a所示的目标人脸三维图像与图12b所示的标准人脸三维图像均有1000个点为例进行说明，将图12a中每一特征点和图12b中与该特征点处于相同位置的特征点构成一对特征点，由此可以得到1000对特征点，将这1000对特征点作为控制点构成控制点集，然后基于这个控制点集及融合程度，利用最小二乘算法进行图像融合处理，可以得到同一位置的特征点对应的融合点，同样也可以得到图12a中除特征点以外的点的融合点。

S72、基于各个特征点确定出的融合点构造融合后的目标人脸三维图像。

具体地，基于步骤S71得到的融合点，即可构造出图12c所示的融合后的目标人脸三维图像，而得到的融合后的目标人脸三维图像具有标准人脸三维图像所属的风格，更能满足用户的实际需求。

实际上，由于步骤S71～S72利用没有肤色的目标人脸三维图像和标准人脸三维图像来得到融合后的人脸三维图像，也即得到的融合后的人脸三维图像应该是一个空的网格，即没有填上目标人脸的皮肤等“颜色”，只是图12a～图12c给出的是对融合后的人脸三维图像添加纹理后带肤色的目标人脸三维图像。由于融合后的人脸三维图像不具有肤色，类似图11b所示图像，故本发明可以通过执行图13所示的流程对目标人脸三维图像与基本表情模板库中标准人脸三维图像进行添加纹理处理，为融合后的人脸三维图像添加肤色，即给融合后的人脸三维图像的网格的每一个三角形填上用户的皮肤，可以包括以下步骤：

S81、对目标人脸二维图像进行肤色均衡和展开处理，得到三维纹理图像。

本步骤中，将目标人脸二通图像进行肤色均衡，以去掉由于光线等原因造成的阴影等效果。具体地，可以通过一个独立的光源检测模块来实现。

具体实施时，先确定出目标人脸二维图像均衡后的肤色，用RGB表示，然后将目标人脸二维图像划分成各个区域，分别将各个区域的皮肤与均衡后的平均肤色进行比较，确定出亮于平均肤色的区域和暗于平均肤色的区域，从而推算出光源的类型，例如是面光源还是点光源，基于上述结果，可以对目标二维图像进行肤色均衡，即在亮的区域进行去光操作，在暗的区域进行补光和/或去阴影操，从而得到均衡后的目标人脸二维图像。

当然，还可以采用深度学习算法，通过搜集人脸在不同指定光照情况下的人脸效果图，然后将人脸效果图和光照情况作为深度学习的卷积神经网络(ConvolutionalNeural Network，CNN)的训练数据，训练出用于确定光源及其位置的CNN卷积神经网络模型，基于该模型可以确定出给定图片的输出光照的位置，即光源的位置。在获取到光源信息后，就需要在模型所在空间的对应位置放置上推算出的光源，以便在渲染3D模型时带上光源的效果。

基于上述方法，可以得到均衡后的目标人脸二维图像，然后将其作展开处理，以得到目标人脸的三维纹理图像。

S82、基于人脸对称性原则，对三维纹理图像进行纠正和纹理补充处理，得到处理后的三维纹理图像。

本步骤中，基于目标人脸三维图像和标准人脸三维图像上的三角形具有一一对应关系，而获取的目标人脸二维图像可能因拍摄角度问题导致目标人脸二维图像中的人脸可能是侧脸。故基于上述对应关系和人脸对称性原则，对目标人脸的三维纹理图像进行纠正和补充处理，例如标准人脸三维图像和最终输出展示的目标人脸三维图像都应该是正脸，而用户拍摄的目标二维人脸图像中的人脸是侧脸，就需要根据脸部对称的位置将缺失的三角形面片补全。考虑到完全针对人脸区域的，如果目标人脸某些区域完全没有数据，则可以通过设置目标人脸的平均肤色来填充这个三角形区域，从而得到针对目标人脸处理后的三维纹理图像。

S83、对处理后的三维纹理图像和标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像。

通过将步骤S82得到的处理后的三维纹理图像和标准人脸三维图像对应的三维纹理图像进行融合处理，即可得到既具有目标人脸纹理特征又具有标准人脸纹理特征的目标人脸三维纹理图像。

具体地，可以按照图14所示的方法执行步骤S83，包括以下步骤：

S91、针对处理后的三维纹理图像中任一点，确定标准人脸三维图像对应的三维纹理图像中与该点处于相同位置的点。

本步骤中，还以三维纹理图像上的1000个点为例进行说明，本步骤旨在对1000个点组成的1900多个三角形中的每一个三角形面片设置颜色进行融合。

S92、利用该点的像素值、所述与该点处于相同位置的点的像素值和该标准人脸所属风格对应的融合程度，确定该点融合后的像素值。

本步骤中，假设目标人脸三维纹理图像上该点的像素值表示为：UserB，UserG，UserR；标准人脸对应的三维纹理图像上与该点处于同一位置的点的像素值表示为：ResourceB，ResourceG，ResourceR，融合后的像素值表示为：TargetB，TargetG，TargetR。以该标准人脸所属风格对应的融合程度为alpha1为例进行说明，则融合后的像素值分别由下述公式计算得到：

TargetB＝(1.0-alpha1)*UserB+alpha1*ResourceB；

TargetG＝(1.0-alpha1)*UserG+alpha1*ResourceG；

TargetR＝(1.0-alpha1)*UserR+alpha1*ResourceR；

需要说明的是，公式中的融合程度alpha1取值范围为0～1，其具体值可以根据实际情况而定，本发明在此不对其值进行限定。

S93、基于各个点确定出的融合后的像素值，得到融合后的目标人脸三维纹理图像。

基于上述公式，可以基于处理后的三维纹理图像和标准人脸对应的三维纹理图像中每一点的像素值，确定出融合后的像素值，进而得到融合后的目标人脸三维纹理图像。

S84、将融合后的目标人脸三维纹理图像添加到融合后的目标人脸三维图像上。

在基于步骤S91～S93所示的流程即可得到融合后的目标人脸三维纹理图像，从而可以将融合后的目标人脸三维纹理图像添加到步骤S72得到的融合后的目标人脸三维图像上，即可得到基于标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，从而使得该目标人脸的人脸三维图像既具有用户选择的素材的标准人脸的外形风格，也具有目标人脸自身的外形，同时还具有目标人脸和标准人脸的纹理融合后的纹理，也即步骤S84得到的人脸三维图像既像目标人脸又具有标准人脸的风格。

S62、根据具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库。

在步骤S61中已获取到具有目标人脸的正脸且具有目标表情所属风格的人脸三维图像，为了使得目标人脸三维图像上具有用户选择的目标表情，故需要执行步骤S62所示流程，以获得目标人脸的基本表情模板库，即该基本表情模板库中包含目标人脸的各个基本表情的基本表情基底模板，参考图15a所示，图15a给出了逼真风格下目标人脸的迁移样例，需要通过标准人脸的基本表情基底图像和目标人脸的人脸三维图像求得图15a中目标人脸的基本表情基底图像blendshapes，进而由求得的目标人脸的这些基本表情基底模板合成具有目标表情的目标人脸三维图像，以下详细介绍之：

具体地，在确定目标人脸的基本表情模板库时，本发明提供了两种方法，以下分别介绍之：

参考图15b所示，可以按照图15b所示的方法执行步骤S62，包括以下步骤：

S101、确定具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与标准人脸三维图像之间的差异量。

本步骤中，通过计算具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与标准人脸三维图像上每个对应点的位置差，可以得到这两个三维图像之间的差异量V。

S102、根据差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，获得目标人脸的基本表情模板库。

本步骤中，根据步骤S101得到的差异量V，对图15a中标准人脸的基本表情基底图像blendshapes进行变形，让每一个变形的blendshape能够更像目标人脸，也就求得了目标人脸的基本表情基底图像，进而将得到的目标人脸的各个基本表情基底图像构成目标人脸的脚本表情模板库。

具体地，可以按照图15c所示的方法执行步骤S102，可以包括以下步骤：

S111、针对基本表情模板库中的每一基本表情基底图像，确定该基本表情基底图像表征的特征部位的变形程度与差异量的乘积。

本步骤中，对于每一个素材中标准人脸的blendshape而言，都可以获得标准人脸三维图像与目标人脸的人脸三维图像之间的差异量V。

具体地，上述变形程度用alpha2表示，实际应用中，alpha2为可配置的值，用于表征特征部位的变形程度。alpha2越大，就越像目标人脸。需要说明的是，不同的基本表情基底图像对应的alpha2值不同。

S112、对所述乘积与该基本表情基底图像进行叠加处理，得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像。

本步骤中，基于标准人脸的基本表情模板库中每一个基本表情基底图像，可以在该基本表情基底图像上叠加alpha2*V，从而可以得到与该基本表情基底图像对应的、该目标人脸的基本表情基底图像，例如，可以在图15a标准人脸的基本表情模板库中张嘴的基本表情基底图像上叠加上述乘积，由此即可得到目标人脸的张嘴表情的基本表情基底图像，对应图15a中的需要求得的第一个基本表情基底图像。

基于上述过程，可以按照步骤S112求得目标人脸的各个基本表情基底图像。

S113、基于基本表情模板库中各个基本表情基底图像分别确定出的目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

本步骤中，在基于步骤S112求得目标人脸的各个基本表情基底图像后，再结合具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，构成了目标人脸的基本表情模板库。从而基于该目标人脸的基本表情模板库可以合成各种具有目标表情的目标人脸三维图像。

通过执行步骤S111～S113所示的流程，针对标准人脸基本表情模板库中的某一个基本表情对应的基本表情基底图像，通过顶点的位移就可以使得得到的具有该基本表情的目标人脸的基本表情基底图像更像目标人脸，并且能够把目标人脸的脸部特征都保留到了目标人脸的基本表情基底图像上，例如得到的目标人脸的基本表情基底图像保留了目标人脸的眼距或脸型等等，同时具有标准人脸三维图像所属的风格。

较佳地，除了采用步骤图15b所示的流程确定目标人脸的基本表情模板库之外，还可以按照图15d所示的流程执行步骤S62，包括以下步骤：

S121、针对标准人脸的基本表情模板库中的每一基本表情基底图像，对该基本表情基底图像与具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像进行融合和添加纹理处理，得到与该基本表情基底图像对应的、具有标准人脸三维图像所属风格的、该目标人脸的基本表情基底图像。

S122、将人脸三维图像及确定出的具有标准人脸三维图像所属风格的、该目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

步骤S121～S122中，可以直接根据标准人脸的基本表情模板库中各个基本表情基底图像和具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，生成该目标人脸的各个基本表情基底图像，从而得到目标人脸的基本表情模板库。具体地，结合图15a进行说明，针对图15a中的基本表情模板库中每一基本表情基底图像，将该基本表情基底图像与具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像(即图15a中第二行第一个图)进行融合和添加纹理处理，从而可以得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像；按照前述方法可以得到目标人脸的各个基本表情基底图像，再结合具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，构成了目标人脸的基本表情模板库。

需要说明的是，步骤S121中的融合和添加纹理处理方法可以参考图11a～图14所示的流程，在此不再详细描述。

S63、根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理。

通过执行步骤S62所示的流程获得目标人脸的基本表情模板库后，就可以通过简单的线性组合，可以在目标人脸的三维图像上合成各种目标表情。例如用户选择的目标表情为图16中等式左边的目标表情，可以通过目标人脸的基本表情模板库中的中立脸(即具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像)，叠加上模板库中各个blendshapes的线性组合，记为：B_target＝B₀+α₁*[B₁-B₀]+α₂*[B₂-B₀]+α₃*[B₃-B₀]+……+α_n*[B_n-B₀]，式中，B₀表示中立脸，即具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像；B_i表示第i个目标人脸的基本表情基底图像，i介于1～n之间，n为基本表情基底图像的个数，本发明对n的值不进行限定。

较佳地，可以按照下述过程执行步骤S62，即生成具有图16所示的目标表情的目标人脸三维图像，可以包括以下步骤：

针对目标表情中每个特征部位，确定目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像与上述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像之间的差值，得到该特征部位对应的差值三维图像。

具体地，参考步骤S31中的相关描述，当用户基于终端设备100中的应用程序用户展示各种风格的不同素材中选择一个素材，即触发选择指令，由于这些素材为预先配置的，故应用程序在接收到选择指令后，根据选择指令携带的选中的目标表情的标识信息，从表情素材库中提取用户选择的目标表情的标识信息对应的表情素材包，而该素材包中携带有实现该目标表情的各个基本表情基底图像的编号(即图16中的B₁、B₂、B₃等等)及各个基本表情基底图像分别表征的特征部位的变形参数值(即图16中的α₁、α₂、α₃等)。

基于此，可以确定实现该目标表情的目标人脸的每一基本表情基底图像与目标人脸的人脸三维图像之间的差值，从而得到该基本表情基底图像表征的特征部位对应的差值三维图像，也就是得到了图16中的[B_i-B₀]。

S64、将基于变形参数对目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的目标表情的表情偏移项融合到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

通过执行步骤S63～S64所示的流程，即可将用户选择的目标表情添加到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像上，使得最终得到的具有目标表情的目标人脸三维图像既具有标准人脸三维图像所属风格，又能生动形象地表达出目标表情，更能满足用户的实际需求。

具体地，可以按照下述过程执行步骤S64，包括：

步骤一：对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到目标表情的表情偏移项。

本步骤中，对选择出的目标表情中各个特征部位分别对应的变形参数和基于目标表情中各个特征部位分别对应的、利用步骤S63中得到的差值三维图像代入到步骤S63中描述的线性组合公式中，即可得到图16所示的表情偏移项。

步骤二：将表情偏移项融合到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

基于步骤一中得到的表情偏移项，再结合具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像(图16中的中立脸)进行求和处理，即可得到图16中等式左边的具有目标表情---笑脸的目标人脸三维图像。

这样，通过在具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像上添加目标表情，使得得到的具有目标表情的目标人脸三维图像更生动形象。

较佳地，在执行步骤61之前，还可以包括下述过程：

确定未基于上述标准人脸三维图像生成目标人脸的基本表情模板库。

具体地，由于实际应用中同一素材可能会包含不止一个表情素材包，当用户基于目标人脸已预先选择了该素材下的一个表情后，终端设备100已基于该素材生成了目标人脸的基本表情模板库，当用户再次选择该素材下的其他表情时，若再执行一次目标表情的基本表情模板库生成方法会浪费处理资源，故为了避免处理资源的浪费，在执行步骤S61之前，可以先判断是否已基于标准人脸三维图像生成目标人脸的基本表情模板库，若已生成，则直接执行步骤S63和S64生成具有目标表情的目标人脸三维图像；若未生成则执行步骤S61～S64所示的过程生成具有目标表情的目标人脸三维图像。

至此，通过执行步骤S11～S12和步骤S61～S64所示的流程，可以先生成具有用户选择的素材中标准人脸三维图像所属风格的、目标人脸的人脸三维图像，然后基于该人脸三维图像和标准人脸三维图像及标准人脸的基本表情模板库生成目标人脸的基本表情模板库，然后基于目标人脸的基本表情模板库合成目标表情，然后添加到具有用户选择的素材中标准人脸三维图像所属风格的、目标人脸的人脸三维图像，从而得到具有目标表情的目标人脸三维图像。采用上述方法得到的目标人脸三维图像既具有用户选择的素材的风格且更像目标人脸，同时目标人脸三维图像上的目标表情更加生动形象，更能够达到用户的实际需求。同时采用上述方法，不需要设计师对每个用户均设计blendshapes，也大大降低了设计师的工作量，使得风格化的实现门槛大大降低。

优选地，通过实施本发明上述提供的人脸三维图像生成方法，除了生成具有目标表情的目标人脸三维图像外，还可以利用本发明提供的方法模拟所有的表情，适用于一些虚拟电话会议，VR，AR场景的卡通人物的场景，或者是教育陪伴孩子的场景。

为了更好地应用本发明提供的人脸三维图像生成方法，可以在向用户展示基于本发明提供的人脸三维图像生成方法生成的具有目标表情的目标人脸三维图像的同时，播放该目标表情对应的语音信息，由此可以使得展示给用户的是一个包含语音信息的动态人脸三维图像，这样既向用户展示了带有表情的人脸三维图像，还向用户展示了每一帧人脸三维图像对应的语音信息，不仅生动形象而且带有语音播放功能更增加了动态人脸三维图像的实用性。具体可以按照图17所示的方法获得目标视频文件，即生成包含语音信息的动态三维人脸图像：

S131、从接收到的选择指令中携带的目标表情的标识信息对应的表情素材包中解析出目标音频文件，其中，目标音频文件包括多个音频段，且预先根据每个音频段的语音特征，为每一音频段配置相应的目标表情。

本步骤中，为了更好地提高本发明提供的人脸三维图像生成方法的应用范围，本发明中可以在表情素材包中存储目标音频文件，而该目标音频文件为预先配置的。

具体地，本发明在配置各种表情素材包时，还会在每一个表情素材包中配置音频文件，用户选择一个表情素材包后，即触发选择指令，该选择指令也为图8中的选择指令，且该素材包中的表情即为本发明中的目标表情，同样该素材包中的音频文件即为本发明中的目标音频文件。例如，在生成表情素材包的过程中，先事先定义好一个音频文件，比如说“我是中国人”，运营人员通过提供的表情分解工具，对着相机和麦克风说出“我是中国人”这句话，表情分解工具会把运营人员在对着相机说出这句话时脸部特征进行分解以得到运营人员说出每一个字时的表情对应的发生改变的各个特征部位分别对应的基本表情基底图像的编号和各个特征部位对应的变形参数值并保存到变形参数序列中，将音频文件划分成多个音频段，例如音频文件“我是中国人”，可以将每一个文字的发音作为一个音频段，而音频段“我”发生变化的特征部位应该是嘴巴，而嘴巴对应的基本表情基底图像应该是一个嘴巴张开的基本表情基底图像，由此可以确定出用于表征“我”的基本表情基底图像的标识(如编号)，至于张开程度可以根据运营人员实际说出“我”时的嘴巴张开程度来定，从而可以确定出音频段“我”的基本表情基底图像的标识和变形参数值，同理可以得到其他文字对应的音频段的基本表情基底图像的标识和变形参数值。同时将“我是中国人”的音频文件和基于“我是中国人”分解得到的变形参数序列存储到运营人员展示的表情的表情素材包中。需要说明的是，运营人员可以利用不同的表情说出“我是中国人”这句话，从而可以得到包含该“我是中国人”的音频文件的多个表情素材包，但由于表情是不一样的，由此得到的表情素材包也是不同的。也就是说一个音频文件可以对应多个表情素材包，如夸张的、滑稽的、正常的、幽默的和小清新的表情等等，由于表情不同其对应的表情的标识信息也是不同的，为了能够找到用户选择的目标表情及目标音频文件，在选择指令中携带用户选择的目标表情的标识信息，由此可以基于用户选择的表情准确找到该表情的标识信息对应的表情素材包。

S132、针对每一个目标表情，将目标人脸视为播音者而获得目标人脸的、具有目标表情的目标人脸三维图像。

S133、根据多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，并将目标音频文件拟合到目标视频文件中。

步骤S132～S133中，基于上述配置的表情素材包，当用户选择目标表情后，可以按照图8所示的流程找到用户选择的目标表情对应的表情素材包，从而基于该表情素材包不仅可以获得变形参数序列，还可以获得表情素材包中的目标音频文件，获得的目标音频文件与变形参数序列对应，从而可以按照图4所示的流程得到将上述目标人脸视为播音者而获得目标人脸的、具有目标表情的目标人脸三维图像。然后基于获取到的目标音频文件，根据上述多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，不仅包含目标表情还能播放目标音频文件。例如，用户选择的目标表情对应的目标音频文件为“我是中国人”，则从目标表情对应的表情素材包中解析出的变形参数序列中获得音频段“我”对应的基本表情基底图像的标识和变形参数值，基于此可以得到音频段“我”对应的表情的目标人脸三维图像，同理可以确定其他音频段对应的目标表情的目标人脸三维图像，再根据“我是中国人”对应的多个音频段的排列顺序，获得由上述确定的具有目标表情的目标人脸三维图像组合成的目标视频文件，然后将“我是中国人”的目标音频文件拟合到目标视频文件中。在向用户展示包含目标视频文件“我是中国人”的动态人脸三维图像时，在展示出“我”的目标人脸三维图像的同时会伴有“我”的语言播出效果。至此，实现了基于一张人脸二维图像得到了一张具有表情的人脸三维图像并带有说话的效果，即让一张图片上的人脸拥有动起来的表情并说话的效果。

利用本发明提供的人脸三维图像生成方法生成的包含具有目标表情的目标人脸三维图像的目标视频文件，在现实生活中有着很多的应用场景，尤其在教育、展览和宣传方面有着很强的应用需求，例如让古代的皇帝叙述自己朝代的历史；让诗人念出自己的诗句，这样一来可以让大家在欢笑中获取历史知识，且增进了对古代先贤的亲切感。此外，本发明提供的方法还可以应用到日常生活中，利用本发明提供的方法给亲朋好友做一套表情包，提供了一种很好的社交方式，促进了彼此的感情。

较佳地，若本发明中的目标表情为嘴巴张开，则为了保证人脸在张嘴时的效果，需要给目标人脸三维图像中附加上空腔和牙齿，使得目标人脸在张嘴时，嘴巴内部拥有正确的结构和纹理。本发明提供的带有空腔的牙齿的三维效果图参考图18所示，具体可以按照图19a所示的流程在具有目标表情的目标人脸三维图像中嘴巴处于张开状态时将带有空腔的牙齿嵌入到嘴巴相应位置处，包括以下步骤：

S141、确定嘴巴张开程度及人脸旋转角度。

S142、根据嘴巴张开程度和人脸旋转角度，确定牙齿在嘴巴中的位置信息和牙齿张开程度。

S143、根据牙齿张开程度调整牙齿模型，使得调整后的牙齿模型的牙齿张开程度与确定出的牙齿张开程度匹配。

S144、将调整后的牙齿模型嵌入到具有嘴巴张开表情的目标人脸三维图像中嘴巴的相应位置处。

基于图19a所示的流程可以在目标人脸三维图像中表情为嘴巴张开时，将带有空腔的牙齿安放到嘴巴中相应位置处，从而使得嘴巴内部拥有正确的结构和纹理，图19b和图19c给出了图1a中的目标人脸在嘴巴处于不同张开程度时按照图19a所示的流程牙齿在嘴巴中的效果示意图。

本发明提供的人脸图像生成方法，通过将目标表情对应的目标音频文件合成到由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件中，使得在向用户展示带有目标表情的目标人脸三维图像的同时播放目标音频文件，不仅生动形象而且带有语音播放功能更增加了动态人脸三维图像的实用性。

基于同一发明构思，本发明实施例还提供了一种图像处理方法，该方法可以应用到图像处理应用程序中，当应用程序接收到用户上传的一张人脸二维图像后，可以按照本发明提供的人脸三维图像生成方法对用户上传的人脸二维图像进行图像处理，得到具有表情的人脸三维图像。

基于同一发明构思，本发明实施例还提供了一种即时通信方法，该方法可以应用到即时通信应用程序中，如QQ或者微信应用程序，可以在即时通信应用程序中嵌入本发明提供的人脸三维图像生成方法，也可以通过设置接口调用设置有本发明提供的人脸三维图像生成方法的应用程序来生成具有表情的人脸三维图像。

基于同一发明构思，本发明实施例中还提供了一种人脸三维图像生成装置，由于上述装置解决问题的原理与人脸三维图像生成方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图20a所示，为本发明实施例提供的人脸三维图像生成装置的结构示意图，包括：

获得单元151，用于对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；

重构单元152，用于根据获得单元151获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；

生成单元153，用于根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

较佳地，生成单元153，具体用于分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，其中，基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的目标表情的表情偏移项融合到目标人脸三维图像中。

可选地，生成单元153，具体用于针对目标表情中每个特征部位，确定该特征部位对应的基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；以及

生成单元153，还用于对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到目标表情的表情偏移项；以及将表情偏移项融合到目标人脸三维图像中。

优选实施方式中，生成单元153，具体可以用于对目标人脸三维图像与标准人脸的基本表情模板库中标准人脸三维图像进行融合和添加纹理处理，得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；根据具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库；根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理；将基于变形参数对目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的目标表情的表情偏移项融合到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

进一步地优选实施方式中，生成单元153，具体可以用于确定具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与标准人脸三维图像之间的差异量；根据差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，确定目标人脸的基本表情模板库。

优选地其他实施方式中，生成单元153，具体可以用于针对标准人脸的基本表情模板库中的每一基本表情基底图像，对该基本表情基底图像与具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像进行融合和添加纹理处理，得到与该基本表情基底图像对应的、具有标准人脸三维图像所属风格的、该目标人脸的基本表情基底图像；将人脸三维图像及确定出的具有标准人脸三维图像所属风格的、该目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

相应的可选实施方式中：

生成单元153，具体还可以用于根据目标人脸三维图像中用于表征目标人脸特征部位的每一特征点，以及标准人脸三维图像中与该特征点处于相同位置的特征点，利用预设算法确定该特征点和与该特征点处于相同位置的特征点之间的融合点；基于各个特征点确定出的融合点构造融合后的目标人脸三维图像。

生成单元153，具体还可以用于对目标人脸二维图像进行肤色均衡和展开处理，得到三维纹理图像；并基于人脸对称性原则，对三维纹理图像进行纠正和纹理补充处理，得到处理后的三维纹理图像；对处理后的三维纹理图像和标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像；并将融合后的目标人脸三维纹理图像添加到融合后的目标人脸三维图像上。

生成单元153，具体还可以用于针对处理后的三维纹理图像中任一点，确定标准人脸三维图像对应的三维纹理图像中与该点处于相同位置的点；利用该点的像素值、与该点处于相同位置的点的像素值和该标准人脸所属风格对应的融合程度，确定该点融合后的像素值；基于各个点确定出的融合后的像素值，得到融合后的目标人脸三维纹理图像。

生成单元153，具体还可以用于针对基本表情模板库中的每一基本表情基底图像，确定该基本表情基底图像表征的特征部位的变形程度与差异量的乘积；并对乘积与该基本表情基底图像进行叠加处理，得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像；基于基本表情模板库中各个基本表情基底图像分别确定出的目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

生成单元153，具体还可以用于针对目标表情中每个特征部位，确定目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像与具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；

生成单元153，还用于对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到目标表情的表情偏移项；将表情偏移项融合到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

在一种实施方式中，人脸三维图像生成装置还可以包括图20b所示的确定单元154，其中：

确定单元154，用于在生成单元153对目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合和添加纹理处理之前，确定未基于标准人脸三维图像生成目标人脸的基本表情模板库。

较佳地，本发明提供的预设算法至少包括以下一种：基于控制点集的移动最小二乘的图像变形算法、仿射变换和图像扭曲算法。

优选地，本发明提供的标准人脸三维图像为根据用户从风格化素材库中选择出的任一素材，从该素材对应的基本表情模板库中提取出的，其中，不同素材对应不同的基本表情模板库。

在一种实施方式中，人脸三维图像生成装置还可以包括图20c所示的第一处理单元155，其中：

第一处理单元155，用于按照下述方法获得目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数：接收选择指令，选择指令中携带有选中的目标表情的标识信息；并根据标识信息，从预先配置的表情素材库中获取标识信息对应的表情素材包；并从标识信息对应的表情素材包中解析出目标表情中各个特征部位分别对应的变形参数，其中，表情素材包中包含至少一个目标表情。

优选地，第一处理单元155，还用于从接收到的选择指令中携带的目标表情的标识信息对应的表情素材包中解析出目标音频文件，其中，目标音频文件包括多个音频段，且预先根据每个音频段的语音特征，为每一音频段配置相应的目标表情；并针对每一个目标表情，将目标人脸视为播音者而获得目标人脸的、具有目标表情的目标人脸三维图像；根据多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，并将目标音频文件拟合到目标视频文件中。

需要说明的是，本发明中的确定单元154和第一处理单元155可以同时存在，也可以只存在一个，具体可以根据实际情况而定。

较佳地，重构单元152，具体用于根据各个特征部位的特征信息，确定特征信息表征的特征部位对应的特征部位图像模板及模板权重；并对各个特征部位分别对应的特征部位三维图像模板及模板权重进行加权求和处理得到目标人脸的身份偏移项；对身份偏移项和均值三维图像进行求和处理，重构目标人脸三维图像，所示均值三维图像为根据历史得到的人脸三维图像确定出的。

在一种实施方式中，人脸三维图像生成装置还可以包括图20d所示的第二处理单元156，其中：

第二处理单元156，用于若表情为嘴巴张开，则确定嘴巴张开程度及人脸旋转角度；根据嘴巴张开程度和人脸旋转角度，确定牙齿在空腔中的位置信息和牙齿张开程度；根据牙齿张开程度调整牙齿模型，使得调整后的牙齿模型的牙齿张开程度与确定出的牙齿张开程度匹配；并将调整后的牙齿模型嵌入到具有嘴巴张开表情的人脸三维图像中嘴巴的相应位置处。

需要说明的是，本发明中的确定单元154、第一处理单元155和第二处理单元156这三个单元可以同时存在，也可以只存在任两个，也可以只存在一个，具体可以根据实际情况而定。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

基于同一技术构思，本申请实施例还提供了一种终端设备160，参照图21所示，终端设备160用于实施上述各个方法实施例记载的人脸三维图像生成方法，例如实施图4所示的实施例，终端设备160可以包括存储器161、处理器162和显示面板163。

存储器161，用于存储处理器162执行的计算机程序。存储器161可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端设备160的使用所创建的数据等。处理器162，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。所述显示面板163，用于显示由用户输入的信息或提供给用户的信息，本申请实施例中，显示面板163主要用于显示终端设备中各应用程序的显示界面以及各显示界面中显示的控件对象。可选的，显示面板163可以采用液晶显示器(liquid crystal display，LCD)或OLED(organic light-emitting diode，有机发光二极管)等形式来配置显示面板163。

本申请实施例中不限定上述存储器161、处理器162和显示面板163之间的具体连接介质。本申请实施例在图21中以存储器161、处理器162、显示面板163之间通过总线164连接，总线164在图21中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线164可以分为地址总线、数据总线、控制总线等。为便于表示，图21中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器161可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器161也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器161是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器161可以是上述存储器的组合。

处理器162，用于实现如图4所示的一种人脸三维图像生成方法，处理器162，用于调用所述存储器161中存储的计算机程序执行如图4中所示的步骤S11～S13的过程。

图21中的终端设备160仅给出了基本的结构，若需要终端设备160具有更多的功能，则终端设备160更进一步的具体结构可以参照图2，其中，本发明中需要终端设备160与用户进行交互并向用户展示具有表情的人脸三维图像，则可以在终端设备160中除了设置显示面板外，还设置显示单元和输入单元；若需要终端设备160与其他设备进行交互，则还需要有通信模块，如无线图像模块或移动通信模块等等。当然，还可以在终端设备160中设置其他功能的单元或模块，具体可以根据实际情况而定。

本申请实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本发明提供的人脸三维图像生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的人脸三维图像生成方法中的步骤，例如，所述计算机设备可以执行如图4所示的步骤S11～S13中人脸三维图像生成流程。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式的用于人脸三维图像生成方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (15)

1.一种人脸三维图像生成方法，其特征在于，包括：

对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；

根据获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；并

根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

2.如权利要求1所述的方法，其特征在于，根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，具体包括：

分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，其中，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；

将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述目标人脸三维图像中。

3.如权利要求2所述的方法，其特征在于，分别根据目标表情中每个特征部位对应的变形参数，对标准人脸的基本表情模板库中，该特征部位的基本表情基底图像进行变形处理，具体包括：

针对目标表情中每个特征部位，确定该特征部位对应的基本表情基底图像与标准人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；以及将基于变形参数对各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述目标人脸三维图像中，具体包括：

对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；以及

将所述表情偏移项融合到所述目标人脸三维图像中。

4.如权利要求1所述的方法，其特征在于，根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，具体包括：

对所述目标人脸三维图像与标准人脸的基本表情模板库中标准人脸三维图像进行融合和添加纹理处理，得到具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像，所述基本表情模板库包括标准人脸三维图像，以及根据每一种基本表情中各个特征部位的基本变形参数，分别以标准人脸三维图像为模板对标准人脸的特征部位进行基本变形处理而获得的基本表情基底图像；

根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库；

根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理；

将基于变形参数对所述目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

5.如权利要求4所述的方法，其特征在于，根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库，具体包括：

确定具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像与所述标准人脸三维图像之间的差异量；

根据所述差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，确定所述目标人脸的基本表情模板库。

6.如权利要求4所述的方法，其特征在于，根据所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像和标准人脸的基本表情模板库，确定目标人脸的基本表情模板库，具体包括：

针对标准人脸的基本表情模板库中的每一基本表情基底图像，对该基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像进行融合和添加纹理处理，得到与该基本表情基底图像对应的、具有标准人脸三维图像所属风格的、该目标人脸的基本表情基底图像；

将所述人脸三维图像及确定出的具有标准人脸三维图像所属风格的、该目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

7.如权利要求4所述的方法，其特征在于，对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行融合处理，具体包括：

根据所述目标人脸三维图像中用于表征目标人脸特征部位的每一特征点，以及所述标准人脸三维图像中与该特征点处于相同位置的特征点，利用预设算法确定该特征点和所述与该特征点处于相同位置的特征点之间的融合点；

基于各个特征点确定出的融合点构造融合后的目标人脸三维图像。

8.如权利要求7所述的方法，其特征在于，对所述目标人脸三维图像与基本表情模板库中标准人脸三维图像进行添加纹理处理，具体包括：

对目标人脸二维图像进行肤色均衡和展开处理，得到三维纹理图像；并

基于人脸对称性原则，对所述三维纹理图像进行纠正和纹理补充处理，得到处理后的三维纹理图像；

对处理后的三维纹理图像和所述标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像；并

将所述融合后的目标人脸三维纹理图像添加到所述融合后的目标人脸三维图像上。

9.如权利要求8所述的方法，其特征在于，对处理后的三维纹理图像和所述标准人脸三维图像对应的三维纹理图像进行纹理融合处理，得到融合后的目标人脸三维纹理图像，具体包括：

针对处理后的三维纹理图像中任一点，确定所述标准人脸三维图像对应的三维纹理图像中与该点处于相同位置的点；

利用该点的像素值、所述与该点处于相同位置的点的像素值和该标准人脸所属风格对应的融合程度，确定该点融合后的像素值；

基于各个点确定出的融合后的像素值，得到融合后的目标人脸三维纹理图像。

10.如权利要求5所述的方法，其特征在于，根据所述差异量，分别对基本表情模板库中的各个基本表情基底图像进行变形处理，获得目标人脸的基本表情模板库，具体包括：

针对所述基本表情模板库中的每一基本表情基底图像，确定该基本表情基底图像表征的特征部位的变形程度与所述差异量的乘积；并

对所述乘积与该基本表情基底图像进行叠加处理，得到与该基本表情基底图像对应的、目标人脸的基本表情基底图像；

基于所述基本表情模板库中各个基本表情基底图像分别确定出的目标人脸的各个基本表情基底图像，构成目标人脸的基本表情模板库。

11.如权利要求5或6所述的方法，其特征在于，根据目标表情中各个特征部位分别对应的变形参数，对目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像进行变形处理，具体包括：

针对目标表情中每个特征部位，确定目标人脸的基本表情模板库中，该特征部位对应的基本表情基底图像与所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像之间的差值，得到该特征部位对应的差值三维图像；以及

将基于变形参数对所述目标人脸的各个特征部位对应的基本表情基底图像进行变形处理后得到的所述目标表情的表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中，具体包括：

对目标表情中各个特征部位对应的变形参数，及各个特征部位对应的差值三维图像进行加权求和处理，得到所述目标表情的表情偏移项；

将所述表情偏移项融合到所述具有标准人脸三维图像所属风格的、该目标人脸的人脸三维图像中。

12.如权利要求1、2或4所述的方法，其特征在于，还包括：

从接收到的选择指令中携带的目标表情的标识信息对应的表情素材包中解析出目标音频文件，其中，所述目标音频文件包括多个音频段，且预先根据每个音频段的语音特征，为每一音频段配置相应的目标表情；并

针对每一个目标表情，将所述目标人脸视为播音者而获得所述目标人脸的、具有目标表情的目标人脸三维图像；

根据所述多个音频段的排列顺序，获得由多个具有目标表情的目标人脸三维图像组合而成的目标视频文件，并将所述目标音频文件拟合到所述目标视频文件中。

13.如权利要求1所述的方法，其特征在于，若所述目标表情为嘴巴张开，则所述方法，还包括：

确定嘴巴张开程度及人脸旋转角度；

根据所述嘴巴张开程度和所述人脸旋转角度，确定牙齿在空腔中的位置信息和牙齿张开程度；

根据所述牙齿张开程度调整牙齿模型，使得调整后的牙齿模型的牙齿张开程度与确定出的牙齿张开程度匹配；并

将所述调整后的牙齿模型嵌入到具有嘴巴张开表情的目标人脸三维图像中嘴巴的相应位置处。

14.一种人脸三维图像生成装置，其特征在于，包括：

获得单元，用于对获取到的目标人脸二维图像进行人脸识别，获得用于表征目标人脸中各个特征部位的特征信息；

重构单元，用于根据所述获得单元获得的目标人脸中各个特征部位的特征信息，重构目标人脸三维图像；

生成单元，用于根据目标人脸需要具有的目标表情中各个特征部位分别对应的变形参数，对所述目标人脸三维图像的各个特征部位进行变形处理，生成具有目标表情的目标人脸三维图像。

15.一种终端设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至13任一权利要求所述的方法。