CN114219920A - 三维人脸模型的构建方法及装置、存储介质、终端 - Google Patents

三维人脸模型的构建方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN114219920A
CN114219920A CN202111527295.4A CN202111527295A CN114219920A CN 114219920 A CN114219920 A CN 114219920A CN 202111527295 A CN202111527295 A CN 202111527295A CN 114219920 A CN114219920 A CN 114219920A
Authority
CN
China
Prior art keywords
grid
expression
face
point cloud
neutral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111527295.4A
Other languages
English (en)
Other versions
CN114219920B (zh
Inventor
林炳坤
金师豪
柴金祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Movu Technology Co Ltd
Mofa Shanghai Information Technology Co Ltd
Original Assignee
Shanghai Movu Technology Co Ltd
Mofa Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Movu Technology Co Ltd, Mofa Shanghai Information Technology Co Ltd filed Critical Shanghai Movu Technology Co Ltd
Priority to CN202111527295.4A priority Critical patent/CN114219920B/zh
Publication of CN114219920A publication Critical patent/CN114219920A/zh
Application granted granted Critical
Publication of CN114219920B publication Critical patent/CN114219920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Abstract

一种三维人脸模型的构建方法及装置、存储介质、终端，三维人脸模型的构建方法包括：获取演员的N组扫描数据，N组扫描数据分别对应N个表情，N个表情至少包括中性表情；根据N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括中性表情对应的中性表情点云网格模型；根据获取的初始人脸网格与中性表情点云网格模型生成中性表情人脸网格；将获取到的基础表情网格模板进行组合，得到复合表情初始模板；针对各个其他表情，根据其他表情对应的其他表情点云网格模型、中性表情点云网格模型以及复合表情初始模板，得到复合表情网格；对复合表情网格进行表情拆分，得到演员的真实基础表情网格模板。上述方案能够提高三维人脸模型构建效率。

Description

三维人脸模型的构建方法及装置、存储介质、终端
技术领域
本发明实施例涉及三维人脸领域，尤其涉及一种三维人脸模型的构建方法及装置、存储介质、终端。
背景技术
写实人脸的制作一直是三维(3D)领域人脸制作的难点。目前通常由模型师进行人脸轮廓以及五官布局等构建，这需要模型师具备良好的美术功底、对人体解剖要有很深入的了解，此外制作周期也往往比较长，导致三维人脸模型的构建效率较低。
发明内容
本发明实施例解决的技术问题是如何提高三维人脸模型构建效率，以及缩短构建时长。
为解决上述技术问题，本发明实施例提供一种三维人脸模型的构建方法，包括：获取演员的N组扫描数据，所述扫描数据用于记录所述演员的表情，N组扫描数据分别对应N个表情，N个表情至少包括中性表情，N为大于或等于2的整数；根据所述N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型；根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格；将获取到的基础表情网格模板进行组合，得到复合表情初始模板，其中，复合表情由至少两个基础表情组成，所述基础表情网格模板至少根据所述中性表情人脸网格得到；针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板，得到复合表情网格，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情；对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板。
可选的，所述初始人脸网格采用人脸主成分分析模型得到，所述人脸主成分分析模型根据多个预设中性表情人脸网格进行主成分分析构建得到。
可选的，所述根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格，包括：步骤一：对所述中性表情点云网格模型进行空间位置转换，将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置；步骤二：从所述初始人脸网格上选取面部正面的正面点，在所述中性表情点云网格模型上寻找所述正面点的最近邻点，并将寻找到的最近邻点作为第一最近邻匹配点；步骤三：以空间位置转换后的中性表情点云网格模型为基准，约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围，求解人脸主成分分析模型的权重；步骤四：判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件，若不满足，则继续迭代步骤一至步骤三，直至得到满足收敛条件的人脸主成分分析模型的权重；步骤五：采用满足收敛条件时对应的人脸主成分分析模型的权重，计算得到所述中性表情人脸网格。
可选的，所述采用满足收敛条件的人脸主成分分析模型的权重，计算得到所述中性表情人脸网格包括：采用满足收敛条件的人脸主成分分析模型的权重，计算得到中间人脸网格；对所述中间人脸网格的设定区域的网格面进行变形，并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格，其中，所述第一约束条件为：变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围，且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围，其中，所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。
可选的，所述中间人脸网格中的变形的网格面的变化矩阵采用如下方式计算得到：根据变形前的中间人脸网格的网格面的顶点坐标以及网格面的法向量，以及变形后的中间人脸网格的网格面的顶点坐标以及网格面的法向量，计算变形的网格面的变化矩阵。
可选的，所述基础表情网格模板通过如下方式获取得到：从预设的表情数据库中获取核心矩阵以及基础表情矩阵；根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格，计算得到所述基础表情网格模板。
可选的，所述根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板，得到复合表情网格，包括：对所述其他表情点云网格模型进行空间位置转换，使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置；针对各个其他表情，分别对其他表情对应的复合表情初始模板进行变形，并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格，所述第二约束条件为：其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围，其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围，所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。
可选的，所述其他表情对应的复合表情初始模板中变形的网格面的变化矩阵，采用如下方式计算得到：根据变形前的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量，以及变形后的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量，计算复合表情初始模板中变形的网格面的变化矩阵。
可选的，所述对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板，包括：获取所述复合表情网格中各网格面的法向量矩阵；根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格，对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板；在对所述复合表情网格进行表情拆分时，在满足拆分约束条件下得到所述演员的真实基础表情网格模板，所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
可选的，所述三维人脸模型的构建方法，还包括：将得到的所述真实基础表情网格模板添加至表情数据库，更新所述表情数据库。
本发明实施例还提供一种三维人脸模型的构建装置，包括：获取单元，用于获取演员的N组扫描数据，所述扫描数据用于记录所述演员的表情，N组扫描数据分别对应N个表情，N个表情至少包括中性表情，N为大于或等于2的整数；点云网格模型构建单元，用于根据所述N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型；中性表情人脸网格构建单元，用于根据获取的初始人脸网格与所述中性表情点云网格模型，生成中性表情人脸网格；组合单元，用于将获取到的基础表情网格模板进行组合，得到复合表情初始模板，其中，复合表情由至少两个基础表情组成，所述基础表情网格模板至少根据所述中性表情人脸网格得到；复合表情网格构建单元，用于针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板，得到复合表情网格，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情；拆分单元，用于对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种三维人脸模型的构建方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种三维人脸模型的构建方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
通过获取演员的N组扫描数据，扫描数据用于记录演员的表情，通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型，N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型，生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板，将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情，根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板，得到复合表情网格，进而对复合表情网格进行拆分，得到演员的真实基础表情网格模板，从而实现三维人脸模型的自动构建，相比传统需要依靠模型师进行模型构建而言，可以大大的提高三维人脸模型构建效率，以及缩短构建时长。
附图说明
图1是本发明实施例中的一种三维人脸模型的构建方法的流程图；
图2是步骤S13的一种具体实施方式的流程图；
图3是步骤S15的一种具体实施方式的流程图；
图4是本发明实施例中的一种三维人脸模型的构建装置的结构示意图。
具体实施方式
如上所述，写实人脸的制作一直是3D领域制作的难点，目前通常由模型师进行人脸轮廓以及五官布局等构建，这需要模型师具备良好的美术功底、对人体解剖要有很深入的了解，导致三维人脸模型的制作周期长以及制作效率低。
为解决上述问题，在本发明实施例中，通过获取演员的N组扫描数据，扫描数据用于记录演员的表情，通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型，N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型，生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板，将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情，根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板，得到复合表情网格，进而对复合表情网格进行拆分，得到演员的真实基础表情网格模板，从而实现三维人脸模型的自动构建，相比传统需要依靠模型师进行模型构建而言，可以大大的提高三维人脸模型构建效率，以及缩短构建时长。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供一种三维人脸模型的构建方法，参照图1，给出了本发明实施例中的一种三维人脸模型的构建方法的流程图，所述三维人脸模型的构建方法具体可以包括如下步骤：
步骤S11，获取演员的N组扫描数据。
在具体实施中，扫描数据用于记录演员的表情。N组扫描数据分别在N个表情下扫描得到。N个表情至少包括中性表情。其中，中性表情指演员自然闭嘴面无表情的自然状态下的表情。N为大于等于2的整数。
在一些非限制性实施例中，N个表情为N个不同的表情。
在一些非限制性实施例中，可以在演员的面部标记若干个标记点。若干个标记点分别位于眼睛、鼻子、嘴巴、眉毛、额头、脸颊、下巴等区域。
演员在表演表情动作时，演员的脸部肌肉皮肤发生变化，相应地，标记点的位置也发生变化。也即，演员做不同表情时，标记点在演员的面部位置也会相应变化，故可以通过标记点的位置变化记录演员的脸部肌肉皮肤的变化，进而可以根据标记点的变化情况来记录演员的表情。
N个表情除包括中性表情之外，还包括N-1个其他表情，其他表情可以为大笑、愤怒、哭笑不得、眨眼等一些经典表情或者极限表情。N的取值范围可以为10至50，可以理解的是，N也可以为小于10或者大于50的数值，具体根据实际应用场景的需求配置N的取值即可，此处不做赘述。
针对每个表情对应的扫描数据，均可以采用如下方式得到：布设不同拍摄视角、不同排布方向的k台相机。当演员做出一个表情时，控制k台相机在同一时间对演员进行拍摄，得到k张照片，k张照片中对演员的拍摄视角不同，也即得到该表情的扫描数据，k为大于1的整数。相应地，N组不同表情，分别对应N组扫描数据，每组扫描数据为各表情下得到的k张照片。例如，应用时k通常取5个以上，会获得较好的效果。
步骤S12，根据所述N组扫描数据分别构建N个点云网格模型。
在具体实施中，针对每组扫描数据构建该组扫描数据对应的点云网格模型。由于N个表情至少包括中性表情，故针对中性表情对应的扫描数据可以构建得到中性表情对应的中性表情点云网格模型。从而N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型。
在一些非限制性实施例中，可以采用如下方式根据扫描数据构建点云网格模型，以下以一个表情对应的扫描数据为例进行说明：根据各个标记点的位置，通过像素特征点匹配的方法，将一组k张照片中脸部位置相同的像素进行互相匹配，根据像素匹配结果标定相机参数。根据相机参数照片中的像素重建出该表情对应的点云模型。如此，可以得到N个表情分别对应的点云模型。
进一步，针对各个表情分别对应的点云模型，将获得的点云模型去除噪音，转化为各个表情分别对应的点云网格模型。此外，还可以根据采集的照片，对点云网格模型进行纹理贴图，纹理贴图可以把点云网格模型渲染成带明暗色彩的模型，以便于后续在点云网格模型上取特征匹配点。
步骤S13，根据获取的初始人脸网格与所述中性表情点云网格模型，生成中性表情人脸网格。
在具体实施中，初始人脸网格可以采用多种方法得到。
在一些实施例中，可采用数据降维的方法对中性人脸模型数据进行分析并建立初始人脸网格模型。具体地，将多个长短各异，不同性别的中性表情人脸网格的高维数据压缩为低维的向量数据，由此方便快捷地生成各式各样的初始人脸网格。具体的方法的降维方法如线性判别分析方法，非负矩阵分解，主成分分析。
在另一些实施例中，初始人脸网格可以采用人脸主成分分析(PrincipalComponent Analysis，PCA)模型得到。其中，人脸PCA模型可以根据多个中性表情人脸网格进行主成分分析得到。
具体而言，可以采用多个长短各异，不同性别的中性表情人脸网格建立中性人脸模型数据库，对中性表情人脸网格进行主成分分析(PCA)，建立人脸主成分分析(PCA)模型。所建立的人脸PCA模型为一个数学模型，包含一个系数矩阵pcaMat和一个均值人脸列向量meanface。将大量的中性表情人脸网格坐标点列为矩阵，采用协方差矩阵、特征分解、SVD(奇异值)分解等其中任一种方法对矩阵进行求解，获得人脸PCA模型的系数矩阵。可以通过调整PCA权重weight、结合系数矩阵pcaMat以及均值人脸列向量meanface来计算生成中性表情人脸网格。
在具体实施中，通过调整PCA权重weight，结合系数矩阵，均值人脸列向量生成初始人脸网格，初始人脸网格可以包括面部、五官、脖子等。此时，初始人脸网格与演员无关，也即还未建立与演员的真实表情的关联。
例如，假定PCA权重weight都为0，得到初始人脸网格。可以理解的是，PCA权重weight也可以假设为其他取值，此处不做限定。
在一些非限制性实施例中，上述步骤S13还可以通过如下方式实现，参照图2，给出了步骤S13的一种具体实施方式的流程图，步骤S13具体可以包括如下步骤S1至步骤S5。
步骤S1，对所述中性表情点云网格模型进行空间位置转换，将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置。
在具体实施中，通常初始人脸网格的空间位置是确定的，初始人脸网格的中心位置在坐标原点附近。而中性表情点云网格模型在空间的位置是不确定的，为了便于初始人脸网格与中性表情点云网格模型的对齐，需要将中性表情点云网格模型进行空间位置转换，将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置，以使得中性表情点云网格模型的中心位置与初始人脸网格的中心位置相同。更具体地，中性表情点云网格模型的部分点云特征匹配点与初始人脸网格上对应的网格特征匹配点的空间位置相同。
在一些非限制性实施例中，上述对齐过程中，可以通过奇异值分解(SingularValue Decomposition，简称SVD)、二次优化求解刚体变换矩阵的方式求解，从而使中性表情点云网格模型与初始人脸网格处于同一空间位置。
在一些非限制性实施例中，可以在中性表情点云网格模型上的顶点中选取点云特征匹配点，在初始人脸网格的顶点中分别选取与点云特征匹配点对应的网格特征匹配点，其中，点云特征匹配点和网格特征匹配点为代表脸部特征位置的点。对中性表情点云网格模型进行旋转、平移或者缩放等中的一种或多种，以使得旋转、平移或者缩放后的中性表情点云网格模型中的点云特征匹配点与初始人脸网格上的网格特征匹配点对齐，从而使得中性表情点云网格模型和初始人脸网格处于空间的同一位置，也即将所述中性表情点云网格模型与所述初始人脸网格转换的空间位置转换到同一空间位置。
在一些实施例中，点云特征匹配点可以为面部中心位置点，也可以为鼻尖特征点，还可以为其他特征点，此处不再一一举例。
步骤S2，从所述初始人脸网格上选取面部正面的正面点，在所述中性表情点云网格模型上寻找所述正面点的最近邻点，并将寻找到的最近邻点作为第一最近邻匹配点。
在具体实施中，由于初始人脸网格上的正面点的数目较少，但是中性表情点云网格模型上的正面点较多，故可以在初始人脸网格上选取正面点。从中性表情点云网格模型上寻找正面点的最近邻点，并作为正面点的第一最近邻匹配点。其中，正面点指人脸的面部的正面的点，如初始人脸网格上的正面点指初始人脸网格的人脸的正面的网格特征点，中性表情点云网格模型上的第一最近邻匹配点可以在中性表情点云网格模型的正面点中选取。
步骤S3，以空间位置转换后的中性表情点云网格模型为基准，约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围，求解人脸PCA模型的权重。
具体而言，以空间位置转换后的中性表情点云网格模型为基准，保持空间位置转换后的中性表情点云网格模型不动，用方程约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围，求解人脸PCA模型的权重。
在具体实施中，第一距离范围的具体取值可以根据需求进行配置，第一距离范围的取值越小，中性表情人脸网格与中性表情点云网格模型的相似度越高，后续所构建的复合表情网格与演员的匹配度越高，也即构建的三维人脸模型与演员的贴合度越高。
在一些非限制性实施例中，第一距离范围可以包括等于零，也可以包括不大于第一设定值，其中，第一设定值为正数。
也即约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围，可以为约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离等于零；也可以为约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离不大于设定的正数。
进一步，为了提高计算精度以及使得人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离能够快速的满足收敛条件，第一距离范围可以取零，也即约束初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离为零，实现基于求得的人脸PCA权重所得初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的尽量对齐。
步骤S4，判断基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件。
当判断结果为是时，执行步骤S5；当判断结果为否时，基于S3求解得到的人脸PCA模型的权重，继续执行步骤S1，也即迭代步骤S1至步骤S3，直至基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足收敛条件。
其中，收敛条件可以损失值达到预设阈值，也即，基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离不大于预设阈值，其中损失值可以用于表征根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型的差异。当损失值达到预设阈值，也即根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型的差异满足误差范围，使得根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型更加相似。
进一步，在一些实施例中，在用方程约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围时，还可以约束空间位置转换后的中性表情点云网格模型中的点云特征匹配点与所述初始人脸网格对应的网格特征匹配点之间的距离满足第五距离范围；或者约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离，与空间位置转换后的中性表情点云网格模型中的点云特征匹配点与所述初始人脸网格对应的网格特征匹配点之间的距离之和，满足第六距离范围，第六距离范围与第一距离范围和第五距离范围相关。例如，第六距离范围为第一距离范围和第五距离范围之和，以使得计算出来的人脸PCA权重更加准确，从而使生成的中性表情人脸网格与空间位置转换后的中间表情点云网格模型更加相似。
步骤S5，采用满足收敛条件时对应的人脸主成分分析模型的权重，计算得到所述中性表情人脸网格。
在计算得到中性表情人脸网格的同时，还获得了与所述中性表情人脸网格同一空间位置的空间位置转换后的中性表情点云网格模型，也即得到了最终对齐的中性表情点云网格模型。
在具体实施中，采用满足收敛条件时对应的人脸PCA模型的权重计算得到的中性表情人脸网格与中性表情点云网格模型已经很相似了。例如，中性表情人脸网格中的脸型与中性表情点云网格模型的脸型很像，但是对于一些局部区域可能还有一些细微的差别。主要为五官、下巴等面部一些局部区域存在一些细微的差别，如眼睛大小可能还具有一些差异，嘴角区域可能还具有一些差异。
为进一步提高所得到的中性表情人脸网格与中性表情点云网格模型的相似度，在一些非限制性实施例中，将采用满足收敛条件时对应的人脸PCA模型的权重，计算得到的中性表情人脸网格记作中间人脸网格，也即计算得到中间人脸网格。对所述中间人脸网格的设定区域的网格面进行变形，并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格。所述第一约束条件为：变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围，且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围。其中，所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。第二特征匹配点为在中间人脸网格上的人脸网格顶点中选取代表脸部特征位置的点。
在具体实施中，可以根据中间人脸网格的网格面与所述中性表情点云网格模型中对应区域的网格面的差异，对所述中间人脸网格的设定区域的网格面进行变形，对网格面进行变形可以包括对网格面进行翻转、平移、拉伸中的一种或多种。例如，向内翻转眼睛轮廓上的网格面，使得翻转后的中间人脸网格中的眼部轮廓和中性表情点云网格模型的眼部轮廓更相似。如网格面的变形为翻转时，可以使得相邻网格面之间的翻转过渡更加均匀。
通过对网格面进行变形，可以使得变形后得到的中间人脸网格与中性表情点云网格模型的相似度更大，提高变形后的中间人脸网格(也即得到的所述中性表情人脸网格)的网格面的表面的光滑度。使得到的所述中性表情人脸网格与演员的实际中性表情的相似度更高。
在具体实施中，网格面可以为三角面，也可以为其他多边形网格面。三角面指三角形的网格面。
在具体实施中，变化矩阵可以采用如下方式得到。下面以中间人脸网格中的变形的网格面的变化矩阵为例进行说明：
在一些非限制性实施例中，根据变形前的中间人脸网格的网格面i的顶点以及网格面i的法向量，以及变形后的中间人脸网格的网格面i的顶点以及网格面i的法向量，计算变形的网格面i的变化矩阵。
其中，变形的网格面i的相邻网格面m的变化矩阵的计算方式与变形的网格面i相似。具体而言，将变形的网格面记作i，网格面i的相邻网格面记作m，针对变形的网格面i的相邻网格面m的变化矩阵计算方式如下：根据网格面i变形前相邻网格面m的顶点和相邻网格面m的法向量，以及网格面i变形后相邻网格面m的顶点和相邻网格面m的法向量，计算得到相邻网格面m的变化矩阵。
在一些实施例中，变形后的网格面可以设置为未知数，通过第一约束条件中变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围，以及第一约束条件中的变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围来构建方程，并求解未知数，从而可以求解得到变形后的网格面。
进一步，为了提高所得到中性表情人脸网格的网格面的光滑度，第二距离范围取值为零，第一约束条件中的变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围，可以配置为变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和为零。
可以理解的是，第二距离范围可以包括等于零，第二距离范围也可以取不大于第二设定值，第二设定值为大于零的正数。第二设定值可以根据对中性表情人脸网格与中性表情点云网格模型之间的相似度要求进行配置。相应地，第二设定值越靠近零，中性表情人脸网格与中性表情点云网格模型的相似度越高。
在具体实施中，变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围，可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵的模不大于预设第一阈值；也可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵的所有元素的绝对值之和不大于预设第二阈值；还可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵中的各个元素的绝对值均不大于预设第三阈值。
可以通过LU分解、QR分解、迭代求解等方式求解变形的网格面的变化矩阵中的未知数，从而得到变形后的中间人脸网格，也即得到中性表情人脸网格。其中，LU分解(LUFactorization)是矩阵分解的一种，可以将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积(有时是它们和一个置换矩阵的乘积)。QR(正交三角)分解法是求一般矩阵全部特征值的最有效并广泛应用的方法，一般矩阵先经过正交相似变化成为Hessenberg矩阵，然后再应用QR方法求特征值和特征向量。
进一步，还可以接收对中性表情人脸网格的修缮信息，并将基于修缮信息修缮后的中性表情人脸网格作为最终的中性表情人脸网格。其中，可以通过美术人员参照对齐的中性表情点云网格模型，对中性表情人脸网格进行细微的修缮。
步骤S14，将获取到的基础表情网格模板进行组合，得到复合表情初始模板。
在具体实施中，基础表情可以指嘴部、眼部、脸颊等的表情。如左眼笑、右眼笑、左嘴角上扬、右嘴角上扬、左眼流泪、右眼流泪、左眼闭合、右眼闭合等。复合表情由至少两个基础表情组成。复合表情哭笑不得，可以由眼泪、左眼笑、右眼笑、左嘴角上扬、右嘴角上扬等基础表情组成。大笑可以由左眼笑、右眼笑、左嘴角上扬、右嘴角上扬等基础表情组成。所述基础表情网格模板根据所述中性表情人脸网格得到，以得到所述演员对应的基础表情网格模板。
在具体实施中，基础表情网格模板可以通过如下方式获得：从预设的表情数据库中获取核心矩阵以及基础表情矩阵；根据所述核心矩阵、基础表情矩阵以及所述中性表情人脸网格，计算得到所述基础表情网格模板。
具体而言，可以根据所述核心矩阵、基础表情矩阵以及所述中性表情人脸网格，计算得到所述演员的人脸特征向量；根据所述核心张量、基础表情矩阵以及所述演员的人脸特征向量，计算得到所述基础表情网格模板。
在具体实施中，可以预先收集大量人脸表情数据，人脸表情数据可以为各种表情的变形目标(Blendshapes，BS)数据，将BS数据排列成矩阵，对矩阵进行分解，得到核心矩阵Cr以及基础表情矩阵Exp，建立多线性人脸表情数据库(multilinear model)(可简称为表情数据库)。从而，表情数据库中至少包括核心矩阵Cr以及基础表情矩阵Exp。
基础表情矩阵Exp包括中性表情列向量Expneutral，根据中性表情列向量Expneutral、核心张量Cr、中性表情人脸网格可以计算演员的人脸特征向量I。根据核心张量Cr、基础表情矩阵Exp以及演员的人脸特征向量I，计算基础表情网格模板(基础表情网格模板可以采用BSbase表示)，其中，基础表情网格模板包括中性表情对应的基础表情网格模板。基础表情网格模板的数目可以为40至60个，也可以为其他大于60的数目或者小于40的数目，具体可以根据实际应用场景中对基础表情的拆分或者设定需求等进行配置。
在具体实施中，可以对至少任意两个基础表情网格模板进行组合，得到N-1个复合表情初始模板(复合表情初始模板可以采用BSexp表示)。其中，组合可以包括线性组合。
在具体实施中，基础表情网格模板的中心位置是相同的，在对至少任意两个基础表情网格模板进行组合时，将待进行组合的基础表情网格模板进行相加即可。
步骤S15，针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板，得到复合表情网格。
在具体实施中，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情。
针对各个其他表情，其他表情的复合表情初始模板与其他表情点云网格模型之间仍然有差异，为进一步提高其他表情的复合网格模板与其他表情点云网格模型的相似度，可以根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板，对复合表情初始模板进行变形，并得到复合表情网格。
具体而言，在一些非限制性实施例中，参照图3，给出了步骤S15的一种具体实施方式，步骤S15具体可以包括如下步骤S151至步骤S152：
步骤S151，对所述其他表情点云网格模型进行空间位置转换，使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置。
在具体实施中，当中性表情点云网格模型为进行空间位置转换后的，且与初始人脸网格处于相同空间位置时，将此时的中性表情点云网格模型记作空间位置转后的中性表情点云网格模型。对所述其他表情点云网格模型进行空间位置转换，使得空间位置转换后的其他表情点云网格模型与空间位置转后的中性表情点云网格模型的中心位置相同。
例如，选取中性表情点云网格模型上演员耳部或者后脑的标定点及在其他表情点云模型上对应位置的标定点。在进行标定点对齐时，可以保持头部位置不动，保持标定点的位置处于头部不动的位置，对耳朵的位置或者头部后方或者而其他位置进行调整。
可以理解的是，还可以采用其他的方式将其他表情点云网格模型的空间位置转换至与中性表情点云网格模型处于同一空间位置，此处不再一一举例。
步骤S152，针对各个其他表情，分别对其他表情对应的复合表情初始模板进行变形，并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格。
对复合表情初始模板上的网格面进行变形包括网格面翻转、网格面平移、网格面拉伸等中的一种或多种。
在具体实施中，第二约束条件为：其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围，其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围，所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。标记点是画到演员的人脸上的点，所述映射点为所述标记点对应在点云网格模型中的点。
进一步，第二约束条件可以为：其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围，其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围，且第三距离范围与第四距离范围之和满足第六距离范围，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围。
在一些实施例中，第二约束条件还可以变形为：其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离，与其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离之和满足第六距离范围，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围。
在具体实施中，第三距离范围可以包括等于零，也可以包括不大于第三设定值，其中，第三设定值为正数。
进一步，第三距离范围取零，也即其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离为零，实现其他表情对应的变形后的复合表情初始模板上的映射点与其他表情点云网格模型中对应的映射点的对齐。
在具体实施中，第四距离范围可以包括等于零，也可以包括不大于第四设定值，其中，第四设定值为正数。
进一步，第四距离范围取零，也即其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离为零。实现其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的对齐。
在具体实施中，第六距离范围可以包括等于零，也可以包括不大于第五设定值，其中，设定值为正数。
需要说明的是，上述第一设定值、第二设定值、第三设定值、第四设定值以及第五设定值可以相同，也可以不同，具体根据实际需求进行配置。
在具体实施中，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围，所述第二差异范围可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵的模不大于预设第四阈值；也可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵的所有元素的绝对值之和不大于预设第五阈值；还可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵中的各个元素的绝对值均不大于预设第六阈值。
在具体实施中，可以配置变形后的复合表情网格的第j个网格面为未知数，结合第二约束条件，可以求解其他表情对应的复合表情初始模板中变形的网格面的变化矩阵中的未知数，即可得到满足上述第二约束条件的变形后的复合表情网格的第j个网格面，从而得到其他表情的复合表情网格。
在具体实施中，可以通过LU分解、QR分解以及迭代求解等方式求解其他表情对应的复合表情初始模板中变形的网格面的变化矩阵中的未知数。
进一步，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵，采用如下方式计算得到：根据变形前以及变形后的复合表情初始模板的网格面的顶点以及网格面的法向量，计算复合表情初始模板中变形的网格面的变化矩阵。也即根据变形前的复合表情初始模板的网格面的顶点以及网格面的法向量，以及变形后的复合表情初始模板的网格面的顶点以及网格面的法向量，计算复合表情初始模板中变形的网格面的变化矩阵。
进一步，还可以获取对复合表情网格的修缮信息，并根据将修缮信息修缮后的复合表情网格，作为最终的复合表情网格。
可以通过美术人员参照对齐的其他表情点云网格模型，对复合表情网格Meshexp进行细微的修缮，获得最终的复合表情网格Meshexp。
步骤S16，对所述复合表情网格进行表情拆分，得到所述演员对应的真实基础表情模板。
在一些实施例中，上述步骤S16可以通过如下方式实现：获取所述复合表情网格中各网格面的法向量矩阵；根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格，对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板；在对所述复合表情网格进行表情拆分时，在满足拆分约束条件下得到所述演员的真实基础表情网格模板，所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
具体而言，网格面采用三角面，以第j个复合表情网格的三角面r为例，对对复合表情网格进行表情拆分，得到真实基础表情网格。对于第j个复合表情网格中的三角面r，可以获得该三角面r对应的法向量矩阵Mr，根据每个基础表情网格模板在复合表情网格上的对应权重A，以及中性表情人脸网格三角面r对应的法向量矩阵M0，可以对复合表情网格进行表情拆分。
在具体实施中，每个基础表情网格模板在不同复合表情网格中对应的权重可以不同，各复合表情网格所对应的基础表情网格模板以及各基础表情网格模板的权重可以预先配置。
在具体实施中，还可以基于复合表情网格中各网格面的顶点坐标以及中性表情人脸网格中对应网格面的顶点坐标，对复合表情网格进行表情拆分。
在一些非限制性实施例中，在对所述复合表情网格进行表情拆分时，在满足拆分约束条件下得到所述演员对应的真实基础表情网格模板，所述拆分约束条件包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵的差异不大于设定差异阈值。将拆分约束条件作为复合表情网格进行表情拆分时的正则项，如此，可以保证所求真实基础表情网格模板
Figure BDA0003410801530000191
平整。
在具体实施中，所述拆分约束条件中的第三差异范围可以包括所述真实基础表情网格模板的网格面与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异矩阵的模不大于预设第七阈值；也可以包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵得到差异矩阵的所有元素的绝对值之和不大于预设第八阈值；还可以包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵得到差异矩阵中的各个元素的绝对值均不大于预设第九阈值。
真实基础表情网格模板
Figure BDA0003410801530000201
的所有三角面对应的法向量矩阵M为所求的未知数。可以通过LU分解、QR分解、迭代求解等其中一种方式，计算出真实基础表情网格模板
Figure BDA0003410801530000202
进一步，还可以接收针对真实基础表情网格模板的修缮信息，并将修缮后的真实基础表情网格模板，作为演员的真实基础表情网格模板
Figure BDA0003410801530000203
其中，可以通过美术人员对生成的真实基础表情网格模板进行细微的修缮。
将得到的所述演员的真实基础表情模板以及所述中性表情人脸网格添加至所述表情数据库，并更新表情数据库。
具体而言，将生成演员的真实的基础表情网格
Figure BDA0003410801530000204
加入multilinear model数据库，通过矩阵分解，获得更新后的核心矩阵Cr，表情特征矩阵Exp。
此外，可以基于所述中性表情人脸网格更新所述人脸PCA模型。将中性表情人脸网格，加入人脸PCA模型，用SVD迭代等方法提取系数矩阵pcaMat，均值人脸列向量meanface，更新人脸PCA模型中的系数矩阵pcaMat和均值人脸列向量meanface。
由上可知，通过获取演员的N组扫描数据，扫描数据用于记录演员的表情，通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型，N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型，生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板，将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情，根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板，得到复合表情网格，进而对复合表情网格进行拆分，得到演员的真实基础表情网格模板，从而实现三维人脸模型的自动构建，相比传统需要依靠模型师进行模型构建而言，可以大大的提高三维人脸模型构建效率，以及缩短构建时长。
本发明实施例提供的三维人脸模型的构建方法可以用于一些需要对目标对象进行三维人脸模型的构建以及虚拟对象等相关应用场景中。
本发明实施例还提供一种三维人脸模型的构建装置，参照图4，给出了本发明实施例中的一种三维人脸模型的构建装置的结构示意图，三维人脸模型的构建装置40可以包括：
获取单元41，用于获取演员的N组扫描数据，所述扫描数据用于记录所述演员的表情，N组扫描数据分别对应N个表情，N个表情至少包括中性表情，N为大于或等于2的整数；
点云网格模型构建单元42，用于根据所述N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型；
中性表情人脸网格构建单元43，用于根据获取的初始人脸网格与所述中性表情点云网格模型，生成中性表情人脸网格；
组合单元44，用于将获取到的基础表情网格模板进行组合，得到复合表情初始模板，其中，复合表情由至少两个基础表情组成，所述基础表情网格模板至少根据所述中性表情人脸网格得到；
复合表情网格构建单元45，用于针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板，得到复合表情网格，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情；
拆分单元46，用于对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板。
在具体实施例中，三维人脸模型的构建装置40的具体工作原理及工作流程，可以参见上述任一实施例提供的三维人脸模型的构建方法中的描述，此处不在赘述。
本发明实施例还提供一种计算机可读存储介质，所述存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种三维人脸模型的构建方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种三维人脸模型的构建方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种三维人脸模型的构建方法，其特征在于，包括：
获取演员的N组扫描数据，所述扫描数据用于记录所述演员的表情，N组扫描数据分别对应N个表情，N个表情至少包括中性表情，N为大于或等于2的整数；
根据所述N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型；
根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格；
将获取到的基础表情网格模板进行组合，得到复合表情初始模板，其中，复合表情由至少两个基础表情组成，所述基础表情网格模板至少根据所述中性表情人脸网格得到；
针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板，得到复合表情网格，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情；
对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板。
2.如权利要求1所述的三维人脸模型的构建方法，其特征在于，所述初始人脸网格采用人脸主成分分析模型得到，所述人脸主成分分析模型根据多个预设中性表情人脸网格进行主成分分析构建得到。
3.如权利要求2所述的三维人脸模型的构建方法，其特征在于，所述根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格，包括：
步骤一：对所述中性表情点云网格模型进行空间位置转换，将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置；
步骤二：从所述初始人脸网格上选取面部正面的正面点，在所述中性表情点云网格模型上寻找所述正面点的最近邻点，并将寻找到的最近邻点作为第一最近邻匹配点；
步骤三：以空间位置转换后的中性表情点云网格模型为基准，约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围，求解人脸主成分分析模型的权重；
步骤四：判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件，若不满足，则继续迭代步骤一至步骤三，直至得到满足收敛条件的人脸主成分分析模型的权重；
步骤五：采用满足收敛条件时对应的人脸主成分分析模型的权重，计算得到所述中性表情人脸网格。
4.如权利要求3所述的三维人脸模型的构建方法，其特征在于，所述采用满足收敛条件的人脸主成分分析模型的权重，计算得到所述中性表情人脸网格包括：
采用满足收敛条件的人脸主成分分析模型的权重，计算得到中间人脸网格；对所述中间人脸网格的设定区域的网格面进行变形，并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格，其中，所述第一约束条件为：变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离，与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围，且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围，其中，所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。
5.如权利要求4所述的三维人脸模型的构建方法，其特征在于，所述中间人脸网格中的变形的网格面的变化矩阵采用如下方式计算得到：
根据变形前的中间人脸网格的网格面的顶点坐标以及网格面的法向量，以及变形后的中间人脸网格的网格面的顶点坐标以及网格面的法向量，计算变形的网格面的变化矩阵。
6.如权利要求1所述的三维人脸模型的构建方法，其特征在于，所述基础表情网格模板通过如下方式获取得到：
从预设的表情数据库中获取核心矩阵以及基础表情矩阵；
根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格，计算得到所述基础表情网格模板。
7.如权利要求1所述的三维人脸模型的构建方法，其特征在于，所述根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板，得到复合表情网格，包括：
对所述其他表情点云网格模型进行空间位置转换，使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置；
针对各个其他表情，分别对其他表情对应的复合表情初始模板进行变形，并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格，所述第二约束条件为：其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围，其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围，其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围，所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。
8.如权利要求7所述的三维人脸模型的构建方法，其特征在于，所述其他表情对应的复合表情初始模板中变形的网格面的变化矩阵，采用如下方式计算得到：
根据变形前的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量，以及变形后的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量，计算复合表情初始模板中变形的网格面的变化矩阵。
9.如权利要求1所述的三维人脸模型的构建方法，其特征在于，所述对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板，包括：
获取所述复合表情网格中各网格面的法向量矩阵；
根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格，对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板；
在对所述复合表情网格进行表情拆分时，在满足拆分约束条件下得到所述演员的真实基础表情网格模板，所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
10.如权利要求1所述的三维人脸模型的构建方法，其特征在于，还包括：
将得到的所述真实基础表情网格模板添加至表情数据库，更新所述表情数据库。
11.一种三维人脸模型的构建装置，其特征在于，包括：
获取单元，用于获取演员的N组扫描数据，所述扫描数据用于记录所述演员的表情，N组扫描数据分别对应N个表情，N个表情至少包括中性表情，N为大于或等于2的整数；
点云网格模型构建单元，用于根据所述N组扫描数据分别构建N个点云网格模型，N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型；
中性表情人脸网格构建单元，用于根据获取的初始人脸网格与所述中性表情点云网格模型，生成中性表情人脸网格；
组合单元，用于将获取到的基础表情网格模板进行组合，得到复合表情初始模板，其中，复合表情由至少两个基础表情组成，所述基础表情网格模板至少根据所述中性表情人脸网格得到；
复合表情网格构建单元，用于针对各个其他表情，根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板，得到复合表情网格，其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情；
拆分单元，用于对所述复合表情网格进行表情拆分，得到所述演员的真实基础表情网格模板。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至10任一项所述的三维人脸模型的构建方法的步骤。
13.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至10中任一项所述的三维人脸模型的构建方法的步骤。
CN202111527295.4A 2021-12-14 2021-12-14 三维人脸模型的构建方法及装置、存储介质、终端 Active CN114219920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111527295.4A CN114219920B (zh) 2021-12-14 2021-12-14 三维人脸模型的构建方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111527295.4A CN114219920B (zh) 2021-12-14 2021-12-14 三维人脸模型的构建方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN114219920A true CN114219920A (zh) 2022-03-22
CN114219920B CN114219920B (zh) 2023-05-26

Family

ID=80701810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527295.4A Active CN114219920B (zh) 2021-12-14 2021-12-14 三维人脸模型的构建方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN114219920B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546868A (zh) * 2022-10-25 2022-12-30 湖南芒果无际科技有限公司 面部动画采集设备、方法及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3370208A2 (en) * 2017-03-01 2018-09-05 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3370208A2 (en) * 2017-03-01 2018-09-05 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data
CN108537110A (zh) * 2017-03-01 2018-09-14 索尼公司 生成三维人脸模型的基于虚拟现实的装置和方法
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546868A (zh) * 2022-10-25 2022-12-30 湖南芒果无际科技有限公司 面部动画采集设备、方法及可读存储介质

Also Published As

Publication number Publication date
CN114219920B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
Ploumpis et al. Towards a complete 3D morphable model of the human head
Cao et al. Facewarehouse: A 3d facial expression database for visual computing
CN112887698B (zh) 基于神经辐射场的高质量人脸语音驱动方法
US20150213307A1 (en) Rigid stabilization of facial expressions
JP6786497B2 (ja) 統計的技術を用いて形成されたデジタル歯冠モデルに表面詳細を追加するシステム及び方法
CN108121950B (zh) 一种基于3d模型的大姿态人脸对齐方法和系统
CN101916454A (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN113822982B (zh) 一种人体三维模型构建方法、装置、电子设备及存储介质
WO2021140510A2 (en) Large-scale generation of photorealistic 3d models
CN114422832A (zh) 主播虚拟形象生成方法及装置
KR101116838B1 (ko) 개인성향을 반영한 과장표정 생성방법
Zhou et al. Image deformation with vector-field interpolation based on MRLS-TPS
US11443473B2 (en) Systems and methods for generating a skull surface for computer animation
CN114219920B (zh) 三维人脸模型的构建方法及装置、存储介质、终端
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
CN116797733A (zh) 实时三维物体动态重建方法
CN113379890B (zh) 一种基于单张照片的人物浅浮雕模型生成方法
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US20230260186A1 (en) Generating a facial-hair-free mesh of a subject
Yuan et al. Example-guided 3d human face reconstruction from sparse landmarks
Gong et al. Single 2D image-based 3D face reconstruction and its application in pose estimation
Wang et al. A unified multi-output semi-supervised network for 3D face reconstruction
Taştan et al. Human body reconstruction from limited number of points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant