CN114219920B - 三维人脸模型的构建方法及装置、存储介质、终端 - Google Patents
三维人脸模型的构建方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN114219920B CN114219920B CN202111527295.4A CN202111527295A CN114219920B CN 114219920 B CN114219920 B CN 114219920B CN 202111527295 A CN202111527295 A CN 202111527295A CN 114219920 B CN114219920 B CN 114219920B
- Authority
- CN
- China
- Prior art keywords
- grid
- expression
- face
- neutral
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000014509 gene expression Effects 0.000 claims abstract description 660
- 230000007935 neutral effect Effects 0.000 claims abstract description 223
- 239000002131 composite material Substances 0.000 claims abstract description 141
- 238000010276 construction Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 133
- 230000008859 change Effects 0.000 claims description 70
- 238000000513 principal component analysis Methods 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 239000013598 vector Substances 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 2
- 210000001508 eye Anatomy 0.000 description 14
- 238000000354 decomposition reaction Methods 0.000 description 13
- 210000000214 mouth Anatomy 0.000 description 10
- 230000008439 repair process Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 150000001875 compounds Chemical class 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 210000000697 sensory organ Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种三维人脸模型的构建方法及装置、存储介质、终端,三维人脸模型的构建方法包括:获取演员的N组扫描数据,N组扫描数据分别对应N个表情,N个表情至少包括中性表情;根据N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括中性表情对应的中性表情点云网格模型;根据获取的初始人脸网格与中性表情点云网格模型生成中性表情人脸网格;将获取到的基础表情网格模板进行组合,得到复合表情初始模板;针对各个其他表情,根据其他表情对应的其他表情点云网格模型、中性表情点云网格模型以及复合表情初始模板,得到复合表情网格;对复合表情网格进行表情拆分,得到演员的真实基础表情网格模板。上述方案能够提高三维人脸模型构建效率。
Description
技术领域
本发明实施例涉及三维人脸领域,尤其涉及一种三维人脸模型的构建方法及装置、存储介质、终端。
背景技术
写实人脸的制作一直是三维(3D)领域人脸制作的难点。目前通常由模型师进行人脸轮廓以及五官布局等构建,这需要模型师具备良好的美术功底、对人体解剖要有很深入的了解,此外制作周期也往往比较长,导致三维人脸模型的构建效率较低。
发明内容
本发明实施例解决的技术问题是如何提高三维人脸模型构建效率,以及缩短构建时长。
为解决上述技术问题,本发明实施例提供一种三维人脸模型的构建方法,包括:获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格;将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板。
可选的,所述初始人脸网格采用人脸主成分分析模型得到,所述人脸主成分分析模型根据多个预设中性表情人脸网格进行主成分分析构建得到。
可选的,所述根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格,包括:步骤一:对所述中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置;步骤二:从所述初始人脸网格上选取面部正面的正面点,在所述中性表情点云网格模型上寻找所述正面点的最近邻点,并将寻找到的最近邻点作为第一最近邻匹配点;步骤三:以空间位置转换后的中性表情点云网格模型为基准,约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸主成分分析模型的权重;步骤四:判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件,若不满足,则继续迭代步骤一至步骤三,直至得到满足收敛条件的人脸主成分分析模型的权重;步骤五:采用满足收敛条件时对应的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格。
可选的,所述采用满足收敛条件的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格包括:采用满足收敛条件的人脸主成分分析模型的权重,计算得到中间人脸网格;对所述中间人脸网格的设定区域的网格面进行变形,并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格,其中,所述第一约束条件为:变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围,其中,所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。
可选的,所述中间人脸网格中的变形的网格面的变化矩阵采用如下方式计算得到:根据变形前的中间人脸网格的网格面的顶点坐标以及网格面的法向量,以及变形后的中间人脸网格的网格面的顶点坐标以及网格面的法向量,计算变形的网格面的变化矩阵。
可选的,所述基础表情网格模板通过如下方式获取得到:从预设的表情数据库中获取核心矩阵以及基础表情矩阵;根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格,计算得到所述基础表情网格模板。
可选的,所述根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板,得到复合表情网格,包括:对所述其他表情点云网格模型进行空间位置转换,使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置;针对各个其他表情,分别对其他表情对应的复合表情初始模板进行变形,并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格,所述第二约束条件为:其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围,其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围,所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。
可选的,所述其他表情对应的复合表情初始模板中变形的网格面的变化矩阵,采用如下方式计算得到:根据变形前的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量,以及变形后的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量,计算复合表情初始模板中变形的网格面的变化矩阵。
可选的,所述对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板,包括:获取所述复合表情网格中各网格面的法向量矩阵;根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格,对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;在对所述复合表情网格进行表情拆分时,在满足拆分约束条件下得到所述演员的真实基础表情网格模板,所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
可选的,所述三维人脸模型的构建方法,还包括:将得到的所述真实基础表情网格模板添加至表情数据库,更新所述表情数据库。
本发明实施例还提供一种三维人脸模型的构建装置,包括:获取单元,用于获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;点云网格模型构建单元,用于根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;中性表情人脸网格构建单元,用于根据获取的初始人脸网格与所述中性表情点云网格模型,生成中性表情人脸网格;组合单元,用于将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;复合表情网格构建单元,用于针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;拆分单元,用于对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一种三维人脸模型的构建方法的步骤。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述任一种三维人脸模型的构建方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
通过获取演员的N组扫描数据,扫描数据用于记录演员的表情,通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型,N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型,生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板,将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情,根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板,得到复合表情网格,进而对复合表情网格进行拆分,得到演员的真实基础表情网格模板,从而实现三维人脸模型的自动构建,相比传统需要依靠模型师进行模型构建而言,可以大大的提高三维人脸模型构建效率,以及缩短构建时长。
附图说明
图1是本发明实施例中的一种三维人脸模型的构建方法的流程图;
图2是步骤S13的一种具体实施方式的流程图;
图3是步骤S15的一种具体实施方式的流程图;
图4是本发明实施例中的一种三维人脸模型的构建装置的结构示意图。
具体实施方式
如上所述,写实人脸的制作一直是3D领域制作的难点,目前通常由模型师进行人脸轮廓以及五官布局等构建,这需要模型师具备良好的美术功底、对人体解剖要有很深入的了解,导致三维人脸模型的制作周期长以及制作效率低。
为解决上述问题,在本发明实施例中,通过获取演员的N组扫描数据,扫描数据用于记录演员的表情,通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型,N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型,生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板,将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情,根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板,得到复合表情网格,进而对复合表情网格进行拆分,得到演员的真实基础表情网格模板,从而实现三维人脸模型的自动构建,相比传统需要依靠模型师进行模型构建而言,可以大大的提高三维人脸模型构建效率,以及缩短构建时长。
为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提供一种三维人脸模型的构建方法,参照图1,给出了本发明实施例中的一种三维人脸模型的构建方法的流程图,所述三维人脸模型的构建方法具体可以包括如下步骤:
步骤S11,获取演员的N组扫描数据。
在具体实施中,扫描数据用于记录演员的表情。N组扫描数据分别在N个表情下扫描得到。N个表情至少包括中性表情。其中,中性表情指演员自然闭嘴面无表情的自然状态下的表情。N为大于等于2的整数。
在一些非限制性实施例中,N个表情为N个不同的表情。
在一些非限制性实施例中,可以在演员的面部标记若干个标记点。若干个标记点分别位于眼睛、鼻子、嘴巴、眉毛、额头、脸颊、下巴等区域。
演员在表演表情动作时,演员的脸部肌肉皮肤发生变化,相应地,标记点的位置也发生变化。也即,演员做不同表情时,标记点在演员的面部位置也会相应变化,故可以通过标记点的位置变化记录演员的脸部肌肉皮肤的变化,进而可以根据标记点的变化情况来记录演员的表情。
N个表情除包括中性表情之外,还包括N-1个其他表情,其他表情可以为大笑、愤怒、哭笑不得、眨眼等一些经典表情或者极限表情。N的取值范围可以为10至50,可以理解的是,N也可以为小于10或者大于50的数值,具体根据实际应用场景的需求配置N的取值即可,此处不做赘述。
针对每个表情对应的扫描数据,均可以采用如下方式得到:布设不同拍摄视角、不同排布方向的k台相机。当演员做出一个表情时,控制k台相机在同一时间对演员进行拍摄,得到k张照片,k张照片中对演员的拍摄视角不同,也即得到该表情的扫描数据,k为大于1的整数。相应地,N组不同表情,分别对应N组扫描数据,每组扫描数据为各表情下得到的k张照片。例如,应用时k通常取5个以上,会获得较好的效果。
步骤S12,根据所述N组扫描数据分别构建N个点云网格模型。
在具体实施中,针对每组扫描数据构建该组扫描数据对应的点云网格模型。由于N个表情至少包括中性表情,故针对中性表情对应的扫描数据可以构建得到中性表情对应的中性表情点云网格模型。从而N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型。
在一些非限制性实施例中,可以采用如下方式根据扫描数据构建点云网格模型,以下以一个表情对应的扫描数据为例进行说明:根据各个标记点的位置,通过像素特征点匹配的方法,将一组k张照片中脸部位置相同的像素进行互相匹配,根据像素匹配结果标定相机参数。根据相机参数照片中的像素重建出该表情对应的点云模型。如此,可以得到N个表情分别对应的点云模型。
进一步,针对各个表情分别对应的点云模型,将获得的点云模型去除噪音,转化为各个表情分别对应的点云网格模型。此外,还可以根据采集的照片,对点云网格模型进行纹理贴图,纹理贴图可以把点云网格模型渲染成带明暗色彩的模型,以便于后续在点云网格模型上取特征匹配点。
步骤S13,根据获取的初始人脸网格与所述中性表情点云网格模型,生成中性表情人脸网格。
在具体实施中,初始人脸网格可以采用多种方法得到。
在一些实施例中,可采用数据降维的方法对中性人脸模型数据进行分析并建立初始人脸网格模型。具体地,将多个长短各异,不同性别的中性表情人脸网格的高维数据压缩为低维的向量数据,由此方便快捷地生成各式各样的初始人脸网格。具体的方法的降维方法如线性判别分析方法,非负矩阵分解,主成分分析。
在另一些实施例中,初始人脸网格可以采用人脸主成分分析(PrincipalComponent Analysis,PCA)模型得到。其中,人脸PCA模型可以根据多个中性表情人脸网格进行主成分分析得到。
具体而言,可以采用多个长短各异,不同性别的中性表情人脸网格建立中性人脸模型数据库,对中性表情人脸网格进行主成分分析(PCA),建立人脸主成分分析(PCA)模型。所建立的人脸PCA模型为一个数学模型,包含一个系数矩阵pcaMat和一个均值人脸列向量meanface。将大量的中性表情人脸网格坐标点列为矩阵,采用协方差矩阵、特征分解、SVD(奇异值)分解等其中任一种方法对矩阵进行求解,获得人脸PCA模型的系数矩阵。可以通过调整PCA权重weight、结合系数矩阵pcaMat以及均值人脸列向量meanface来计算生成中性表情人脸网格。
在具体实施中,通过调整PCA权重weight,结合系数矩阵,均值人脸列向量生成初始人脸网格,初始人脸网格可以包括面部、五官、脖子等。此时,初始人脸网格与演员无关,也即还未建立与演员的真实表情的关联。
例如,假定PCA权重weight都为0,得到初始人脸网格。可以理解的是,PCA权重weight也可以假设为其他取值,此处不做限定。
在一些非限制性实施例中,上述步骤S13还可以通过如下方式实现,参照图2,给出了步骤S13的一种具体实施方式的流程图,步骤S13具体可以包括如下步骤S1至步骤S5。
步骤S1,对所述中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置。
在具体实施中,通常初始人脸网格的空间位置是确定的,初始人脸网格的中心位置在坐标原点附近。而中性表情点云网格模型在空间的位置是不确定的,为了便于初始人脸网格与中性表情点云网格模型的对齐,需要将中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置,以使得中性表情点云网格模型的中心位置与初始人脸网格的中心位置相同。更具体地,中性表情点云网格模型的部分点云特征匹配点与初始人脸网格上对应的网格特征匹配点的空间位置相同。
在一些非限制性实施例中,上述对齐过程中,可以通过奇异值分解(SingularValue Decomposition,简称SVD)、二次优化求解刚体变换矩阵的方式求解,从而使中性表情点云网格模型与初始人脸网格处于同一空间位置。
在一些非限制性实施例中,可以在中性表情点云网格模型上的顶点中选取点云特征匹配点,在初始人脸网格的顶点中分别选取与点云特征匹配点对应的网格特征匹配点,其中,点云特征匹配点和网格特征匹配点为代表脸部特征位置的点。对中性表情点云网格模型进行旋转、平移或者缩放等中的一种或多种,以使得旋转、平移或者缩放后的中性表情点云网格模型中的点云特征匹配点与初始人脸网格上的网格特征匹配点对齐,从而使得中性表情点云网格模型和初始人脸网格处于空间的同一位置,也即将所述中性表情点云网格模型与所述初始人脸网格转换的空间位置转换到同一空间位置。
在一些实施例中,点云特征匹配点可以为面部中心位置点,也可以为鼻尖特征点,还可以为其他特征点,此处不再一一举例。
步骤S2,从所述初始人脸网格上选取面部正面的正面点,在所述中性表情点云网格模型上寻找所述正面点的最近邻点,并将寻找到的最近邻点作为第一最近邻匹配点。
在具体实施中,由于初始人脸网格上的正面点的数目较少,但是中性表情点云网格模型上的正面点较多,故可以在初始人脸网格上选取正面点。从中性表情点云网格模型上寻找正面点的最近邻点,并作为正面点的第一最近邻匹配点。其中,正面点指人脸的面部的正面的点,如初始人脸网格上的正面点指初始人脸网格的人脸的正面的网格特征点,中性表情点云网格模型上的第一最近邻匹配点可以在中性表情点云网格模型的正面点中选取。
步骤S3,以空间位置转换后的中性表情点云网格模型为基准,约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸PCA模型的权重。
具体而言,以空间位置转换后的中性表情点云网格模型为基准,保持空间位置转换后的中性表情点云网格模型不动,用方程约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸PCA模型的权重。
在具体实施中,第一距离范围的具体取值可以根据需求进行配置,第一距离范围的取值越小,中性表情人脸网格与中性表情点云网格模型的相似度越高,后续所构建的复合表情网格与演员的匹配度越高,也即构建的三维人脸模型与演员的贴合度越高。
在一些非限制性实施例中,第一距离范围可以包括等于零,也可以包括不大于第一设定值,其中,第一设定值为正数。
也即约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,可以为约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离等于零;也可以为约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离不大于设定的正数。
进一步,为了提高计算精度以及使得人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离能够快速的满足收敛条件,第一距离范围可以取零,也即约束初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离为零,实现基于求得的人脸PCA权重所得初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的尽量对齐。
步骤S4,判断基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件。
当判断结果为是时,执行步骤S5;当判断结果为否时,基于S3求解得到的人脸PCA模型的权重,继续执行步骤S1,也即迭代步骤S1至步骤S3,直至基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足收敛条件。
其中,收敛条件可以损失值达到预设阈值,也即,基于求解得到的人脸PCA模型的权重所得到的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离不大于预设阈值,其中损失值可以用于表征根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型的差异。当损失值达到预设阈值,也即根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型的差异满足误差范围,使得根据求解得到的人脸PCA模型的权重得到的初始人脸网格与空间位置转换后的中性表情点云网格模型更加相似。
进一步,在一些实施例中,在用方程约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围时,还可以约束空间位置转换后的中性表情点云网格模型中的点云特征匹配点与所述初始人脸网格对应的网格特征匹配点之间的距离满足第五距离范围;或者约束人脸PCA模型生成的初始人脸网格的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离,与空间位置转换后的中性表情点云网格模型中的点云特征匹配点与所述初始人脸网格对应的网格特征匹配点之间的距离之和,满足第六距离范围,第六距离范围与第一距离范围和第五距离范围相关。例如,第六距离范围为第一距离范围和第五距离范围之和,以使得计算出来的人脸PCA权重更加准确,从而使生成的中性表情人脸网格与空间位置转换后的中间表情点云网格模型更加相似。
步骤S5,采用满足收敛条件时对应的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格。
在计算得到中性表情人脸网格的同时,还获得了与所述中性表情人脸网格同一空间位置的空间位置转换后的中性表情点云网格模型,也即得到了最终对齐的中性表情点云网格模型。
在具体实施中,采用满足收敛条件时对应的人脸PCA模型的权重计算得到的中性表情人脸网格与中性表情点云网格模型已经很相似了。例如,中性表情人脸网格中的脸型与中性表情点云网格模型的脸型很像,但是对于一些局部区域可能还有一些细微的差别。主要为五官、下巴等面部一些局部区域存在一些细微的差别,如眼睛大小可能还具有一些差异,嘴角区域可能还具有一些差异。
为进一步提高所得到的中性表情人脸网格与中性表情点云网格模型的相似度,在一些非限制性实施例中,将采用满足收敛条件时对应的人脸PCA模型的权重,计算得到的中性表情人脸网格记作中间人脸网格,也即计算得到中间人脸网格。对所述中间人脸网格的设定区域的网格面进行变形,并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格。所述第一约束条件为:变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围。其中,所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。第二特征匹配点为在中间人脸网格上的人脸网格顶点中选取代表脸部特征位置的点。
在具体实施中,可以根据中间人脸网格的网格面与所述中性表情点云网格模型中对应区域的网格面的差异,对所述中间人脸网格的设定区域的网格面进行变形,对网格面进行变形可以包括对网格面进行翻转、平移、拉伸中的一种或多种。例如,向内翻转眼睛轮廓上的网格面,使得翻转后的中间人脸网格中的眼部轮廓和中性表情点云网格模型的眼部轮廓更相似。如网格面的变形为翻转时,可以使得相邻网格面之间的翻转过渡更加均匀。
通过对网格面进行变形,可以使得变形后得到的中间人脸网格与中性表情点云网格模型的相似度更大,提高变形后的中间人脸网格(也即得到的所述中性表情人脸网格)的网格面的表面的光滑度。使得到的所述中性表情人脸网格与演员的实际中性表情的相似度更高。
在具体实施中,网格面可以为三角面,也可以为其他多边形网格面。三角面指三角形的网格面。
在具体实施中,变化矩阵可以采用如下方式得到。下面以中间人脸网格中的变形的网格面的变化矩阵为例进行说明:
在一些非限制性实施例中,根据变形前的中间人脸网格的网格面i的顶点以及网格面i的法向量,以及变形后的中间人脸网格的网格面i的顶点以及网格面i的法向量,计算变形的网格面i的变化矩阵。
其中,变形的网格面i的相邻网格面m的变化矩阵的计算方式与变形的网格面i相似。具体而言,将变形的网格面记作i,网格面i的相邻网格面记作m,针对变形的网格面i的相邻网格面m的变化矩阵计算方式如下:根据网格面i变形前相邻网格面m的顶点和相邻网格面m的法向量,以及网格面i变形后相邻网格面m的顶点和相邻网格面m的法向量,计算得到相邻网格面m的变化矩阵。
在一些实施例中,变形后的网格面可以设置为未知数,通过第一约束条件中变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,以及第一约束条件中的变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围来构建方程,并求解未知数,从而可以求解得到变形后的网格面。
进一步,为了提高所得到中性表情人脸网格的网格面的光滑度,第二距离范围取值为零,第一约束条件中的变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,可以配置为变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和为零。
可以理解的是,第二距离范围可以包括等于零,第二距离范围也可以取不大于第二设定值,第二设定值为大于零的正数。第二设定值可以根据对中性表情人脸网格与中性表情点云网格模型之间的相似度要求进行配置。相应地,第二设定值越靠近零,中性表情人脸网格与中性表情点云网格模型的相似度越高。
在具体实施中,变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围,可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵的模不大于预设第一阈值;也可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵的所有元素的绝对值之和不大于预设第二阈值;还可以为变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异矩阵中的各个元素的绝对值均不大于预设第三阈值。
可以通过LU分解、QR分解、迭代求解等方式求解变形的网格面的变化矩阵中的未知数,从而得到变形后的中间人脸网格,也即得到中性表情人脸网格。其中,LU分解(LUFactorization)是矩阵分解的一种,可以将一个矩阵分解为一个下三角矩阵和一个上三角矩阵的乘积(有时是它们和一个置换矩阵的乘积)。QR(正交三角)分解法是求一般矩阵全部特征值的最有效并广泛应用的方法,一般矩阵先经过正交相似变化成为Hessenberg矩阵,然后再应用QR方法求特征值和特征向量。
进一步,还可以接收对中性表情人脸网格的修缮信息,并将基于修缮信息修缮后的中性表情人脸网格作为最终的中性表情人脸网格。其中,可以通过美术人员参照对齐的中性表情点云网格模型,对中性表情人脸网格进行细微的修缮。
步骤S14,将获取到的基础表情网格模板进行组合,得到复合表情初始模板。
在具体实施中,基础表情可以指嘴部、眼部、脸颊等的表情。如左眼笑、右眼笑、左嘴角上扬、右嘴角上扬、左眼流泪、右眼流泪、左眼闭合、右眼闭合等。复合表情由至少两个基础表情组成。复合表情哭笑不得,可以由眼泪、左眼笑、右眼笑、左嘴角上扬、右嘴角上扬等基础表情组成。大笑可以由左眼笑、右眼笑、左嘴角上扬、右嘴角上扬等基础表情组成。所述基础表情网格模板根据所述中性表情人脸网格得到,以得到所述演员对应的基础表情网格模板。
在具体实施中,基础表情网格模板可以通过如下方式获得:从预设的表情数据库中获取核心矩阵以及基础表情矩阵;根据所述核心矩阵、基础表情矩阵以及所述中性表情人脸网格,计算得到所述基础表情网格模板。
具体而言,可以根据所述核心矩阵、基础表情矩阵以及所述中性表情人脸网格,计算得到所述演员的人脸特征向量;根据所述核心张量、基础表情矩阵以及所述演员的人脸特征向量,计算得到所述基础表情网格模板。
在具体实施中,可以预先收集大量人脸表情数据,人脸表情数据可以为各种表情的变形目标(Blendshapes,BS)数据,将BS数据排列成矩阵,对矩阵进行分解,得到核心矩阵Cr以及基础表情矩阵Exp,建立多线性人脸表情数据库(multilinear model)(可简称为表情数据库)。从而,表情数据库中至少包括核心矩阵Cr以及基础表情矩阵Exp。
基础表情矩阵Exp包括中性表情列向量Expneutral,根据中性表情列向量Expneutral、核心张量Cr、中性表情人脸网格可以计算演员的人脸特征向量I。根据核心张量Cr、基础表情矩阵Exp以及演员的人脸特征向量I,计算基础表情网格模板(基础表情网格模板可以采用BSbase表示),其中,基础表情网格模板包括中性表情对应的基础表情网格模板。基础表情网格模板的数目可以为40至60个,也可以为其他大于60的数目或者小于40的数目,具体可以根据实际应用场景中对基础表情的拆分或者设定需求等进行配置。
在具体实施中,可以对至少任意两个基础表情网格模板进行组合,得到N-1个复合表情初始模板(复合表情初始模板可以采用BSexp表示)。其中,组合可以包括线性组合。
在具体实施中,基础表情网格模板的中心位置是相同的,在对至少任意两个基础表情网格模板进行组合时,将待进行组合的基础表情网格模板进行相加即可。
步骤S15,针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板,得到复合表情网格。
在具体实施中,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情。
针对各个其他表情,其他表情的复合表情初始模板与其他表情点云网格模型之间仍然有差异,为进一步提高其他表情的复合网格模板与其他表情点云网格模型的相似度,可以根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板,对复合表情初始模板进行变形,并得到复合表情网格。
具体而言,在一些非限制性实施例中,参照图3,给出了步骤S15的一种具体实施方式,步骤S15具体可以包括如下步骤S151至步骤S152:
步骤S151,对所述其他表情点云网格模型进行空间位置转换,使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置。
在具体实施中,当中性表情点云网格模型为进行空间位置转换后的,且与初始人脸网格处于相同空间位置时,将此时的中性表情点云网格模型记作空间位置转后的中性表情点云网格模型。对所述其他表情点云网格模型进行空间位置转换,使得空间位置转换后的其他表情点云网格模型与空间位置转后的中性表情点云网格模型的中心位置相同。
例如,选取中性表情点云网格模型上演员耳部或者后脑的标定点及在其他表情点云模型上对应位置的标定点。在进行标定点对齐时,可以保持头部位置不动,保持标定点的位置处于头部不动的位置,对耳朵的位置或者头部后方或者而其他位置进行调整。
可以理解的是,还可以采用其他的方式将其他表情点云网格模型的空间位置转换至与中性表情点云网格模型处于同一空间位置,此处不再一一举例。
步骤S152,针对各个其他表情,分别对其他表情对应的复合表情初始模板进行变形,并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格。
对复合表情初始模板上的网格面进行变形包括网格面翻转、网格面平移、网格面拉伸等中的一种或多种。
在具体实施中,第二约束条件为:其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围,其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围,所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。标记点是画到演员的人脸上的点,所述映射点为所述标记点对应在点云网格模型中的点。
进一步,第二约束条件可以为:其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围,其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围,且第三距离范围与第四距离范围之和满足第六距离范围,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围。
在一些实施例中,第二约束条件还可以变形为:其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离,与其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离之和满足第六距离范围,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围。
在具体实施中,第三距离范围可以包括等于零,也可以包括不大于第三设定值,其中,第三设定值为正数。
进一步,第三距离范围取零,也即其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离为零,实现其他表情对应的变形后的复合表情初始模板上的映射点与其他表情点云网格模型中对应的映射点的对齐。
在具体实施中,第四距离范围可以包括等于零,也可以包括不大于第四设定值,其中,第四设定值为正数。
进一步,第四距离范围取零,也即其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离为零。实现其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的对齐。
在具体实施中,第六距离范围可以包括等于零,也可以包括不大于第五设定值,其中,设定值为正数。
需要说明的是,上述第一设定值、第二设定值、第三设定值、第四设定值以及第五设定值可以相同,也可以不同,具体根据实际需求进行配置。
在具体实施中,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围,所述第二差异范围可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵的模不大于预设第四阈值;也可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵的所有元素的绝对值之和不大于预设第五阈值;还可以为其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵得到差异矩阵中的各个元素的绝对值均不大于预设第六阈值。
在具体实施中,可以配置变形后的复合表情网格的第j个网格面为未知数,结合第二约束条件,可以求解其他表情对应的复合表情初始模板中变形的网格面的变化矩阵中的未知数,即可得到满足上述第二约束条件的变形后的复合表情网格的第j个网格面,从而得到其他表情的复合表情网格。
在具体实施中,可以通过LU分解、QR分解以及迭代求解等方式求解其他表情对应的复合表情初始模板中变形的网格面的变化矩阵中的未知数。
进一步,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵,采用如下方式计算得到:根据变形前以及变形后的复合表情初始模板的网格面的顶点以及网格面的法向量,计算复合表情初始模板中变形的网格面的变化矩阵。也即根据变形前的复合表情初始模板的网格面的顶点以及网格面的法向量,以及变形后的复合表情初始模板的网格面的顶点以及网格面的法向量,计算复合表情初始模板中变形的网格面的变化矩阵。
进一步,还可以获取对复合表情网格的修缮信息,并根据将修缮信息修缮后的复合表情网格,作为最终的复合表情网格。
可以通过美术人员参照对齐的其他表情点云网格模型,对复合表情网格Meshexp进行细微的修缮,获得最终的复合表情网格Meshexp。
步骤S16,对所述复合表情网格进行表情拆分,得到所述演员对应的真实基础表情模板。
在一些实施例中,上述步骤S16可以通过如下方式实现:获取所述复合表情网格中各网格面的法向量矩阵;根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格,对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;在对所述复合表情网格进行表情拆分时,在满足拆分约束条件下得到所述演员的真实基础表情网格模板,所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
具体而言,网格面采用三角面,以第j个复合表情网格的三角面r为例,对对复合表情网格进行表情拆分,得到真实基础表情网格。对于第j个复合表情网格中的三角面r,可以获得该三角面r对应的法向量矩阵Mr,根据每个基础表情网格模板在复合表情网格上的对应权重A,以及中性表情人脸网格三角面r对应的法向量矩阵M0,可以对复合表情网格进行表情拆分。
在具体实施中,每个基础表情网格模板在不同复合表情网格中对应的权重可以不同,各复合表情网格所对应的基础表情网格模板以及各基础表情网格模板的权重可以预先配置。
在具体实施中,还可以基于复合表情网格中各网格面的顶点坐标以及中性表情人脸网格中对应网格面的顶点坐标,对复合表情网格进行表情拆分。
在一些非限制性实施例中,在对所述复合表情网格进行表情拆分时,在满足拆分约束条件下得到所述演员对应的真实基础表情网格模板,所述拆分约束条件包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵的差异不大于设定差异阈值。将拆分约束条件作为复合表情网格进行表情拆分时的正则项,如此,可以保证所求真实基础表情网格模板平整。
在具体实施中,所述拆分约束条件中的第三差异范围可以包括所述真实基础表情网格模板的网格面与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异矩阵的模不大于预设第七阈值;也可以包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵得到差异矩阵的所有元素的绝对值之和不大于预设第八阈值;还可以包括所述真实基础表情网格模板的网格面与表情数据库中生成的基础表情网格模板对应的网格面的变化矩阵得到差异矩阵中的各个元素的绝对值均不大于预设第九阈值。
将得到的所述演员的真实基础表情模板以及所述中性表情人脸网格添加至所述表情数据库,并更新表情数据库。
此外,可以基于所述中性表情人脸网格更新所述人脸PCA模型。将中性表情人脸网格,加入人脸PCA模型,用SVD迭代等方法提取系数矩阵pcaMat,均值人脸列向量meanface,更新人脸PCA模型中的系数矩阵pcaMat和均值人脸列向量meanface。
由上可知,通过获取演员的N组扫描数据,扫描数据用于记录演员的表情,通过根据N个表情分别对应的N组扫描数据得到对应的N个点云网格模型,N个点云网格模型至少包括中性表情对应的中性表情点云网格模型。将获取的初始人脸网格与中性表情点云网格模型,生成中性表情人脸网格。至少根据中性表情人脸网格得到基础表情网格模板,将基础表情网格模板组合得到复合表情初始模板。针对各个其他表情,根据其他表情对应的其他表情点云网格模型、中性表情点云网格以及复合表情初始模板,得到复合表情网格,进而对复合表情网格进行拆分,得到演员的真实基础表情网格模板,从而实现三维人脸模型的自动构建,相比传统需要依靠模型师进行模型构建而言,可以大大的提高三维人脸模型构建效率,以及缩短构建时长。
本发明实施例提供的三维人脸模型的构建方法可以用于一些需要对目标对象进行三维人脸模型的构建以及虚拟对象等相关应用场景中。
本发明实施例还提供一种三维人脸模型的构建装置,参照图4,给出了本发明实施例中的一种三维人脸模型的构建装置的结构示意图,三维人脸模型的构建装置40可以包括:
获取单元41,用于获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;
点云网格模型构建单元42,用于根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;
中性表情人脸网格构建单元43,用于根据获取的初始人脸网格与所述中性表情点云网格模型,生成中性表情人脸网格;
组合单元44,用于将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;
复合表情网格构建单元45,用于针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;
拆分单元46,用于对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板。
在具体实施例中,三维人脸模型的构建装置40的具体工作原理及工作流程,可以参见上述任一实施例提供的三维人脸模型的构建方法中的描述,此处不在赘述。
本发明实施例还提供一种计算机可读存储介质,所述存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一种三维人脸模型的构建方法的步骤。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述任一种三维人脸模型的构建方法的步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于任一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (11)
1.一种三维人脸模型的构建方法,其特征在于,包括:
获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;
根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;
根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格;
将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;
针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格模型以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;
对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;
其中,所述根据获取的初始人脸网格与所述中性表情点云网格模型生成中性表情人脸网格,包括:
步骤一:对所述中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置;
步骤二:从所述初始人脸网格上选取面部正面的正面点,在所述中性表情点云网格模型上寻找所述正面点的最近邻点,并将寻找到的最近邻点作为第一最近邻匹配点;
步骤三:以空间位置转换后的中性表情点云网格模型为基准,约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸主成分分析模型的权重;
步骤四:判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件,若不满足,则继续迭代步骤一至步骤三,直至得到满足收敛条件的人脸主成分分析模型的权重;
步骤五:采用满足收敛条件时对应的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格;
所述基础表情网格模板通过如下方式获取得到:
从预设的表情数据库中获取核心矩阵以及基础表情矩阵;
根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格,计算得到所述基础表情网格模板。
2.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述初始人脸网格采用人脸主成分分析模型得到,所述人脸主成分分析模型根据多个预设中性表情人脸网格进行主成分分析构建得到。
3.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述采用满足收敛条件的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格包括:
采用满足收敛条件的人脸主成分分析模型的权重,计算得到中间人脸网格;对所述中间人脸网格的设定区域的网格面进行变形,并根据满足第一约束条件的变形后的中间人脸网格得到所述中性表情人脸网格,其中,所述第一约束条件为:变形后的中间人脸网格上的第二特征匹配点与所述中性表情点云网格模型中的点云特征点的距离,与所述变形后的中间人脸网格上的正面点与中性表情点云网格模型中的第二最近邻匹配点的距离之和满足第二距离范围,且变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第一差异范围,其中,所述第二最近邻匹配点为所述变形后的中间人脸网格上的正面点的最近邻点。
4.如权利要求3所述的三维人脸模型的构建方法,其特征在于,所述中间人脸网格中的变形的网格面的变化矩阵采用如下方式计算得到:
根据变形前的中间人脸网格的网格面的顶点坐标以及网格面的法向量,以及变形后的中间人脸网格的网格面的顶点坐标以及网格面的法向量,计算变形的网格面的变化矩阵。
5.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板,得到复合表情网格,包括:
对所述其他表情点云网格模型进行空间位置转换,使得空间位置转换后的其他表情点云网格模型与所述中性表情点云网格模型处于同一空间位置;针对各个其他表情,分别对其他表情对应的复合表情初始模板进行变形,并根据满足第二约束条件的变形后的复合表情初始模板得到复合表情网格,所述第二约束条件为:其他表情对应的变形后的复合表情初始模板上的标记点的映射点与其他表情点云网格模型中对应的映射点的距离满足第三距离范围,其他表情对应的复合表情初始模板上的正面点与其他表情点云网格模型的第三最近邻匹配点的距离满足第四距离范围,其他表情对应的复合表情初始模板中变形的网格面的变化矩阵与变形的网格面的相邻网格面的变化矩阵的差异满足第二差异范围,所述第三最近邻匹配点为其他表情点云网格模型上的正面点的最近邻点。
6.如权利要求5所述的三维人脸模型的构建方法,其特征在于,所述其他表情对应的复合表情初始模板中变形的网格面的变化矩阵,采用如下方式计算得到:
根据变形前的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量,以及变形后的复合表情初始模板中的网格面的顶点坐标以及网格面的法向量,计算复合表情初始模板中变形的网格面的变化矩阵。
7.如权利要求1所述的三维人脸模型的构建方法,其特征在于,所述对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板,包括:
获取所述复合表情网格中各网格面的法向量矩阵;
根据所述复合表情网格中各基础表情网格模板的预设权重、所述复合表情网格中各网格面的法向量矩阵以及所述中性表情人脸网格,对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;
在对所述复合表情网格进行表情拆分时,在满足拆分约束条件下得到所述演员的真实基础表情网格模板,所述拆分约束条件包括所述真实基础表情网格模板的网格面的变化矩阵与表情数据库中的基础表情网格模板对应的网格面的变化矩阵的差异满足第三差异范围。
8.如权利要求1所述的三维人脸模型的构建方法,其特征在于,还包括:
将得到的所述真实基础表情网格模板添加至表情数据库,更新所述表情数据库。
9.一种三维人脸模型的构建装置,其特征在于,包括:
获取单元,用于获取演员的N组扫描数据,所述扫描数据用于记录所述演员的表情,N组扫描数据分别对应N个表情,N个表情至少包括中性表情,N为大于或等于2的整数;
点云网格模型构建单元,用于根据所述N组扫描数据分别构建N个点云网格模型,N个点云网格模型至少包括所述中性表情对应的中性表情点云网格模型;
中性表情人脸网格构建单元,用于根据获取的初始人脸网格与所述中性表情点云网格模型,生成中性表情人脸网格;
组合单元,用于将获取到的基础表情网格模板进行组合,得到复合表情初始模板,其中,复合表情由至少两个基础表情组成,所述基础表情网格模板至少根据所述中性表情人脸网格得到;
复合表情网格构建单元,用于针对各个其他表情,根据其他表情对应的其他表情点云网格模型、所述中性表情点云网格以及所述复合表情初始模板,得到复合表情网格,其他表情指N个表情中除中性表情之外的N-1个表情中的各个表情;
拆分单元,用于对所述复合表情网格进行表情拆分,得到所述演员的真实基础表情网格模板;
其中,所述中性表情人脸网格构建单元,用于步骤一:对所述中性表情点云网格模型进行空间位置转换,将所述中性表情点云网格模型转换至与所述初始人脸网格同一空间位置;步骤二:从所述初始人脸网格上选取面部正面的正面点,在所述中性表情点云网格模型上寻找所述正面点的最近邻点,并将寻找到的最近邻点作为第一最近邻匹配点;步骤三:以空间位置转换后的中性表情点云网格模型为基准,约束所述初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离满足第一距离范围,求解人脸主成分分析模型的权重;步骤四:判断基于求解得到的人脸主成分分析模型的权重得到的初始人脸网格上的正面点与所述空间位置转换后的中性表情点云网格模型上的第一最近邻匹配点的距离是否满足收敛条件,若不满足,则继续迭代步骤一至步骤三,直至得到满足收敛条件的人脸主成分分析模型的权重;步骤五:采用满足收敛条件时对应的人脸主成分分析模型的权重,计算得到所述中性表情人脸网格;
组合单元,用于通过如下方式获取得到所述基础表情网格模板:从预设的表情数据库中获取核心矩阵以及基础表情矩阵;根据所述核心矩阵、所述基础表情矩阵以及所述中性表情人脸网格,计算得到所述基础表情网格模板。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至8任一项所述的三维人脸模型的构建方法的步骤。
11.一种终端,包括存储器和处理器,所述存储器上存储有能够在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至8中任一项所述的三维人脸模型的构建方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527295.4A CN114219920B (zh) | 2021-12-14 | 2021-12-14 | 三维人脸模型的构建方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111527295.4A CN114219920B (zh) | 2021-12-14 | 2021-12-14 | 三维人脸模型的构建方法及装置、存储介质、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114219920A CN114219920A (zh) | 2022-03-22 |
CN114219920B true CN114219920B (zh) | 2023-05-26 |
Family
ID=80701810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111527295.4A Active CN114219920B (zh) | 2021-12-14 | 2021-12-14 | 三维人脸模型的构建方法及装置、存储介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219920B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546868B (zh) * | 2022-10-25 | 2023-05-16 | 湖南芒果无际科技有限公司 | 面部动画采集设备、方法及可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572720B2 (en) * | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
CN110363858B (zh) * | 2019-06-18 | 2022-07-01 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
-
2021
- 2021-12-14 CN CN202111527295.4A patent/CN114219920B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114219920A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ploumpis et al. | Towards a complete 3D morphable model of the human head | |
Cao et al. | Facewarehouse: A 3d facial expression database for visual computing | |
CN103208133B (zh) | 一种图像中人脸胖瘦的调整方法 | |
Kong et al. | Head pose estimation from a 2D face image using 3D face morphing with depth parameters | |
US20230044644A1 (en) | Large-scale generation of photorealistic 3d models | |
JP2006520054A (ja) | 不変視点からの画像照合および2次元画像からの3次元モデルの生成 | |
CN103733226A (zh) | 快速的有关节运动的跟踪 | |
KR101333836B1 (ko) | 에이에이엠 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법 | |
JP2023545200A (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
CN113066171B (zh) | 一种基于三维人脸形变模型的人脸图像生成方法 | |
US20080024504A1 (en) | Method to imitate lifelike images for computer deformed objects | |
WO2019030794A1 (ja) | 情報処理装置、モデルデータ作成プログラム、モデルデータ作成方法 | |
CN112836680A (zh) | 一种基于视觉的人脸表情识别方法 | |
KR101116838B1 (ko) | 개인성향을 반영한 과장표정 생성방법 | |
CN108615256A (zh) | 一种人脸三维重建方法及装置 | |
CN114219920B (zh) | 三维人脸模型的构建方法及装置、存储介质、终端 | |
KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
Zhou et al. | Image deformation with vector-field interpolation based on MRLS-TPS | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
Chen et al. | 3D active appearance model for aligning faces in 2D images | |
Waczyńska et al. | GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting | |
CN117333604A (zh) | 一种基于语义感知神经辐射场的人物面部重演方法 | |
Yu et al. | Mean value coordinates–based caricature and expression synthesis | |
Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |