CN110008873A - 面部表情捕捉方法、系统及设备 - Google Patents
面部表情捕捉方法、系统及设备 Download PDFInfo
- Publication number
- CN110008873A CN110008873A CN201910230118.6A CN201910230118A CN110008873A CN 110008873 A CN110008873 A CN 110008873A CN 201910230118 A CN201910230118 A CN 201910230118A CN 110008873 A CN110008873 A CN 110008873A
- Authority
- CN
- China
- Prior art keywords
- face
- key points
- points
- expression
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 230000014509 gene expression Effects 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 62
- 230000009466 transformation Effects 0.000 claims description 61
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 54
- 230000001815 facial effect Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000007935 neutral effect Effects 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000118 hair dye Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开的面部表情捕捉方法、系统及设备，涉及计算机视觉技术领域，具体涉及利用人脸检测技术、关键点检测技术和面部动作拟合技术，实时获取面部动作信息，然后通过形变模型展现出来。本发明提出的面部表情捕捉方法、系统及设备，利用丰富的形变模型，采用先进的面部动作拟合技术，实现了最大可能的捕捉到面部的每一个细微变化、并且最大程度的提高了运算效率。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种面部表情捕捉方法、系统及设备。
背景技术
增强现实技术(AR)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。目前市场上已经有一些与面部AR相关的应用，比如AR头套、AR染发、AR口红、AR人脸贴纸等，以及一些带交互功能的app，如Face激萌、抖音、B612、美颜相机等。
国内存在的与面部动作相关的AR应用，在效果上存在如下缺陷：(1)国内市场上的表情迁移对姿态、面部动作的捕捉都不够精确，或者有的动作根本捕捉不到，并且不稳定，不流畅；(2)面部贴纸应用只对嘴部动作有跟踪，眼睛周围的动作并没有实时跟踪；(3)只能捕捉到一些基本的脸部表情动作，像张嘴，笑，并不能复制更多的面部动作，即面部动作捕捉存在局限性。
发明内容
针对现有技术中以上几点不足，本发明提出的面部表情捕捉方法、系统及设备，利用丰富的形变模型，采用先进的面部动作拟合技术，实现了最大可能的捕捉到面部的每一个细微变化。
本发明的技术方案如下：
一种面部表情捕捉方法，包括：
获取图像数据、检测得到人脸关键点的步骤；
优选的，上述获取图像数据具体包括采用相机设备实时获取彩色和深度图像数据流。上述检测得到人脸关键点具体包括：采用人脸检测技术得到人脸框的位置，将所述彩色和深度数据流以及检测到的人脸框输入到关键点检测系统，得到人脸上关键点的位置。
根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数以得到当前面部表情信息的步骤；
扩充人脸关键点的步骤；
根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息，利用第二仿射变换矩阵求解脸型权重系数以得到当前人脸脸型信息的步骤；
优选的，上述预先构建的形变模型的关键要素包括中性人脸模型、脸型基向量、表情基向量、脸型权重系数和表情权重系数，所述形变模型的顶点数介于1000和2000之间。
以及基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果的步骤。
优选的，上述根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数具体包括：根据预先构建的形变模型上的关键点和检测到的人脸关键点计算出第一仿射变换矩阵，利用所述第一仿射变换矩阵将三维点投影到二维，构造如下变换方程，采用QR分解求解表情权重系数：
其中S0是实时检测到的当前面部状态，为中性表情，为表情权重系数，为表情基向量，n为表情基向量的个数。
优选的，上述根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数以得到当前面部表情信息的步骤还包括计算yaw角；
所述扩充人脸关键点的步骤包括：初始化模型中人脸轮廓的34个已知的关键点记为landmark0，实时情况下检测的人脸图像中的16个关键点记为Landmark1，设置阈值T；当所述yaw角大于T时，选取Landmark1中左边人脸的8个关键点，当所述yaw角小于-T时，选取Landmark1中右边人脸的8个关键点，当所述yaw角在-T和T之间时，选取Landmark1中左右两边人脸的共16个关键点，将当前选取的每个关键点记为P0，根据所述第一仿射变换矩阵将landmark0中的所有点投影到二维点，计算P0和所有二维点的距离，选取距离最小的二维点对应的三维点作为扩充的关键点。
所述扩充人脸关键点的步骤还包括：当所述yaw角大于T时，右边人脸存在遮挡，根据法向量计算模型右边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，16个点范围内采样选取8个点作为右边脸扩充的关键点；当所述yaw角小于-T时，左边人脸存在遮挡，根据法向量计算模型左边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，16个点范围内采样选取8个点作为左边脸扩充的关键点。
优选的，上述根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息，利用第二仿射变换矩阵求解脸型权重系数具体包括：根据预先构建的形变模型上的关键点和扩充后的人脸关键点计算出第二仿射变换矩阵；将三维点映射到二维构造如下线性方程组，通过QR分解求解脸型权重系数：
其中，S0是当前面部表情信息，是脸型权重系数，是脸型基向量，S1是实时检测出的当前面部状态。
本申请还提供的一种面部表情捕捉系统，包括：用于获取图像数据的相机设备，和用于根据所述相机设备获取的所述图像数据获得面部表情捕捉结果的计算设备；所述图像数据包括彩色和深度图像数据流；
所述计算设备包括：人脸关键点检测模块、第一计算模块、人脸关键点扩充模块、第二计算模块和第三计算模块；
所述人脸关键点检测模块，用于根据所述相机设备获取的所述图像数据检测得到人脸框，根据所述人脸框检测得到人脸关键点；
所述第一计算模块，用于根据预先构建的形变模型和所述人脸关键点检测模块检测到的人脸关键点计算第一仿射变换矩阵和求解表情权重系数；
所述人脸关键点扩充模块，用于根据所述人脸关键点检测模块检测到的人脸关键点、所述预先构建的形变模型和所述第一计算模块计算得到的第一仿射变换矩阵计算出要增加的关键点，得到扩充后的人脸关键点；
所述第二计算模块，用于根据预先构建的形变模型和所述人脸关键点扩充模块得到的扩充后的人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息求解脸型权重系数，并得到当前人脸脸型信息；
所述第三计算模块，用于根据所述第二计算模块得到的当前人脸脸型信息求解表情权重系数，并得到面部表情捕捉结果。
本申请还提供的一种面部表情捕捉设备，包括：一个或多个处理器，用于控制计算设备的操作；以及存储器，用于存储由所述一个或多个处理器使用的数据和程序指令，其中所述一个或多个处理器配置为执行存储在存储器中的指令，以便：检测人脸关键点，根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵和求解面部表情系数；扩充人脸关键点；根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵和求解脸型权重系数以得到当前人脸脸型信息；基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果。
有益效果：(1)相比现有技术只用简单的几个表情基的形变模型，本发明采用的形变模型，包含中性的面部信息、表情基、脸型基等面部基本的单元信息，有一千多个顶点，能够捕捉到更丰富的面部动作，能够最大程度的提高运算效率；(2)本发明使用了3D信息，利用彩色信息计算面部表情，不但能完美的复制使用者的实时表情，而且能够保留使用者的面部结构信息，获取到了使用者的脸型信息和面部凹凸信息，这样面部动表情动作捕捉更加全面。
附图说明
图1是本发明提供的面部表情捕捉方法的流程图；
图2a是本发明提供的人脸框检测示意图；
图2b是本发明提供的人脸关键点检测示意图；
图3是本发明提供的面部捕捉结果以及通过形变模型展现的效果图；
图4是本发明提供的面部表情捕捉系统组成框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
参见图1，为本申请一个例子中的面部表情捕捉方法的流程图，该方法包括以下步骤：
在步骤101、获取图像数据、检测得到人脸关键点；
其中，此处获取的图像数据是彩色和深度图像数据流。
首先，基于彩色和深度图像数据流，通过人脸检测技术得到人脸框的位置，如图2a所示，然后将彩色和深度图像数据流以及检测到的人脸框输入到关键点检测系统，得到人脸关键点位置，如图2b所示。
需说明的是本申请中采用的人脸检测技术检测人脸框位置，以及用到的关键点检测系统检人脸关键点位置，均为本领域技术人员所熟知的方法。
在步骤102、根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数以得到当前面部表情信息；
本申请中的形变模型是一个通过改变权重系数就可以表达出不同人脸的脸型和表情的模型，该模型包含了脸型单位信息和表情单位信息，对于任何一个面部状态，都能够计算出一组权重系数，使得该面部状态可以由这些单位信息线性表示。
形变模型构造方法如下：利用3D制作工具制作通用的中性人脸模型和mid个脸型模型，以及mex个表情模型，利用主成分分析方法计算出脸型基向量，利用表情模型与中性人脸模型的残差计算出表情基向量，对于任意一张人脸S，都存在一组脸型权重系数和表情权重系数，通过改变这两个权重系数本申请中形变模型可以变换得到任何一张人脸。
优选的，本实施例中的形变模型有一千多个顶点，关于形变模型的顶点数量的选取，如果顶点数量过多，会影响运算效率，如果太少，又会影响面部动作表达细节，所以形变模型的顶点数量最优选取数量介于1000与2000之间。
本实施例中，形变模型上的关键点是三维的，记为L3D，检测到的图像上的关键点是二维的，记为L2D，为了方便计算，将关键点转换为齐次坐标L′3D，L′2D，构造两组点之间的变换方程，采用QR分解、奇异值分解计算仿射变换矩阵M和yaw角；
首先，通过下面的公式计算变换参数向量K：L′3DK＝L′2D，取K的前三个元素构成向量ξ1，5到7个元素构成向量ξ2，令ξ3＝ξ1×ξ2，构造矩阵
设相机设备的z方向的方向向量为Z，通过下面的式子计算yaw角：
对A进行奇异值分解，得到正交矩阵U和V，通过下面的公式计算姿态矩阵R：R＝(UV)′；根据姿态矩阵容易计算出坐标转换矩阵T和投影矩阵P，设窗口矩阵为V，则通过下面的式子计算第一仿射变换矩阵M：M＝TPV。
利用第一仿射变换矩阵M将三维点投影到二维，根据两组点构造变换方程，采用QR分解求解表情权重系数：
其中S0是实时检测到的当前面部状态，为中性表情，为表情权重系数，为表情基向量，n为表情基向量的个数。
需说明的是，在步骤102之前还包括表情初始化步骤：设脸型基向量有m个，表情基向量有n个，脸型权重系数和表情权重系数的初始值设置为0，即初始表情为中性表情
理论上任何一个人脸的面部状态，都可以由中性面部、表情基和脸型基的线性组合表示，在步骤102求得表情权重系数之后，重新计算记为当前面部表情信息。
在步骤103、扩充人脸关键点；
为了提高面部表情动作捕捉的精度和准确度，在之前的关键点上增加更多的点来计算脸型权重系数和表情权重系数，其中计算脸型权重系数采用三维点来计算，这样可以保证拟合出的人脸和用户的脸型尽量逼近，本发明采用下面的方法增加更多的关键点：
1)初始设置：
初始化模型中人脸轮廓有34个已知的关键点(左右各17个)，记为landmark0，实时情况下检测的人脸图像中有16个关键点(左右各8个)，记为Landmark1,设置阈值T；
2)根据yaw角和阈值T的比较结果扩充关键点；
当yaw角大于T时，选取Landmark1中左边的8个关键点，当yaw角小于-T时选取Landmark1中右边的8个关键点，当yaw角在-T和T之间时，选取Landmark1中左右共16个关键点，将当前选取出的每个关键点记为P0，根据所述第一仿射变换矩阵将landmark0中的所有点投影到二维点，计算P0和所有二维点的距离，选取距离最小的二维点对应的三维点作为增加的关键点，即当yaw大于T或者小于-T时，增加了8个关键点作为扩充的关键点，当yaw角在-T和T之间时增加了16个关键点作为扩充的关键点。
进一步的，如果yaw角大于T，右边脸存在遮挡，根据法向量计算模型右边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，17个点范围内采样选取8个点作为右边脸扩充的关键点；如果yaw角小于T，左边脸存在遮挡，根据法向量计算模型左边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，17个点范围内采样选取8个点作为左边脸扩充的关键点。
本申请为了确保拟合出的人脸和实际中的人脸尽量逼近，根据人脸姿态选取合适的轮廓点增加到之前选取的关键点内，对于角度比较大的情况，当遮挡处理，根据边缘拓扑关系估算出对应的关键点作为扩充的关键点，在提升面部动作捕捉效果或者速度方面都达到了显著效果。
在步骤104、根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息，利用第二仿射变换矩阵求解脸型权重系数以得到当前人脸脸型信息；
本实施例中，第二仿射变换矩阵的计算方法与第一仿射变换矩阵的计算方法相同，根据上述方法计算姿态矩阵R1，坐标转换矩阵T1和投影矩阵P1，利用下面的公式计算仿射变换矩阵M1：M1＝T1P1V；将三维点映射到二维构造如下线性方程组，通过QR分解求解脸型权重系数：
其中，S0是通过步骤102计算出的当前面部表情信息，是脸型权重系数，是脸型基向量，S1是实时检测出的当前面部状态。
在求得脸型权重系数之后，本步骤重新计算并将计算结果记为当前人脸脸型信息。
在步骤105、基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果。
在有脸型信息的基础上，通过求解下面的线性方程组，计算表情权重系数：
其中，是步骤104得到的当前人脸脸型信息，是要求解的表情权重系数，是表情基向量，S2是实时检测出的当前面部状态。
最后，在求得表情权重系数之后，重新计算作为最终的人脸面部捕捉结果。
基于本申请实施例提供的面部表情捕捉方法，本发明每帧面部表情捕捉的时间不超过1ms，能够实时有效的捕捉到用户的面部信息，如图3所示是部分面部捕捉结果，以及通过形变模型展现出来的效果图。
参见图4，为本申请一个例子中的面部表情捕捉系统，该系统包括：用于获取图像数据的相机设备100，和用于根据所述相机设备获取的所述图像数据获得面部表情捕捉结果的计算设备200；所述图像数据包括彩色和深度图像数据流；
本实施例中的计算设备200具备执行上述步骤101至步骤105所示流程的功能，具体的：所述计算设备200包括：人脸关键点检测模块201、第一计算模块202、人脸关键点扩充模块203、第二计算模块304和第三计算模块205；各个模块功能如下：
所述人脸关键点检测模块201，用于根据所述相机设备获取的所述图像数据检测得到人脸框，根据所述人脸框检测得到人脸关键点；
所述第一计算模块202，用于根据预先构建的形变模型和所述人脸关键点检测模块检测到的人脸关键点计算第一仿射变换矩阵和求解表情权重系数；
所述人脸关键点扩充模块203，用于根据所述人脸关键点检测模块检测到的人脸关键点、所述预先构建的形变模型和所述第一计算模块计算得到的第一仿射变换矩阵计算出要增加的关键点，得到扩充后的人脸关键点；
所述第二计算模块204，用于根据预先构建的形变模型和所述人脸关键点扩充模块得到的扩充后的人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息求解脸型权重系数，并得到当前人脸脸型信息；
所述第三计算模块205，用于根据所述第二计算模块得到的当前人脸脸型信息求解表情权重系数，并得到面部表情捕捉结果。
基于上述实施例内容，本申请还提供了一种面部表情捕捉设备，包括：一个或多个处理器，用于控制计算设备的操作；以及存储器，用于存储由所述一个或多个处理器使用的数据和程序指令，其中所述一个或多个处理器配置为执行存储在存储器中的指令，以便：检测人脸关键点，根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵和求解面部表情系数；扩充人脸关键点；根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵和求解脸型权重系数以得到当前人脸脸型信息；基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果。
所述一个或多个处理器还配置为执行存储在存储器中的指令，以便构建所述形变模型，所述形变模型的关键要素包括中性人脸模型、脸型基向量、表情基向量、脸型权重系数和表情权重系数。
在本申请实施例中，存储器可以是多种形式，比如，可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。
Claims (11)
1.一种面部表情捕捉方法，其特征在于，包括：
获取图像数据、检测得到人脸关键点的步骤；
根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数以得到当前面部表情信息的步骤；
扩充人脸关键点的步骤；
根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息，利用第二仿射变换矩阵求解脸型权重系数以得到当前人脸脸型信息的步骤；
以及基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果的步骤。
2.根据权利要求1所述的方法，其特征在于，所述获取图像数据具体包括采用相机设备实时获取彩色和深度图像数据流。
3.根据权利要求2所述的方法，其特征在于，所述检测得到人脸关键点具体包括：采用人脸检测技术得到人脸框的位置，将所述彩色和深度数据流以及检测到的人脸框输入到关键点检测系统，得到人脸上关键点的位置。
4.根据权利要求1所述的方法，其特征在于，所述预先构建的形变模型的关键要素包括中性人脸模型、脸型基向量、表情基向量、脸型权重系数和表情权重系数，所述形变模型的顶点数介于1000和2000之间。
5.根据权利要求1所述的方法，其特征在于，所述根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数具体包括：根据预先构建的形变模型上的关键点和检测到的人脸关键点计算出第一仿射变换矩阵，利用所述第一仿射变换矩阵将三维点投影到二维，构造如下变换方程，采用QR分解求解表情权重系数：
其中S0是实时检测到的当前面部状态，为中性表情，为表情权重系数，为表情基向量，n为表情基向量的个数。
6.根据权利要求1所述的方法，其特征在于，所述根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵，利用第一仿射变换矩阵求解表情权重系数以得到当前面部表情信息的步骤还包括计算yaw角；
所述扩充人脸关键点的步骤包括：初始化模型中人脸轮廓的34个已知的关键点记为landmark0，实时情况下检测的人脸图像中的16个关键点记为Landmark1，设置阈值T；当所述yaw角大于T时，选取Landmark1中左边人脸的8个关键点，当所述yaw角小于-T时，选取Landmark1中右边人脸的8个关键点，当所述yaw角在-T和T之间时，选取Landmark1中左右两边人脸的共16个关键点，将当前选取的每个关键点记为P0，根据所述第一仿射变换矩阵将landmark0中的所有点投影到二维点，计算P0和所有二维点的距离，选取距离最小的二维点对应的三维点作为扩充的关键点。
7.根据权利要求6所述的方法，其特征在于，所述扩充人脸关键点的步骤还包括：当所述yaw角大于T时，右边人脸存在遮挡，根据法向量计算模型右边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，16个点范围内采样选取8个点作为右边脸扩充的关键点；当所述yaw角小于-T时，左边人脸存在遮挡，根据法向量计算模型左边脸的可见点与不可见点，选取过渡点作为边界点，在边界点里，16个点范围内采样选取8个点作为左边脸扩充的关键点。
8.根据权利要求1所述的方法，其特征在于，所述根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息，利用第二仿射变换矩阵求解脸型权重系数具体包括：根据预先构建的形变模型上的关键点和扩充后的人脸关键点计算出第二仿射变换矩阵；将三维点映射到二维构造如下线性方程组，通过QR分解求解脸型权重系数：
其中，S0是当前面部表情信息，是脸型权重系数，是脸型基向量，S1是实时检测出的当前面部状态。
9.一种面部表情捕捉系统，其特征在于，包括：
用于获取图像数据的相机设备，和用于根据所述相机设备获取的所述图像数据获得面部表情捕捉结果的计算设备；所述图像数据包括彩色和深度图像数据流；
所述计算设备包括：人脸关键点检测模块、第一计算模块、人脸关键点扩充模块、第二计算模块和第三计算模块；
所述人脸关键点检测模块，用于根据所述相机设备获取的所述图像数据检测得到人脸框，根据所述人脸框检测得到人脸关键点；
所述第一计算模块，用于根据预先构建的形变模型和所述人脸关键点检测模块检测到的人脸关键点计算第一仿射变换矩阵和求解表情权重系数；
所述人脸关键点扩充模块，用于根据所述人脸关键点检测模块检测到的人脸关键点、所述预先构建的形变模型和所述第一计算模块计算得到的第一仿射变换矩阵计算出要增加的关键点，得到扩充后的人脸关键点；
所述第二计算模块，用于根据预先构建的形变模型和所述人脸关键点扩充模块得到的扩充后的人脸关键点计算第二仿射变换矩阵，基于当前面部表情信息求解脸型权重系数，并得到当前人脸脸型信息；
所述第三计算模块，用于根据所述第二计算模块得到的当前人脸脸型信息求解表情权重系数，并得到面部表情捕捉结果。
10.一种面部表情捕捉设备，其特征在于，包括：一个或多个处理器，用于控制计算设备的操作；以及存储器，用于存储由所述一个或多个处理器使用的数据和程序指令，其中所述一个或多个处理器配置为执行存储在存储器中的指令，以便：检测人脸关键点，根据预先构建的形变模型和人脸关键点计算第一仿射变换矩阵和求解面部表情系数；扩充人脸关键点；根据预先构建的形变模型和人脸关键点计算第二仿射变换矩阵和求解脸型权重系数以得到当前人脸脸型信息；基于当前人脸脸型信息求解表情权重系数以得到面部表情捕捉结果。
11.根据权利要求10所述的设备，其特征在于，所述一个或多个处理器还配置为执行存储在存储器中的指令，以便构建所述形变模型，所述形变模型的关键要素包括中性人脸模型、脸型基向量、表情基向量、脸型权重系数和表情权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910230118.6A CN110008873B (zh) | 2019-04-25 | 2019-04-25 | 面部表情捕捉方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910230118.6A CN110008873B (zh) | 2019-04-25 | 2019-04-25 | 面部表情捕捉方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008873A true CN110008873A (zh) | 2019-07-12 |
| CN110008873B CN110008873B (zh) | 2021-06-22 |
Family
ID=67168081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910230118.6A Active CN110008873B (zh) | 2019-04-25 | 2019-04-25 | 面部表情捕捉方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008873B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488853A (zh) * | 2020-04-23 | 2020-08-04 | 杨九妹 | 金融机构安防系统的大数据人脸识别方法、系统及机器人 |
| CN114677476A (zh) * | 2022-03-30 | 2022-06-28 | 北京字跳网络技术有限公司 | 一种脸部处理方法、装置、计算机设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140355821A1 (en) * | 2013-06-04 | 2014-12-04 | Apple Inc. | Object Landmark Detection in Images |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| US20170116467A1 (en) * | 2015-03-18 | 2017-04-27 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
| CN108109198A (zh) * | 2017-12-18 | 2018-06-01 | 深圳市唯特视科技有限公司 | 一种基于级联回归的三维表情重建方法 |
| CN108648280A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN109003224A (zh) * | 2018-07-27 | 2018-12-14 | 北京微播视界科技有限公司 | 基于人脸的形变图像生成方法和装置 |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109087379A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 人脸表情的迁移方法和人脸表情的迁移装置 |
| CN109102559A (zh) * | 2018-08-16 | 2018-12-28 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN109472289A (zh) * | 2018-10-09 | 2019-03-15 | 北京陌上花科技有限公司 | 关键点检测方法和设备 |
-
2019
- 2019-04-25 CN CN201910230118.6A patent/CN110008873B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140355821A1 (en) * | 2013-06-04 | 2014-12-04 | Apple Inc. | Object Landmark Detection in Images |
| US20170116467A1 (en) * | 2015-03-18 | 2017-04-27 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106157372A (zh) * | 2016-07-25 | 2016-11-23 | 深圳市唯特视科技有限公司 | 一种基于视频图像的3d人脸网格重构方法 |
| CN107122705A (zh) * | 2017-03-17 | 2017-09-01 | 中国科学院自动化研究所 | 基于三维人脸模型的人脸关键点检测方法 |
| CN108109198A (zh) * | 2017-12-18 | 2018-06-01 | 深圳市唯特视科技有限公司 | 一种基于级联回归的三维表情重建方法 |
| CN108648280A (zh) * | 2018-04-25 | 2018-10-12 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109003224A (zh) * | 2018-07-27 | 2018-12-14 | 北京微播视界科技有限公司 | 基于人脸的形变图像生成方法和装置 |
| CN109087379A (zh) * | 2018-08-09 | 2018-12-25 | 北京华捷艾米科技有限公司 | 人脸表情的迁移方法和人脸表情的迁移装置 |
| CN109102559A (zh) * | 2018-08-16 | 2018-12-28 | Oppo广东移动通信有限公司 | 三维模型处理方法和装置 |
| CN109472289A (zh) * | 2018-10-09 | 2019-03-15 | 北京陌上花科技有限公司 | 关键点检测方法和设备 |
Non-Patent Citations (4)
| Title |
|---|
| PANAGIOTIS PERAKIS ET AL: "3D Facial Landmark Detection under Large Yaw and Expression Variations", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLGENCE》 * |
| 孙建伟: "基于形变模型带表情的三维人脸重建", 《现代计算机：上下旬》 * |
| 王娟: "基于形变模型的人脸三维重构与表情传递研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王庆祥: "基于Kinect的主动外观模型在表情动画上的应用", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488853A (zh) * | 2020-04-23 | 2020-08-04 | 杨九妹 | 金融机构安防系统的大数据人脸识别方法、系统及机器人 |
| CN114677476A (zh) * | 2022-03-30 | 2022-06-28 | 北京字跳网络技术有限公司 | 一种脸部处理方法、装置、计算机设备及存储介质 |
| WO2023185398A1 (zh) * | 2022-03-30 | 2023-10-05 | 北京字跳网络技术有限公司 | 一种脸部处理方法、装置、计算机设备及存储介质 |
| CN114677476B (zh) * | 2022-03-30 | 2024-08-16 | 北京字跳网络技术有限公司 | 一种脸部处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008873B (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7151016B2 (ja) | 直方体検出のための深層機械学習システム | |
| CN111325823B (zh) | 人脸纹理图像的获取方法、装置、设备及存储介质 | |
| US11238606B2 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
| CN111402290B (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
| Wang et al. | Video-based hand manipulation capture through composite motion control | |
| KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| WO2011075082A1 (en) | Method and system for single view image 3 d face synthesis | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| KR20170064369A (ko) | 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치 | |
| WO2023071790A1 (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| Rhee et al. | Real-time facial animation from live video tracking | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| Bao et al. | High-quality face capture using anatomical muscles | |
| CN110008873B (zh) | 面部表情捕捉方法、系统及设备 | |
| CN105069829B (zh) | 一种基于多目视频的人体动画生成方法 | |
| CN114049678B (zh) | 一种基于深度学习的面部动作捕捉方法及系统 | |
| Somepalli et al. | Implementation of single camera markerless facial motion capture using blendshapes | |
| CN115023742A (zh) | 具有详细褶皱的面部网格变形 | |
| Jian et al. | Realistic face animation generation from videos | |
| US20190377935A1 (en) | Method and apparatus for tracking features | |
| Ren et al. | Efficient facial reconstruction and real-time expression for VR interaction using RGB-D videos | |
| Wei et al. | Virtual Hand-Gesture Interaction System based on SRHandNet with High Frame Rate | |
| CN116958450B (zh) | 一种面向二维数据的人体三维重建方法 | |
| Kim et al. | Estimating approximate average shape and motion of deforming objects with a monocular view |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |