CN113537021A - 一种基于普通视频流的3d人脸模型表情自动生成方法 - Google Patents
一种基于普通视频流的3d人脸模型表情自动生成方法 Download PDFInfo
- Publication number
- CN113537021A CN113537021A CN202110771811.1A CN202110771811A CN113537021A CN 113537021 A CN113537021 A CN 113537021A CN 202110771811 A CN202110771811 A CN 202110771811A CN 113537021 A CN113537021 A CN 113537021A
- Authority
- CN
- China
- Prior art keywords
- face
- frame
- expression
- model
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。本发明设计合理，能够实现3D人脸模型表情的自动快速生成，无需人工配合，大大降低了的人力陈本以及大大节省了时间，同时本发明专业性要求较低，同时运行成本低。
Description
技术领域
本发明涉及图像表情迁移技术领域，尤其涉及一种基于普通视频流的3D人脸模型表情自动生成方法。
背景技术
如今CG技术越来越多地应用到影视创作当中来，而针对人脸的3D建模是最常见的应用场景之一。通过进行3D人脸建模，并且采集人脸表情数据进行合成，可以实现虚拟人物表演等目的。该应用场景中关键的一环是人脸表情的采集与导入，目前的解决方案主要包括如下两种：
(1)利用头盔式3D面部表情捕捉系统。系统采用视觉三维测量原理，对人脸表面的密布特征点集进行实时运动跟踪和重建，得到面部肌肉高度精细的三维空间运动轨迹，可直接用于驱动面部动画模型，生成表情动画；
(2)利用软件中的面部表情调整插件。专业的3D建模软件如Maya等提供了面部表情调整插件，通过逐帧调节参数也可以模拟各种表情。
上述两种方案虽均能实现3D人脸模型表情的制作，但仍存在一定的缺陷，如第一种解决方案，其专业性需求较高，且运行成本较高，而运用第二种解决方案，对于诸如影视换脸的场景(通过CG等技术将已经拍摄好的视频中某个人物替换掉)，由于素材已经拍摄处理完毕，如果想要进行3D人脸表情采集，需要演员重新进行表演，或者由后期人员逐帧手动调整模型的表情来还原，时间和人力成本都非常高。
发明内容
本发明的目的在于提供一种基于普通视频流的3D人脸模型表情自动生成方法，实现低成本及在无需人员配合的条件下快速完成表情的采集工作。
本发明的实现流程如下：
一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：
S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧自动获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；
S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；
S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。
在步骤S100中，所述获取人脸位置的具体方法为：采用深度学习人脸检测算法S3FD获取人脸序列，用(x1,y1,x2,y2,t)五元组进行表示，其中：
t表示帧号，x1，y1表示人脸外接框的左上角坐标，x2，y2表示人脸外接框右下角坐标。
在步骤S100中，所述106个关键点的信息组成涵盖脸部轮廓，眼睛，口，鼻及表情动作。
在步骤S100中，所述监测106个关键点信息的具体方法为：采用深度学习算法PFLD检测出106个关键点的信息，用(x1,y1,x2,y2,...x106,y106,t)进行表示，其中：
Xi，yi表示关键点i的坐标，t表示帧号。
所述得到3D模型的表情序列的具体步骤为：
S301、采用坐标转换算法对3D模型的关键点坐标进行转换，并对坐标转换算法进行优化，得到每帧的旋转参数；
S302、将旋转参数与3D模型中的参数进行相应位置的变换。
在步骤S301中，所述坐标转换算法的运算函数为：
其中，s表示缩放系数，R表示旋转矩阵，S是3D模型中关键点的坐标，t是位移，Yi是视频中的像素坐标。R用以下九个参数表示：
在步骤S301中，所述坐标转换算法采用非线性最小二乘的方法进行优化。
通过上述技术方案，本发明具有如下有益效果：
(1)本发明能够实现3D人脸模型表情的自动快速生成，无需人工配合，相对于现有技术中的利用Maya面部表情调整插件的解决方案，大大降低了的人力成本以及大大节省了时间；
(2)本发明通过普通的相机拍摄的视频流实现3D面部表情的采集，并且能够导入到主流的3D建模软件当中，相对于现有技术中利用头盔式3D面部表情捕捉系统的解决方案，专业性要求较低，同时运行陈本低。
附图说明
图1是本发明基于普通视频流的3D人脸模型表情自动生成方法的流程示意图；
图2是本发明基于普通视频流的3D人脸模型表情自动生成方法中得到3D模型的表情序列的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
请参见附图1，一种基于普通视频流的3D人脸模型表情自动生成方法，包括如下步骤：
S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧自动获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；
具体的，视频流导入后，首先需要对视频流进行人脸检测以逐帧获取演员的人脸位置，此处采用深度学习人脸检测算法S3FD，用(x1,y1,x2,y2,t)五元组进行表示，其中，t表示帧号，x1，y1表示人脸外接框的左上角坐标，x2，y2表示人脸外接框右下角坐标，获取人脸位置之后，针对人脸部分的像素，单独采用深度学习算法PFLD检测出106个关键点的信息，用(x1,y1,x2,y2,...x106,y106,t)进行表示，其中，Xi，yi表示关键点i的坐标，t表示帧号，106个关键点的信息组成涵盖脸部轮廓，眼睛，口，鼻及表情动作。
S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；
具体的，使用Maya专业软件建立3D角色面部模型以及关键点的绑定均为3D建模中常见的操作，在此不做赘述，通过对106个点的面部对应位置进行分布绑点，实现了对面部表情进行灵活控制。
S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。
具体的，实现了视频人脸关键点序列检测与3D模型建模和关键点绑定操作之后，为了实现视频中人脸表情向3D角色表情的导出，需要将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射，从而达成控制3D模型产生对应表情的效果，如图2所示，具体操作为：
S301、采用坐标转换算法对3D模型的关键点坐标进行转换，并对坐标转换算法进行优化，得到每帧的旋转参数；
具体的，坐标转换算法的运算函数为：
其中，s表示缩放系数，R表示旋转矩阵，S是3D模型中关键点的坐标，t是位移，Yi是视频中的像素坐标。R用以下九个参数表示：
S302、将旋转参数与3D模型中的参数进行相应位置的变换；
具体的，在得到每帧的旋转参数后，对3D建模中的参数进行相应坐标变换，逐帧完成计算后即得到3D模型的表情序列。
综上所述，本发明相对于现有技术，具有如下优势：
(1)利用头盔式3D面部表情捕捉系统进行3D人脸模型表情的制作，其运行陈本及专业需求均较高，本发明提供的基于普通视频流的3D人脸模型表情自动生成方法，可通过普通的相机拍摄的视频流实现3D面部表情的采集，并且能够导入到主流的3D建模软件当中，运行成本低，且专业需求低；
(2)利用Maya面部表情调整插件手动进行3D人脸模型表情的制作，其人力陈本较大，同时较为费时，本发明提供的基于普通视频流的3D人脸模型表情自动生成方法，能够实现3D人脸模型表情的自动快速生成，无需人工配合，大大降低了人力陈本以及大大节省了时间。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于普通视频流的3D人脸模型表情自动生成方法，其特征在于，包括如下步骤：
S100、人脸自动检测与关键点计算：对视频流进行人脸检测以逐帧自动获取演员的人脸位置，获取人脸位置之后，针对人脸部分的像素计算出106个关键点的信息；
S200、3D角色建模及关键点绑定：使用Maya等专业软件建立3D角色面部模型，针对106个点的面部对应位置分布绑点；
S300、表情合成与输出：将视频中关键点坐标向3D建模空间中关键点坐标做逐帧映射得到3D模型的表情序列，最终进行输出。
2.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述106个关键点的信息组成涵盖脸部轮廓，眼睛，口，鼻及表情动作。
3.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述获取人脸位置的具体方法为：采用深度学习人脸检测算法S3FD获取人脸序列，用(x1,y1,x2,y2,t)五元组进行表示，其中：
t表示帧号，x1，y1表示人脸外接框的左上角坐标，x2，y2表示人脸外接框右下角坐标。
4.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S100中，所述监测106个关键点信息的具体方法为：采用深度学习算法PFLD检测出106个关键点的信息，用(x1,y1,x2,y2,...x106,y106,t)进行表示，其中：
Xi，yi表示关键点i的坐标，t表示帧号。
5.根据权利要求1所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：所述得到3D模型的表情序列的具体步骤为：
S301、采用坐标转换算法对3D模型的关键点坐标进行转换，并对坐标转换算法进行优化，得到每帧的旋转参数；
S302、将旋转参数与3D模型中的参数进行相应位置的变换。
6.根据权利要求4所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S301中，所述坐标转换算法的运算函数为：
其中，s表示缩放系数，R表示旋转矩阵，S是3D模型中关键点的坐标，t是位移，Yi是视频中的像素坐标。R用以下九个参数表示：
7.根据权利要求4所述的基于普通视频流的3D人脸模型表情自动生成方法，其特征是：在步骤S301中，所述坐标转换算法采用非线性最小二乘的方法进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110771811.1A CN113537021A (zh) | 2021-07-08 | 2021-07-08 | 一种基于普通视频流的3d人脸模型表情自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110771811.1A CN113537021A (zh) | 2021-07-08 | 2021-07-08 | 一种基于普通视频流的3d人脸模型表情自动生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537021A true CN113537021A (zh) | 2021-10-22 |
Family
ID=78127134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110771811.1A Pending CN113537021A (zh) | 2021-07-08 | 2021-07-08 | 一种基于普通视频流的3d人脸模型表情自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537021A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462995A (zh) * | 2014-06-20 | 2017-02-22 | 英特尔公司 | 3d面部模型重建装置和方法 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| CN110796719A (zh) * | 2018-07-16 | 2020-02-14 | 北京奇幻科技有限公司 | 一种实时人脸表情重建方法 |
| CN111062324A (zh) * | 2019-12-17 | 2020-04-24 | 上海眼控科技股份有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN111275779A (zh) * | 2020-01-08 | 2020-06-12 | 网易（杭州）网络有限公司 | 表情迁移方法、图像生成器的训练方法、装置及电子设备 |
| CN111445582A (zh) * | 2019-01-16 | 2020-07-24 | 南京大学 | 一种基于光照先验的单张图像人脸三维重建方法 |
| CN111814573A (zh) * | 2020-06-12 | 2020-10-23 | 深圳禾思众成科技有限公司 | 一种人脸信息的检测方法、装置、终端设备及存储介质 |
-
2021
- 2021-07-08 CN CN202110771811.1A patent/CN113537021A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106462995A (zh) * | 2014-06-20 | 2017-02-22 | 英特尔公司 | 3d面部模型重建装置和方法 |
| CN110796719A (zh) * | 2018-07-16 | 2020-02-14 | 北京奇幻科技有限公司 | 一种实时人脸表情重建方法 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建系统及方法 |
| CN111445582A (zh) * | 2019-01-16 | 2020-07-24 | 南京大学 | 一种基于光照先验的单张图像人脸三维重建方法 |
| CN111062324A (zh) * | 2019-12-17 | 2020-04-24 | 上海眼控科技股份有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN111275779A (zh) * | 2020-01-08 | 2020-06-12 | 网易（杭州）网络有限公司 | 表情迁移方法、图像生成器的训练方法、装置及电子设备 |
| CN111814573A (zh) * | 2020-06-12 | 2020-10-23 | 深圳禾思众成科技有限公司 | 一种人脸信息的检测方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Ad-nerf: Audio driven neural radiance fields for talking head synthesis | |
| US6020892A (en) | Process for producing and controlling animated facial representations | |
| CN111640173B (zh) | 一种基于特定路径的家装漫游动画的云端渲染方法及系统 | |
| CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
| CN105427385A (zh) | 一种基于多层形变模型的高保真人脸三维重建方法 | |
| CN111339870B (zh) | 一种针对物体遮挡场景的人体形状和姿态估计方法 | |
| CN111105432B (zh) | 基于深度学习的无监督端到端的驾驶环境感知方法 | |
| CN113744374B (zh) | 一种基于表情驱动的3d虚拟形象生成方法 | |
| CN111047510A (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| DE69932619D1 (de) | Verfahren und system zum aufnehmen und repräsentieren von dreidimensionaler geometrie, farbe und schatten von animierten objekten | |
| CN111062326A (zh) | 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| CN111833257A (zh) | 视频动态换脸方法、装置、计算机设备及存储介质 | |
| WO2022060229A1 (en) | Systems and methods for generating a skull surface for computer animation | |
| Chai et al. | Expression-aware face reconstruction via a dual-stream network | |
| Aizawa et al. | Human facial motion analysis and synthesis with application to model-based coding | |
| CN112330753B (zh) | 一种增强现实系统的目标检测方法 | |
| CN113537021A (zh) | 一种基于普通视频流的3d人脸模型表情自动生成方法 | |
| CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 | |
| CN115578298A (zh) | 一种基于内容感知的深度肖像视频合成方法 | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 | |
| Sun et al. | SSAT $++ $: A Semantic-Aware and Versatile Makeup Transfer Network With Local Color Consistency Constraint | |
| CN108335344A (zh) | 三维形象与视频融合的方法和系统 | |
| Lv et al. | Generating smooth and facial-details-enhanced talking head video: A perspective of pre and post processes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |