CN113554745B - 一种基于图像的三维人脸重建方法 - Google Patents

一种基于图像的三维人脸重建方法 Download PDF

Info

Publication number
CN113554745B
CN113554745B CN202110803544.1A CN202110803544A CN113554745B CN 113554745 B CN113554745 B CN 113554745B CN 202110803544 A CN202110803544 A CN 202110803544A CN 113554745 B CN113554745 B CN 113554745B
Authority
CN
China
Prior art keywords
face
human face
model
coordinates
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110803544.1A
Other languages
English (en)
Other versions
CN113554745A (zh
Inventor
朱策
王刚
龚济深
郑龙飞
宗晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Magic Me Technology Co ltd
University of Electronic Science and Technology of China
Original Assignee
Beijing Magic Me Technology Co ltd
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Magic Me Technology Co ltd, University of Electronic Science and Technology of China filed Critical Beijing Magic Me Technology Co ltd
Priority to CN202110803544.1A priority Critical patent/CN113554745B/zh
Publication of CN113554745A publication Critical patent/CN113554745A/zh
Application granted granted Critical
Publication of CN113554745B publication Critical patent/CN113554745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明人脸识别技术领域，具体涉及一种基于图像的三维人脸重建方法。本发明提出了一种基于蒙皮形变的三维人脸重建方法，将求解顶点坐标问题简化为求解骨骼关节姿态的问题，减少了计算量，重建速度较快；不依赖任何人脸数据库，制作成本较低，二次开发复杂度低，适用于工业上各种三维引擎。

Description

一种基于图像的三维人脸重建方法
技术领域
本发明属于人脸识别技术领域，具体涉及一种基于图像的三维人脸重建方法。
背景技术
近年来，虚拟现实技术在动画、游戏、影视等领域的应用日渐广泛，对三维人脸重建的需求也日益增长。由于设备成本和采集环境的限制，利用单图像重建人脸是大多数使用者的最优选择。如何基于单张照片快速、精确地建立三维人脸模型已经成为一个热门的研究方向。
其中，基于混合形变的人脸重建方法当前用途最广。不同人的脸型大同小异，只是脸部外轮廓、五官位置和大小有少量差距。因此，采用一种平均脸型，那么人脸重建问题就变成了计算目标脸型与平均脸型的残差。
如果数据集足够丰富，那么任何一组人脸顶点坐标都可以表示为所有采集到的人脸数据的顶点坐标的内插：
S＝ω0S0+ω1S1+…+ωnSn
ω0+ω1+…+ωn＝1
其中，S0～Sn表示采集到的人脸，S表示目标人脸，而人脸重建的任务就是求解ω0～ωn的值。
目前传统的方法包括基于混合形变的人脸重建方法和基于体积回归的人脸重建方法。前者当前应用较广，但由于其效果依赖三维人脸数据集的丰富度，对数据的采集要求较高，二次开发工作量大，制作成本较高；而后者因为应用了最前沿的深度学习技术，时间复杂度较高，而且由于生成的人脸模型拓扑结构不固定，通用性较弱，难以在工业上进行二次开发。
发明内容
针对上述问题，本发明提出了一种基于蒙皮形变的人脸重建方法，不依赖人脸数据集，二次开发工作量较小，时间复杂度低；拓扑结构固定，通用性较好，适用于现有的各种三维图形引擎。
本发明的技术方案如下：
一种基于图像的三维人脸重建方法，包括以下步骤：
S1、建立人脸骨骼模型，用于将平均人脸模型的网格绑定在人脸骨骼模型上，其中人脸骨骼的划分是将人脸划分为多个不相关区域，至少包括左耳、右耳、左眼、右眼、左眉、右眉、眉心、左脸、右脸和嘴；
S2、基于平均人脸模型和目标人脸的单幅图像，对目标人脸图像采用Dlib人脸特征点检测算法进行特征点检测，获得68个人脸特征点的坐标；
S3、将平均人脸模型旋转到与目标人脸图像中人脸相同的角度，具体为使用OpenCV中的solvePnP算法，利用S2中获得的人脸特征点坐标以及这些点位于未旋转的平均人脸模型上的坐标，解出人脸欧拉角的最小二乘估计值；
S4、将步骤S2获得的人脸特征点进行平移和缩放，使其与平均人脸模型在相机平面的投影对齐，具体为先利用人脸特征点在S2中被检测到的坐标以及这些点位于平均人脸模型上的坐标解出对齐矩阵的缩放值、x方向位移、y方向位移的最小二乘估计值，再通过对齐矩阵求出所有特征点对齐后的坐标；
S5、采用以下损失函数对骨骼关节的空间变换参数(缩放、旋转和位移)进行回归：
Figure BDA0003163853600000021
其中，T表示S1中人脸被划分为的不相关区域的数量，vo，t表示S2在第t个区域中检测到的特征点坐标，vm，t表示平均人脸模型上第t个区域中的特征点坐标，θt表示与第t个区域相关的参数；对每个参数子集θt分别进行回归，得到所有骨骼关节的缩放、旋转和位移值，实现将平均人脸模型拟合为目标人脸图像中的脸型；
S6、利用目标人脸图像生成模型纹理，将纹理应用到S5中生成的模型即可得到最终的三维人脸模型。
进一步的，步骤S3中采用的进行投影的人脸特征点为：左眼左右眼角的中点、右眼左右眼角的中点、鼻尖、鼻底、左太阳穴、右太阳穴。
进一步的，步骤S4中采用的人脸特征点为：左太阳穴、左太阳穴下侧、右太阳穴、右太阳穴下侧、眉心。
进一步的，步骤S2、S3、S4中使用的位于平均人脸模型上的特征点坐标均为投影到相机平面后的结果。
本发明的有益效果为，本发明提出了一种基于蒙皮形变的三维人脸重建方法，将求解顶点坐标问题简化为求解骨骼关节姿态的问题，减少了计算量，重建速度较快；不依赖任何人脸数据库，制作成本较低，二次开发复杂度低，适用于工业上各种三维引擎。
附图说明
图1是本发明使用的人脸骨骼示意图；
图2是本发明使用的人脸骨骼示意图各层级关系；
图3是人脸特征点示意图；
图4是通用纹理映射示意图。
具体实施方式
下面结合附图，详细说明本发明的技术方案。
本发明实现了一种基于单幅照片的三维人脸重建算法，将一个平均人脸模型绑定在所设计的骨骼上，通过改变骨骼关节姿态来将模型拟合为照片中的目标脸型，并基于非线性投影生成脸部皮肤纹理。测试结果表明，本方法重建速度快，生成的模型较好地还原了照片中的人脸。
本发明具体方法包括：
建立人脸骨骼模型：如图1所示，本发明设计了一种基于骨骼蒙皮动画的人脸模型，用于三维人脸重建。该模型将人脸模型网格绑定在一套人脸骨骼上，将大量顶点的坐标变化简化为改变46个骨骼关节的空间变换参数(缩放，旋转和位移)，从而将模型蒙皮的形状拟合为照片中的目标人脸，大幅压缩了参数量和运算复杂度。本发明所设计的人脸骨骼由一系列具有层级关系的关节构成，如图2所示。将人脸划分为左、右耳，左、右眼，左、右眉，眉心，左、右脸等不相关区域，并尽量保证各区域内各关节无重合顶点，从而将人脸模型稀疏化，进一步降低了重建过程的计算量。
人脸特征点检测：本发明采用Dlib人脸特征点检测算法，计算出68个人脸特征点的坐标作为人脸拟合的目标，如图3所示。
人脸姿态估计：在拍摄到的图像中，人脸通常呈现一些偏角。人脸姿态估计旨在计算人脸的欧拉角，将三维人脸模型旋转到与实际拍摄人脸相同的角度。估计方法为利用若干检测到的特征点投影到相机平面的坐标与这些点在人脸未旋转时的坐标，使用OpenCV中的solvePnP算法解出欧拉角的最小二乘估计值。为了使计算结果不受表情影响，我们选择六个与表情无关的特征点进行计算：左眼左右眼角的中点、右眼左右眼角的中点、鼻尖、鼻底、左太阳穴、右太阳穴。
人脸对齐：在拍摄到的各个图像中，人脸的大小和位置是不固定的。人脸对齐旨在将检测到的特征点在相机平面的投影进行平移和缩放，以便与三维人脸模型的投影对齐。其原理为先利用五个不受表情影响的特征点(左太阳穴、左太阳穴下侧、右太阳穴、右太阳穴下侧、眉心)的检测投影坐标与模型投影坐标解出对齐矩阵的三个参数(缩放值、x方向位移、y方向位移)的最小二乘估计值，再通过对齐矩阵求出所有特征点对齐后的坐标。
人脸骨骼参数回归：针对所设计的人脸骨骼，提出一种三维人脸重建目标函数：
Figure BDA0003163853600000041
其中T表示S1中人脸被划分为的不相关区域的数量，vo，t表示S2在第t个区域中检测到的特征点坐标，vm，t表示平均人脸模型上第t个区域中的特征点坐标，θt表示与第t个区域相关的参数。因为所设计的骨骼将人脸划分成的区域之间各关节相互独立，所以可以对每个参数子集θt分别求解，加快了运算速率。本发明按照层序遍历的顺序，使用黄金分割搜索算法，对每一个关节逐一进行参数回归，迭代次数较少。
人脸纹理生成：将图像中的人脸变形为通用纹理映射中的人脸形状，如图4所示，然后使用一张蒙版进行融合。变形原理为将图像中的人脸按照生成的三维人脸模型拆分为若干三角形，并与模型的纹理映射中的三角形一一对应，经仿射映射即可得到人脸纹理。此方法解决了正交投影方法中出现的条带效应，人脸边缘融合效果较好。

Claims (3)

1.一种基于图像的三维人脸重建方法，其特征在于，包括以下步骤：
S1、建立人脸骨骼模型，用于将平均人脸模型的网格绑定在人脸骨骼模型上，其中人脸骨骼的划分是将人脸划分为多个不相关区域，至少包括左耳、右耳、左眼、右眼、左眉、右眉、眉心、左脸、右脸和嘴；
S2、基于平均人脸模型和目标人脸的单幅图像，对目标人脸图像采用Dlib人脸特征点检测算法进行特征点检测，获得68个人脸特征点的坐标；
S3、将平均人脸模型旋转到与目标人脸图像中人脸相同的角度，具体为使用OpenCV中的solvePnP算法，利用S2中获得的人脸特征点坐标以及这些点位于未旋转的平均人脸模型上的坐标，解出人脸欧拉角的最小二乘估计值；
S4、将步骤S2获得的人脸特征点进行平移和缩放，使其与平均人脸模型在相机平面的投影对齐，具体为先利用人脸特征点在S2中被检测到的坐标以及这些点位于平均人脸模型上的坐标解出对齐矩阵的缩放值、x方向位移、y方向位移的最小二乘估计值，再通过对齐矩阵求出所有特征点对齐后的坐标；
S5、采用以下损失函数对骨骼关节的空间变换参数进行回归，所述空间变换参数包括缩放、旋转和位移：
Figure FDA0004072064890000011
其中，T表示S1中人脸被划分为的不相关区域的数量，vo,t表示S2在第t个区域中检测到的特征点坐标，vm,t表示平均人脸模型上第t个区域中的特征点坐标，θt表示与第t个区域相关的参数；对每个参数子集θt分别进行回归，得到所有骨骼关节的缩放、旋转和位移值，实现将平均人脸模型拟合为目标人脸图像中的脸型；
S6、利用目标人脸图像生成模型纹理，将纹理应用到S5中生成的模型即可得到最终的三维人脸模型。
2.根据权利要求1所述的一种基于图像的三维人脸重建方法，其特征在于，步骤S3中采用的进行投影的人脸特征点为：左眼左右眼角的中点、右眼左右眼角的中点、鼻尖、鼻底、左太阳穴和右太阳穴。
3.根据权利要求1所述的一种基于图像的三维人脸重建方法，其特征在于，步骤S4中采用的人脸特征点为：左太阳穴、左太阳穴下侧、右太阳穴、右太阳穴下侧和眉心。
CN202110803544.1A 2021-07-15 2021-07-15 一种基于图像的三维人脸重建方法 Active CN113554745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803544.1A CN113554745B (zh) 2021-07-15 2021-07-15 一种基于图像的三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803544.1A CN113554745B (zh) 2021-07-15 2021-07-15 一种基于图像的三维人脸重建方法

Publications (2)

Publication Number Publication Date
CN113554745A CN113554745A (zh) 2021-10-26
CN113554745B true CN113554745B (zh) 2023-04-07

Family

ID=78103207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803544.1A Active CN113554745B (zh) 2021-07-15 2021-07-15 一种基于图像的三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN113554745B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
US8634596B2 (en) * 2009-12-22 2014-01-21 Honeywell International Inc. Three-dimensional multilayer skin texture recognition system and method
CN104376594B (zh) * 2014-11-25 2017-09-29 福建天晴数码有限公司 三维人脸建模方法和装置
CN110443885B (zh) * 2019-07-18 2022-05-03 西北工业大学 基于随机人脸图像的三维人头脸模型重建方法
CN111292415B (zh) * 2020-02-25 2022-03-29 华南理工大学 一种基于球坐标位置图的单视图三维人脸重建方法
CN111951384B (zh) * 2020-08-13 2024-05-28 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377557A (zh) * 2018-11-26 2019-02-22 中山大学 基于单帧人脸图像的实时三维人脸重建方法
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法

Also Published As

Publication number Publication date
CN113554745A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
CN108629801B (zh) 一种视频序列的三维人体模型姿态与形状重构方法
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN109840940B (zh) 动态三维重建方法、装置、设备、介质和系统
Ye et al. Accurate 3d pose estimation from a single depth image
CN102999942B (zh) 三维人脸重建方法
JP7456670B2 (ja) ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
US8933928B2 (en) Multiview face content creation
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN104794722A (zh) 利用单个Kinect计算着装人体三维净体模型的方法
CN107145224B (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN101154289A (zh) 基于多目相机的三维人体运动跟踪的方法
CN108564619B (zh) 一种基于两张照片的真实感三维人脸重建方法
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN110176064A (zh) 一种摄影测量生成三维模型的主体对象自动识别方法
CN108073855A (zh) 一种人脸表情的识别方法及系统
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
Cao et al. Sesdf: Self-evolved signed distance field for implicit 3d clothed human reconstruction
CN116433812B (zh) 利用2d人脸图片生成虚拟人物的方法和装置
CN111768476A (zh) 一种基于网格变形的表情动画重定向方法及系统
CN113554745B (zh) 一种基于图像的三维人脸重建方法
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant