CN103606190B - 单张人脸正面照片自动转换为三维人脸模型的方法 - Google Patents
单张人脸正面照片自动转换为三维人脸模型的方法 Download PDFInfo
- Publication number
- CN103606190B CN103606190B CN201310656820.1A CN201310656820A CN103606190B CN 103606190 B CN103606190 B CN 103606190B CN 201310656820 A CN201310656820 A CN 201310656820A CN 103606190 B CN103606190 B CN 103606190B
- Authority
- CN
- China
- Prior art keywords
- face
- standard
- picture
- module
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于包含以下步骤：a.用户输入一张正面人物图片；b.提取特征点并进行分区；c.建立标准人脸三维模型；d.对标准人脸模型顶点进行分组，分离出五官点群；所述五官点群可以选择由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成。e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放；f.标准三维人脸模型顶点位置调整模块调整；g.最后完成整个标准人脸三维模型的重构。本发明提供的方法可以通过一张人脸正面照片自动转换为3D人脸，以符合人脸生物学特征的方式来最大程度的还原真实人脸，且便于后续动画处理。
Description
[技术领域]
本发明属于三维人脸合成方法，具体的说是通过单张人脸正面照片自动转换为三维人脸模型的方法。
[背景技术]
目前，通过单幅正面人脸照片转换为3D人脸的技术，普遍流程为对照片进行特征提取、标准模型变形、皮肤纹理映射。此技术虽然可以在一定程度上重构3D人脸，一方面不能最大程度的还原真实人脸，另一方面，由于对人脸特征只是单纯的模仿而应用到3D人脸上，具有很大的局限性，特别是不利于后期的脸部动画及更高层次的技术应用。
总结现有三维人脸合成技术，主要方法如下：
(1)利用三角样条曲面进行面部建模和研究；
(2)从正面和侧面两幅图像出发合成了三维人脸模型并制作了简单的面部表情动画；
(3)基于激光扫描的三维数据获取方法；
方法(1)和(2)实现原理复杂，目前只限于理论方面的研究，实际应用很少涉及。方法(3)虽建模精确，但成本高不易普遍应用。
[发明内容]
本发明为了能够最大程度的根据一张正面人脸照片还原真实人脸3D模型及兼顾后期脸部动画及进一步的应用，提供了一种通过单张人脸正面照片中人物面部特征自动转换为三维人脸模型的一套新型技术方案。
本发明通过以下技术方案实现：该方法应用于由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统中；根据图片人脸特征点自动提取模块在照片中提取特人物脸部征点再结合标准三维人脸模型建立模块所建立的标准模型到标准三维人脸模型顶点位置调整模块中调整顶点位置然后在三维人脸模型顶点贴图UV坐标计算模块中自动生成顶点uv坐标；该方法包含以下步骤：
a.用户输入一张正面人物图片；输入后，可以采用人脸照片处理模块对图片进一步灰度图处理，获得并输出人脸深度信息。
b.图片人脸特征点自动提取模块解析正面人物图片，提取出个人脸特征点XY坐标；图片人脸特征点自动提取模块分别从眉毛、眼睛、鼻子、嘴以及脸部轮廓区域，提取出56个人脸特征点XY坐标，以图片左上角为原点，向右方向X从0增大至1，向下方向Y从0增大至1。
c.标准三维人脸模型建立模块加载人脸模型数据文件，建立标准人脸三维模型；标准三维人脸模型建立模块加载的人脸模型数据文件包含113个顶点，标准人脸三维模型的中心点设为鼻尖所在的顶点。
d.标准人脸布线数据化模块对标准人脸三维模型进行布线数据化，获得读取的点线面，标准三维人脸模型建立模块对标准人脸模型顶点进行分组，分离出五官点群；所述五官点群可以选择由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成。
e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤b中计算出来的H值，H值设为额头最上顶点和下巴最下顶点在Y方向的距离；
f.标准三维人脸模型顶点位置调整模块调整步骤d区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤b对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致；
g.最后根据图片提取特征点完成整个标准人脸三维模型的重构：三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用正面人物图片完成贴图。UV坐标计算公式为：U=(x+W/2)/W；V=(y+H/2)/H。参数定义：所有的图象文件都是二维的一个平面。水平方向是U，垂直方向是V，通过这个平面的，二维的UV坐标系。"UV"这里是指u,v纹理贴图坐标的简称(它和空间模型的X,Y,Z轴是类似的).它定义了图片上每个点的位置的信息.这些点与3D模型是相互联系的,以决定表面纹理贴图的位置.UV就是将图像上每一个点精确对应到模型物体的表面.在点与点之间的间隙位置由软件进行图像光滑插值处理.W是贴图的宽度，H是贴图的高度，X是模型顶点x轴坐标，Y是模型顶点y轴坐标。
最后还可以增加一步步骤h，纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行纹理映射。
本发明提供的方法可以通过一张人脸正面照片自动转换为3D人脸，以符合人脸生物学特征的方式来最大程度的还原真实人脸，且便于后续动画处理。
[附图说明]
图1为标准人脸模型示意图；
图2为模块流程图。
[具体实施方式]
实施例为若干模块统一来完成的一套完整的方案，可应用于由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统中；具体步骤参照图2：
步骤a：用户输入一张正面人物图片，图片格式不限。由人脸照片处理模块对图片进行灰度图处理，获得并输出人脸深度信息。
步骤b：图片人脸特征点自动提取模块根据图片格式选择对应的FaceSDK库。
步骤c：图片人脸特征点自动提取模块对应的FaceSDK库，利用FaceSDK库解析正面人物图片，并提取出56个人脸特征点XY坐标，图片左上角为原点，向右方向X从0增大至1，向下方向Y从0增大至1，设H为额头最上顶点和下巴最下顶点在Y方向的距离。
步骤d：标准三维人脸模型建立模块加载obj文件格式的candide-3人脸模型数据文件（包含113个顶点）建立标准人脸三维模型，标准人脸三维模型的中心点调整为鼻尖所在的顶点。candide-3人脸标准模型如图1所示。
步骤e：标准三维人脸模型建立模块对candide-3人脸模型顶点进行分组，区分出组成眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群。具体分组方式参照图1。
步骤f：标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤3中计算出来的H。
步骤g：标准三维人脸模型顶点位置调整模块调整步骤5区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤3对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致。
步骤h：三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用照片完成完成贴图。UV坐标计算公式如下：U=(x+W/2)/WV=(y+H/2)/H。参数定义：二维的UV坐标系中，水平方向是U，垂直方向是V，W是贴图的宽度，H是贴图的高度，X是模型顶点x轴坐标，Y是模型顶点y轴坐标。
步骤i，纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行纹理映射。
Claims (1)
1.一种单张人脸正面照片自动转换为三维人脸模型的方法，其特征在于所述方法包括由图片人脸特征点自动提取模块、标准三维人脸模型建立模块、标准三维人脸模型顶点位置调整模块、三维人脸模型顶点贴图UV坐标计算模块组成的系统，根据图片人脸特征点自动提取模块在照片中提取特人物脸部征点再结合标准三维人脸模型建立模块所建立的标准模型到标准三维人脸模型顶点位置调整模块中调整顶点位置然后在三维人脸模型顶点贴图UV坐标计算模块中自动生成顶点uv坐标；所述方法包括以下步骤：
a.用户输入一张正面人物图片，输入正面人物图片后，由人脸照片处理模块对图片进行灰度图处理，获得并输出人脸深度信息；
b.图片人脸特征点自动提取模块解析正面人物图片，提取出个人脸特征点XY坐标；
c.标准三维人脸模型建立模块加载人脸模型数据文件，建立标准人脸三维模型；
d.标准人脸布线数据化模块对标准人脸三维模型进行布线数据化，获得读取的点线面，标准三维人脸模型建立模块对标准人脸模型顶点进行分组，分离出五官点群；所述五官点群由眉毛、眼睛、鼻子、嘴以及脸部轮廓的顶点群构成，标准三维人脸模型建立模块加载的人脸模型数据文件包含113个顶点，标准人脸三维模型的中心点设为鼻尖所在的顶点；
e.标准三维人脸模型顶点位置调整模块对标准三维人脸模型进行整体缩放，使额头最上顶点与下巴最下顶点的距离为步骤b中计算出来的H值，H值设为额头最上顶点和下巴最下顶点在Y方向的距离；
f.标准三维人脸模型顶点位置调整模块调整步骤d区分出的组成眼睛、鼻子、嘴及脸部轮廓的顶点群的XY坐标，使它们的形状与步骤b对应的人脸特征点组成的眼睛、鼻子、嘴及脸部轮廓的形状一致；
g.最后根据图片提取特征点完成整个标准人脸三维模型的重构：三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用正面人物图片完成贴图；
所述图片人脸特征点自动提取模块根据图片格式选择对应的FaceSDK库，通过FaceSDK库进行解析，图片人脸特征点自动提取模块分别从眉毛、眼睛、鼻子、嘴以及脸部轮廓区域，提取出56个人脸特征点XY坐标，以图片左上角为原点，向右方向X从0增大至1，向下方向Y从0增大至1；
三维人脸模型顶点贴图UV坐标计算模块计算出标准三维人脸模块所有顶点的UV坐标，根据UV坐标直接利用照片完成完成贴图，UV坐标计算公式如下：U＝(x+W/2)/WV＝(y+H/2)/H，参数定义：二维的UV坐标系中，水平方向是U，垂直方向是V，W是贴图的宽度，H是贴图的高度，X是模型顶点x轴坐标，Y是模型顶点y轴坐标；
h.纹理映射模块将重构后的标准人脸三维模型进一步根据图片提取的人脸深度信息对模型进行纹理映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310656820.1A CN103606190B (zh) | 2013-12-06 | 2013-12-06 | 单张人脸正面照片自动转换为三维人脸模型的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310656820.1A CN103606190B (zh) | 2013-12-06 | 2013-12-06 | 单张人脸正面照片自动转换为三维人脸模型的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103606190A CN103606190A (zh) | 2014-02-26 |
| CN103606190B true CN103606190B (zh) | 2017-05-10 |
Family
ID=50124410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310656820.1A Active CN103606190B (zh) | 2013-12-06 | 2013-12-06 | 单张人脸正面照片自动转换为三维人脸模型的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103606190B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
| CN104376594B (zh) * | 2014-11-25 | 2017-09-29 | 福建天晴数码有限公司 | 三维人脸建模方法和装置 |
| CN105405160B (zh) * | 2015-10-14 | 2018-05-01 | 佛山精鹰传媒股份有限公司 | 一种简单规则模型变化效果的实现方法 |
| CN106652015B (zh) * | 2015-10-30 | 2020-10-30 | 深圳超多维光电子有限公司 | 一种虚拟人物头像生成方法及装置 |
| CN106372333A (zh) * | 2016-08-31 | 2017-02-01 | 北京维盛视通科技有限公司 | 基于人脸模型的服装展示方法及装置 |
| CN106570931A (zh) * | 2016-10-10 | 2017-04-19 | 福建网龙计算机网络信息技术有限公司 | 一种虚拟现实资源制作方法及系统 |
| CN110073411B (zh) * | 2017-05-16 | 2023-06-30 | 深圳市三维人工智能科技有限公司 | 一种模型的颜色调整方法和系统 |
| CN107316340B (zh) * | 2017-06-28 | 2020-06-19 | 河海大学常州校区 | 一种基于单张照片的快速人脸建模方法 |
| CN108248047B (zh) * | 2017-12-29 | 2020-01-10 | 郑桂泽 | 基于3d打印技术打印逝者塑像的方法及系统 |
| CN108182701B (zh) * | 2017-12-29 | 2021-06-01 | 郑桂泽 | 基于逝者相片生成逝者塑像的方法及系统 |
| CN108765551B (zh) * | 2018-05-15 | 2022-02-01 | 福建省天奕网络科技有限公司 | 一种实现3d模型捏脸的方法及终端 |
| CN109087340A (zh) * | 2018-06-04 | 2018-12-25 | 成都通甲优博科技有限责任公司 | 一种包含尺度信息的人脸三维重建方法及系统 |
| CN108805977A (zh) * | 2018-06-06 | 2018-11-13 | 浙江大学 | 一种基于端到端卷积神经网络的人脸三维重建方法 |
| CN108961369B (zh) * | 2018-07-11 | 2023-03-17 | 厦门黑镜科技有限公司 | 生成3d动画的方法和装置 |
| CN110853147B (zh) * | 2018-08-21 | 2023-06-20 | 东方梦幻文化产业投资有限公司 | 一种三维人脸变换的方法 |
| CN109522786B (zh) * | 2018-09-26 | 2021-05-07 | 珠海横琴现联盛科技发展有限公司 | 基于3d摄像头的动态人脸配准方法 |
| CN109377563A (zh) | 2018-11-29 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸网格模型的重建方法、装置、设备和存储介质 |
| CN110189408B (zh) * | 2019-06-04 | 2023-04-11 | 西安科技大学 | 一种根据人体照片得到人体外表数据的系统及方法 |
| CN110782529B (zh) * | 2019-10-24 | 2024-04-05 | 重庆灵翎互娱科技有限公司 | 一种基于三维人脸实现眼球转动效果的方法和设备 |
| CN111028343B (zh) | 2019-12-16 | 2020-12-11 | 腾讯科技（深圳）有限公司 | 三维人脸模型的生成方法、装置、设备及介质 |
| CN112288861B (zh) * | 2020-11-02 | 2022-11-25 | 湖北大学 | 一种基于单张照片的人脸三维模型自动构建方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339669A (zh) * | 2008-07-29 | 2009-01-07 | 上海师范大学 | 基于正侧面影像的三维人脸建模方法 |
| CN101968892A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据一张人脸照片自动调整三维人脸模型的方法 |
-
2013
- 2013-12-06 CN CN201310656820.1A patent/CN103606190B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339669A (zh) * | 2008-07-29 | 2009-01-07 | 上海师范大学 | 基于正侧面影像的三维人脸建模方法 |
| CN101968892A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据一张人脸照片自动调整三维人脸模型的方法 |
Non-Patent Citations (4)
| Title |
|---|
| Efficient 3D reconstruction for face recognition;Dalong Jiang et al;《Pattern Recognition》;20051231;第38卷;全文 * |
| 基于单幅正面照片的三维人脸重建方法;邓秋平 等;《计算机工程》;20101031;第36卷(第20期);全文 * |
| 基于特征点约束的人脸纹理映射;王法强 等;《计算机应用研究》;20120930;第29卷(第9期);全文 * |
| 改进的基于形变模型的三维人脸建模方法;王成章 等;《自动化学报》;20070331;第33卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103606190A (zh) | 2014-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103606190B (zh) | 单张人脸正面照片自动转换为三维人脸模型的方法 | |
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN101324961B (zh) | 计算机虚拟世界中人脸部三维贴图方法 | |
| CN107316340B (zh) | 一种基于单张照片的快速人脸建模方法 | |
| CN101853523B (zh) | 一种采用草图创建三维人脸模型的方法 | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| CN103198508A (zh) | 人脸表情动画生成方法 | |
| CN105513114B (zh) | 三维动画生成的方法和装置 | |
| CN105913416A (zh) | 一种自动分割三维人脸模型区域的方法 | |
| CN109377557A (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
| CN101739719B (zh) | 二维正面人脸图像的三维网格化方法 | |
| CN103208133A (zh) | 一种图像中人脸胖瘦的调整方法 | |
| CN103258343B (zh) | 一种基于图像编辑的眼部图像处理方法 | |
| CN108876881A (zh) | 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统 | |
| CN106952336A (zh) | 一种保特征的人类三维头像生产方法 | |
| CN105719326A (zh) | 一种基于单张照片的真实感人脸生成方法 | |
| CN106372333A (zh) | 基于人脸模型的服装展示方法及装置 | |
| CN106067190A (zh) | 一种基于单幅图像的快速人脸三维模型生成和变换方法 | |
| CN104463938A (zh) | 三维虚拟试妆方法和装置 | |
| JP2004506276A (ja) | ３次元顔モデリングシステム及びモデリング方法 | |
| CN102222363A (zh) | 从人脸图像快速构建高精度个性化人脸模型的方法 | |
| CN108805090A (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| CN106327535A (zh) | Cbct的牙根与口内扫描的牙冠的融合方法 | |
| CN105243375B (zh) | 一种动作特征提取方法及装置 | |
| CN109389682A (zh) | 一种三维人脸模型自动调整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20181130 Address after: 264000 5th Floor, 303 South Street Complex Building, Zhifu District, Yantai City, Shandong Province Patentee after: Yantai Santi Computer Technology Co., Ltd. Address before: 5A110-5A112, 1st Floor, Building No. 5, 258 Songxing West Road, Baoshan District, Shanghai, 2004 Patentee before: SHANGHAI MINGMU ELECTRONIC SCIENCE & TECHNOLOGY CO., LTD. |
|
| TR01 | Transfer of patent right | ||
| CP02 | Change in the address of a patent holder |
Address after: 701, floor 7, No. 462, Qingnian South Road, Zhifu District, Yantai City, Shandong Province Patentee after: Yantai Santi Computer Technology Co., Ltd. Address before: 264000 5th Floor, 303 South Street Complex Building, Zhifu District, Yantai City, Shandong Province Patentee before: Yantai Santi Computer Technology Co., Ltd. |
|
| CP02 | Change in the address of a patent holder |