CN107123139A - 基于opengl的2D到3D人脸重建方法 - Google Patents
基于opengl的2D到3D人脸重建方法 Download PDFInfo
- Publication number
- CN107123139A CN107123139A CN201610103539.9A CN201610103539A CN107123139A CN 107123139 A CN107123139 A CN 107123139A CN 201610103539 A CN201610103539 A CN 201610103539A CN 107123139 A CN107123139 A CN 107123139A
- Authority
- CN
- China
- Prior art keywords
- face
- rotation
- axis
- eye
- opengl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 title abstract 3
- 210000001508 eye Anatomy 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000003068 static effect Effects 0.000 claims abstract description 6
- 238000009877 rendering Methods 0.000 claims description 4
- 210000000887 face Anatomy 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 210000005252 bulbus oculi Anatomy 0.000 abstract 2
- 238000004088 simulation Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于opengl的2D到3D人脸重建方法，包括如下步骤：利用普通摄像头采集人脸视频流；利用人脸识别和追踪算法获取人脸上的特征点，标定左眼睛的内眼角，外眼角为，标定右眼睛的内眼角为，外眼角为，鼻尖的坐标标定为，采用Adaboost算法进行人脸识别，用Active Shape Models算法进行人脸特征点标定；采集一个标准的3D人脸模型obj文件，利用opengl加载此标准脸模，然后获取视频流的每一帧人脸图片，作为2D图像纹理对3D脸模进行渲染，获得一张个性的3D静态特征脸；计算步骤1视频流中每一帧人脸图像的旋转角度，来驱动步骤3中所重建的3D静态脸模在空间中运动。本发明利用普通摄像头采集的2D图像，基于opengl自动重建实时个性化3D人脸，识别更精准，视频识别更流畅。
Description
技术领域
本发明属于智能识别领域，特别涉及人脸的识别和追踪，是一种2D人脸到3D人脸重建方法，可用于视频、图像应用领域。
背景技术
人脸识别作为智能识别技术中的重要分支，得到了广泛关注，而且得到了迅猛的发展。在人机交互日渐发展的今天，现实生活中的很多应用都需要精确的人脸运动检测（人脸分析）和真实人脸场景的重现（人脸合成）。人脸识别就是可以在计算机上虚拟出真实的人脸，包括人脸的外观、表情、运动等等。另外随着计算机软、硬件突飞猛进的发展，三维的计算机图形学得到了迅速的普及和深入发展，OpenGL作为开放式的图形语言，已经成为一个工业标准的计算机三维图形软件开发接口，广泛的应用于游戏开发、建筑、产品设计、医学、地球科学等领域。同时，研究人脸识别具有十分重要的意义，它可广泛的应用于反恐安防、智能门禁、金融商务及其它许多领域。
近年来，随着2D人脸识别和追踪技术的日渐成熟，大多数的视频人脸识别方法，都是基于2D人脸识别和追踪方法。2D的主要包括两个方向：1.基于几何特征的方法；2.基于外表特征的方法。基于几何特征的方法通过控制人脸上特征点来操作人脸的变化，这些方法往往不能兼顾人脸细节表情的变化，例如皱眉和眨眼。基于外表特征的方法运用人脸上的所有像素，然而此种方法很难让训练模型适应所有的人脸运动模式，例如晃头的快慢，环境灯光的变化，个性脸的变化。相对而言，基于特征点的方法对于头部大范围运动，背景光的改变具有更强的鲁棒性。然而，基于2D人脸追踪的方法并不能得到形象生动的真实人脸重现，对于人脸运动估计要求比较精确的应用领域，并不能到达需求。相应的一些3D人脸追踪和估计方法被广泛提出，其中大部分方法是基于多视角图像的人脸重建，在此方法中，多视角相机的定位不仅是一大难题，而且无形之中也增加了开发商的开发成本。虽然此方法可以得到意想的结果，但是基于以上的缺点，并没有得到广泛应用。如何基于廉价普通摄像头的采集图像，重构出3D人脸头像，成为了当下的研究重点。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于opengl的2D到3D人脸重建方法，通过本身人脸的运动来控制空间3D人脸的旋转，以保证在一张普通2D人脸图像的基础上获得形象个性化的3D人脸图像。
本发明解决其技术问题所采用的技术方案是：
用普通摄像头捕获人脸视频，利用人脸识别方法获得人脸上的主要特征点，利用opengl创建一个标准的3D脸模，并把2D视频帧图像作为纹理进行渲染，获得实时个性的3D人脸，基于2D视频图像中人脸的旋转角度来控制3D脸模的运动。
其具体实现步骤如下。
S1利用普通摄像头采集人脸视频流。
S2利用人脸识别和追踪算法获取人脸上的特征点，标定左眼睛的内眼角，外眼角为，标定右眼睛的内眼角为，外眼角为，鼻尖的坐标标定为，采用Adaboost算法进行人脸识别，然后后用Active Shape Models 算法进行人脸特征点的标定。
S3采集一个标准的3D人脸模型obj文件，利用opengl加载此标准脸模，然后获取视频流的每一帧人脸图片，作为2D图像纹理对3D脸模进行渲染，获得一张个性的3D静态特征脸。
S4计算步骤S1视频流中每一帧人脸图像的旋转角度，来驱动步骤S3中所重建的3D静态脸模在空间中运动。
本发明采用人脸特征三角形旋转方法进行计算，为了更加形象的模拟空间人脸，把人脸在空间中的旋转分为三个方向，绕x轴，y轴，z轴（参考坐标系为左手坐标系）。然后分别选取两只眼睛的内眼角和外眼角的中点，鼻尖做为特征三角形的三个顶点，绕z轴旋转的角度为：
（1）
其中，为标准正脸的左边、右边眼角的中点坐标，为旋转后的左右人眼内眼角中点坐标。若的值大于0，则表示向x轴正方向转动，若小于0，则表示向x轴负方向转动。
绕x轴的旋转角度为：
（2）
其中为旋转后的鼻尖到左右眼角中点连线的距离，为标准的正面人脸的鼻尖到左右眼角中点连线的距离，如果小于1，则表示人脸进行俯视；如果大于1，表示人脸进行仰视。
绕y轴的旋转角度为：
（3）
其中表示旋转后人脸左眼左右内眼角中点到右眼左右内眼角中点之间的距离，表示旋转后的左眼睛左右内眼角中点到右眼左右内眼角中点的距离，如果大于0则表示向x轴负方向旋转，若大于0，则表示向x轴正方向旋转。这里表示人脸旋转后左眼的左右内眼角中点的坐标，表示标准正脸的左右内眼角中点的坐标。
本发明具有以下有益效果：
本发明利用一个普通摄像头采集的2D图像，基于opengl自动重建实时个性化的3D人脸。Opengl是底层语言接口，识别更精准，视频识别更流畅。而且本发明思路简单，实现起来相对容易，具有很大的现实工程应用价值。
仿真实验结果表明，本发明是一种简单有效的2D人脸到3D重建方法，能够快速有效的从2D人脸视频流获取实时有效的个性3D人脸。
附图说明
图1是本发明的流程图。
图2是本发明仿真试验效果图。
图3是人脸特征三角区位置及距离描述图。
具体实施方式
以下参照附图对本发明的具体实现及效果作进一步详细表述。
参照图1，本发明的具体实施步骤如下。
步骤1，采用普通摄像头采集视频流，如图2中的背景图像。
步骤2，利用人脸识别和追踪算法获取人脸上的特征点如图3所示，标定左眼睛的内眼角，外眼角为，标定右眼睛的内眼角为，外眼角为，鼻尖的坐标标定为，如图2和图3中人脸上的标定点所示，此处采用经典的Adaboost算法进行人脸识别，后用著名的Active Shape Models 算法进行人脸特征点的标定。
步骤3，利用opengl加载标准3D脸模，利用2D人脸图像作为纹理对3D脸模进行渲染，得到个性3D人脸，如图2中的右边的3D脸模所示。
主要编程思路如下：
3D脸模的加载和2D人脸图像纹理渲染：
glGenTextures(GLsizei n, GLuint *textures);
glBindTexture(GLenum traget, GLuint texture);
glTexImage2D(GLenum target, GLint level, GLenum internalformat, GLsizeiwidth,
gLint border, GLenum format, GLenum type, const void* pixels);
控制人脸模型的旋转：
void glRotatef(GLfloat angle, GLfloat x, GLfloat y, GLfloat z)。
步骤4，计算步骤1视频流中每一帧人脸图像的旋转角度，这里我们采用人脸的特征三角形旋转方法进行计算，分别选取两只眼睛的内眼角和外眼角的中点，鼻尖做为特征三角形的三个顶点，这里的参考坐标系为左手坐标系，绕z旋转的角度为：
（1）
其中，为标准正脸的左边右边眼角的中点，为旋转后的左右人眼内眼角中点的坐标。若的值大于0，则表示向的正方向转动，若小于0，则表示向的负方向转动。
绕x轴的旋转角度为：
（2）
其中为旋转后的鼻尖到左右眼角中点连线的距离，为标准的正面人脸的鼻尖到左右眼角中点连线的距离，如果小于1，则表示人脸进行俯视，如果大于1时，表示人脸进行仰视。
绕y轴的旋转角度为：
（3）
其中表示旋转后人脸左眼左右内眼角中点到右眼左右内眼角中点之间的距离，表示旋转后的左眼睛左右内眼角中点到右眼左右内眼角中点的距离，如果小于0则表示向轴负方向旋转，若大于0，则表示向想x轴正方向旋转。这里表示人脸旋转后左眼的左右内眼角中点的坐标，表示标准正脸的左右内眼角中点的坐标。
本发明的效果可以通过以下实验进一步说明：
1．仿真条件：
在CPU为Intel(R) Core(TM) i5-3470处理器：主频3.20GHZ，内存7.91G，操作系统：LINUX，仿真平台：g++编译器。
依赖的库文件有-GLU，-GLUT，-DLIB
2．仿真内容：
仿真结果如图2所示，不仅可以精确的标定出人脸上的特征点，还可以实时高效的创建出个性3D人脸。
Claims (2)
1.一种基于opengl的2D到3D人脸重建方法，其特征是，包括如下步骤：
S1：利用普通摄像头采集人脸视频流；
S2：利用人脸识别和追踪算法获取人脸上的特征点，标定左眼睛的内眼角，外眼角为，标定右眼睛的内眼角为，外眼角为，鼻尖的坐标标定为，采用Adaboost算法进行人脸识别，然后用Active Shape Models 算法进行人脸特征点标定；
S3：采集一个标准的3D人脸模型obj文件，利用opengl加载此标准脸模，然后获取视频流的每一帧人脸图片，作为2D图像纹理对3D脸模进行渲染，获得一张个性的3D静态特征脸；
S4：计算步骤S1视频流中每一帧人脸图像的旋转角度，来驱动步骤S3中所重建的3D静态脸模在空间中运动。
2.根据权利要1所述的一种基于opengl的2D到3D人脸重建方法，其特征是：所述步骤S4采用人脸特征三角形旋转方法进行计算，把人脸在空间中的旋转分为三个方向，绕x轴，绕y轴，绕z轴，分别选取两只眼睛的内眼角和外眼角的中点，鼻尖做为特征三角形的三个顶点；
绕z轴旋转的角度为：
（1）
其中，为标准正脸的左边、右边眼角的中点坐标，为旋转后的左右人眼内眼角中点坐标；若的值大于0，则表示向的x轴正方向转动，若小于0，则表示向x轴的负方向转动；
绕x轴的旋转角度为：
（2）
其中为旋转后的鼻尖到左右眼角中点连线的距离，为标准的正面人脸的鼻尖到左右眼角中点连线的距离，如果小于1，则表示人脸进行俯视，如果大于1，表示人脸进行仰视；
绕y轴的旋转角度为：
（3）
其中表示旋转后人脸左眼左右内眼角中点到右眼左右内眼角中点之间的距离，表示旋转后的左眼睛左右内眼角中点到右眼左右内眼角中点的距离，如果大于0则表示向x轴负方向旋转，若大于0，则表示向x轴正方向旋转；表示人脸旋转后左眼的左右内眼角中点的坐标，表示标准正脸的左右内眼角中点的坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610103539.9A CN107123139A (zh) | 2016-02-25 | 2016-02-25 | 基于opengl的2D到3D人脸重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610103539.9A CN107123139A (zh) | 2016-02-25 | 2016-02-25 | 基于opengl的2D到3D人脸重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107123139A true CN107123139A (zh) | 2017-09-01 |
Family
ID=59717589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610103539.9A Pending CN107123139A (zh) | 2016-02-25 | 2016-02-25 | 基于opengl的2D到3D人脸重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107123139A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765539A (zh) * | 2018-05-24 | 2018-11-06 | 武汉斗鱼网络科技有限公司 | 基于OpenGLES的图像渲染方法、装置、设备及存储介质 |
| CN109753892A (zh) * | 2018-12-18 | 2019-05-14 | 广州市百果园信息技术有限公司 | 人脸皱纹的生成方法、装置、计算机存储介质和终端 |
| US10685428B2 (en) | 2018-11-09 | 2020-06-16 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier |
| CN114581614A (zh) * | 2022-05-06 | 2022-06-03 | 海马云（天津）信息技术有限公司 | 根据2d人脸图片生成3d人脸模型的方法与装置 |
| CN114998508A (zh) * | 2022-01-24 | 2022-09-02 | 上海幻维数码创意科技股份有限公司 | 一种基于Dlib和OpenGL的视频人脸表情生成方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545068A (zh) * | 2003-11-11 | 2004-11-10 | 易连科技股份有限公司 | 快速建立人脸影像平面模型的方法 |
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| CN103473807A (zh) * | 2013-09-26 | 2013-12-25 | 王治魁 | 一种3d模型变换系统及方法 |
| CN103914806A (zh) * | 2013-01-09 | 2014-07-09 | 三星电子株式会社 | 用于调整拍摄的用户的眼睛的显示装置和控制方法 |
| CN104598913A (zh) * | 2013-10-30 | 2015-05-06 | 广州华久信息科技有限公司 | 一种基于人脸的情感健康促进方法及系统 |
| CN105118022A (zh) * | 2015-08-27 | 2015-12-02 | 厦门唯尔酷信息技术有限公司 | 一种2维到3维的人脸生成和变形方法及其系统 |
-
2016
- 2016-02-25 CN CN201610103539.9A patent/CN107123139A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545068A (zh) * | 2003-11-11 | 2004-11-10 | 易连科技股份有限公司 | 快速建立人脸影像平面模型的方法 |
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| CN103914806A (zh) * | 2013-01-09 | 2014-07-09 | 三星电子株式会社 | 用于调整拍摄的用户的眼睛的显示装置和控制方法 |
| CN103473807A (zh) * | 2013-09-26 | 2013-12-25 | 王治魁 | 一种3d模型变换系统及方法 |
| CN104598913A (zh) * | 2013-10-30 | 2015-05-06 | 广州华久信息科技有限公司 | 一种基于人脸的情感健康促进方法及系统 |
| CN105118022A (zh) * | 2015-08-27 | 2015-12-02 | 厦门唯尔酷信息技术有限公司 | 一种2维到3维的人脸生成和变形方法及其系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765539A (zh) * | 2018-05-24 | 2018-11-06 | 武汉斗鱼网络科技有限公司 | 基于OpenGLES的图像渲染方法、装置、设备及存储介质 |
| CN108765539B (zh) * | 2018-05-24 | 2022-05-13 | 武汉斗鱼网络科技有限公司 | 基于OpenGLES的图像渲染方法、装置、设备及存储介质 |
| US10685428B2 (en) | 2018-11-09 | 2020-06-16 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier |
| CN109753892A (zh) * | 2018-12-18 | 2019-05-14 | 广州市百果园信息技术有限公司 | 人脸皱纹的生成方法、装置、计算机存储介质和终端 |
| CN114998508A (zh) * | 2022-01-24 | 2022-09-02 | 上海幻维数码创意科技股份有限公司 | 一种基于Dlib和OpenGL的视频人脸表情生成方法 |
| CN114581614A (zh) * | 2022-05-06 | 2022-06-03 | 海马云（天津）信息技术有限公司 | 根据2d人脸图片生成3d人脸模型的方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Habermann et al. | Deepcap: Monocular human performance capture using weak supervision | |
| JP7456670B2 (ja) | ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| US8933928B2 (en) | Multiview face content creation | |
| AU2018292610A1 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
| CN107123139A (zh) | 基于opengl的2D到3D人脸重建方法 | |
| CN115943436A (zh) | 快速和深度脸部变形 | |
| US20160328628A1 (en) | Determining control values of an animation model using performance capture | |
| KR101148101B1 (ko) | 얼굴 표정 리타게팅 방법 | |
| CN116977522A (zh) | 三维模型的渲染方法、装置、计算机设备和存储介质 | |
| Wenninger et al. | Realistic virtual humans from smartphone videos | |
| CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
| US11769309B2 (en) | Method and system of rendering a 3D image for automated facial morphing with a learned generic head model | |
| Luo et al. | Artemis: Articulated neural pets with appearance and motion synthesis | |
| CN117315211B (zh) | 数字人合成及其模型训练方法、装置、设备及存储介质 | |
| Nguyen et al. | Real-time computer vision system for tracking simultaneously subject-specific rigid head and non-rigid facial mimic movements using a contactless sensor and system of systems approach | |
| Marques et al. | Deep spherical harmonics light probe estimator for mixed reality games | |
| Habermann et al. | A deeper look into deepcap | |
| CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
| WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
| US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
| Xia et al. | Cascaded 3d full-body pose regression from single depth image at 100 fps | |
| Ge et al. | 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models | |
| US20240037829A1 (en) | Computing images of controllable dynamic scenes | |
| Matthews et al. | Creating a large-scale synthetic dataset for human activity recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190805 Address after: Room 318, Building 2, 588 Zixing Road, Minhang District, Shanghai, 200241 Applicant after: Shanghai, like me, Mdt InfoTech Ltd Address before: Room 318, Building 2, 588 Zixing Road, Minhang District, Shanghai, 200241 Applicant before: Xia Li |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170901 |
|
| RJ01 | Rejection of invention patent application after publication |