CN109461206A - 一种多目立体视觉的人脸三维重建装置及方法 - Google Patents
一种多目立体视觉的人脸三维重建装置及方法 Download PDFInfo
- Publication number
- CN109461206A CN109461206A CN201811265891.8A CN201811265891A CN109461206A CN 109461206 A CN109461206 A CN 109461206A CN 201811265891 A CN201811265891 A CN 201811265891A CN 109461206 A CN109461206 A CN 109461206A
- Authority
- CN
- China
- Prior art keywords
- face
- camera
- stereo vision
- image
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000004020 conductor Substances 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Abstract
本发明提供了一种多目立体视觉的人脸三维重建装置及方法，该方法包括：搭建多目立体视觉系统，以便于在同一时刻采集到多视角相机下的人脸图像；对采集到的图像进行预处理，包括图像灰度化和图像去噪处理；利用张正友标定法，使用棋盘标定板取代三维标定物，计算出相机的内外参数；采用图割算法进行立体匹配，通过求取能量函数最优解获取稠密视差图；将视差图转换成点云数据并进行Delaunay三角剖分、纹理映射，实现人脸三维重建。本发明可对人脸信息进行多角度采集，并快速精准地实现人脸三维重建。
Description
技术领域
本发明涉及一种多目立体视觉的人脸三维重建装置及方法，属于计算机视觉领域。
背景技术
人脸包含了一个人的许多重要信息，随着计算机视觉、计算机技术等相关领域的飞速发展，三维人脸重建技术也在不断更新。人脸三维重建在军事、医疗、安防、虚拟现实、游戏娱乐等诸多方面具有重要的研究意义。传统的激光扫描或结构光扫描设备造价昂贵、扫描耗时长、设备结构复杂，不适合应用于普通场合；基于双目立体视觉的人脸三维重建研究较多，但双目视觉只是从两个不同角度进行人脸采集，三维信息不够完整，人脸三维重建效果差。
发明内容
针对上述问题，本发明要解决的技术问题是：提供一种多目立体视觉的人脸三维重建装置及方法，解决了传统设备及方法成本高、耗时长、三维信息不完整的不足，能够同时进行多角度人脸图像采集，实现人脸三维重建。
本发明的技术方案是：一种多目立体视觉的人脸三维重建装置及方法包括：
步骤1：搭建多目立体视觉系统，以便于在同一时刻采集到多视角相机下的人脸图像；
步骤2：对采集到的图像进行预处理，包括图像灰度化和图像去噪处理；
步骤3：利用张正友标定法，使用棋盘标定板取代三维标定物，计算出相机的内外参数；
步骤4：采用图割算法进行立体匹配，通过求取能量函数最优解获取稠密视差图；
步骤5：将视差图转换成点云数据并进行Delaunay三角剖分、纹理映射，实现人脸三维重建。
步骤1：搭建多目立体视觉系统，由LED照明灯1、CMOS相机2、计算机3、圆形固定架4、下巴托架5和固定底盘6组成。
所述环形固定架4的上、下、左、右四个位置各固定一台CMOS相机2，并由内置导线将相机相互连接，同时环形固定架4的环形表面装有LED照明灯1若干。
所述环形固定架4和所述下巴托架5被分别垂直固定在固定底盘6上。
所述计算机3与环形固定架4连接，以便控制四台相机在同一时刻对人脸信息进行采集，并将采集到的信息传输给计算机3。
步骤2：对采集到的图像进行预处理，包括图像灰度化和图像去噪处理,包括如下子步骤：
步骤2-1：根据人眼对不同色彩的敏感度，对采集到的人脸彩色图像采用权值灰度化处理；
步骤2-2：对所述步骤2-1处理后的灰度图像进行中值滤波，采用3×3大小的掩膜；
采用张正友棋盘标定法，用棋盘标定板代替三维标定物，通过相机标定，获取相机的内外参数，便于精准地确定人脸所在的空间位置。其中，
所述相机内参数为多目相机的内部结构参数；
所述相机外参数包括多目相机的旋转矩阵和平移矩阵。
步骤3：利用张正友标定法，使用棋盘标定板取代三维标定物，计算出相机的内外参数，包括如下子步骤：
步骤3-1：制作棋盘标定板，采用每格边长20mm的10×12棋盘方格纸，粘贴在硬纸板上；
步骤3-2：所述多目立体视觉采集系统，从四个不同的角度，同时对标定板进行拍摄，拍摄时标定板要不停改变旋转角度与位置；
步骤3-3：检测出每幅图像中的特征点；
步骤3-4：计算出相机的内外参数与畸变系数。
步骤4：采用图割算法进行立体匹配，通过求取能量函数最优解获取稠密视差图，包括如下子步骤：
步骤4-1：建立能量函数。图像匹配问题转化成离散标号问题，并根据该问题构建能量函数；
步骤4-2：建立网络图。将所属步骤4-1建立的能量函数映射到图论中，并且建立网络图；
步骤4-3：生成视图差。求解能量函数的最小值，从而生成视图差。
步骤5：将视差图转换成点云数据并进行Delaunay三角剖分、纹理映射，实现人脸三维重建，包括如下子步骤：
步骤5-1：获取图像每个像素点的空间坐标，得到三维空间点云，并进行平滑处理；
步骤5-2：将所述步骤5-1平滑处理后的点云，进行Delaunay三角剖分，将人脸图像分割成若干个三角形；
步骤5-3：将所述步骤5-2建立的Delaunay三角网格中进行纹理映射，实现人脸三维重建。
与现有技术相比，本发明的优点在于：
1、本发明搭建多目立体视觉采集系统，能够对人脸图像进行多角度同时采集，使人脸三维信息更加完整；
2、本发明采用图割算法进行立体匹配，相比于其他的区域匹配算法，该算法能形成精细度更高的视差图，同时深度区分更明显；
3、本发明相比于传统的激光扫描或结构光扫描设备，成本低、效率高、操作简单，易于实现。
附图说明
图1为本发明实施例的硬件连接图。
图2为本发明实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种多目立体视觉的人脸三维重建装置及方法。该方法通过搭建的多目立体视觉系统，同时采集到四种不同角度的人脸图像，并进行人脸三维重建。
下面参照图1、图2对本发明的实施例进行说明。
如图1所示，一种多目立体视觉的人脸三维重建装置，由LED照明灯1、CMOS相机2、计算机3、圆形固定架4、下巴托架5和固定底盘6组成。所述环形固定架4的上、下、左、右四个位置各固定一台CMOS相机2，并由内置导线将相机相互连接，同时环形固定架4的环形表面装有LED照明灯1若干；所述环形固定架4和所述下巴托架5被分别垂直固定在固定底盘6上；所述计算机3与环形固定架4连接，以便控制四台相机在同一时刻对人脸信息进行采集，并将采集到的信息传输给计算机3。再由计算机3进行图像预处理、相机标定、立体匹配、点云配准和三维重建。
下面对具体的实施过程分块进行描述：
步骤1：搭建多目立体视觉系统，由LED照明灯1、CMOS相机2、计算机3、圆形固定架4、下巴托架5和固定底盘6组成。
所述环形固定架4的上、下、左、右四个位置各固定一台CMOS相机2，并由内置导线将相机相互连接，同时环形固定架4的环形表面装有LED照明灯1若干；
所述环形固定架4和所述下巴托架5被分别垂直固定在固定底盘6上；
所述计算机3与环形固定架4连接，以便控制四台相机在同一时刻对人脸信息进行采集，并将采集到的信息传输给计算机3。
步骤2：对采集到的图像进行预处理，包括图像灰度化和图像去噪处理,包括如下子步骤：
步骤2-1：根据人眼对不同色彩的敏感度，对采集到的人脸彩色图像采用权值灰度化处理；
步骤2-2：对所述步骤2-1处理后的灰度图像进行中值滤波，采用3×3大小的掩膜；
采用张正友棋盘标定法，用棋盘标定板代替三维标定物，通过相机标定，获取相机的内外参数，便于精准地确定人脸所在的空间位置。其中，
所述相机内参数为多目相机的内部结构参数；
所述相机外参数包括多目相机的旋转矩阵和平移矩阵。
步骤3：利用张正友标定法，使用棋盘标定板取代三维标定物，计算出相机的内外参数，包括如下子步骤：
步骤3-1：制作棋盘标定板，采用每格边长20mm的10×12棋盘方格纸，粘贴在硬纸板上；
步骤3-2：所述多目立体视觉采集系统，从四个不同的角度，同时对标定板进行拍摄，拍摄时标定板要不停改变旋转角度与位置；
步骤3-3：检测出每幅图像中的特征点；
步骤3-4：计算出相机的内外参数与畸变系数。
步骤4：采用图割算法进行立体匹配，通过求取能量函数最优解获取稠密视差图，包括如下子步骤：
步骤4-1：建立能量函数。图像匹配问题转化成离散标号问题，并根据该问题构建能量函数；
步骤4-2：建立网络图。将所属步骤4-1建立的能量函数映射到图论中，并且建立网络图；
步骤4-3：生成视图差。求解能量函数的最小值，从而生成视图差。
步骤5：将视差图转换成点云数据并进行Delaunay三角剖分、纹理映射，实现人脸三维重建，包括如下子步骤：
步骤5-1：获取图像每个像素点的空间坐标，得到三维空间点云，并进行平滑处理；
步骤5-2：将所述步骤5-1平滑处理后的点云，进行Delaunay三角剖分，将人脸图像分割成若干个三角形；
步骤5-3：将所述步骤5-2建立的Delaunay三角网格中进行纹理映射，实现人脸三维重建。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (7)
1.一种多目立体视觉的人脸三维重建装置及方法，其特征在于，包括：
步骤1：搭建多目立体视觉系统，以便于在同一时刻采集到多视角相机下的人脸图像；
步骤2：对采集到的图像进行预处理，包括图像灰度化和图像去噪处理；
步骤3：利用张正友标定法，使用棋盘标定板取代三维标定物，计算出相机的内外参数；
步骤4：采用图割算法进行立体匹配，通过求取能量函数最优解获取稠密视差图；
步骤5：将视差图转换成点云数据并进行Delaunay三角剖分、纹理映射，实现人脸三维重建。
2.根据权利要求1所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，所述步骤1包括：
搭建多目立体视觉系统，所述系统由LED照明灯（1）、CMOS相机（2）、计算机（3）、圆形固定架（4）、下巴托架（5）和固定底盘（6）组成；
所述环形固定架（4）的上、下、左、右四个位置各固定一台CMOS相机（2），并由内置导线将相机相互连接，同时环形固定架（4）的环形表面装有LED照明灯（1）若干；
所述环形固定架（4）和所述下巴托架（5）被分别垂直固定在固定底盘（6）上；
所述计算机（3）与环形固定架（4）连接，以便控制四台相机在同一时刻对人脸信息进行采集，并将采集到的信息传输给计算机（3）；一种多目立体视觉的人脸三维重建装置，由LED照明灯1、CMOS相机2、计算机3、圆形固定架4、下巴托架5和固定底盘6组成；
所述环形固定架4的上、下、左、右四个位置各固定一台CMOS相机2，并由内置导线将相机相互连接，同时环形固定架4的环形表面装有LED照明灯1若干；
所述环形固定架4和所述下巴托架5被分别垂直固定在固定底盘6上；
所述计算机3与环形固定架4连接，以便控制四台相机在同一时刻对人脸信息进行采集，并将采集到的信息传输给计算机3。
3.根据权利要求1所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，所述步骤2包括如下子步骤：
步骤2-1：根据人眼对不同色彩的敏感度，对采集到的人脸彩色图像采用权值灰度化处理；
步骤2-2：对所述步骤2-1处理后的灰度图像进行中值滤波，采用3×3大小的掩膜。
4.根据权利要求1所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，包括：采用张正友棋盘标定法，用棋盘标定板代替三维标定物，通过相机标定，获取相机的内外参数，便于精准地确定人脸所在的空间位置；其中，
所述相机内参数为多目相机的内部结构参数；
所述相机外参数包括多目相机的旋转矩阵和平移矩阵。
5.根据权利要求4所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，所述步骤3包括如下子步骤：
步骤3-1：制作棋盘标定板，采用每格边长20mm的10×12棋盘方格纸，粘贴在硬纸板上；
步骤3-2：所述多目立体视觉采集系统，从四个不同的角度，同时对标定板进行拍摄，拍摄时标定板要不停改变旋转角度与位置；
步骤3-3：检测出每幅图像中的特征点；
步骤3-4：计算出相机的内外参数与畸变系数。
6.根据权利要求1所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，所属步骤4包括如下子步骤：
步骤4-1：建立能量函数；
图像匹配问题转化成离散标号问题，并根据该问题构建能量函数；
步骤4-2：建立网络图；
将所属步骤4-1建立的能量函数映射到图论中，并且建立网络图；
步骤4-3：生成视图差；
求解能量函数的最小值，从而生成视图差。
7.根据权利要求1所述的一种多目立体视觉的人脸三维重建装置及方法，其特征在于，所属步骤5包括如下子步骤：
步骤5-1：获取图像每个像素点的空间坐标，得到三维空间点云，并进行平滑处理；
步骤5-2：将所述步骤5-1平滑处理后的点云，进行Delaunay三角剖分，将人脸图像分割成若干个三角形；
步骤5-3：将所述步骤5-2建立的Delaunay三角网格中进行纹理映射，实现人脸三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811265891.8A CN109461206A (zh) | 2018-10-29 | 2018-10-29 | 一种多目立体视觉的人脸三维重建装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811265891.8A CN109461206A (zh) | 2018-10-29 | 2018-10-29 | 一种多目立体视觉的人脸三维重建装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109461206A true CN109461206A (zh) | 2019-03-12 |
Family
ID=65608621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811265891.8A Pending CN109461206A (zh) | 2018-10-29 | 2018-10-29 | 一种多目立体视觉的人脸三维重建装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109461206A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105493A (zh) * | 2019-12-04 | 2020-05-05 | 东南大学 | 基于多视角立体视觉的人体手部三维采集方法 |
| CN111274944A (zh) * | 2020-01-19 | 2020-06-12 | 中北大学 | 一种基于单张图像的三维人脸重建方法 |
| CN111444883A (zh) * | 2019-05-10 | 2020-07-24 | 沈阳工业大学 | 使用立体人脸的增益人脸合成方法 |
| CN111833441A (zh) * | 2020-07-30 | 2020-10-27 | 华中师范大学 | 一种基于多相机系统的人脸三维重建方法和装置 |
| CN112184887A (zh) * | 2020-09-29 | 2021-01-05 | 南京鼎毅信息科技有限公司 | 基于双目视觉的人脸三维重建优化方法 |
| CN112381721A (zh) * | 2020-07-15 | 2021-02-19 | 南京工业大学 | 一种基于双目视觉的人脸三维重建方法 |
-
2018
- 2018-10-29 CN CN201811265891.8A patent/CN109461206A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444883A (zh) * | 2019-05-10 | 2020-07-24 | 沈阳工业大学 | 使用立体人脸的增益人脸合成方法 |
| CN111444883B (zh) * | 2019-05-10 | 2023-09-19 | 沈阳工业大学 | 使用立体人脸的增益人脸合成方法 |
| CN111105493A (zh) * | 2019-12-04 | 2020-05-05 | 东南大学 | 基于多视角立体视觉的人体手部三维采集方法 |
| CN111105493B (zh) * | 2019-12-04 | 2022-11-18 | 东南大学 | 基于多视角立体视觉的人体手部三维采集方法 |
| CN111274944A (zh) * | 2020-01-19 | 2020-06-12 | 中北大学 | 一种基于单张图像的三维人脸重建方法 |
| CN112381721A (zh) * | 2020-07-15 | 2021-02-19 | 南京工业大学 | 一种基于双目视觉的人脸三维重建方法 |
| CN111833441A (zh) * | 2020-07-30 | 2020-10-27 | 华中师范大学 | 一种基于多相机系统的人脸三维重建方法和装置 |
| CN112184887A (zh) * | 2020-09-29 | 2021-01-05 | 南京鼎毅信息科技有限公司 | 基于双目视觉的人脸三维重建优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461206A (zh) | 一种多目立体视觉的人脸三维重建装置及方法 | |
| WO2021077720A1 (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| US10217293B2 (en) | Depth camera-based human-body model acquisition method and network virtual fitting system | |
| CN103868460B (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN104574292B (zh) | 一种ct图像的校正方法和装置 | |
| CN108335350A (zh) | 双目立体视觉的三维重建方法 | |
| CN106981081A (zh) | 一种基于深度信息提取的墙面平整度检测方法 | |
| CN106997605B (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
| CN110288642A (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN104361315A (zh) | 基于单目多视角立体机器视觉的3d指纹识别装置 | |
| CN105571512B (zh) | 一种基于深度信息与可视图像信息相融合的车辆信息采集方法及装置 | |
| CN105631859B (zh) | 三自由度仿生立体视觉系统 | |
| CN109427080A (zh) | 快速生成大量复杂光源人脸图像的方法 | |
| CN109242898B (zh) | 一种基于图像序列的三维建模方法及系统 | |
| CN111160136B (zh) | 一种标准化3d信息采集测量方法及系统 | |
| CN102779354B (zh) | 基于光度立体技术的中医望诊信息表面三维重建方法 | |
| CN103065359A (zh) | 一种光学成像的三维轮廓重建系统及其重建方法 | |
| CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
| CN110049304A (zh) | 一种稀疏相机阵列瞬时三维成像的方法及其装置 | |
| CN109769109A (zh) | 基于虚拟视点合成绘制三维物体的方法和系统 | |
| CN107230224A (zh) | 三维虚拟服装模型制作方法及装置 | |
| CN109816779A (zh) | 一种使用智能手机重建人工林森林模型获取单木参数的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190312 |
|
| WD01 | Invention patent application deemed withdrawn after publication |