CN103247074A - 一种结合深度信息与人脸分析技术的3d照相方法 - Google Patents

一种结合深度信息与人脸分析技术的3d照相方法 Download PDF

Info

Publication number
CN103247074A
CN103247074A CN 201310142056 CN201310142056A CN103247074A CN 103247074 A CN103247074 A CN 103247074A CN 201310142056 CN201310142056 CN 201310142056 CN 201310142056 A CN201310142056 A CN 201310142056A CN 103247074 A CN103247074 A CN 103247074A
Authority
CN
China
Prior art keywords
dimensional
human face
depth
depth information
technology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201310142056
Other languages
English (en)
Inventor
彭振云
许奇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WOWMAN INFORMATION SERVICES CO Ltd SUZHOU
Original Assignee
WOWMAN INFORMATION SERVICES CO Ltd SUZHOU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WOWMAN INFORMATION SERVICES CO Ltd SUZHOU filed Critical WOWMAN INFORMATION SERVICES CO Ltd SUZHOU
Priority to CN 201310142056 priority Critical patent/CN103247074A/zh
Publication of CN103247074A publication Critical patent/CN103247074A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提出了一种结合深度信息与人脸分析技术的3D照相方法。本发明包括以下操作步骤：设置一台能够同时采集彩色图像及其对应的深度信息的三维深度采集设备在人体头部周围不同角度和位置对人体头部进行连续拍摄，三维深度采集设备与计算机联接。具体操作步骤包括（1）基于人脸特征分析的深度数据预处理；（2）基于人脸特征分析的采集设备姿态估计；（3）三维曲面更新；（4）三维曲面预测；（5）三维人脸模型后处理。本发明是一种低成本、稳定性更好、快速的三维人脸模型重建方法。

Description

一种结合深度信息与人脸分析技术的3D照相方法
技术领域
本发明属于图像处理的技术领域，具体地涉及一种结合深度信息与人脸分析技术的3D照相方法。
背景技术
三维人脸模型需要通过三维扫描技术进行获取。三维扫描是用来检测并分析现实世界中物体或环境的形状（三维几何构造）的技术。三维人脸模型重建一般通过非接触式扫描实现。
非接触式扫描又可分为被动扫描与主动扫描两种。被动式扫描本身并不发射任何辐射线，而是通过测量待测物表面反射环境辐射线的方法来获取三维结构信息。非接触被动式扫描包括：立体视觉法(Stereoscopic)、色度成形法 (Shape from Shading)等。目前立体视觉法较为著名的商业化产品主要是加拿大ptgrey公司的Bumblebee系列双目/三目立体视觉系统。这类设备的最大有效距离通常为5~10米，扫描精度在0.2米左右。色度成形法对光照要求较为特殊，使用较为繁琐。被动扫描技术较为依赖于环境光照变化，光照太亮或太暗均不能获得理想的结果，此外精度偏低也是一个重要的缺陷，因此不适合精细的三维人脸模型重建。
 主动式扫描是指将额外的能量投射至物体，借由能量的反射来计算三维空间的信息，常见的投射能量有一般的可见光、激光等。这类扫描技术的主要原理包括：飞行时间测距(Time-of-Flight)、结构光测距(Structured Lighting)等。飞行时间测距技术除了价格高昂且速度较慢的线扫描激光扫描设备外主要有瑞士的MESA IMAGING公司的面扫描快速三维扫描设备SR 4000，其扫描速度可达50Hz，但是该设备的空间分辨率较低，仅能达到176×144，且三维重建的精度远不如线式扫描技术，距离估计噪声较大，需要采用复杂的后处理算法才能应用。结构光测距技术是一种新兴的扫描技术，通过投影或者光栅同时投射多条光线，就可以采取物体的一个表面，只需要几个面的信息就可以完成扫描，其最大的特点是扫描速度快，而且可编程实现。近年来，以色列PrimeSense公司通过红外结构光投影技术在小型化技术上迈出了重要一步。基于上述技术，微软公司推出了Kinect三维扫描设备，该设备能够以极低的价格实时提供致密三维扫描数据。然而Kinect提供的原始三维数据空间分辨率仍旧偏低(320×240)，深度测量值有一定的噪声并且有空洞，通过直接拼接的技术用于三维人脸建模仍存在稳定性差、精度低的缺陷。
发明内容
本发明的技术解决的问题是：克服现有人脸三维建模系统成本较高、稳定性较低和精度有限的缺陷。提供一种效果更好的三维人脸模型重建方法。
为实现上述目的，本发明采用的技术方案为：设置一台能够同时采集彩色图像及其对应的深度信息的三维深度采集设备在人体头部周围不同角度和位置对人体头部进行连续拍摄，三维深度采集设备与计算机联接。
具体操作包括如下步骤：（1）基于人脸特征分析的深度数据预处理；（2）基于人脸特征分析的采集设备姿态估计；（3）三维曲面更新；（4）三维曲面预测；（5）三维人脸模型后处理。
与现有技术相比，本发明具有的优点和效果如下：（1）本发明可以利用小型化的红外结构光投影技术作为三维深度采集设备，系统整体成本较低。（2）采用基于人脸特征分析的深度数据预处理方式在保持脸部三维结构细节的前提下降低了深度数据的噪声。（3）采用基于人脸特征分析的采集设备姿态估计技术增强了姿态估计的稳定性，从而提高了三维人脸重建的精度。
附图说明
 图1为人脸区域掩模版示意图。1为检测的人脸区域特征点，2为人脸区域掩模版，黑色为五官区域。
图2为本发明的流程图。
具体实施方式
 这种结合深度信息与人脸分析技术的3D照相方法包括如下步骤：（1）基于人脸特征分析的深度数据预处理；（2）基于人脸特征分析的采集设备姿态估计；（3）三维曲面更新；（4）三维曲面预测；（5）三维人脸模型后处理。
优选地，步骤（1）包括（1.1）通过人脸特征分析技术在图像帧中提取人脸特征点，然后根据特征点位置划分成不同的五官内区域，设置人脸区域掩模版。（参见图1）（1.2）根据人脸区域掩模版对人脸区域设置不同的高斯滤波方差值对深度数据进行平滑滤波。对五官等具有精细细节的区域，选用较小的方差值进行滤波，保留细节；对于非五官区域，选用较大的方差值进行滤波，降低噪声。
优选地，步骤（2）包括（2.1）通过人脸特征分析技术分别在相邻图像帧中提取人脸特征点，将特征点用特征矢量进行描述，最后利用K维树结构(K-d tree)技术匹配对应的特征点。然后将问题转化为透视n点(Perspective-n-Point, PnP)问题求解初始姿态估计结果。（2.2）基于上述初始姿态估计结果结合迭代共轭点(ICP)技术实现精细的姿态估计结果。
优选地，步骤（3）通过基于截断带符号距离函数(TSDF)的空间体积表达方式描述全局的人脸三维模型，从而使得新扫描得到的物体三维数据可以通过滑动窗口的均化方式融入全局人脸三维模型中。
优选地，步骤（4）通过光线追踪技术对全局物体三维模型进行重新进行离散化得到全局物体三维模型的点云表达形式，从而使得每一帧三维点云深度数据可以和全局物体三维模型进行匹配。
优选地，步骤（5）首先利用空洞填补技术填补重建三维人脸模型中的空洞，然后利用泊松曲面光顺技术对三维人脸模型进行平滑化处理。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种结合深度信息与人脸分析技术的3D照相方法，其特征在于包括以下操作步骤：设置一台能够同时采集彩色图像及其对应的深度信息的三维深度采集设备在人体头部周围不同角度和位置对人体头部进行连续拍摄，三维深度采集设备与计算机联接。
2.根据权利要求1所述的一种结合深度信息与人脸分析技术的3D照相方法，其特征在于，所述操作步骤包括：（1）基于人脸特征分析的深度数据预处理；（2）基于人脸特征分析的采集设备姿态估计；（3）三维曲面更新；（4）三维曲面预测；（5）三维人脸模型后处理。
3. 根据权利要求2所述的一种结合深度信息与人脸分析技术的3D照相方法，其特征在于，所述操作步骤（1）包括以下分步骤：（1.1）通过人脸特征分析技术在图像帧中提取人脸特征点，然后根据特征点位置划分成不同的五官区域，设置人脸区域掩模版；（1.2）根据人脸区域掩模版对人脸区域设置不同的滤波强度，作用于对应的深度输入数据。
4. 根据权利要求2所述的一种结合深度信息与人脸分析技术的3D照相方法，其特征在于，所述操作步骤（2）包括以下分步骤：（2.1）通过人脸特征分析技术分别在相邻图像帧中提取人脸特征点，通过特征点匹配技术获得匹配点对应的三维坐标，然后求解初始姿态估计结果；（2.2）基于上述初始姿态估计结果结合迭代共轭点(ICP)技术实现精细的姿态估计结果。
CN 201310142056 2013-04-23 2013-04-23 一种结合深度信息与人脸分析技术的3d照相方法 Pending CN103247074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201310142056 CN103247074A (zh) 2013-04-23 2013-04-23 一种结合深度信息与人脸分析技术的3d照相方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201310142056 CN103247074A (zh) 2013-04-23 2013-04-23 一种结合深度信息与人脸分析技术的3d照相方法

Publications (1)

Publication Number Publication Date
CN103247074A true CN103247074A (zh) 2013-08-14

Family

ID=48926579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201310142056 Pending CN103247074A (zh) 2013-04-23 2013-04-23 一种结合深度信息与人脸分析技术的3d照相方法

Country Status (1)

Country Link
CN (1) CN103247074A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473807A (zh) * 2013-09-26 2013-12-25 王治魁 一种3d模型变换系统及方法
CN103489218A (zh) * 2013-09-17 2014-01-01 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
CN103971408A (zh) * 2014-05-21 2014-08-06 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN105989614A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
CN109348138A (zh) * 2018-10-12 2019-02-15 百度在线网络技术（北京）有限公司 光照调节方法、装置、设备和存储介质
WO2019196745A1 (zh) * 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN111967942A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物方法
CN112308963A (zh) * 2020-11-13 2021-02-02 四川川大智胜软件股份有限公司 一种无感三维人脸重建方法及采集重建系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489218B (zh) * 2013-09-17 2016-06-29 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
CN103489218A (zh) * 2013-09-17 2014-01-01 中国科学院深圳先进技术研究院 点云数据质量自动优化方法及系统
US9684817B2 (en) 2013-09-17 2017-06-20 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Method and system for automatically optimizing quality of point cloud data
CN103473807B (zh) * 2013-09-26 2018-02-13 王治魁 一种3d模型变换系统及方法
CN103473807A (zh) * 2013-09-26 2013-12-25 王治魁 一种3d模型变换系统及方法
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法
CN103971408A (zh) * 2014-05-21 2014-08-06 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法
CN105989614A (zh) * 2015-02-13 2016-10-05 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
CN105989614B (zh) * 2015-02-13 2020-09-01 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
WO2019196745A1 (zh) * 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 人脸建模方法及相关产品
US11398044B2 (en) 2018-04-12 2022-07-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for face modeling and related products
CN109348138A (zh) * 2018-10-12 2019-02-15 百度在线网络技术（北京）有限公司 光照调节方法、装置、设备和存储介质
CN111967942A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物方法
CN112308963A (zh) * 2020-11-13 2021-02-02 四川川大智胜软件股份有限公司 一种无感三维人脸重建方法及采集重建系统
CN112308963B (zh) * 2020-11-13 2022-11-08 四川川大智胜软件股份有限公司 一种无感三维人脸重建方法及采集重建系统

Similar Documents

Publication Publication Date Title
Bartol et al. A review of body measurement using 3D scanning
CN103247074A (zh) 一种结合深度信息与人脸分析技术的3d照相方法
CN107945268B (zh) 一种基于二元面结构光的高精度三维重建方法及系统
US7822267B2 (en) Enhanced object reconstruction
Bulatov et al. Context-based automatic reconstruction and texturing of 3D urban terrain for quick-response tasks
JP5099965B2 (ja) Ｈｅｌｍｈｏｌｔｚ相互画像ペアを用いた表面再構成及びレジストレーション
CN104376596B (zh) 一种基于单幅图像的三维场景结构建模与注册方法
EP2881702B1 (en) Image processing system, and image processing method
CN109978984A (zh) 人脸三维重建方法及终端设备
Xu et al. Flyfusion: Realtime dynamic scene reconstruction using a flying depth camera
CN103500010B (zh) 一种视频人手指尖定位方法
Xu et al. Dynamic hair capture using spacetime optimization
CN110278431A (zh) 相位检测自动聚焦三维图像撷取系统
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
Ran et al. Point cloud registration method based on SIFT and geometry feature
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
He et al. Volumeter: 3D human body parameters measurement with a single Kinect
CN108986157A (zh) 一种基于双目相机的虚拟发型交互装置及使用方法
Ahmed et al. Time-coherent 3D animation reconstruction from RGB-D video
Zhang et al. A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction
Barone et al. 3D virtual reconstructions of artworks by a multiview scanning process
Chang et al. Reconstructing three-dimensional specific curve building models from a single perspective view image
Li et al. 3D reconstruction based on Kinect
CN109451294A (zh) 3d显示方法、系统、装置、电子设备及存储介质
Zhang et al. [Retracted] A 3D Face Modeling and Recognition Method Based on Binocular Stereo Vision and Depth‐Sensing Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130814