CN109903376B - 一种人脸几何信息辅助的三维人脸建模方法及系统 - Google Patents

一种人脸几何信息辅助的三维人脸建模方法及系统 Download PDF

Info

Publication number
CN109903376B
CN109903376B CN201910150015.9A CN201910150015A CN109903376B CN 109903376 B CN109903376 B CN 109903376B CN 201910150015 A CN201910150015 A CN 201910150015A CN 109903376 B CN109903376 B CN 109903376B
Authority
CN
China
Prior art keywords
face
modeling
dimensional
human face
projection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910150015.9A
Other languages
English (en)
Other versions
CN109903376A (zh
Inventor
荆海龙
游健
朱江平
熊伟
陈虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Wisesoft Co Ltd
Original Assignee
Sichuan University
Wisesoft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University, Wisesoft Co Ltd filed Critical Sichuan University
Priority to CN201910150015.9A priority Critical patent/CN109903376B/zh
Publication of CN109903376A publication Critical patent/CN109903376A/zh
Application granted granted Critical
Publication of CN109903376B publication Critical patent/CN109903376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种人脸几何信息辅助的三维人脸建模方法及系统,该方法基于主动投影的双目立体视觉原理,利用多帧条纹结构光场所蕴含的相位信息对目标人脸表面进行标记,利用相机获取建模图像,基于空间相位展开技术来获取条纹结构光光场所蕴含的相对相位信息,并以人脸特征点为锚点,将双目相机的相对相位信息统一到相同基准,然后进行相位匹配得到视差图,进而重建三维人脸模型。本方法充分利用了人脸条纹图中所蕴含的人脸特征点位置信息,无需加入附加结构光场就进行相位展开,有效减少了完成三维建模所需投影和拍摄结构光场的数目,缩短建模图像采集时间,并有效保证了建模精度。

Description

一种人脸几何信息辅助的三维人脸建模方法及系统
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种人脸几何信息辅助的三维人脸建模方法及系统。
背景技术
利用数字图像重建物体三维表面形状是计算机视觉长期的研究焦点。近年来,三维人脸建模技术发展迅速,具有真实感的三维人脸模型在影视、游戏、教育、虚拟现实、整形美容、身份认证、3D打印等多个领域都有着广泛的应用前景。近年来,公共安全、信息安全成为关系国计民生的重大领域,生物特征识别技术近年发展迅猛,人脸识别技术因其适应场景广、非接触的特点获得了广泛的关注,但传统的二维人脸识别技术的识别率易受姿态、光照、化妆等因素影响且防伪能力较弱,这限制了人脸识别技术的大规模应用和推广。三维人脸信息所含信息丰富,包括传统的颜色信息和反映人脸总体和局部形貌特征的空间结构信息,三维人脸信息将在很大程度上弱化姿态角度、光照、化妆等对识别率的影响,同时三维人脸信息具有天然的防伪功能,可有效阻止利用二维照片或视频进行的欺骗行为,学术界和企业界都对三维人脸识别技术进行了深入研究。
目前,已发展了多种三维人脸建模技术,根据其实现原理的不同,主要有三维形变模型(3D Morphable Mode)的方法和基于三维形貌测量的方法。前者使用调整原型人脸来生成新的人脸,对于特定人脸图像,通过模型匹配实现了三维人脸的自动重建,具有自动化、真实感好、建模图像易于获取的优点,但精度不高;后者基于三角测量原理,采用主动结构光投影技术,将人脸作为普通物体进行三维表面形状测量,不使用人脸的任何先验知识。这种这种方法精度较高,结合二维彩色纹理图像,可以获得精度高、真实感强的三维人脸模型且建模图像采集过程具有非接触、速度快的特点,这种三维人脸建模方法获得了广泛关注,在学术界和产业界均进行了深入研究。
基于主动结构光投影和三角测量原理的三维面形测量技术已经取得了重大进步,发展了诸多有效方法,经典方法主要有统计编码方法和相位测量轮廓术。统计编码方法需投影空间编码的灰度或二值化图案到被测物体表面,以空间邻域或时间轴方向上的明暗变化对物体表面进行标记,基于图像相关方法获取视差后利用三角测量原理进行三维重建,该法具有投影系统简易、成本较低、速度快的特点,微软kinect和英特尔RealSense就属于这类产品,但基于该法所获得的人脸模型精度较低。后者主动投影条纹图到被测物体表面,以条纹图蕴含的相位信息对物面进行标记,基于相位匹配方法获取视差后利用三角测量原理进行三维重建,这种方法精度较高。在相位测量轮廓术中,计算得到的相位并不是绝对相位,相位信息受反三角函数取值范围的影响被截断在(-π,π)的范围内,在进行三维建模前必须先进行相位展开从而得到绝对相位。在众多相位展开方法中,时间相位展开技术因相位精度高、像素间互不影响且相位展开过程可靠性高的特点得到了广泛关注与应用,但这种方法通常需要投影并拍摄附加结构光场来辅助相位展开,投影结构光场数目的增加同时意味着获取建模图像数目的增加。与静态物体不同,人脸一直处于或大或小的运动状态,而相位测量轮廓术从原理上要求被测人脸体处于静止状态,这就要求系统获取建模图像的时间尽可能短来避免人脸运动对建模精度的影响。时间相位展开方法需要额外增加建模图像数目的现状不利于三人脸测量。在保持建模图像获取时间不变的情况下,通过提高硬件性能也可以缓解这一矛盾,但这意味着成本的增加,不利于大规模推广应用。
发明内容
本发明的目的之一至少在于,针对如何克服上述现有技术存在的问题,提供一种以人脸特征点为锚点来对双目相机获取的相对相位信息进行基准统一的三维人脸建模方法。该方法以主动投影的双目立体视觉原理为基础,通过多帧(优选地N≥3)条纹结构光场所蕴含的相位信息对目标人脸表面进行标记,相机获取序列条纹结构光场照明的人脸图像,基于空间相位展开技术来获取条纹结构光光场所蕴含的相对相位信息,因空间相位展开的结果是相对相位,双目相机获取的相对相位信息是相互独立的无法直接进行相位匹配并三维建模,使用人脸特征点为锚点,将双目相机获取的相对相位信息统一到相同基准,然后进行相位匹配得到视差图,进而重建三维人脸模型。
为了实现上述目的,本发明采用的技术方案包括以下各方面。
一种人脸几何信息辅助的三维人脸建模方法,包括:
步骤101,以不相同的M个拍摄角度采集N帧被测人脸在条纹结构光场中的人脸图像;其中,N是大于等于3的整数,M是大于等于2的整数;
步骤102,对所采集的条纹结构光场中的人脸图像进行空间相位展开获取条纹结构光光场所蕴含的相位信息;
步骤103,使用人脸图像的特征点为锚点,将不同角度拍摄的图像的相位信息统一到相同基准,然后进行相位匹配得到稠密视差图,重建三维被测人脸模型。
优选的,一种人脸几何信息辅助的三维人脸建模方法,步骤101还包括:
从采集到的N帧被测人脸在条纹结构光场中的人脸图像中解析出相应的纹理信息,以生成纹理图像对,并提取纹理图像对中的人脸区域及人脸特征点。
优选的,一种人脸几何信息辅助的三维人脸建模方法中,空间相位展开为基于可靠度导向的空间相位展开,可靠度参数为调制度参数。
优选的,一种人脸几何信息辅助的三维人脸建模方法中,采用包括但不限于基于深度学习的人脸特征点提取技术、基于adaboost的人脸提取技术提取纹理图像对中的特征点;特征点包括但不限于瞳孔中心、鼻尖、嘴角中的一种或多种。
优选的,一种人脸几何信息辅助的三维人脸建模方法中,将不同角度拍摄的图像的相位信息统一到相同基准具体包括:
以某个角度拍摄的人脸图像的特征点的相位值为参考相位值,求得其他角度拍摄的人脸图像的特征点的相位值与参考相位值的差值,并将差值除以2π并取整得整数k,接着在其他角度拍摄的人脸图像的特征点的基准相位值加上2kπ,以实现不同角度拍摄的图像的相对相位信息的基准统一;
或者将不同角度拍摄的人脸图像的相对相位信息统一到预设基准相位值,以实现不同角度拍摄的人脸图像的相对相位信息的基准统一。
一种人脸几何信息辅助的三维人脸建模系统,包括:频闪条纹结构光投影装置、相机和建模控制模块;
其中,建模控制模块被配置为向频闪条纹结构光投影装置发出使能信号或控制信号,以使频闪条纹结构光投影装置投射图像数量可调的正弦条纹结构光场序列至人脸表面,并基于相机传送的人脸图像完成三维人脸建模;并且建模控制模块用于根据系统工作状态对频闪条纹结构光投影装置投射正弦条纹结构光场序列的工作帧频以及相机采集图像的工作帧频进行调整;
频闪条纹结构光投影装置用于投射图像数量可调的正弦条纹结构光场序列至人脸表面,当接收到建模控制模块发出的控制信号时进行N帧条纹结构光投影并发送N个同步控制信号至左、右相机,其中,N为大于等于3的整数;当接收到建模控制模块发出的使能信号时进行周期性投影并发送周期性同步控制信号至左、右相机;
相机用于在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面的多角度图像,并以拍摄到的图像为建模图像传送至建模控制模块。
优选的,一种人脸几何信息辅助的三维人脸建模系统中,频闪条纹结构光投影装置为基于DLP的数字投影装置、1维扫描振镜的数字投影装置、2维扫描振镜的数字投影装置中的一种。
优选的,一种人脸几何信息辅助的三维人脸建模系统中,基于DLP的数字投影装置的光源为可见光LED或近红外LED中的一种,其功率可以由建模控制模块进行调节。
优选的,一种人脸几何信息辅助的三维人脸建模系统中,2维扫描振镜的数字投影装置、1维扫描振镜的数字投影装置的光源为半导体激光器,其功率可以由建模控制模块进行调节。
优选的,一种人脸几何信息辅助的三维人脸建模系统中,控制装置为具有信号、数据处理能力的控制器、处理器、单片机或PC机的一种。
综上所述,由于采用了上述技术方案,本发明至少具有以下有益效果:
通过多帧(优选地N≥3)条纹结构光场所蕴含的相位信息对目标人脸表面进行标记,并以人脸几何信息为辅助进行双目相机(左右相机)相对相位信息的基准统一。该法充分利用了人脸条纹图中所蕴含的人脸特征点位置信息,无需像传统方法一样投影并拍摄附加结构光场来进行辅助的绝对相位展开,该方法能够有效减少三维人脸建模所需投影和拍摄结构光场数目,以更短的时间完成三维人脸建模图像的采集,且保证了三维人脸的建模精度,从而为建模精度和拍照时间都有较高要求的应用场景提供了行之有效的解决方案。
附图说明
图1为根据本发明示例性实施例的基于振镜的三维扫描仪原理图;
图2为根据本发明示例性实施例的一种典型条纹结构光投影拍摄时序图(以4帧条纹结构光场为例);
图3为根据本发明示例性实施例的三维人脸建模方法的流程图。
图4为根据本发明示例性实施例的由条纹图计算所得纹理图。
图5为根据本发明示例性实施例的纹理图人脸区域及特征点提取结果。
图6为根据本发明示例性实施例的由条纹图计算所得截断相位。
图7为根据本发明示例性实施例的基于调制度导向的截断相位展开结果及使用人脸特征点为锚点,将右相机相对相位信息统一到左相机相对相位信息基准的结果。
图8为根据本发明示例性实施例的基准统一的相对相位信息进行相位匹配得到的视差图。
图9为根据本发明示例性实施例的三维人脸重建结果。
图中标记:100-基于红外振镜的频闪条纹结构光投影装置,201-左红外相机,202-右红外相机,300-所投影条纹结构光场(以4帧条纹结构光场为例),400-建模控制模块(以计算机为例)。
具体实施方式
下面结合附图及实施例,对本发明进行进一步详细说明,以使本发明的目的、技术方案及优点更加清楚明白。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
本发明示例性实施例的三维人脸建模系统主要包括:
频闪条纹结构光投影装置、相机(这里采用的是左右两个相机)和建模控制模块组成。所述频闪条纹结构光投影装置投射图像数量可调的N(N≥3)幅条纹结构光场序列至人脸表面,同时输出同步控制信号给所述相机;所述相机工作于外触发状态,在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面作为建模图像传送至所述建模控制模块;所述建模控制模块通过向频闪条纹结构光投影装置发出控制信号或使能信号控制频闪条纹结构光投影装置进行投影输出,其可协调三维人脸建模系统的工作流程,并基于相机处发送的建模图像完成三维人脸建模。并且所述建模控制装置为具有信号、数据处理能力的控制器、处理器、单片机或PC机的一种。
其中,所述频闪条纹结构光投影装置接收到建模控制模块发出的控制信号后进行N帧条纹结构光投影并同时发送N个同步控制信号至相机,其中,N为大于等于3的整数;当其接收到控制模块发出的使能信号时进行周期性投影并发送周期性同步控制信号至相机,从而实现对投影装置和相机的同步控制。其可以为采用基于DLP的数字投影方式的投影装置,采用2维扫描振镜的数字投影方式的投影装置,采用1维扫描振镜的数字投影方式的投影装置中的一种。数字投影装置的帧频可达数百乃至数千Hz,使用硬件严格控制结构光投影和相机触发的时序和工作逻辑从而实现快速三维人脸数据采集,也是三维人脸采集系统集成化、小型化的前提。正弦结构光场的投射与相机的图像采集帧频由建模控制模块控制,该帧频上限决定于投影模块和相机的最大工作帧频与建模控制模块本身无关。建模控制模块能够根据相机采集图像分析三维人脸采集系统状态、环境以及被测人脸状态、算法要求智能调整投影模块和相机的工作帧频。并且所述相机的工作波段与频闪条纹结构光投影装置光源的工作波段相吻合。
在所述频闪条纹结构光投影装置内部的硬件电路中固化有N帧条纹结构光光场图像(光场图像的固化过程可通过工具软件实现)。当其采用基于DLP的数字投影方式时,其光源为可见光LED或近红外LED中一种,当其采用1维或2维扫描振镜的数字投影方式,其光源为半导体激光器,并且所述光源的功率可以由建模控制模块进行调节控制以适应人脸拍摄环境的光照变化。并且当频闪条纹结构光投影装置采用1维或2维扫描振镜的数字投影方式时,其可根据人脸拍摄环境的光照变化自适应调整条纹结构光光场的投影帧频并同时依据投影帧频调整所发送的相机同步控制信号频率,以提高条纹对比度。因此,优选的,在本发明的进一步实施例中我们优选1维扫描振镜的投影方式与红外相机作为建模系统。
具体的,所述三维人脸建模系统采用的以人脸特征点为锚点来对双目相机获取的相对相位信息进行基准统一的三维人脸建模方法包含以下步骤:
步骤101,以不相同的M个拍摄角度采集N帧被条纹结构光场照明的测物图像,N是大于等于3的整数,M是大于等于2的整数;
具体的,步骤101还包括从采集到的N帧被测人脸的在条纹结构光场中的图像中解析出相应的纹理信息,以生成纹理图像对,并提取所述纹理图像对中的人脸区域及特征点。
进一步的,(以左右两台相机为例)解析所述2台相机所拍摄建模图像中所蕴含的纹理信息形成纹理图像对,提取左右纹理图像的人脸区域及人脸特征点。将每台相机获取到的N帧条纹图的对应像素进行组合以得到该相机所对应的人脸纹理图。并基于二维图像处理技术提取每台相机所对应人脸纹理图的人脸特征点。并且所述二维图像处理技术包括但不限于基于深度学习的人脸特征点提取技术、基于adaboost的人脸提取技术等二维图像处理技术。并且所提取的左右纹理图像的人脸特征点点数应相同,且相应的特征点在人脸上的分布具有相同的拓扑结构,其所隐含的解剖学意义相同。进一步的,人脸特征点可以为瞳孔中心、鼻尖、嘴角等。并从左右相机拍摄得到的建模图像中解析出相应的截断相位;对左右相机拍摄得到的建模图像(条纹图)进行极线校正,并利用截断相位公式计算出截断相位信息。
步骤102,对所采集的图像进行空间相位展开获取条纹结构光光场所蕴含的相位信息;即对步骤101所得图像在对应的人脸区域内的截断相位进行空间相位展开获取条纹结构光场所蕴含的相对相位信息;
具体的,在提取到的纹理图像对中的人脸区域内对所述截断相位进行基于可靠度导向的空间相位展开,相位展开起始点的相位值设为截断相位信息中的相位值,并作为对截断相位进行空间相位展开结果的比较基准,空间相位展开后其余各点的相位值为相对于相位展开起始点相位值的相对值。基于可靠度导向的空间相位展开方法的可靠度参数可为调制度参数,空间相位展开起始点依据具体的空间相位展开算法而定。从而得到多角度图像的相对相位信息。
步骤103,使用被测人脸特征点为锚点,将不同角度拍摄的图像的相对相位信息统一到相同相位基准,然后进行相位匹配得到视差图,重建人脸表面三维形状。
具体的,将某个角度拍摄的图像中被测人脸特征点的相对相位值为参考相位值,求得其他角度拍摄的人脸图像的特征点的相位值与参考相位值的差值,并将所述差值除以2π并取整得整数k,接着在其他角度拍摄的图像对应的相对相位值加上2kπ,以实现不同角度拍摄的图像的相对相位信息的基准统一;
或者将不同角度拍摄的图像的相对相位信息按以上方式统一到某预设基准相位值,以实现不同角度拍摄的图像的相对相位信息的基准统一。最后对基准统一后的相对相位信息进行相位匹配得到视差图,并根据所述视差图和系统标定信息重建人脸三维表面形状。
以所得的人脸特征点为锚点,以所述左相机空间相位展开结果为参考,将所述人脸特征点的相对相位值与以所述右相机空间相位展开结果中所述人脸特征点处的相对相位值进行对比,求取左右相机人脸特征点的相对相位值的差值除以2π并取整得整数k,求得k后将右相机相位图加上2kπ即实现了使用人脸特征点为锚点将双目相机获取的相互独立的相对相位信息进行统一,使得右相机所得相对相位信息与左相机所得的相对相位信息具有相同的基准。
实施例2
图1示出了本发明进一步实施例的人脸几何信息辅助的三维人脸建模系统原理图,该系统包括以近红外1维扫描振镜为核心部件的频闪条纹结构光投影装置100、左红外相机201、右红外相机202、建模控制模块400。所述频闪条纹结构光投影装置100投射可调图像数量的N(N≥3)幅条纹结构光场序列300至人脸表面,同时输出同步控制信号给所述近红外相机201-202;所述近红外相机201-202工作于外触发状态,在频闪条纹结构光投影装置100所输出的同步控制信号控制下拍摄被条纹结构光场300照明下的人脸表面作为建模图像传送至所述建模控制模块400;所述建模控制模块400控制协调三维人脸建模实现系统的工作流程,基于接收的条纹图像完成三维人脸建模。
并且在本实施例中,我们将频闪条纹结构光投影装置100的内部光源设置为只在投射条纹结构光场序列300到人脸表面时处于工作状态(延长寿命、节约能耗)。所述2台近红外相机201-202的外触发信号与频闪条纹结构光投影装置100相连。所述频闪条纹结构光投影装置100在接收到建模控制模块400的控制信号后进行4帧条纹结构光场的投影并发送4个同步控制信号至所示近红外相机201-202。近红外相机201-202所拍摄的图像直接传送给建模控制模块400。所示建模控制模块400为个人电脑。所述频闪条纹结构光投影装置100和近红外相机201-202处于建模图像采集状态时的其瞬时帧频为160帧,采用4帧条纹结构光场的投影方案时,建模图像采集时间为25ms。以需投影4帧条纹结构光场为例,一种典型条纹结构光投影拍摄时序图如2所示。
具体的,三维人脸建模方法的流程图如图3所示,包括如下步骤:
步骤500,三维人脸建模方法实现系统拍摄条纹结构光场照明下的人脸图像得到8张条纹图,左右相机各4张(以4帧条纹结构光场为例)。
步骤501,对左右相机拍摄的条纹图依据系统标定信息进行极线校正。
步骤502,分别解析所述2台近红外相机201-202所拍摄的建模图像中所蕴含的纹理信息形成纹理图像对。当条纹投影于三维物体表面上时,拍摄到的变形条纹为:
Figure BDA0001981254170000111
其中,(x,y)为像素坐标;R(x,y)是人脸表面反射率的分布;A(x,y)为背景光强,B(x,y)/A(x,y)表示了条纹的对比度;φ(x,y)是表示条纹结构光场所蕴含的相位信息;N为编码φ(x,y)所选用的条纹图数目,表相移次数;n为条纹图序号,表第n次相移,其取值范围为1到N。
对于N步相移的相位测量轮廓术,人脸表面纹理图像可由对应的N幅条纹生成。以用4帧条纹结构光场投影时为例,通过条纹图计算纹理图像的公式为:
T(x,y)=[I1(x,y)+I2(x,y)+I3(x,y)+I4(x,y)]/2 (2)
对于N不等于4的情况,各帧条纹图的系数需做相应变化。当使用4帧条纹结构光场投影时,计算所得的纹理图如图4所示。
步骤503,基于二维图像处理技术提取每台相机所对应人脸纹理图的人脸区域和人脸特征点。一种提取结果如图5所示。
步骤504,使用极线校正后的条纹图计算截断相位信息。对于采用N帧条纹结构光场的方法,截断相位的计算公式如下:
Figure BDA0001981254170000121
其中In代表第n帧条纹图,n的取值范围为1至N,左右相机的截断相位如图6所示。
步骤505,使用步骤504得到的人脸区域截断相位进行可靠度导向的空间相位展开,以调制度作为可靠度的参数,如图7所示。
步骤506,将双目相机获取的相互独立的相对相位信息进行统一,使得右相机所得相对相位信息与左相机所得的相对相位信息具有相同的基准;以所得的人脸特征点为锚点,以所述左相机空间相位展开结果为参考,将所述人脸特征点的相对相位值与以所述右相机空间相位展开结果中所述人脸特征点处的相对相位值进行对比,求取左右相机人脸特征点的相对相位值的差值,并除以2π并取整得整数k,求得k后将右相机相位图加上2kπ即实现了使用人脸特征点为锚点,将双目相机获取的相互独立的相对相位信息进行统一,统一后的左右相机相对相位信息如如图7所示。实例中,k为-6,k的取值与算法实现中相位展开起始点的位置有关。
步骤507,将基准统一后的左右相机相对相位信息进行相位匹配得到视差图如图8所示,依据视差图和系统标定信息计算待测人脸的三维模型,如图9所示。
以上所述,仅为本发明具体实施方式的详细说明,而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下,做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (9)

1.一种人脸几何信息辅助的三维人脸建模方法,其特征在于,包括:
步骤101,以不相同的M个拍摄角度采集N帧被测人脸在条纹结构光场中的人脸图像;其中,N是大于等于3的整数,M是大于等于2的整数;
步骤102,对所采集的条纹结构光场中的人脸图像进行空间相位展开获取条纹结构光场所蕴含的相位信息;
步骤103,使用所述人脸图像的特征点为锚点,将不同角度拍摄的图像的相位信息统一到相同基准,然后进行相位匹配得到稠密视差图,重建三维被测人脸模型;
其中,所述将不同角度拍摄的图像的相位信息统一到相同基准具体包括:
以某个角度拍摄的人脸图像的特征点的相位值为参考相位值,求得其他角度拍摄的人脸图像的特征点的相位值与参考相位值的差值,并将所述差值除以
Figure 705114DEST_PATH_IMAGE001
并取整得整数k,接着在其他角度拍摄的人脸图像的特征点的基准相位值加上
Figure 706568DEST_PATH_IMAGE002
,以实现不同角度拍摄的图像的相对相位信息的基准统一;
或者将不同角度拍摄的人脸图像的相对相位信息统一到预设基准相位值,以实现不同角度拍摄的人脸图像的相对相位信息的基准统一。
2.根据权利要求1所述的方法,其特征在于,所述步骤101还包括:
从采集到的N帧被测人脸在条纹结构光场中的人脸图像中解析出相应的纹理信息,以生成纹理图像对,并提取所述纹理图像对中的人脸区域及人脸特征点。
3.根据权利要求2所述的方法,其特征在于,所述空间相位展开为基于可靠度导向的空间相位展开,可靠度参数为调制度参数。
4.根据权利要求2所述的方法,其特征在于,采用包括基于深度学习的人脸特征点提取技术、基于adaboost的人脸提取技术提取所述纹理图像对中的特征点;所述特征点包括瞳孔中心、鼻尖、嘴角中的一种或多种。
5.一种基于权利要求1-4任一所述的人脸几何信息辅助三维人脸建模方法的人脸几何信息辅助三维人脸建模系统,其特征在于,所述系统包括:频闪条纹结构光投影装置、相机和建模控制模块;
其中,所述建模控制模块被配置为向频闪条纹结构光投影装置发出使能信号或控制信号,以使所述频闪条纹结构光投影装置投射图像数量可调的正弦条纹结构光场序列至人脸表面,并基于相机传送的人脸图像完成三维人脸建模;并且所述建模控制模块用于根据系统工作状态对频闪条纹结构光投影装置投射正弦条纹结构光场序列的工作帧频以及相机采集图像的工作帧频进行调整;
所述频闪条纹结构光投影装置用于投射图像数量可调的正弦条纹结构光场序列至人脸表面,当接收到建模控制模块发出的控制信号时进行N帧条纹结构光投影并发送N个同步控制信号至左、右相机,其中,N为大于等于3的整数;当接收到建模控制模块发出的使能信号时进行周期性投影并发送周期性同步控制信号至左、右相机;
所述相机用于在同步控制信号控制下拍摄被条纹结构光场照明下的人脸表面的多角度图像,并以拍摄到的图像为建模图像传送至所述建模控制模块。
6.根据权利要求5所述的系统,其特征在于,所述频闪条纹结构光投影装置为基于DLP的数字投影装置、1维扫描振镜的数字投影装置、2维扫描振镜的数字投影装置中的一种。
7.根据权利要求6所述的系统,其特征在于,所述基于DLP的数字投影装置的光源为可见光LED或近红外LED中的一种,其功率可以由建模控制模块进行调节。
8.根据权利要求6所述的系统,其特征在于,所述2维扫描振镜的数字投影装置、1维扫描振镜的数字投影装置的光源为半导体激光器,其功率可以由建模控制模块进行调节。
9.根据权利要求5所述的系统,其特征在于,所述建模控制模块为具有信号、数据处理能力的控制器、处理器、单片机或PC机的一种。
CN201910150015.9A 2019-02-28 2019-02-28 一种人脸几何信息辅助的三维人脸建模方法及系统 Active CN109903376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910150015.9A CN109903376B (zh) 2019-02-28 2019-02-28 一种人脸几何信息辅助的三维人脸建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910150015.9A CN109903376B (zh) 2019-02-28 2019-02-28 一种人脸几何信息辅助的三维人脸建模方法及系统

Publications (2)

Publication Number Publication Date
CN109903376A CN109903376A (zh) 2019-06-18
CN109903376B true CN109903376B (zh) 2022-08-09

Family

ID=66945873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910150015.9A Active CN109903376B (zh) 2019-02-28 2019-02-28 一种人脸几何信息辅助的三维人脸建模方法及系统

Country Status (1)

Country Link
CN (1) CN109903376B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110375675B (zh) * 2019-08-30 2020-12-08 易思维(杭州)科技有限公司 基于空间相位展开的双目光栅投影测量方法
CN111260771B (zh) * 2020-01-13 2023-08-29 北京东软医疗设备有限公司 一种图像重建方法及装置
CN112001959B (zh) * 2020-08-20 2023-06-13 四川大学 一种循环相移的实时三维面形测量方法及系统
CN112294453B (zh) * 2020-10-12 2022-04-15 浙江未来技术研究院(嘉兴) 一种显微手术术野三维重建系统及方法
CN112712585B (zh) * 2020-12-15 2024-02-09 四川川大智胜软件股份有限公司 基于弧形二值编码相移条纹投影的三维成像系统及方法
CN112762859B (zh) * 2020-12-22 2022-08-09 四川大学 一种非数字光机正弦条纹结构光高精度三维测量装置
CN112729155A (zh) * 2020-12-24 2021-04-30 上海智能制造功能平台有限公司 一种双目传感器视觉测量探头以及双目传感器
CN112325799A (zh) * 2021-01-07 2021-02-05 南京理工大学智能计算成像研究院有限公司 一种基于近红外光投影的高精度三维人脸测量方法
CN113108719A (zh) * 2021-03-23 2021-07-13 南京理工大学 基于近红外光条纹投影的高精度三维人脸测量方法
CN113763444B (zh) * 2021-09-07 2024-04-19 四川川大智胜软件股份有限公司 一种级次线配对的无相位展开三维人脸重建方法及系统
CN115205278B (zh) * 2022-08-02 2023-05-02 昆山斯沃普智能装备有限公司 一种电动汽车底盘划痕检测方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量系统的测量方法及设备
CN101694375A (zh) * 2009-10-23 2010-04-14 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN101825443A (zh) * 2010-03-09 2010-09-08 深圳大学 一种三维成像方法及系统
CN102032878A (zh) * 2009-09-24 2011-04-27 甄海涛 基于双目立体视觉测量系统的精确在线测量方法
CN105547190A (zh) * 2015-12-14 2016-05-04 深圳先进技术研究院 基于双角度单频率条纹投影的三维形貌测量方法及装置
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
WO2018171384A1 (zh) * 2017-03-24 2018-09-27 南京理工大学 一种基于多模态复合编码和极线约束的高效三维图像获取方法
CN108734776A (zh) * 2018-05-23 2018-11-02 四川川大智胜软件股份有限公司 一种基于散斑的三维人脸重建方法及设备
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080471A1 (en) * 2009-10-06 2011-04-07 Iowa State University Research Foundation, Inc. Hybrid method for 3D shape measurement

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
CN101347332A (zh) * 2008-08-22 2009-01-21 深圳先进技术研究院 一种人脸三维面形数字化测量系统的测量方法及设备
CN102032878A (zh) * 2009-09-24 2011-04-27 甄海涛 基于双目立体视觉测量系统的精确在线测量方法
CN101694375A (zh) * 2009-10-23 2010-04-14 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
CN101825443A (zh) * 2010-03-09 2010-09-08 深圳大学 一种三维成像方法及系统
CN101813461A (zh) * 2010-04-07 2010-08-25 河北工业大学 基于复合彩色条纹投影的绝对相位测量方法
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN105547190A (zh) * 2015-12-14 2016-05-04 深圳先进技术研究院 基于双角度单频率条纹投影的三维形貌测量方法及装置
WO2018171384A1 (zh) * 2017-03-24 2018-09-27 南京理工大学 一种基于多模态复合编码和极线约束的高效三维图像获取方法
CN107346425A (zh) * 2017-07-04 2017-11-14 四川大学 一种三维纹理照相系统、标定方法及成像方法
CN108734776A (zh) * 2018-05-23 2018-11-02 四川川大智胜软件股份有限公司 一种基于散斑的三维人脸重建方法及设备
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic 3D Face Segmentation Based on Facial Feature Extraction;Xun GONG等;《2006 IEEE International Conference on Industrial Technology》;20090618;第1154-1159页 *
人脸自适应三维建模的研究与实现;易法令等;《计算机工程与应用》;20101231;第200-203页 *

Also Published As

Publication number Publication date
CN109903376A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109903376B (zh) 一种人脸几何信息辅助的三维人脸建模方法及系统
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及系统
CN109919876B (zh) 一种三维真脸建模方法及三维真脸照相系统
EP3614340B1 (en) Methods and devices for acquiring 3d face, and computer readable storage media
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
Jiang et al. Efficient 3D reconstruction for face recognition
Wu et al. Fusing multiview and photometric stereo for 3d reconstruction under uncalibrated illumination
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US20060210146A1 (en) Creating 3D images of objects by illuminating with infrared patterns
US20210044787A1 (en) Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer
CN104424662A (zh) 立体扫描装置
CN107452034B (zh) 图像处理方法及其装置
Tsalakanidou et al. Real-time acquisition of depth and color images using structured light and its application to 3D face recognition
Abrams et al. The episolar constraint: Monocular shape from shadow correspondence
CN104809687A (zh) 三维人脸图像生成方法及系统
Wong et al. Fast acquisition of dense depth data by a new structured light scheme
CN108645353A (zh) 基于多帧随机二元编码光场的三维数据采集系统及方法
Bleiweiss et al. Robust head pose estimation by fusing time-of-flight depth and color
Anasosalu et al. Compact and accurate 3-D face modeling using an RGB-D camera: let's open the door to 3-D video conference
Wei et al. Colorful 3-D imaging using an infrared Dammann grating
Yin et al. 3D facial reconstruction of based on OpenCV and DirectX
Dai et al. Head pose estimation by imperceptible structured light sensing
Wang et al. 3D face template registration using normal maps
Amor et al. 3D face modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant