CN109903377B - 一种无需相位展开的三维人脸建模方法及系统 - Google Patents

Abstract

本发明公开了一种无需相位展开的三维人脸建模方法及系统，该方法通过多帧条纹结构光场所蕴含的相位信息对目标目标人脸表面进行标记，从相机拍摄的多帧人脸纹理图中提取人脸特征点并生成人脸几何信息约束条件，利用人脸的几何信息对双目立体匹配的过程进行约束，直接使用截断相位替代绝对相位进行立体匹配来计算视差图，通过无需进行相位展开的立体匹配方法得到高精度、高可靠性的视差图，进而重建三维人脸模型。本发明无需投影附投影并拍摄附加结构光场来辅助相位展开，有效减少了三维人脸建模所需投影和拍摄结构光场数目，缩短建模图像采集时间，并有效保证了建模精度。

Description

一种无需相位展开的三维人脸建模方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种无需相位展开的三维人脸建模方法及系统。

背景技术

利用数字图像重建物体三维表面形状是计算机视觉长期的研究焦点。近年来，三维人脸建模技术发展迅速，具有真实感的三维人脸模型在影视、游戏、教育、虚拟现实、整形美容、身份认证、3D打印等多个领域都有着广泛的应用前景。近年来，公共安全、信息安全成为关系国计民生的重大领域，生物特征识别技术近年发展迅猛，人脸识别技术因其适应场景广、非接触的特点获得了广泛的关注，但传统的二维人脸识别技术的识别率易受姿态、光照、化妆等因素影响且防伪能力较弱，这限制了人脸识别技术的大规模应用和推广。三维人脸信息所含信息丰富，包括传统的颜色信息和反映人脸总体和局部形貌特征的空间结构信息，三维人脸信息将在很大程度上弱化姿态角度、光照、化妆等对识别率的影响，同时三维人脸信息具有天然的防伪功能，可有效阻止利用二维照片或视频进行的欺骗行为，学术界和企业界都三维人脸识别技术。

目前，已发展了多种三维人脸建模技术，根据其实现原理的不同，主要有三维形变模型(3D Morphable Mode)的方法和基于三维形貌测量的方法。前者通过调整原型人脸来生成新的人脸，对于特定人脸图像，通过模型匹配实现了三维人脸的自动重建，具有自动化、真实感好、建模图像易于获取的优点，但精度不高；后者基于三角测量原理，采用主动结构光投影技术，将人脸作为普通物体进行三维表面形状测量，不使用人脸的任何先验知识。这种这种方法精度较高，结合二维彩色纹理图像，可以获得精度高、真实感强的三维人脸模型且建模图像采集过程具有非接触、速度快的特点，这种三维人脸建模方法获得了广泛关注，在学术界和产业界均进行了深入研究。

基于主动结构光投影和三角测量原理的三维面形测量技术已经取得了重大进步，发展了诸多有效方法，经典方法主要有统计编码方法和相位测量轮廓术。统计编码方法需投影空间编码的灰度或二值化图案到被测物体表面，以空间邻域或时间轴方向上的明暗变化对物体表面进行标记，基于图像相关方法获取视差后利用三角测量原理进行三维重建，该法具有投影系统简易、成本较低、速度快的特点，微软kinect和英特尔RealSense就属于这类产品，但基于该法所获得的人脸模型精度较低。后者主动投影条纹图到被测物体表面，以条纹图蕴含的相位信息对物面进行标记，基于相位匹配方法获取视差后利用三角测量原理进行三维重建，这种方法精度较高。在相位测量轮廓术中，计算得到的相位并不是绝对相位，相位信息受反三角函数取值范围的影响被截断在(-π，π)的范围内，在进行三维建模前必须先进行相位展开从而得到绝对相位。在众多相位展开方法中，时间相位展开技术因相位精度高、像素间互不影响且相位展开过程可靠性高的特点得到了广泛关注与应用，但这种方法通常需要投影并拍摄附加结构光场来辅助相位展开，投影结构光光场数目的增加同时意味着获取建模图像数目的增加。与静态物体不同，人脸一直处于或大或小的运动状态，而相位测量轮廓术从原理上要求被测人脸体处于静止状态，这就要求系统获取建模图像的时间尽可能短来避免人脸运动对建模精度的影响。时间相位展开方法需要额外增加建模图像数目的现状不利于三人脸测量。在保持建模图像获取时间不变的情况下，通过提高硬件性能也可以缓解这一矛盾，但这意味着成本的增加，不利于大规模推广应用。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种无需相位展开的三维人脸建模方法及系统，该方法以主动投影的双目立体视觉原理为基础，通过多帧(优选地N≥3)条纹结构光场所蕴含的相位信息对目标人脸表面进行标记，相机获取序列条纹结构光场照明的人脸图像，利用人脸的几何信息对双目立体匹配的过程进行约束，首先提取截断相位级次标记线并进行左右视图中截断相位级次标记线的匹配，然后直接使用截断相位替代绝对相位进行立体匹配，无需相位展开即可计算视差图，进而重建三维人脸模型。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种无需相位展开的三维人脸建模方法，包括：

步骤101，以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的人脸图像，解析所采集到的人脸图像，以生成人脸信息约束条件；其中，N是大于等于3的整数，M是大于等于2的整数；

步骤102，从采集到的条纹结构光场中的人脸图像中解析出相应的截断相位信息，并从截断相位信息中获取多条截断相位级次标记线；

步骤103，基于人脸几何信息约束条件对多条截断相位级次标记线进行筛选得到相应的截断相位标记线对；

步骤104，基于截断相位标记线对，在截断相位上进行相位匹配得到视差图；并根据视差图，重建三维被测物模型。

优选的，一种无需相位展开的三维人脸建模方法中，步骤101具体包括：

当以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的图像后，解析所采集到的图像，获取其所蕴含的纹理信息，形成纹理图像，提取纹理图像的人脸特征点，并根据人脸特征点生成人脸几何信息约束条件。

优选的，一种无需相位展开的三维人脸建模方法中，人脸几何信息约束条件为根据具有相同物理含义的人脸特征点的像素坐标计算出的人脸特征点三维坐标；或者为根据具有相同物理含义的人脸特征点的像素坐标推算出的人脸区域的视差取值范围。

优选的，一种无需相位展开的三维人脸建模方法中，截断相位级次标记线为截断相位信息中跳变像素点构成的曲线；其中，跳变像素点为截断相位信息中存在相位值从-π到π或从π到-π跳变的像素点。

优选的，一种无需相位展开的三维人脸建模方法中，步骤103具体还包括：当截断相位级次标记线的筛选存在误差时，通过中值滤波或投票的方法去除误匹配像素点。

优选的，一种无需相位展开的三维人脸建模方法中，步骤104具体包括：以每一条截断相位级次标记线对为基准，在截断相位级次标记线对所对应的截断相位区域上进行相位匹配，以形成的视差图。

优选的，一种无需相位展开的三维人脸建模方法中，相位匹配采用双线性插值法以提高视差精度。

一种无需相位展开的三维人脸建模系统，包括一个建模控制模块，以及与建模控制模块通讯连接的频闪条纹结构光投影装置、相机，建模控制模块用于控制协调的频闪条纹结构光投影装置、相机的工作流程，以使系统能够执行上述无需相位展开的三维人脸建模方法。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

本发明通过多帧(优选地N≥3)条纹结构光场所蕴含的相位信息对目标目标人脸表面进行标记，从相机拍摄的多帧人脸纹理图中提取人脸特征点并生成人脸几何信息约束条件，以此来指导相位匹配过程得到高精度、高可靠性的视差图，进而重建三维人脸。这种人脸几何信息约束的截断相位立体匹配方法无需像传统方法一样投影并拍摄附加结构光场来辅助绝对相位展开，也就无需投影附投影并拍摄附加结构光场来辅助相位展开。该方法有效减少了三维人脸建模所需投影和拍摄结构光场数目，在不提高硬件性能的前提下，以更短的时间完成三维人脸建模图像的采集，且保证了三维人脸的建模精度，从而为建模精度和拍照时间都有较高要求的应用场景提供了行之有效的解决方案。

附图说明

图1是根据本发明示例性实施例的基于红外振镜投影装置的三维人脸建模系统原理图。

图2为根据本发明示例性实施例的一种典型条纹结构光投影拍摄时序图；

图3为根据本发明示例性实施例的三维人脸建模方法的流程图。

图4为根据本发明示例性实施例的由条纹图计算所得纹理图。

图5为根据本发明示例性实施例的纹理图人脸特征点提取结果。

图6为根据本发明示例性实施例的由条纹图计算所得截断相位和截断相位级次标记线。

图7为根据本发明示例性实施例的所示基于人脸几何信息约束条件得到的截断相位级次标记线对(同灰度等级)。

图8为根据本发明示例性实施例的以截断相位级次标记线为基础对截断相位进行相位匹配得到的视差图。

图9为根据本发明示例性实施例的三维人脸重建结果。

图中标记：100-基于红外振镜的频闪条纹结构光投影装置，201-左红外相机，202-右红外相机，300-所投影条纹结构光场(以4帧条纹结构光场为例)，400-建模控制模块(以计算机为例)。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

该实施例的建模系统主要包括：一个建模控制模块，以及与所述建模控制模块通讯连接的频闪条纹结构光投影装置、相机(相机数量大于等于二，以采集多角度图像)，所述建模控制模块用于控制协调的所述频闪条纹结构光投影装置、相机的工作流程，以使系统能够实行该三维人脸建模方法。

所述建模控制模块通过向频闪条纹结构光投影装置发出控制信号或使能信号控制频闪条纹结构光投影装置进行投影输出，其可协调三维人脸建模系统的工作流程，并基于相机处发送的图像完成三维人脸建模。并且所述建模控制模块为具有信号、数据处理能力的控制器、处理器、单片机或PC机的一种。

其中，所述频闪条纹结构光投影装置接收到建模控制模块发出的控制信号后进行N帧条纹结构光投影并同时发送N个同步控制信号至相机，其中，N为大于等于3的整数；当其接收到控制模块发出的使能信号时进行周期性投影并发送周期性同步控制信号至相机，从而实现对投影装置和相机的同步控制。其可以为采用基于DLP的数字投影方式的投影装置，采用2维扫描振镜的数字投影方式的投影装置，采用1维扫描振镜的数字投影方式的投影装置中的一种。数字投影装置的帧频可达数百乃至数千Hz，使用硬件严格控制结构光投影和相机触发的时序和工作逻辑从而实现快速三维人脸数据采集，也是三维人脸采集系统集成化、小型化的前提。正弦结构光场的投射与相机的图像采集帧频由建模控制模块控制，该帧频上限决定于投影模块和相机的最大工作帧频与建模控制模块本身无关。建模控制模块能够根据相机采集图像分析三维人脸采集系统状态、环境以及被测人脸状态、算法要求智能调整投影模块和相机的工作帧频。并且所述相机的工作波段与频闪条纹结构光投影装置光源的工作波段相吻合。

在所述频闪条纹结构光投影装置内部的硬件电路中固化有N帧条纹结构光光场图像(光场图像的固化过程可通过工具软件实现)。当其采用基于DLP的数字投影方式时，其光源为可见光LED或近红外LED中一种，当其采用1维或2维扫描振镜的数字投影方式，其光源为半导体激光器，并且所述光源的功率可以由建模控制模块进行调节控制以适应人脸拍摄环境的光照变化。并且当频闪条纹结构光投影装置采用1维或2维扫描振镜的数字投影方式时，其可根据人脸拍摄环境的光照变化自适应调整条纹结构光光场的投影帧频并同时依据投影帧频调整所发送的相机同步控制信号频率，以提高条纹对比度。因此，优选的，在本发明的进一步实施例中我们优选1维扫描振镜的投影方式与红外相机作为建模系统。

进一步的，一种无需相位展开的三维人脸建模方法包含以下步骤：

步骤101，以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的人脸图像，解析所采集到的人脸图像，以生成人脸信息约束条件；其中，N是大于等于3的整数，M是大于等于2的整数；

具体的，步骤101还包括从采集到的N帧被测人脸的在条纹结构光场中的图像中解析出相应的纹理信息，以生成纹理图像对，并提取所述纹理图像对中的人脸区域及特征点，并根据所述人脸特征点的图像坐标生成人脸几何信息约束条件。

以设置左右两台相机、两个角度采集图像为例，解析所述2台相机所拍摄建模图像中所蕴含的纹理信息形成纹理图像对，提取左右纹理图像的人脸区域及人脸特征点，将每台相机获取到的N帧条纹图的对应像素进行组合以得到该相机所对应的人脸纹理图。并基于二维图像处理技术提取每台相机所对应人脸纹理图的人脸特征点。并且所述二维图像处理技术包括但不限于基于深度学习的人脸特征点提取技术、基于adaboost的人脸提取技术等二维图像处理技术。并且所提取的左右纹理图像的人脸特征点点数应相同，且相应的特征点在人脸上的分布具有相同的拓扑结构，其所隐含的解剖学意义相同。进一步的，人脸特征点可以为瞳孔中心、鼻尖、嘴角等。接着，根据所述人脸特征点生成人脸几何信息约束条件，并且所生成的人脸几何信息约束条件可以为根据具有相同物理含义的人脸特征点的像素坐标计算出的人脸特征点三维坐标；或者为根据具有相同物理含义的人脸特征点的像素坐标推算出的人脸区域的视差取值范围等。

步骤102，从采集到的条纹结构光场中的人脸图像中解析出相应的截断相位信息，并从所述截断相位信息中获取多条截断相位级次标记线；

具体的，从采集到的图像中解析出相应的截断相位，即对所采集的图像(条纹图)进行极线校正，并利用截断相位公式计算出截断相位信息，并在截断相位中找到截断相位信息中跳变像素点构成的曲线(将其定义为截断相位级次标记线)；其中，所述跳变像素点为截断相位信息中存在相位值从-π到π或从π到-π跳变的像素点。

在相位计算过程中，相位信息受反三角函数取值范围的影响被截断在(-π，π)的范围内，因此只能得到截断相位。在截断相位信息中部分区域的相邻像素间存在相位值从-π到π(或从π到-π)的跳变，这些存在的跳变的像素点在图像中的形成多条曲线，每一条曲线都与截断相位的某一部分一一对应，代表了条纹结构光场的一个条纹周期。传统方法中将截断相位展开为绝对相位信息的过程本质上是将截断相位的相位值加上2kπ，k为整数，代表条纹结构光光场中某一条纹周期的级次信息，不同条纹周期的k不同。我们将这种与条纹结构光场的某一个条纹周期内光场一一对应的曲线定义为截断相位级次标记线。根据所拍摄N帧条纹结构光场照明下的人脸图像，通过调整截断相位计算过程中条纹图像的输入顺序的可以获得N种截断相位，这N种截断相位之间的差异体现为相位值的差异和截断相位从-π到π(或从π到-π)的跳变位置差异，理论上相位值的差异为2kπ+2π/N，其中k为非负整数。结构光场通过相位信息对人脸表面进行唯一编码，同一个周期内的光场对应的左右相机拍摄计算得到的截断相位信息是对应的，截断相位级次标记线也是一一对应的。为建立三维模型，首先进行截断相位级次标记线匹配，然后再进行基于截断相位的相位匹配，在此过程中截断相位级次标记线与截断相位信息可以是N个中的任何一个，不同选择在算法处理方法相同，细节上略有差异。

步骤103，基于所述人脸几何信息约束条件对所述多条截断相位级次标记线进行筛选得到相应的截断相位标记线对；

具体的，以步骤101步得到的人脸几何信息约束条件作为立体匹配约束条件，对截断相位级次标记线进行筛选匹配得到截断相位级次标记线对；例如，对于左相机相位信息中的某一条截断相位级次标记线，在右相机相位信息中有多条候选截断相位级次标记线，人脸几何信息约束条件用于从中优选出最佳标记线，从而形成截断相位级次标记线对。并且对于左相机相位信息中的某一条截断相位级次标记线，优选过程逐像素或每个几个像素进行，优选后标记线上各像素所对应的右相机截断相位级次标记线标记值可能不属于右相机同一条截断相位级次标记线，这是由于遮挡和阴影造成的误匹配，但这种像素占绝对少数，此时可通过中值滤波或投票的方法予以修正。即当所述截断相位级次标记线的筛选存在误差时，通过中值滤波或投票的方法去除误匹配像素点。

步骤104，基于所述截断相位标记线对，进行相位匹配得到视差图；并根据所述视差图，重建三维被测物模型。

具体的，以每一条截断相位级次标记线对为基准，在截断相位级次标记线对所对应的截断相位值上进行相位匹配，以形成的视差图。以每一条截断相位级次标记线对为基准，在标记线对所对应的左右相机的截断相位上进行相位匹配，相位匹配过程中通过双线性插值以得到高精度的视差。待每一条截断相位级次标记线对都完成上述相位匹配后，即可形成的视差图。并且对于截断相位取值跳变区域，可利用N种截断相位中的所选截断相位的其它截断相位数据辅助进行截断部分的相位匹配，从而使得视差图准确、可靠。最后，依据视差图和系统标定信息重建待测人脸的三维模型。

实施例2

一种无需相位展开的三维人脸建模方法及系统如图1所示，包括以近红外1维扫描振镜为核心部件的条纹结构光投影装置100、左红外相机201、右红外相机202、建模控制模块400。所述频纹结构光投影装置100投射可调图像数量的N(N≥3)幅正弦条纹结构光场序列300至人脸表面，同时输出同步控制信号给所述近红外相机201-202；所述近红外相机201-202工作于外触发状态，在频闪条纹结构光投影装置100所输出的同步控制信号控制下拍摄被正弦条纹结构光场300照明下的人脸表面作为建模图像传送至所述建模控制模块400；所述建模控制模块400控制协调三维人脸建模实现系统的工作流程，基于接收的条纹图像完成三维人脸建模。以需投影4帧条纹结构光场为例，一种典型条纹结构光投影拍摄时序图如2所示。

所述三维人脸建模方法的流程图如图3所示，包括如下步骤：

步骤500，三维人脸建模方法实现系统拍摄条纹结构光场照明下的人脸图像得到8张条纹图，左右相机各4张。

步骤501，对左右相机拍摄的条纹图依据系统标定信息进行极线校正。

步骤502，分别解析所述2台近红外相机201-202所拍摄建模图像中所蕴含的纹理信息形成纹理图像对。当正弦条纹投影于三维物体表面上时，拍摄到的变形条纹为：

其中，(x,y)为像素坐标；R(x,y)是人脸表面反射率的分布；A(x,y)为背景光强，B(x,y)/A(x,y)表示了条纹的对比度；φ(x,y)是表示条纹结构光场所蕴含的相位信息；N为编码φ(x,y)所选用的条纹图数目，表相移次数；n为条纹图序号，表第n次相移，其取值范围为1到N。

对于N步相移的相位测量轮廓术，人脸表面纹理图像可由对应的N幅条纹生成。以用4帧条纹结构光场投影时为例，通过条纹图计算纹理图像的公式为：

T(x,y)＝[I₁(x,y)+I₂(x,y)+I₃(x,y)+I₄(x,y)]/2 (2)

对于N不等于4的情况，各帧条纹图的系数需做相应变化。当使用4帧条纹结构光场投影时，计算所得的纹理图如图4所示。

步骤503，基于二维图像处理技术提取每台相机所对应人脸纹理图的人脸特征点。基于左右人脸纹理图像中的人脸特征点并结合系统标定信息生成人脸几何信息约束条件为由具有相同物理含义的人脸特征点的像素坐标推理出的人脸区域的视差取值范围。选取人眼瞳孔中心、鼻尖、嘴角为目标人脸特征点，提取结果如图5所示，人脸特征点的列坐标分别为68，69，104，81，81，计算所得人脸区域的视差取值范围为:68-104，为增加可靠性，实际使用人脸视差取值范围为63-109。

步骤504，使用极线校正后的条纹图计算截断相位信息。对于采用N帧条纹结构光场的方法，截断相位的计算公式如下：

其中I_n代表第n帧条纹图，n的取值范围为1至N。根据截断相位的从-π到π的跳变边缘得到截断相位级次标记线，并对截断相位级次标记线进行标号。左右相机的提取结果如图6所示，其中所选截断相位级次标记线与截断相位从-π到π的跳变边缘位置不同。

步骤505，使用步骤503得到的人脸几何信息约束条件(以视差取值范围为例)，对步骤504得到左相机截断相位级次标记线中的每一条线上的每一个像素，在视差取值范围进行搜索得到其在右相机截断相位级次标记线中的标号，使用左相机每条截断相位级次标记线的所有像素得到的标号进行投票，票数最高的标号所对应的某条右相机截断相位级次标记线与本左相机截断相位级次标记线组成截断相位级次标记线对。对所有左相机截断相位级次标记线均做如上处理。通过步骤505得到的截断相位级次标记线对如图7所示，图中同一截断相位级次标记线在左右相机中灰度相同(为显示清楚，标记线的灰度值每3个重复一次)。

步骤506，以截断相位标记线对为基础，利用截断相位信息进行同级次内的相位匹配，从而得到如图8所示的人脸的亚像素的高精度视差图。

步骤507，依据视差图和系统标定信息计算如图9所示的待测人脸的三维模型。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (6)

1.一种无需相位展开的三维人脸建模方法，其特征在于，包括：

步骤101，以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的人脸图像，解析所采集到的人脸图像，以生成人脸信息约束条件；其中，N是大于等于3的整数，M是大于等于2的整数；

步骤102，从采集到的条纹结构光场中的人脸图像中解析出相应的截断相位信息，并从所述截断相位信息中获取多条截断相位级次标记线；

步骤103，基于所述人脸几何信息约束条件对所述多条截断相位级次标记线进行筛选得到相应的截断相位标记线对；

步骤104，基于所述截断相位标记线对，在截断相位上进行相位匹配得到视差图；并根据所述视差图，重建三维被测物模型；

其中，步骤102包括：对采集到的图像进行极线校正，并利用截断相位公式计算出截断相位信息，并在截断相位中获取多条截断相位级次标记线，其中，所述截断相位级次标记线为截断相位信息中跳变像素点构成的曲线，所述跳变像素点为截断相位信息中存在相位值从-π到π或从π到-π跳变的像素点；

所述步骤104具体包括：以每一条截断相位级次标记线对为基准，在截断相位级次标记线对所对应的截断相位区域上进行相位匹配，以形成的视差图。

2.根据权利要求1所述的方法，其特征在于，所述步骤101具体包括：

当以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的图像后，解析所采集到的图像，获取其所蕴含的纹理信息，形成纹理图像，提取所述纹理图像的人脸特征点，并根据所述人脸特征点生成人脸几何信息约束条件。

3.根据权利要求2所述的方法，其特征在于，所述人脸几何信息约束条件为根据具有相同物理含义的人脸特征点的像素坐标计算出的人脸特征点三维坐标；或者为根据具有相同物理含义的人脸特征点的像素坐标推算出的人脸区域的视差取值范围。

4.根据权利要求1所述的方法，其特征在于，所述步骤103具体还包括：当所述截断相位级次标记线的筛选存在误差时，通过中值滤波或投票的方法去除误匹配像素点。

5.根据权利要求1所述的方法，其特征在于，所述相位匹配采用双线性插值法以提高视差精度。

6.一种无需相位展开的三维人脸建模系统，其特征在于，包括一个建模控制模块，以及与所述建模控制模块通讯连接的频闪条纹结构光投影装置、相机，所述建模控制模块用于控制协调的所述频闪条纹结构光投影装置、相机的工作流程，以使所述系统能够执行权利要求1至5中任一项所述的方法。

Images