CN108596008A

CN108596008A - 针对三维人脸测量的面部抖动补偿方法

Info

Publication number: CN108596008A
Application number: CN201711317485.7A
Authority: CN
Inventors: 陈钱; 冯世杰; 左超; 陶天阳; 胡岩; 张良; 尹维; 顾国华; 张玉珍
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-09-28
Anticipated expiration: 2037-12-12
Also published as: CN108596008B

Abstract

本发明公开了一种针对三维人脸测量的面部抖动补偿方法，首先采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；对初始相移量进行优化，将理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。本发明具备运动误差补偿功能，可补偿三维人脸识别过程中面部抖动引起的测量误差；可在使用低成本的测量系统条件下，准确测量抖动物体的三维轮廓。

Description

针对三维人脸测量的面部抖动补偿方法

技术领域

本发明属于光学测量技术领域，特别是一种针对三维人脸测量的面部抖动补偿方法。

背景技术

随着近几十年来计算机技术和生物工程技术的飞速发展，利用人体生物特征的唯一性来鉴别每一个人的身份得到了国际社会的普遍认同。相较于其他生物特征，人脸识别方法具有非接触性、信息完备、采集便捷、人机友好等优点，已经成为身份验证和身份识别应用中最为理想的技术途径之一。对于人类自己来说，人脸识别是我们天生就拥有的能力，而且每次具体的人脸识别也是一个下意识的、自然而然的过程。但是人脸识别的内在机制却是十分复杂的，让计算机实现自动实现人脸识别却是一个富有挑战性的难题。尽管以人脸图像表观特征为基础的传统二维人脸识别技术已有十余年的研究历史，但二维人脸图像对光照、装扮、姿态、表情变化的敏感性严重制约了其识别结果的准确性、稳定性和可靠性，这些因素也随即成为了二维人脸识别技术进一步向前发展的最大障碍。

近年来，越来越多的人将目光从二维人脸识别技术转投向了三维人脸识别技术。三维人脸识别有望从根本上解决二维人脸识别所面临的“光照、姿态和表情”难题，从而为进一步提升识别的准确性、稳定性和可靠性提供了新的潜力与空间。然而，要实现三维人脸识别技术，需解决的一个首要问题是如何获得高精度的人脸三维数据。就三维轮廓测量方法而言，比如条纹投影法，凭借非接触、速度快、柔性好、精度高等优点，被广泛应用与人体建模、模式识别、工业检测、逆向工程等领域。因此利用该技术可为三维人脸识别提供准确可靠的三维人脸数据。

原理上，条纹投影法通过将立体视觉中一个摄像机替换成光源发生器而实现(肖丹，陈良洲，干江红.基于数字光栅相移法的三维重构[J].光电技术应用，2011,26(5)：17-20)。光源向被测物体投影一系列编码图像，形成主动式三维形态测量。编码图案受到物体表面形状的调制而产生形变，而带有形变的结构光被另外位置的相机拍摄到，通过相机投影光源之间的位置关系和结构光形变的程度可以确定出物体的三维形貌。通常，由于需要采集从被测物表面反射而来一系列编码图案，条纹投影法一般只用于静态对象的三维测量。然而，对于人脸扫描而言，数据采集过程难以避免面部的无意识抖动以及头部的轻微晃动等问题。这些由抖动或者晃动带来的面部整体位移或者运动，将对重构的三维人脸数据准确度造成严重影响。尽管，通过提高投影速度(文献“Pulse-width modulation indefocused three-dimensional fringe projection”，作者Gastón A.Ayubi等)或者减少投影图案的数量(文献“Dual-frequency pattern scheme for high-speed 3-D shapemeasurement”，作者K.Liu等)可提高测量速度，间接地降低抖动对测量造成的影响，但它们仍无法完全解决这一问题，尤其是对于低成本的三维测量系统而言，使用的图案投影装置与采集装置无法实现编码图案的高速地投影与拍摄。因此，对于三维人脸轮廓测量而言，目前尚缺乏一种不依赖于提高系统测量速度的面部抖动补偿技术。

发明内容

本发明的目的在于提供一种针对三维人脸测量的面部抖动补偿方法，在不依赖系统测量速度的前提下，实现人脸面部抖动的误差补偿。

实现本发明目的的技术解决方案为：一种针对三维人脸测量的面部抖动补偿方法，步骤如下：

首先，采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；

其次，向被测对象投影并拍摄一幅额外的均匀亮度图，作为参考背景光强；

再次，对初始相移量进行优化，即对相移量设定取值范围，相移量以固定的步长遍历各自取值范围；对于每一组相移量的组合，计算对应的背景光强，并求解参考背景光强与计算得到的背景光强之间的差异度；对于所有相移量的组合，当其对应的背景光强差异最小时，该组合中包含的相移量为理想相移量，该理想相移量能准确反映面部抖动引起的波纹误差，将其带入三步相移法的相位求解公式，可得到补偿后的人脸相位信息，经过相位与深度转换，最终可得到准确的三维人脸重建结果。

本发明与现有技术相比，其显著优点：(1)与动态三维测量中最常见的三步相移法相比，本发明具备运动误差补偿功能，可补偿三维人脸识别过程中面部抖动引起的测量误差。(2)与传统的高速条纹投影法与减少条纹投影数量法相比，本发明不需要使用昂贵的高速图像采集与投影设备，可在使用低成本的测量系统条件下，准确测量抖动物体的三维轮廓。(3)与传统抖动误差补偿方法相比(文献“Fast 3d scanning with automatic motioncompensation”，作者T.Weise等)，本发明的适用范围更广，不仅能处理被测对象的匀速抖动问题，还能处理非匀速抖动问题。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明针对三维人脸测量的面部抖动补偿方法的流程图。

图2为基于条纹投影法的三维人脸测量装置原理图。

图3为第一个被测对象实验图：(a)为被测人脸；(b)为该人脸在测量过程中抖动情况。

图4为拍摄的三步相移光强图与一幅均匀亮度图像：(a)为I′₁；(b)为I′₂；(c)为I′₃；(d)为A_ref。

图5为第一个被测对象的三维重构结果对比图：(a)侧视图：抖动补偿前三维人脸重构；(b)侧视图：抖动补偿后三维人脸重构；(c)正视图：抖动补偿前三维人脸重构；(d)正视图：抖动补偿后三维人脸重构。

图6为第二个被测对象实验图：(a)为被测人脸；(b)为该人脸在测量过程中抖动情况。

图7为第二个被测对象的三维重构结果对比图：(a)侧视图：抖动补偿前三维人脸重构；(b)侧视图：抖动补偿后三维人脸重构；(c)正视图：抖动补偿前三维人脸重构；(d)正视图：抖动补偿后三维人脸重构。

具体实施方式

本发明针对三维人脸测量的面部抖动补偿方法，主要解决由面部抖动引起的重构表面波纹误差问题，首先采用三步相移法，向被测对象投影三步相移光栅图像，通过相机拍摄投影的三步相移光栅图，利用三步相移光栅图之间的关系，求解抖动引起的相移量初值；

上述方法的具体步骤如下：

步骤一：求解相移量的初值。首先，构建基于条纹投影的三维人脸测量装置，原理如图2所示。基本过程为：投影仪向被测物体投影三步相移光栅图像。相机从另一个角度拍摄由测物体反射而来的三步相移光栅图像。采集的图像传输至计算机进行图像处理，即计算相移量的初值。投射的三步相移光栅光强图I₁，I₂，I₃为：

其中(x^p,y^p)表示投影仪像素坐标，A^p表示直流分量，B^p表示振幅，f^p表示投影光栅的空间频率，w^p表示投影仪的横向分辨率。将生成的三步相移光栅光强图I₁，I₂，I₃依次投影至被测对象，并利用相机拍摄这些图像，并将它们传输至计算机，拍摄获得的光栅图像光强(I′₁，I′₂，I′₃)可被表示为

I′₁(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)]

I′₂(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′₂]

I′₃(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′₂-Δδ′]

其中，(x,y)为相机像素坐标，A为背景光强，B为光强调制度，φ为待求相位。δ′₂与Δδ′为测量过程中由面部抖动引起的未知相移量。该方程组中的已知量为I′₁、I′₂与I′₃，为了从该方程组中求解相移量δ′₂与Δδ′，补偿抖动引起的误差，因此利用以下关系进行求解相移量：

利用以上三个式子，可计算变量c：

因此可利用以下关系求解δ′₂与Δδ′：

此时得到的相移量δ′₂与Δδ′为初始值，分别记为常量与

步骤二：向被测对象投影一幅均匀光强图。利用投影仪向被测对象投影一幅亮度均匀的图案，其生成方法为：

I₄(x^p,y^p)＝A^p(x^p,y^p)

利用相机拍摄此时的场景，并将图像传输至计算机。这幅图像为相机采集的第四幅图像，将其记为A_ref。

步骤三：迭代优化初始的相移量δ′₂与Δδ′。首先确定相移量δ′₂与Δδ′的迭代优化范围。设δ′₂的取值范围是Δδ′的取值范围是且α∈[0,1]。δ′₂与Δδ′的取值方式为分别从各自的定义域下限取值，然后依次递增取值，递增的步长均为0.0001弧度，直到取值等于各自定义域的上限值。对于每一组δ′₂与Δδ′，计算与它们对应的相位φ，计算方法为

其中h(x,y)＝[I′₂(x,y)-I′₁(x,y)]/[I′₃(x,y)-I′₁(x,y)]。

然后，利用表达式I′₁，I′₂，I′₃，以及此时已知的变量φ，δ′₂，Δδ′，通过最小二乘法(文献“Prediction and regulation by linear least-square methods”，作者P.Whittle)，求解未知量A。随后，利用背景光强差异度Δ_A计算公式

求解计算得到的A与拍摄的A_ref之间的差异度。其中∑为计算整幅图像所有像素的光强总合。由于利用每一组δ′₂与Δδ′，都可计算得到一个Δ_A。当差异度Δ_A取得最小值时，对应的相移量与就是优化后的理想相移量。

步骤四：补偿波纹误差，并计算人脸三维数据。利用理想的相移量与通过以下公式计算波纹补偿后的相位

随后，利用多频时域相位展开法，对相位进行时间相位展开，得到去包裹相位：

其中φ^c为辅助光栅相位，f^c为辅助光栅的空间频率，NINT表示取整函数。该多频时域相位展开法具体请参考文献“Temporal phase unwrapping algorithms for fringeprojection profilometry:A comparative review”，作者C.Zuo等。最后，利用相机与投影仪的空间位置关系以及各自的标定参数，将去包裹相位转换为空间三维坐标，获得人脸三维坐标(X,Y,Z)^T，转换方法为联立以下两个方程：

u(x,y,1)^T＝P^c(X,Y,Z,1)^T

v(x^p,y^p,1)^T＝P^p(Φ)(X_,Y,Z_,1)^T

其中u，v分别为空间点(X,Y,Z)^T投影至相机与投影仪平面过程中的投影标量。P^c表示相机矩阵，P^p(Φ)表示投影仪矩阵，其矩阵参数由去包裹相位Φ决定。该三维坐标计算方法具体请参考文献“High-speed three-dimensional profilometry for multipleobjects with complex shapes”，作者C.Zuo等。

实施例

为验证本发明所述方法的有效性，利于一台相机(型号acA640-750,Basler)，一台投影仪(型号LightCrafter 4500,TI)以及一台计算机构建了一套基于条纹投影法的三维人脸测量装置。该套装置在进行人脸三维轮廓测量时的拍摄速度为20帧每秒。图3(a)显示了第一个被测对象，图3(b)显示利用Lucas-Kanade法获得的面部位移情况(参考文献“Performance of optical flow techniques,International Journal of ComputerVision”，作者J.L.Barron等)。可以看出该对象在测量过程中存在向左的微小晃动。利用本发明步骤一中三步相移图案生成方法，生成一组三步相移光栅图案，其中的参数设置为A^p(x^p,y^p)＝B^p(x^p,y^p)＝127.5，f^p取为80，w^p取为912。将这三幅图案投影至被测对象，并利用相机采集图像I′₁，I′₂，I′₃，如图4(a)至图4(c)所示。利用步骤一所述的相移量δ′₂与Δδ′初值计算方法，计算得到初始值弧度与弧度。利用步骤二所述的均匀图案生成方法，生成一幅均匀图案，其参数设置为A^p(x^p,y^p)＝127.5，将这一幅图案投影至被测对象，采集图像A_ref，如图4(d)。利用步骤三所述迭代优化方法，对δ′₂与Δδ′进行优化。令α＝0.5，因此将它们的取值范围分别设为2.05-0.5≤δ′₂≤2.05+0.5与2.0558-0.5≤Δδ′≤2.0558+0.5。以步长为0.0001弧度，使δ′₂与Δδ′遍历取值范围内所有可能取值。对于每一组δ′₂与Δδ′，计算对应的背景光强A。结合拍摄图像A_ref，计算背景光强差异度Δ_A。结果表明当弧度与弧度时，Δ_A取值最小。因此，确定理想的相移量弧度与弧度。最后利用步骤四所述方法进行波纹误差补偿，并计算人脸三维数据，如图5(b)与(d)所示。为了比较本发明所述方法的有效性，图5(a)与(c)显示了抖动补偿前获得的三维人脸数据，不难发现，其中存在明显的波纹误差。当使用了本发明所述方法，这些抖动误差可被全部去除。图6(a)显示了第二个对象，图6(b)显示了利用Lucas-Kanade法获得的面部位移情况。可以看出，该人脸在测量过程中存在向右抖动的问题。图7(a)与(c)显示了抖动补偿前的三维人脸重构结果，由于没有对面部抖动进行补充，脸部重构结果中出现了严重的波纹。当使用了本发明所述方法，得到结果如图7(b)与(d)所示。从中可看出，利用本发明所述方法，三维人脸重构准确，抖动误差已被全部排除。

Claims

1.一种针对三维人脸测量的面部抖动补偿方法，其特征在于步骤如下：

2.根据权利要求1所述的针对三维人脸测量的面部抖动补偿方法，其特征在于求解相移量的初值过程如下：构建基于条纹投影的三维人脸测量装置，即投影仪向被测物体投影三步相移光栅图像，相机从另一个角度拍摄由测物体反射而来的三步相移光栅图像，采集的图像传输至计算机进行图像处理，即求解相移量的初值，其中投射的三步相移光栅光强图I₁，I₂，I₃为：

其中(x^p,y^p)表示投影仪像素坐标，A^p表示直流分量，B^p表示振幅，f^p表示投影光栅的空间频率，w^p表示投影仪的横向分辨率，将生成的三步相移光栅光强图I₁，I₂，I₃依次投影至被测对象，并利用相机拍摄这些图像，并将它们传输至计算机，拍摄获得的光栅图像光强(I′₁，I′₂，I′₃)表示为

I′₁(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)]

I′₂(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′₂]

I′₃(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)-δ′₂-Δδ′]

其中，(x,y)为相机像素坐标，A为背景光强，B为光强调制度，φ为待求相位；δ′₂与Δδ′为测量过程中由面部抖动引起的未知相移量，该方程组中的已知量为I′₁、I′₂与I′₃，为了从该方程组中求解相移量δ′₂与Δδ′，补偿抖动引起的误差，利用以下关系求解δ′₂与Δδ′：

其中i，j，k为中间变量，运算符号|·|表示绝对值运算，运算符号<·>表示计算整幅图像的平均光强值，用变量c来统一代表各项<|2B sin(·)|>的值，从而得到以下化简关系

利用以上三个式子，计算变量c：

因此利用以下关系求解δ′₂与Δδ′：

此时得到的相移量δ′₂与Δδ′为初始值，分别记为与

3.根据权利要求1所述的针对三维人脸测量的面部抖动补偿方法，其特征在于利用投影仪向被测对象投影一幅亮度均匀的图案，其生成过程为：

I₄(x^p,y^p)＝A^p(x^p,y^p)

利用相机拍摄此时的场景，并将图像传输至计算机，将这幅相机采集的图像记为A_ref。

4.根据权利要求1所述的针对三维人脸测量的面部抖动补偿方法，其特征在于迭代优化初始的相移量δ′₂与Δδ′：首先确定相移量δ′₂与Δδ′的迭代优化范围，设δ′₂的取值范围是Δδ′的取值范围是且α∈[0,1]，δ′₂与Δδ′的取值方式为分别从各自的定义域下限取值；然后依次递增取值，递增的步长均为0.0001弧度，直到取值等于各自定义域的上限值；对于每一组δ′₂与Δδ′的组合，计算与它们对应的相位φ，计算方法为

其中h(x,y)＝[I′₂(x,y)-I′₁(x,y)]/[I′₃(x,y)-I′₁(x,y)]；

最后，利用表达式I′₁、I′₂、I′₃，以及此时已知的变量φ、δ′₂、Δδ′，通过最小二乘法，求解未知量A，并利用背景光强差异度Δ_A计算公式

求解计算得到的A与拍摄的A_ref之间的差异度；其中∑为计算整幅图像所有像素的光强总合；由于利用每一组δ′₂与Δδ′，都可计算得到一个Δ_A，当差异度Δ_A取得最小值时，对应的相移量与就是优化后的理想相移量。

5.根据权利要求1所述的针对三维人脸测量的面部抖动补偿方法，其特征在于补偿波纹误差，并计算人脸三维数据，即利用理想的相移量与通过以下公式计算波纹补偿后的相位

然后利用多频时域相位展开法，对相位进行时间相位展开，得到去包裹相位：

其中φ^c为辅助光栅相位，f^c为辅助光栅的空间频率，NINT表示取整函数；

最后，利用相机与投影仪的空间位置关系以及各自的标定参数，将去包裹相位转换为空间三维坐标，获得人脸三维坐标(X,Y,Z)^T，转换方法为联立以下两个方程：

u(x,y,1)^T＝P^c(X,Y,Z,1)^T

v(x^p,y^p,1)^T＝P^p(Φ)(X,Y,Z,1)^T

其中u，v分别为空间点(X,Y,Z)^T投影至相机与投影仪平面过程中的投影标量，P^c表示相机矩阵，P^p(Φ)表示投影仪矩阵。