CN114295225B - 基于二值条纹全局编码字校正的红外人脸测量方法 - Google Patents

Abstract

本发明公开了一种基于二值条纹全局编码字校正的红外人脸测量方法。该方法包括首先由相机采集一组投影仪投射的格雷码图案和二值条纹图案。然后分别根据捕捉的格雷码图案和二值条纹计算格雷码阶次k1和定位二值条纹的边缘点。然后通过格雷码阶次k1的奇偶值得到辅助条纹G，k1结合G计算得到校正阶次k2和k3。通过二值条纹由明到暗和由暗到明变化的不同，将条纹边缘分为下降沿和上升沿。随后根据不同的跳变类型选择相应的校正阶次。根据此规则，该方法能够校正由于二值条纹的离焦问题引起的跳变误差，从而完成高精度的人脸三维重建。

Description

基于二值条纹全局编码字校正的红外人脸测量方法

技术领域：

本发明属于计算机视觉中三维重构的领域，具体涉及一种基于二值条纹全局编码字校正的红外人脸测量方法。

背景技术：

人脸因其角度多变，曲率变化大，次表面反射强等特性成为了一种高难度测量对象。三维人脸精确测量对医疗美容，人机交互，信息安全等领域有重要意义。近年来条纹投影轮廓术FPP(fringe projection profilometry)凭借其条纹变化的灵活性和较低的设备成本成为最有前途的技术之一，其速度快，鲁棒性强，精度高，非接触性等特点能够满足人脸测量的多种需求。FPP需要的设备通常包括一台数字投影仪，一部工业相机和一台计算机。计算机生成一系列条纹图案后，控制投影仪投出，再由相机捕捉经被测物体表面调制后的条纹图案，最后通过各种算法从二维图案重建出三维形状。

然而许多人脸测量方法都是基于可见光设备，它对人眼有强烈的刺激。此外人脸的次表面反射现象以及红外相机成像质量差的问题极大地限制了相移法在红外光源下进行三维人脸重建的应用。为了提高人脸的重建精度，本发明旨在提供一种基于二值条纹全局编码字校正的红外人脸测量方法，从而实现高精度的三维人脸重建。该方法针对离焦问题导致的跳变误差做出了非常有效的修正，且无需投影辅助条纹，依据求得的格雷码阶次即可完成校正。根据条纹的明暗变化不同，该方法将二值条纹边缘分为上升沿和下降沿，不同的跳变类型对应不同的校正方法。根据不同的校正方法，重建结果中的跳变误差得到修正，最终得到高精度的三维人脸结果。

发明内容：

技术问题：

在测量人脸时会遇到两个主要问题。可见光设备对人眼有强烈的刺激，即使将投影的速度提高也并不能消除对人的侵犯性。更严重的是，人受到光照刺激后可能会紧张，导致表情或肌肉形态出现变化，从而影响重建结果的应用。为了避免对人眼的刺激，同时减少环境光的影响，本方法使用红外光源测量人脸。然而红外相机成像时对于烟雾的穿透能力比可见光相机强，但是在其他环境中成像质量比可见光相机成像质量差，具体表现为图像对比度低，清晰度差，容易受噪声影响。因此红外相机捕捉到的图像对比度较低，相移条纹的正弦性较差，从而导致根据正弦条纹求解出的包裹相位误差较大，不利于人脸重建。同时由于人脸有强烈的次表面反射，投影仪投射到人脸的光中只有5-7％反射到环境中，其余部分均被皮肤吸收或透过。在结构光中，次表面反射的作用类似于低通滤波器，会使高频图案变得模糊。因此，在红外相机和次表面反射的双重影响下，相机捕捉到的正弦条纹会受到严重影响，正弦性降低，离焦误差增大。如何在避免对人眼造成伤害，减小次表面反射对重建过程的干扰的同时提高人脸测量的鲁棒性和精度，则是本专利的主要内容。

技术方案：

为解决上述问题，本发明采用以下技术方案：

基于二值条纹全局编码字校正的红外人脸测量方法，该方法包括如下步骤：

S1.使用红外投影仪在人脸投影所需的N幅标准格雷码图案，将图像分为2^N个子区域，每个子区域的宽度为t；

S2.根据步骤S1中计算得到的子区域宽度t，以1像素为步长，投影(t-1)幅移位的二值条纹，记二值条纹的局部编码字为m，m∈{1,2,L,t}；

S3.用相机采集步骤S1和步骤S2中投影的格雷码图案和二值条纹，计算格雷码阶次k1，定位二值条纹的边缘点；

S4.根据二值条纹由明到暗和由暗到明变化的不同，将边缘分为下降沿和上升沿；

S5.根据格雷码阶次k1的奇偶值计算得到辅助条纹G，计算公式为：

S6.对于步骤S5得到的辅助条纹G，结合格雷码阶次k1可得到校正阶次k2和k3；

S7.当二值条纹边缘点向k1取值发生错误时，校正阶次k2或k3正处于取值平稳的部分，因此向校正阶次取值可得到正确的阶次；

S8.根据校正阶次与格雷码阶次的关系，二值条纹向校正阶次的取值可恢复为格雷码阶次的对应值；

S9.得到二值条纹对应的格雷码阶次k1和局部条纹编码值m后便可得到全局编码字k，从而完成三维重建。

k＝k1*t+m

所述的基于全局编码字校正的红外三维人脸测量方法，步骤S1中所述的子区域的宽度计算方法为：根据投影仪的横向分辨率u，在2ⁿ中选择大于u且最接近u的值U作为被除数，投影N幅格雷码图案，则子区域的宽度为：t＝U/2^N。

所述的基于全局编码字校正的红外三维人脸测量方法，步骤S2中所述的二值条纹的移位次数的计算方法为：格雷码将投影平面分为2^N个子区域，子区域的宽度为t，则对于格雷码阶次有t个像素的周期模糊。因此需要将二值条纹移位(t-1)次，消除格雷码阶次的周期模糊。

所述的基于全局编码字校正的红外三维人脸测量方法，步骤S3中所述的二值条纹边缘点的定位方法为：投影的二值条纹包括正向和反向，将正反向二值条纹相减，通过多项式拟合计算零点，从而得到二值条纹的边缘点坐标。

所述的基于全局编码字校正的红外三维人脸测量方法，步骤S6中所述的校正阶次k2和k3的具体计算方法为：

k2＝k1+G

k3＝k1-G

校正阶次k2只保留了格雷码阶次k1的所有偶数值，将所有奇数值加一，因此将k1的变化频率降低了一倍。与之对应，校正阶次k3也保留了格雷码阶次k1的所有偶数值，与k2的区别为将所有奇数值减一。同样的，k3也将k1的变化频率降低了一倍，且k3滞后k2半个二值条纹周期。通过这种方式，k2和k3共同保留了k1的全部跳变。利用三者之间的变化关系，k2和k3的值最终可转化为k1的值。

所述的基于全局编码字校正的红外三维人脸测量方法，步骤S7中所述的二值条纹边缘点取值的具体方法为：以第一幅二值条纹I1为例，如果I1的上升沿向右偏移，变化后的边缘点向k1取值时会越过k1的跳变位置，从而使最终的全局编码字出现跳变误差。而I1的上升沿正对应于k3取值平稳的部分，即使出现向右的偏移k3也不会发生跳变，因此用k3的值代替k1的值作为条纹阶次可消除I1由于上升沿偏移带来的跳变误差。由于k3是通过保留k1的所有偶数值，将k1所有奇数值减一得到的。I1上升沿边缘点正对应到k1的奇数值部分，因此将I1向k3取值之后的结果加一即可恢复为对应的格雷码阶次。同理可使用k2校正I1的下降沿误差。

有益效果：

本发明针对传统光栅投影三维测量系统在测量人脸时容易对人眼造成刺激以及受到次表面反射影响容易产生跳变误差的问题，提出了基于二值条纹全局编码字校正的红外人脸测量方法，有效提高了三维人脸重建的精度。本发明通过已知的格雷码阶次生成辅助条纹，随后通过格雷码阶次与辅助条纹的运算得到两种校正阶次。整个过程无需投影额外的条纹图案，且生成的校正阶次与格雷码阶次在跳变位置没有误差，通过一定的计算可恢复为格雷码阶次值。当下降沿或上升沿向右偏移越过了格雷码阶次k1的跳变位置时，向格雷码阶次取值就会发生错误，从而导致求得的阶次偏大或偏小。而k1的跳变位置被k2,k3平均分担，且k2超前k3半个二值条纹周期。因此如果条纹边缘点发生偏移，那么在校正阶次k2和k3中至少有一个阶次的取值正处于平稳部分，此时用校正阶次的值代替格雷码阶次，随后再利用校正阶次与格雷码阶次的关系将校正阶次的值恢复为格雷码阶次值，便可消除跳变误差。本发明最大的优点是在不增加辅助条纹投影的情况下校正了条纹离焦造成的跳变误差，实现了高精度的三维重建。

附图说明

图1是发明的整个系统的框架图。

图2是条纹受到次表面反射影响后的对比图。

图3是生成的辅助条纹图。

图4是边缘点出现偏移后的示意图。

图5是校正边缘点误差的示意图。

图6是其他重建方法与本发明对人脸重建效果的对比图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。在Windows操作系统下选用MATLAB2018a作为编程工具，对计算机生成的格雷码和二值条纹以及红外相机采集到的条纹图像进行处理。该实例采用人脸作为被测对象，证实本专利提出的测量方法的有效性。应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于二值条纹全局编码字校正的红外人脸测量方法，系统框架图如图1所示。

具体包括以下步骤：

步骤1：根据主动光投影三维测量系统中的硬件三角关系固定投影仪和相机，并将投影仪和相机调整到聚焦状态，测量时使人脸处于投影仪和相机的共同视野内。使用红外投影仪在人脸投影所需的7幅标准格雷码图案，将图像分为2⁷个子区域，每个子区域的宽度为8；

步骤2：根据步骤1中计算得到的子区域宽度8，以1像素为步长，投影7幅移位的二值条纹，记二值条纹的局部编码字为m，m∈{1,2,L,8}；

步骤3：用相机采集步骤1和步骤2中投影的格雷码图案和二值条纹，计算格雷码阶次k1，定位二值条纹的边缘点，其中一幅二值条纹分别投影在石膏像和人脸的效果如图2所示；

步骤4：根据二值条纹由明到暗和由暗到明变化的不同，将边缘分为下降沿和上升沿；

步骤5：根据格雷码阶次k1的奇偶值计算得到辅助条纹G，如图3所示，计算公式为：

步骤6：对于步骤5得到的辅助条纹G，结合格雷码阶次k1可得到校正阶次k2和k3；

步骤7：图4所示为未加入校正环节的二值条纹全局编码字求解示意图。当二值条纹边缘点向k1取值发生错误时，校正阶次k2或k3正处于取值平稳的部分，因此向校正阶次取值可得到正确的阶次，如图5所示；

步骤8：根据校正阶次与格雷码阶次的关系，二值条纹向校正阶次的取值可恢复为格雷码阶次的对应值；

步骤9：得到二值条纹对应的格雷码阶次k1和局部条纹编码值m后便可得到全局编码字k，从而完成三维重建，如图6所示。

应当指出，上述实施实例仅仅是为清楚地说明所作的案例，而并非对实施方式的限定，这里无需也无法对所有的实施方式予以穷举。本实施例中未明确的各组成部分均可用现有技术加以实现。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于二值条纹全局编码字校正的红外人脸测量方法，其特征在于，该方法包括如下步骤：

S1.使用红外投影仪在人脸投影所需的N幅标准格雷码图案，将图像分为2^N个子区域，每个子区域的宽度为t；

S2.根据步骤S1中计算得到的子区域宽度t，以1像素为步长，投影(t-1)幅移位的二值条纹，记二值条纹的局部编码字为m，m∈{1,2,…,t}；

S3.用相机采集步骤S1和步骤S2中投影的格雷码图案和二值条纹，计算格雷码阶次k1，定位二值条纹的边缘点；

S4.根据二值条纹由明到暗和由暗到明变化的不同，将边缘分为下降沿和上升沿；

S5.根据格雷码阶次k1的奇偶值计算得到辅助条纹G，计算公式为：

S6.对于步骤S5得到的辅助条纹G，结合格雷码阶次k1可得到校正阶次k2和k3；

S7.当二值条纹边缘点向k1取值发生错误时，校正阶次k2或k3正处于取值平稳的部分，因此向校正阶次取值可得到正确的阶次；

S8.根据校正阶次与格雷码阶次的关系，二值条纹向校正阶次的取值可恢复为格雷码阶次的对应值；

S9.得到二值条纹对应的格雷码阶次k1和局部条纹编码值m后便可得到全局编码字k，从而完成三维重建；

k＝k1*t+m

步骤S6中所述的校正阶次k2和k3的具体计算方法为：

k2＝k1+G

k3＝k1-G

校正阶次k2只保留了格雷码阶次k1的所有偶数值，将所有奇数值加一，因此将k1的变化频率降低了一倍；与之对应，校正阶次k3也保留了格雷码阶次k1的所有偶数值，与k2的区别为将所有奇数值减一；同样的，k3也将k1的变化频率降低了一倍，且k3滞后k2半个二值条纹周期；通过这种方式，k2和k3共同保留了k1的全部跳变；利用三者之间的变化关系，k2和k3的值最终可转化为k1的值。

2.根据权利要求1所述的基于二值条纹全局编码字校正的红外人脸测量方法，其特征在于，步骤S1中所述的子区域的宽度计算方法为：根据投影仪的横向分辨率u，在2ⁿ中选择大于u且最接近u的值U作为被除数，投影N幅格雷码图案，则子区域的宽度为：t＝U/2^N。

3.根据权利要求1所述的基于二值条纹全局编码字校正的红外人脸测量方法，其特征在于，步骤S2中所述的二值条纹的移位次数的计算方法为：格雷码将投影平面分为2^N个子区域，子区域的宽度为t，则对于格雷码阶次有t个像素的周期模糊，因此需要将二值条纹移位(t-1)次，消除格雷码阶次的周期模糊。

4.根据权利要求1所述的基于二值条纹全局编码字校正的红外人脸测量方法，其特征在于，步骤S3中所述的二值条纹边缘点的定位方法为：投影的二值条纹包括正向和反向，将正反向二值条纹相减，通过多项式拟合计算零点，从而得到二值条纹的边缘点坐标。

5.根据权利要求1所述的基于二值条纹全局编码字校正的红外人脸测量方法，其特征在于，步骤S7中所述的二值条纹边缘点取值的具体方法为：以第一幅二值条纹I1为例，如果I1的上升沿向右偏移，变化后的边缘点向k1取值时会越过k1的跳变位置，从而使最终的全局编码字出现跳变误差；而I1的上升沿正对应于k3取值平稳的部分，即使出现向右的偏移k3也不会发生跳变，因此用k3的值代替k1的值作为条纹阶次可消除I1由于上升沿偏移带来的跳变误差；由于k3是通过保留k1的所有偶数值，将k1所有奇数值减一得到的；I1上升沿边缘点正对应到k1的奇数值部分，因此将I1向k3取值之后的结果加一即可恢复为对应的格雷码阶次；同理可使用k2校正I1的下降沿误差。