CN106530389B - 基于中波红外人脸图像的立体重构方法 - Google Patents

Abstract

本发明公开了一种基于中波红外的人脸图像的立体重构方法，主要解决现有技术重构可见光人脸图像易受光源变化影响，重构结果不稳定的问题。其实现方案为：1、利用中波红外热像仪采集人脸图像；2、对人脸图像的红外辐射信息进行解密和灰度值转化，得到二维人脸灰度图像；3、对二维人脸灰度图像进行去噪和直方图均衡化，得到人脸目标灰度图像；4、计算人脸目标灰度图像的梯度并求得辐射函数；5、根据辐射函数获得亮度函数并对其求偏导数；6、对亮度函数进行泰勒展开得到关于高度的迭代公式，求解出人脸目标图像的高度。本发明提高了人脸图像的立体重构稳定性，并能同时获得人脸图像的热辐射信息，可应用于医疗检查、身份鉴定及过程监控。

Description

基于中波红外人脸图像的立体重构方法

技术领域

本发明属于图像处理技术领域，特别涉及一种图像的立体重构方法，可用于身份鉴定、医疗检查、过程监控。

背景技术

目前，实现物体表面形状的三维重构，主要采用阴影恢复形状SFS方法，该SFS方法仅利用单幅图像的明暗变化即图像的灰度信息，来获取物体表面的三维信息，以最自然的方式快速有效地提取物体表面的几何形状信息，其技术原理简单，适用性强，应用领域非常广泛。SFS方法应用的一个重要的领域就是人脸重构。

对于可见光图像，SFS方法的重构系统需要有点光源或平行光源，才可得到目标物体的可见光二维图像，再利用SFS方法对二维图像进行重构处理，便可得到目标的三维信息。该方法不能对夜间情况下或复杂的可见光源情况下的目标进行二维图像的获取及重构处理。

与可见光图像不同，红外热图像不是人眼所能看到的可见光图像，而是物体表面温度分布图像。它在实际生活中有着极其广泛的应用，如预测性维护、建筑检验、医疗检查、气体发现、质量控制、过程监控等。然而红外热图像无法表征物体表面的几何信息，即在红外热像仪成像过程中丢失了深度信息。考虑到红外目标具有自身辐射，灰度明暗变化不仅隐藏三维信息还包括温度信息，在三维重构中的理论模型和具体实现方法有待研究。

由于人脸是在相互交往中最引人注目的部位，能够传递包括人物个性、感情、精神状态等在内的诸多信息，是情感表达和身份识别的重要载体，是人类喜怒哀乐等情感表达和人物个性身份识别的重要载体，例如从上世纪70年代Parke在计算机上建立第一个人脸模型开始，包括计算机图形学、计算机视觉和和模式识别等诸多领域的研究人员尝试人脸的建模与动画。使人脸立体重构技术称为研究的热点并应用于生产生活的各个领域。比如影视制作、人机交互、医学研究、身份鉴定、过程监控、目标跟踪等领域。特别是在夜间可视光微弱的情况下，监控得到的人脸图像不清晰，对其进行立体重构的准确率也就降低，所以，研究面向身份鉴定和过程监控的人脸立体重构技术，提高重构的成功率和准确率是需要解决的问题。

人脸立体重构的过程一般描述为，对于一个任意的立体人脸，获取这个人脸的二维图像，并对二维图像进行三维立体重构，最后获得重构出来的立体人脸。主要解决两个问题：二维图像的获取，人脸的三维重构。二维图像的获取过程是为人脸立体重构系统提供重构数据，需要利用光源、摄像机或光电探测器获得人脸本身的辐亮度信息，从而得到二维人脸图像。人脸的三维重构过程是将二维人脸图像恢复成三维人脸图像，需要利用立体重构方法对得到的二维信息进行处理，从而获得二维人脸图像的深度信息，即得到三维人脸图像。

人脸立体重构的基本流程主要包括数据采集、图像预处理、计算人脸表面的梯度，获得辐射函数和亮度函数，计算人脸的深度信息等过程。使用图像传感器如光电探测器或摄像机获取标准人脸的二维图像，通过预处理提高二维人脸图像的图像质量，然后计算出二维人脸图像中每个像素点的梯度，就是利用获取的二维人脸图像归一化后的亮度信息和图像传感器的位置坐标信息，得到实际人脸的表面梯度，再获得二维人脸图像的辐射函数和亮度函数，最后对二维人脸图像的亮度函数进行泰勒展开并计算人脸的深度信息，即得到三维人脸图像。

人脸立体重构的重构算法有很多种，包括基于统计学习的方法、基于模型的方法和基于阴影恢复形状SFS的方法。

基于统计学习的方法是利用统计学习找到人脸图像信息与人脸深度信息之间的对应关系，从而可以直接通过输入的人脸图像得到人脸的深度信息。Castelan等利用最小二乘回归的方法对人脸图像和相应的深度信息进行学习。Robinson等先将图像的灰度信息和深度信息组合成一个向量，然后利用多元的正态分布函数描述其统计特性，通过函数估计来得到输入人脸的深度信息。基于统计学习的方法一旦训练好数据，输入单幅图像便可得到相应人脸的深度信息。统计学习方法的常见弊端是如果训练数据和测试数据取自同一个数据库，往往取得较好的效果，而对于数据库以外的测试数据鲁棒性不高。

另外，基于模型的人脸立体重构方法又包括基于形变模型的重构方法和基于通用模型的重构方法。基于形变模型的人脸立体重构方法，是一种基于统计的人脸立体建模方法。国外研究工作者借助三维激光扫描仪获取准确的人脸三维数据作为统计学习的源数据，为基于统计模型进行人脸立体重构打下良好基础。之后为提高形变模型与输入人脸匹配的速度，利用稀疏形变模型拟合出人脸特征点的深度信息，再对一般的人脸模型变形。基于通用人脸立体模型的人脸立体重构方法，是指利用单幅二维图像对某通用模型进行调整和纹理添加，从而重构出特定人脸的立体模型。由于不同个体人脸五官的位置分布的相似性以及不同人脸的相同表情的相似肌肉运动等，使得特定的人脸模型可利用对一个已有的模型进行调整而得到。这种方法需要以通用人脸立体模型作为辅助的先验信息，一般包括图像采集、人脸检测、人脸特征提取、通用人脸立体模型与特征点对应、模型形变、纹理映射这六个步骤。

基于阴影恢复形状SFS的人脸立体重构方法是最早被提出的基于单幅图像的重构方法。根据图像的形成原理，利用人脸的二维灰度图像恢复相应区域内人脸的三维形状。该方法包括两方面的研究内容：一是对物体选择适宜的成像模型，从而建立图像的辐照等式；二是添加约束条件，合理地求解辐照等式，使理论上的反射辐照图像与输入的灰度图像最为接近。而大部分情况下人脸皮肤的反射模型符合朗伯体的成像原理，因此基于明暗变化的人脸立体重构方法中，很多研究者都假设图像都满足朗伯体模型，即图像中每个像素点光强信息仅与入射光源的强度和方向以及人脸表面的法向信息有关，而与其他信息无关。由于各种假设及参数较多，计算比较复杂，基于明暗变化的方法在计算效率和准确率上不能达到人脸重构的要求。

上述几种人脸立体重构方法的共同不足是：只能针对于可见光图像，且对环境光源的要求比较高，并且重构的结果准确率和稳定性比较差。

发明内容

本发明的目的在于提出一种基于中波红外人脸图像的立体重构方法，以解决现有基于阴影恢复形状SFS的人脸立体重构方法只能对可见光图像重构的缺陷，降低人脸立体重构过程对环境光的要求，提高重构准确率。

本发明通过对现有基于阴影恢复形状SFS的人脸立体重构方法的改进，来实现上述目的，其技术方案包括如下：

步骤1，利用中波红外热像仪采集人脸数据，得到人脸在红外中波波段的二维图像，以及该二维图像上每个像素点所对应的红外辐射信息；

步骤2，对二维图像上每个像素点所对应的红外辐射信息依次进行解密和灰度值转化处理，得到人脸二维灰度图像；

步骤3，对人脸的二维灰度图像依次进行去噪和直方图均衡化处理，分离出人脸目标和背景，得到人脸目标二维灰度图像E；

步骤4，假设人脸目标二维灰度图像中每个像素点的高度Z初始值为零，优化参数为P＝0；

步骤5，计算人脸目标二维灰度图像中每个像素点的高度Z沿x轴和y轴的梯度值，得到相对于人脸目标灰度图像表面沿x轴的梯度g_x和沿y轴的梯度g_y，再利用人脸图像表面法向量与中波红外热像仪位置的关系，得到人脸目标灰度图像的辐射函数Rz；

步骤6，根据人脸目标二维灰度图像E和辐射函数Rz，得到人脸目标灰度图像的亮度函数fz，并对该亮度函数fz求偏导数dfz；

步骤7，对偏导数dfz进行正则化约束，得到亮度函数关于梯度的修正偏导数其中K＝10^-6为设置的固定参数；

步骤8，对人脸目标灰度图像的亮度函数fz进行泰勒展开，得到人脸目标灰度图像关于高度Z的迭代公式：fz^(n-1)+(Z-Z^(n-1))dfz＝0，

其中，n表示迭代次数，Z表示当前的高度，Z^(n-1)表示前一次迭代的高度；

步骤9，根据人脸目标灰度图像关于高度Z的迭代公式和亮度函数关于梯度的修正偏导数dfz'，得到人脸目标灰度图像中每个像素点的高度Z:

步骤9a，令高度值第n次迭的结果Z⁽ⁿ⁾＝Z，并将其代入步骤(8)中的迭代公式中，得到新的迭代公式：fz^(n-1)+(Z⁽ⁿ⁾-Z^(n-1))dfz＝0；

步骤9b，将修正偏导数dfz'替换步骤(9a)中新的迭代公式中的偏导数dfz，得到人脸目标灰度图像中每个像素点高度

步骤9c，将经过n次迭代计算的高度Z⁽ⁿ⁾重新赋值给Z，当迭代次数n达到100时，则停止计算，得到人脸目标灰度图像中每个像素点的高度Z，执行步骤(10)；否则执行步骤(9d)；

步骤9d，将的计算结果重新赋值给P，并将P作为新的优化参数，返回步骤(5)进行下一次迭代；

步骤10，用人脸目标灰度图像中每个像素点的高度Z与原来的人脸目标二维灰度图像一起，构成人脸目标的三维图像，实现基于中波人脸图像的立体重构。

本发明与现有技术相比，具有如下有优点：

本发明由于在采集人脸数据时利用了中波红外热像仪，并根据得到的红外辐射信息对人脸进行立体重构，能同时获取人脸特征中的三维结构与自身热辐射信息，与现在技术利用可见光光子探测系统采集人脸数据，获取人脸的三维结构相比，避免了人脸二维图像受光照变化的影响，提高了立体重构结果的稳定性，可在更广泛的波段范围中使用。

附图说明

图1为本发明的实现流程框图。

图2为本发明中使用中波红外热像仪采集人脸数据的示意图。

具体实施方式：

以下结合附图和具体实施例，对本发明作进一步详细说明。

参照附图1，本发明包括如下步骤：

步骤1，利用中波红外热像仪采集人脸数据，得到人脸在红外中波波段的二维图像，以及该二维图像上每个像素点所对应的红外辐射信息。

参照图2，采集时首先固定人脸目标的位置，使其处于坐标轴中心位置，然后固定中波红外热像仪的位置，将指向人脸目标的方向标记为已知的固定方向；

然后利用中波红外热像仪采集人脸数据，得到人脸在中红外波段的二维图像，该二维图像不仅包含了每个像素点所对应的人脸的二维信息，也包含了对应像素点的红外辐射信息。

步骤2，对二维图像上每个像素点所对应的红外辐射信息依次进行解密和灰度值转化处理，得到人脸二维灰度图像。

由于中波红外热像仪采集到的红外辐射信息是经过加密处理的，不能直接使用，所以需要对其依次进行解密和灰度值转化处理，其实现步骤如下：

(2a)将中波红外人脸图像的红外辐射信息中的数据标上序号，再从第一个数据开始，将序号为奇数的数据作为16位二进制编码的高八位数，将序号为偶数的数据作为16位二进制编码的低八位数，并将高八位数与低八位数合并，得到十六位的二进制数，再将其转化成十进制数,得到十进制数的数组；

(2b)将十进制数的数组按照红外热像仪成像规格，转化成矩阵，再对该矩阵依次进行旋转，翻折操作，得到解密矩阵；

(2c)在解密矩阵的所有元素中，由高位向低位获得相同二进制数的位数，并这个位数对应的十进制数作为基数，再用解密矩阵减去基数，得到解密后的中波人脸图像；

(2d)对解密后的中波人脸图像进行归一化处理，使其每一个元素的数值范围处于[0,255]之间，得到人脸二维灰度图像。

步骤3，对人脸的二维灰度图像依次进行去噪和直方图均衡化处理，分离出人脸目标和背景，得到人脸目标二维灰度图像E。

获得的人脸二维灰度图像不是理想的图像，由于人脸图像表面的变化是平缓的，红外热像仪的个别像元器件出现损坏，使得人脸的二维灰度图像中存在最亮点或最暗点等噪声点，图像中的背景部分也会对人脸的后期处理有影响，所以需要对图像进行去噪处理，并分离出人脸目标和背景，本步骤的具体实现如下：

(3a)在人脸的二维灰度图像中，计算当前像素点的灰度值与这个像素点八邻域内灰度值的中值的差值，若差值的绝对值超过设置的阈值τ＝15，则这个像素点就是最亮点或最暗点噪声，再利用中值滤波方法消除噪声，得到去噪后的人脸二维灰度图像；

(3b)在去噪后的人脸二维灰度图像中，通过实验确定人脸目标的灰度值的最大值和最小值作为最佳阈值，再根据最佳阈值对图像的灰度值做缩放处理，将人脸目标和背景分离出来，得到人脸目标的二维灰度图像；

(3c)对人脸目标的二维灰度图像进行归一化处理，使该图像上的每一个像素的数值范围处于[0,1]之间，得到归一化后的人脸目标二维图像E。

步骤4，假设人脸目标二维灰度图像中每个像素点的高度Z初始值为零，优化参数为P＝0作为迭代计算的初始值。

步骤5，计算人脸目标灰度图像表面分别沿x轴和y轴的梯度g_x、g_y，并利用人脸图像表面梯度与中波红外热像仪位置的关系，得到人脸目标灰度图像的辐射函数Rz。

本步骤的具体实现如下：

(5a)在人脸目标二维图像中的(i,j)点处，利用公式g_x＝Z(i,j)-Z(i,j-1)和g_y＝Z(i,j)-Z(i-1,j)分别得到人脸目标二维图像表面分别沿x轴和y轴的梯度g_x、g_y，其中Z(i,j)表示人脸目标二维图像中的(i,j)点处的高度值；

(5b)设人脸目标处于坐标轴中心位置，即人脸目标的坐标为(0,0,0)，且中波红外热像仪指向人脸目标的方向矢量为(p₀,q₀,1)，其中p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量；

(5c)利用人脸目标二维图像表面梯度g_x、g_y与中波红外热像仪指向人脸目标的方向矢量(p₀,q₀,1)，得到人脸目标灰度图像的辐射函数Rz：

步骤6，根据人脸目标二维灰度图像E和辐射函数Rz，得到人脸目标灰度图像的亮度函数fz，并对该亮度函数fz求偏导数dfz。

本步骤的具体实现如下：

(6a)将人脸目标灰度图像的亮度函数fz表示如下：

其中，fz为人脸目标灰度图像的亮度函数，E为人脸目标灰度图像，Rz为辐射函数，p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量，g_x、g_y分别为人脸目标二维图像表面沿x轴和y轴的梯度；

(6b)计算人脸目标灰度图像的亮度函数fz关于梯度的偏导数dfz，按照如下公式进行：

其中，p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量，g_x、g_y分别为人脸目标二维图像表面沿x轴和y轴的梯度。

步骤7，对偏导数dfz进行正则化约束，得到亮度函数关于梯度的修正偏导数dfz'。

由于偏导数dfz是在迭代过程中对亮度函数求导得到的结果，为了减少迭代次数，利用参数K＝10^-6对其进行线性化修正，得到修正偏导数：

其中K＝10^-6为设置的固定参数。

步骤8，对人脸目标灰度图像的亮度函数fz进行泰勒展开，得到人脸目标灰度图像关于高度Z的迭代公式：fz^(n-1)+(Z-Z^(n-1))dfz＝0，其中，n表示迭代次数，Z表示当前的高度，Z^(n-1)表示前一次迭代的高度。

步骤9，根据人脸目标灰度图像关于高度Z的迭代公式和亮度函数关于梯度的修正偏导数dfz'，得到人脸目标灰度图像中每个像素点的高度Z。

本步骤的具体实现过程如下：

(9a)令高度值第n次迭的结果Z⁽ⁿ⁾＝Z，并将其代入步骤(8)中的迭代公式中，得到新的迭代公式：fz^(n-1)+(Z⁽ⁿ⁾-Z^(n-1))dfz＝0；

(9b)将修正偏导数dfz'替换步骤(9a)中新的迭代公式中的偏导数dfz，得到人脸目标灰度图像中每个像素点高度

(9c)将经过n次迭代计算的高度Z⁽ⁿ⁾重新赋值给Z，当迭代次数n达到100时，则停止计算，得到人脸目标灰度图像中每个像素点的高度Z，执行步骤(10)；否则执行步骤(9d)；

(9d)将的计算结果重新赋值给P，并将P作为新的优化参数，返回步骤(5)进行下一次迭代。

步骤10，用人脸目标灰度图像中每个像素点的高度Z与原来的人脸目标二维灰度图像一起，构成人脸目标的三维图像，实现基于中波人脸图像的立体重构。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变扔在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于中波红外人脸图像的立体重构方法，其特征在于，包括：

(1)利用中波红外热像仪采集人脸数据，得到人脸在红外中波波段的二维图像，以及该二维图像上每个像素点所对应的红外辐射信息；

(2)对二维图像上每个像素点所对应的红外辐射信息依次进行解密和灰度值转化处理，得到人脸二维灰度图像：

(2a)将中波红外人脸图像的红外辐射信息中的数据标上序号，再从第一个数据开始，将序号为奇数的数据作为16位二进制编码的高八位数，将序号为偶数的数据作为16位二进制编码的低八位数，并将高八位数与低八位数合并，得到十六位的二进制数，再将其转化成十进制数,得到十进制数的数组；

(2b)将十进制数的数组按照红外热像仪成像规格，转化成矩阵，再对该矩阵依次进行旋转，翻折操作，得到解密矩阵；

(2c)在解密矩阵的所有元素中，由高位向低位获得相同二进制数的位数，并将这个位数对应的十进制数作为基数，再用解密矩阵减去基数，得到解密后的中波人脸图像；

(2d)对解密后的中波人脸图像进行归一化处理，使其每一个元素的数值范围处于[0,255]之间，得到人脸二维灰度图像；

(3)对人脸的二维灰度图像依次进行去噪和直方图均衡化处理，分离出人脸目标和背景，得到人脸目标二维灰度图像E；

(4)假设人脸目标二维灰度图像中每个像素点的高度Z初始值为零，优化参数为P；

(5)计算人脸目标二维灰度图像中每个像素点的高度Z沿x轴和y轴的梯度值，得到相对于人脸目标灰度图像表面沿x轴的梯度g_x和沿y轴的梯度g_y，再利用人脸图像表面梯度与中波红外热像仪位置的关系，得到人脸目标灰度图像的辐射函数Rz；

(6)根据人脸目标二维灰度图像E和辐射函数Rz，得到人脸目标灰度图像的亮度函数fz，并对该亮度函数fz求偏导数dfz；

(7)对偏导数dfz进行正则化约束，得到亮度函数关于梯度的修正偏导数其中K＝10^-6为设置的固定参数；

(8)对人脸目标灰度图像的亮度函数fz进行泰勒展开，得到人脸目标灰度图像关于高度Z的迭代公式：fz^(n-1)+(Z-Z^(n-1))dfz＝0，

其中，n表示迭代次数，Z表示当前的高度，Z^(n-1)表示前一次迭代的高度；

(9)根据人脸目标灰度图像关于高度Z的迭代公式和亮度函数关于梯度的修正偏导数dfz'，得到人脸目标灰度图像中每个像素点的高度Z：

(9a)令高度值第n次迭的结果Z⁽ⁿ⁾＝Z，并将其代入步骤(8)中的迭代公式中，得到新的迭代公式：fz^(n-1)+(Z⁽ⁿ⁾-Z^(n-1))dfz＝0；

(9b)将修正偏导数dfz'替换步骤(9a)中新的迭代公式中的偏导数dfz，得到人脸目标灰度图像中每个像素点高度

(9c)将经过n次迭代计算的高度Z⁽ⁿ⁾重新赋值给Z，当迭代次数n达到100时，则停止计算，得到人脸目标灰度图像中每个像素点的高度Z，执行步骤(10)；否则执行步骤(9d)；

(9d)将的计算结果重新赋值给P，并将P作为新的优化参数，返回步骤(5)进行下一次迭代；

(10)用人脸目标灰度图像中每个像素点的高度Z与原来的人脸目标二维灰度图像一起，构成人脸目标的三维图像，实现基于中波人脸图像的立体重构。

2.根据权利要求1所述的基于中波红外人脸图像的立体重构方法，其中步骤(3)所述的对人脸的二维灰度图像依次进行去噪和直方图均衡化处理，按照如下步骤进行：

(3a)在人脸的二维灰度图像中，筛选出最亮点和最暗点，并利用中值滤波方法消除噪声，得到去噪后的人脸二维灰度图像；

(3b)在去噪后的人脸二维灰度图像中，寻找灰度值的最佳阈值，并根据最佳阈值对图像的灰度值做缩放处理，将人脸目标和背景分离出来，得到人脸目标的二维灰度图像；

(3c)再对人脸目标的二维灰度图像进行归一化处理，使其每一个元素的数值范围处于[0,1]之间，得到归一化后的人脸目标二维图像E。

3.根据权利要求1所述的基于中波红外人脸图像的立体重构方法，其中步骤(5)中的获得人脸目标灰度图像的辐射函数Rz，按照如下步骤进行：

(5a)在人脸目标二维图像中的(i,j)点处，利用公式g_x＝Z(i,j)-Z(i,j-1)和g_y＝Z(i,j)-Z(i-1,j)分别得到人脸目标二维图像表面分别沿x轴和y轴的梯度g_x、g_y，其中Z(i,j)表示人脸目标二维图像中的(i,j)点处的高度值；

(5b)设人脸目标处于坐标轴中心位置，即人脸目标的坐标为(0,0,0)，且中波红外热像仪指向人脸目标的方向矢量为(p₀,q₀,1)，其中p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量；

(5c)利用人脸目标二维图像表面梯度g_x、g_y与中波红外热像仪指向人脸目标的方向矢量(p₀,q₀,1)，得到人脸目标灰度图像的辐射函数Rz：

4.根据权利要求1所述的基于中波红外人脸图像的立体重构方法，其中步骤(6)中的人脸目标灰度图像的亮度函数fz，表示如下：

其中，fz为人脸目标灰度图像的亮度函数，E为人脸目标灰度图像，Rz为辐射函数，p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量，g_x、g_y分别为人脸目标二维图像表面沿x轴和y轴的梯度。

5.根据权利要求1所述的基于中波红外人脸图像的立体重构方法，其中步骤(6)中对人脸目标灰度图像的亮度函数fz求偏导，按如下公式进行：

其中，dfz为亮度函数关于梯度的偏导，p₀、q₀分别为中波红外热像仪指向人脸目标的方向矢量沿x轴和y轴的分量，g_x、g_y分别为人脸目标二维图像表面沿x轴和y轴的梯度。