CN103246883A - 一种煤矿井下热红外图像人脸识别方法 - Google Patents

Abstract

本发明公开了一种煤矿井下热红外图像人脸识别方法。在室温下采集矿工人脸热红外图像并做归一化处理，经各向异性扩散滤波、血管网络提取、血管网络骨架提取及血管交叉点特征提取等步骤，得到反映人脸血管交叉点分布的交叉点分布特征向量，并存入人脸特征库；人脸在线识别阶段，采集待识别矿工人脸热红外图像并做归一化和人脸图像温度补偿处理，并计算出其交叉点分布特征向量，最后根据待识别图像交叉点分布特征向量与矿工人脸特征库中的交叉点分布特征向量之间的匹配程度得到识别结果。本发明利用热红外图像识别人脸，适用于井下光照条件差，矿工脸部经常覆盖煤灰时的人脸识别，识别率高，为矿区出、入井人员身份检测提供了可靠的信息。

Description

一种煤矿井下热红外图像人脸识别方法

技术领域

本发明涉及一种基于图像形态学的热红外图像人脸识别方法，属于图像模式识别技术领域。

背景技术

煤炭是我国主要的能源之一，是我国经济发展的重要保障，我国约70％的能源消耗来自煤炭。由于矿工违规、违章操作时有发生，会影响煤矿井下的安全生产，因而井下生产过程中对下井人员管理有着严格的要求与限制。

出、入井人员身份检测是保证矿井安全生产的重要技术手段之一。目前已有的检测方法包括基于RFID和指纹的检测技术，这些技术可以起到一定程度的效果，但也存在一些问题，如基于RFID射频技术的人员检测需要矿工佩戴射频识别卡，但是射频识别卡不是矿工不可分割的识别特征：矿工可以随身携带多个其他矿工的射频卡，存在替人代刷的现象；多个矿工也可以共用一张射频卡，存在非矿工流窜进入矿区的现象；矿工之间互相交换射频识别卡，存在私下换工的现象。基于指纹的检测技术利用人的指纹信息识别人员对象，指纹信息虽然是人体自身的生物特征，具备与人体之间的良好的不可分割特性，但是由于矿工从事体力劳动过程中，手指常常沾有煤渣或手指在工作过程中经常受伤，这都使得指纹识别率低。

目前井上基于生物特征的识别技术还包括人脸识别技术，人脸识别技术分为可见光人脸识别，近红外人脸识别和热红外人脸识别。井上可见光人脸识别技术在识别检测方面得到广泛的应用，较为成熟的方法有基于特征脸的人脸识别方法、基于线性判别分析的人脸识别方法等，但是各种可见光人脸识别算法对于识别环境中的光照条件有着较为严格的要求，在光照变化及昏暗的环境中，系统的正确识别率将大大降低。另外待检测人员脸部带有覆盖装饰物时，识别效果也会受到很大的影响。由于井下光照条件差，且矿工工作后脸部带有大量煤渍，虽然可见光人脸识别技术已经较为成熟，在井下环境中利用可见光人脸识别技术仍不能达到很好的识别效果。近红外人脸识别和热红外人脸识别目前正处于研究的起步阶段，近红外人脸识别对光照的要求不高，但是需要人脸特别靠近近红外成像设备。热红外图像的获取较为简单，获取的图像反映的是人脸表面的热分布状况，即使光照度极低条件下也不会影响到成像质量，且人脸表面存在的装饰物也不会对成像造成太大的影响，热红外人脸图像特别适合用于煤矿井下以实现对人脸的识别。目前井上热红外人脸识别方法包括将可见光人脸识别方法移植到热红外人脸识别中的识别方法(如主成分分析方法，线性判别分析方法)，基于形态学的识别方法，这些方法均取得了一定的识别效果。

由于煤矿井下环境温度不同于地面温度，且工人经过高强度的作业，往往会引起人脸表面温度的变化，此外煤矿井下工人还会佩戴矿灯，矿灯在长时间工作后表面温度将会高于人脸温度，影响到对人脸的识别效果，因此在进行热红外人脸识别的过程中，需要克服这些因素对识别效果的影响。由于玻璃对红外的透射性较差，对于佩戴眼镜的人脸进行识别也一直是热红外人脸识别的难点之一。本发明利用热红外图像实现对煤矿井下人脸的识别，提出了对佩戴矿灯和眼镜的检测和处理方法，利用温度补偿方法降低环境温度变化等因素对人脸识别率的影响。

发明内容

为了克服现有RFID标识卡方法、指纹识别方法、可见光人脸识别方法应用到井下唯一性检测时存在的问题，本发明提出了一种适合井下特殊环境的基于图像形态学的热红外人脸图像识别方法，该方法能够在井下昏暗环境中达到较高识别率，对煤矿井下环境温度变化适应性强，能够对矿工佩戴眼镜和矿灯的情况做出处理，有效检测眼镜及矿灯区域，为采煤区出、入井人员唯一性检测提供了保障。

本发明所述的基于图像形态学的热红外人脸识别方法采用如下技术方案实现，包括矿工人脸特征库的建立阶段与人脸在线识别阶段，训练样本特征并建立矿工人脸特征库的具体步骤如下：

(1)在室温T_hou下，分别采集拥有下井权限的矿工在佩戴及未佩戴矿灯和眼镜时的人脸热红外正面图像样本(每位矿工四幅)，并对采集得到的热红外图像样本进行归一化处理；

(2)对归一化后的图像作各向异性扩散滤波处理，以达到增强热红外图像中的血管边缘特征并去除噪声的目的；

(3)利用图像形态学方法提取滤波后图像中的血管网络，得到血管网络图像；

(4)提取血管网络图像中血管网络的单像素宽度的骨架；

(5)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点在图像中的绝对位置坐标(x_i，y_i)并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，其中i＝1，2，…，M，M表示图像中血管交叉点总数；由于每次图像采集人脸在图像中的位置并不完全相同，绝对位置无法用于识别，但各交叉点之间的相对位置信息却不会随着人脸平移而改变。因此利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量：

V_i＝{(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)，ψ_i}，i＝1，2，…，M，其中，d₁，d₂，…，d_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的距离值，φ₁，φ₂，…，φ_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的连线与图像水平方向之间的夹角。一般可以从人脸图像中提取到的交叉点数目在20-30范围内，可以取交叉点分布特征向量中的N为10。

当采集矿工佩戴矿灯(或眼镜)状态下的图像时，首先检测矿灯(或眼镜)的位置，得到位置蒙板，然后利用位置蒙板覆盖图像，以提取除矿灯(或眼镜)遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量V_i，i＝1，2，…，M；

(6)对所有交叉点分布特征向量的前N个分量(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)分别按照φ从小到大的顺序排序，得到排序后的向量SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N))，ψ_i}，i＝1，2，…，M，其中φ₍₁₎＜φ₍₂₎＜…＜φ_(N)；最后将SV_i，i＝1，2，…，M存储到矿工人脸特征库，用于人脸在线识别阶段；

人脸在线识别阶段的具体步骤如下：

(1)采集待识别矿工的热红外人脸图像，利用温度传感器获取当前环境温度T_env；

(2)对采集到的矿工热红外人脸图像做归一化处理；

(3)检测图像中的人脸是否佩戴矿灯或眼镜，并得到矿灯或眼镜的位置蒙板；

(4)根据当前环境温度T_env与矿工人脸特征库建立阶段采集图像时的室温T_hou之间的差值对归一化后的人脸图像进行温度补偿；

(5)对温度补偿后的图像作各向异性扩散滤波处理，增强热红外图像中的血管边缘特征并去除噪声；

(6)利用图像形态学方法提取滤波后图像中的血管网络，得到血管网络图像；

(7)提取血管网络图像中血管网络的单像素宽度的骨架；

(8)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点的位置(x_i，y_i)并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，其中i＝1，2，…，M，M表示待识别矿工的热红外图像中血管交叉点总数；利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量V_i，i＝1，2，…，M；若当前采集的是矿工佩戴矿灯(或眼镜)时的图像，则利用位置蒙板覆盖图像，以提取除矿灯(或眼镜)遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量；对所有交叉点分布特征向量的前N个分量按照φ从小到大排序，得到SV_i，i＝1，2，…，M；

(9)根据是否佩戴矿灯(或眼镜)，计算提取到的待识别矿工的热红外图像的血管交叉点排序后的分布特征向量SV_i，i＝1，2，…，M与矿工人脸特征库中每个矿工相应佩戴或未佩戴矿灯、眼镜的图像对应的排序交叉点分布特征向量SW_j的匹配程度r_match，其中j＝1，2，…，M′，M′是特征库中当前待比较的矿工图像中所提取出的交叉点总数，根据匹配程度得到识别结果。

所述提取热红外人脸图像血管网络的形态学方法包括以下步骤：

形态学方法中基本的操作包括腐蚀、膨胀、开运算、和闭运算。通过上述基本形态学运算方法的组合得到热红外人脸图像的血管网络。

(1)选取尺寸为3×3的值全为1的结构元素，对经过各向异性扩散滤波处理的热红外人脸灰度图像G进行腐蚀操作，得到图像G_erode，经过腐蚀图像中比结构元素尺寸小的亮点细节被去除，同时图像的整体灰度值降低；

(2)仍利用3×3值全为1的结构元素，对G_erode进行膨胀运算，得到图像G_dilate，经过膨胀运算，恢复了图像原来的整体亮度，但先前去除的亮点细节不会恢复；处理后，图像在保持原始图像整体灰度值不变和大块高亮区域不变的情况下，比结构元素尺寸小的亮点从原始图像中消除；

(3)将G与G_dilate对应元素作差，得到图像G_vessel，G_vessel是(2)中消除的比结构元素尺寸小的亮点所构成的图像，这些亮点细节构成了人脸血管网络；

(4)对G_vessel进行二值化处理，得到图像G′_vessel，经过二值化，图像中仅包含0，1两种取值，值为1的点表示血管，值为0的点不在血管上；

(5)G′_vessel中血管网络上存在一些细小的断裂点，另外当原始热红外图像质量不高时，血管网络交叉处会存在棋盘状的像素阵列，不利于提取血管网络的骨架和交叉特征点，需要填补这些暗点细节并连接细小断裂点。取尺寸为3×3值全为1的结构元素，对图像作闭运算，得到图像V，V中比结构元素尺寸小的暗点细节被消除掉，狭窄的血管断裂点被连接，棋盘状的像素阵列被填充。

所述提取血管网络单像素宽度骨架的方法包括以下步骤：

提取血管网络骨架是为了便于进一步提取血管网络的交叉特征点。提取二值图像的骨架，需要遵循如下原则：a)处理前后应保证图像的连通性不变；b)处理后得到的骨架应该接近原始图像中相应轮廓的中轴线；c)处理后的骨架宽度为单像素。本发明经过多次迭代逐步使提取到的骨架满足上述原则。

在一次迭代中，对利用形态学方法提取得到的热红外人脸二值血管图像中所有灰度值为1的点，即血管上的点进行如下操作：

(1)检测以当前值为1的点为中心的图像邻域是否与保留模板(如图5所示A21～A30)匹配，若与其中之一匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；若与上述10个保留模板均不匹配，则转至步骤(2)；

(2)检测以当前值为1的点为中心的图像邻域是否与去除模板(如图5所示A1～A20)匹配，若与其中之一匹配，则判定当前点不是血管图像的骨架点，然后检测下一个值为1的点；若与上述20个去除模板均不匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；

直到图像中所有值为1的点均检测完毕，保留下来的点组成的图像即为一次迭代后的血管骨架图像；对原始热红外人脸二值血管图像进行多次迭代，直到迭代前后的图像不再变化时，迭代过程结束。此时得到图像是满足上述原则的骨架图像。

所述提取血管网络的骨架图像中血管交叉点的步骤如下：

血管网络的骨架图像中的某个像素点为血管交叉点的必要条件是该像素的8-邻域内必须有3个或3个以上像素点值为1。因为骨架图像中各像素点8-邻域内不存在5个以上点值为1的情况，所以某像素点为交叉点时其8-邻域像素分布模板如下：

$\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

(a)提取图像中所有8-邻域内像素和大于2的点，构成集合S；

(b)将集合S中所有点与上述8-邻域像素分布模板进行匹配，若与其中的某一模板匹配成功，则标记该点为交叉点，并得到其在图像中的位置，否则忽略。

为了描述血管在图像中各点的走向，本发明使用方向性函数ψ(x，y)表征图像在以点(x，y)为中心，大小为n的邻域内，且经过点(x，y)的血管与水平方向之间的夹角值。假设需要考虑的方向总数为N，为方便计算N取为偶数，那么至少在大小为

的邻域中才能区分出这N个方向。

假设需要考虑的方向分别为

那么以(x，y)为中心的邻域内，方向为α的各像素点的坐标为：

x_k＝round(x-k·sin(α))

y_k＝round(y+k·cos(α))

其中round表示对计算结果按照四舍五入方式取整，k取范围内的整数。通过上述公式得到以(x，y)为中心的大小为n的邻域内α方向上的n个点的坐标。

所述血管方向性函数值的计算包括以下步骤：

(1)确定需要考虑的方向数N，本发明选取N值为16，此时可以分辨出来的最小角度为11.25°；

(2)依据所需要考虑的方向数N，得到计算方向性函数的分析邻域的大小

(3)对血管骨架图像中血管上的每一点(x，y)，计算以该点为中心的大小为n的邻域内N个方向

上的强度值Q_i，i＝0，1，…，N-1；

(4)将与N个方向对应的强度值Q₀，Q₁…，Q_N-1中最大的强度值所对应的方向作为当前位置血管点(x，y)处的方向性函数值ψ(x，y)；

所述以点(x，y)为中心的大小为n的邻域内α方向上的强度值Q的计算公式如下：

$Q=\frac{\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n}{\sqrt{\underset{k}{\mathrm{\Σ}}{(G(x_k,y_k)-\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n)}^2/n}}$

其中G(x_k，y_k)表示血管骨架图像中点(x_k，y_k)处的灰度值；(x_k，y_k)表示以点(x，y)为中心的大小为n的邻域内，方向为α的各像素点的坐标；n为邻域的大小；k取

范围内的整数。

所述热红外人脸图像中检测眼镜及矿灯位置的步骤如下：

由于眼镜对红外的透射性差，所以对于佩戴眼镜的人脸，眼镜区域会形成暗区；由于矿灯使用会导致表面温度升高，与人脸之间形成明显的分界，可以利用上述特性检测眼镜及矿灯的位置。

(1)提取输入人脸热红外图像边界；

利用形态学方法提取出包含眼镜边界的边界图像：

(a)将输入人脸热红外图像转换为0-1二值图像，将图像中灰度值大于0的点的值置为1，原图像中灰度值为0的点保持不变；

(b)对经过二值处理后的图像作形态学闭运算处理：用结构元素B对图像先进行膨胀，然后再用B对膨胀后的图像进行腐蚀处理，其中结构元素尺寸选为图像尺寸的1/6。经过闭运算，图像中比结构元素B尺寸小的暗区被消除，此时眼镜区域也从图像中去除；而尺寸比结构元素大的暗区被保留；

(c)将二值处理后的图像与步骤(b)中处理得到的图像进行差值运算，得到的图像包含(b)中消除掉的所有尺寸比结构元素B小的区域，处理后得到的图像中这些区域的灰度值为1，眼镜区域也包含在其中；

(d)对(c)中得到图像作形态学开运算处理：用结构元素B′对图像先进行腐蚀，然后再用B′对腐蚀后的图像进行膨胀处理，其中结构元素B′尺寸选为前述结构元素B尺寸的1/3。经过开运算，图像中相对于眼镜尺寸较小的区域被剔除，得到图像T，T中包含眼镜区域以及一些尺寸较接近眼镜的区域；

(e)提取图像T中剩余亮区域的边界图像

首先对图像进行腐蚀操作，结构元素为 $\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right],$ 腐蚀后的图像记为erode(T)；然后，作差得到边界图像

利用sobel算子提取出包含矿灯边界的边界图像；

(2)对(1)中得到的边界图像进行搜索，得到边界图像中的多个连通边界；

(3)依据各个连通边界所包围的区域的尺寸及位置，对区域筛选得到眼镜(矿灯)的位置蒙板Mask_glass(Mask_hght)。

连通边界具有如下特征，属于某连通边界上的每一个像素点都至少能找到其8-邻域内的一个点也在这条连通边界上，而不属于这条连通边界的像素点，其8-邻域内点每一个像素点也都不在这条连通边界上；反之，若某一个像素点在这条连通边界上某点的8-邻域内，那么这个像素点也在此连通边界上，若某一个像素点不在这条连通边界上任何一点的8-邻域内，那么这个像素点不在这条连通边界上。

根据上述连通边界的特征，所述搜索边界图像中各连通边界的步骤如下：

(1)令集合rest表示所有未被分类到某一连通边界的点的坐标集合。初始化过程中，将边界图像所有像素为1的点的坐标存入集合rest，即rest＝{(i，j)|G(i，j)＝1}；初始化t＝0，表示当前连通边界的条数；

(2)选取集合rest中的第一个点作为种子点，令t＝t+1，创建一个新的以当前种子点为起点的连通边界类，记为class_t，利用递归算法将集合rest中所有与种子点连通的点的坐标加入到集合class_t中，并将这些点的坐标从集合rest中删除；具体递归过程的步骤如下：

(a)将当前种子点坐标加入到class_t；

(b)从集合rest中删除当前种子点坐标；

(c)搜索图像中以当前种子点坐标为中心的8-邻域内的各点。

若搜索到值为1的点且该点尚未被从集合rest中删除，则以该点为种子点调用递归过程；

若图像中以当前种子点坐标为中心的8-邻域内的各点值均为0或者值为1但已经从集合rest中删除，则退出当前递归过程。

(3)(2)中递归过程执行结束后，class_t中存储了第t个连通边界上的所有点的坐标。若此时集合rest长度大于0，则转到步骤(2)继续搜索；否则算法结束，共得到t个连通边界点集，分别为class₁，class₂，…，class_t。

所述热红外人脸图像温度补偿的步骤如下：

(1)构造温度变化权值函数：

采集环境温度分别为T₁、T₂时的同一人脸图像G₁、G₂，其中T₂＞T₁，计算平均温度每升高一度时，红外人脸图像灰度在人脸不同位置的变化量：

其中(i，j)表示人脸热红外图像中像素点位置坐标；

g(i，j)与初始温度下的人脸热红外图像灰度值G₁(i，j)有关，人脸温度越高的区域随环境温度变化缓慢，温度越低的区域随环境温度变化越剧烈；利用人脸初始热红外图像中所有点灰度值G₁(i，j)与g(i，j)拟合出人脸热红外图像灰度改变量随初始灰度值变化关系曲线f(x)，即温度变化权值函数，其中自变量x表示待处理的热红外图像中某点的灰度值，因变量w表示初始灰度为x的点随环境每改变一度时灰度值变化量。

(2)对采集的图像进行温度补偿校正：

样本特征训练阶段获取的样本红外人脸图像均是在室温T_hou条件下得到，利用温度传感器获取当前环境温度为T_env，那么对当前采集的图像的温度补偿校正公式为：

x＝x-f(x)·(T_env-T_hou)，其中f(x)为温度变化权值函数，x为当前采集的图像中某点的灰度值。对当前采集的图像中各点均按照上式处理，得到的图像是温度补偿后的图像。

所述根据图像交叉点分布特征向量之间匹配程度识别的具体方法包括以下步骤

(1)提取待识别人脸图像G_x的所有排序后的交叉点分布特征向量SV_i，i＝1，2，…，M，M为提取的交叉点的个数，初始化t＝1；

(2)从矿工人脸特征库中读取第t个矿工的人脸图像G对应的排序后的交叉点分布特征向量SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d′₍₂₎，φ′₍₂₎)，…，(d′_(N)，φ′_(N)，ψ′_j}，j＝1，2，…，M′，M′为图像G对应的交叉点个数；

(3)计算图像G_x与图像G之间匹配交叉点个数：

假设图像G_x的第i个交叉点对应的交叉点分布特征向量为SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N))，ψ_i}，图像G的第j个交叉点对应的交叉点分布特征向量为SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d′₍₂₎，φ′₍₂₎)，…，(d′_(N)，φ′_(N))，ψ′_j}；

若SV_i与SW_j之间满足，(a)|ψ_i-ψ′_j|＜11.25°；(b)

则判定待识别图像G_x的第i个交叉点与图像G的第j个交叉点是匹配的，G_x与G两幅图像之间匹配交叉点个数加1；分别对图像G_x的M个交叉点与图像G的M′个交叉点之间进行判断，得到两幅图像之间匹配交叉点的总个数N_matched；其中N_relation表示集合的个数；

(4)计算待识别图像G_x与图像G之间的匹配程度

(5)若待识别图像G_x与样本图像G之间的匹配程度r_match大于90％，则判定待识别图像G_x与样本图像G属于同一矿工；否则，令t＝t+1，转到步骤(2)，检测与下一个矿工人脸的匹配情况；

若矿工人脸特征库中所有矿工的样本图像与待识别图像的匹配程度均小于90％，则判定该人员为非授权人员。

本发明的有益效果是，利用热红外图像识别人脸，能够有效克服井下光照条件差，井下工作人员脸部存在煤灰的影响。识别系统可靠性强，识别率高，适应性强，为矿区出、入井人员身份检测提供了可靠的信息。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细描述。

图1是基于图像形态学的煤矿井下热红外图像人脸识别流程图；

图2是人脸热红外图像特征提取示意图；

图3是利用形态学方法提取热红外人脸图像血管网络流程图；

图4是提取血管网络单像素宽骨架的流程图；

图5是提取血管网络单像素宽骨架模板示意图；

图6是计算血管方向性函数值流程图；

图7是检测热红外人脸图像中眼镜及矿灯位置的流程图；

图8是搜索边界图像中各连通边界的流程图；

图9是根据图像交叉点分布特征向量进行人脸特征匹配的流程图；

具体实施方式

首先对基于图像形态学的煤矿井下热红外图像人脸识别方法的基本流程进行描述。参照图1，具体步骤如下，矿工人脸特征库的建立阶段：

(1)在室温条件T_hou下，分别采集拥有下井权限的矿工在佩戴及未佩戴矿灯和眼镜时的人脸热红外正面图像样本(每位矿工四幅)，并对采集得到的热红外图像样本进行归一化处理：截取出不含背景的人脸图像，并将图像的灰度值变换到区间[0，255]，处理后的图像如图2(a)所示；

(2)对归一化后的图像作各向异性扩散滤波处理，以达到增强热红外图像中的血管边缘特征并去除噪声的目的；

人脸热红外图像反映的是人脸表面的热分布状况，而人脸表面热量分布是血管中热量扩散的结果。热传导过程使得血管周围产生平滑的温度梯度，在热红外图像中得到的是灰度的变化。各项异性扩散滤波能够在去噪的同时，有效地加强由扩散产生的血管边缘，经过滤波处理后，能够更为有效地提取出血管网络。

4个方向的各向异性扩散滤波在离散条件下的公式为：

$I_{t+1}(x,y)=I_t(x,y)+\frac{1}{4}\·[c_{N,t}(x,y)\▿I_{N,t}(x,y)+$

$c_{S,t}(x,y)\▿I_{S,t}(x,y)+c_{E,t}(x,y)\▿I_{E,t}(x,y)+c_{W,t}(x,y)\▿I_{W,t}(x,y)]$

其中，I_t(x，y)表示经过第t次迭代滤波后的图像在点(x，y)处的灰度值；

${\▿I}_{N,t}(x,y),{\▿I}_{S,t}(x,y),{\▿I}_{E,t}(x,y),{\▿I}_{W,t}(x,y)$ 对应的是第t次迭代滤波后上、下、左、右四个方向上的图像点(x，y)处的梯度值，其中，

$\▿I_{N,t}(x,t)=I_t(x,y)-I_t(x-1,y),$ ${\▿I}_{S,t}(x,y)=I_t(x,y)-I_t(x+1,y)$

${\▿I}_{E,t}(x,y)=I_t(x,y)-I_t(x,y+1),$ $\▿I_{W,t}(x,y)=I_t(x,y)-I_t(x,y-1);$

c_N，t(x，y)、c_S，t(x，y)、c_E，t(x，y)、c_W，t(x，y)对应的是第t次迭代滤波后上、下、左、右四个方向上的图像点(x，y)处的扩散函数值，扩散函数表达式为

其中d可以取{N，S，E，W}之一，表示某个方向的扩散函数；t为迭代次数；

表示第t次迭代的图像在d方向上的梯度的最大值；

对图像经过20次迭代滤波后可以达到理想的效果，处理后的图像如图2(b)所示；

(3)利用图像形态学方法提取滤波后图像中的血管网络，得到血管网络图像，处理后的图像如图2(c)、(d)、(e)所示；

(4)提取血管网络图像中血管网络的单像素宽度的骨架，处理后的图像如图2(f)所示；

(5)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点的位置(x_i，y_i)并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，其中i＝1，2，…，M，M表示图像中血管交叉点总数，处理后的图像如图2(g)所示；

利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量：V_i＝{(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)，ψ_i}，i＝1，2，…，M，其中，d₁，d₂，…，d_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的距离值，φ₁，φ₂，…，φ_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的连线与图像水平方向之间的夹角。由于图像归一化过程中，不能保证所有血管交叉点在图像中的绝对位置保持不变，但是交叉点之间的相对位置却可以保持基本不变，因此V_i能够更好的描述第i个交叉点(x_i，y_i，ψ_i)在人脸图像中的位置特征。一般可以从人脸图像中提取到的交叉点数目在20-30范围内，因此可以取交叉点分布特征向量中的N为10。

当采集矿工佩戴矿灯(或眼镜)状态下的图像时，首先检测矿灯(或眼镜)的位置，得到位置蒙板，然后利用位置蒙板覆盖图像，以提取除矿灯(或眼镜)遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量V_i，i＝1，2，…，M；

(6)对所有交叉点分布特征向量的前N个分量(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)分别按照φ从小到大的顺序排序，得到排序后的向量SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N))，ψ_i}，i＝1，2，…，M，其中φ₍₁₎＜φ₍₂₎＜…＜φ_(N)；最后将SV_i，i＝1，2，…，M存储到矿工人脸特征库，用于人脸在线识别阶段；

人脸在线识别阶段：

(1)采集待识别矿工的热红外图像，利用温度传感器获取当前环境温度T_env；

(2)对采集到的矿工热红外人脸图像做归一化处理：截取出不含背景的人脸图像，并将图像的灰度值变换到区间[0，255]；

(3)检测图像中的人脸是否佩戴矿灯或眼镜，并得到矿灯或眼镜的位置蒙板；

(4)根据当前环境温度T_env与矿工人脸特征库建立阶段采集图像时的室温T_hou之间的差值对归一化后的人脸图像进行温度补偿；

(5)对温度补偿后的图像作各向异性扩散滤波处理，增强热红外图像中的血管边缘特征并去除噪声；

(6)利用图像形态学方法提取滤波后图像中的血管网络，得到血管网络图像；

(7)提取血管网络图像中血管网络的单像素宽度的骨架；

(8)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点的位置(x_i，y_i)并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，其中i＝1，2，…，M，M表示待识别矿工的热红外图像中血管交叉点总数；利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量V_i，i＝1，2，…，M；若当前采集的是矿工佩戴矿灯(或眼镜)时的图像，则利用位置蒙板覆盖图像，以提取除矿灯(或眼镜)遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量；对所有交叉点分布特征向量的前N个分量按照φ从小到大排序，得到SV_i，i＝1，2，…，M；

(9)根据是否佩戴矿灯(或眼镜)，计算提取到的待识别矿工的热红外图像的血管交叉点排序后的分布特征向量SV_i，i＝1，2，…，M与矿工人脸特征库中每个矿工相应佩戴或未佩戴矿灯、眼镜的图像对应的排序交叉点分布特征向量SW_j的匹配程度r_match，其中j＝1，2，…，M′，M′是特征库中当前待比较的矿工图像中所提取出的交叉点总数，根据匹配程度得到识别结果。

图3是利用形态学方法提取热红外人脸图像血管网络的具体步骤：

(1)选取尺寸为3×3的值全为1的结构元素，对经过各向异性扩散滤波处理得到的热红外人脸灰度图像进行腐蚀操作。经过腐蚀，图像中比结构元素尺寸小的亮点细节被去除，同时图像的整体灰度值降低；

(2)仍利用3×3的值全为1的结构元素，对(1)中处理得到的图像进行膨胀运算。经过膨胀运算，恢复了图像原来的整体亮度，但先前去除的亮点细节不会恢复。处理后，图像在保持原始图像整体灰度值不变和大块高亮区域不变的情况下，比结构元素尺寸小的亮点从原始图像中消除；

(3)将经过各向异性扩散滤波处理得到的热红外人脸灰度图像与(2)处理得到的图像对应元素作差。作差得到的图像是(2)中消除的比结构元素尺寸小的亮点的图像，这些亮点细节构成了人脸血管网络，如图2(c)所示；

(4)对(3)中得到的图像进行二值化处理，经过二值化，图像中仅包含0，1两种取值，值为1的点表示血管，值为0的点不在血管上，处理后的图像如图2(d)所示；

(5)步骤(4)得到的二值图像中血管网络上出现一些细小的断裂点，另外当原始热红外图像质量不高时，血管网络交叉处会存在棋盘状的像素阵列，如图2(d)所示，不利于进一步提取血管网络的骨架，需要填补这些暗点细节并连接细小断裂点。

取尺寸为3×3值全为1的结构元素，对图像作闭运算。经过闭运算，图像中比结构元素尺寸小的暗点细节被消除掉，狭窄的血管断裂点被连接，棋盘状的像素阵列被填充，处理后的图像如图2(e)所示。

图4是提取血管网络单像素宽骨架的具体步骤：

提取血管网络骨架是为了便于进一步提取血管网络的交叉特征点。提取二值化后的图像的骨架，需要遵循如下原则：a)处理前后应保证图像的连通性不变；b)处理后得到的骨架应该接近原始图像中相应轮廓的中轴线；c)处理后的骨架宽度为单像素。本发明经过多次迭代逐步使提取到的骨架满足上述原则。

在一次迭代中，对利用形态学方法提取得到的热红外人脸图像二值化血管网络中所有灰度值为1的点，即血管上的点进行如下操作：

(1)检测以当前值为1的点为中心的图像邻域是否与保留模板(如图5所示A21～A30)匹配，其中图5所示模板中x表示匹配时既可以为1又可以为0的元素，p与q所在位置元素必须不全为零，圆圈包围的元素代表模板中心。若与其中之一匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；若与上述10个保留模板均不匹配，则转至步骤(2)；

(2)检测以当前值为1的点为中心的图像邻域是否与去除模板(如图5所示A1～A20)匹配，若与其中之一匹配，则判定当前点不是血管图像的骨架点，然后检测下一个值为1的点；若与上述20个去除模板均不匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；

(3)直到图像中所有值为1的点均检测完毕，保留下来的点组成的图像即为一次迭代后的血管骨架图像；

按照上述步骤对原始热红外人脸的二值化血管网络图像进行多次迭代，直到迭代前后的图像不再变化时，迭代过程结束。此时得到图像是满足上述原则的骨架图像，处理后的图像如图2(f)所示。

提取血管网络的骨架图像中血管交叉点的步骤如下：

血管网络的骨架图像中的某个像素点为血管交叉点的必要条件是该像素的8-邻域内必须有3个或3个以上像素点值为1。因为骨架图像中各像素点8-邻域内不存在5个以上点值为1的情况，所以某像素点为交叉点时其8-邻域像素分布模板如下：

$\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

(a)提取图像中所有8-邻域内像素和大于2的点，构成集合S；

(b)将集合S中所有点与上述8-邻域像素分布模板进行匹配，若与其中的某一模板匹配成功，则标记该点为交叉点，否则忽略。

为了描述血管在图像中各点的走向，本发明使用方向性函数ψ(x，y)表征图像在以点(x，y)为中心，大小为n的邻域内，且经过点(x，y)的血管与水平方向之间的夹角值。假设需要考虑的方向总数为N，为方便计算N取为偶数，那么至少在大小为

的邻域中才能区分出这N个方向。

假设需要考虑的方向分别为

那么以(x，y)为中心的邻域内，方向为α的各像素点的坐标为：

x_k＝round(x-k·sin(α))

y_k＝round(y+k·cos(α))

其中round表示对计算结果按照四舍五入方式取整，k取

范围内的整数。通过上述公式得到以(x，y)为中心的邻域内α方向上的n个点的坐标。

图6是计算血管方向性函数值的具体步骤：

(1)确定需要考虑的方向数N，本发明选取N值为16，此时可以分辨出来的最小角度为11.25°；

(2)依据所需要考虑的方向数N，得到计算方向性函数的分析邻域的大小

(3)对血管骨架图像中血管上的每一点(x，y)，计算以该点为中心的大小为n的邻域内N个方向

上的强度值Q_i，i＝0，1，…，N-1；

(4)将与N个方向对应的强度值Q₀，Q₁…，Q_N-1中最大的强度值所对应的方向作为当前位置血管点(x，y)处的方向性函数值ψ(x，y)；

所述以点(x，y)为中心的大小为n的邻域内α方向上的强度值Q的计算公式如下：

$Q=\frac{\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n}{\sqrt{\underset{k}{\mathrm{\Σ}}{(G(x_k,y_k)-\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n)}^2/n}}$

其中G(x_k，y_k)表示血管骨架图像中点(x_k，y_k)处的灰度值；(x_k，y_k)表示以点(x，y)为中心的大小为n的邻域内，方向为α的各像素点的坐标；n为邻域的大小；k取

范围内的整数。

图7是检测热红外人脸图像中眼镜及矿灯位置的具体步骤：

由于眼镜对红外的透射性差，所以对于佩戴眼镜的人脸，眼镜区域会形成暗区；由于矿灯使用会导致表面温度升高，与人脸之间形成明显的分界，可以利用上述特性检测眼镜及矿灯的位置。

(1)提取输入人脸热红外图像边界；

利用形态学方法提取出包含眼镜边界的边界图像：

(a)将输入人脸热红外图像转换为0-1二值图像，将图像中灰度值大于0的点的值置为1，原图像中灰度值为0的点保持不变；

(b)对经过二值处理后的图像作形态学闭运算处理：用结构元素B对图像先进行膨胀，然后再用B对膨胀后的图像进行腐蚀处理，其中结构元素尺寸选为图像尺寸的1/6。经过闭运算，图像中比结构元素B尺寸小的暗区被消除，此时眼镜区域也从图像中去除；而尺寸比结构元素大的暗区被保留；

(c)将二值处理后的图像与步骤(b)中处理得到的图像进行差值运算，得到的图像包含(b)中消除掉的所有尺寸比结构元素B小的区域，处理后得到的图像中这些区域的灰度值为1，眼镜区域也包含在其中；

(d)对(c)中得到图像作形态学开运算处理：用结构元素B′对图像先进行腐蚀，然后再用B′对腐蚀后的图像进行膨胀处理，其中结构元素B′尺寸选为前述结构元素B尺寸的1/3。经过开运算，图像中相对于眼镜尺寸较小的区域被剔除，得到图像T，T中包含眼镜区域以及一些尺寸较接近眼镜的区域；

(e)提取图像T中剩余亮区域的边界图像

首先对图像进行腐蚀操作，结构元素为 $\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right],$ 腐蚀后的图像记为erode(T)；然后，作差得到边界图像

利用sobel算子提取出包含矿灯边界的边界图像；

(2)对(1)中得到的边界图像进行搜索，得到边界图像中的多个连通边界；

(3)依据各个连通边界所包围的区域的尺寸及位置，对区域筛选得到眼镜的位置蒙板Mask_glass：

a)尺寸估计：计算每条连通边界在行和列方向上的最大宽度，记为l_x和l_y。若

其中r和c为图像的行宽和列宽，则保留该连通边界；否则判断该连通边界所包围的区域不是眼镜区域。

b)位置估计：计算剩余连通边界中各条连通边界上所有像素点的几何中心坐标centerx，centery，若

则判定该连通边界所包围的区域为眼镜区；否则判定为非眼镜区；

c)根据centery的值选取最符合眼镜位置的两个连通边界作为人脸眼镜的位置蒙板Mask_glass，保留的连通边界所包围的区域即为眼镜区；

(4)依据各个连通边界所包围的区域的尺寸及位置，对区域筛选得到矿灯的位置蒙板Mask_light

a)尺寸估计：计算每条连通边界在行和列方向上的最大宽度，记为l_x和l_y。若

其中c为图像列宽，则保留该连通边界；否则判断该连通边界所包围的区域不是矿灯区域。

b)位置估计：计算剩余连通边界中各条连通边界上所有像素点的几何中心坐标centerx，centery，若

且

则判定该连通边界所包围的区域为矿灯区；否则判定为非矿灯区；

c)根据centery的值选取最符合矿灯位置的两个连通边界作为人脸矿灯的位置蒙板Mask_light，保留的连通边界所包围的区域即为矿灯区；

连通边界具有如下特征，属于某连通边界上的每一个像素点都至少能找到其8-邻域内的一个点也在这条连通边界上，而不属于这条连通边界的像素点，其8-邻域内点每一个像素点也都不在这条连通边界上；反之，若某一个像素点在这条连通边界上某点的8-邻域内，那么这个像素点也在此连通边界上，若某一个像素点不在这条连通边界上任何一点的8-邻域内，那么这个像素点不在这条连通边界上。

图8是搜索边界图像中各连通边界的具体步骤：

(1)令集合rest表示边界图像中所有未被分类到某一连通边界的点的坐标集合。初始化过程中，将边界图像所有像素为1的点的坐标存入集合rest，即rest＝{(i，j)|G(i，j)＝1}；初始化t＝0，表示当前连通边界的条数；

(2)选取集合rest中的第一个点作为种子点，令t＝t+1，创建一个新的以当前种子点为起点的连通边界类，记为class_t，利用递归算法将集合rest中所有与种子点连通的点的坐标加入到集合class_t中，并将这些点的坐标从集合rest中删除；具体递归过程的步骤如下：

(a)将当前种子点坐标加入到class_t；

(b)从集合rest中删除当前种子点坐标；

(c)搜索图像中以当前种子点坐标为中心的8-邻域内的各点。

若搜索到值为1的点且该点尚未被从集合rest中删除，则以该点为种子点调用递归过程；

若图像中以当前种子点坐标为中心的8-邻域内的各点值均为0或者值为1但已经从集合rest中删除，则退出当前递归过程。

(3)(2)中递归过程执行结束后，class_t中存储了第t个连通边界上的所有点的坐标。若此时集合rest长度大于0，则转到步骤(2)继续搜索；否则算法结束，共得到t个连通边界点集，分别为class₁，class₂，…，class_t。

井下环境温度主要由该点与地面的相对高度决定，根据经验数据知，平均每下降13米，环境温度上升0.5-1℃。另外由于井上环境温度及井下通风条件的不同，井下同一地点温度也会发生变化，当工作面与地面相对高差大于800米时，由于通风技术的限制，环境温度可高达35℃。红外图像成像反映的是人脸表面的热分布状况，人脸皮肤的表面温度一方面取决于人体内部的温度，另一方面取决于环境的温度。在矿工的生理和心理状态稳定的状况下，人体内部的温度由人体自身生理系统的平衡体系维持在36℃左右。煤矿井下环境温度的变化将会主要影响到热红外人脸识别的识别效果。本发明通过温度补偿方法对热红外人脸图像进行预处理，降低环境温度改变对识别效果的影响，热红外人脸图像温度补偿的具体步骤如下：

(1)构造温度变化权值函数：

由于人脸温度相对较高的区域，汗腺相对较发达，所以人脸表面温度随环境温度变化具有如下特征：人脸温度越高的区域随环境温度变化的幅度越小；反之则变化幅度越大。温度变化权值函数构造方法如下：

采集环境温度分别为T₁、T₂时的同一人脸图像G₁、G₂，其中T₂＞T₁，计算平均温度每升高一度时，红外人脸图像灰度在人脸不同位置的变化量：

其中(i，j)表示人脸热红外图像中像素点位置坐标；

g(i，j)与初始温度下的人脸热红外图像灰度值G₁(i，j)有关，人脸温度越高的区域随环境温度变化缓慢，温度越低的区域随环境温度变化越剧烈；利用人脸初始热红外图像中所有点灰度值G₁(i，j)与g(i，j)拟合出人脸热红外图像灰度改变量随初始灰度值变化关系曲线f(x)，即温度变化权值函数，其中自变量x表示待处理的热红外图像中某点的灰度值，因变量w表示初始灰度为x的点随环境每改变一度灰度值变化量。

(2)对采集的图像进行温度补偿校正：

样本特征训练阶段获取的样本红外人脸图像均是在室温T_hou条件下得到，利用温度传感器获取当前环境温度为T_env，那么对当前采集的图像的温度补偿校正公式为：

x＝x-f(x)·(T_env-T_hou)，其中f(x)为温度变化权值函数，x为当前采集的图像中某点的灰度值。对当前采集的图像中各点均按照上式处理，得到的图像是温度补偿后的图像。利用温度补偿后的图像进行后续识别处理，能够有效的降低环境温度变化对识别效果的影响。

图9是根据图像交叉点分布特征向量之间匹配程度识别的具体步骤：

(1)提取待识别人脸图像G_x的所有排序后的交叉点分布特征向量SV_i，i＝1，2，…，M，M为提取的交叉点的个数，初始化t＝1；

(2)从矿工人脸特征库中读取第t个矿工的人脸图像G对应的排序后的交叉点分布特征向量SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d′₍₂₎，φ′₍₂₎)，…，(d′_(N)，φ′_(N))，ψ′_j}，j＝1，2，…，M′，M′为图像G对应的交叉点个数；

(3)计算图像G_x与图像G之间匹配交叉点个数：

假设图像G_x的第i个交叉点对应的交叉点分布特征向量为SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N)，ψ_i}，图像G的第j个交叉点对应的交叉点分布特征向量为SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d′₍₂₎，φ′₍₂₎)，…，(d′_(N)，φ′_(N)，ψ′_j}；

若SV_i与SW_j之间满足，(a)|ψ_i-ψ′_j|＜11.25°；(b)

则判定待识别图像G_x的第i个交叉点与图像G的第j个交叉点是匹配的，G_x与G两幅图像之间匹配交叉点个数加1；分别对图像G_x的M个交叉点与图像G的M′个交叉点之间进行判断，得到两幅图像之间匹配交叉点的总个数N_matched；其中N_relation表示集合

的个数；

(4)计算待识别图像G_x与图像G之间的匹配程度

(5)若待识别图像G_x与样本图像G之间的匹配程度r_match大于90％，则判定待识别图像G_x与样本图像G属于同一矿工；否则，令t＝t+1，转到步骤(2)，检测与下一个矿工人脸的匹配情况；

若矿工人脸特征库中所有矿工的样本图像与待识别图像的匹配程度均小于90％，则判定该人员为非授权人员。

Claims (10)

1.一种煤矿井下热红外图像人脸识别方法，其特征在于，包括矿工人脸特征库建立阶段与人脸在线识别阶段，所述矿工人脸特征库建立阶段包括以下步骤：

(1)在室温T_hou下，分别采集拥有下井权限的矿工在佩戴及未佩戴矿灯和眼镜时的人脸热红外正面图像样本，并对采集得到的热红外图像进行归一化处理；

(2)对归一化后的图像作各向异性扩散滤波处理，以达到增强热红外图像中的血管边缘特征并去除噪声的目的；

(3)利用提取血管网络的形态学方法，对经各向异性扩散滤波后的图像进行处理，以得到血管网络图像；

(4)提取血管网络图像中血管网络的单像素宽度骨架；

(5)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点在图像中的绝对位置坐标(x_i，y_i)，并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，i＝1，2，…，M，M表示图像中血管交叉点总数；利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量：V_i＝{(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)，ψ_i}，i＝1，2，…，M；其中，d₁，d₂，…，d_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的距离值，φ₁，φ₂，…，φ_N表示交叉点(x_i，y_i，ψ_i)和与之距离最近的N个交叉点之间的连线与图像水平方向之间的夹角；

当采集矿工佩戴矿灯或眼镜状态下的图像时，首先检测矿灯、眼镜的位置，得到位置蒙板，然后利用位置蒙板覆盖图像，以提取除矿灯、眼镜遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量；

(6)对所有交叉点分布特征向量的前N个分量(d₁，φ₁)，(d₂，φ₂)，…，(d_N，φ_N)分别按照φ从小到大的顺序排序，得到排序后的向量SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N))，ψ_i}，i＝1，2，…，M，其中φ₍₁₎＜φ₍₂₎＜…＜φ_(N)；最后将SV_i，i＝1，2，…，M存储到矿工人脸特征库，用于人脸在线识别阶段；

所述人脸在线识别阶段包括以下步骤：

(1)采集待识别矿工的热红外人脸图像，利用温度传感器获取当前环境温度T_env；

(2)对采集到的矿工热红外人脸图像做归一化处理；

(3)检测图像中的人脸是否佩戴矿灯或眼镜，并得到矿灯或眼镜的位置蒙板；

(4)根据当前环境温度T_env与矿工人脸特征库建立阶段采集图像时的室温T_hou之间的差值对归一化后的人脸图像进行温度补偿；

(5)对温度补偿后的图像作各向异性扩散滤波处理，增强热红外图像中的血管边缘特征并去除噪声；

(6)利用提取血管网络的形态学方法，对经各向异性扩散滤波后的图像进行处理，以得到血管网络图像；

(7)提取血管网络图像中血管网络的单像素宽度骨架；

(8)提取血管网络骨架中的血管交叉点作为人脸识别所利用的特征点，得到所有血管交叉点的位置(x_i，y_i)并计算各血管交叉点位置处的血管方向性函数值ψ_i＝ψ(x_i，y_i)，其中i＝1，2，…，M，M表示待识别矿工的热红外图像中血管交叉点总数；利用所有提取的血管交叉点(x_i，y_i，ψ_i)，i＝1，2，…，M，计算出反映图像中每个血管交叉点分布情况的交叉点分布特征向量V_i，i＝1，2，…，M；

若当前采集的是矿工佩戴矿灯或眼镜时的图像，则利用位置蒙板覆，提取除矿灯、眼镜遮挡部位以外的血管交叉点，进而得到交叉点分布特征向量，对所有交叉点分布特征向量的前N个分量按照φ从小到大排序，得到SV_i，i＝1，2，…，M；

(9)根据矿工是否佩戴矿灯或眼镜，计算待识别矿工的血管排序后的交叉点分布特征向量SV_i，i＝1，2，…，M与矿工人脸特征库中每个矿工相应佩戴或未佩戴矿灯、眼镜的图像对应的排序交叉点分布特征向量SW_j的匹配程度r_match，其中j＝1，2，…，M′，M′是特征库中当前待比较的矿工图像中所提取出的交叉点总数，根据图像交叉点分布特征向量之间的匹配程度进行识别，得到识别结果。

2.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述提取血管网络的形态学方法包括以下步骤：

(1)选取尺寸为3×3的值全为1的结构元素，对经过各向异性扩散滤波处理的热红外人脸灰度图像G进行腐蚀操作，得到图像G_erode，经过腐蚀图像中比结构元素尺寸小的亮点细节被去除，同时图像的整体灰度值降低；

(2)仍利用3×3的值全为1的结构元素，对G_erode进行膨胀运算，得到图像G_dilate，经过膨胀运算，恢复了图像原来的整体亮度，但先前去除的亮点细节不会恢复；

(3)将G与G_dilate对应元素作差，得到图像G_vessel，G_vessel是(2)中消除的比结构元素尺寸小的亮点所构成的图像，这些亮点细节构成了人脸血管网络；

(4)对G_vessel进行二值化处理，得到图像G′_vessel，经过二值化处理，图像中仅包含0，1两种取值，值为1的点表示血管，值为0的点不在血管上；

(5)G′_vessel中血管网络上存在一些细小的断裂点，且血管网络交叉处存在棋盘状的像素区域，不利于提取血管网络的骨架和交叉特征点，取尺寸为3×3值全为1的结构元素，对图像作闭运算，得到图像V，V中细小的断裂点及血管网络交叉点处的棋盘状像素区域被消除。

3.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述提取血管网络图像中血管网络的单像素宽度骨架的方法包括以下步骤：

在一次迭代中，对人脸二值血管图像中所有灰度值为1的点，即血管上的点进行如下操作：

(1)检测以当前值为1的点为中心的图像邻域是否与保留模板匹配，若与其中之一匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；若与上述保留模板均不匹配，则转至步骤(2)；

(2)检测以当前值为1的点为中心的图像邻域是否与去除模板匹配，若与其中之一匹配，则判定当前点不是血管图像的骨架点，然后检测下一个值为1的点；若与上述去除模板均不匹配，则将当前点保留作血管图像的骨架点，然后检测下一个值为1的点；

直到图像中所有值为1的点均检测完毕，保留下来的点组成的图像即为一次迭代后的血管骨架图像；对人脸二值血管图像进行多次迭代，直到迭代前后的图像不再变化时，迭代过程结束，得到其血管网络的骨架图像。

4.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述提取血管网络骨架图像中的血管交叉点的方法包括以下步骤：

(a)提取图像中所有8-邻域内像素和大于2的且值为1的点，构成集合S；

(b)将以集合S中所有点为中心的8-邻域图像区域与如下8-邻域像素分布模板匹配，

$\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 0& 1& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\\ 1& 1& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 1& 0& 1\end{array}\right]$

若与其中某模板匹配成功，则标记该8-邻域中心点为交叉点，并得到其在图像中的位置。

5.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述血管方向性函数值的计算包括以下步骤：

(1)确定需要考虑的方向数N；

(2)为了区分出血管的N个方向，需要考虑的邻域大小至少为

依据所需要考虑的方向数N，得到计算方向性函数所需考虑的邻域大小

(3)对血管骨架图像中血管上的每一点(x，y)，计算以该点为中心的大小为n的邻域内N个方向

上的强度值Q_i，i＝0，1，…，N-1，α方向上的强度值Q的计算公式如下：

$Q=\frac{\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n}{\sqrt{\underset{k}{\mathrm{\Σ}}{(G(x_k,y_k)-\left(\underset{k}{\mathrm{\Σ}}G(x_k,y_k)\right)/n)}^2/n}}$

其中G(x_k，y_k)表示血管骨架图像中点(x_k，y_k)处的灰度值，n为邻域的大小，(x_k，y_k)表示以点(x，y)为中心的大小为n的邻域内，α方向上各像素点的坐标，公式如下：

x_k＝round(X-k·sin(α))

y_k＝round(y+k·cos(α))，

其中round表示对计算结果按照四舍五入方式取整，k取

范围内的整数；

(4)将与强度值Q₀，Q₁…，Q_N-1中最大的强度值所对应的方向作为当前位置血管点(x，y)处的方向性函数值ψ(x，y)，方向性函数ψ(x，y)描述了血管图像在以点(x，y)为中心，大小为n的邻域内，且经过点(x，y)的血管与水平方向之间的夹角值。

6.根据权利要求5所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述步骤(1)中需要考虑的方向数N选取为16，此时可以分辨出来的最小角度为11.25°。

7.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述检测矿灯或眼镜的位置的方法包括以下步骤：

(1)提取输入人脸热红外图像边界；

利用形态学方法提取出包含眼镜边界的边界图像：

(a)将输入人脸热红外图像转换为0-1二值图像，将图像中灰度值大于0的点的值置为1，原图像中灰度值为0的点保持不变；

(b)对经过二值处理后的图像作形态学闭运算处理：用结构元素B对图像先进行膨胀，然后再用B对膨胀后的图像进行腐蚀处理，其中结构元素尺寸选为图像尺寸的1/6，经过闭运算，图像中比结构元素B尺寸小的暗区被消除，此时眼镜区域也从图像中去除；而尺寸比结构元素大的暗区被保留；

(c)将步骤(a)中处理得到的二值图像与步骤(b)中处理得到的图像进行差值运算，得到的图像包含(b)中消除掉的所有尺寸比结构元素B小的区域，得到图像中这些区域内的灰度值为1，其中包含了眼镜区域；

(d)对(c)中得到图像作形态学开运算处理：用结构元素B′对图像先进行腐蚀，然后再用B′对腐蚀后的图像进行膨胀处理，其中结构元素B′尺寸选为前述结构元素B尺寸的1/3；经过开运算，图像中相对于眼镜尺寸较小的区域被剔除，得到图像T，T中包含眼镜区域以及一些尺寸较接近眼镜的区域；

(e)提取图像T中剩余亮区域的边界图像

首先对图像进行腐蚀操作，结构元素为 $\left[\begin{array}{ccc}0& 1& 0\\ 1& 1& 1\\ 0& 1& 0\end{array}\right],$ 腐蚀后的图像记为erode(T)；然后，作差得到边界图像

利用sobel算子提取出包含矿灯边界的边界图像；

(2)对(1)中得到的边界图像进行搜索，搜索边界图像中各连通边界，以得到边界图像中的多个连通边界；

(3)依据各个连通边界所包围的区域的尺寸及位置，对区域筛选得到眼镜、矿灯的位置蒙板Mask_glass、Mask_light。

8.根据权利要求7所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述搜索边界图像中各连通边界的方法包括以下步骤：

(1)令集合rest表示所有未被分类到某一连通边界的点的坐标集合，初始化过程中，将边界图像G中所有像素为1的点的坐标存入集合rest，即rest＝{(i，j)|G(i，j)＝1}，t表示当前连通边界的条数，初始化t＝0；

(2)选取集合rest中的第一个点作为种子点，令t＝t+1，创建一个新的以当前种子点为起点的连通边界类，记为class_t，利用递归算法将集合rest中所有与种子点连通的点的坐标加入到集合class_t中，并将这些点的坐标从集合rest中删除，具体递归过程的步骤如下：

(a)将当前种子点坐标加入到class_t；

(b)从集合rest中删除当前种子点坐标；

(c)搜索图像中以当前种子点坐标为中心的8-邻域内的各点，若搜索到值为1的点且该点尚未被从集合rest中删除，则以该点为种子点调用递归过程；

若图像中以当前种子点坐标为中心的8-邻域内的各点值均为0，或者其8-邻域内存在值为1的点但已从集合rest中删除，则退出当前递归过程；

(3)(2)中递归过程执行结束后，class_t中存储了第t个连通边界上的所有点的坐标；若此时集合rest长度大于0，则转到步骤(2)继续搜索；否则算法结束，共得到t个连通边界点集，分别为class₁，class₂，…，class_t。

9.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述温度补偿的方法包括以下步骤：

(1)构造温度变化权值函数：

采集环境温度分别为T₁、T₂时的同一人脸图像G₁、G₂，其中T₂＞T₁，计算平均温度每升高一度时，红外人脸图像灰度在人脸不同位置的变化量：

其中(i，j)表示人脸热红外图像中像素点位置坐标；

g(i，j)与初始温度下的人脸热红外图像灰度值G₁(i，j)有关，人脸温度越高的区域随环境温度变化缓慢，温度越低的区域随环境温度变化越剧烈；利用人脸初始热红外图像中所有点灰度值G₁(i，j)与g(i，j)拟合出人脸热红外图像灰度改变量随初始灰度值变化关系曲线f(x)，即温度变化权值函数，其中自变量x表示待处理的热红外图像中某点的灰度值，因变量w表示初始灰度为x的点随环境每改变一度灰度值变化量；

(2)对采集的图像进行温度补偿校正：

样本特征训练阶段获取的样本红外人脸图像均是在室温T_hou条件下得到，利用温度传感器获取当前环境温度为T_env，那么对当前采集的图像的温度补偿校正公式为：

x＝x-f(x)·(T_env-T_hou)，其中f(x)为温度变化权值函数，x为当前采集的图像中某点的灰度值；对当前采集的图像中各点均按照上式处理，得到的图像是温度补偿后的图像。

10.根据权利要求1所述的一种煤矿井下热红外图像人脸识别方法，其特征在于，所述根据图像交叉点分布特征向量之间的匹配程度进行识别的具体方法包括以下步骤：

(1)提取待识别人脸图像G_x的所有排序后的交叉点分布特征向量SV_i，i＝1，2，…，M，M为提取的交叉点的个数，初始化t＝1；

(2)从矿工人脸特征库中读取第t个矿工的人脸图像G对应的排序后的交叉点分布特征向量SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d_′(2)，φ′₍₂₎)，…，(d′_(N)，φ′_(N))，ψ′_j}，j＝1，2，…，M′，M′为图像G对应的交叉点个数；

(3)计算图像G_x与图像G之间匹配交叉点个数：

假设图像G_x的第i个交叉点对应的交叉点分布特征向量为SV_i＝{(d₍₁₎，φ₍₁₎)，(d₍₂₎，φ₍₂₎)，…，(d_(N)，φ_(N))，ψ_i}，图像G的第j个交叉点对应的交叉点分布特征向量为SW_j＝{(d′₍₁₎，φ′₍₁₎)，(d′₍₂₎，φ′₍₂₎)，…，(d′_(N)，φ′_(N))，ψ′_j}；

若SV_i与SW_j之间满足，(a)|ψ_i-ψ′_j|＜11.25°；(b)

则判定待识别图像G_x的第i个交叉点与图像G的第j个交叉点是匹配的，G_x与G两幅图像之间匹配交叉点个数加1；分别对图像G_x的M个交叉点与图像G的M′个交叉点之间进行判断，得到两幅图像之间匹配交叉点的总个数N_matched；其中N_relation表示集合的个数；

(4)计算待识别图像G_x与图像G之间的匹配程度

(5)若待识别图像G_x与样本图像G之间的匹配程度r_match大于90％，则判定待识别图像G_x与样本图像G属于同一矿工；否则，令t＝t+1，转到步骤(2)，检测与下一个矿工人脸的匹配情况；

若矿工人脸特征库中所有矿工的样本图像与待识别图像的匹配程度均小于90％，则判定该人员为非授权人员。

Images