CN108875645B - 一种煤矿井下复杂光照条件下的人脸识别方法 - Google Patents

Abstract

本发明公开了一种煤矿井下复杂光照条件下的人脸识别方法，主要包括初始化阶段、训练阶段和识别阶段，其中所述初始化阶段包括图像采集、图像存储、图像去噪、图像增强、特征描述，所述训练阶段包括特征向量降维和分类器模型建立，所述识别阶段为根据分类器建立的模型把待识别的人脸进行分类识别；通过采用小波分解的模糊增强算法，实现图像去噪和图像增强，并采用ALBP算子对小波处理后的人脸图像进行特征描述，以及采用分类器进行人脸模型构建和建立人脸样本数据库。本发明能够克服由于井下光照条件复杂所造成的图像阴影、明暗区、暗光、高光导致的识别率急剧降低的问题，以及提高煤矿井下人脸考勤识别准确率。

Description

一种煤矿井下复杂光照条件下的人脸识别方法

技术领域

本发明涉及一种煤矿井下复杂光照条件下的人脸识别方法，特别是涉及一种使用图像增强，并通过分类器进行在线训练的自适应人脸识别方法，属于图像模式识别技术领域。

背景技术

当前的人脸识别一般流程为：识别系统输入一幅包含未确定身份的人脸图像作为待识别样本，以及人脸数据库中的若干已知身份的人脸图像作为训练样本，通过算法输出待识别样本的相似度，以表明保护未确定身份的人脸图像中人员的身份。人脸识别方法主要包括特征提取和相似度计算两部分。

人脸识别技术在煤矿井下的视频监控、工作考勤、人员定位等应用中具有重要意义。目前，实际投用的人脸识别系统，需要被识别人在限定的环境下(如固定光照等)进行面部图像采集，但是煤矿井下光照条件复杂，存在着光线差、照度不均匀，粉尘多等特殊情况，由光照条件复杂所造成的图像阴影、明暗区、暗光、高光都会使识别率急剧降低，因此研究一种适用于煤矿井下复杂光照条件的人脸识别方法，是人脸识别技术在煤矿井下应用中急需解决的问题。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种煤矿井下的人脸识别方法，解决现有人脸识别技术无法满足由井下光照条件复杂所造成的图像阴影、明暗区、暗光、高光导致的识别率急剧降低问题。

本发明具体采用以下技术方案解决上述技术问题：

一种煤矿井下复杂光照条件下的人脸识别方法，主要包括初始化阶段、训练阶段和识别阶段，其中所述初始化阶段包括图像采集、图像存储、图像去噪、图像增强、特征描述，所述训练阶段包括特征向量降维和分类器模型建立，所述识别阶段为根据分类器建立的模型把待识别的人脸进行分类识别，具体步骤如下：

A、所述初始化阶段：

(1)首先使用图像采集设备采集人脸图像，并将图像传输到图像处理模块进行图像存储；

(2)图像处理模块对存储的图像进行多尺度小波分解，并采用图像模糊增强算法进行图像去噪和图像增强，从而获得增强后的人脸图像特征点，并小波重构人脸特征图像；

(3)通过ALBP算子对重构后获得的人脸特征图像进行纹理特征描述，从而构成人脸特征向量；

B、所述训练阶段：

(1)通过图像采集设备采集同一个人脸的多幅样本图像；

(2)将获得的多幅样本图像按照初始化阶段的处理过程进行初始化，得到重构后的样本人脸特征向量；

(3)采用模式识别分类器，将得到的人脸特征向量进行模型训练，并将生成的人脸模型(人脸特征文件)保存到人脸样本数据库中；

(4)重复训练阶段的过程(1)、(2)、(3)，将需要识别的不同人脸依次生成的人脸模型存入人脸样本数据库中，并构建成一个完整的多人脸样本数据库；

C、所述识别阶段：

(1)通过图像采集设备采集待识别的人脸图像；

(2)将得到的人脸图像按照初始化阶段的处理过程进行初始化，得到重构后的人脸特征向量；

(3)将得到的人像特征向量进行建模，并通过与分类器训练后得到的数据库中的所有人脸模板进行相比对识别；

(4)根据所述比对识别后得到的相似值，判断待识别的人脸是否在构建的人脸样本数据库中。

进一步的，在井下使用可见光防爆摄相机或者红外防爆摄相机采集人脸图像，通过RJ45接口或USB接口连接图像处理模块，进行图像存储，图像去噪和图像增强。

进一步的，在图像模糊增强算法中，采用小波分解将人脸图像分解为低频部分和高频部分；对低频部分采用直方图均衡化进行处理，增强图像整体对比度；并采用模糊隶属度因子的小波去噪模型对高频部分进行滤波处理；对高频部分采用PAL模糊增强算法进行模糊增强，并采用不同阈值的非线性变换得到不同尺度、不同方向的特征图像，并对所述特征图像进行反模糊处理，通过对所述反模糊处理后的低频和高频部分进行小波重构。

进一步的，在训练阶段的特征提取中，首先通过ALBP算子和采用

对重构的人脸特征图像进行特征层提取，然后获取不同区间的对比度值和不同区间的特征值，接着构建特征向量，公式中maxC和minC分别表示在ALBP窗口半径为R，领域点像素个数为P的局部区域内的对比度最大值和最小值；g_ci是第i区域内中心像素点，g_pi是第i区域内任意邻域像素点。

进一步的，在构建特征向量的过程中，根据所述特征层提取后，通过采用

获取不同区间的对比度值，公式中的L为区间个数，r为不同区间的对比度的取值范围，且r＝(maxC-minC)/L，l_ri为第i个区间的对比度值；在获取所述不同区间的对比度值后，通过采用

依次计算和获得第i个区间的ALBP特征值，并依次连接所述ALBP特征值，使构成复杂光照条件下的人脸特征向量，公式中i表示取第i个ALBP窗口，当g_pi-g_ci＞0时，A_p＝1；g_pi-g_ci≤0时，A_p＝0。

进一步的，在构建特征向量的过程中，为通过获得的每个区间中的ALBP特征值将人脸图像划分为N个局部区域，通过对每个层次得到的

级联，可得到每个区域的ALBP_P,R，最后将不同区域的ALBP_P,R连接起来，即可得到描述全局人脸多对比度层次的特征向量。

进一步的，在识别阶段的比对识别过程中，通过对待识别人脸图像在0-100％的置信区间内进行打分，并对识别结果进行阈值判断，当所打分值小于阈值时，提示识别失败和重新采集待识别人脸图像，并进行重新识别。

附图说明

图1为本发明所述人脸识别的分类器模型建立流程图；

图2为本发明所述人脸识别的分类器识别流程图；

图3为本发明所述人脸识别的特征描述流程图。

图4为本发明所述人脸识别的图像增强效果图。

图5为本发明所述人脸识别的经过LBP的特征描述后人脸特征图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合说明书附图对本发明技术方案和具体实施方法进行清楚、完整地描述。

一种煤矿井下复杂光照条件下的人脸识别方法的分类器模型建立流程如图1所示；主要包括初始化阶段和训练阶段，初始化阶段为图像采集、图像存储、图像增强、图像去噪、特征描述，训练阶段包括特征向量降维、分类器模型建立；

其具体实施步骤如下:

(1)样本图像采集(101)：在井下复杂光照环境下，通过对安装在井下的经过防爆处理后的可见光摄相机或者红外摄相机进行人脸图像采集，并采集多幅日常工作人员的面部图像作为样本图像；

(2)图像存储(102)：在完成人脸图像采集后，通过采集设备上的RJ45接口或USB接口连接到图像处理单元，并进行图像存储，所用的图像存储单元可采用图像采集卡；

(3)小波分解(103)：先将设备采集后并存储的矿工人脸图像载入图像处理单元中，并采用小波基函数对所述图像进行多层小波分解，所述小波基函数主要包括Haar小波基、db系列小波基、Biorthogonal(biorNr.Nd)小波系、Coiflet(coifN)小波系、SymletsA(symN)小波系、Molet(morl)小波、Mexican Hat(mexh)小波、Meyer小波，所述的小波分解层数主要均为分解层数大于等于1；

(4)低频系数(104)：对所述图像进行多层小波分解后，将矿工人脸图像分解为部分高频和低频系数，并通过小波低频提取函数对分解后的低频部分进行系数提取，得到低频系数矩阵A；

(5)直方图均衡(105)：为了既能改善人脸图像的整体视觉效果，以及抑制图像噪声和保持图像原有信息，对小波分解后的井下人员图像低频信息采用灰度直方图均衡化处理，进而得到增强人脸图像整体亮度后的低频系数矩阵A'；

(6)高频系数(106)：对所述图像进行多层小波分解后，将矿工人脸图像分解为部分高频和低频系数，并通过小波高频系数提取函数对n层分解后的每一层高频部分进行系数提取，得到不同的高频系数矩阵B₁，B₂,…,B_n，B_n为第n层小波高频系数矩阵；

(7)小波去噪(107)：根据步骤(6)对高频系数进行提取后得到的n个小波高频系数矩阵，对所得到的高频系数矩阵B₁，B₂,…,B_n进行小波去噪，所述小波去噪模型通过引入模糊隶属度因子s的小波去噪模型，能够根据摄像机采集到的图像噪声分布情况自适应调整小波阈值，其小波去噪模型中的小波阈值函数构造表达式为：

式中，μ_T为小波阈值函数，ω_ij为小波高频系数中(i,j)点的绝对值，sgn(·)为符号函数，s为模糊隶属度因子，T为小波阈值；

所述小波去噪模型中的模糊隶属度因子s替代传统小波软阈值中的固定阈值T，大幅度提高了模型的灵活性，其模糊隶属度因子s的计算公式为：

式中，a为调节因子，a∈(0,1]，ω_ij为小波高频系数矩阵中(i,j)点的绝对值，T为小波阈值；所述图像高频系数中的噪声信息的系数与图像信息的系数相差较大，通过对多尺度小波分解的高频部分进行均方差计算，得到的均方差就会比较大，然后确定某一个系数值，使大于这个数值的所有系数的均方差达到最小，且效果较好，则所述系数值就是所要选取的阈值，其阈值T计算公式为：T＝2^-n|ω_ij|σ²/σ'；式中，n为最高小波分解层数，σ为图像噪声方差，且σ＝median(|ω_ij|)/0.6745，σ'为图像小波分解系数标准差，其表达式为：

式中，M为处理图片的行最大值、N为处理图像的列最大值，根据所设计的小波去噪函数对各个尺度下的高频系数进行小波去噪；

(8)模糊增强(108)：经过步骤(7)小波阈值去噪对高频信息进行去噪处理后，通常会造成图像细节和边缘信息的模糊，为了增强有效纹理信息，抑制噪声信息，对高频系数部分采用模糊增强算子对图像进行模糊增强，所述模糊增强算子采用PAL模糊增强算法来对高频系数进行模糊增强，并得到增强后的高频系数矩阵B₁'，B₂'，…，B_n'；

(9)小波重构(109)：通过对步骤(5)直方图均衡处理后的低频系数A'和步骤(8)进行模糊增强后得到高频系数矩阵B₁'，B₂'，…，B_n'进行小波重构，从而得到图像质量改善后的矿工人脸特征图像；

(10)特征描述(110)：对获得的小波重构后的矿工人脸特征图像首先进行特征层提取，然后计算不同区间的对比度值和不同区间的特征值，构造特征向量，以及进行特征向量降维，其具体实施过程详见下一部分说明书附图3实施部分；

(11)建立分类器模型(111)：在步骤(10)中对特征向量进行降维，并获得低维特征向量，通过将低维特征向量输入到所选择的分类器中进行分类器模型训练，通过进行多次重复训练，直到获得最优人脸模型，并将生成的人脸模型(人脸特征文件)保存到人脸样本数据库中；重复上述步骤(3)到步骤(10)之间的过程，依次得到所有待识别人脸样本数据的人脸模型，并一一保存到所构建的构建人脸样本数据库中，最后得到完整的人脸样本数据库；所述分类器包括贝叶斯分类器，最小近邻分类器，决策树分类器，神经网络模型分类器，支持向量机分类器。

一种煤矿井下复杂光照条件下的人脸识别方法的分类器识别过程流程如图2所示；主要包括初始化阶段和识别阶段，初始化阶段为图像采集、图像存储、图像增强、图像去噪、特征描述，识别阶段为根据分类器建立的模型把待识别的人脸进行分类器识别，主要包括特征向量降维、比对识别、人脸阈值判断；其具体实施步骤如下:

(1)待识别图像采集(201)：当矿工站在指定位置时，井下的人脸识别装置上的可见光摄相机或者红外摄相机采集到矿工的完整面部图像，并将此面部图像作为待识别图像；

(2)图像存储、小波分解、低频系数获取，直方图均衡、高频系数获取、小波去噪、模糊增强、小波重构、特征提取，详见说明书附图1的实施部分所述；

(3)分类器识别(202)：将采集到的待识别矿工人脸图像进行说明书附图1实施部分中的步骤(3)到步骤(10)的过程处理，并得到低维的特征向量，将此低维特征向量与分类器训练后得到的人脸样本数据库中的所有人脸模板进行相比对识别；

(4)在识别阶段的比对识别过程中，通过比对人脸样本数据库中人脸模型与待识别人脸图像的低维特征向量进行比对识别，并在0-100％的置信区间内进行人脸相似度打分，对得到的识别结果分值进行阈值判断；当所打分值大于或者等于阈值时，显示识别成功并进行下一个矿工的人脸识别；当所打分值小于阈值时，提示人脸识别失败和重复步骤附图2中的步骤201至202，进行重新识别。

一种煤矿井下复杂光照条件下的人脸识别方法的特征描述流程图如图3所示；特征描述包括特征层提取，获取不同区间的对比度，获取不同区间的特征值，构造特征向量，以及特征向量降维；其具体实施步骤如下:

(1)特征层提取(301)：小波重构后矿工人脸特征图像特征提取，首先通过ALBP算子和采用

对重构的人脸特征图像进行特征层提取；公式中maxC和minC分别表示在ALBP窗口半径为R，领域点像素个数为P的局部区域内的对比度最大值和最小值；g_ci是第i区域内中心像素点，g_pi是第i区域内任意邻域像素点；

(2)获取不同区间的对比度(302)：在通过实施步骤(1)特征层提取后，需要计算不同区间的对比度值，通过采用

获取不同区间的对比度值；公式中的L为区间个数，r为不同区间的对比度的取值范围，且r＝(maxC-minC)/L，l_ri为第i个区间的对比度值；

(3)获取不同区间的特征值(303)：在通过实施步骤(1)特征层提取后，需要计算不同区间的特征值，通过采用

依次计算和获得第i个区间的ALBP特征值，公式中i表示取第i个ALBP窗口，当g_pi-g_ci＞0时，A_p＝1；g_pi-g_ci≤0时，A_p＝0；

(4)构造特征向量(304)：通过获得实施步骤(3)获得的每个区间中的ALBP特征值将人脸图像划分为N个局部区域，通过提取每个区域的每个层后，将得到特征层值进行

级联，使得到每个区域的ALBP_P,R，最后将所有区域的ALBP_P,R连接起来，即可得到描述全局人脸多对比度层次的特征向量。

(5)特征向量降维(305)：通过上述实施步骤(4)得到特征向量后，对所获得的特征向量进行主元分析(PCA)，采用线性变换寻找一组最优的单位正交矢量基(即主成份)，用它们的部分向量的线性组合重建原样本，使重建后的样本的相似特征值降低，同时提高人脸识别效率。

Claims (6)

1.一种煤矿井下复杂光照条件下的人脸识别方法，主要包括初始化阶段、训练阶段和识别阶段，其中所述初始化阶段包括图像采集、图像存储、图像去噪、图像增强、特征描述，所述训练阶段包括特征向量降维和分类器模型建立，所述识别阶段为根据建立的分类器模型把待识别的人脸进行分类识别，具体步骤如下：

A、所述初始化阶段：

(1)首先使用图像采集设备采集人脸图像，并将图像传输到图像处理模块进行图像存储；

(2)图像处理模块对存储的图像进行多尺度小波分解，将人脸图像分解为低频部分和高频部分；对低频部分采用直方图均衡化进行处理，增强图像整体对比度；对高频部分采用图像模糊增强算法进行图像去噪和图像增强，从而获得增强后的人脸图像特征点；通过对直方图均衡化后的低频部分和模糊增强后的高频部分进行小波重构，得到小波重构后的人脸特征图像；所述图像模糊增强算法采用模糊隶属度因子的小波去噪模型对高频部分进行滤波处理；对滤波处理后的高频部分采用PAL模糊增强算法进行模糊增强，并采用不同阈值的非线性变换得到不同尺度、不同方向的特征图像，并对所述特征图像进行反模糊处理；

(3)通过ALBP算子对重构后获得的人脸特征图像进行纹理特征描述，从而构成人脸特征向量；

B、所述训练阶段：

(1)通过图像采集设备采集同一个人脸的多幅样本图像；

(2)将获得的多幅样本图像按照初始化阶段的处理过程进行初始化，得到重构后的样本人脸特征向量；

(3)采用模式识别分类器，将得到的人脸特征向量降维后，进行分类器模型训练，并将生成的人脸模型保存到人脸样本数据库中；所述特征向量降维包括对特征向量进行主元分析，采用线性变换寻找一组最优的单位正交矢量基，用它们的部分向量的线性组合重建原样本，使重建后样本的相似特征值降低；

(4)重复训练阶段的过程(1)、(2)、(3)，将需要识别的不同人脸依次生成的人脸模型存入人脸样本数据库中，并构建成一个完整的多人脸样本数据库；

C、所述识别阶段：

(1)通过图像采集设备采集待识别的人脸图像；

(2)将得到的人脸图像按照初始化阶段的处理过程进行初始化，得到重构后的人脸特征向量；

(3)将得到的人像特征向量进行降维，并通过与分类器训练后得到的人脸样本数据库中的所有人脸模板进行相比对识别；

(4)根据所述比对识别后得到的相似值，判断待识别的人脸是否在构建的人脸样本数据库中。

2.如权利要求1所述的一种煤矿井下复杂光照条件下的人脸识别方法，其特征在于：在井下使用可见光防爆摄相机或者红外防爆摄相机采集人脸图像，通过RJ45接口或USB接口连接图像处理模块，进行图像存储，图像去噪和图像增强。

3.如权利要求1所述的一种煤矿井下复杂光照条件下的人脸识别方法，其特征在于：在训练阶段的特征提取中，首先通过ALBP算子和采用

对重构的人脸特征图像进行特征层提取，然后获取不同区间的对比度值和不同区间的特征值，接着构建特征向量，公式中maxC和minC分别表示在ALBP窗口半径为R，领域点像素个数为P的局部区域内的对比度最大值和最小值；g_ci是第i区域内中心像素点，g_pi是第i区域内任意邻域像素点。

4.如权利要求3所述的一种煤矿井下复杂光照条件下的人脸识别方法，其特征在于：在构建特征向量的过程中，根据所述特征层提取后，通过采用

获取不同区间的对比度值，公式中的L为区间个数，r为不同区间的对比度的取值范围，且r＝(maxC-minC)/L，l_ri为第i个区间的对比度值；在获取所述不同区间的对比度值后，通过采用

依次计算和获得第i个区间的ALBP特征值，并依次连接所述ALBP特征值，使构成复杂光照条件下的人脸特征向量，公式中i表示取第i个ALBP窗口，当g_pi-g_ci＞0时，A_p＝1；g_pi-g_ci≤0时，A_p＝0。

5.如权利要求3所述的一种煤矿井下复杂光照条件下的人脸识别方法，其特征在于：在构建特征向量的过程中，为通过获得的每个区间中的ALBP特征值将人脸图像划分为N个局部区域，通过对每个层次得到的

级联，可得到每个区域的ALBP_P,R，最后将不同区域的ALBP_P,R连接起来，即可得到描述全局人脸多对比度层次的特征向量。

6.如权利要求1所述的一种煤矿井下复杂光照条件下的人脸识别方法，其特征在于：在识别阶段的比对识别过程中，通过对待识别人脸图像在0-100％的置信区间内进行打分，并对识别结果进行阈值判断，当所打分值小于阈值时，提示识别失败和重新采集待识别人脸图像，并进行重新识别。

Images