CN104376611A - 一种基于人脸识别的下井考勤方法及其装置 - Google Patents

Abstract

本发明提出了一种基于人脸识别的下井人员考勤方法及其装置。该方法通过对下井人员拍摄的照片分析，自动将各人员所在的图像区域分割开来，然后对各图像区域进行人脸检测，最后使用人脸识别技术来确定人员身份，从而得到下井人员的下井情况。该发明避免了传统的点名答到方式，节省了宝贵的时间，同时为业绩考核分析留下凭据。

Description

一种基于人脸识别的下井考勤方法及其装置

技术领域

本发明涉及人脸识别技术领域，提供了一种基于人脸识别的下井考勤方法及其装置。

技术背景

传统的下井人员考勤通常通过点名答到的方式进行。这样的方式既浪费时间，又无法避免下井人员间代答。本发明使用图像技术自动地对下井人员身份进行识别，有效地克服了传统考勤系统的缺点，并节约了宝贵的工作时间。

发明内容

本发明的目的在于提供一种通过人脸识别技术对下井人员进行考勤的基于人脸识别的下井考勤方法及其装置。

本发明为了达到上述目的采用以下技术方案：

如图1所示，本发明实现了一种基于人脸识别的下井人员考勤的方法，其运行包括以下步骤：

1)对下井人员进行拍照；

2)使用人员轮廓检测器从照片中分割出每个下井人员的轮廓；

3)使用人脸识别算法识别出每个轮廓对应的下井人员身份，并计入考勤；

4)识别到的考勤结果公布在单位网站上，管理人员可以对错误的识别结果进行纠正从而提高考勤的准确率。

如图2所示，上述方案中步骤2中人员轮廓检测器的训练和识别采用的步骤为：

21)训练过程：

a.提取训练数据集中所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b.使用步骤21挑选出的识别标志构建轮廓检测器；

22)识别过程：当一定数量的显著标志出现在照片中时，步骤21中b构建的轮廓检测器输出高响应值不高人员轮廓的出现和出现的位置。

上述方案中，所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31)训练过程：

a.提取训练数据集中每个下井人员轮廓的特征脸(Eigenface)特征向量；

b.使用每个人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，输入支持向量机(SVM)并训练出一个简单人脸识别器，该人脸识别器会对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于人员M的概率。将所有人员的人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对x的识别结果；

c.根据训练数据集中下井人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

d.对每张未标示下井人员身份的轮廓x，根据步骤31中b和c的结果构建一个全局人脸识别器。该识别器利用c中所学习到的下井人员关系辅助b中的简单人脸识别子器，进行下井人员身份识别，该识别过程可表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：

Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。

32)识别过程：将步骤31中所述全局人脸识别器应用于所有的轮廓即可识别出当前所有下井人员的身份并计入考勤记录。

本发明还提供了一种基于人脸识别的下井人员考勤装置，其特征在于包括：

图像采集模块：对下井人员进行拍照；

轮廓检测器：用于提取人员轮廓的细节，输出高响应值报告人员轮廓的出现和出现的位置；

人脸识别器：用于表达对未标识人员身份的人员x的识别结果，并根据轮廓检测器响应的下井人员之间的长期位置选择关系学习出一张下井人员关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前所有下井人员的身份并计入考勤记录。

上述方案中，所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的显著标志出现在照片中时，输出高响应值不高人员轮廓的出现和出现的位置。

上述方案中，所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，下井人员关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个下井人员轮廓的特征脸(Eigenface)特征向量；

简单人脸识别子模块：使用每个人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于下井人员M的概率；将所有可能的人员组成一个集合，用该方法来估计x属于每个人员属于的概率后，将输出的所有概率组合在一起，可以产生一个概率矢量p(x)用于表达对未标识人员的身份轮廓x的识别结果；

下井人员关系网子模块：根据训练数据集中下井人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

全局人脸识别子模块：通过人员关系网子模块学习到的人员关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：

Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。

本发明具有以下有益效果：

一、相对传统的点名答到方式，本发明节省了大量的宝贵时间；

二、相对传统的打卡考勤方式，本发明留下了照片证据，有利于以后追溯，能有效地避免代打卡的行为。而且本发明无需人员保存卡片和安装打印机，有效节省了成本；

三、相对于传统的单人脸区域身份识别方法，本发明使用下井人员的整体轮廓进行身份识别，从而使检测器能获得更多的上下文关系(如：人脸区域周围的衣服和座椅等)并达到更高的识别精度；

四、相对于传统对人脸逐一进行身份识别的方式，本发明利用下井人员的关系网帮助简化识别器进行身份推理，从而能进一步提高身份识别精度。

附图说明

图1为本发明的整体框架；

图2为发明流程图。

具体实施方式

下面对本发明做进一步的说明：

如图1所示，本发明实现一种基于人脸识别的下井人员考勤方法，其运行包括以下步骤：

1)对下井人员进行拍照；

2)使用人员轮廓检测器从照片中分割出每个下井人员的轮廓；

3)使用人脸识别算法识别出每个轮廓对应的下井人员身份，并计入考勤；

4)识别到的考勤结果公布在单位网站上，管理人员可以对错误的识别结果进行纠正从而提高考勤的准确率。

如图2所示，本发明上述方案中所述步骤2中人员轮廓检测器的训练和识别采用的步骤为：

21)训练过程：

a.提取训练数据集

从收集5万张以上张包含单个人员图像的图片库的数据训练集中提取所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b.使用步骤21挑选出的识别标志构建轮廓检测器；

22)识别过程：当一定数量的显著标志出现在照片中时，步骤21中b构建的轮廓检测器输出高响应值不高人员轮廓的出现和出现的位置。

上述方案中，所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31)训练过程：

a.提取训练数据集中每个下井人员轮廓的特征脸(Eigenface)特征向量；

b.使用每个人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，输入支持向量机(SVM)并训练出一个简单人脸识别器，该人脸识别器会对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于人员M的概率。将所有下井人员的人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对x的识别结果；

c.根据训练数据集中人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

d.对每张未标标示人员身份的轮廓x，根据步骤31中的b和c的结果构建一个全局人脸识别器。该识别器利用c中所学习到的下井人员关系辅助b中的简单人脸识别器进行下井人员身份的识别，该识别过程表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。

32)识别过程：将步骤31中的全局人脸识别器应用于所有轮廓中即可识别出当前所有下井人员的身份并计入考勤记录。

本发明还提供了一种基于人脸识别的下井人员考勤装置，其特征在于包括：

图像采集模块：对下井人员进行拍照；

轮廓检测器：用于提取下井人员轮廓的细节，输出高响应值报告人员轮廓的出现和出现的位置；

人脸识别器：用于表达对未标识人员身份的人员x的识别结果，并根据轮廓检测器响应的下井人员之间的长期位置选择关系学习出一张下井人员关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前所有下井人员的身份并计入考勤记录。

上述方案中，所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的显著标志出现在照片中时，输出高响应值不高人员轮廓的出现和出现的位置。

上述方案中，所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，下井人员关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个下井人员轮廓的特征脸(Eigenface)特征向量；

简单人脸识别子模块：使用每个人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于人员M的概率；将所有可能的人员组成一个集合，用该方法来估计x属于每个人员属于的概率后，将输出的所有概率组合在一起，可以产生一个概率矢量p(x)用于表达对未标识人员的身份轮廓x的识别结果；

下井人员关系网子模块：根据训练数据集中人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

全局人脸识别子模块：通过下井人员关系网子模块学习到的下井人员关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：

Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。

Claims (8)

1.一种基于人脸识别的下井人员考勤方法，其特征在于包括以下步骤：

1)对下井人员进行拍照；

2)使用人员轮廓检测器从照片中分割出每个下井人员的轮廓；

3)使用人脸识别算法识别出每个轮廓对应的下井人员身份，并计入考勤；

4)识别到的考勤结果公布在单位网站上，管理人员可以对错误的识别结果进行纠正从而提高考勤的准确率。

2.根据权利要求1所述的一种基于人脸识别的下井人员考勤方法，其特征在于：所述步骤2中的下井人员轮廓检测器的训练和识别采用的步骤为：

21)训练过程：

a.提取训练数据集中所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b.使用步骤21挑选出的识别标志构建轮廓检测器；

22)识别过程：当一定数量的显著标志出现在照片中时，步骤21中b构建的轮廓检测器输出高响应值不高人员轮廓的出现和出现的位置。

3.根据权利要求1所述的一种基于人脸识别的下井人员考勤方法，其特征在于：所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31)训练过程：

a.提取训练数据集中每个下井人员轮廓的特征脸特征向量；

b.使用每个下井人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，输入支持向量机(SVM)并训练出一个简单人脸识别器，该人脸识别器会对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于人员M的概率。将所有人员的人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对x的识别结果；

c.根据训练数据集中下井人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

d.对每张未标示下井人员身份的轮廓x，根据步骤31中b和c的结果构建一个全局人脸识别器；

32)识别过程：将步骤31中d所述全局人脸识别器应用于所有的轮廓即可识别出当前所有下井人员的身份并计入考勤记录。

4.根据权利要求3所属述的一种基于人脸识别的下井人员考勤方法，其特征在于，所述步骤31中d中所述的全局人脸识别器的构建方法为：利用步骤31中c中所学习到的人员关系网复杂步骤31中b中的简单人脸识别子器，进行下井人员身份识别，该识别过程可表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：

Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。

5.根据权利要求1所述的一种基于人脸识别的下井人员考勤方法，其特征在于：所述步骤4具体包括：

51)将全局人脸识别器识别考勤结果公布在单位网站上；

52)管理人员可以对错误的识别结果进行纠正从而提高考勤的准确率：

a.如果识别结果准确，不需要做任何事情；

b.如果一个下井人员的轮廓被识别成其他人，直接在照片中轮廓上点击以将识别结果替换成正确的名字；

c.如果识别错误的轮廓未被识别成任何人，直接在照片中自己的轮廓上点击以确认该下井人员的身份。

6.一种基于人脸识别的下井人员考勤装置，其特征在于包括：

图像采集模块：对下井人员进行拍照；

轮廓检测器：用于提取下井人员轮廓的细节，输出高响应值报告人员轮廓的出现和出现的位置；

人脸识别器：用于表达对未标识人员身份的人员x的识别结果，并根据轮廓检测器响应的下井人员之间的长期位置选择关系学习出一张下井人员关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前所有下井人员的身份并计入考勤记录。

7.根据权利要求6所述的一种基于人脸识别的下井人员考勤装置，其特征在于包括：所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的下井人员轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的显著标志出现在照片中时，输出高响应值不高人员轮廓的出现和出现的位置。

8.根据权利要求6所述的一种基于人脸识别的下井人员考勤装置，其特征在于包括：所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，下井人员关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个下井人员轮廓的特征脸特征向量；

简单人脸识别子模块：使用每个下井人员M对应的多张照片中的多个轮廓的特征向量做为正样本，其他人员的特征向量做为负样本，对每张未标识人员身份的人员x输出一个概率p(M|x)表达该轮廓属于人员M的概率；将所有可能的人员组成一个集合，用该方法来估计x属于每个人员属于的概率后，将输出的所有概率组合在一起，可以产生一个概率矢量p(x)用于表达对未标识人员的身份轮廓x的识别结果；

下井人员关系网子模块：根据训练数据集中下井人员之间的长期位置选择关系学习出一张下井人员关系网，该网的节点为下井人员，下井人员节点间使用加权的边进行两两连接，每条边的权重为其连接的两下井人员坐在相邻的位置的概率，连接下井人员M和P的边权重为联合概率为：

该网络可表示为一个矩阵R，R和i行第j列等于(i，j)，即第i个下井人员和第j个下井人员的关系；

全局人脸识别子模块：通过人员关系网子模块学习到的下井人员关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

$q^{(i+1)}\left(x\right)=a\·\left(\frac{1}{N\left(x\right)}\right)\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}R\·q{\left(y\right)}^{\left(i\right)}+(1-a)\·p\left(x\right)$

其中为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋势零时收敛，即：

Pq⁽ⁱ⁺¹⁾(x)-q⁽ⁱ⁺¹⁾(x)P→0。