CN102831412A - 一种基于人脸识别的教学考勤方法及其装置 - Google Patents

Abstract

本发明提出一种基于人脸识别的教学考勤方法及其装置。该方法通过对教师拍摄的课堂照片进行分析，自动将各学生所在的图像区域分割开来，然后对各图像区域进行人脸检测，最后使用人脸识别技术来确定学生身份，从而得到课堂中的学生出席情况。该发明避免了传统的点名答到方式，节省了宝贵的教学时间，同时为教学分析留下凭据，并能有效地防止学生间代答的不端行为。

Description

一种基于人脸识别的教学考勤方法及其装置

技术领域

本发明涉及人脸识别技术领域，提供了一种基于人脸识别的教学考勤方法及其装置。

背景技术

传统的教学考勤通常需要通过点名答到的方式进行。这样的方式即浪费时间，又无法避免学生间代答。本发明使用图像技术自动地对教室中的学生身份进行识别，有效地克服了传统考勤系统的缺点，并节约了宝贵的教学时间。

发明内容

本发明的目的在于提供一种通过人脸识别技术对学生进行考勤的一种基于人脸识别的教学考勤方法及其装置。

本发明为了实现上述目的采用以下技术方案：

如图１所示，本发明实现一种基于人脸识别的教学考勤方法，其运行包括以下步骤：

1）对课堂情况进行拍照；

2）使用学生轮廓检测器从照片中分割出每个学生的轮廓；

3）使用人脸识别算法识别出每个轮廓对应的学生身份，并计入考勤；

4）识别到的考勤结果将公布在课程的教学网站上，学生登陆网站后可以对错误的识别结果进行纠正从而提高考勤的准确率。

如图2所示，上述方案中所述步骤2中学生轮廓检测器的训练和识别采用的步骤为：

21）训练过程：

a．提取训练数据集中所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b．使用步骤21挑选出的识别标志构建轮廓检测器；

22）识别过程：当一定数量的显著标志出现在照片中时，步骤21中b构建的轮廓检测器输出高响应值报告学生轮廓的出现和出现位置。

上述方案中，所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31）训练过程：

a. 提取训练数据集中每个学生轮廓的特征脸（Eigenface）特征向量；

b. 使用每个学生M对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，输入支持向量机（SVM）并训练出一个简单人脸识别器，该人脸识别器会对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生M的概率。将所有学生的简单人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对x的识别结果；

c. 根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，例如：连接学生M和P的边权重为联合概率为

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

d. 对每张未标示学生身份的轮廓x，根据步骤31中b和c的结果构建一个全局人脸识别器。该识别器利用c中所学习到的学生关系辅助b中的简单人脸识别器进行学生身份的识别。该识别过程可表示为一个迭代过程：

其中上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓。该迭代过程一直进行到

在临接两轮的变化趋于零时收敛，即：。

32) 识别过程：将步骤31中所述全局人脸识别器应用于所有的轮廓即可识别出当前课堂中所有学生的身份并计入考勤记录。

本发明还提供了一种基于人脸识别的教学考勤装置，其特征在于包括：

图像采集模块：对课堂情况进行拍照；

轮廓检测器：用于提取学生轮廓的细节，输出高响应值报告学生轮廓的出现和出现位置；

人脸识别器：用于表达对未标识学生的身份轮廓x的识别结果，并根据轮廓检测器响应的学生之间的长期位置选择关系学习出一张学生关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前课堂中所有学生的身份并计入考勤记录。

上述方案中，所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的识别标志出现在照片中时，输出高响应值报告学生轮廓的出现和出现位置。

上述方案中，所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，学生关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个学生轮廓的特征脸（Eigenface）特征向量； 

简单人脸识别子模块：使用每个学生 M 对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生M的概率；将所有可能的学生组成一个集合，用该方法来估计x属于每个学生的概率后，将输出的所有概率组合在一起，产生一个概率矢量p(x)用于表达对未标识学生的身份轮廓x的识别结果；

学生关系网子模块：根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，连接学生M和P的边权重为联合概率为：

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

全局人脸识别子模块：通过学生关系网子模块学习到的学生关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

其中

为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓。该迭代过程一直进行到在临接两轮的变化趋于零时收敛，即：

。

 

本发明具有以下有益效果：

一、相对传统的点名答到方式，本发明节省了宝贵的课堂教学时间，并能有效避免学生间代答；

二、相对于传统的打卡考勤方式，本发明留下了照片证据，有利于以后追溯，能有效避免代打卡的行为。而且，本发明无需学生保存卡片和安装打卡机，有效节省了成本；

三、相对于传统的单人脸区域身份识别方法，本发明使用学生的整体轮廓进行身份识别，从而使检测器能获得更多的上下文关系（如：人脸区域周围的衣服和座椅等）并达到更高的识别精度；

四、相对于传统的对人脸逐一进行身份识别的方式，本发明利用学生的关系网帮助简单识别器进行身份推理，从而能进一步提高身份识别精度。

附图说明

图1为本发明整体框架；

图2为本发明流程图。

具体实施方式

下面对本发明做进一步的说明：

如图１所示，本发明实现一种基于人脸识别的教学考勤方法，其运行包括以下步骤：

1）对课堂情况进行拍照；

2）使用学生轮廓检测器从照片中分割出每个学生的轮廓；

3）使用人脸识别算法识别出每个轮廓对应的学生身份，并计入考勤；

4）识别到的考勤结果将公布在课程的教学网站上，学生登陆网站后可以对错误的识别结果进行纠正从而提高考勤的准确率。

如图2所示，上述方案中所述步骤2中学生轮廓检测器的训练和识别采用的步骤为：

21）训练过程：

a．提取训练数据集

从收集5万以上张包含单个学生图像的图片库的数据训练集中提取所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b．使用步骤21挑选出的识别标志构建轮廓检测器；

22）识别过程：当一定数量的显著标志出现在照片中时，步骤21中b构建的轮廓检测器输出高响应值报告学生轮廓的出现和出现位置。

上述方案中，所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31）训练过程：

a. 提取训练数据集中每个学生轮廓的特征脸（Eigenface）特征向量；

b. 使用每个学生M对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，输入支持向量机（SVM）并训练出一个简单人脸识别器，该人脸识别器会对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生M的概率。将所有学生的简单人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对x的识别结果；

c. 根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，例如：连接学生M和P的边权重为联合概率为

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

d. 对每张未标示学生身份的轮廓x，根据步骤31中b和c的结果构建一个全局人脸识别器。该识别器利用c中所学习到的学生关系辅助b中的简单人脸识别器进行学生身份的识别。该识别过程可表示为一个迭代过程：

其中上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓。该迭代过程一直进行到

在临接两轮的变化趋于零时收敛，即：。

32) 识别过程：将步骤31中所述全局人脸识别器应用于所有的轮廓即可识别出当前课堂中所有学生的身份并计入考勤记录。

本发明还提供了一种基于人脸识别的教学考勤装置，其特征在于包括：

图像采集模块：对课堂情况进行拍照；

轮廓检测器：用于提取学生轮廓的细节，输出高响应值报告学生轮廓的出现和出现位置；

人脸识别器：用于表达对未标识学生的身份轮廓x的识别结果，并根据轮廓检测器响应的学生之间的长期位置选择关系学习出一张学生关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前课堂中所有学生的身份并计入考勤记录。

上述方案中，所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的识别标志出现在照片中时，输出高响应值报告学生轮廓的出现和出现位置。

上述方案中，所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，学生关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个学生轮廓的特征脸（Eigenface）特征向量； 

简单人脸识别子模块：使用每个学生 M 对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生M的概率；将所有可能的学生组成一个集合，用该方法来估计x属于每个学生的概率后，将输出的所有概率组合在一起，产生一个概率矢量p(x)用于表达对未标识学生的身份轮廓x的识别结果；

学生关系网子模块：根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，连接学生M和P的边权重为联合概率为：

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

全局人脸识别子模块：通过学生关系网子模块学习到的学生关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

其中

为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓。该迭代过程一直进行到

在临接两轮的变化趋于零时收敛，即：

。

Claims (8)

1.一种基于人脸识别的教学考勤方法，其特征在于包括以下步骤：

1）对课堂情况进行拍照；

2）使用学生轮廓检测器从照片中分割出每个学生的轮廓；

3）使用人脸识别算法识别出每个轮廓对应的学生身份，并计入考勤；

4）识别到的考勤结果将公布在课程的教学网站上，学生登陆网站后可以对错误的识别结果进行纠正从而提高考勤的准确率。

2.根据权利要求1所述的一种基于人脸识别的教学考勤方法，其特征在于：所述步骤2中的学生轮廓检测器的训练和识别采用的步骤为：

21）训练过程：

a．提取训练数据集中所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

b．使用前述步骤a挑选出的识别标志构建轮廓检测器；

22）识别过程：当一定数量的识别标志出现在照片中时，步骤21训练过程中b构建的轮廓检测器输出高响应值报告学生轮廓的出现和出现位置。

3.根据权利要求1所述的一种基于人脸识别的教学考勤方法，其特征在于：所述步骤3中人脸识别算法中训练和识别采用的步骤为：

31）训练过程：

a. 提取训练数据集中每个学生轮廓的特征脸特征向量；

b. 使用每个学生 M 对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，输入支持向量机并训练出一个简单人脸识别器，该人脸识别器会对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生 M 的概率；将所有学生的简单人脸识别器集合输出的概率组合在一起，可以产生一个概率矢量p(x)用于表达对未标识学生的身份轮廓x的识别结果；

c. 根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，连接学生M和P的边权重为联合概率为：

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

d. 对每张未标示学生身份的轮廓x，根据步骤31中b和c的结果构建一个全局人脸识别器；

32) 识别过程：将步骤31中d所述全局人脸识别器应用于所有的轮廓即可识别出当前课堂中所有学生的身份并计入考勤记录。

4.根据权利要求3所述的一种基于人脸识别的教学考勤方法，其特征在于，所述步骤31中d中所述的全局人脸识别器的构建方法为：利用步骤31中c中所学习到的学生关系网辅助步骤31中b中的简单人脸识别器，进行学生身份的识别，该识别过程可表示为一个迭代过程：

其中

为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到在临接两轮的变化趋于零时收敛，即：

。

5.根据权利要求1所述的一种基于人脸识别的教学考勤方法，其特征在于：所述步骤4具体包括：

51）将全局人脸识别器识别到的考勤结果将公布在课程的教学网站上；

52）学生登陆网站后对错误的识别结果进行如下纠正，从而提高考勤的准确率：

a. 如果识别结果正确，不需要做任何事情；

b. 如果自己的轮廓被识别成其他人，直接在课堂照片中自己的轮廓上点击以将识别结果替换成自己的名字；

c．如果自己的轮廓未被识别任何人，直接在照片中自己的轮廓上点击以确认自己的身份。

6.一种基于人脸识别的教学考勤装置，其特征在于包括：

图像采集模块：对课堂情况进行拍照；

轮廓检测器：用于提取学生轮廓的细节，输出高响应值报告学生轮廓的出现和出现位置；

人脸识别器：用于表达对未标识学生的身份轮廓x的识别结果，并根据轮廓检测器响应的学生之间的长期位置选择关系学习出一张学生关系网；

身份识别器：通过人脸识别器应用于轮廓检测器识别出当前课堂中所有学生的身份并计入考勤记录。

7.根据权利要求6所述的一种基于人脸识别的教学考勤装置，其特征在于包括：所述轮廓检测器包括训练子模块和识别子模块，

训练子模块：用于提取训练数据集中所有的学生轮廓中包含的细节，使用AdaBoost算法对各细节的显著性进行评估并选出具有代表性的细节作为轮廓的识别标志；

识别子模块：用于当一定数量的识别标志出现在照片中时，输出高响应值报告学生轮廓的出现和出现位置。

8.根据权利要求6所述的一种基于人脸识别的教学考勤装置，其特征在于包括：所述人脸识别器包括人脸特征向量提取模块，简单人脸识别子模块，学生关系网子模块和全局人脸识别子模块；

人脸特征向量提取模块：提取训练数据集中每个学生轮廓的特征脸特征向量； 

简单人脸识别子模块：使用每个学生 M 对应的多张照片中的多个轮廓的特征向量做为正样本，其他学生的特征向量做为负样本，对每张未标示学生身份的轮廓x输出一个概率p(M|x)表达该轮廓属于学生M的概率；将所有可能的学生组成一个集合，用该方法来估计x属于每个学生的概率后，将输出的所有概率组合在一起，产生一个概率矢量p(x)用于表达对未标识学生的身份轮廓x的识别结果；

学生关系网子模块：根据训练数据集中学生之间的长期位置选择关系学习出一张学生关系网，该网的节点为学生，学生节点间使用加权的边进行两两连接，每条边的权重为其连接的两学生坐在相邻位置的概率，连接学生M和P的边权重为联合概率为：

该网络可表示为一个矩阵R, R的i行第j列等于

，即第i个学生和第j个学生的关系；

全局人脸识别子模块：通过学生关系网子模块学习到的学生关系辅助简单人脸识别子模块进行身份识别，该识别过程可表示为一个迭代过程：

其中为一平衡因子，通常根据经验在区间[0.5，0.8]上选择，上标(i+1)代表第(i+1)轮的识别结果，N(x)为一个自动查找函数用于返回当前照片中与x相邻的轮廓；该迭代过程一直进行到

在临接两轮的变化趋于零时收敛，即：

。

Images