CN105741375B - 一种大视场双目视觉的红外图像考勤方法 - Google Patents

Abstract

本发明公开了一种大视场双目视觉的红外图像考勤方法，该方法利用教室黑板所在墙面两端的双目红外相机对学生图像进行数据采集，然后对左目和右目两幅图像进行拼接，合成教室内的大幅面大视角图像，然后自动对图像中人脸区域部分进行定位，通过特征提取、识别比对等过程完成学生身份的确定，最终实现对学生的考勤。传统的基于可见光图像的考勤方法容易受光照变化、复杂背景等因素影响，导致识别率不高的问题。本方法有效地克服了该问题，对于学生迟到、早退、旷课等情况也可以做到准确记录与统计，提高了课堂考勤的工作效率，节约了节约教师的时间资源，减轻了教师的负担，提高了学校的教学质量，促进了学校校风学风建设。

Description

一种大视场双目视觉的红外图像考勤方法

技术领域

本发明涉及人脸识别技术，尤其涉及一种大视场双目视觉的红外图像考勤方法。

背景技术

在高校中，学生的上课出勤率是任课教师给定平时成绩的主要依据。当前我国大多数高校在学生日常考勤工作中主要采用的依然是人工考勤方式或智能卡考勤方式。这些考勤方式虽然能起到一定的作用，但存在的问题也很突出，老师并不认识每一位学生，人工考勤和智能卡考勤均有可能存在冒名顶替和代考勤现象。因此，传统的点名考勤方式不适用于学校的考勤需求。因此，设计一套能解决上述问题的课堂考勤系统，对方便教师课堂考勤，督促学生积极上课，提高教学效率具有重要意义。传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们最熟悉的识别方式，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种大视场双目视觉的红外图像人脸识别考勤方法。

本发明解决其技术问题所采用的技术方案是：一种大视场双目视觉的红外图像人脸识别考勤方法，包括以下步骤：

1）课堂图像采集：利用设置在教室黑板所在墙面两端的双目红外相机对课堂进行同步数据采集，得到同一场景下的左目图像与右目图像，要求左目图像与右目图像之间有重叠区域；

2）双目图像拼接：对左目图像与右目图像进行拼接；

2.1) 对左目图像与右目图像进行几何畸变校正和噪声点的抑制处理，让左目图像与右目图像不存在明显的几何畸变，处理后分别对左目图像与右目图像进行角点提取；

2.2)检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配；

2.3)对粗匹配的结果通过Ransac算法进行细匹配；

2.4)图像的拼接和融合：确定左目图像与右目图像的位置关系和图片合成之后所在区域的边界，通过2.3）步骤中的最优变换矩阵对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接。

3）图像人脸定位：在大视场图像中搜索并确定出每个学生的人脸图像区域位置；

4）图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；

5）完成课堂考勤：对考勤结果进行记录，如匹配失败，则多次数据采集，提高考勤的准确性。

按上述方案，步骤2.1）中对左目图像与右目图像进行角点提取的具体步骤如下：

a. 对拍照后获得的图像进行Harris计算，得到图像的水平、垂直方向梯度；

b. 计算整个图像中每个点的角点响应函数R和阈值T。

c. 选用窗口大小为9×9的模板，当角点响应函数R>T时，取前1/5部分有较大R的点，标记该点为角点。

3、根据权利要求1所述的，其特征在于，所述步骤2.3）中通过Ransac算法进行细匹配的步骤如下：

a. 设置一个最大采样次数M，从通过步骤2.2）中的粗匹配点里面随机选5对，再从5对匹配点中选其中4对，利用这4对匹配点估计变换矩阵H的初始参数，设为临时模型；

b. 设置一个距离阈值t，计算第5对点到临时模型的距离d，若d<t，则设此临时模型为候选模型；

c. 计算所有粗匹配点到候选模型的距离，将所有小于t的点作为内点，并计算内点的个数；

d. 不断更新采样次数和迭代次数，最终获取一个包括内点所占比例最高的点集，将这个比例最高的点集所对应的变换矩阵设为最优变换矩阵。

按上述方案，所述步骤3）图像人脸定位包括：

3.1)对训练人脸图像进行预处理：使用平移、旋转、放缩三种方式对人脸图像进行几何归一化；

3.2)生成Haar特征集合；

3.3)训练AdaBoost分类器；结合图像的预处理，Haar特征提取以及训练完成的AdaBoost分类器共同构成了人脸检测器。

3.4）识别过程：当一定数量的显著特征出现在照片中时，步骤3.1)-3.3)中构建的人脸检测器输出高响应值报告学生人脸的出现和出现位置。

本发明产生的有益效果是：

1.本发明采用设置在教室黑板两侧的双目红外相机对课堂进行同步数据采集，采取双视角的图像采集。由于同一名同学在双视角下同时被遮挡的可能性很小，因此本发明能有效降低图像中学生被遮挡的情况；

2.本发明采用红外相机对课堂进行同步数据采集，采集到的为红外图片，克服了传统的可见光图像受光照影响大的缺陷；

3.本发明采用先人脸定位后人脸识别的方法，识别速度与效率得到了很大的提升。本发明的人脸定位提供了一种在大视场图像中粗识别人脸的方法，在粗识别的基础上提取人脸特征完成精识别，提高识别的准确率，具有很强的实用性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明中的双目红外图像的课堂考勤流程图；

图2是本发明中的装置结构示意图；

图3是双目红外图像成像示意图；

图4是图像人脸识别流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明一种大视场双目视觉的红外图像人脸识别考勤方法，包括以下步骤：

步骤1：课堂图像采集：利用双目红外相机对课堂进行同步数据采集，得到同一场景下两个不同角度的图像，要求待拼接的图像之间有重叠区域，如图3所示；

步骤2：双目图像拼接：对左目图像与右目图像进行拼接；

步骤2所用装置结构示意图如图2所示，双目图像拼接过程步骤为：

步骤21，分别对左目和右目两幅图像进行角点提取：

a. 对拍照后的图像进行Harris计算图像的水平、垂直方向梯度。

b. 计算整个图像中每个点的角点响应函数R和阈值T。

c. 选用窗口大小为9×9的模板，当角点响应函数R>T时，取前1/5部分有较大R的点，标记该点为角点。

步骤22，检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配。

步骤23，通过Ransac算法进行细匹配：

a.设置一个最大采样次数M，从通过步骤22中的粗匹配点里面随机选5对，再从5对匹配点中选其中4对，利用这4对匹配点估计变换矩阵H的初始参数，设为临时模型。

b.设置一个距离阈值t，计算第5对点到临时模型的距离d，若d<t，则设此临时模型为候选模型。

c.计算所有粗匹配点到候选模型的距离，将所有小于t的点作为内点，并计算内点的个数。

d.不断更新采样次数和迭代次数。最终找到一个包括内点所占比例最多的点集，将这个比例最高的点集所对应的变换矩阵设为最优变换矩阵。

步骤24，红外图像的拼接和融合：

a.确定两张红外图片的位置关系。

b.确定两张红外图片合成之后所在区域的边界。

c. 通过上一步骤中的最优变换矩阵对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接。

步骤3：图像人脸定位：大视场图像中搜索出每个学生的人脸图像；

步骤3中学生图像人脸定位器的训练和识别的步骤为：

步骤31，对训练人脸图像进行预处理。使用平移、旋转、放缩三种方式对人脸图像进行几何归一化。

步骤32，生成Haar特征集合。

步骤33，训练AdaBoost分类器：收集10万张包含单个学生图像的图片库，对其进行数据训练并提取所有学生轮廓中包含的特征，具体的步骤包括：

a.样本权重初始化：设定正例样本的权重为1/2l，反例样本的权重为1/2m，l, m分别为正例样本和反例样本数量。

b.样本权重归一化:使所有样本的权重和1,符合概率密度分布。

c.训练最佳弱分类器:对每一个Haar特征进行训练,然后选出加权错误率最低的Haar特征为最佳特征(弱分类器)。

d.样本权重更新：增加当前弱分类器错误分类样本的权重。

e.调整强分类器阈值:在验证集上调整当前的强分类器的阈值来判断是否符合设定的检测率和误检率。

f. 结合图像的预处理，Haar特征提取以及训练完成的AdaBoost分类器共同构成了人脸检测器。

步骤34，识别过程：当一定数量的显著特征出现在照片中时，步骤3.1)-3.3)中构建的人脸检测器输出高响应值报告学生人脸的出现和出现位置。

步骤4：图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；步骤4中人脸识别流程如图4所示，人脸识别算法中训练和识别采用的步骤为：

步骤41，二层小波变换得到去噪人脸。

a.采用二层小波变换，略去图像的高频噪声，提高光照鲁棒性。

b.二层小波变换后，大小变为原来的四分之一，大大减少了计算量。

步骤42，对人脸图像进行特征提取；

a. 利用方差投影进行人眼区域初步定位，对正面人脸图像进行水平积分投影和垂直积分投影,通过对投影曲线的分析可知,人脸的主要器官眼睛、鼻子和嘴巴的位置分别对应曲线的某个谷值区域或峰值区域,由此可以粗略的检测出人眼、鼻子和嘴巴的位置。

b. 人眼的精确定位，为了精确定出人眼的位置,我们采用了眼睛模板来搜索圆边界.，考虑围绕瞳孔的圆形边界点来修正两个假设的瞳孔中心。

c. 鼻尖定位，对经过边缘提取后的人脸区域眼睛以下的部位进行垂直梯度计算,对垂直梯度图进行水平投影,找到峰值点.经过水平投影可获得一峰值,根据此峰值可以确定出鼻子的大致水平位置. 利用类似的方法,可以确定出鼻子水平方向的边界。

d. 嘴巴定位，嘴巴是人脸图像中另一个重要的特征,在定位嘴巴的过程中,方向信息的使用十分有效,它清除了许多可能对特征提取过程有影响的噪声.

步骤43，在事先采集的特征库中搜索匹配特征；

步骤44，识别确定的学生人脸图像。

步骤5：完成课堂考勤：身份识别后，与学生学号对应，记录学生的考勤信息。如匹配失败，则进行多次数据采集，提高考勤的准确性。

每堂课都进行至少3次考勤，分别在课刚开始、课中、课快要结束三个时间点。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种大视场双目视觉的红外图像人脸识别考勤方法，其特征在于，包括以下步骤：

1）课堂图像采集：利用设置在教室黑板所在墙面两端的双目红外相机对课堂进行同步数据采集，得到同一场景下的左目图像与右目图像，要求左目图像与右目图像之间有重叠区域；

2）双目图像拼接：对左目图像与右目图像进行拼接；

2.1)对左目图像与右目图像进行几何畸变校正和噪声点的抑制处理，让左目图像与右目图像不存在明显的几何畸变，处理后分别对左目图像与右目图像进行角点提取；

2.2)检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配；

2.3)对粗匹配的结果通过Ransac算法进行细匹配；

2.4)图像的拼接和融合：确定左目图像与右目图像的位置关系和图片合成之后所在区域的边界，通过2.3）步骤中的细匹配结果对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接；

3）图像人脸定位：在大视场图像中搜索并确定出每个学生的人脸图像区域位置；

所述步骤3）图像人脸定位包括：

3.1)对训练人脸图像进行预处理：使用平移、旋转、放缩三种方式对人脸图像进行几何归一化；

3.2)生成Haar特征集合；

3.3)训练AdaBoost分类器；结合图像的预处理，Haar特征提取以及训练完成的AdaBoost分类器共同构成了人脸检测器；

3.4）识别过程：当一定数量的显著特征出现在照片中时，步骤3.1)-3.3)中构建的人脸检测器输出高响应值报告学生人脸的出现和出现位置；

4）图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；

5）完成课堂考勤：对考勤结果进行记录，如匹配失败，即在人脸特征库里面没有匹配到待识别的人脸，则返回步骤1）调整双目红外相机角度进行数据采集。

2.根据权利要求1所述的红外图像人脸识别考勤方法，其特征在于，所述步骤2.1）中对左目图像与右目图像进行角点提取的具体步骤如下：

a. 对拍照后获得的图像进行Harris计算，得到图像的水平、垂直方向梯度；

b. 计算整个图像中每个点的角点响应函数R和阈值T；

c. 选用窗口大小为9×9的模板，当角点响应函数R>T时，标记该点为角点。

3.根据权利要求1所述的红外图像人脸识别考勤方法，其特征在于，所述步骤2.3）中通过Ransac算法进行细匹配的步骤如下：

a. 设置一个最大采样次数M，从通过步骤2.2）中的粗匹配点里面随机选5对，再从5对匹配点中选其中4对，利用这4对匹配点估计变换矩阵H的初始参数，设为临时模型；

b. 设置一个距离阈值t，计算第5对点到临时模型的距离d，若d<t，则设此临时模型为候选模型；

c. 计算所有粗匹配点到候选模型的距离，将所有小于t的点作为内点，并计算内点的个数；

d. 不断更新采样次数和迭代次数，最终获取一个包括内点所占比例最高的点集，将这个比例最高的点集所对应的变换矩阵设为最优变换矩阵。

4.根据权利要求2所述的红外图像人脸识别考勤方法，其特征在于，所述步骤2.1）中的c步骤中，在所有角点响应函数R>T的点中，取函数值前1/5部分的点，标记该点为角点。