CN113450369A - 一种基于人脸识别技术的课堂分析系统及方法 - Google Patents

一种基于人脸识别技术的课堂分析系统及方法 Download PDF

Info

Publication number
CN113450369A
CN113450369A CN202110423743.XA CN202110423743A CN113450369A CN 113450369 A CN113450369 A CN 113450369A CN 202110423743 A CN202110423743 A CN 202110423743A CN 113450369 A CN113450369 A CN 113450369A
Authority
CN
China
Prior art keywords
face
image
skin color
classifier
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110423743.XA
Other languages
English (en)
Other versions
CN113450369B (zh
Inventor
江跃龙
马金香
黄震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Railway Polytechnic
Original Assignee
Guangzhou Railway Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Railway Polytechnic filed Critical Guangzhou Railway Polytechnic
Priority to CN202110423743.XA priority Critical patent/CN113450369B/zh
Publication of CN113450369A publication Critical patent/CN113450369A/zh
Application granted granted Critical
Publication of CN113450369B publication Critical patent/CN113450369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于人脸识别技术的课堂分析系统及方法，该系统包括：图像采集单元，利用设置于教室内摄像装置采集用于课堂分析的图像；图像预处理单元，对所述图像进行预处理；人脸检测定位单元，采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构人脸分类器在分割出的肤色区域中准确检测人脸；考勤单元，在接收到考勤请求时根据人脸识别结果，将人脸识别结果与与后台服务器中各学生的人脸特征进行比对，识别出缺勤学生予以反馈；上课状态监控单元，在接收到监控请求时根据人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，对其进行相应的提示，并从后台服务器获取相应学生信息予以反馈。

Description

一种基于人脸识别技术的课堂分析系统及方法
技术领域
本发明涉及人工智能技术领域，特别是涉及一种基于人脸识别技术的课堂分析系统及方法。
背景技术
随着人工智能应用逐渐兴起，如何将人工智能应用到课堂，逐渐成为了教育行业中所关注的焦点，在教学过程中，教师工作中的重复性劳动占用了教师大部分的工作时间，如何让学生在课堂上高效的学习也是许多教师头疼的烦恼，而基于人工智能的课堂分析系统能更好的帮助教师更好的管理课堂，更加高效的教学，引起了人们广泛的关注。
在现有技术中，将人脸图像识别系统与课堂分析设备结合在一起，课堂分析设备以人脸识别技术为基础，在上课期间对学生进行扫描抓拍，课堂人脸比对服务器将扫描抓拍的图片与人脸库中的图片进行比对分析，自动得出考勤结果，整个过程无须人工参与，给学生考勤工作带来了许多的方便，但是现有的课堂分析设备在使用的时候一般不便于进行调节，存在着一定的局限性，使用起来具有一定的不便。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于人脸识别技术的课堂分析系统及方法，通过将人脸识别技术与课堂分析系统结合在一起，将教师在课堂上要重复进行的工作内容大大减少，极大的提高教师在课堂上的教学质量，提高了学生在课堂上的学习效率，减少了教师课堂上重复考勤和关注提醒学生学习状态的时间。
为达上述目的，本发明提出一种基于人脸识别技术的课堂分析系统，包括：
图像采集单元，用于利用设置于教室内摄像装置采集用于课堂分析的图像；
图像预处理单元，用于对所述图像进行预处理；
人脸检测定位单元，用于采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构人脸分类器在分割出的肤色区域中准确检测人脸；
考勤单元，用于在接收到考勤请求时根据所述人脸检测定位单元的人脸识别结果，将人脸识别结果与后台服务器中各学生的人脸特征进行比对，识别出缺勤学生予以反馈；
上课状态监控单元，用于在接收到监控请求时根据所述人脸检测定位单元的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，对其进行相应的提示，并从后台服务器获取相应学生信息予以反馈。
优选地，所述人脸检测定位单元进一步包括：
图像分割模块，用于采用高斯肤色模型分割出预处理后的图像中的肤色区域，从而使得背景图像与人脸图像分割开来；
人脸检测模块，用于利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
优选地，所述人脸检测模块包括：
矩形特征提取模块，用于根据高斯肤色模型分割出的肤色区域，采用SIFT 特征法得到人脸图像的矩形特征，从而对人脸区域确定眼睛位置；
分类器训练模块，用于通过Adaboost算法训练分类器，通过从已有的特征中选出提取的一个特征以及其对应的阈值使样本分类的错误率最低，从而训练成为弱分类器，并通过将弱分类器组合形成强分类器以筛选出人脸和非人脸。
优选地，所述矩形特征提取模块具体用于
输入原始的人脸图片库；
从人脸图片库中提取SIFT特征集；
用PCA算法进行降维；
利用K均值聚类方法对SIFT特征集离散化；
生成邻域矩阵特征。
优选地，所述图像分割模块首先将所述图像从规范化的rgb肤色转化到 HSV、YCgCr颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型，然后，根据该三维高斯概率模型计算所述图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化，从而分割出所述图像中的肤色区域。
优选地，所述分类器训练模块利用Adaboost算法训练分类器的过程如下：
·给定样本(x1；y1),...,(xn；yn)；其中yi＝0表示负样本，yi＝1表示正样本；
·初始化权重：负样本权重W0i＝1/2m，正样本权重W1i＝1/2l，其中 m为负样本总数，l为正样本总数；
·对于t＝1,...T(T为训练次数):
1.权重归一化，简单说就是使本轮所有样本的权重的和为 1；
2.根据每一个特征训练简单分类器，仅使用一个特征；
3.从所有简单分类器中选出一个分错率最低的分类器，为弱分类器；
4.更新权重
·最后组合T个弱分类器为强分类器。
为达到上述目的，本发明还提供一种基于人脸识别技术的课堂分析方法，包括如下步骤：
步骤S1，利用设置于教室内摄像装置采集用于课堂分析的图像；
步骤S2，对图像进行预处理；
步骤S3，采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构的人脸分类器在分割出的肤色区域里准确检测人脸；
步骤S4，在接收到考勤请求时根据所述人脸检测定位单元的人脸识别结果，将人脸识别结果与后台服务器中各学生的人脸特征进行比对，识别出缺勤学生予以反馈；
步骤S5，在接收到监控请求时根据所述人脸检测定位单元的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，对其进行相应的提示，并从后台服务器获取相应学生信息予以反馈。
优选地，步骤S3进一步包括：
步骤S300，采用高斯肤色模型分割出预处理后的图像中的肤色区域；
步骤S301，利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
优选地，步骤S301进一步包括：
步骤S301a，根据高斯肤色模型分割出的肤色区域，采用SIFT特征法得到人脸图像的矩形特征，从而对人脸区域确定眼睛位置；
步骤S301b，通过Adaboost算法训练分类器，通过从已有的特征中选出提取的一个特征以及其对应的阈值使样本分类的错误率最低，从而训练成为弱分类器，并通过将弱分类器组合形成强分类器以筛选出人脸和非人脸。
优选地，于步骤S300，首先将所述图像从规范化的rgb肤色转化到HSV、 YCgCr颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型，然后，根据该三维高斯概率模型计算所述图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化，从而分割出所述图像中的肤色区域。
与现有技术相比，本发明一种基于人脸识别技术的课堂分析系统及方法，通过将人脸识别技术与课堂分析系统结合在一起，将教师在课堂上要重复进行的工作内容大大减少，极大的提高教师在课堂上的教学质量，提高了学生在课堂上的学习效率，减少了教师课堂上重复考勤和关注提醒学生学习状态的时间。
附图说明
图1为本发明一种基于人脸识别技术的课堂分析系统的系统架构图；
图2(a)为本发明中四种基本结构的矩形特征示意图；
图2(b)为本发明中矩形特征在人脸检测中的应用示意图；
图3(a)-图3(e)为本发明具体实施例中积分图像实例图；
图4为本发明具体实施例中所构建的级联结构模型的结构图；
图5为本发明一种基于人脸识别技术的课堂分析方法的步骤流程图；
图6为本发明实施例中课堂分析系统的系统工作流程图；
图7(a)-图7(c)为本发明实施例中不同功能下的课堂分析系统的工作流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
在说明本发明之前，先对本发明涉及的颜色空间相关概念进行说明：
颜色空间选择：颜色空间也称彩色模型(又称彩色空间或彩色系统)它的用途是在某些标准下用通常可接受的方式对彩色加以说明。本质上，彩色模型是坐标系统和子空间的阐述。位于系统的每种颜色都有单个点表示。颜色空间有许多种，常用有RGB，CMY，HSV,HSI等。
RGB(红绿蓝)是依据人眼识别的颜色定义出的空间，可表示大部分颜色。但在科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。它是最通用的面向硬件的彩色模型。该模型用于彩色监视器和一大类彩色视频摄像。
CMY是工业印刷采用的颜色空间。它与RGB对应。简单的类比RGB来源于是物体发光，而CMY是依据反射光得到的。具体应用如打印机：一般采用四色墨盒，即CMY加黑色墨盒。
HSV,HSI两个颜色空间都是为了更好的数字化处理颜色而提出来的。有许多种HSX颜色空间，其中的X可能是V,也可能是I，依据具体使用而X含义不同。H是色调，S是饱和度，I是强度。
L*a*b颜色空间用于计算机色调调整和彩色校正。它独立于设备的彩色模型实现。这一方法用来把设备映射到模型及模型本社的彩色分布质量变化。
颜色空间：等能量的红、绿、蓝三原色分别作为X、Y、Z轴构成颜色空间
图1为本发明一种基于人脸识别技术的课堂分析系统的系统架构图。如图 1所示，本发明一种基于人脸识别技术的课堂分析系统，包括：
图像采集单元10，用于利用设置于教室内摄像装置采集用于课堂分析的图像。在本发明具体实施例中，图像采集单元10采用高清摄像头，所述高清摄像头设置教室内正中间上方，采集教室内部的图像。
图像预处理单元20，用于对图像进行预处理，所述预处理包括滤波降噪处理和光照补偿处理，具体地，采用非线性的中值滤波法去除图像中的噪声，并直方图均衡化处理(实质是对图像中所有像素点的灰度级进行调整变换)进行光照补偿。
人脸检测定位单元30，采用高斯肤色模型分割出图像中的肤色区域，利用训练好的级联结构人脸分类器在分割出的肤色区域里准确检测人脸。
具体地，人脸检测定位单元30进一步包括：
图像分割模块301，用于高斯肤色模型分割出预处理后的图像中的肤色区域,从而使得背景图像与人脸图像分割开来。
具体地，高斯肤色模型分割出图像中的肤色区域是一种基于HSV、YCgCr 颜色空间和图像区域分割的人脸检测方法.是一种常用的肤色检测色彩模型，其中Y代表亮度(为了消除光照的影响一般放弃亮度通道)，Cr代表光源中的红色分量，Cb代表光源中的蓝色分量，人体的皮肤的颜色集中在色度的较小区域内。肤色的CbCr平面分布在近似椭圆的区域内，通过判断当前像素点的CbCr 值是否落在肤色分布的椭圆区域内，就可以很容易确认当前像素点是否属于肤色。肤色高斯概率模型，主要将颜色空间从RGB转换为YCrCb，计算肤色的相似度，确定根据概率阈值筛选出肤色区域。但高斯概率模型中肤色均值及协方差矩阵需要提前确定，并且肤色均值对检测结果影响非常大，需要根据实际情况进行调整。
具体地，图像分割模块301首先将规范化的rgb肤色转化到HSV、YCgCr 颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型.然后，根据该模型计算待检图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响，以二值图像为模板，在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割，则后续在分割得到的区域中，可根据人脸特征检测出图像中的人脸。
人脸检测模块302，用于利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
具体地，人脸检测模块302进一步包括：
矩形特征提取模块302a，用于根据高斯肤色模型分割出的肤色区域，采用 SIFT特征法得到人脸图像的矩形特征(Haar特征)，从而对人脸区域确定眼睛位置。
在本发明具体实施例中，矩形特征提取模块的具体实现步骤如下：
步骤1，输入原始的人脸图片库(预先保存每个班级的学生的人脸图片，即每个学生的图片在训练的时候，需要提供比较多的图片数据)；
步骤2，从人脸图片库中提取SIFT特征集；
提取SIFT特征点首先需要建立人脸的图像的高斯金字塔。其目的是对人脸图像作分块处理，使其呈现出一种层次金字塔的结构，然后再分别统计每一个子块的特征，最后将所有的子块的特征拼接起来，形成完整的特征。
步骤3，用PCA算法进行降维
PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
步骤4，利用K均值聚类(K-means)方法对SIFT特征集离散化。
从人脸的图库中可以提取大量的SIFT特征集，利用K均值聚类对其作离散化，聚标记即是图像索引值。K均值聚类通过迭代的方式，把每一个SIFT特征划分到距离其最近的聚类中，最终SIFT特征集被划分成K个离散的聚类，认为同一个聚类的SIFT特征是一样的，则可以使用类编号表示SIFT特征，即离散SIFT特征。
步骤5，生成邻域矩阵特征。
在获得了矩形特征后，则需计算矩形特征的值，Viola等人提出了利用积分图求特征值的方法，本发明也采用积分图法对获得的矩形特征计算特征值，根据获得的矩形特征特征值从而将人脸和非人脸区分开来。
Haar特征又称矩形特征，指的是一系列矩形构成的结构，这种特征结构简单，利于快速计算。图2(a)是四种基本结构的矩形特征。把矩形特征中自色区域像素灰度值减去黑色区域的像素灰度值就得到该矩形特征的特征值。图2(b)为矩形特征在人脸检测中的应用，这些典型的矩形特征能够很好把人脸和非人脸区分开来。
图2(a)为四种基本结构的矩形特征，最原始的Haar-like特征在2002年的《Ageneral framework for object detection》提出，它定义了四个基本特征结构，如下A，B，C，D所示，可以将它们理解成为一个窗口，这个窗口将在图像中做步长为1的滑动，最终遍历整个图像。Haar特征值反映了图像的灰度变化情况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构，如边缘、线段较敏感，所以只能描述特定走向(水平、垂直、对角)的结构。
对于图2(a)中的A,B和D这类特征，特征数值计算公式为：v＝Σ白-Σ黑，而对于C来说，计算公式如下：v＝Σ白-2*Σ黑；之所以将黑色区域像素和乘以 2，是为了使两种矩形区域中像素数目一致。本发明希望当把矩形放到人脸区域计算出来的特征值和放到非人脸区域计算出来的特征值差别越大越好，这样就可以用来区分人脸和非人脸。
通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。图 1的特征模板称为“特征原型”；特征原型在图像子窗口中扩展(平移伸缩)得到的特征称为“矩形特征”；矩形特征的值称为“特征值”。
矩形特征可位于图像任意位置，大小也可以任意改变，所以矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。故类别、大小和位置的变化，使得很小的检测窗口含有非常多的矩形特征，如：在24*24像素大小的检测窗口内矩形特征数量可以达到16万个。
分类器训练模块302b，用于通过Adaboost算法训练分类器，通过从已有的特征(上述矩形特征)中选出提取的一个特征以及其对应的阈值使样本分类的错误率最低(即寻找一个最小分错率的过程)，从而训练成为弱分类器，并通过将弱分类器组合形成强分类器以筛选出人脸和非人脸。所述弱分类器(单层决策树)是决策树的最简化版本，只有一个决策点，也就是说，如果训练数据有多维特征，单层决策树也只能选择其中一维特征和决策的阈值来做决策，强分类器则是将多个弱分类器(弱分类器一般选用单层决策树)进行合理的结合。
一幅图像中，每个像素经过很少操作便可以到积分图。任何位置任何尺度的Haar特征都可以快速地被计算出来。本发明选择少量关键特征形成高效的分类器，筛选程序是一个简单修改的AdaBoost程序：约束弱学习，使每一个弱分类器返回时仅可依赖1个特征。每个改善过程的阶段，即选择一个新的弱分类器，然后以级联的方式不断合并分类器，能够很快丢弃图像的背景区域，通过尽可能地迅速确定目标可能出现在哪些区域，并且只在这些有希望的区域进行更复杂的处理，使得人脸检测的速度得以大幅提高。
在本发明具体实施例中，利用Adaboost算法训练分类器的过程如下：
·给定样本(x1；y1),...,(xn；yn)；其中yi＝0表示负样本，yi＝1表示正样本；
·初始化权重：负样本权重W0i＝1/2m，正样本权重W1i＝1/2l，其中 m为负样本总数，l为正样本总数；
·对于t＝1,...T(T为训练次数)，依次执行:
1.权重归一化，简单说就是使本轮所有样本的权重的和为 1；
2.根据每一个特征训练简单分类器，仅使用一个特征；
3.从所有简单分类器中选出一个分错率最低的分类器，为弱分类器；
4.更新权重；
·最后组合T个弱分类器为强分类器
简单来说，Adaboost是一种迭代算法，其核心思想是在初始的权重数据分布下训练得到一个弱分类器(2类分类器)，每个Haar特征对应看一个弱分类器，但并不是任何一个Haar特征都能较好的描述人脸灰度分布的某一特点，如何从大量的Haar特征中挑选出最优的Haar特征并制作成分类器用于人脸检测，是 AdaBoost算法训练过程所要解决的关键问题。
在本发明具体实施例中，分类器训练模块302b构建了一个级联结构模型，即将若干个弱分类器集成一个强分类器，其能够快速排除非人脸区域，如图4 所示。
考勤单元40，用于在接收到考勤请求时根据人脸检测定位单元30的人脸识别结果，将人脸识别结果与与后台服务器中各学生的人脸特征进行比对，判断出缺勤学生，并反馈到教师用户。
上课状态监控单元50，用于在接收到监控请求时根据人脸检测定位单元 30的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，进行相应的提示，并从后台服务器获取相应学生信息反馈给教师用户。例如当判断某个学生处于消极状态，则触发亮起该学生座位的指示灯，同时控制该座位的座椅开始振动，并将该学生信息反馈给教师用户，直到该学生从消极状态转变成积极状态。
具体地，本发明在系统中预先建立人脸表情库，当通过人脸检测定位单元 30获得人脸识别结果后，将人脸识别结果与预先建立的人脸表情库进行比对，判断学生的上课状态。在本发明具体实施例中，人脸表情库的建立过程如下：
步骤1，图像获取：通过摄像头等图像捕捉工具获取静态图像或动态图像序列。
步骤2，图像预处理：图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。其目的是改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础。
步骤3，特征提取：将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别
步骤4，分类判别:包括设计和分类决策。
由于上述人脸表情库的建立过程采用的是现有成熟技术，在此不予赘述。
图5为本发明一种基于人脸识别技术的课堂分析方法的步骤流程图。如图 5所示，本发明一种基于人脸识别技术的课堂分析方法，包括如下步骤：
步骤S1，利用设置于教室内摄像装置采集用于课堂分析的图像。在本发明具体实施例中，采用高清摄像头，所述高清摄像头设置教室内正中间上方，采集教室内部的图像。
步骤S2，对图像进行预处理，所述预处理包括滤波降噪处理和光照补偿处理，具体地，采用非线性的中值滤波法去除图像中的噪声，并直方图均衡化处理(实质是对图像中所有像素点的灰度级进行调整变换)进行光照补偿。
步骤S3，采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构的人脸分类器在分割出的肤色区域里准确检测人脸。
具体地，步骤S3进一步包括：
步骤S300，利用高斯肤色模型分割出预处理后的图像中的肤色区域。
具体地，高斯肤色模型分割出图像中的肤色区域是一种基于HSV、YCgCr 颜色空间和图像区域分割的人脸检测方法.是一种常用的肤色检测色彩模型，其中Y代表亮度(为了消除光照的影响一般放弃亮度通道)，Cr代表光源中的红色分量，Cb代表光源中的蓝色分量，人体的皮肤的颜色集中在色度的较小区域内。肤色的CbCr平面分布在近似椭圆的区域内，通过判断当前像素点的CbCr 值是否落在肤色分布的椭圆区域内，就可以很容易确认当前像素点是否属于肤色。肤色高斯概率模型，主要将颜色空间从RGB转换为YCrCb，计算肤色的相似度，确定根据概率阈值筛选出肤色区域。但高斯概率模型中肤色均值及协方差矩阵需要提前确定，并且肤色均值对检测结果影响非常大，需要根据实际情况进行调整。
具体地，于步骤S300中，首先将规范化的rgb肤色转化到HSV、YCgCr 颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型.然后，根据该模型计算待检图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响，以二值图像为模板，在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割.在分割得到的区域中，根据人脸特征检测出图像中的人脸。
步骤S301，利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
具体地，步骤S301进一步包括：
步骤S301a，根据高斯肤色模型分割出的肤色区域，采用提取SIFT特征法得到人脸图像的矩形特征(Haar特征)，从而对人脸区域确定眼睛位置。
矩形特征可位于图像任意位置，大小也可以任意改变，所以矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。故类别、大小和位置的变化，使得很小的检测窗口含有非常多的矩形特征，如：在24*24像素大小的检测窗口内矩形特征数量可以达到16万个。
步骤S301b，通过Adaboost算法训练分类器，通过提取的一个小的特征训练成为弱分类器，并通过将弱分类器组合形成层叠的强分类器，以筛选出人脸和非人脸。
一幅图像中，每个像素经过很少操作便可以到积分图。任何位置任何尺度的Haar特征都可以快速地被计算出来。本发明选择少量关键特征形成高效的分类器，筛选程序是一个简单修改的AdaBoost程序：约束弱学习，使每一个弱分类器返回时仅可依赖1个特征。每个改善过程的阶段，即选择一个新的弱分类器，然后以级联的方式不断合并分类器，能够很快丢弃图像的背景区域，通过尽可能地迅速确定目标可能出现在哪些区域，并且只在这些有希望的区域进行更复杂的处理，检测器的速度得以大幅提高。
在本发明具体实施例中，利用Adaboost算法训练分类器的过程如下：
·给定样本(x1；y1),...,(xn；yn)；其中yi＝0表示负样本，yi＝1表示正样本；
·初始化权重：负样本权重W0i＝1/2m，正样本权重W1i＝1/2l，其中 m为负样本总数，l为正样本总数；
·对于t＝1,...T(T为训练次数)，依次执行:
1.权重归一化，简单说就是使本轮所有样本的权重的和为 1；
2.根据每一个特征训练简单分类器，仅使用一个特征；
3.从所有简单分类器中选出一个分错率最低的分类器，为弱分类器；
4.更新权重；
·最后组合T个弱分类器为强分类器。
简单来说，Adaboost是一种迭代算法，其核心思想是在初始的权重数据分布下训练得到一个弱分类器(2类分类器)，每个Haar特征对应看一个弱分类器，但并不是任伺一个Haar特征都能较好的描述人脸灰度分布的某一特点，如何从大量的Haar特征中挑选出最优的Haar特征并制作成分类器用于人脸检测，是 AdaBoost算法训练过程所要解决的关键问题。
步骤S4，当接收到考勤请求时，根据步骤S3的人脸识别结果，将人脸识别结果与与后台服务器中各学生的人脸特征进行比对，判断出缺勤学生，并反馈到教师用户。
步骤S5，当接收到监控请求时根据步骤S3的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，进行相应的提示，并从后台服务器获取相应学生信息反馈给教师用户。例如当判断某个学生处于消极状态，则触发亮起该学生座位的指示灯，同时控制该座位的座椅开始振动，并将该学生信息反馈给教师用户，直到该学生从消极状态转变成积极状态。
实施例
如图6所示，在本实施例中，课堂分析系统可通过教师学生使用手机注册账号时，将采取实名认证和学生人脸特征数据采集，将数据保存在服务器后台。课堂分析系统将用户分为教师和学生两种用户，教师用户可使用上课和下课两种应用模式，同时可以将学生用户划分到各个班级，而学生用户只能使用下课模式。
当开始上课时，教师将app使用调为上课模式，系统将对教室内正中间的高清摄像头所采集的图像进行人脸定位以及识别，然后将所识别出的人脸图像信息对后台服务器内该班级学生人脸信息进行比对，筛选出教室内缺勤的学生人员名单，并将缺勤的学生名单发送教师的手机app中。
在上课过程中，课堂分析系统会对教室内学生的学习状态实时进行监控，当学生出现打瞌睡、玩手机等消极的学习状态时，而后手机内app将会警示该同学学习状态为消极状态，安装在该同学位置上的指示灯将会亮起，同时座椅也会接受到系统信号，开始振动，只有系统判定为积极状态时，指示灯才会熄灭，座椅也会停止振动。
在下课模式中，教师用户可从系统看到各个班级学生一段时间内的课堂学习情况以及某个学生的一段时间的学习状态，从而可以更加有效的制定教学方案，提高教学效率和教学质量。学生用户只能看到自己一段时间的学习状态和系统提供的状态判断结论。
当教师用户在上课时使用“考勤”功能，系统便会可课堂内学生进行人脸识别，将收集到的数据与后台服务器进行比对，判断出“缺勤”学生，反馈到教师用户，如图7a。
当教师用户在上课过程中使用“监控”功能，系统便会实时监控学生上课状态。当学生出现“消极状态”，系统便会亮起该学生座位的指示灯，同时该座位的座椅也会开始振动，同时也会将该学生信息反馈给教师用户，直到该学生“消极状态”转变成“积极状态”，指示灯才会熄灭，座椅也会停止振动；当所有学生都处于“积极状态”时,系统便会处于正常状态，如图7b。
当教师用户使用下课模式时，教师用户将可以通过系统得出平时班级学生们的上课状态，同时系统也会给出相应的判断结论，如图7c。
学生用户只能使用下课模式，学生用户使用下课模式能够查询到自己平时的上课状态，系统也会给出相应的判断结论，如图7c。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于人脸识别技术的课堂分析系统，包括：
图像采集单元，用于利用设置于教室内摄像装置采集用于课堂分析的图像；
图像预处理单元，用于对所述图像进行预处理；
人脸检测定位单元，用于采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构人脸分类器在分割出的肤色区域中准确检测人脸；
考勤单元，用于在接收到考勤请求时根据所述人脸检测定位单元的人脸识别结果，将人脸识别结果与后台服务器中各学生的人脸特征进行比对，识别出缺勤学生予以反馈；
上课状态监控单元，用于在接收到监控请求时根据所述人脸检测定位单元的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，对其进行相应的提示，并从后台服务器获取相应学生信息予以反馈。
2.如权利要求1所述的一种基于人脸识别技术的课堂分析系统，其特征在于，所述人脸检测定位单元进一步包括：
图像分割模块，用于采用高斯肤色模型分割出预处理后的图像中的肤色区域，从而使得背景图像与人脸图像分割开来；
人脸检测模块，用于利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
3.如权利要求2所述的一种基于人脸识别技术的课堂分析系统，其特征在于，所述人脸检测模块包括：
矩形特征提取模块，用于根据高斯肤色模型分割出的肤色区域，采用SIFT特征法得到人脸图像的矩形特征，从而对人脸区域确定眼睛位置；
分类器训练模块，用于通过Adaboost算法训练分类器，通过从已有的特征中选出提取的一个特征以及其对应的阈值使样本分类的错误率最低，从而训练成为弱分类器，并通过将弱分类器组合形成强分类器以筛选出人脸和非人脸。
4.如权利要求3所述的一种基于人脸识别技术的课堂分析系统，其特征在于，所述矩形特征提取模块具体用于
输入原始的人脸图片库；
从人脸图片库中提取SIFT特征集；
用PCA算法进行降维；
利用K均值聚类方法对SIFT特征集离散化；
生成邻域矩阵特征。
5.如权利要求4所述的一种基于人脸识别技术的课堂分析系统，其特征在于，所述图像分割模块首先将所述图像从规范化的rgb肤色转化到HSV、YCgCr颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型，然后，根据该三维高斯概率模型计算所述图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化，从而分割出所述图像中的肤色区域。
6.如权利要求5所述的一种基于人脸识别技术的课堂分析系统，其特征在于，所述分类器训练模块利用Adaboost算法训练分类器的过程如下：
·给定样本(x1；y1),...,(xn；yn)；其中yi＝0表示负样本，yi＝1表示正样本；
·初始化权重：负样本权重W0i＝1/2m，正样本权重W1i＝1/2l，其中m为负样本总数，l为正样本总数；
·对于t＝1,...T，其中T为训练次数，依次执行：
1.权重归一化，使本轮所有样本的权重的和为1；
2.根据每一个特征训练简单分类器，仅使用一个特征；
3.从所有简单分类器中选出一个分错率最低的分类器，作为弱分类器；
4.更新权重
·最后组合T个弱分类器为强分类器。
7.一种基于人脸识别技术的课堂分析方法，包括如下步骤：
步骤S1，利用设置于教室内摄像装置采集用于课堂分析的图像；
步骤S2，对图像进行预处理；
步骤S3，采用高斯肤色模型分割出图像中的肤色区域，并利用训练好的级联结构的人脸分类器在分割出的肤色区域里准确检测人脸；
步骤S4，在接收到考勤请求时根据所述人脸检测定位单元的人脸识别结果，将人脸识别结果与后台服务器中各学生的人脸特征进行比对，识别出缺勤学生予以反馈；
步骤S5，在接收到监控请求时根据所述人脸检测定位单元的人脸识别结果监控各学生的上课状态，当根据人脸识别结果判断出学生出现消极状态时，对其进行相应的提示，并从后台服务器获取相应学生信息予以反馈。
8.如权利要求7所述的一种基于人脸识别技术的课堂分析方法，其特征在于，步骤S3进一步包括：
步骤S300，采用高斯肤色模型分割出预处理后的图像中的肤色区域；
步骤S301，利用Adaboost算法训练分类器并构建级联结构模型，利用级联结构的人脸分类器在分割出的肤色区域中准确检测人脸。
9.如权利要求8所述的一种基于人脸识别技术的课堂分析方法，其特征在于，步骤S301进一步包括：
步骤S301a，根据高斯肤色模型分割出的肤色区域，采用SIFT特征法得到人脸图像的矩形特征，从而对人脸区域确定眼睛位置；
步骤S301b，通过Adaboost算法训练分类器，通过从已有的特征中选出提取的一个特征以及其对应的阈值使样本分类的错误率最低，从而训练成为弱分类器，并通过将弱分类器组合形成强分类器以筛选出人脸和非人脸。
10.如权利要求9所述的一种基于人脸识别技术的课堂分析方法，其特征在于，于步骤S300，首先将所述图像从规范化的rgb肤色转化到HSV、YCgCr颜色空间，对向量(H，Cg，Cr)T进行统计，得到肤色的三维高斯概率模型，然后，根据该三维高斯概率模型计算所述图像的肤色相似概率，采用最大类间方差的方法计算二值化阈值，根据阈值将相似度图像二值化，从而分割出所述图像中的肤色区域。
CN202110423743.XA 2021-04-20 2021-04-20 一种基于人脸识别技术的课堂分析系统及方法 Active CN113450369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423743.XA CN113450369B (zh) 2021-04-20 2021-04-20 一种基于人脸识别技术的课堂分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423743.XA CN113450369B (zh) 2021-04-20 2021-04-20 一种基于人脸识别技术的课堂分析系统及方法

Publications (2)

Publication Number Publication Date
CN113450369A true CN113450369A (zh) 2021-09-28
CN113450369B CN113450369B (zh) 2023-08-04

Family

ID=77809598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423743.XA Active CN113450369B (zh) 2021-04-20 2021-04-20 一种基于人脸识别技术的课堂分析系统及方法

Country Status (1)

Country Link
CN (1) CN113450369B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677751A (zh) * 2022-05-26 2022-06-28 深圳市中文路教育科技有限公司 学习状态的监控方法、监控装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204779A (zh) * 2016-06-30 2016-12-07 陕西师范大学 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN108268859A (zh) * 2018-02-08 2018-07-10 南京邮电大学 一种基于深度学习的人脸表情识别方法
CN208421888U (zh) * 2018-06-19 2019-01-22 江苏师范大学 一种基于人脸识别的学生实时考勤系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
US20190130174A1 (en) * 2016-06-12 2019-05-02 Hangzhou Hikvision System Technology Co., Ltd. Attendance Monitoring Method, System and Apparatus for Teacher During Class
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110163567A (zh) * 2019-05-08 2019-08-23 长春师范大学 基于多任务级联卷积神经网络的课堂点名系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130174A1 (en) * 2016-06-12 2019-05-02 Hangzhou Hikvision System Technology Co., Ltd. Attendance Monitoring Method, System and Apparatus for Teacher During Class
CN106204779A (zh) * 2016-06-30 2016-12-07 陕西师范大学 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN108268859A (zh) * 2018-02-08 2018-07-10 南京邮电大学 一种基于深度学习的人脸表情识别方法
CN208421888U (zh) * 2018-06-19 2019-01-22 江苏师范大学 一种基于人脸识别的学生实时考勤系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN110097003A (zh) * 2019-04-29 2019-08-06 中南民族大学 基于神经网络的课堂考勤方法、设备、存储介质及装置
CN110163567A (zh) * 2019-05-08 2019-08-23 长春师范大学 基于多任务级联卷积神经网络的课堂点名系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
江跃龙 等: "一种复杂光照下列车司机人脸自适应图像增强方法", 《现代信息科技》 *
江跃龙 等: "一种复杂光照下列车司机人脸自适应图像增强方法", 《现代信息科技》, vol. 5, no. 5, 10 March 2021 (2021-03-10), pages 103 - 107 *
陈鸿飞 等: "基于人脸识别的中学课堂考勤系统的设计", 《科技传播》, no. 15, pages 91 - 92 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677751A (zh) * 2022-05-26 2022-06-28 深圳市中文路教育科技有限公司 学习状态的监控方法、监控装置及存储介质

Also Published As

Publication number Publication date
CN113450369B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
CN109948476B (zh) 一种基于计算机视觉的人脸皮肤检测系统及其实现方法
NO329897B1 (no) Fremgangsmate for raskere ansiktsdeteksjon
CN106599870A (zh) 一种基于自适应加权局部特征融合的人脸识别方法
Gunasekar et al. Face detection on distorted images augmented by perceptual quality-aware features
WO2019114145A1 (zh) 监控视频中人数检测方法及装置
CN109858375A (zh) 活体人脸检测方法、终端及计算机可读存储介质
CN109190456B (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN106909884B (zh) 一种基于分层结构和可变形部分模型的手部区域检测方法和装置
Mady et al. Efficient real time attendance system based on face detection case study “MEDIU staff”
CN109086657B (zh) 一种基于机器学习的耳朵检测方法、系统及模型
Shrivastava et al. Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
Diyasa et al. Multi-face Recognition for the Detection of Prisoners in Jail using a Modified Cascade Classifier and CNN
CN109614927B (zh) 基于前后帧差异及特征降维的微表情识别
CN113450369B (zh) 一种基于人脸识别技术的课堂分析系统及方法
KR20110019969A (ko) 얼굴 검출 장치
Gangopadhyay et al. FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM.
KR20080101388A (ko) 엔엠씨티 기반의 얼굴 검출 방법
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
Gupta et al. HaarCascade and LBPH Algorithms in Face Recognition Analysis
Lian A face recognition approach based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant