CN111914694A - 一种基于人脸识别听课质量检测方法 - Google Patents
一种基于人脸识别听课质量检测方法 Download PDFInfo
- Publication number
- CN111914694A CN111914694A CN202010684209.XA CN202010684209A CN111914694A CN 111914694 A CN111914694 A CN 111914694A CN 202010684209 A CN202010684209 A CN 202010684209A CN 111914694 A CN111914694 A CN 111914694A
- Authority
- CN
- China
- Prior art keywords
- students
- class
- face recognition
- detection method
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 210000000554 iris Anatomy 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000011160 research Methods 0.000 claims abstract description 4
- 238000013316 zoning Methods 0.000 claims abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Ophthalmology & Optometry (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供一种基于人脸识别听课质量检测方法，通过卷积神经网络下的人脸识别初步得到上课抬头的学生；对全体学生进行划区域分析，采用将图像转化为二维数组形式分为三个区域进行研究，在每个区域中使用人脸68个关键点提取检测方法，找到虹膜所处的位置，再根据区域的划分规定虹膜位置范围，得到专注度高的学生；同时满足上课抬头和专注度高两个条件的学生人数与全体学生人数的比率是需要的课堂抬头率，从而完成率对听课质量的检测；本发明利用CNN模型下的人脸识别以及虹膜定位方法解决了学生抬头但没有听课，以及因为学生所处位置不同导致人脸识别不出的问题，更精准的对上课质量进行了检测。
Description
技术领域
本发明涉及一种听课质量检测方法，尤其涉及一种基于人脸识别听课质量检测方法。
背景技术
近年来人工智能的发展已经渗透到教育生活的很多方面，比如指纹签到、虹膜识别、人脸识别等技术在课堂考勤体系中得到了广泛应用，同样，人脸识别检测技术也为我们分析学生课堂行为提供了强有力的工具。本发明提出的基于人脸识别的学生课堂抬头率研究，通过检测认真听课的人数来分析学生的听课效率，为课堂评价提供依据，实现更有针对性的教学。
卷积神经网络(Convolutional Neural Network，CNN)是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，也可以减少网络的参数个数，缓解模型的过拟合问题。卷积神经网络作为深度学习的代表算法之一，长期以来一直被广泛运用在各个方面，尤其是图像识别、人脸识别方面。与DNN全连接神经网络相比，CNN的输入是一个图像，通过参数共享、局部感受利用了图像的局部信息通过卷积和池化提取图像特征，使神经网络需要训练的参数大大减少，但是却并没有降低准确率。
虹膜检测和跟踪代表了生物测量应用中的两个重要任务。近年来的研究和应用表明，虹膜运动信息量大，可以应用于多个领域。它不仅包括人类的运动信息，而且在心理学、机器人学、安全学，尤其是神经学研究中都发挥着重要的作用。视线追踪方法可分为基于模型的方法和基于回归的方法。基于模型的方法通过对人的眼睛与面部的解剖构造了一个3维眼睛模型。利用不同的面部特征和眼睛特征(面部标志、角膜、瞳孔等)之间的几何关系，可以计算3维注视方向。以3D模型为基础的方法以其准确性和处理头部运动的能力而闻名于世，目前已广泛应用于许多专业的眼球跟踪器中。由于基于模型的方法需要人眼的知识边缘和相关参数，因此需要对个人进行校准以获得良好的精度。
发明内容
本发明的目的是为了更精准的对上课质量进行了检测而提供一种基于人脸识别听课质量检测方法。
本发明的目的是这样实现的：
一种基于人脸识别听课质量检测方法，包括如下步骤：
步骤一：运用Python算法将上课的视频按所选取的固定时间段进行视频截取获得未处理的图像，重复上述操作，再通过卷积神经网络下的人脸识别初步得到上课抬头的学生；
步骤二：对全体学生进行划区域分析，采用将图像转化为二维数组形式分为三个区域进行研究，在每个区域中使用人脸68个关键点提取检测方法，找到虹膜所处的位置，再根据区域的划分规定虹膜位置范围，得到专注度高的学生；
步骤三：同时满足上课抬头和专注度高两个条件的学生人数与全体学生人数的比率是需要的课堂抬头率，从而完成率对听课质量的检测
与现有技术相比，本发明的有益效果是：
本发明利用CNN模型下的人脸识别以及虹膜定位方法解决了学生抬头但没有听课，以及因为学生所处位置不同导致人脸识别不出的问题，更精准的对上课质量进行了检测；
本发明不需要使用多个摄像头以及红外光源，降低系统对硬件的需求，降低了成本，增强了系统的可用性；
本发明中虹膜定位方法首先对学生进行区域分割，针对每个区域的学生确定一个虹膜位置范围，在这个范围内，我们判定学生均是听课的，减少工作量的同时又没有降低精确度。
附图说明
图1是基于人脸识别听课质量检测系统流程图；
图2a是CNN模型的基本结构图；
图2b是基于CNN模型下的人脸识别示例图；
图3对教室学生进行区域化分割示意图；
图4虹膜定位，提取人脸68个特征点，确定虹膜位置范围示例图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
课堂抬头率是有效衡量学生课堂听课效率和质量的工具之一，本发明基于深度学习的图像处理和人脸识别技术，通过对课堂听课视频流进行指定帧数截取，然后进行人脸识别初步计算抬头率。但是由于抬头并不能反映学生们听课的质量，有些同学的目光可能瞥向其他地方，所以我们同时也要对学生们的专注度进行分析研究。因为学生所处位置的差异就会导致其眼睛虹膜所处范围也不尽相同，这就需要我们对所有学生进行区域划分，从而判断学生上课的听课效率和质量。最后将人脸识别技术与专注度判别算法的相结合对其进行逻辑与运算，得到听课效率和质量较好的学生数。实验结果表明，该系统可以很好地保证抬头率判别的准确性。
本发明利用CNN模型进行人脸的识别和提取，通过opencv按一定时间截取视频，获得一系列所需处理的图像。随后，通过CNN模型下的人脸识别技术对所有图像进行处理，得到相应的人脸图像。并将处理后的图像存储到相应的数据库中。接着对进行区域化的学生分别进行虹膜定位，该方法基于面部68个特征点的提取并识别，得到每个学生虹膜的具体位置范围。从而对学生听课质量进行高效率的检测。
本发明分为以下三个步骤，其中这些过程会在图1的流程图中给出。
1.第一步首先运用Python算法将上课的视频按所选取的固定时间段进行视频截取获得未处理的图像，重复上述操作。再通过卷积神经网络下的人脸识别初步得到学生上课抬头的人数；
2.接下来对同学进行划区域分析，我们采用将图像转化为二维数组形式分为三个区域进行研究。在每个区域中我们都使用人脸68个关键点提取检测方法，找到虹膜所处的位置。再根据区域的划分规定虹膜位置范围，得到专注度高的学生的人数；
3.第三步我们将以上两步中的人脸识别检验出的学生人数和专注度判别检验出的学生人数进行逻辑与运算，所得到的学生人数与教室全体学生人数的比率就是我们需要的课堂抬头率。
本发明采取两种方法的“串联”使用，既解决了人脸识别中不能判别学生是否专注听课的问题，也解决了单独使用虹膜定位方法处理所有学生图像工作量的繁重。并且本文使用神经网络来映射人眼图像，使系统不需要使用多个摄像头和红外光源，也无需对摄像头进行标定，降低了系统的硬件要求，减少硬件成本，增强了系统的可用性。
Claims (1)
1.一种基于人脸识别听课质量检测方法，其特征是，包括如下步骤：
步骤一：运用Python算法将上课的视频按所选取的固定时间段进行视频截取获得未处理的图像，重复上述操作，再通过卷积神经网络下的人脸识别初步得到上课抬头的学生；
步骤二：对全体学生进行划区域分析，采用将图像转化为二维数组形式分为三个区域进行研究，在每个区域中使用人脸68个关键点提取检测方法，找到虹膜所处的位置，再根据区域的划分规定虹膜位置范围，得到专注度高的学生；
步骤三：同时满足上课抬头和专注度高两个条件的学生人数与全体学生人数的比率是需要的课堂抬头率，从而完成率对听课质量的检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010684209.XA CN111914694A (zh) | 2020-07-16 | 2020-07-16 | 一种基于人脸识别听课质量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010684209.XA CN111914694A (zh) | 2020-07-16 | 2020-07-16 | 一种基于人脸识别听课质量检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914694A true CN111914694A (zh) | 2020-11-10 |
Family
ID=73280316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010684209.XA Pending CN111914694A (zh) | 2020-07-16 | 2020-07-16 | 一种基于人脸识别听课质量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914694A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250822A (zh) * | 2016-07-21 | 2016-12-21 | 苏州科大讯飞教育科技有限公司 | 基于人脸识别的学生专注度监测系统及方法 |
| CN107833306A (zh) * | 2017-12-15 | 2018-03-23 | 南京工业职业技术学院 | 人脸和虹膜特征融合识别的智能课堂考勤系统 |
| CN107918755A (zh) * | 2017-03-29 | 2018-04-17 | 广州思涵信息科技有限公司 | 一种基于人脸识别技术的实时专注度分析方法及系统 |
| CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
| CN110009210A (zh) * | 2019-03-26 | 2019-07-12 | 北京师范大学珠海分校 | 一种基于关注度和专注度的学生听课水平综合评估方法 |
| CN111008542A (zh) * | 2018-10-08 | 2020-04-14 | 上海风创信息咨询有限公司 | 对象专注度分析方法、装置、电子终端及存储介质 |
| WO2020082566A1 (zh) * | 2018-10-25 | 2020-04-30 | 深圳壹账通智能科技有限公司 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
-
2020
- 2020-07-16 CN CN202010684209.XA patent/CN111914694A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250822A (zh) * | 2016-07-21 | 2016-12-21 | 苏州科大讯飞教育科技有限公司 | 基于人脸识别的学生专注度监测系统及方法 |
| CN107918755A (zh) * | 2017-03-29 | 2018-04-17 | 广州思涵信息科技有限公司 | 一种基于人脸识别技术的实时专注度分析方法及系统 |
| CN107833306A (zh) * | 2017-12-15 | 2018-03-23 | 南京工业职业技术学院 | 人脸和虹膜特征融合识别的智能课堂考勤系统 |
| CN111008542A (zh) * | 2018-10-08 | 2020-04-14 | 上海风创信息咨询有限公司 | 对象专注度分析方法、装置、电子终端及存储介质 |
| WO2020082566A1 (zh) * | 2018-10-25 | 2020-04-30 | 深圳壹账通智能科技有限公司 | 基于生物识别的远程教学方法、装置、设备及存储介质 |
| CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
| CN110009210A (zh) * | 2019-03-26 | 2019-07-12 | 北京师范大学珠海分校 | 一种基于关注度和专注度的学生听课水平综合评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 唐康: "人脸检测和表情识别研究及其在课堂教学评价中的应用", 《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tao et al. | Worker activity recognition in smart manufacturing using imu and semg signals with convolutional neural networks | |
| CN108921100B (zh) | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 | |
| CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
| CN110175501B (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN110889672A (zh) | 一种基于深度学习的学生打卡及上课状态的检测系统 | |
| CN105426875A (zh) | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 | |
| Yang et al. | Facs3d-net: 3d convolution based spatiotemporal representation for action unit detection | |
| Gosavi et al. | Facial expression recognition using principal component analysis | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN111507592A (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN113128341A (zh) | 一种基于卷积神经网络的狗脸识别方法 | |
| CN110210399A (zh) | 一种基于不确定性量化概率卷积神经网络的人脸识别方法 | |
| Sharma et al. | Deep learning based student emotion recognition from facial expressions in classrooms | |
| Maiti et al. | Skin cancer classification through quantized color features and generative adversarial network | |
| Salah et al. | Recognize Facial Emotion Using Landmark Technique in Deep Learning | |
| Uddin et al. | The face detection/recognition, perspective and obstacles in robotic: a review | |
| CN111914694A (zh) | 一种基于人脸识别听课质量检测方法 | |
| Mohana et al. | Human action Recognition using STIP Techniques | |
| Hendryli et al. | Siamese network's performance for face recognition | |
| Fang et al. | (Retracted) Face recognition technology in classroom environment based on ResNet neural network | |
| kumar Pandey et al. | Sattentiveness measure in classroom environment using face detection | |
| Xu et al. | An improved head pose estimation method for the robotic wheelchair interaction control | |
| Ibrahem et al. | Age invariant face recognition model based on convolution neural network (CNN) | |
| Abd et al. | Automatic deception detection system based on hybrid feature extraction techniques | |
| Vartak et al. | Analytical Study and Recommendations for Computer Vision Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |