CN110059614A - 一种基于人脸情绪识别的智能辅助教学方法及系统 - Google Patents
一种基于人脸情绪识别的智能辅助教学方法及系统 Download PDFInfo
- Publication number
- CN110059614A CN110059614A CN201910306758.0A CN201910306758A CN110059614A CN 110059614 A CN110059614 A CN 110059614A CN 201910306758 A CN201910306758 A CN 201910306758A CN 110059614 A CN110059614 A CN 110059614A
- Authority
- CN
- China
- Prior art keywords
- face
- information
- student
- emotion recognition
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims description 64
- 230000008909 emotion recognition Effects 0.000 claims description 52
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 13
- 208000027418 Wounds and injury Diseases 0.000 claims description 7
- 230000006378 damage Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 210000001097 facial muscle Anatomy 0.000 claims description 7
- 208000014674 injury Diseases 0.000 claims description 7
- 230000006996 mental state Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 2
- 238000004080 punching Methods 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 6
- 238000007418 data mining Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于人脸情绪识别的智能辅助教学方法及系统，所述方法包括：对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。本发明能够结合大数据挖掘技术对在课堂环境中所采集到的情绪信息加以分析和统计，并推送至客户端，使教师能够全面地了解学生的精神状态与学习状态，同时能够掌握课堂教学情况，进而帮助教师及时改进教学策略，提高教学质量和效率。
Description
技术领域
本发明涉及教学技术领域，具体涉及一种基于人脸情绪识别的智能辅助教学方法及系统
背景技术
随着电子信息技术及网络技术的发展，智能教学在日常教学中得到广泛应用，在教育日趋信息化的今天，使得教学过程得以优化，教学效率得到提高，以更丰富的展现形式，推动了教学质量的提高。在重视素质教育的今天，教育心理学家认为情绪对学生的学习活动的作用具有两面性，既可能提高学习的积极性，促进和增强学习效果，也可能降低学习的积极性，削弱和减低学习的效果。
但是，在对现有技术的研究与实践过程中，本发明的发明人发现，现在的学校大多采用大班制教学，由于学生人数较多，因此无法很难监督学生学习，教师很难准确判断每个学生的课堂学习状态以及了解每个学生对知识的掌握度，从而找出一种适合所有学生的教学策略与方法，并且由于教师本身的教学经验等诸多人为因素对于学生情绪判断也起到了一定的制约作用，从而影响到学生学习与成长。因此，如何能够将信息化技术与教育教学相结合，使得教学过程更加人性化、给予学生更全面的教育与培养，成为教育行业关注的重点课题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于人脸情绪识别的智能辅助教学方法及系统，使得教师能够全面地了解学生的精神状态与学习状态，并掌握课堂教学情况，进而帮助教师改进教学策略，提高教学质量与效率。
为解决上述问题，本发明的一个实施例提供一种基于人脸情绪识别的智能辅助教学方法，包括如下步骤：
对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。
进一步地，所述基于人脸情绪识别的智能辅助教学方法，还包括：
根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
统计学生的状态评估信息并存储至信息网络管理模块。
进一步地，所述通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别，具体为：
利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
进一步地，所述状态评估包括心理状态评估、伤害评估、课堂专注度评估以及知识掌握度评估。
进一步地，所述基于人脸情绪识别的智能辅助教学方法，还包括通过交互显示器发出信息提醒上课状态异常的学生。
进一步地，所述基于人脸情绪识别的智能辅助教学方法，还包括通过APP实时接收学生评估状态信息。
本发明的另一个实施例还提供了一种基于人脸情绪识别的智能辅助教学系统，包括：
采集模块，用于对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
识别模块，用于通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
状态评估模块，用于对所述人脸情绪信息进行状态评估，并发送状态评估信息至交互显示器。
进一步地，所述基于人脸情绪识别的智能辅助教学系统，还包括：
考勤模块，用于根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
信息网络管理模块，用于统计并存储学生的状态评估信息。
进一步地，所述识别模块包括人脸跟踪单元、人脸分割单元、人脸特征点提取单元和数据匹配单元；其中，
人脸跟踪单元，用于利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
人脸分割单元，用于对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
人脸特征点提取单元，用于通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
数据匹配单元，用于根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
进一步地，所述状态评估模块包括心理状态评估单元、伤害评估单元、课堂专注度评估单元以及知识掌握度评估单元。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种基于人脸情绪识别的智能辅助教学方法及系统，所述方法包括：对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。本发明能够结合大数据挖掘技术对在课堂环境中所采集到的情绪信息加以分析和统计，并推送至客户端，使教师能够全面地了解学生的精神状态与学习状态，同时能够掌握课堂教学情况，进而帮助教师及时改进教学策略，提高教学质量和效率。
附图说明
图1为本发明第一实施例提供的一种基于人脸情绪识别的智能辅助教学方法的流程示意图；
图2为本发明第一实施例提供的人脸情绪识别的流程示意图；
图3为本发明第二实施例提供的一种基于人脸情绪识别的智能辅助教学系统的结构示意图；
图4为本发明第二实施例提供的识别模块的结构示意图；
图5为本发明第二实施例提供的状态评估模块的结构示意图；
图6为本发明第二实施例提供的交互显示器的结构示意图；
图7为本发明第二实施例提供的信息网络管理模块的结构示意图；
图8为本发明第二实施例提供的另一种基于人脸情绪识别的智能辅助教学系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先介绍本发明可以提供的应用场景，如为传统教育提供智能辅助教学。
现在的学校大多采用大班制教学，由于学生人数较多，因此无法很难监督学生学习，教师很难准确判断每个学生的课堂学习状态以及了解每个学生对知识的掌握度，而本发明能够结合大数据挖掘技术对在课堂环境中所采集到的情绪信息加以分析和统计，使教师能够全面地了解学生的精神状态与学习状态，同时能够掌握课堂教学情况。
本发明第一实施例：
请参阅图1-2。
如图1所示，本实施例提供的一种基于人脸情绪识别的智能辅助教学方法，包括如下步骤：
S101、对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
S102、通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
S103、将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。
对于步骤S103，利用情绪识别技术，可通过学生的表情变化判断该学生是否对教师所讲知识感到困惑，并在课后反馈结果给教师，帮助教师了解学生对知识的掌握度，通过该系统提供的数据，了解学生学习状态，改善教学方法与内容。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学方法，还包括：
S104、根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
对于步骤S104，通过人脸识别可自动判断学生是否出勤，并统计实时出勤人数，防止迟到早退的现象发生，并记录没有出勤及迟到早退学生的信息，最后反馈结果给教师，大大减少教师的压力与节省上课时间。
S105、统计学生的状态评估信息并存储至信息网络管理模块。
在优选的实施例中，如图2所示，所述通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别，具体为：
利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
具体的，所述人脸情绪识别，使用带有3D结构光的相机拍摄人脸图像，图像经采集处理系统处理后获得被测人脸数据，得到一张拥有深度的光线图像，并通过三维人脸定位建模技术，精确捕捉面部肌肉运动节点，标记特征点(眼睛、口鼻、眉毛、面部轮廓等)，然后与数据库中的已存在的信息进行对比，当信息特征与已录入信息达到限定的相似度时，输出对被识别人的情绪识别结果。
同时，通过人脸的面部特征识别，还可自动识别出学生身体上(主要是脸上)的伤痕及学生的表情，判断学生是否受到伤害，遭遇校园暴力，并将结果反馈给教师，提醒教师，减少校园暴力的发生率。
在优选的实施例中，所述状态评估包括心理状态评估、伤害评估、课堂专注度评估以及知识掌握度评估。
具体的，通过情绪识别可判断该学生处于哪种情绪，并将那些处于消极情绪的学生信息反馈给教师，提醒教师重视该类学生，此做法有助于青少年的健康成长。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学方法，还包括通过交互显示器发出信息提醒上课状态异常的学生。
具体的，通过图像识别与情绪识别可自动判断该学生是否专心听课，如不是将提醒该学生并监督学生学习，有助于提高学生上课专注度与效率，同时并将相关信息反馈给教师，并且教师可通过操作发送信息提醒上课状态异常的同学。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学方法，还包括通过APP实时接收学生评估状态信息。
具体的，教师也可通过手机APP查看当前教堂学生的上课状态，而不仅仅限于在课室内对学生进行关注和管理，提高教学管理效率。
在具体的实施例中，在学生进入教室后可随时掌握学生实时状态与信息，并将其进行处理，避免了因教师的疏忽而造成严重事情的发生，同时大大提高教学的效率，减少教师的压力，使每一个学生都能被教师关心与关注，从而促进学生的全面发展。在进行使用时，首先在每个学生的座位安装摄像头与交互显示器，然后打开无线信号端口，摄像机采集到的信息及时到达图像采集预处理，由图像采集预处理进行人脸情绪识别和学生锁定模块将信息传送至学生状态评估系统，通过学生状态评估系统上的各项评估项目，确定该学生的状态，然后将信息传送到交互显示器与教师的手机APP上，最后交互显示器将相关信息传送到信息网络管理系统进行信息储存。学生还可通过交互显示器与教师交谈，得到帮助，解决问题，交互显示器还可对学生进行信息提醒与通知，如可在交互显示器上查阅课程表、作业、考试等信息，交互显示器也可在上课时发出信息提醒上课状态异常的学生(睡觉、走神等)。
本实施例提供的一种基于人脸情绪识别的智能辅助教学方法，所述方法包括：对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。本发明能够结合大数据挖掘技术对在课堂环境中所采集到的情绪信息加以分析和统计，并推送至客户端，使教师能够全面地了解学生的精神状态与学习状态，同时能够掌握课堂教学情况，进而帮助教师及时改进教学策略，提高教学质量和效率。
本发明第二实施例：
请参阅图3-8。
如图3所示，本实施例还提供了一种基于人脸情绪识别的智能辅助教学系统，包括：
采集模块100，用于对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
识别模块200，用于通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
状态评估模块300，用于对所述人脸情绪信息进行状态评估，并发送状态评估信息至交互显示器。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学系统，还包括：
考勤模块400，用于根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
信息网络管理模块500，用于统计并存储学生的状态评估信息。
在优选的实施例中，如图4所示，所述识别模块包括人脸跟踪单元、人脸分割单元、人脸特征点提取单元和数据匹配单元；其中，
人脸跟踪单元，用于利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
人脸分割单元，用于对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
人脸特征点提取单元，用于通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
数据匹配单元，用于根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
在优选的实施例中，如图5所示，所述状态评估模块包括心理状态评估单元、伤害评估单元、课堂专注度评估单元以及知识掌握度评估单元。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学系统，还包括通过交互显示器发出信息提醒上课状态异常的学生。
在优选的实施例中，所述基于人脸情绪识别的智能辅助教学系统，还包括通过APP实时接收学生评估状态信息。
在具体的实施例中，如图6所示，所述交互显示器下端设有信息通知单元、评估结果单元和求助教师单元等功能模块。
在具体的实施例中，如图7所示，所述信息网络管理模块包括大数据统计单元、信息储存单元和管理平台单元。
在具体的实施例中，如图8所示的基于人脸情绪识别的智能辅助教学系统另一种结构，包括摄像机、图像采集预处理、学生锁定模块、学生状态评估系统、信息网络管理系统，所述摄像机通过无线信号端口与所述图像采集预处理相连接，所述图像采集预处理上设有人脸检测，所述人脸检测与学生锁定模块相连接，所述学生锁定模块与考勤模块、情绪识别模块相连接，所述情绪识别模块与学生状态评估系统相连接，所属情绪识别模块下端设有人脸跟踪、人脸分割、人脸特征点提取、数据匹配，所述学生状态评估系统下端设有心理状态评估、伤害评估、专注度评估、知识掌握度评估，所述学生状态评估系统与信息网络管理系统、交互显示器相连接，所述信息网络管理系统下端设有大数据统计、信息储存、管理平台，所述交互显示器下端设有信息通知、评估结果、求助教师等功能模块。
本实施例提供的一种基于人脸情绪识别的智能辅助教学系统，所述系统包括：用于对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据的采集模块；用于通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息的识别模块；用于对所述人脸情绪信息进行状态评估，并发送状态评估信息至交互显示器的状态评估模块。本发明能够结合大数据挖掘技术对在课堂环境中所采集到的情绪信息加以分析和统计，并推送至客户端，使教师能够全面地了解学生的精神状态与学习状态，同时能够掌握课堂教学情况，进而帮助教师及时改进教学策略，提高教学质量和效率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种基于人脸情绪识别的智能辅助教学方法，其特征在于，包括如下步骤：
对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
将所述人脸情绪信息输入到学生状态评估模块进行状态评估，并发送状态评估信息至交互显示器。
2.根据权利要求1所述的基于人脸情绪识别的智能辅助教学方法，其特征在于，还包括：
根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
统计学生的状态评估信息并存储至信息网络管理模块。
3.根据权利要求1所述的基于人脸情绪识别的智能辅助教学方法，其特征在于，所述通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别，具体为：
利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
4.根据权利要求1所述的基于人脸情绪识别的智能辅助教学方法，其特征在于，所述状态评估包括心理状态评估、伤害评估、课堂专注度评估以及知识掌握度评估。
5.根据权利要求1所述的基于人脸情绪识别的智能辅助教学方法，其特征在于，还包括通过交互显示器发出信息提醒上课状态异常的学生。
6.根据权利要求1所述的基于人脸情绪识别的智能辅助教学方法，其特征在于，还包括通过APP实时接收学生评估状态信息。
7.一种基于人脸情绪识别的智能辅助教学系统，其特征在于，包括：
采集模块，用于对摄像设备实时采集的学生的人脸图像进行预处理，得到人脸数据；
识别模块，用于通过三维人脸定位建模技术对所述人脸数据进行人脸情绪识别以及学生身份识别，得到该学生的人脸情绪信息和身份信息；
状态评估模块，用于对所述人脸情绪信息进行状态评估，并发送状态评估信息至交互显示器。
8.根据权利要求7所述的基于人脸情绪识别的智能辅助教学系统，其特征在于，还包括：
考勤模块，用于根据学生的身份信息进行自动考勤打卡，统计实时出勤人数，记录缺勤、迟到或早退学生信息并发送至交互显示器；
信息网络管理模块，用于统计并存储学生的状态评估信息。
9.根据权利要求7所述的基于人脸情绪识别的智能辅助教学系统，其特征在于，所述识别模块包括人脸跟踪单元、人脸分割单元、人脸特征点提取单元和数据匹配单元；其中，
人脸跟踪单元，用于利用带有3D结构光的摄像设备对人脸进行跟踪拍摄，得到人脸数据；
人脸分割单元，用于对所述人脸数据进行人脸区域分割，得到拥有深度的光线图像；
人脸特征点提取单元，用于通过三维人脸定位建模技术对所述光线图像进行捕捉脸部肌肉运动节点，并标记脸部特征点，得到脸部特征信息；
数据匹配单元，用于根据所述脸部特征信息与数据库中预先录入的脸部特征信息进行对比，在判断达到限定的相似度时，输出对应的人脸情绪信息以及身份信息。
10.根据权利要求7所述的基于人脸情绪识别的智能辅助教学系统，其特征在于，所述状态评估模块包括心理状态评估单元、伤害评估单元、课堂专注度评估单元以及知识掌握度评估单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910306758.0A CN110059614A (zh) | 2019-04-16 | 2019-04-16 | 一种基于人脸情绪识别的智能辅助教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910306758.0A CN110059614A (zh) | 2019-04-16 | 2019-04-16 | 一种基于人脸情绪识别的智能辅助教学方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059614A true CN110059614A (zh) | 2019-07-26 |
Family
ID=67317781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910306758.0A Pending CN110059614A (zh) | 2019-04-16 | 2019-04-16 | 一种基于人脸情绪识别的智能辅助教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059614A (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458069A (zh) * | 2019-08-02 | 2019-11-15 | 深圳市华方信息产业有限公司 | 一种基于脸部识别辅助管理用户在线学习状态的方法及系统 |
| CN110533336A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种教学决策匹配方法及装置 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110808066A (zh) * | 2019-11-01 | 2020-02-18 | 广州云蝶科技有限公司 | 教学环境安全分析方法 |
| CN110837947A (zh) * | 2019-10-11 | 2020-02-25 | 杭州电子科技大学 | 一种基于音视频分析技术的教师授课专注度的评估方法 |
| CN110889908A (zh) * | 2019-12-10 | 2020-03-17 | 吴仁超 | 一种融合人脸识别与数据分析的智能签到系统 |
| CN110929991A (zh) * | 2019-10-31 | 2020-03-27 | 深圳大学 | 一种基于课堂学生行为分析的学习质量评估系统和方法 |
| CN110991330A (zh) * | 2019-11-29 | 2020-04-10 | 上海依图信息技术有限公司 | 一种教学辅助方法及装置 |
| CN111062844A (zh) * | 2020-03-17 | 2020-04-24 | 浙江正元智慧科技股份有限公司 | 一种智慧校园智能控制系统 |
| CN111178273A (zh) * | 2019-12-30 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种基于情绪变化的教育方法及装置 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
| CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
| CN111698452A (zh) * | 2020-06-28 | 2020-09-22 | 中国银行股份有限公司 | 在线群体状态反馈方法、系统及装置 |
| CN111803097A (zh) * | 2020-08-15 | 2020-10-23 | 吉林医药学院附属医院 | 一种基于大数据的病人心理状态检测系统 |
| CN111815489A (zh) * | 2020-08-20 | 2020-10-23 | 西安石油大学 | 一种基于大数据的算法分析设计教学方法及装置 |
| CN112528890A (zh) * | 2020-12-15 | 2021-03-19 | 北京易华录信息技术股份有限公司 | 一种注意力评估方法、装置及电子设备 |
| CN113128260A (zh) * | 2019-12-30 | 2021-07-16 | 苏州快乐脑信息技术有限公司 | 一种教学管理系统及方法 |
| CN113823134A (zh) * | 2021-09-23 | 2021-12-21 | 黑龙江大学 | 一种具有学生情绪分析功能的线上课堂交互装置及其方法 |
| CN114220135A (zh) * | 2020-09-04 | 2022-03-22 | 森兰信息科技（上海）有限公司 | 教学中的人脸的注意力、表情识别方法、系统、介质及装置 |
| CN115064016A (zh) * | 2022-05-26 | 2022-09-16 | 浙江吉云教育科技集团有限公司 | 一种基于智能感知设备的智能助教系统 |
| CN116168346A (zh) * | 2023-04-21 | 2023-05-26 | 独数一智(北京)信息科技有限公司 | 一种基于学生行为捕捉的远程伴读监督系统 |
| CN116645252A (zh) * | 2023-07-21 | 2023-08-25 | 广州市润心教育咨询有限公司 | 一种应用大数据的人工智能教育系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544468A (zh) * | 2013-07-05 | 2014-01-29 | 北京航空航天大学 | 3d人脸表情识别方法和装置 |
| CN106846949A (zh) * | 2017-03-07 | 2017-06-13 | 佛山市金蓝领教育科技有限公司 | 一种远程情感教学系统 |
| CN106919922A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市金蓝领教育科技有限公司 | 一种防作弊远程考试系统 |
| CN108062546A (zh) * | 2018-02-11 | 2018-05-22 | 厦门华厦学院 | 一种计算机人脸情绪识别系统 |
-
2019
- 2019-04-16 CN CN201910306758.0A patent/CN110059614A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544468A (zh) * | 2013-07-05 | 2014-01-29 | 北京航空航天大学 | 3d人脸表情识别方法和装置 |
| CN106846949A (zh) * | 2017-03-07 | 2017-06-13 | 佛山市金蓝领教育科技有限公司 | 一种远程情感教学系统 |
| CN106919922A (zh) * | 2017-03-07 | 2017-07-04 | 佛山市金蓝领教育科技有限公司 | 一种防作弊远程考试系统 |
| CN108062546A (zh) * | 2018-02-11 | 2018-05-22 | 厦门华厦学院 | 一种计算机人脸情绪识别系统 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458069A (zh) * | 2019-08-02 | 2019-11-15 | 深圳市华方信息产业有限公司 | 一种基于脸部识别辅助管理用户在线学习状态的方法及系统 |
| CN110533336A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种教学决策匹配方法及装置 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110598632B (zh) * | 2019-09-12 | 2022-09-09 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110837947A (zh) * | 2019-10-11 | 2020-02-25 | 杭州电子科技大学 | 一种基于音视频分析技术的教师授课专注度的评估方法 |
| CN110929991A (zh) * | 2019-10-31 | 2020-03-27 | 深圳大学 | 一种基于课堂学生行为分析的学习质量评估系统和方法 |
| CN110808066A (zh) * | 2019-11-01 | 2020-02-18 | 广州云蝶科技有限公司 | 教学环境安全分析方法 |
| CN110991330A (zh) * | 2019-11-29 | 2020-04-10 | 上海依图信息技术有限公司 | 一种教学辅助方法及装置 |
| CN110889908A (zh) * | 2019-12-10 | 2020-03-17 | 吴仁超 | 一种融合人脸识别与数据分析的智能签到系统 |
| CN110889908B (zh) * | 2019-12-10 | 2020-11-27 | 苏州鱼得水电气科技有限公司 | 一种融合人脸识别与数据分析的智能签到系统 |
| CN111178273A (zh) * | 2019-12-30 | 2020-05-19 | 云知声智能科技股份有限公司 | 一种基于情绪变化的教育方法及装置 |
| CN113128260A (zh) * | 2019-12-30 | 2021-07-16 | 苏州快乐脑信息技术有限公司 | 一种教学管理系统及方法 |
| CN111275345A (zh) * | 2020-01-22 | 2020-06-12 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
| CN111275345B (zh) * | 2020-01-22 | 2023-08-08 | 重庆大学 | 一种基于深度学习的课堂信息化评价及管理的系统及方法 |
| CN111062844A (zh) * | 2020-03-17 | 2020-04-24 | 浙江正元智慧科技股份有限公司 | 一种智慧校园智能控制系统 |
| CN111476217A (zh) * | 2020-05-27 | 2020-07-31 | 上海乂学教育科技有限公司 | 基于情绪识别的智能学习系统和方法 |
| CN111698452A (zh) * | 2020-06-28 | 2020-09-22 | 中国银行股份有限公司 | 在线群体状态反馈方法、系统及装置 |
| CN111803097A (zh) * | 2020-08-15 | 2020-10-23 | 吉林医药学院附属医院 | 一种基于大数据的病人心理状态检测系统 |
| CN111815489A (zh) * | 2020-08-20 | 2020-10-23 | 西安石油大学 | 一种基于大数据的算法分析设计教学方法及装置 |
| CN111815489B (zh) * | 2020-08-20 | 2023-04-25 | 西安石油大学 | 一种基于大数据的算法分析设计教学方法及装置 |
| CN114220135A (zh) * | 2020-09-04 | 2022-03-22 | 森兰信息科技（上海）有限公司 | 教学中的人脸的注意力、表情识别方法、系统、介质及装置 |
| CN112528890A (zh) * | 2020-12-15 | 2021-03-19 | 北京易华录信息技术股份有限公司 | 一种注意力评估方法、装置及电子设备 |
| CN112528890B (zh) * | 2020-12-15 | 2024-02-13 | 北京易华录信息技术股份有限公司 | 一种注意力评估方法、装置及电子设备 |
| CN113823134A (zh) * | 2021-09-23 | 2021-12-21 | 黑龙江大学 | 一种具有学生情绪分析功能的线上课堂交互装置及其方法 |
| CN115064016A (zh) * | 2022-05-26 | 2022-09-16 | 浙江吉云教育科技集团有限公司 | 一种基于智能感知设备的智能助教系统 |
| CN115064016B (zh) * | 2022-05-26 | 2023-11-10 | 浙江吉云教育科技集团股份有限公司 | 一种基于智能感知设备的智能助教系统 |
| CN116168346A (zh) * | 2023-04-21 | 2023-05-26 | 独数一智(北京)信息科技有限公司 | 一种基于学生行为捕捉的远程伴读监督系统 |
| CN116168346B (zh) * | 2023-04-21 | 2023-08-18 | 独数一智(北京)信息科技有限公司 | 一种基于学生行为捕捉的远程伴读监督系统 |
| CN116645252A (zh) * | 2023-07-21 | 2023-08-25 | 广州市润心教育咨询有限公司 | 一种应用大数据的人工智能教育系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059614A (zh) | 一种基于人脸情绪识别的智能辅助教学方法及系统 | |
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| CN111046819B (zh) | 一种行为识别处理方法及装置 | |
| CN109727167B (zh) | 一种教学辅助系统 | |
| CN111833861B (zh) | 基于人工智能的事件评估报告生成 | |
| CN109685692A (zh) | 一种多维度学生学习行为的无感采集及分析系统 | |
| CN104299178A (zh) | 一种基于面部识别的网络教学方法及系统 | |
| CN111563702B (zh) | 一种课堂教学互动系统 | |
| CN110097283B (zh) | 基于人脸识别的教学管理系统及方法 | |
| CN111178136A (zh) | 一种基于大数据的智慧校园身份识别方法及系统 | |
| CN109284713A (zh) | 一种基于摄像头采集表情数据的情绪识别分析系统 | |
| CN111402096A (zh) | 一种在线授课质量管理方法、系统、设备和介质 | |
| CN112598552A (zh) | 一种教育课堂数据分析系统 | |
| Butko et al. | Automated facial affect analysis for one-on-one tutoring applications | |
| CN114299617A (zh) | 一种教学互动情况识别方法、装置、设备及存储介质 | |
| CN111178263B (zh) | 一种实时表情分析方法及其装置 | |
| CN116825288A (zh) | 孤独症康复课程记录方法、装置、电子设备及存储介质 | |
| Seneviratne et al. | Student and lecturer performance enhancement system using artificial intelligence | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
| CN109118512A (zh) | 一种基于机器视觉的课堂迟到早退检测方法 | |
| CN113542668A (zh) | 一种基于3d摄像头的监控系统及方法 | |
| CN116416839A (zh) | 一种基于物联网实训系统的实训辅助教学的方法 | |
| CN114140282B (zh) | 一种基于深度学习的普教课堂答题快速评审方法及装置 | |
| CN115409413A (zh) | 一种面向学生教研的多源数据管理方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Ma Ge Inventor after: Xu Yi Inventor after: Zhao Zhijia Inventor after: Liu Guiyun Inventor after: Li Zhifu Inventor before: Ma Ge Inventor before: Xu Xiang Inventor before: Zhao Zhijia Inventor before: Liu Guiyun Inventor before: Li Zhifu |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |