CN111178263B - 一种实时表情分析方法及其装置 - Google Patents

一种实时表情分析方法及其装置 Download PDF

Info

Publication number
CN111178263B
CN111178263B CN201911393468.0A CN201911393468A CN111178263B CN 111178263 B CN111178263 B CN 111178263B CN 201911393468 A CN201911393468 A CN 201911393468A CN 111178263 B CN111178263 B CN 111178263B
Authority
CN
China
Prior art keywords
expression
convolution layer
students
learning
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911393468.0A
Other languages
English (en)
Other versions
CN111178263A (zh
Inventor
海克洪
王迎曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Meihe Yisi Digital Technology Co ltd
Original Assignee
Wuhan Meihe Yisi Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Meihe Yisi Digital Technology Co ltd filed Critical Wuhan Meihe Yisi Digital Technology Co ltd
Priority to CN201911393468.0A priority Critical patent/CN111178263B/zh
Publication of CN111178263A publication Critical patent/CN111178263A/zh
Application granted granted Critical
Publication of CN111178263B publication Critical patent/CN111178263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种实时表情分析方法以及装置，在电子班牌中设置人脸识别单元、表情分析单元、学情分析单元和状态提示单元，可以将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整；另外，电子班牌本身可以存储有学生和教师的基本信息，通过摄像头获取人脸图像，根据人脸图像匹配可以快速的找到对应的人员，简化人脸识别的算法。由于电子班牌本身可以获取学生身份信息、教师身份信息和课表信息等，在现有信息的基础上增加人脸识别与表情分析功能可以简化数据采集的过程。

Description

一种实时表情分析方法及其装置
技术领域
本发明涉及表情分析领域，尤其涉及一种实时表情分析方法及其装置。
背景技术
高校学生管理顺应互联网、人工智能等技术变革也注入了新的方法，课堂学情分析作为检测学生学习情况、评估课堂授课质量的重要组成部分，引入了表情识别技术，更直观的让学校了解课堂管理情况以便于针对性的调整教育方式,更好的做到因材施教。但是由于表情识别技术由于光强和姿势问题，表情识别技术受到较大的干扰，导致最后的表情识别不够精确，并且表情识别技术算法复杂。因此，为解决上述问题，本发明提供一种实时表情分析方法及其装置，可以简化表情分析算法的复杂度，提高表情分析的准确率。
发明内容
有鉴于此，本发明提出了一种实时表情分析方法及其装置，可以简化表情分析算法的复杂度，提高表情分析的准确率。
本发明的技术方案是这样实现的：本发明提供了一种实时表情分析方法，包括以下步骤：
S1、建立用于存储人脸图像的人脸数据库，构建卷积神经网络，由卷积神经网络对人脸数据库中的人脸图像数据进行训练获得表情识别模型；
S2、使用OpenCV检测人脸，将检测到的人脸特征图像放入表情识别模型中，表情识别模型根据人脸特征图像内容给出每种表情的概率，选择概率最大的表情为结果表情，将该结果表情与时间标签关联；
S3、构建结果表情与学情的映射关系；
S4、根据结果表情获知学生的学情信息，分析各类结果表情的数量和总人数的关系，得出学生课堂整体学情情况；根据时间段内，个体学生的结果表情种类和数量，分析个体学生的课堂学情情况。
在以上技术方案的基础上，优选的，S1中的卷积神经网络包含5个卷积层和3个全连接层；
第一卷积层对输入的图像做过滤处理，第二卷积层的输入连接到第一卷积层的输出，其对第一卷积层输出的图像做过滤处理；第三卷积层的输入连接到第二卷积层的输出，其对第二卷积层的输出做卷积处理；第四卷积层的输入连接到第三卷积层的输出，其对第三卷积层的输出做卷积处理；第五卷积层的输入连接到第四卷积层的输出，其对第四卷积层的输出做卷积处理；第一全连接层连接到第五卷积层的输出，第二全连接层将第一全连接层的输出作为输入，第三全连接层将第二全连接层的输出作为输入。
进一步优选的，第一卷积层具有96个大小为11×11的内核，第二卷积层具有128个5×5×48的内核，第三卷积层具有192个大小为3×3×128的内核，第四卷积层具有192个大小为3×3×192的内核，第五卷积层具有128个大小为3×3×192的内核，3个全连接层均具有1024个神经元。
在以上技术方案的基础上，优选的，S2中使用OpenCV的Haar特征级联分类器检测和切割人脸，所述Haar特征级联分类器返回图片中的人脸位置信息，得到人脸位置信息后便可将图片中所有人脸图像提取出，并将提取出的人脸图像转换为单通道灰度图像。
在以上技术方案的基础上，优选的，S3中表情与学情的映射关系为：将学生对当前讲解接收程度按照百分比划分，当表情为茫然，对应的学情为学生对当前讲解的接收程度为10％；当表情为疑惑，对应的学情为学生对当前讲解的接收程度为50％；当表情为严肃，对应的学情为学生对当前讲解的接收程度为70％；当表情为淡然，对应的学情为学生对当前讲解的接收程度为90％；对应的学情喜悦，对应的学情为学生对当前讲解的接收程度为100％。
另一方面，本发明提供一种电子班牌，其包括中心处理器、显示控制单元和数据采集单元，其特征在于：还包括人脸识别单元、表情分析单元、学情分析单元和状态提示单元；
数据采集单元包括内置或外接高清摄像头以及接口读取部件，通过高清摄像头采集采集学生头像信息和采集老师头像信息，接口读取部件采集学生文件信息、采集课表文件信息和老师文件信息；
人脸识别单元根据采集的学生头像信息和教师头像信息进行人脸对比、分析和识别，得出学生和教师身份信息；
表情分析单元对人面部细微表情的捕捉与分析，判断听课学生处于具体情绪状态；
学情分析单元建立表情与学情的映射关系，实时对每个人的情绪状态对应的学情信息进行统计分析，得出个人全程听课质量；实时对班级所有人的情绪状态对应的学情信息进行统计分析，得出全体学生综合听课质量；
状态提示单元实时指示学生听课质量，用绿、蓝、黄、橙、红五色提示灯和五色提示状态条，实时指示5分钟内全班学生的听课质量，以及全班学生整节课接受的质量；
中心处理器协调各处理单元，所述显示控制单元显示课表、学校动态、校园公告信息，并使用用绿、蓝、黄、橙、红五色提示状态条，指示学生实时接受的质量；
数据采集单元、人脸识别单元、表情分析单元、学情分析单元和中心处理器顺次电性连接，显示控制单元和状态提示单元分别与中心处理器电性连接。
在以上技术方案的基础上，优选的，学情分析单元建立表情与学情的映射关系为：将学生对当前讲解接收程度按照百分比划分，当表情为茫然，对应的学情为学生对当前讲解的接收程度为10％；当表情为疑惑，对应的学情为学生对当前讲解的接收程度为50％；当表情为严肃，对应的学情为学生对当前讲解的接收程度为70％；当表情为淡然，对应的学情为学生对当前讲解的接收程度为90％；对应的学情喜悦，对应的学情为学生对当前讲解的接收程度为100％。
在以上技术方案的基础上，优选的，状态提示单元根据全班人数与各类表情总数的比值显示指示灯的颜色，设全班人数与各类表情总数的比值为X；
若X≥90％，表示全班听课质量优秀，指示灯显示绿色；
若90％>x≥70％，表示全班听课质量较好，指示灯显示蓝色；
若70％>x≥60％，表示全班听课质量一般，指示灯显示黄色；
若60％>x≥40％，表示全班听课质量较差，指示灯显示橙色；
若40％>x，表示全班听课质量极差，指示灯显示红色。
本发明的一种实时表情分析方法及其装置相对于现有技术具有以下有益效果：
(1)通过卷积层神经网络训练获得表情识别模型相比于传统的ASM具有简化表情分析算法的复杂度，提高表情分析的准确率的优点；通过将卷积神经网络设置5个连续卷积层和3个全连接层，并且将3个全连接层的神经元设置为1024个，该结构是具有优异分类性能、较少执行时间和较少训练参数的最佳结构。当卷积层的信道数量减少时，计算量呈二次方减小，每个卷积层的信道数减少了1/2，这大幅减少了计算量；
(2)将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整；
(3)在电子班牌中设置人脸识别单元、表情分析单元、学情分析单元和状态提示单元，可以将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整；另外，电子班牌本身可以存储有学生和教师的基本信息，通过摄像头获取人脸图像，根据人脸图像匹配可以快速的找到对应的人员，简化人脸识别的算法。由于电子班牌本身可以获取学生身份信息、教师身份信息和课表信息等，在现有信息的基础上增加人脸识别与表情分析功能可以简化数据采集的过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种实时表情分析方法的流程图；
图2为本发明一种实时表情分析装置的结构图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种实时表情分析方法，包括以下步骤：
S1、建立用于存储人脸图像的人脸数据库，构建卷积神经网络，由卷积神经网络对人脸数据库中的人脸图像数据进行训练获得表情识别模型；
进一步优选的，卷积神经网络包含5个卷积层和3个全连接层；其中，第一卷积层具有96个大小为11×11的内核，其对输入的图像做过滤处理，第二卷积层具有128个5×5×48的内核，其输入连接到第一卷积层的输出，并对第一卷积层输出的图像做过滤处理；第三卷积层具有192个大小为3×3×128的内核，其输入连接到第二卷积层的输出，并对第二卷积层的输出做卷积处理；第四卷积层具有192个大小为3×3×192的内核，其输入连接到第三卷积层的输出，并对第三卷积层的输出做卷积处理；第五卷积层具有128个大小为3×3×192的内核，其输入连接到第四卷积层的输出，并对第四卷积层的输出做卷积处理；第一全连接层连接到第五卷积层的输出，第二全连接层将第一全连接层的输出作为输入，第三全连接层将第二全连接层的输出作为输入。3个全连接层均具有1024个神经元。
本实施例中，将卷积层的数量设置为5个连续的卷积层，并且将3个全连接层的神经元设置为1024个，该结构是具有优异分类性能、较少执行时间和较少训练参数的最佳结构。当卷积层的信道数量减少时，计算量呈二次方减小，每个卷积层的信道数减少了1/2，这大幅减少了计算量。
进一步优选的，为了提高卷积神经网络识别人脸表情的精度，本实施例中，增加训练图像的数量，从而可以提高由卷积神经网络训练获取到的表情识别模型的检测精度。具体的，将训练图像进行灰度处理得到灰色训练图像，将灰色训练图像以角度旋转-15°、-10°、-5°、+5°、+10°和+15°，以及水平翻转，获得14张图像，通过该方法增加人脸数据库存储图像的数量，并使用该数据库的训练改进卷积神经网络。
S2、使用OpenCV检测人脸，将检测到的人脸特征图像放入表情识别模型中，表情识别模型根据人脸特征图像内容给出每种表情的概率，选择概率最大的表情为结果表情，将该结果表情与时间标签关联；
进一步优选的，本实施例中，使用OpenCV的Haar特征级联分类器检测和切割人脸，所述Haar特征级联分类器返回图片中的人脸位置信息，得到人脸位置信息后便可将图片中所有人脸图像提取出，并将提取出的人脸图像转换为单通道灰度图像。
S3、构建结果表情与学情的映射关系；
进一步优选的，表情与学情的映射关系为：表情为茫然，对应的学情为学生没听懂；表情为疑惑，对应的学情为学生。
S4、根据结果表情获知学生的学情信息，分析各类结果表情的数量和总人数的关系，得出学生课堂整体学情情况；根据时间段内，个体学生的结果表情种类和数量，分析个体学生的课堂学情情况。
进一步优选的，设全班人数与各类表情总数的比值为X；
若X≥90％，表示全班听课质量优秀，指示灯显示绿色；
若90％>x≥70％，表示全班听课质量较好，指示灯显示蓝色；
若70％>x≥60％，表示全班听课质量一般，指示灯显示黄色；
若60％>x≥40％，表示全班听课质量较差，指示灯显示橙色；
若40％>x，表示全班听课质量极差，指示灯显示红色。
进一步优选的，将个人实时表情与时间标签相关联，建立时间与表情的坐标图，根据坐标图可以得出个体学生在一节课、一天甚至一年的上课学习状态。
本实施例的有益效果为：通过卷积层神经网络训练获得表情识别模型相比于传统的ASM具有简化表情分析算法的复杂度，提高表情分析的准确率的优点；通过将卷积神经网络设置5个连续卷积层和3个全连接层，并且将3个全连接层的神经元设置为1024个，该结构是具有优异分类性能、较少执行时间和较少训练参数的最佳结构。当卷积层的信道数量减少时，计算量呈二次方减小，每个卷积层的信道数减少了1/2，这大幅减少了计算量；
将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整。
实施例2
在实施例1的基础上，本实施例提供一种实时表情分析装置，如图2所示，其包括中心处理器、显示控制单元、数据采集单元、人脸识别单元、表情分析单元、学情分析单元和状态提示单元。
数据采集单元，包括内置或外接高清摄像头以及接口读取部件，通过高清摄像头采集采集学生头像信息和采集老师头像信息，接口读取部件采集学生文件信息、采集课表文件信息和老师文件信息；其中，高清摄像头获取到的人脸图像传输给人脸识别单元，进行人脸的识别，对比人脸库，得出学生身份信息、教师身份信息；接口读取部件，例如读卡器、U盘接口等获取学生信息、课表信息和教师信息，其中，学生信息包括：学号、姓名、性别、头像、年级等；课表信息包括：上课时间、下课时间、科目、科目教师等；教师信息包括：教师编号、教师姓名、性别、教受科目等；
人脸识别单元根据采集的学生头像信息和教师头像信息进行人脸对比、分析和识别，得出学生和教师身份信息。
表情分析单元对人面部细微表情的捕捉与分析，判断听课学生处于具体情绪状态；
学情分析单元建立表情与学情的映射关系，实时对每个人的情绪状态对应的学情信息进行统计分析，得出个人全程听课质量；实时对班级所有人的情绪状态对应的学情信息进行统计分析，得出全体学生综合听课质量；具体实施步骤为：实时对每个人的情绪状态信息进行统计分析，对茫然与疑惑等不解的表情统计分析，总结出每个学生全程听课质量的实时报表，实时对所有人茫然与疑惑等不解的表情统计分析，统计分析全班同学综合听课质量报告。同时还对所有学生疲劳等指数进行实时跟踪，调节讲课的速度。
其中，学情分析单元建立表情与学情的映射关系为：将学生对当前讲解接收程度按照百分比划分，当表情为茫然，对应的学情为学生对当前讲解的接收程度为10％；当表情为疑惑，对应的学情为学生对当前讲解的接收程度为50％；当表情为严肃，对应的学情为学生对当前讲解的接收程度为70％；当表情为淡然，对应的学情为学生对当前讲解的接收程度为90％；对应的学情喜悦，对应的学情为学生对当前讲解的接收程度为100％。
状态提示单元实时指示学生听课质量，用绿、蓝、黄、橙、红五色提示灯和五色提示状态条，实时指示5分钟内全班学生的听课质量，以及全班学生整节课接受的质量；状态提示单元根据全班人数与各类表情总数的比值显示指示灯的颜色，设全班人数与各类表情总数的比值为X；
若X≥90％，表示全班听课质量优秀，指示灯显示绿色；
若90％>x≥70％，表示全班听课质量较好，指示灯显示蓝色；
若70％>x≥60％，表示全班听课质量一般，指示灯显示黄色；
若60％>x≥40％，表示全班听课质量较差，指示灯显示橙色；
若40％>x，表示全班听课质量极差，指示灯显示红色。
中心处理器协调各处理单元，显示控制单元显示课表、学校动态、校园公告信息，并使用用绿、蓝、黄、橙、红五色提示状态条，指示学生实时接受的质量；
数据采集单元、人脸识别单元、表情分析单元、学情分析单元和中心处理器顺次电性连接，显示控制单元和状态提示单元分别与中心处理器电性连接。
进一步优选的，本实施例中还包括：数据存储单元，功能一：存储学生信息，包括：学号、姓名、性别、头像、年级等；功能二：存储课表信息，包括：上课时间、下课时间，科目、科目教师等；功能三：存储教师信息，包括：教师编号、教师姓名、性别、教受科目等；功能四：存储表情信息，具体时间学生的情绪，具体时间段全班学性情绪统计；功能五：存储学情信息，具体时间学生课堂听课质量，全班学性听课质量学情。
进一步优选的，还包括通信单元，学生动态画面实时上传云端，实现远程云端实时监控。
本实施例的有益效果为：在电子班牌中设置人脸识别单元、表情分析单元、学情分析单元和状态提示单元，可以将表情识别融入学情分析，不仅为学校提供了学生学习情况数据便于督促老师改进教学方式，同时学生也可了解自身学习情况并做出学习计划的调整；另外，电子班牌本身可以存储有学生和教师的基本信息，通过摄像头获取人脸图像，根据人脸图像匹配可以快速的找到对应的人员，简化人脸识别的算法。由于电子班牌本身可以获取学生身份信息、教师身份信息和课表信息等，在现有信息的基础上增加人脸识别与表情分析功能可以简化数据采集的过程。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种实时表情分析方法，其特征在于：包括以下步骤：
S1、建立用于存储人脸图像的人脸数据库，构建卷积神经网络，由卷积神经网络对人脸数据库中的人脸图像数据进行训练获得表情识别模型；
所述S1中的卷积神经网络包含5个卷积层和3个全连接层；
第一卷积层对输入的图像做过滤处理，第二卷积层的输入连接到第一卷积层的输出，其对第一卷积层输出的图像做过滤处理；第三卷积层的输入连接到第二卷积层的输出，其对第二卷积层的输出做卷积处理；第四卷积层的输入连接到第三卷积层的输出，其对第三卷积层的输出做卷积处理；第五卷积层的输入连接到第四卷积层的输出，其对第四卷积层的输出做卷积处理；第一全连接层连接到第五卷积层的输出，第二全连接层将第一全连接层的输出作为输入，第三全连接层将第二全连接层的输出作为输入；
所述第一卷积层具有96个大小为11×11的内核，第二卷积层具有128个5×5×48的内核，第三卷积层具有192个大小为 3×3×128的内核，第四卷积层具有 192 个大小为 3×3×192 的内核，第五卷积层具有 128 个大小为 3×3×192的内核，3个全连接层均具有1024个神经元；
增加训练图像的数量，提高由卷积神经网络训练获取到的表情识别模型的检测精度，将训练图像进行灰度处理得到灰色训练图像，将灰色训练图像以角度旋转-15°、-10°、-5°、+ 5°、+ 10°和+ 15°，以及水平翻转，获得14张图像，通过该方法增加人脸数据库存储图像的数量，并使用该数据库的训练改进卷积神经网络；
S2、使用OpenCV检测人脸，将检测到的人脸特征图像放入表情识别模型中，表情识别模型根据人脸特征图像内容给出每种表情的概率，选择概率最大的表情为结果表情，将该结果表情与时间标签关联；
S3、构建结果表情与学情的映射关系；
所述S3中表情与学情的映射关系为：将学生对当前讲解接收程度按照百分比划分，当表情为茫然，对应的学情为学生对当前讲解的接收程度为10%；当表情为疑惑，对应的学情为学生对当前讲解的接收程度为50%；当表情为严肃，对应的学情为学生对当前讲解的接收程度为70%；当表情为淡然，对应的学情为学生对当前讲解的接收程度为90%；对应的学情喜悦，对应的学情为学生对当前讲解的接收程度为100%；
S4、根据结果表情获知学生的学情信息，分析各类结果表情的数量和总人数的关系，得出学生课堂整体学情情况；根据时间段内，个体学生的结果表情种类和数量，分析个体学生的课堂学情情况；
其中，将个人实时表情与时间标签相关联，建立时间与表情的坐标图。
2.如权利要求1所述的一种实时表情分析方法，其特征在于：所述S2中使用OpenCV 的Haar特征级联分类器检测和切割人脸，所述Haar特征级联分类器返回图片中的人脸位置信息，得到人脸位置信息后便可将图片中所有人脸图像提取出，并将提取出的人脸图像转换为通道灰度图像。
CN201911393468.0A 2019-12-30 2019-12-30 一种实时表情分析方法及其装置 Active CN111178263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393468.0A CN111178263B (zh) 2019-12-30 2019-12-30 一种实时表情分析方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393468.0A CN111178263B (zh) 2019-12-30 2019-12-30 一种实时表情分析方法及其装置

Publications (2)

Publication Number Publication Date
CN111178263A CN111178263A (zh) 2020-05-19
CN111178263B true CN111178263B (zh) 2023-09-05

Family

ID=70657580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393468.0A Active CN111178263B (zh) 2019-12-30 2019-12-30 一种实时表情分析方法及其装置

Country Status (1)

Country Link
CN (1) CN111178263B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380896A (zh) * 2020-09-30 2021-02-19 深圳点猫科技有限公司 一种课堂学情分析方法、装置及设备
CN113657168B (zh) * 2021-07-19 2024-02-06 西安理工大学 基于卷积神经网络的学生学习情绪的识别方法
CN114612977A (zh) * 2022-03-10 2022-06-10 苏州维科苏源新能源科技有限公司 一种基于大数据的采集分析方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951395A (zh) * 2017-02-13 2017-07-14 上海客鹭信息技术有限公司 面向压缩卷积神经网络的并行卷积运算方法及装置
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质
WO2017210462A1 (en) * 2016-06-01 2017-12-07 Ohio State Innovation Foundation System and method for recognition and annotation of facial expressions
CN108304826A (zh) * 2018-03-01 2018-07-20 河海大学 基于卷积神经网络的人脸表情识别方法
JP2018165948A (ja) * 2017-03-28 2018-10-25 国立大学法人神戸大学 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム
CN109284713A (zh) * 2018-09-21 2019-01-29 上海健坤教育科技有限公司 一种基于摄像头采集表情数据的情绪识别分析系统
CN109711371A (zh) * 2018-12-29 2019-05-03 山东旭兴网络科技有限公司 一种基于面部表情识别的课堂教学评估系统
CN109784312A (zh) * 2019-02-18 2019-05-21 深圳锐取信息技术股份有限公司 教学管理方法及装置
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN110046576A (zh) * 2019-04-17 2019-07-23 内蒙古工业大学 一种训练识别面部表情的方法和装置
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789456B2 (en) * 2017-12-28 2020-09-29 Adobe Inc. Facial expression recognition utilizing unsupervised learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210462A1 (en) * 2016-06-01 2017-12-07 Ohio State Innovation Foundation System and method for recognition and annotation of facial expressions
CN106951395A (zh) * 2017-02-13 2017-07-14 上海客鹭信息技术有限公司 面向压缩卷积神经网络的并行卷积运算方法及装置
JP2018165948A (ja) * 2017-03-28 2018-10-25 国立大学法人神戸大学 画像認識装置、画像認識方法、コンピュータプログラム、及び製品監視システム
CN107145904A (zh) * 2017-04-28 2017-09-08 北京小米移动软件有限公司 图像类别的确定方法、装置及存储介质
CN108304826A (zh) * 2018-03-01 2018-07-20 河海大学 基于卷积神经网络的人脸表情识别方法
CN109284713A (zh) * 2018-09-21 2019-01-29 上海健坤教育科技有限公司 一种基于摄像头采集表情数据的情绪识别分析系统
CN110020582A (zh) * 2018-12-10 2019-07-16 平安科技（深圳）有限公司 基于深度学习的人脸情绪识别方法、装置、设备及介质
CN109711371A (zh) * 2018-12-29 2019-05-03 山东旭兴网络科技有限公司 一种基于面部表情识别的课堂教学评估系统
CN109784312A (zh) * 2019-02-18 2019-05-21 深圳锐取信息技术股份有限公司 教学管理方法及装置
CN110046576A (zh) * 2019-04-17 2019-07-23 内蒙古工业大学 一种训练识别面部表情的方法和装置
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人工智能视频处理的课堂学生状态分析;贾鹂宇;张朝晖;赵小燕;闫晓炜;;现代教育技术(第12期);83-89 *

Also Published As

Publication number Publication date
CN111178263A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
CN111178263B (zh) 一种实时表情分析方法及其装置
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
Murshed et al. Engagement detection in e-learning environments using convolutional neural networks
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及系统
CN109522815A (zh) 一种专注度评估方法、装置及电子设备
WO2019028592A1 (zh) 一种教学辅助方法及采用该方法的教学辅助系统
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及系统
CN111046819A (zh) 一种行为识别处理方法及装置
CN111563702B (zh) 一种课堂教学互动系统
CN112862639B (zh) 一种基于大数据分析的在线教育平台的教育方法
CN111402096A (zh) 一种在线授课质量管理方法、系统、设备和介质
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Dash et al. A two-stage algorithm for engagement detection in online learning
Ashwinkumar et al. Deep learning based approach for facilitating online proctoring using transfer learning
CN114187640A (zh) 一种基于线上课堂的学情观察方法、系统、设备及介质
CN108665389A (zh) 一种学生用学习辅助系统
Huang et al. Research on learning state based on students’ attitude and emotion in class learning
D’Silva et al. Spot me-a smart attendance system based on face recognition
CN211293955U (zh) 一种基于视频深度学习的青少年视力守护系统
Pradeesh et al. Fast and reliable group attendance marking system using face recognition in classrooms
Thampan et al. Smart online exam invigilation using ai based facial detection and recognition algorithms
Nabi et al. A Comprehensive Face Recognition Solution for Attendance and Social Security System Using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No.01-6, 1st floor, building 6, international enterprise center, special 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant after: Wuhan Meihe Yisi Digital Technology Co.,Ltd.

Address before: No.01-6, 1st floor, building 6, international enterprise center, special 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Applicant before: HUBEI MEIHE YISI EDUCATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant