CN109815795A - 基于人脸监测的课堂学生状态分析方法及装置 - Google Patents
基于人脸监测的课堂学生状态分析方法及装置 Download PDFInfo
- Publication number
- CN109815795A CN109815795A CN201811534551.0A CN201811534551A CN109815795A CN 109815795 A CN109815795 A CN 109815795A CN 201811534551 A CN201811534551 A CN 201811534551A CN 109815795 A CN109815795 A CN 109815795A
- Authority
- CN
- China
- Prior art keywords
- classroom
- student
- face
- image
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 62
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 230000008921 facial expression Effects 0.000 claims abstract description 66
- 230000014509 gene expression Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 206010016256 fatigue Diseases 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 5
- 230000002035 prolonged effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000034303 cell budding Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及智能课堂技术领域。本发明实施例提供一种基于人脸监测的课堂学生状态分析方法及装置，其中该方法包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，实现了闭环式智慧教育。
Description
技术领域
本发明涉及智能课堂技术领域，具体地涉及一种基于人脸监测的课堂学生状态分析方法及装置。
背景技术
随着科学技术的不断发展，将信息技术应用在课堂学习中的智能课堂技术得到了飞速发展，并且还出现了利用计算机监测分析课堂学习状态的新型技术。
但是，如今的智慧教育或K12课堂仍然处于萌芽阶段，K12课堂教育一直都是大家关注的焦点，但是由于基础教育行业的自身规律、个体用户独立性缺乏等因素，一直缺乏能够规模化走入教师日常教学活动的的互联网应用。
因此，如何借助现代互联网技术监测课堂上学生的状态，以反馈完善教学方式从而实现智慧教学是目前业界的热门研究方向。
发明内容
本发明实施例的目的是提供一种基于人脸监测的课堂学生状态分析方法及装置，应用人工智能技术监测学生上课的课堂状态，并能够完成反馈以实现闭环式智慧教育。
为了实现上述目的，本发明实施例一方面提供一种基于人脸监测的课堂学生状态分析方法，包括：采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；检测所述课堂图像中各个学生的人脸的面部动作；基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。
本发明实施例另一方面提供一种基于人脸监测的课堂学生状态分析装置，包括：课堂模型构建单元，用于采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；面部动作检测单元，用于检测所述课堂图像中各个学生的人脸的面部动作；面部表情抽象单元，用于基于微表情识别神经网络模型，获取所检测的面部动作所对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；教育分析报告生成单元，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。
本发明实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。
本发明实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。
通过上述技术方案，提出了采集课堂图像，并识别课堂图像中学生的身份信息，从而建立课堂模型，然后检测课堂图像中各个学生的人脸的面部动作，并通过微表情识别神经网络模型获取所检测的面部动作所对应的面部表情，进而自动记录各个学生的课堂状态至对应于各个学生的身份信息的教育分析报告。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，能够反馈完善教学方式，从而实现了闭环式智慧教育。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例的基于人脸监测的课堂学生状态分析方法的流程图；
图2是本发明一实施例的基于人脸监测的课堂学生状态分析方法在一优选实施方式的具体流程执行图；
图3是本发明一实施例的基于人脸监测的课堂学生状态分析方法在另一优选实施方式的具体流程执行图；
图4是本发明一实施例的基于人脸监测的课堂学生状态分析方法的原理流程示意图；
图5是本发明一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；
图6是本发明另一实施例的基于人脸监测的课堂学生状态分析装置的结构框图；
图7是本发明一实施例的基于人脸监测的课堂学生状态分析装置的实体装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1所示，本发明一实施例的基于人脸监测的课堂学生状态分析方法，包括：
S11、采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息。
关于本发明实施例方法的实施主体，一方面可以是专用于课堂学生状态分析的专用集成组件、专用服务器或专用终端等；另一方面，还可以是通用型服务器，其中该通用型服务器安装有用于对课堂学生状态分析的模块或配置有用于对课堂学生状态进行分析的程序代码，且以上都属于本发明的保护范围内。
关于课堂图像的采集方式，一方面，可以是通过在课堂内布置摄像头或图像采集器来实现的，例如可以是课堂内的监控摄像头采集监控视频，并通过监控视频的分割操作，从而将所得到的单帧监控视频图像确定为对应的课堂图像。
关于课堂图像中多个学生的身份信息的识别方式，其可以是借助于相关联的人脸考勤机来完成的。作为示例，可以是人脸考勤机采集学生人脸图像，并对学生人脸图像进行识别以得出对应的学生的身份信息，进而将所识别的身份信息传递至课堂学生状态分析服务器，以使得将所获取的学生人脸图像和学生的身份信息在课堂图像中进行关联，从而建立了对应于课堂图像的课堂模型。
S12、检测课堂图像中各个学生的人脸的面部动作。
具体的，可以是基于OpenPose识别装置，识别课堂图像中各个学生的人脸关键点，及基于所识别的人脸关键点的位置，确定相对应的各个学生的人脸的面部动作。需说明的是，OpenPose是常用于实时多人关键点检测和多线程的C++库，由此将OpenPose人体关键点检测技术应用于课堂行为分析的应用场景中，能够实现对课堂中多个学生的人体关键点的实时追踪，并也保障了处理的高准确性。可以理解的是，为了保障所识别的人脸关键点及面部动作的可靠性，可以是要求高分辨率和高清晰度的课堂图像的。
S13、基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中该微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的。
关于微表情识别神经网络模型的训练，其可以是将单一的训练面部动作所对应的训练面部表情(该面部表情可以是经人工标注的)输入至微表情识别神经网络模型以进行训练；另外，当单个面部动作无法确定出面部表情时，还可以是将连续的面部动作组合与其所能够指示的面部表情输入至神经网络模型，以对神经网络模型进行训练，进而，在应用神经网络模型时，也可以是通过采集预定时间段的多个连续的人脸动作，进而实现对表情的推测及抽象等。以及，本发明实施例中由神经网络模型所推导出的面部表情的类型在此应不限定，其可以各种表情，例如感兴趣、疲惫、开心和/或困惑等等。微表情识别神经网络模型的训练方式在此应不限定，其可以是根据神经网络模型的类型来确定的，例如卷积神经网络或深度神经网络。
S14、将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中该课堂状态包括面部表情。
在本发明实施例中，通过身份识别建立关于课堂图像所对应的课堂模型，之后追踪课堂模型中各个学生的人脸动作并应用神经网络技术推导对应的表情，然后可以将各个学生的课堂状态存储至对应的各个学生的身份信息的教育分析报告中。由此，课堂中各个学生的家长都能够通过其孩子的教育分析报告得知孩子的上课状态，从而便于家长采取有针对性的改进措施。
在一些实施方式中，课堂状态还可以包括学生的课堂专注度，并可以是在教育分析报告中指出对该课堂专注度的相应的教育建议。具体的，可以参照如图2所示的确定各个学生的课堂专注度的示例流程：
S21、提取课堂图像中各个学生的人脸关键点，并基于所提取的各个学生的人脸关键点的位置，识别课堂图像中对应低头动作的学生。
其中，关于学生的人脸关键点的提取方式，其可以是参照上文的相关描述，故在此不再赘述。但可以理解的是，图1所示实施例中的人脸关键点用于抽象出人脸的表情，而在本发明实施例中将人脸关键点用于确定对应的低头动作。关于该低头动作，其可以是基于低头动作神经网络模型模块识别出来的，其中该神经网络模型可以是依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的。具体关于该低头动作神经网络模型的训练方式在此应不限定，其可以是根据神经网络模型的类型来确定的，例如卷积神经网络或深度神经网络等。
S22、统计课堂图像中对应低头动作的学生占课堂图像中所有学生的比例，并基于该所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景。
其中，对课堂图像中所有处于低头动作的学生进行统计，以确定低头的学生占所有学生的比例，并由该比例来确定当前课堂场景是否处于课堂作业场景。作为示例，当超过一定比例阈值(例如3/4)的学生均低头时，可以判定当前课堂场景为学生正在做课堂练习的课堂作业场景。
S23、当课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计各个学生未面向教师的时间长度。
关于学生未面向教师的结果的获得，其可以是基于人脸的面部动作来确定学生人脸的偏转角度，进而识别各个学生是否面向课堂讲台，以确定学生是否面向教师。
S24、根据所统计的时间长度，确定各个学生的课堂专注度。
其中，可以是当学生未面向教师的时间越长时，则为该学生赋予越低的课堂专注度；以及，当学生未面向教师的时间越短时，则为该学生赋予越高的课堂专注度。
在一些实施方式中，还可以是在教育分析报告还包括对应于课堂状态的教育建议。
S25、将各个学生的课堂专注度与预设定的专注度阈值进行对比。
关于该专注度阈值的大小，在此应不限定，其可以是根据经验所确定的，用于区分专注度的不同的等级，例如高专注等级和低专注等级。
S26、当各个学生中目标学生的课堂专注度低于专注度阈值时，触发生成针对所述目标学生的教育建议。
S27、在目标学生的教育分析报告中存储所生成的教育建议。
由此，在教育分析报告上能够获知学生的上课专注度，并还能在学生专注度较低的时候，通过该教育分析报告得到对应于上课专注度的教育建议。
在一些优选实施方式中，课堂状态中的学生专注度可以被用于对教育建议生成的触发，而学生的课堂表情则可以是与教育建议中具体的内容相关联。具体的，可以是通过如图3的流程：
S31、统计目标学生在一天中出现各种面部表情的时长。
S32、基于所统计的对应各种面部表情分别对应的时长，确定主要面部表情。
作为示例，可以是将所统计的时长超过了预定的时长阈值的面部表情确定为主要面部表情，由此可以是将面部表情的统计时长最长的那一个或那几个面部表情确定为主要面部表情。
S33、从教育建议库中确定对应于所述主要面部表情的教育建议作为目标学生的教育建议，其中教育建议库中存储有多种面部表情和相对应的多个教育建议。
作为示例，在确定学生上课专注度不高，且出现开心表情的时长较长时，可以推导学生近期可能因耽于玩闹而无心学习，则应当提出关于管束学生玩闹的教育建议；而当确定学生上课专注度不高且出现困惑、疲惫的时长较长时，可以推导出可能是因为学生难以接受课堂内容的难度，则应当提出关于加强辅助该课堂内容学习的教育建议。
如图4所示，本发明一实施例的基于人脸监测的课堂学生状态分析方法的原理流程，主要包括课堂图像模型建立阶段、面部动作检测阶段、表情推导阶段、教育分析报告合成阶段：
1)课堂图像模型建立阶段
具体的，采集关于课堂的课堂图像，并识别该课堂图像中各个学生的身份信息，其可以是借助于人脸考勤设备来完成对各个身份的学生在课堂图像中的识别和追踪，由此在学生刚进入教室的时候就能够完成对身份的识别和关联，将人脸识别结果标注在课堂图像中，还可以实现对学生考勤的记录。
2)面部动作检测阶段
具体的，可以是应用openpose技术提取视频画面中教师和学生的人脸关键点，并基于所提取的人脸关键点合成对应的面部动作。
3)表情推导阶段
具体的，可以是提取连续的预定时间段的面部动作，使得微表情识别神经网络模型能够由此推导出对应的面部表情。
关于微表情识别神经网络模型的训练，其可以是将“连续的面部动作组合-标注的面部表情”作为训练数据来训练该微表情识别神经网络模型，其中该经标注的面部表情可以是兴趣、疲惫、开心、困惑等表情。
优选地，还可以是基于学生的预定时间段的面部动作来分析学生的专注度的高低，例如当确定学生在超过时间阈值的较长时间段内的面部动作指示该学生都没有面向或注视教师时，说明学生的关注度不够；因为发呆的学生注视方向通常不会随着教师的动作而改变，并以此帮助纠正学生在课堂上开小差的行为。更优选的，还可以是根据教师在动作的状态下学生并未注视教师的时长来为学生的关注度赋予相应的关注度评分。
优选地，还可以是结合预设定的教育场景信息来对所推导出的专注度进行校准，因为在某些场景下(例如在教师布置课堂小作业，需要学生埋头作出的时候)，并不需要学生注视教师的方向，此时若只依靠学生未注视教师的时长就来确定学生的关注度，势必会产生较大的误差。因此，可以是基于摄像头对教育场景信息进行判断，例如通过摄像头所拍摄的照片来确定当前课堂的教育场景是否为课堂小作业场景，其可以是通过判断是否超过设定数量比例阈值(如3/4)的学生都在埋头作业，如果是，则确定教育场景是课堂小作业场景；并统计课堂小作业场景的持续时间，进而将该持续时间从专注度推导过程中学生并未注视教师的时长中剔除，保障所推导的学生的关注度的高精确度。
4)教育分析报告合成阶段
具体的，可以是记录每一个学生的课堂状态，并且每天生成对应各个学生的课堂状态的教育分析报告，其中该课堂状态包括上述所确定的面部表情和/或学生关注度等。
由此，能够自动生成教育分析报告，并且该教育分析报告能够帮助教师和家长评估学生学习行为，并能够有针对性地对不同学生施以不同的教育方法。分析报告包括每一个学生一天内的平均专注程度，以及疲惫、困惑、开心等情绪的出现时长。
优选地，分析报告中还可以是包括对应于课堂状态的教育建议，该教育建议的确定方式可以是从预配置的具有教育建议和课堂状态的映射关系的教育建议库中经查询所确定的。例如，可以是在服务器的数据库中预先存储关于课堂状态与教育建议之间的映射关系，使得在服务器输出某学生的课堂状态时，能够推导出相应的教育建议；例如，在确定学生上课专注度不高，且出现开心表情的时长较长时，可以推导学生近期可能因耽于玩闹而无心学习，则应当提出关于管束学生玩闹的教育建议；而当确定学生上课专注度不高且出现困惑的时长较长时，可以推导出可能是因为学生难以接受课堂内容的难度，则应当提出关于加强辅助该课堂内容学习的教育建议；而当确定学生上课专注度不高且出现疲惫的时长较长时，可以推导出可能是因为学生近期在家中的休息时间不够充分，则应当提出关于在家中注意休息睡眠的教育建议。
在本发明实施例中，针对课堂这一教育场景，建立了用于识别对教师和学生来说更有意义的情绪的专属模型，其包括对兴趣、疲惫、开心、困惑等表情的识别；以及，根据学生面部变化监测实时的专注度，帮助纠正学生在课堂上开小差的行为；另外，记录每一个学生的课堂状态变化，每日自动生成分析报告，帮助教师和家长评估学生学习行为，并能够有针对性地对不同学生施以不同的教育建议。
如图5所示，本发明一实施例的基于人脸监测的课堂学生状态分析装置，包括：
课堂模型构建单元501，用于采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；
面部动作检测单元502，用于检测所述课堂图像中各个学生的人脸的面部动作；
面部表情获取单元503，用于基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；
教育分析报告生成单元504，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。
在具体的应用场景中，如图6所示，该装置还包括课堂专注度确定单元505，教育建议触发单元506，教育建议确定单元507；
所述面部动作检测单元502，还用于基于OpenPose识别装置，识别所述课堂图像中各个学生的人脸关键点；以及基于所识别的人脸关键点的位置，确定相对应的所述各个学生的人脸的面部动作。
所述课堂专注度确定单元505，用于在所述将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告之前确定课堂状态中的课堂专注度，并用于提取所述课堂图像中各个学生的人脸关键点；基于低头动作神经网络模型模块和所提取的各个学生的人脸关键点，识别所述课堂图像中对应低头动作的学生，其中该神经网络模型可以是依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的；统计所述课堂图像中对应低头动作的学生占所述课堂图像中所有学生的比例，并基于所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景，以及，当所述课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计学生未面向教师的时间长度，根据所统计的时间长度，确定各个学生的课堂专注度。
所述教育建议触发单元506，用于将各个学生的所述课堂专注度与预设定的专注度阈值进行对比；当各个学生中目标学生的所述课堂专注度低于所述专注度阈值时，生成针对所述目标学生的教育建议；在所述目标学生的教育分析报告中存储所生成的教育建议。
所述教育建议确定单元507，用于统计所述目标学生在一天中出现各种面部表情的时长；基于所统计的各种面部表情分别对应的时长，确定主要面部表情，其中所述主要面部表情为所统计的时长超过了预定的时长阈值的面部表情；从教育建议库中确定对应于所述主要面部表情的教育建议作为所述目标学生的教育建议，其中所述教育建议库中存储有多种面部表情和相对应的多个教育建议。
所述教育建议确定单元507，还用于当所述主要面部表情指示长时间的面部开心表情时，则确定对应于所述面部开心表情的关于管束学生玩闹的教育建议，当所述主要面部表情指示长时间的面部困惑表情时，则确定对应于所述面部困惑表情的关于加强辅助该课堂内容学习的教育建议，以及当所述主要面部表情指示长时间的面部疲惫表情时，则确定对应于所述面部疲惫表情的关于在家中注意休息睡眠的教育建议。
所述课堂模型构建单元501，还用于从人脸考勤设备获取学生人脸图像相对应的学生的身份信息，其中所述学生人脸图像是由所述人脸考勤设备所采集的，将所获取的所述学生人脸图像和所述学生的身份信息关联至所述课堂图像中。
需要说明的是，本发明实施例提供的一种基于人脸监测的课堂学生状态分析装置所涉及各功能单元的其他相应描述，可以参考图1-4中的对应描述，在此不再赘述。
基于上述如图1-4所示方法，相应的，本发明实施例还提供了一种存储设备，其上存储有计算机程序，该程序被处理器执行时实现上述如图1-所示的基于人脸监测的课堂学生状态分析方法。
基于上述如图1-4所示方法和如图5和如图6所示虚拟装置的实施例，为了实现上述目的，如图7所示的是本发明一实施例的基于人脸监测的课堂学生状态分析装置的实体装置70，该实体装置包括存储设备701和处理器702；所述存储设备701，用于存储计算机程序；所述处理器702，用于执行所述计算机程序以实现上述如图1-4所示的课堂学生行为分析方法。
通过应用本发明的技术方案，提出了采集课堂图像，并识别课堂图像中学生的身份信息，从而建立课堂模型，然后检测课堂图像中各个学生的人脸的面部动作，并通过微表情识别神经网络模型获取所检测的面部动作对应的面部表情，进而自动记录各个学生的课堂状态至对应于各个学生的身份信息的教育分析报告。由此，应用人工智能技术，从课堂图像中识别并监测学生的上课状态，并通过教育分析报告供后期老师和家长参考，实现了闭环式智慧教育。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种基于人脸监测的课堂学生状态分析方法，其特征在于，包括：
采集关于课堂的课堂图像，并识别该课堂图像中多个学生的身份信息；
检测所述课堂图像中各个学生的人脸的面部动作；
基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；
将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。
2.根据权利要求1所述的方法，其特征在于，所述检测所述课堂图像中各个学生的人脸的面部动作包括：
基于OpenPose识别装置，识别所述课堂图像中各个学生的人脸关键点；以及
基于所识别的人脸关键点的位置，确定相对应的所述各个学生的人脸的面部动作。
3.根据权利要求1所述的方法，其特征在于，所述课堂状态还包括课堂专注度，在所述将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告之前，所述方法还包括确定各个学生的课堂专注度，所述确定各个学生的课堂专注度包括：
提取所述课堂图像中各个学生的人脸关键点；
基于低头动作神经网络模型模块和所提取的各个学生的人脸关键点，识别所述课堂图像中对应低头动作的学生，其中该神经网络模型依据标注有对应低头动作的训练人脸关键点的图像作为输入进行训练的；
统计所述课堂图像中对应低头动作的学生占所述课堂图像中所有学生的比例，并基于所统计的比例来确定该课堂图像对应的课堂场景是否指示课堂作业场景；以及
当所述课堂场景指示非课堂作业场景时，基于所检测的人脸的面部动作统计各个学生未面向教师的时间长度；
根据所统计的时间长度，确定各个学生的课堂专注度。
4.根据权利要求3所述的方法，其特征在于，所述教育分析报告还包括对应于课堂状态的教育建议，所述方法还包括：
将各个学生的所述课堂专注度与预设定的专注度阈值进行对比；
当各个学生中目标学生的所述课堂专注度低于所述专注度阈值时，生成针对所述目标学生的教育建议；
在所述目标学生的教育分析报告中存储所生成的教育建议。
5.根据权利要求4所述的方法，其特征在于，所述生成对应于课堂状态的教育建议包括：
统计所述目标学生在一天中出现各种面部表情的时长；
基于所统计的各种面部表情分别对应的时长，确定主要面部表情，其中所述主要面部表情为所统计的时长超过了预定的时长阈值的面部表情；
从教育建议库中确定对应于所述主要面部表情的教育建议作为所述目标学生的教育建议，其中所述教育建议库中存储有多种面部表情和相对应的多个教育建议。
6.根据权利要求5所述的方法，其中，所述从教育建议库中确定对应于所述主要面部表情的教育建议包括：
当所述主要面部表情指示长时间的面部开心表情时，则确定对应于所述面部开心表情的关于管束学生玩闹的教育建议；
当所述主要面部表情指示长时间的面部困惑表情时，则确定对应于所述面部困惑表情的关于加强辅助该课堂内容学习的教育建议；以及
当所述主要面部表情指示长时间的面部疲惫表情时，则确定对应于所述面部疲惫表情的关于在家中注意休息睡眠的教育建议。
7.根据权利要求1所述的方法，其特征在于，所述识别该课堂图像中多个学生的身份信息包括：
从人脸考勤设备获取学生人脸图像相对应的学生的身份信息，其中所述学生人脸图像是由所述人脸考勤设备所采集的；
将所获取的所述学生人脸图像和所述学生的身份信息关联至所述课堂图像中。
8.一种基于人脸监测的课堂学生状态分析装置，包括：
课堂模型构建单元，用于采集对应课堂场景的课堂图像，并识别该课堂图像中多个学生的身份信息；
面部动作检测单元，用于检测所述课堂图像中各个学生的人脸的面部动作；
面部表情抽象单元，用于基于微表情识别神经网络模型，获取所检测的面部动作对应的面部表情，其中所述微表情识别神经网络模型是依据训练面部动作和对应的训练面部表情进行训练的；
教育分析报告生成单元，用于将各个学生的课堂状态存储至对应于所述各个学生的身份信息的教育分析报告，其中所述课堂状态包括面部表情。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811534551.0A CN109815795A (zh) | 2018-12-14 | 2018-12-14 | 基于人脸监测的课堂学生状态分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811534551.0A CN109815795A (zh) | 2018-12-14 | 2018-12-14 | 基于人脸监测的课堂学生状态分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815795A true CN109815795A (zh) | 2019-05-28 |
Family
ID=66602028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811534551.0A Pending CN109815795A (zh) | 2018-12-14 | 2018-12-14 | 基于人脸监测的课堂学生状态分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815795A (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232346A (zh) * | 2019-06-06 | 2019-09-13 | 南京睦泽信息科技有限公司 | 一种基于深度学习的视频智能分析系统 |
| CN110246387A (zh) * | 2019-06-18 | 2019-09-17 | 白城师范学院 | 一种用于教学信息的现场互动反馈装置 |
| CN110443183A (zh) * | 2019-07-31 | 2019-11-12 | 北京大米科技有限公司 | 一种上课状态监测方法、装置、存储介质及服务器 |
| CN110458069A (zh) * | 2019-08-02 | 2019-11-15 | 深圳市华方信息产业有限公司 | 一种基于脸部识别辅助管理用户在线学习状态的方法及系统 |
| CN110516979A (zh) * | 2019-09-02 | 2019-11-29 | 西南大学 | 一种个性化学习评价方法及装置 |
| CN110580470A (zh) * | 2019-09-12 | 2019-12-17 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110728194A (zh) * | 2019-09-16 | 2020-01-24 | 中国平安人寿保险股份有限公司 | 基于微表情和动作识别的智能培训方法、装置及存储介质 |
| CN110766580A (zh) * | 2019-10-25 | 2020-02-07 | 重庆第二师范学院 | 一种基于人脸特征的课堂质量监控系统 |
| CN110781320A (zh) * | 2019-11-01 | 2020-02-11 | 广州云蝶科技有限公司 | 基于家庭反馈的学生情绪定位方法 |
| CN110945522A (zh) * | 2019-10-25 | 2020-03-31 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
| CN111160105A (zh) * | 2019-12-03 | 2020-05-15 | 北京文香信息技术有限公司 | 一种视频图像的监测方法、装置、设备及存储介质 |
| CN111242049A (zh) * | 2020-01-15 | 2020-06-05 | 武汉科技大学 | 一种基于面部识别的学生网课学习状态评价方法及系统 |
| CN111507555A (zh) * | 2019-11-05 | 2020-08-07 | 浙江大华技术股份有限公司 | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
| CN111523444A (zh) * | 2020-04-21 | 2020-08-11 | 南通大学 | 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 |
| CN111553323A (zh) * | 2020-05-22 | 2020-08-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
| CN111626187A (zh) * | 2020-05-25 | 2020-09-04 | 北京海益同展信息科技有限公司 | 一种身份标注方法、装置、电子设备及存储介质 |
| CN111814556A (zh) * | 2020-06-09 | 2020-10-23 | 厦门大学 | 一种基于计算机视觉的教学辅助方法和系统 |
| CN111898492A (zh) * | 2020-07-15 | 2020-11-06 | 西安石油大学 | 一种智能校园自习室监控管理系统 |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN111967350A (zh) * | 2020-07-30 | 2020-11-20 | 广州光大教育软件科技股份有限公司 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
| CN111985364A (zh) * | 2020-08-06 | 2020-11-24 | 深圳拔越软件有限公司 | 一种远程互联网教育学生行为评价方法及系统 |
| CN112055257A (zh) * | 2019-06-05 | 2020-12-08 | 北京新唐思创教育科技有限公司 | 视频课堂的互动方法、装置、设备及存储介质 |
| CN112115779A (zh) * | 2020-08-11 | 2020-12-22 | 浙江师范大学 | 可解释性课堂学生情感分析方法、系统、装置及介质 |
| CN112115756A (zh) * | 2020-03-22 | 2020-12-22 | 张冬梅 | 用于内容分析的区块链管理平台 |
| CN112132009A (zh) * | 2020-09-22 | 2020-12-25 | 湖南惟楚有才教育科技有限公司 | 课堂行为分析方法、系统及电子设备 |
| CN112131938A (zh) * | 2020-08-14 | 2020-12-25 | 天津大学 | 基于TensorFlow框架下的课堂考勤督导方法、系统与存储介质 |
| CN112287844A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 学情分析方法及装置、电子设备和存储介质 |
| CN112380896A (zh) * | 2020-09-30 | 2021-02-19 | 深圳点猫科技有限公司 | 一种课堂学情分析方法、装置及设备 |
| CN112735213A (zh) * | 2020-12-31 | 2021-04-30 | 奇点六艺教育科技股份有限公司 | 一种智慧教学的方法、系统、终端及存储介质 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| TWI731577B (zh) * | 2020-02-07 | 2021-06-21 | 顧得科技教育股份有限公司 | 學習狀態改善管理系統 |
| CN113111745A (zh) * | 2021-03-30 | 2021-07-13 | 四川大学 | 基于openpose的产品关注度的眼动识别的方法 |
| CN113283334A (zh) * | 2021-05-21 | 2021-08-20 | 浙江师范大学 | 一种课堂专注度分析方法、装置和存储介质 |
| CN113393160A (zh) * | 2021-07-09 | 2021-09-14 | 北京市博汇科技股份有限公司 | 一种课堂专注度分析方法、装置、电子设备及介质 |
| CN113762107A (zh) * | 2021-08-23 | 2021-12-07 | 海宁奕斯伟集成电路设计有限公司 | 对象状态评估方法、装置、电子设备及可读存储介质 |
| CN115049970A (zh) * | 2022-08-15 | 2022-09-13 | 北京师范大学 | 一种基于多模态音视频技术的学生课堂表现评估方法 |
| CN117095464A (zh) * | 2023-09-12 | 2023-11-21 | 广州乐庚信息科技有限公司 | 一种基于图像识别的学生课堂学习习惯分析方法及系统 |
| CN117711132A (zh) * | 2024-02-05 | 2024-03-15 | 青岛培诺教育科技股份有限公司 | 一种学生安全监测方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150044657A1 (en) * | 2013-08-07 | 2015-02-12 | Xerox Corporation | Video-based teacher assistance |
| CN106960177A (zh) * | 2015-02-15 | 2017-07-18 | 北京旷视科技有限公司 | 活体人脸验证方法及系统、活体人脸验证装置 |
| CN107146177A (zh) * | 2017-04-21 | 2017-09-08 | 阔地教育科技有限公司 | 一种基于人工智能技术的教学系统及方法 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN107316257A (zh) * | 2017-06-06 | 2017-11-03 | 南京信息工程大学 | 一种基于课堂学生行为分析的教学质量评估方法及系统 |
| CN108171414A (zh) * | 2017-12-26 | 2018-06-15 | 重庆大争科技有限公司 | 教学质量评估系统 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
| CN108766075A (zh) * | 2018-05-31 | 2018-11-06 | 长春博立电子科技有限公司 | 一种基于视频分析的个性化教育分析系统及方法 |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
-
2018
- 2018-12-14 CN CN201811534551.0A patent/CN109815795A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150044657A1 (en) * | 2013-08-07 | 2015-02-12 | Xerox Corporation | Video-based teacher assistance |
| CN106960177A (zh) * | 2015-02-15 | 2017-07-18 | 北京旷视科技有限公司 | 活体人脸验证方法及系统、活体人脸验证装置 |
| CN107146177A (zh) * | 2017-04-21 | 2017-09-08 | 阔地教育科技有限公司 | 一种基于人工智能技术的教学系统及方法 |
| CN107316257A (zh) * | 2017-06-06 | 2017-11-03 | 南京信息工程大学 | 一种基于课堂学生行为分析的教学质量评估方法及系统 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN108171414A (zh) * | 2017-12-26 | 2018-06-15 | 重庆大争科技有限公司 | 教学质量评估系统 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
| CN108766075A (zh) * | 2018-05-31 | 2018-11-06 | 长春博立电子科技有限公司 | 一种基于视频分析的个性化教育分析系统及方法 |
| CN108960065A (zh) * | 2018-06-01 | 2018-12-07 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶行为检测方法 |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055257B (zh) * | 2019-06-05 | 2022-04-05 | 北京新唐思创教育科技有限公司 | 视频课堂的互动方法、装置、设备及存储介质 |
| CN112055257A (zh) * | 2019-06-05 | 2020-12-08 | 北京新唐思创教育科技有限公司 | 视频课堂的互动方法、装置、设备及存储介质 |
| CN110232346A (zh) * | 2019-06-06 | 2019-09-13 | 南京睦泽信息科技有限公司 | 一种基于深度学习的视频智能分析系统 |
| CN110246387A (zh) * | 2019-06-18 | 2019-09-17 | 白城师范学院 | 一种用于教学信息的现场互动反馈装置 |
| CN110443183A (zh) * | 2019-07-31 | 2019-11-12 | 北京大米科技有限公司 | 一种上课状态监测方法、装置、存储介质及服务器 |
| CN110458069A (zh) * | 2019-08-02 | 2019-11-15 | 深圳市华方信息产业有限公司 | 一种基于脸部识别辅助管理用户在线学习状态的方法及系统 |
| CN110516979A (zh) * | 2019-09-02 | 2019-11-29 | 西南大学 | 一种个性化学习评价方法及装置 |
| CN110580470A (zh) * | 2019-09-12 | 2019-12-17 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| WO2021047185A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN110598632B (zh) * | 2019-09-12 | 2022-09-09 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110728194A (zh) * | 2019-09-16 | 2020-01-24 | 中国平安人寿保险股份有限公司 | 基于微表情和动作识别的智能培训方法、装置及存储介质 |
| CN110945522A (zh) * | 2019-10-25 | 2020-03-31 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
| CN110945522B (zh) * | 2019-10-25 | 2023-09-12 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
| WO2021077382A1 (zh) * | 2019-10-25 | 2021-04-29 | 中新智擎科技有限公司 | 一种学习状态的判断方法、装置及智能机器人 |
| CN110766580A (zh) * | 2019-10-25 | 2020-02-07 | 重庆第二师范学院 | 一种基于人脸特征的课堂质量监控系统 |
| CN110781320A (zh) * | 2019-11-01 | 2020-02-11 | 广州云蝶科技有限公司 | 基于家庭反馈的学生情绪定位方法 |
| CN110781320B (zh) * | 2019-11-01 | 2022-03-18 | 广州云蝶科技有限公司 | 基于家庭反馈的学生情绪定位方法 |
| CN111507555A (zh) * | 2019-11-05 | 2020-08-07 | 浙江大华技术股份有限公司 | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
| CN111507555B (zh) * | 2019-11-05 | 2023-11-14 | 浙江大华技术股份有限公司 | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
| CN111160105A (zh) * | 2019-12-03 | 2020-05-15 | 北京文香信息技术有限公司 | 一种视频图像的监测方法、装置、设备及存储介质 |
| CN111242049A (zh) * | 2020-01-15 | 2020-06-05 | 武汉科技大学 | 一种基于面部识别的学生网课学习状态评价方法及系统 |
| CN111242049B (zh) * | 2020-01-15 | 2023-08-04 | 武汉科技大学 | 一种基于面部识别的学生网课学习状态评价方法及系统 |
| TWI731577B (zh) * | 2020-02-07 | 2021-06-21 | 顧得科技教育股份有限公司 | 學習狀態改善管理系統 |
| CN112115756A (zh) * | 2020-03-22 | 2020-12-22 | 张冬梅 | 用于内容分析的区块链管理平台 |
| CN111523444A (zh) * | 2020-04-21 | 2020-08-11 | 南通大学 | 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 |
| CN111553323A (zh) * | 2020-05-22 | 2020-08-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
| WO2021232775A1 (zh) * | 2020-05-22 | 2021-11-25 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
| CN111626187B (zh) * | 2020-05-25 | 2023-08-08 | 京东科技信息技术有限公司 | 一种身份标注方法、装置、电子设备及存储介质 |
| CN111626187A (zh) * | 2020-05-25 | 2020-09-04 | 北京海益同展信息科技有限公司 | 一种身份标注方法、装置、电子设备及存储介质 |
| CN111814556A (zh) * | 2020-06-09 | 2020-10-23 | 厦门大学 | 一种基于计算机视觉的教学辅助方法和系统 |
| CN111931585A (zh) * | 2020-07-14 | 2020-11-13 | 东云睿连(武汉)计算技术有限公司 | 一种课堂专注度的检测方法及装置 |
| CN111898492A (zh) * | 2020-07-15 | 2020-11-06 | 西安石油大学 | 一种智能校园自习室监控管理系统 |
| CN111967350A (zh) * | 2020-07-30 | 2020-11-20 | 广州光大教育软件科技股份有限公司 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
| CN111985364A (zh) * | 2020-08-06 | 2020-11-24 | 深圳拔越软件有限公司 | 一种远程互联网教育学生行为评价方法及系统 |
| CN112115779A (zh) * | 2020-08-11 | 2020-12-22 | 浙江师范大学 | 可解释性课堂学生情感分析方法、系统、装置及介质 |
| CN112131938A (zh) * | 2020-08-14 | 2020-12-25 | 天津大学 | 基于TensorFlow框架下的课堂考勤督导方法、系统与存储介质 |
| CN112132009A (zh) * | 2020-09-22 | 2020-12-25 | 湖南惟楚有才教育科技有限公司 | 课堂行为分析方法、系统及电子设备 |
| CN112380896A (zh) * | 2020-09-30 | 2021-02-19 | 深圳点猫科技有限公司 | 一种课堂学情分析方法、装置及设备 |
| WO2022088622A1 (zh) * | 2020-10-30 | 2022-05-05 | 北京市商汤科技开发有限公司 | 学情分析方法及装置、电子设备和存储介质、计算机程序 |
| CN112287844A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 学情分析方法及装置、电子设备和存储介质 |
| CN112735213A (zh) * | 2020-12-31 | 2021-04-30 | 奇点六艺教育科技股份有限公司 | 一种智慧教学的方法、系统、终端及存储介质 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN113111745A (zh) * | 2021-03-30 | 2021-07-13 | 四川大学 | 基于openpose的产品关注度的眼动识别的方法 |
| CN113111745B (zh) * | 2021-03-30 | 2023-04-07 | 四川大学 | 基于openpose的产品关注度的眼动识别的方法 |
| CN113283334A (zh) * | 2021-05-21 | 2021-08-20 | 浙江师范大学 | 一种课堂专注度分析方法、装置和存储介质 |
| CN113393160A (zh) * | 2021-07-09 | 2021-09-14 | 北京市博汇科技股份有限公司 | 一种课堂专注度分析方法、装置、电子设备及介质 |
| CN113762107A (zh) * | 2021-08-23 | 2021-12-07 | 海宁奕斯伟集成电路设计有限公司 | 对象状态评估方法、装置、电子设备及可读存储介质 |
| CN113762107B (zh) * | 2021-08-23 | 2024-05-07 | 海宁奕斯伟集成电路设计有限公司 | 对象状态评估方法、装置、电子设备及可读存储介质 |
| CN115049970A (zh) * | 2022-08-15 | 2022-09-13 | 北京师范大学 | 一种基于多模态音视频技术的学生课堂表现评估方法 |
| CN117095464A (zh) * | 2023-09-12 | 2023-11-21 | 广州乐庚信息科技有限公司 | 一种基于图像识别的学生课堂学习习惯分析方法及系统 |
| CN117711132A (zh) * | 2024-02-05 | 2024-03-15 | 青岛培诺教育科技股份有限公司 | 一种学生安全监测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815795A (zh) | 基于人脸监测的课堂学生状态分析方法及装置 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| US10706738B1 (en) | Systems and methods for providing a multi-modal evaluation of a presentation | |
| TWI430185B (zh) | 臉部表情辨識系統及其辨識方法及其電腦程式產品 | |
| CN108171414A (zh) | 教学质量评估系统 | |
| Müller et al. | Emotion recognition from embedded bodily expressions and speech during dyadic interactions | |
| CN110069707A (zh) | 一种人工智能自适应互动教学系统 | |
| CN109448851A (zh) | 一种认知评估方法及装置 | |
| Ziaei et al. | Prof-Life-Log: Personal interaction analysis for naturalistic audio streams | |
| Zaletelj | Estimation of students' attention in the classroom from kinect features | |
| Eyben et al. | Audiovisual classification of vocal outbursts in human conversation using long-short-term memory networks | |
| Böck et al. | Intraindividual and interindividual multimodal emotion analyses in human-machine-interaction | |
| CN112101074A (zh) | 一种在线教育辅助评分方法和系统 | |
| Wagner et al. | Building a robust system for multimodal emotion recognition | |
| Beyan et al. | A sequential data analysis approach to detect emergent leaders in small groups | |
| Beily et al. | A sensor based on recognition activities using smartphone | |
| Turker et al. | Audio-facial laughter detection in naturalistic dyadic conversations | |
| Poorjam et al. | Quality control of voice recordings in remote Parkinson’s disease monitoring using the infinite hidden Markov model | |
| CN114495255A (zh) | 自动侦测动作的评分系统、自动侦测动作的评分方法以及非暂态计算机可读取储存媒体 | |
| US20230034709A1 (en) | Method and apparatus for analying experienced difficulty | |
| CN111563443A (zh) | 一种连续运动动作准确度评价方法 | |
| Jiang et al. | A classroom concentration model based on computer vision | |
| CN109447863A (zh) | 一种4mat实时分析方法及系统 | |
| CN115905977A (zh) | 家庭同胞互动过程中负面情绪的监督系统及方法 | |
| Scherr et al. | Detecting user emotions with the true-depth camera to support mobile app quality assurance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |