CN116168346A - 一种基于学生行为捕捉的远程伴读监督系统 - Google Patents

一种基于学生行为捕捉的远程伴读监督系统 Download PDF

Info

Publication number
CN116168346A
CN116168346A CN202310430566.7A CN202310430566A CN116168346A CN 116168346 A CN116168346 A CN 116168346A CN 202310430566 A CN202310430566 A CN 202310430566A CN 116168346 A CN116168346 A CN 116168346A
Authority
CN
China
Prior art keywords
behavior
student
learning
expression
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310430566.7A
Other languages
English (en)
Other versions
CN116168346B (zh
Inventor
欧阳群恩
陈泽荣
马巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unique Yizhi Beijing Information Technology Co ltd
Original Assignee
Unique Yizhi Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unique Yizhi Beijing Information Technology Co ltd filed Critical Unique Yizhi Beijing Information Technology Co ltd
Priority to CN202310430566.7A priority Critical patent/CN116168346B/zh
Publication of CN116168346A publication Critical patent/CN116168346A/zh
Application granted granted Critical
Publication of CN116168346B publication Critical patent/CN116168346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，通过设置在学生端的摄像头，采集学生在学习时的行为状态图像；通过远程服务器上行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息。

Description

一种基于学生行为捕捉的远程伴读监督系统
技术领域
本发明涉及远程教育技术领域，特别涉及 一种基于学生行为捕捉的远程伴读监督系统。
背景技术
远程教育，在教育部已出台的一些文件中，也称现代远程教育为网络教育。它是指使用电视及互联网等传播媒体的教学模式，它突破了时空的界线，有别于传统的在校住宿的教学模式。使用这种教学模式的学生，由于不需要到特定地点上课，因此可以随时随地上课。学生亦可以透过电视广播、互联网、辅导专线、课研社、面授（函授）等多种不同管道互助学习，是现代信息技术应用于教育后产生的新概念，即运用网络技术与环境开展的教育。远程教育的各种优势给人们带来的方便也促使人们对这一领域进行更加深入的探索。基于不同平台以及不同开发工具的网络教育层出不穷。
现有技术中，会通过学生的行为表情对学生学习的状态进行判断，判断学生处于注意力集中状态还是注意力不集中的状态。
但是，现有技术在进行注意力是否集中判断的时候，都是通过单个学生的表情进行判断，而且存在误判：例如，学生思考的时候，此时无法判断学生是发呆还是思考。学生在低头的时候，无法判断学生是睡着了，还是低头看书。这些学生行为会让现有的学习状态判断系统判断错误。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出 一种基于学生行为捕捉的远程伴读监督系统，解决现有技术在进行注意力是否集中判断的时候，只会通过单个学生的表情或行为进行判断，存在误判的问题。
为达到上述目的，本发明实施例提出了一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，包括：
实时图像采集模块：用于通过设置在学生端的摄像头，实时采集学生在学习时的行为状态图像；
行为捕捉模块：用于将行为状态图像输入至远程服务器的行为识别矩阵，通过行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；
学习状态判定模块：用于将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；
监督提醒模块：用于根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息。
优选的，所述实时图像采集模块包括：
距离检测单元：用于获取学生与学生端的终端设备之间的检测距离；其中，
学生端的终端设备中配置有距离监测脚本和变焦脚本；
指令生成单元：用于向学生端发送第一指令；其中，
所述第一指令携带检测距离；
时间计算单元：用于接收第一指令，并根据检测距离，确定检测距离与目标摄像精度的拍摄差值距离；
图像采集单元：用于根据拍摄差值距离，调节摄像头的变焦精度，并在变焦后进行行为状态图像采集。
优选的，所述实时图像采集模块还包括：
变焦调节单元：采集学生学习时的高光谱图像，基于高光谱图像的光谱特性和多准则决策的波段选择方法选出用于当前距离的最佳波段；
配准单元：用于通过学生端的成像系统捕获学生彩色图像和最佳波段图像，并与获取到的行为状态图像与学生彩色图像和最佳波段图像进行配准获得配准图像对；
图像融合生成单元：基于视觉显著性的多模态图像融合方法提取配准图像对的互补信息，并进行互补信息融合从而获得高质量的行为状态图像。
优选的，所述行为捕捉模块包括：
动作序列单元：用于将行为状态图像通过远程服务器的行为识别矩阵进行识别处理，确定学生行为特征矩阵，并将学生行为特征矩阵输入第一注意力模型，确定学生行为的动作概率序列、起始点概率序列和结束点概率序列；其中，
第一注意力模型由多个分组串联得到，每个分组中包括至少一个注意力单元，各个分组对应的目标特征矩阵在时序上形成了特征偏移；
捕捉框生成单元：用于根据动作概率序列、起始点概率序列和结束点概率序列生成候选捕捉框集；其中，
候选捕捉框集包括至少一个候选捕捉框；
目标捕捉单元：用于提取各个候选捕捉框之间的相对位置信息，并将相对位置信息输入第二注意力模型以得到目标捕捉框集；其中，
目标捕捉框集至少包括一个捕捉框。
优选的，所述行为捕捉模块还包括：
模型训练单元：用于根据行为状态图像的目标样本，构建基于捕捉框的行为目标检测模型，进行人脸检测；其中，
人脸检测包括人脸区域检测模型测试、人脸区域检测模型训练、人脸特征点标定模型评估、人脸特征点标定模型训练、人脸比对模型评估、人脸比对模型训练；
模型应用单元：用于获取训练后的行为目标检测模型，通过行为目标检测模型，进行学生脸部人脸表情的实时标记采集；其中，
标记采集包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
优选的，所述行为捕捉模块还包括：
人脸表情标记单元：用于在开源平台下定义人脸表情捕捉模型；其中，
人脸表情包括普通学习表情和异常学习表情；
模型定义单元：用于通过定义后的人脸表情捕捉模型，对行为状态图像上的人脸表情进行捕捉；
所述人脸表情捕捉模型用于通过捕捉框对人脸表情进行标记捕捉；其中，
标记捕捉至少包括：表情捕捉、视线捕捉、距离捕捉；
表情识别单元：用于根据标记捕捉，进行计算机表情分析，确定表情状态，并生成对应的表情识别信息；其中，
计算机表情分析包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
优选的，所述学习状态判定模块包括：
标记提取单元：用于通过表情标记，确定每个表情标记的时间信息，生成表情标记的时间序列；
表情位置确定单元：用于基于时间序列和Faster R-CNN目标检测模型获得行为状态图像上每个表情在人脸上的方位信息；
时间判定单元：用于基于时间序列和Faster R-CNN目标检测模型，确定每个表情的持续时间；
学习状态分析单元：用于基于方位信息、持续时间和学生面部表情，确定学生学习状态。
优选的，所述监督提醒模块包括：
学生学习状态判断单元：用于获取学生在当前学习课程的学习时间段内的学习视频，通过学习视频，提取学生行为状态，并进行学习评分；
行为计算单元：用于通过学习评分计算学生当前的学习质量系数；
对比单元：用于将计算得到的学习质量系数与预设质量系数进行比对，根据比对结果，判断学生当前的学习状态；
状态提醒单元：根据学生当前的学习状态，确定是否需要对学生的当前行为进行提醒；其中，
学习状态包括：不良学习状态和常规学习状态。
优选的，所述系统还包括：
行为数据采集模块：用于通过云端网络，采集学生正常学习状态下的多个正常表情行为数据/多个不良表情行为数据；
行为链构建模块：用于通过学生多个正常表情行为数据/多个不良表情行为数据的特征数据建立正常行为链/不良行为链；其中，
正常行为链通过每个正常行为和正常行为频次进行构建；
不良行为链通过每个不良行为和不良行为频次进行构建；
行为序列融合模块：实时采集学生的多个当前行为的行为图像，提取每个行为图像的特征数据建立当前行为链，基于当前行为链中的行为和频次，建立当前行为链的特征链，并通过特征链生成学生表情状态的动作序列；
融合匹配单元：用于将当前行为链的特征链与正常行为链/不良行为链的特征链匹配，根据匹配度判断学生行为是否正常。
优选的，所述系统还包括：
不良行为接收单元：用于从学生端接收学生行为报告；
行为数据传输单元：用于通过学生行为报告，响应于确定不良行为事件的提醒条件；
提醒传输单元：用于通过提醒条件，将提醒信息发送至教师端和家长端。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是根据本发明一个实施例的 一种基于学生行为捕捉的远程伴读监督系统的框图；
图2是根据本发明实时图像采集模块的图像采集的框图；
图3是根据本发明实时图像采集模块的图像融合的框图；
图4是根据本发明行为捕捉模块中目标捕捉的框图；
图5是根据本发明学习状态判定模块的框图；
图6是根据本发明监督提醒模块的框图；
图7是根据本发明服务处理端组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提出了一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，包括：
实时图像采集模块：用于通过设置在学生端的摄像头，实时采集学生在学习时的行为状态图像；
行为捕捉模块：用于将行为状态图像输入至远程服务器的行为识别矩阵，通过行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；
学习状态判定模块：用于将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；
监督提醒模块：用于根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息。
上述技术方案的原理在于：
如附图1和图7所示，本发明的具体过程为，学生端在学习的时候，会通过学生端的终端设备实时采集学生在学习的时候具体的行为状态图像，特别是脸部的行为表情图像以及学生的手部动作、视线等图片，通过行为状态图像能够分析学生的状态，进而通过远程服务器上的行为识别矩阵对应学生的脸部图像和行为识别矩阵，行为识别矩阵是将学生脸部不同区域的表情进行量化的计算矩阵，每一种表情状态下，脸部不同区域的肌肉状态都对应有行为识别矩阵的识别参数，进而对学生的行为表情进行采集；通过学生的行为表情和捕捉框去确定学生的人脸表情状态，进行对应的表情标记。通过表情标记，让一系列的表情变化照片生成学生学习行为状态的一个系列的整体信息，这个整体的信息通过云端服务器进行识别处理，确定对应表情是正常学习状态还是异常学习状态，本发明的创新主要是通过一段时间内的学生学习状态的信息，确定学生的学习状态，进而在判断出学生学习状态之后，通过家长端和教师端，以及学生端，发出学生学习状态不良的提醒信息，对学生自身进行提醒，还能够让老师和家长知道学生此时的学习状态处于不良状态。
在现有技术中，对于学生的学习状态识别，都是通过单个照片进行单个表情的识别，判断学生的学习状态，但是单个表情可能是学生一时的表情，比如发呆的表情，可能是学生在进行思考，在这个思考之前，可能还存在疑惑的表情；如果单独识别到发呆，可能识别错误，如果发呆之前存在疑惑，疑惑之前是学生认真听讲的表情，一系列的表情下来，代表学生没有不用心听讲，在发呆，而是在进行认真思考。
上述技术方案的有益效果在于：
本发明能够在学生在线学习，教师在线辅导，家长实时在线监控的不同场景下通过学生学习场景的画面，进行学生表情状态的采集，通过学生的表情状态，对学生具体的学习状态进行监督，从而根据学生的学习状态进行针对性的教学，提高学生在线学习的效率，也利于家长了解学生与教师的交互信息及学生的学习状态，提高学生的学习效果。
作为本发明的一种实施例：本发明确定学生每个人脸表情的动作序列，并判断每个动作序列对应的学生学习状态，还可以采用如下：
步骤1：根据人脸表情标记，构建每个人脸表情标记的表情对应的表情特征矢量、表情注意力特征和表情时空特征：
Figure SMS_1
；
Figure SMS_2
；
Figure SMS_3
其中，
Figure SMS_13
表示第/>
Figure SMS_15
个人脸表情标记的表情特征矢量；/>
Figure SMS_16
表示第/>
Figure SMS_17
个人脸表情标记的表情对应的注意力系数；/>
Figure SMS_18
表示第/>
Figure SMS_19
个人脸表情标记的表情对应的注意力特征；/>
Figure SMS_20
表示第
Figure SMS_4
个人脸表情标记的表情特征矢量；/>
Figure SMS_6
表示第/>
Figure SMS_8
个人脸表情标记对应表情注意力特征；
Figure SMS_10
表示激活函数；/>
Figure SMS_12
表示第/>
Figure SMS_14
个人脸表情标记的表情的在一段时间内的权重；/>
Figure SMS_21
表示第
Figure SMS_22
个人脸表情标记的表情持续性函数；/>
Figure SMS_5
表示第/>
Figure SMS_7
个人脸表情标记的相邻表情时空关联函数；/>
Figure SMS_9
表示第/>
Figure SMS_11
个人脸表情标记的表情持续时间的时间函数；
步骤2：将表情特征矢量、表情注意力特征和表情时空特征按照时空权重进行加权融合，构成学生人脸表情的动作序列模型：
Figure SMS_23
其中，
Figure SMS_24
表示第/>
Figure SMS_27
个人脸表情标记的表情的时间权重；/>
Figure SMS_29
表示学生人脸表情的动作序列模型；/>
Figure SMS_30
和/>
Figure SMS_31
表示第/>
Figure SMS_32
个人脸表情标记的表情在时间坐标系上的像元坐标；
Figure SMS_33
；/>
Figure SMS_25
表示人脸表情标记的总数量；/>
Figure SMS_26
为像元坐标常数，/>
Figure SMS_28
；
步骤3：根据动作序列模型与预设的学生学习状态模型进行匹配，判断匹配结果：
Figure SMS_34
其中，
Figure SMS_35
表示学生人脸表情的动作序列的特征匹配函数；/>
Figure SMS_36
表示学生学习状态模型对应特征匹配函数；/>
Figure SMS_37
；/>
Figure SMS_38
表示预设的学生学习状态模型中学生学习状态的数量；/>
Figure SMS_39
时，表示第/>
Figure SMS_40
个预设的学生学习状态为学生的实时学习状态。
上述技术方案的原理在于：在步骤1中，本发明因为要进行一系列表学生表情的融合，从而判断出学生的行为是正常行为还是非正常的行为，因此，首先确定了表情特征矢量、表情注意力特征和表情时空特征，也就是每个人脸表情标记的时空特征，即出现的时间点和持续时间；表情特征矢量表示每个人脸表情标记的实际识别特征；表情注意力特征用于判断表情是否为注意力专注的特征或注意力不专注的特征。在步骤2中，通过基于时间的像元坐标，将每个表情标记在时间轴上按照时间权重融合起来，构成学习行为的一系列表情构成的动作序列；进而在步骤3中通过学生学习状态中不同表情序列的匹配，构成学生学习状态的识别结果，如果第
Figure SMS_41
个预设的学生学习状态是学生注意力集中的表情，就说明学生学习状态认真，如果第/>
Figure SMS_42
个预设的学生学习状态是学生注意力不集中的表情，说明学生学习状态不认真。
作为本发明的一种实施例：
距离检测单元：用于获取学生与学生端的终端设备之间的检测距离；其中，
学生端的终端设备中配置有距离监测脚本和变焦脚本；
指令生成单元：用于向学生端发送第一指令；其中，
所述第一指令携带检测距离；
时间计算单元：用于接收第一指令，并根据检测距离，确定检测距离与目标摄像精度的拍摄差值距离；
图像采集单元：用于根据拍摄差值距离，调节摄像头的变焦精度，并在变焦后进行行为状态图像采集。
上述技术方案的原理在于：
如附图2所示，现有技术中，手机等终端设备通过第三方APP使用的时候，无法实现自动变焦调节对学生的拍摄，而是需要人为的控制。本发明通过在学生端的终端设备中植入距离监测脚本和变焦脚本，根据学生图片计算学生距离终端设备的实时距离，通过实时距离判断拍摄精度是否达到目标精度和清晰度的目标摄像精度。
在没有达到目标摄像精度的时候，通过拍摄距离的差值，对终端设备进行变焦处理，通过对终端设备的变焦处理，让对学生拍摄的照片达到目标清晰度的程度，即目标摄像精度的目的。变焦通过变焦脚本进行控制。距离检测脚本会根据实时拍摄的图像，判断终端设备距离学生的实时距离。
本发明的有益效果在于：
基于实时检测得到的摄像距离和摄像头精度的调节，在采集学生的行为状态图像的时候，可以实现自动变焦，提高清晰度，进而提高学生表情和行为的捕捉能力。
作为本发明的一种实施例：
所述实时图像采集模块还包括：
变焦调节单元：采集学生学习时的高光谱图像，基于高光谱图像的光谱特性和多准则决策的波段选择方法选出用于当前距离的最佳波段；
配准单元：用于通过学生端的成像系统捕获学生彩色图像和最佳波段图像，并与获取到的行为状态图像与学生彩色图像和最佳波段图像进行配准获得配准图像对；
图像融合生成单元：基于视觉显著性的多模态图像融合方法提取配准图像对的互补信息，并进行互补信息融合从而获得高质量的行为状态图像。
上述技术方案的原理在于：
如附图3所示，本发明能够获取学生学习的高光谱图像，高光谱图像的特性是能够将图像信息和光谱信息集成于一体；通过高光谱图像的光谱特性，反应学生的表情动作，以及非学生人体信息的部分，实现精确分类。进而确定当前学生距离终端设备的距离下，能够得到最佳清晰度图片的最佳拍摄波段，进而通过终端设备的成像系统，进行图像的配准，通过多模态融合的方式，提高采集的学生学习状态图像的图像质量，在这个过程中，多准则决策是通过多种预先设置的决策准则，红外、近红外、及可见光在某个波段时，图像的色彩丰富、层次清晰，就表明当前的波段为当前拍摄距离下的最佳波段，选用最佳波段，获取学生彩色图像和最佳波段图像，彩色图像是高清图像，最佳波段图像是光谱图像，配准是将行为状态图像与当时采集的学生彩色图像和最佳波段图像配准，行为状态图像与学生彩色图像和最佳波段图像描述的信息相同，配准图像对是将行为状态图像和 学生彩色图像和最佳波段图像进行配准后，生成的对照组合，通过这个对照组合，基于视觉显著性，就是对图像中色彩丰富的地方进行区分，判断其对应的人脸位置，多模态图像融合方法是将学生彩色图像和最佳波段图像中的重要信息，即互补信息，学生脸部不同表情位置的定位信息，学生脸部不同像素点的像素深度信息，学生脸部不同部位的层次性信息，将这些信息与原来的学生行为图像进行融合，从而得到学生高质量的行为状态图像。
上述技术方案的有益效果在于：
本发明能够通过终端设备，采集学生学习时候的高光谱图像，基于最佳的图像采集波段，采集学生在最佳距离下的学生彩色图像和最佳波段图像，学生彩色图像，可以实现对像素深度的提取，最佳波段图像可以提取学生脸部的层次性信息和表情定位信息，从而将这些信息进行融合，得到学生行为状态图像的高质量图像。
作为本发明的一种实施例：
所述行为捕捉模块包括：
动作序列单元：用于将行为状态图像通过远程服务器的行为识别矩阵进行识别处理，确定学生行为特征矩阵，并将学生行为特征矩阵输入第一注意力模型，确定学生行为的动作概率序列、起始点概率序列和结束点概率序列；其中，
第一注意力模型由多个分组串联得到，每个分组中包括至少一个注意力单元，各个分组对应的目标特征矩阵在时序上形成了特征偏移；
捕捉框生成单元：用于根据动作概率序列、起始点概率序列和结束点概率序列生成候选捕捉框集；其中，
候选捕捉框集包括至少一个候选捕捉框；
目标捕捉单元：用于提取各个候选捕捉框之间的相对位置信息，并将相对位置信息输入第二注意力模型以得到目标捕捉框集；其中，
目标捕捉框集至少包括一个捕捉框。
上述技术方案的原理在于：
如附图4和附图7所示，远程服务器是一个实现系统后台控制的专用于进行行为捕捉的服务器，通过学生的行为状态图像，会显示很多学生在学习的时候产生的行为，表情特征；对于这些行为表情特征，会以时间轴的方式，生成学生行为特征矩阵，学生行为特征矩阵中，显示在相同的时间点，学生产生的行为表情的特征，然后基于时间轴，生成学生行为特征矩阵。第一注意力模型由注意力单元组成，每个注意力单元对应学生的一个注意力行为特征；动作概率序列为学生产生某种注意力集中行为或者注意力不集中行为的行为过程序列，相同的行为，可能存在多种不同行为过程序列，概率序列，每种行为过程序列发生的概率；起始点概率序列对应学生在发生某种行为时所有可能出现的起始动作的序列。结束点概率序列对应学生在发生某种行为时所有可能出现的结束动作的序列。各个分组对应的目标特征矩阵在时序上形成了特征偏移，每一个分组代表一类学生的注意力表情，发呆类注意力表情，思考类注意力表情，发呆类和思考类可能都存在多种表情。目标特征矩阵就是每一类注意力表情的不同人脸上可能显示的表情对应的特征矩阵；时序表示每个学的每个表情形成过程的时序，特征偏移表示不同表情的变化。候选捕捉框集的目的是为了对学生一系列表情形成过程和变化过程的捕捉。各个候选捕捉框之间的相对位置信息，就是表情变化过程中，在不同的时间点形成的表情对应的捕捉框的时序位置信息，通过时序位置信息，得到的目标捕捉框集，是将一系列表情捕捉顺序按照时序位置关系进行排序，获取学生产生一种注意力行为时，表情一系列的形成过程，进而实现精确地表情捕捉。
本发明的有益效果在于：
本发明会构建学习学习状态图像状态的特征识别矩阵，通过特征识别矩阵，能够通过第一自注意力模型，识别学生当前的动作是不是在集中注意力去学习。然后不是集装注意力学习的时候，通过学生不同表情动作的图片，进行具体表情的候选捕捉框，进行对应的表情动作的行为捕捉。进而，通过行为动作的相对位置关系，以对应的捕捉框进行表情形成过程中不同人脸状态的捕捉，而且实现精确识别学生的注意力是否集中。
作为本发明的一种实施例：
模型训练单元：用于根据行为状态图像的目标样本，构建基于捕捉框的行为目标检测模型，进行人脸检测；其中，
人脸检测包括人脸区域检测模型测试、人脸区域检测模型训练、人脸特征点标定模型评估、人脸特征点标定模型训练、人脸比对模型评估、人脸比对模型训练；
模型应用单元：用于获取训练后的行为目标检测模型，通过行为目标检测模型进行学生脸部人脸表情的实时标记采集；其中，
标记采集包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
上述技术方案的原理在于：
本发明会预先设置行为状态图像的目标样本在远程服务器上，并进行目标样本的训练，训练基于通用的深度神经网络，从而构成学生行为捕捉的行为目标检测模型，进而进行人脸检测。人脸区域检测模型测试用于对行为状态图像上的表情进行测试，行为状态图像上的人脸区域检测是否正确。人脸区域检测模型训练用于对人脸区域识别的训练，让模型对人脸不同区域识别更加精确。人脸特征点标定模型评估用于对人脸上的特征点进行标定，并评估标定结果正确的概率。人脸特征点标定模型训练用于对人脸的不同特征点进行标定，并对标定过程进行训练。人脸比对模型评估用于在进行人脸对比，表情识别的时候进行人脸的比对评估。然后通过训练后的行为目标检测模型，对学生脸部进行实时的脸部图像的标定采集。
上述技术方案的有益效果在于：
本发明在进行人脸的表情识别的时候，会预先通过学生学习状态的样本，构建具有捕捉框的目标检测模型，即：人脸检测模型，人脸表情的采集模型；既而，通过人脸检测模型，对学生的学习状态进行识别，从而确定学生的具体行为。
作为本发明的一种实施例：
所述行为捕捉模块还包括：
人脸表情标记单元：用于在开源平台下定义人脸表情捕捉模型；其中，
人脸表情包括普通学习表情和异常学习表情；
模型定义单元：用于通过定义后的人脸表情捕捉模型，对行为状态图像上的人脸表情进行捕捉；
所述人脸表情状态捕捉模型用于通过捕捉框对人脸表情进行标记捕捉；其中，
标记捕捉至少包括：表情捕捉、视线捕捉、距离捕捉；
表情识别单元：用于根据标记捕捉，进行计算机表情分析，确定表情状态，并生成对应的表情识别信息；其中，
计算机表情分析包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
上述技术方案的原理在于：
本发明的远程服务器设置有开源平台，通过开源平台下定义人脸表情捕捉模型可以在开源的状态下获取更多的人脸表情识别样本，而且，可以根据不同学生表情的，例如脸部存在烧伤或者脸部表情状态僵死的学生，对人脸表情捕捉模型进行修改，进而通过定义后的模型，对行为状态图像上的人脸表情进行捕捉，计算机表情分析，用于确定学生的表情所体现的心情状态，分析学生不同表情的具体表情识别信息的具体内容。
上述技术方案的有益效果在于：
本发明在进行人脸表情状态捕捉的时候，通过定义人脸表情状态捕捉模型，对学生的学习状态对应的人脸表情进行捕捉，在捕捉的过程中，进行对应的表情标记，视线状态标记和距离标记，最后，通过计算机的表情分析，对学习学习状态的人脸表情进行图像捕捉。
作为本发明的一种实施例：所述学习状态判定模块包括：
标记提取单元：用于通过表情标记，确定每个表情标记的时间信息，生成表情标记的时间序列；
表情位置确定单元：用于基于时间序列和Faster R-CNN目标检测模型获得行为状态图像上每个表情在人脸上的方位信息；
时间判定单元：用于基于时间序列和Faster R-CNN目标检测模型，确定每个表情的持续时间；
学习状态分析单元：用于基于方位信息、持续时间和学生面部表情，确定学生学习状态。
上述技术方案的原理在于：
如附图5所示，本发明在确定每个表情对应的学习状态的时候，表情标记的时间序列，用于确定学生表情的生成过程，通过学生表情的生成过程，在时间序列之下，通过Faster R-CNN目标检测模型，Faster R-CNN目标检测模型是设置在云端服务器中，便于进行更多和更快速异常或者不良学生行为数据的爬取。通过识别用户表情生成过程中，每个表情状态在人脸上的方位位置信息。以及不同表情的持续时间，通过方位信息和持续时间，确定学生面部当前表情所体现的学习状态。
上述技术方案的有益效果在于：
会通过时间序列和Faster R-CNN目标检测模型获，确定学生每个表情在脸上的方位，在脸上的持续时间，进而通过这些信息，分析确定学生的具体学习状态。
作为本发明的一种实施例：所述监督提醒模块包括：
学生学习状态判断单元：用于获取学生在当前学习课程的学习时间段内的学习视频，通过学习视频，提取学生行为状态，并进行学习评分；
行为计算单元：用于通过学习学习状态计算学生当前的学习质量系数；
对比单元：用于将计算得到的学习质量系数与预设质量系数进行比对，根据比对结果，判断学生当前的学习状态；
状态提醒单元：根据学生当前的学习状态，确定是否需要对学生的当前行为进行提醒；其中，
学习状态包括：不良学习状态和常规学习状态。
上述技术方案的原理在于：
如附图6所示，本发明在对学生的学习状态进行监督提醒的时候，会设置学生不同学习状态，不同行为状态下的评分机制，进而通过评分机制，确定学生当前的学习质量系数，通过学生的学习质量系数，确定具体的学生学习状态。判断是不良的学生学习行为和常规学习行为，进而对其进行提醒。
上述技术方案的有益效果在于：
学生学习状态表示学生在学习当前学习任务时，学生是否处于课程学习的阶段，如果是处于课程学习的阶段通过，行为状态，判断学生的表情是处于进行课程学习的行为或其它异常非学习表情，通过学生的行为进行评分，判断学生是否处于注意力专注的学习状态，进而通过在学习周期内的一系列表情序列，计算学生的学习质量系数。然后通过和预期学习质量系数进行对比，判断学生学习状态，在处于不良学习状态时，进行学习提醒。
作为本发明的一种实施例：
所述系统还包括：
行为数据采集模块：用于通过云端网络，采集学生正常学习状态下的多个正常表情行为数据/多个不良表情行为数据；
行为链构建模块：用于通过学生多个正常表情行为数据/多个不良表情行为数据的特征数据建立正常行为链/不良行为链；其中，
正常行为链通过每个正常行为和正常行为频次进行构建；
不良行为链通过每个不良行为和不良行为频次进行构建；
行为序列融合模块：实时采集学生的多个当前行为的行为图像，提取每个行为图像的特征数据建立当前行为链，基于当前行为链中的行为和频次，建立当前行为链的特征链，并通过特征链生成学生表情状态的动作序列；
融合匹配单元：用于将当前行为链的特征链与正常行为链/不良行为链的特征链匹配，根据匹配度判断学生行为是否正常。
上述技术方案的原理在于：本发明会通过云端网络，对学生行为状态图像上的学生的表情行为数据进行采集，然后通过多个表情组成一个学生的一系列表情体现出来的行为链；例如：关注的表情、皱眉的表情加上发呆的表情，可以判断出学生在思考；正常行为频次代表正常行为出现的次数，对应的不良行为频次表示不良行为出现的频次，在一系列的表情变化种，如果不良表情更多，代表学生可能处于注意力不集中的状态，而正常的表情更多，表示学生处于注意力不集中的状态；然后通过多张学生行为图像采集学生表情状态的一系列动作序列，从通过一系列的行为判断出学生的行为是正常或不正常。
上述技术方案的有益效果在于：
本发明可以通过特征链的方式，采集学生在进行学习的时候一系列的表情，然后，通过学生一系列表情的融合，判断学生一系列表情构成的行为是注意力集中的正常状态或注意力不正常的异常状态。
作为本发明的一种实施例：所述系统还包括：
不良行为接收模块：用于从学生端接收学生行为报告；
行为数据传输模块：用于通过学生行为报告，响应于确定不良行为事件的提醒条件；
提醒传输模块：用于通过提醒条件，将提醒信息发送至教师端和家长端。
上述技术方案的原理在于：
本发明会接收学生的学习行为报告，通过学生的学习行为报告，确定对学生不良行为提醒的提醒条件，根据具体的提醒条件，向教师端和家长端发送对应的学生学习状态信息。
上述技术方案的有益效果在于：
本发明会在学生端生成学生在学习过程种的学生行为报告，学生行为报告体现学生在学习过程种的正常行为和不良行为；如果在学生行为报告种判定学生在学校过程种事不良行为时间的时候，就会在学生端、教师端和家长端，进行三方提醒。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，其特征在于，包括：
实时图像采集模块：用于通过设置在学生端的摄像头，实时采集学生在学习时的行为状态图像；
行为捕捉模块：用于将行为状态图像输入至远程服务器的行为识别矩阵，通过行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；
学习状态判定模块：用于将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；
监督提醒模块：用于根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息。
2.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述实时图像采集模块包括：
距离检测单元：用于获取学生与学生端的终端设备之间的检测距离；其中，
学生端的终端设备中配置有距离监测脚本和变焦脚本；
指令生成单元：用于向学生端发送第一指令；其中，
所述第一指令携带检测距离；
时间计算单元：用于接收第一指令，并根据检测距离，确定检测距离与目标摄像精度的拍摄差值距离；
图像采集单元：用于根据拍摄差值距离，调节摄像头的变焦精度，并在变焦后进行行为状态图像采集。
3.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述实时图像采集模块还包括：
变焦调节单元：采集学生学习时的高光谱图像，基于高光谱图像的光谱特性和多准则决策的波段选择方法选出用于当前距离的最佳波段；
配准单元：用于通过学生端的成像系统捕获学生彩色图像和最佳波段图像，并与获取到的行为状态图像与学生彩色图像和最佳波段图像进行配准获得配准图像对；
图像融合生成单元：基于视觉显著性的多模态图像融合方法提取配准图像对的互补信息，并进行互补信息融合从而获得高质量的行为状态图像。
4.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述行为捕捉模块包括：
动作序列单元：用于将行为状态图像通过远程服务器的行为识别矩阵进行识别处理，确定学生行为特征矩阵，并将学生行为特征矩阵输入第一注意力模型，确定学生行为的动作概率序列、起始点概率序列和结束点概率序列；其中，
第一注意力模型由多个分组串联得到，每个分组中包括至少一个注意力单元，各个分组对应的目标特征矩阵在时序上形成了特征偏移；
捕捉框生成单元：用于根据动作概率序列、起始点概率序列和结束点概率序列生成候选捕捉框集；其中，
候选捕捉框集包括至少一个候选捕捉框；
目标捕捉单元：用于提取各个候选捕捉框之间的相对位置信息，并将相对位置信息输入第二注意力模型以得到目标捕捉框集；其中，
目标捕捉框集至少包括一个捕捉框。
5.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述行为捕捉模块还包括：
模型训练单元：用于根据行为状态图像的目标样本，构建基于捕捉框的行为目标检测模型，进行人脸检测；其中，
人脸检测包括人脸区域检测模型测试、人脸区域检测模型训练、人脸特征点标定模型评估、人脸特征点标定模型训练、人脸比对模型评估、人脸比对模型训练；
模型应用单元：用于获取训练后的行为目标检测模型，通过行为目标检测模型进行学生脸部人脸表情的实时标记采集；其中，
标记采集包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
6.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述行为捕捉模块还包括：
人脸表情标记单元：用于在开源平台下定义人脸表情捕捉模型；其中，
人脸表情包括普通学习表情和异常学习表情；
模型定义单元：用于通过定义后的人脸表情捕捉模型，对行为状态图像上的人脸表情进行捕捉；
所述人脸表情捕捉模型用于通过捕捉框对人脸表情进行标记捕捉；其中，
标记捕捉至少包括：表情捕捉、视线捕捉、距离捕捉；
表情识别单元：用于根据标记捕捉，进行计算机表情分析，确定表情状态，并生成对应的表情识别信息；其中，
计算机表情分析包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定。
7.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述学习状态判定模块包括：
标记提取单元：用于通过表情标记，确定每个表情标记的时间信息，生成表情标记的时间序列；
表情位置确定单元：用于基于时间序列和Faster R-CNN目标检测模型获得行为状态图像上每个表情在人脸上的方位信息；
时间判定单元：用于基于时间序列和Faster R-CNN目标检测模型，确定每个表情的持续时间；
学习状态分析单元：用于基于方位信息、持续时间和学生面部表情，确定学生学习状态。
8.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述监督提醒模块包括：
学生学习状态判断单元：用于获取学生在当前学习课程的学习时间段内的学习视频，通过学习视频，提取学生行为状态，并进行学习评分；
行为计算单元：用于通过学习评分计算学生当前的学习质量系数；
对比单元：用于将计算得到的学习质量系数与预设质量系数进行比对，根据比对结果，判断学生当前的学习状态；
状态提醒单元：根据学生当前的学习状态，确定是否需要对学生的当前行为进行提醒；其中，
学习状态包括：不良学习状态和常规学习状态。
9.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述系统还包括：
行为数据采集模块：用于通过云端网络，采集学生正常学习状态下的多个正常表情行为数据/多个不良表情行为数据；
行为链构建模块：用于通过学生多个正常表情行为数据/多个不良表情行为数据的特征数据建立正常行为链/不良行为链；其中，
正常行为链通过每个正常行为和正常行为频次进行构建；
不良行为链通过每个不良行为和不良行为频次进行构建；
行为序列融合模块：实时采集学生的多个当前行为的行为图像，提取每个行为图像的特征数据建立当前行为链，基于当前行为链中的行为和频次，建立当前行为链的特征链，并通过特征链生成学生表情状态的动作序列；
融合匹配单元：用于将当前行为链的特征链与正常行为链/不良行为链的特征链匹配，根据匹配度判断学生行为是否正常。
10.如权利要求1所述的 一种基于学生行为捕捉的远程伴读监督系统，其特征在于，所述系统还包括：
不良行为接收单元：用于从学生端接收学生行为报告；
行为数据传输单元：用于通过学生行为报告，响应于确定不良行为事件的提醒条件；
提醒传输单元：用于通过提醒条件，将提醒信息发送至教师端和家长端。
CN202310430566.7A 2023-04-21 2023-04-21 一种基于学生行为捕捉的远程伴读监督系统 Active CN116168346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310430566.7A CN116168346B (zh) 2023-04-21 2023-04-21 一种基于学生行为捕捉的远程伴读监督系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310430566.7A CN116168346B (zh) 2023-04-21 2023-04-21 一种基于学生行为捕捉的远程伴读监督系统

Publications (2)

Publication Number Publication Date
CN116168346A true CN116168346A (zh) 2023-05-26
CN116168346B CN116168346B (zh) 2023-08-18

Family

ID=86418488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310430566.7A Active CN116168346B (zh) 2023-04-21 2023-04-21 一种基于学生行为捕捉的远程伴读监督系统

Country Status (1)

Country Link
CN (1) CN116168346B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095466A (zh) * 2023-10-20 2023-11-21 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217321A1 (en) * 2015-01-23 2016-07-28 Shindig. Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置
CN105956515A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于极成像的立体-高光谱人脸识别方法
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统
CN111709266A (zh) * 2020-03-26 2020-09-25 杭州尚课网络科技有限公司 基于时空融合网络的面部表情识别方法
CN111860033A (zh) * 2019-04-24 2020-10-30 北京三好互动教育科技有限公司 一种注意力识别方法和装置
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN113486700A (zh) * 2021-05-08 2021-10-08 北京科技大学 一种教学场景下基于注意力机制的面部表情分析方法
CN114220135A (zh) * 2020-09-04 2022-03-22 森兰信息科技（上海）有限公司 教学中的人脸的注意力、表情识别方法、系统、介质及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217321A1 (en) * 2015-01-23 2016-07-28 Shindig. Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
CN105956515A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于极成像的立体-高光谱人脸识别方法
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统
CN111860033A (zh) * 2019-04-24 2020-10-30 北京三好互动教育科技有限公司 一种注意力识别方法和装置
CN111709266A (zh) * 2020-03-26 2020-09-25 杭州尚课网络科技有限公司 基于时空融合网络的面部表情识别方法
CN114220135A (zh) * 2020-09-04 2022-03-22 森兰信息科技（上海）有限公司 教学中的人脸的注意力、表情识别方法、系统、介质及装置
CN113486700A (zh) * 2021-05-08 2021-10-08 北京科技大学 一种教学场景下基于注意力机制的面部表情分析方法
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095466A (zh) * 2023-10-20 2023-11-21 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备
CN117095466B (zh) * 2023-10-20 2024-01-26 广州乐庚信息科技有限公司 基于图像识别的作业提交方法、装置、介质和计算设备

Also Published As

Publication number Publication date
CN116168346B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN108399376B (zh) 学生课堂学习兴趣智能分析方法及系统
US11790641B2 (en) Answer evaluation method, answer evaluation system, electronic device, and medium
WO2020010785A1 (zh) 一种课堂教学认知负荷测量系统
CN110991381A (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN114038256B (zh) 一种基于人工智能的教学互动系统
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN116168346B (zh) 一种基于学生行为捕捉的远程伴读监督系统
Indi et al. Detection of malpractice in e-exams by head pose and gaze estimation
CN108304793A (zh) 在线学习分析系统及方法
CN112862639B (zh) 一种基于大数据分析的在线教育平台的教育方法
CN113762107B (zh) 对象状态评估方法、装置、电子设备及可读存储介质
CN113628079A (zh) 评分方法、装置、电子设备及可读介质
CN111539348A (zh) 一种基于偏振成像的人脸活体检测方法
CN114783043B (zh) 一种儿童行为轨迹定位方法和系统
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN111178263A (zh) 一种实时表情分析方法及其装置
CN113989608A (zh) 基于顶部视觉的学生实验课堂行为识别方法
CN109271896A (zh) 一种基于图像识别的学生测评系统及方法
CN111275592B (zh) 一种基于视频图像的课堂行为分析方法
Mershad et al. Using Internet of Things for automatic student assessment during laboratory experiments
CN111369400A (zh) 一种基于图像数据处理的中学生学习过程监管方法
CN109308569A (zh) 一种基于人工智能的教学行为分析系统及分析方法
CN116824459B (zh) 一种实操考试的智能监测考评方法、系统及存储介质
CN113205715A (zh) 一种引导学生学习的智慧班牌系统
KR102439446B1 (ko) 인공지능 기반 학습 관리 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant