CN115205764A - 基于机器视觉的在线学习专注度监测方法、系统及介质 - Google Patents

基于机器视觉的在线学习专注度监测方法、系统及介质 Download PDF

Info

Publication number
CN115205764A
CN115205764A CN202211118353.2A CN202211118353A CN115205764A CN 115205764 A CN115205764 A CN 115205764A CN 202211118353 A CN202211118353 A CN 202211118353A CN 115205764 A CN115205764 A CN 115205764A
Authority
CN
China
Prior art keywords
learning
target object
concentration
acquiring
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211118353.2A
Other languages
English (en)
Other versions
CN115205764B (zh
Inventor
张志发
夏德虎
司岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Penguin Network Technology Co ltd
Original Assignee
Shenzhen Penguin Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Penguin Network Technology Co ltd filed Critical Shenzhen Penguin Network Technology Co ltd
Priority to CN202211118353.2A priority Critical patent/CN115205764B/zh
Publication of CN115205764A publication Critical patent/CN115205764A/zh
Application granted granted Critical
Publication of CN115205764B publication Critical patent/CN115205764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种基于机器视觉的在线学习专注度监测方法、系统及介质，包括，获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理；通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征进行特征融合输入专注度监测模型获取实时专注度，根据实时专注度进行相应提醒；将目标对象的实时专注度结合时间信息生成专注度时序序列，并根据所述专注度时序序列对目标对象的在线学习情况进行评估。本发明通过获取目标对象在线学习过程中的专注度，检测学习过程中的异常状态，能够提高用户的学习效率，保证在线学习的有效性。

Description

基于机器视觉的在线学习专注度监测方法、系统及介质
技术领域
本发明涉及专注度监测技术领域，更具体的，涉及一种基于机器视觉的在线学习专注度监测方法、系统及介质。
背景技术
“互联网+教育”背景下教育与信息技术的不断融合，为在线教育的迅速发展奠定了基础。线上教学及在线学习已经成为教学、学习的重要组成部分，在线教育因其跨越时间、空间的优势受到越来越多人的关注，但与传统教育相比，在线教育的教师无法实时监督学生的学习状态，师生之间缺少必要的交互与情感交流，导致学习效果无法得到保证。因此，开展在线学习状态识别研究对于完善在线教学系统的监督手段、提高教学质量具有积极的社会价值。
目前，在线上教学过程中，教师只能通过屏幕等单一方式对学生的学习状态进行判断，但是单一的判断方式不足以准确的反映学生的真实学习状态，从而无法了解学习者的课堂专注度，造成了在线学习的有效性大大降低。因此为了握学生的学习状态，采取针对性的教学方法，提高学生的个性化培养水平，如何利用机器视觉技术实现对目标对象专注度进行有效的监测是亟不可待的需要解决的问题之一。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于机器视觉的在线学习专注度监测方法、系统和介质。
本发明第一方面提供了一种基于机器视觉的在线学习专注度监测方法，包括：
获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
本方案中，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：
通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D-CNN根据所述面部特征获取目标对象的面部表情信息，同时，根据所述面部特征进行目标对象的身份核验；
通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；
根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；
根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；
根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。
本方案中，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：
将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；
根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；
预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；
根据所述专注度标签获取目标对象的实时专注度。
本方案中，还包括，根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：
获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；
根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；
判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；
对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。
本方案中，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：
获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；
根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；
根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；
将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；
构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
本方案中，还包括，对目标对象的不专注时间段进行验证，具体为：
将目标对象在线学习过程中的不专注时间段进行汇总，获取各不专注时间段对应的学习内容，并根据学习内容章节进行标记生成标记学习内容；
在线学习结束时根据本次在线学习的学习内容制定考评方案，若目标对象不专注时间段的汇总时间大于预设时间阈值，并在考评方案中增加各个标记学习内容的占比；
获取目标对象的考评方案的正确率数据，根据所述正确率获取目标对象对标记学习内容的掌握情况；
当目标对象的考评方案中标记学习内容部分的正确率大于预设正确率阈值，则将该标记学习内容对应的不专注时间段进行取消操作；
根据验证后的不专注时间段进行目标对象本次在线学习的评估，通过预设时间内每次在线学习的评估结果获取目标对象的平时分，并根据每次在线学习的考评方案的考评结果生成目标对象的学习重点。
本发明第二方面还提供了一种基于机器视觉的在线学习专注度监测系统，该系统包括：存储器、处理器，所述存储器中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被所述处理器执行时实现如下步骤：
获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被处理器执行时，实现如上述任一项所述的一种基于机器视觉的在线学习专注度监测方法的步骤。
本发明公开的一种基于机器视觉的在线学习专注度监测方法、系统及介质，包括，获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理；通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征进行特征融合输入专注度监测模型获取实时专注度，根据实时专注度进行相应提醒；将目标对象的实时专注度结合时间信息生成专注度时序序列，并根据所述专注度时序序列对目标对象的在线学习情况进行评估。本发明通过获取目标对象在线学习过程中的专注度，检测学习过程中的异常状态，能够提高用户的学习效率，保证在线学习的有效性。
附图说明
图1示出了本发明一种基于机器视觉的在线学习专注度监测方法的流程图；
图2示出了本发明根据目标对象的多模态特征获取实时专注度的方法流程图；
图3示出了本发明根据专注度时序序列对目标对象的在线学习情况进行评估的方法流程图；
图4示出了本发明一种基于机器视觉的在线学习专注度监测系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于机器视觉的在线学习专注度监测方法的流程图。
如图1所示，本发明第一方面提供了一种基于机器视觉的在线学习专注度监测方法，包括：
S102，获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
S104，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
S106，根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
S108，根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
需要说明的是，将所述视频流进行预处理，所述预处理包括滤波去噪，剔除异常值及空白帧，静止杂波等操作，根据视频流信息获取帧图像数据，提取帧图像数据中的感兴趣区域，在感兴趣区域中进行目标用的识别及框选，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D-CNN根据所述面部特征获取目标对象的面部表情信息，通过CASME数据库进行训练，同时，根据所述面部特征根据与身份信息数据库中的特征通过相似度判断进行目标对象的身份核验；
通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；所述OpenFace算法中图像首先经过金字塔，生成多尺度图像，获得候选区域，去除重叠框体；接着将包含候选窗体的图片确选取边框；最后去除重叠候选边框，显示人脸关键点定位，最后输出头部姿势识别结果；
根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，将目标对象视轴与相机坐标系z轴重合时的状态为眼球模型初始状态，根据目标对象眼球状态的不同状态生成相关数据集，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。
图2示出了本发明根据目标对象的多模态特征获取实时专注度的方法流程图。
根据本发明实施例，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：
S202，将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；
S204，根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；
S206，预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；
S208，根据所述专注度标签获取目标对象的实时专注度。
需要说明的是，通过目标对象不同面部表情、不同头部姿势，不同视线方向识别的概率结果输出转换为在线学习的专注度概率，根据基于表情特征的专注度等级的概率矩阵和头部姿态特征的专注度等级的概率矩阵赋予不同的权重值进行融合基于多模态融合特征生成目标对象的实时专注度。
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。
图3示出了本发明根据专注度时序序列对目标对象的在线学习情况进行评估的方法流程图。
根据本发明实施例，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：
S302，获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；
S304，根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；
S306，根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；
S308，将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；
S310，构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
需要说明的是，对目标对象的不专注时间段进行验证，具体为：将目标对象在线学习过程中的不专注时间段进行汇总，获取各不专注时间段对应的学习内容，并根据学习内容章节进行标记生成标记学习内容；在线学习结束时根据本次在线学习的学习内容制定考评方案，若目标对象不专注时间段的汇总时间大于预设时间阈值，并在考评方案中增加各个标记学习内容的占比；获取目标对象的考评方案的正确率数据，根据所述正确率获取目标对象对标记学习内容的掌握情况；当目标对象的考评方案中标记学习内容部分的正确率大于预设正确率阈值，则将该标记学习内容对应的不专注时间段进行取消操作；根据验证后的不专注时间段进行目标对象本次在线学习的评估，通过预设时间内每次在线学习的评估结果获取目标对象的平时分，并根据每次在线学习的考评方案的考评结果生成目标对象的学习重点。
根据本发明实施例，本发明还包括：
获取目标对象再选学习过程中不专注的时间戳，根据所述时间戳获取本次在线学习中对应的学习内容；
根据所述学习内容生成目标对象的个性化补充学习方案制定数据，通过所述个性化补充学习方案制定数据生成目标对象的课后作业方案及重点学习方向；
将预设时间段内目标对象重点学习方向对应的学习内容融合在线学习考评进行综合性考察，判断目标对象的掌握情况，若目标对象的掌握情况小于预设掌握情况阈值，则调整目标对象对象的学习方案；
同时，根据目标对象的在线学习专注度情况及在线学习阶段性考评结果对个性化补充学习方案制定数据进行更新。
图4示出了本发明一种基于机器视觉的在线学习专注度监测系统的框图。
本发明第二方面还提供了一种基于机器视觉的在线学习专注度监测系统5，该系统包括：存储器41、处理器42，所述存储器中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被所述处理器执行时实现如下步骤：
获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
需要说明的是，将所述视频流进行预处理，所述预处理包括滤波去噪，剔除异常值及空白帧，静止杂波等操作，根据视频流信息获取帧图像数据，提取帧图像数据中的感兴趣区域，在感兴趣区域中进行目标用的识别及框选，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D-CNN根据所述面部特征获取目标对象的面部表情信息，通过CASME数据库进行训练，同时，根据所述面部特征根据与身份信息数据库中的特征通过相似度判断进行目标对象的身份核验；
通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；所述OpenFace算法中图像首先经过金字塔，生成多尺度图像，获得候选区域，去除重叠框体；接着将包含候选窗体的图片确选取边框；最后去除重叠候选边框，显示人脸关键点定位，最后输出头部姿势识别结果；
根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，将目标对象视轴与相机坐标系z轴重合时的状态为眼球模型初始状态，根据目标对象眼球状态的不同状态生成相关数据集，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。
根据本发明实施例，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：
将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；
根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；
预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；
根据所述专注度标签获取目标对象的实时专注度。
需要说明的是，通过目标对象不同面部表情、不同头部姿势，不同视线方向识别的概率结果输出转换为在线学习的专注度概率，根据基于表情特征的专注度等级的概率矩阵和头部姿态特征的专注度等级的概率矩阵赋予不同的权重值进行融合基于多模态融合特征生成目标对象的实时专注度。
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。
根据本发明实施例，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：
获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；
根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；
根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；
将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；
构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
需要说明的是，对目标对象的不专注时间段进行验证，具体为：将目标对象在线学习过程中的不专注时间段进行汇总，获取各不专注时间段对应的学习内容，并根据学习内容章节进行标记生成标记学习内容；在线学习结束时根据本次在线学习的学习内容制定考评方案，若目标对象不专注时间段的汇总时间大于预设时间阈值，并在考评方案中增加各个标记学习内容的占比；获取目标对象的考评方案的正确率数据，根据所述正确率获取目标对象对标记学习内容的掌握情况；当目标对象的考评方案中标记学习内容部分的正确率大于预设正确率阈值，则将该标记学习内容对应的不专注时间段进行取消操作；根据验证后的不专注时间段进行目标对象本次在线学习的评估，通过预设时间内每次在线学习的评估结果获取目标对象的平时分，并根据每次在线学习的考评方案的考评结果生成目标对象的学习重点。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被处理器执行时，实现如上述任一项所述的一种基于机器视觉的在线学习专注度监测方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于机器视觉的在线学习专注度监测方法，其特征在于，包括以下步骤：
获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
2.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：
通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D-CNN根据所述面部特征获取目标对象的面部表情信息，同时，根据所述面部特征进行目标对象的身份核验；
通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；
根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；
根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；
根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。
3.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：
将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；
根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；
预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；
根据所述专注度标签获取目标对象的实时专注度。
4.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，还包括，根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：
获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；
根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；
判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；
对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。
5.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：
获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；
根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；
根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；
将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；
构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
6.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，还包括，对目标对象的不专注时间段进行验证，具体为：
将目标对象在线学习过程中的不专注时间段进行汇总，获取各不专注时间段对应的学习内容，并根据学习内容章节进行标记生成标记学习内容；
在线学习结束时根据本次在线学习的学习内容制定考评方案，若目标对象不专注时间段的汇总时间大于预设时间阈值，并在考评方案中增加各个标记学习内容的占比；
获取目标对象的考评方案的正确率数据，根据所述正确率获取目标对象对标记学习内容的掌握情况；
当目标对象的考评方案中标记学习内容部分的正确率大于预设正确率阈值，则将该标记学习内容对应的不专注时间段进行取消操作；
根据验证后的不专注时间段进行目标对象本次在线学习的评估，通过预设时间内每次在线学习的评估结果获取目标对象的平时分，并根据每次在线学习的考评方案的考评结果生成目标对象的学习重点。
7.一种基于机器视觉的在线学习专注度监测系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被所述处理器执行时实现如下步骤：
获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；
基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；
根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；
根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
8.根据权利要求7所述的一种基于机器视觉的在线学习专注度监测系统，其特征在于，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：
将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；
根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；
预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；
根据所述专注度标签获取目标对象的实时专注度。
9.根据权利要求7所述的一种基于机器视觉的在线学习专注度监测系统，其特征在于，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：
获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；
根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；
根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；
将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；
构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被处理器执行时，实现如权利要求1至6中任一项所述的一种基于机器视觉的在线学习专注度监测方法的步骤。
CN202211118353.2A 2022-09-15 2022-09-15 基于机器视觉的在线学习专注度监测方法、系统及介质 Active CN115205764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118353.2A CN115205764B (zh) 2022-09-15 2022-09-15 基于机器视觉的在线学习专注度监测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118353.2A CN115205764B (zh) 2022-09-15 2022-09-15 基于机器视觉的在线学习专注度监测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN115205764A true CN115205764A (zh) 2022-10-18
CN115205764B CN115205764B (zh) 2022-11-25

Family

ID=83572615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118353.2A Active CN115205764B (zh) 2022-09-15 2022-09-15 基于机器视觉的在线学习专注度监测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN115205764B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259004A (zh) * 2023-01-09 2023-06-13 盐城工学院 一种应用于在线教育的学生学习状态检测方法及系统
CN117492871A (zh) * 2023-12-29 2024-02-02 辽宁向日葵数字技术股份有限公司 基于低代码的教学活动构建方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
US20200046277A1 (en) * 2017-02-14 2020-02-13 Yuen Lee Viola Lam Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods
CN112926412A (zh) * 2021-02-04 2021-06-08 上海松鼠课堂人工智能科技有限公司 自适应教学课堂监控方法及系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113590762A (zh) * 2021-09-26 2021-11-02 北京易言科技有限公司 试题信息的推荐方法、装置、电子设备及计算机可读介质
CN114339149A (zh) * 2021-12-27 2022-04-12 海信集团控股股份有限公司 电子设备及学习监督方法
CN114663734A (zh) * 2022-03-14 2022-06-24 东北农业大学 基于多特征融合的在线课堂学生专注度评价方法及系统
CN115019396A (zh) * 2022-06-13 2022-09-06 重庆第二师范学院 一种学习状态监测方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200046277A1 (en) * 2017-02-14 2020-02-13 Yuen Lee Viola Lam Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN112926412A (zh) * 2021-02-04 2021-06-08 上海松鼠课堂人工智能科技有限公司 自适应教学课堂监控方法及系统
CN113239794A (zh) * 2021-05-11 2021-08-10 西北工业大学 一种面向在线学习的学习状态自动识别方法
CN113590762A (zh) * 2021-09-26 2021-11-02 北京易言科技有限公司 试题信息的推荐方法、装置、电子设备及计算机可读介质
CN114339149A (zh) * 2021-12-27 2022-04-12 海信集团控股股份有限公司 电子设备及学习监督方法
CN114663734A (zh) * 2022-03-14 2022-06-24 东北农业大学 基于多特征融合的在线课堂学生专注度评价方法及系统
CN115019396A (zh) * 2022-06-13 2022-09-06 重庆第二师范学院 一种学习状态监测方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KRITHIKA L.B等: "Student Emotion Recognition System（SERS）for e-learning Improvement Based on Learner Concentration Metric", 《PROCEDIA COMPUTER SCIENCE》 *
LINH LE等: "Analysis of Students’ Concentration Levels for Online Learning Using Webcam Feeds", 《2021 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIG DATA)》 *
刘艳婷: "基于多特征融合的专注度识别", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259004A (zh) * 2023-01-09 2023-06-13 盐城工学院 一种应用于在线教育的学生学习状态检测方法及系统
CN116259004B (zh) * 2023-01-09 2023-08-15 盐城工学院 一种应用于在线教育的学生学习状态检测方法及系统
CN117492871A (zh) * 2023-12-29 2024-02-02 辽宁向日葵数字技术股份有限公司 基于低代码的教学活动构建方法及相关设备
CN117492871B (zh) * 2023-12-29 2024-04-23 辽宁向日葵数字技术股份有限公司 基于低代码的教学活动构建方法及相关设备

Also Published As

Publication number Publication date
CN115205764B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN108717663B (zh) 基于微表情的面签欺诈判断方法、装置、设备及介质
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
CN114419736B (zh) 一种实验评分方法、系统、设备及可读存储介质
Hu et al. Research on abnormal behavior detection of online examination based on image information
Laraba et al. Dance performance evaluation using hidden Markov models
CN110275987B (zh) 智能教学顾问生成方法、系统、设备及存储介质
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
CN112541529A (zh) 表情与姿态融合的双模态教学评价方法、设备及存储介质
CN113723530B (zh) 基于视频分析和电子心理沙盘的智能心理评估系统
CN115936944B (zh) 一种基于人工智能的虚拟教学管理方法及装置
CN112101074A (zh) 一种在线教育辅助评分方法和系统
Masud et al. Smart online exam proctoring assist for cheating detection
Pise et al. Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping
Seneviratne et al. Student and lecturer performance enhancement system using artificial intelligence
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
CN114971425B (zh) 数据库信息监控方法、装置、设备及存储介质
CN114399827B (zh) 基于面部微表情的高校毕业生职业性格测试方法及系统
JP7293658B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110956142A (zh) 一种智能交互培训系统
CN111199378A (zh) 学员管理方法、装置、电子设备及存储介质
CN111507555B (zh) 人体状态检测方法、课堂教学质量的评价方法及相关装置
CN112446360A (zh) 目标行为检测方法、装置及电子设备
CN114493952A (zh) 一种基于大数据的教育软件数据处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant