CN116797090B - 一种学员课堂学习状态在线评估方法及系统 - Google Patents

一种学员课堂学习状态在线评估方法及系统 Download PDF

Info

Publication number
CN116797090B
CN116797090B CN202310753430.XA CN202310753430A CN116797090B CN 116797090 B CN116797090 B CN 116797090B CN 202310753430 A CN202310753430 A CN 202310753430A CN 116797090 B CN116797090 B CN 116797090B
Authority
CN
China
Prior art keywords
learning
state
time
model
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310753430.XA
Other languages
English (en)
Other versions
CN116797090A (zh
Inventor
张仁凤
唐鑫程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoxin Blue Bridge Education Technology Co ltd
Original Assignee
Guoxin Blue Bridge Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoxin Blue Bridge Education Technology Co ltd filed Critical Guoxin Blue Bridge Education Technology Co ltd
Priority to CN202310753430.XA priority Critical patent/CN116797090B/zh
Publication of CN116797090A publication Critical patent/CN116797090A/zh
Application granted granted Critical
Publication of CN116797090B publication Critical patent/CN116797090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明涉及在线教育技术领域，用于进行学员在线学习中的行为分析，通过提供一种学员课堂学习状态在线评估方法及系统，基于学员建模、状态识别建模、状态时间计算、课程建模、状态评估等五个步骤，对于学员学习时间内的肢体动作、微表情、学习课程的难易程度和学员所述环境场景作为学习状态评估的数据，对于学员的学习状态进行评估，具体结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，从而实现对学员在线学习的全面评估。

Description

一种学员课堂学习状态在线评估方法及系统
技术领域
本发明涉及在线学习技术领域，特别涉及一种学员课堂学习状态在线评估方法及系统。
背景技术
目前，随着“互联网+教育”的深入发展，在线教育越来越深入我们的生活内，通过将课堂教学全过程进行信息化，实现在线的线上线下同步的学习，同时，线上的学习更加适用于无法实现线下教育的各种场景。
在线教育学习平台在近几年大量出现，也是基于通信技术的提升，学员可以通过在线观看教学视频，或者教师就进行在线教学，帮助学员进行学习。
然而，市面上绝大部分在线教育的评估体系中，对于学员学习状态的评估，主要是基于学员的表情状态评估，评估学员发呆、玩耍，不在在线学习的设备镜头前等情况，以此判断学员的具体的学习状态。
但是：
(1)无法根据课程重要度情况实现学习状态评估，因为，不同课程的重要程度，往往影响这未来学习其它关联课程时候，学员专注度和学习状态；
(2)无法结合表情和行为，判断学员的学习状态，往往学员在肢体行为异常的时候，但是，表情正常情况下，现有技术无法判断学员的专注度，只能判断误判学员处于正常状态。
(3)由于在线评估的数据较大，会存在数据传输响应慢，评估系统不稳定，传输效率低的情况存在。
发明内容
本发明提供一种学员课堂学习状态在线评估方法及系统，用以解决无法根据课程重要度情况实现学习状态评估，无法结合表情和行为，判断学员的学习状态的情况。
本发明提出了一种学员课堂学习状态在线评估方法，包括：
步骤1：学员建模；
获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
行为动作模型包括学员的行为模型和表情模型；
步骤2：状态识别建模；
根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
步骤3：状态时间计算；
根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
步骤4：课程建模；
记录学员在不同时间对应的学习课程，生成时间课程模型；
步骤5：状态评估；
根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果。
步骤6：数据传输；
获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式。
优选的，所述学员建模包括：
根据学员的学习图像，分别进行行为识别和表情识别；
根据行为识别，构建肢体行为识别机制；
肢体行为识别机制包括构建基于学习图像中第一肢体图像的人体骨架模型，人体骨架模型用于追踪肢体行为；
根据表情识别，构建注意力识别机制；其中，
注意力识别机制包括构建基于预设基准面部表情图像的脸部区域网格模型，脸部区域网格模型用于拟真脸部表情；
根据肢体行为识别机制，捕捉学员在线学习时的肢体动作；
根据注意力识别机制，捕捉学员在线学习时的表情动作；其中，
表情动作包括微表情和常态化表情；
根据肢体动作和表情动作，模拟每一时刻的学员行为动作，生成行为动作模型。
优选的，所述肢体动作包括如下捕捉步骤：
将学员的学习图像按照时间轴排序，并通过人体骨架模型的追踪肢体行为，生成基于时间轴的肢体序列；
对肢体序列中每个图像通过特征识别进行肢体捕捉；
根据肢体捕捉，将相同肢体的坐标映射到虚拟二维图像中；
基于时间轴将虚拟二维图像进行重叠，生成肢体动作在三维空间的动作数据；
根据动作数据，确定肢体动作。
优选的，所述微表情包括如下捕捉步骤：
根据学员图像，确定学员的面部区域，进行面部区域的裁剪，获取裁剪图像；
根据裁剪图像，将人脸划分为多个识别区域；
建立脸部的全局坐标系和每个识别区域的局部坐标系；其中，
全局坐标系包括深度坐标系和平面坐标系；
根据全局坐标系和局部坐标系，确定不同时刻学员图像上不同识别区域的局部坐标系在全局坐标系上的位置迁移矢量；
根据位置迁移矢量，进行微表情建模，捕捉学员的微表情。
优选的，所述常态化表情包括如下捕捉步骤：
基于行为动作模型，对学员图像进行脸部分割，确定学员脸部图像；
基于学员脸部图像，确定每个识别区域；其中，
根据识别区域，对学员脸部进行网格化投影，确定面部表情网格点；
根据面部表情的网格点，确定学员面部的变换动作；
根据变换动作，捕捉学员面部的常态化表情。
优选的，所述构建不同行为表情相对于学习的状态评估体系，包括：
分别构建行为专注度指标和表情专注度指标，生成双层状态评估模型；其中，
双层状态评估模型包括：行为判定层和表情判定层；
根据行为判定层，生成时间行为判定矩阵；其中，
时间行为判定矩阵由每个肢体行为的发生时间、行为特征参数和行为评估系数构成；
根据表情判定层，生成时间表情判定矩阵；其中，
时间表情判定矩阵由每个表情的发生时间、表情特征参数和表情持续时间构成；
在双层状态评估模型上配置同步状态评估机制，生成状态评估体系。
优选的，所述时间状态模型包括：
收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；
将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；
使用K-交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，以此频率作为记录数据被识别为不良学习状态的识别概率；
根据识别概率，通过拟合函数，将概率映射为对应记录数据进行模型训练时的样本权重；
根据样本权重，搭建第一人工神经网络模型，将学习状态数据输入人工神经网络模型进行训练，生成时间状态模型。
优选的，所述时间课程模型包括：
基于时间状态模型，确定不同时间点对应的学习状态；
通过用户终端，获取对应时间点的学习课程；
通过预设的学习课程的重要度参数，搭建第二人工神经网络模型，将学习课程数据输入人工神经网络模型进行训练，生成时间课程模型模型；其中，
重要度参数包括关联性参数、单项评估参数和学习顺序重要度；其中，
关联性参数通过建立课程的有向图谱，通过计算有向图谱中不同课程内容节点的关联性，确定不同课程之间的关联性参数；
单项评估参数通过建立课程的内容图谱，通过计算内容图谱中每个课程内容的学习时间，确定不同课程内容的单项评估参数；
学习顺序重要度通过接收不同课程的授课图表，确定不同课程的时间顺序，根据时间顺序和关联性参数，通过学习时间关联性，计算不同课程的学习顺序重要度。
优选的，所述方法还包括：
获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式，包括：
获取当前状态评估后的评估结果，并累计当前所述评估结果对应的数据量，获得所述评估结果对应的累积数据量；
当所述评估结果对应的累计数据量低于预设的数据量阈值时，在状态监控平台建立数据调取节点；
利用所述数据调取节点依次从在线评估终端调取每次生成的评估结果，并在所述评估结果完成调用后，对所述评估结果进行删除，重新计算评估结果对应的累积数据量；
当所述评估结果对应的累积数据量达到或超过预设的数据量阈值时，则设置单次数据传输的额定数据量；其中，所述额定数据量通过如下公式获取：
其中，C表示额定数据量；Cr表示预设的基准数据量；Ck表示累计数据量；C0表示数据量阈值；Cd表示单位时间生成的评估结果的平均数据量，并且，单位时间的取值范围为1.5min-2.5min；Ch表示临界数据量阈值的最后一次累计时，对应的单次评估结果数据量；
利用所述在线评估终端的服务器按照所述额定数据量向所述状态监控平台发送评估结果。
优选的，所述方法还包括：
确定需进行学员学习状态评估的评估场景；
根据评估场景在预先设定的若干场景模式中选择对应的场景模型，其中，
所述场景模型根据学习课程要求，对不同课程在学习时的状态参数和持续时间进行统计，并结合对应场景模式下的学员接受度系数，进行学员学习状态损失计算；其中，
学员学习状态损失计算通过采集学员在不同学习场景下的注意力数据，设置不同场景下的学习注意力变量，通过学习注意力变量确定具备鲁棒性的损失函数，并根据学习图像，确定当前学习场景，并生成学员学习状态损失计算函数；
根据场景模型设定计算出学员学习状态的评估结果。
一种学员课堂学习状态在线评估系统，包括：
学员建模模块：获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
行为动作模型包括学员的行为模型和表情模型；
状态识别建模模块：根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
状态时间计算模块：根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
课程建模模块：记录学员在不同时间对应的学习课程，生成时间课程模型；
状态评估模块：根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果。本发明的有益效果在于：
对于学员的学习状态，本发明结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，从而实现对学员在线学习的全面评估。
数据传输模块，获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式。
本发明具有以下的技术效果：
1.本发明通过对学员的学习图像建立行为动作模型，同时考虑学员的动作信息和表情信息，能够对学员的行为表情识别，根据识别结果，记录不同学习状态对应的持续时间，本发明能够根据课程的重要程度，对学员的学习状态进行评估，除了评估学员对重要课程的接受度，也包括学员对不同学习状态的评估判断结果，具有全面性和有针对性的评估和监控。
2.本发明通过将学员的行为动作和面部动作结合，能够通过多种因素来判定学员上课的专注度，有效避免了仅关注表情而忽略动作分析的情况下可能对学员状态产生的误判。
3.本发明结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，可以针对学员的学习课程情况，对于学员状态进行针对性评估，并可以结合评估结果对学员不符合正常学习状态的情况及时进行提醒或者干预，以提高学员学习时的专注度，对于学习的效果具有很好的督促作用，具有很高的实用价值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明实施例中一种学员课堂学习状态在线评估方法的方法流程图；
图2为本发明实施例中一种学员课堂学习状态在线评估系统的系统组成图；
图3为本发明实施例中评估结果获取流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明是一种在线学习的过程中，实现对学员的实时课堂的学习状态进行评估，用于对学员在课堂上具体的学习状态进行评估，具体包括：
步骤1：学员建模；
获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
行为动作模型包括学员的行为模型和表情模型；
步骤2：状态识别建模；
根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
步骤3：状态时间计算；
根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
步骤4：课程建模；
记录学员在不同时间对应的学习课程，生成时间课程模型；
步骤5：状态评估；
根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果。
步骤6：数据传输；
如附图1所示，上述技术方案的工作原理为：
在本实施例中，学员建模用于获取学员处于在线课堂时，采集学院具体的行为动作图像，即肢体行为，以及学员的具体表情图像，即面部表情，实现学员的动作表情的同步建模。在这个过程重，图像采集基于摄像设备，摄像设备是终端设备自带的摄像设备，终端设备包括手机、电脑、学习机等携带摄像设备的智能交互设备。
在本实施例中，摄像设备包括但不限于在线学习设备或第三方摄像设备，行为动作模型用于记录模拟学员在线学习时的不同行为和表情。
在本实施例中，状态识别建模用于在识别成功学员的具体学习行为和面部表情之后，针对不同的面部表情和学员肢体行为，判断学员在不同肢体行为和表情下的学习状态，进而确定状态评估的识别结果，进而确定学员具体的学习状态。
在本实施例中，状态时间计算用于根据学员学习状态的识别结果，记录学员处于不同肢体行为和面部表情的持续时间，计算不同时间点学员的学习状态，生成基于时间的学习状态评估模型。
在本实施例中，课程建模用于将不同时间点的学习状态和对应时间点的学习课程相对应，基于不同课程的重要程度，实现对学员学习状态的相对于不同重要度课程的评估。
在本实施例中，状态评估用于根据时间状态模型和时间课程模型，计算不同时间点，以及具体的学习课程，对学员的学习状态进行在线评估，判断学员的学习状态，学习状态包括相对于不同重要度课程的评估和相对于不同时间点的行为表情评估。
上述技术方案的有益效果为：
(1)本发明能够根据课程的重要程度，对学员的学习状态进行评估，除了评估学员对重要课程的接受度，也包括学员对不同学习状态的评估判断结果。
(2)对于学员的学习状态，本发明结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，从而实现对学员在线学习的全面评估。
(3)本发明因为能够实现将肢体动作和表情结合，通过两者结合状态下，评估学员的学习状态，而不是单单只是对面部表情进行评估。
优选的，所述学员建模包括：
根据学员的学习图像，分别进行行为识别和表情识别；
根据行为识别，构建肢体行为识别机制；
肢体行为识别机制包括构建基于学习图像中第一肢体图像的人体骨架模型，人体骨架模型用于追踪肢体行为；
根据表情识别，构建注意力识别机制；其中，
注意力识别机制包括构建基于预设基准面部表情图像的脸部区域网格模型，脸部区域网格模型用于拟真脸部表情；
根据肢体行为识别机制，捕捉学员在线学习时的肢体动作；
根据注意力识别机制，捕捉学员在线学习时的表情动作；其中，
表情动作包括微表情和常态化表情；
根据肢体动作和表情动作，模拟每一时刻的学员行为动作，生成行为动作模型。
上述技术方案的工作原理为：
在本实施例中，学员图像为在学员学习课程情况下相对于学习课程的显示屏的正面图像，正面图像中包括学员的脸部表情图像和肢体行为图像；
在本实施例中，肢体行为识别机制用于识别学员的肢体动作，包括但不限于举手、打瞌睡、动手等等；
在本实施例中，人体骨架模型包括人体头部以下，四肢和胸腹部的骨架肢体建模，用于在学员存在肢体变化的时候，进行肢体行为识别。
在本实施例中，注意力识别机制用于识别学员在不同表情下的课程学习注意力，包括但微表情和正常脸部表情。
在本实施例中，脸部区域网格模型用于对学员脸部的五官和脸部不同肌肉区域进行网格划分，进而可以追踪用户脸部的表情变化。
在本实施例中，行为动作模型用于识别学员所有在学习时候的动作和行为，动作和行为结合了学员的脸部表情。
上述技术方案的有益效果为：
通过搭建动作行为模型，可以基于学员在学习时间段内的图像，精确识别学员的学习时间段内产生的不同肢体动作和表情行为。通过肢体行为识别机制和注意力识别机制，可以快速判定学员在学习状态下的肢体行为和表情变化，确定行为动作信息和表情信息。
在另外的一个实施例中，本发明的肢体动作包括如下捕捉步骤：
将学员的学习图像按照时间轴排序，并通过人体骨架模型的追踪肢体行为，生成基于时间轴的肢体序列；
对肢体序列中每个图像通过特征识别进行肢体捕捉；
根据肢体捕捉，将相同肢体的坐标映射到虚拟二维图像中；
基于时间轴将虚拟二维图像进行重叠，生成肢体动作在三维空间的动作数据；
根据动作数据，确定肢体动作。
上述技术方案的工作原理为：
在本实施例中，肢体序列用于描述学员在一段时间内肢体动作的变化情况；
在本实施例中，特征识别是通过骨架模型追踪学员肢体变化的时候，进行肢体不同动作特征的识别，包括肢体不同位置的移动轨迹特征和实时位置特征，进而识别肢体行为。
在本实施例中，相同肢体的坐标映射到虚拟二维图像中是为了实现肢体坐标的重合，通过一系列类似于帧图像的肢体二维图像，即在二维界面中肢体的动作变化，实现肢体动作在三维空间中的模拟，实现肢体动作识别。
上述技术方案的有益效果在于：本发明在进行学员的肢体动作识别的时候，主要是基于学员肢体动作的变化，生成具体的肢体变化动作序列，通过肢体动作的变化序列，进行肢体动作捕捉，生成肢体动作的多个二维图像，然后再三维空间中进行肢体动作的融合重叠，生成肢体动作的动态变化轨迹，确定具体的肢体动作。
在另外的一个实施例中，本发明的微表情包括如下捕捉步骤：
根据学员图像，确定学员的面部区域，进行面部区域的裁剪，获取裁剪图像；
根据裁剪图像，将人脸划分为多个识别区域；
建立脸部的全局坐标系和每个识别区域的局部坐标系；其中，
全局坐标系包括深度坐标系和平面坐标系；
根据全局坐标系和局部坐标系，确定不同时刻学员图像上不同识别区域的局部坐标系在全局坐标系上的位置迁移矢量；
根据位置迁移矢量，进行微表情建模，捕捉学员的微表情。
上述技术方案的工作原理为：
在本实施例中，对于学员的面部图像，本发明会进行裁剪，裁剪之后进行识别，裁剪的时候，基于网格的划分，对不同五官区域和脸颊区域进行裁剪，每一个区域都是一个识别区域，裁剪后每个区域包括大量的网格，从而规避因为背景色导致的识别不清楚的情况。
在本实施例中，人脸划分为多个识别区域是为了在进行表情识别的时候可以实现微表情识别。
在本实施例中，全局坐标系是学员脸部整体搭建的参照坐标系，局部坐标系，是相对于学员脸部不同区域的状态变化的坐标系，也就是五官和脸颊的不容肌肉变换情况；
在本实施例中，局部坐标系上参数的迁移，可精确的识别出学员产生的微表情(瞳孔收缩、眨眼的速率、瞳孔放大)和常态化表情(可以明确识别的常态化的微笑，皱眉等可以直接识别的表情)；
在本实施例中，通过全局坐标系，可以判断学员在具有微表情下的学习状态。
上述技术方案的有益效果在于：
本发明可以精确识别学员的常态化表情或者微表情，但是只是基于面部自身变化的微表情，本发明因为是通过局部坐标系结合全局坐标系进行融合变化的情况，所以可以实现不同表情变化的快速和精确识别。
在另外的一个实施例中，本发明的常态化表情包括如下捕捉步骤：
基于行为动作模型，对学员图像进行脸部分割，确定学员脸部图像；
基于学员脸部图像，确定每个识别区域；其中，
根据识别区域，对学员脸部进行网格化投影，确定面部表情网格点；
根据面部表情的网格点，确定学员面部的变换动作；
根据变换动作，捕捉学员面部的常态化表情。
上述技术方案的工作原理为：
在本实施例中，行为动作模型是对学员的表情和肢体动作进行统一识别的融合模型；
在本实施例中，对学员图像进行脸部分割是将学员在显示设备前方整体图像中，进行脸部和身体部分的切割，只进行脸部的分割，提取出脸部的图像。
在本实施例中，网格化投影是为了将学员微表情变化的投影，从而识别微表情的识别；
在本实施例中，面部表情的网格点，确定学员面部的变换动作，面部表情在传统识别方式上是对比识别，本发明是基于坐标点的识别，可以设置穿透式识别装置，对脸部变化不明显的学员，微表情识别更清楚。
在本实施例中，变换动作代表了微表情的变化动作，便于对微表情的精确识别。
上述技术方案的有益效果在于：
本发明可以实现对学员面部表情的整体识别，在识别的时候，实现常态化，很明显表情的捕捉，确定学员的面部表情，因为存在网格化投影的方式，及逆行面部表情网格点的采集，能确定面部表情的变化情况，相对于传统的直接表情识别，本发明的识别方式，可以实现表情的动态变化识别，不是单单识别特定表情。
在另外的一个实施例中，本发明的构建不同行为表情相对于学习的状态评估体系，包括：
分别构建行为专注度指标和表情专注度指标，生成双层状态评估模型；其中，
双层状态评估模型包括：行为判定层和表情判定层；
根据行为判定层，生成时间行为判定矩阵；其中，
时间行为判定矩阵由每个肢体行为的发生时间、行为特征参数和行为评估系数构成；
根据表情判定层，生成时间表情判定矩阵；其中，
时间表情判定矩阵由每个表情的发生时间、表情特征参数和表情持续时间构成；
在双层状态评估模型上配置同步状态评估机制，生成状态评估体系。
上述技术方案的工作原理为：
在本实施例中，行为专注度指标是基于不同学员在学习时间点的行为，判断学员的注意力；
在本实施例中，表情专注度指标是基于不同微表情，设置专注度评估参数进行微表情评估。
在本实施例中，双层状态评估模型是需要实现学员学习状态相对于表情和行为的双重识别。
在本实施例中，同步状态评估机制用于在学员同时具备不良学习行为和不良表情的时候，计算同步的损失，防止在状态评估的时候，评估值过重。
上述技术方案的有益效果在于：
本发明分别构建了行为专注度和表情专注度的双重评估指标，通过双重评估的方式实现对学员肢体行为和表情的同步状态评估，通过同步状态评估的方式，可以识别学员在肢体行为描述的学员状态不在意，脸部表情对应的学员状态不在意和最终的表情肢体结合情况下，判定学员不在学习状态的具体方式和态度。
在另外的一个实施例中，本发明的时间状态模型包括：
收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；
将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；
使用K-交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，以此频率作为记录数据被识别为不良学习状态的识别概率；
根据识别概率，通过拟合函数，将概率映射为对应记录数据进行模型训练时的样本权重；
根据样本权重，搭建第一人工神经网络模型，将学习状态数据输入人工神经网络模型进行训练，生成时间状态模型。
上述技术方案的工作原理为：
在本实施例中，记录数据是记录学员在不同时间点的学习具体的状态数据；
在本实施例中，K-交叉验证方法是一种神经网络的交叉验证方法，用于验证不良学习行为的识别概率。
在本实施例中，样本权重是不同学习行为或者不同微表情对应的学员注意力的损失权重。
在本实施例中，时间状态模型用于基于时间评估学员的在线学习状态，确定每个时间点学员的学习状态。
上述技术方案的有益效果在于：
通过手机不同时间点学员学习状态的具体数据，可以通过时空同步的方式，记录学员的肢体行为和表情结合下的学员状态评估数据，通过记录这些学员的肢体行为和表情结合的具体记录数据，可以对每个学员进行单项的个性化训练，专门识别每个学员自身单一的不良学习状态，最终构成的时间状态模型，可以对学员进行时空同步的不良学习状态判定。
在另外的一个实施例中，本发明的时间课程模型包括：
基于时间状态模型，确定不同时间点对应的学习状态；
通过用户终端，获取对应时间点的学习课程；
通过预设的学习课程的重要度参数，搭建第二人工神经网络模型，将学习课程数据输入人工神经网络模型进行训练，生成时间课程模型；其中，
重要度参数包括关联性参数、单项评估参数和学习顺序重要度；其中，
关联性参数通过建立课程的有向图谱，通过计算有向图谱中不同课程内容节点的关联性，确定不同课程之间的关联性参数；
单项评估参数通过建立课程的内容图谱，通过计算内容图谱中每个课程内容的学习时间，确定不同课程内容的单项评估参数；
学习顺序重要度通过接收不同课程的授课图表，确定不同课程的时间顺序，根据时间顺序和关联性参数，通过学习时间关联性，计算不同课程的学习顺序重要度。
上述技术方案的工作原理为：
在本实施例中，第二人工神经网络模型是学习课程的重要度参数余时间状态模型融合的评估模型，用于判断课程重要度不同的时候，学员学习状态损失的大小。
上述技术方案的有益效果在于：
对于时间课程模型，本发明只是针对人工神经网络模型进行训练，可以确定不同课程的重要程度，从而评估学员的学习状态，生成时间课程模型模型，进行课程重要度的判定。
在步骤6中，获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式。包括：
获取当前状态评估后的评估结果，并累计当前所述评估结果对应的数据量，获得所述评估结果对应的累积数据量；
当所述评估结果对应的累计数据量低于预设的数据量阈值时，在状态监控平台建立数据调取节点；其中，对于状态监控平台，可以理解为，本发明的学员课堂学习状态在线评估系统包括前端的在线评估终端和后端的状态监控平台；其中，在线评估终端用来获得评估结果；状态监控平台用来将评估结果进行体现和信息管理。
利用所述数据调取节点依次从在线评估终端调取每次生成的评估结果，并在所述评估结果完成调用后，对所述评估结果进行删除，重新计算评估结果对应的累积数据量；
当所述评估结果对应的累积数据量达到或超过预设的数据量阈值时，则设置单次数据传输的额定数据量；其中，所述额定数据量通过如下公式获取：
其中，C表示额定数据量；Cr表示预设的基准数据量；Ck表示累计数据量；C0表示数据量阈值；Cd表示单位时间生成的评估结果的平均数据量，并且，单位时间的取值范围为1.5min-2.5min；Ch表示临界数据量阈值的最后一次累计时，对应的单次评估结果数据量；
利用所述在线评估终端的服务器按照所述额定数据量向所述状态监控平台发送评估结果。
由于一般学员评估的人数量比较大，例如1000组学员，在这种评估结果产生特别大量级的数据的情况下，一般不能按照原来单一不变的方式进行传输，不然会造成数据的积压，导致整个在线评估系统的响应降低。
本发明的上述技术方案的数据传输方式能够通过数据量积累判定当前评估结果的数据量级数，当评估结果对应的数据量低于预设的数据量阈值时，通过建立数据调用节点进行每个评估结果的单独数据调用。通过这种方式，能够在有效保证数据传输效率的情况下，极大程度上降低单位时间内造成的数据传输运行负荷；同时，在评估结果的累积数据量同时存在累积及数据删除的情况下，当评估结果的数据积累量超过预设的数据量一值时则说明单次内产生的评估结果对应的数据量达到了数据量级上的极大增加，在这种情况下，为了提高数据传输效率，则通过设定单次的额定数据传输量的方式，通过在线评估终端的服务器进行数据传输，能够有效提高数据传输效率，并且最大程度上降低数据积累所占用的数据空间。上述技术方案通过节点调取评估结果和在线评估终端的服务器单次批量发送数据的双重方式，结合实现数据传输能够既达到有效提高数据传输效率的效果的同时，又能够最大限度降低数据传输所占用的资源负荷量。同时，能够防止当出现大量学员的在线评估对应的在线评估结果对应的数据量出现骤升的情况时，有效防止在在线评估终端产生数据堆积从而降低在线终端的运行响应效率的问题发生，能够最大限度在在线评估数据量激增的情况下，提高在线评估终端的运行响应效率和评估运行稳定性。
在另外的一个实施例中，本发明的方法还包括：
确定需进行学员学习状态评估的评估场景；
根据评估场景在预先设定的若干场景模式中选择对应的场景模型，其中，
所述场景模型根据学习课程要求，对不同课程在学习时的状态参数和持续时间进行统计，并结合对应场景模式下的学员接受度系数，进行学员学习状态损失计算；其中，
学员学习状态损失计算通过采集学员在不同学习场景下的注意力数据，设置不同场景下的学习注意力变量，通过学习注意力变量确定具备鲁棒性的损失函数，并根据学习图像，确定当前学习场景，并生成学员学习状态损失计算函数；
根据场景模型设定计算出学员学习状态的评估结果。
如附图3所示，上述技术方案的工作原理为：
在本实施例中，评估场景包括但不限于室内场景、室外场景、会议场景、大雨场景和临时场景等等；
在本实施例中，场景模式是相对于不同场景下的学习模式，用于计算不同场景下学员的学习状态损失；
在本实施例中，最后的评估结果是结合了学员自身的学习状态和学员所处的实际环境，以及学员课程的难易程度，进行综合性研判。
上述技术方案的有益效果在于：
本发明通过基于评估场景的学习状态的评估，可以结合不同的学习场景，判断在不同学习环境下，学员学习的接收难度，从而计算在不同环境中学员的学习状态损失，进行学员学习状态基于场景的判定。
本发明还公开了一种学员课堂学习状态在线评估系统，用于实现学员课堂学习状态在线评估方法，该系统包括：
学员建模模块：获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
行为动作模型包括学员的行为模型和表情模型；
状态识别建模模块：根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
状态时间计算模块：根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
课程建模模块：记录学员在不同时间对应的学习课程，生成时间课程模型；
状态评估模块：根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果。
如附图2所示，上述技术方案的工作原理为：
在学员建模模块中，学员建模用于获取学员处于在线课堂时，具体的行为动作图像，以及学员的具体表情状态；通过摄像设备获取学员在学习时候的具体学习图像；摄像设备包括但不限于在线学习设备或第三方摄像设备，行为动作模型用于识别学员在线学习时的不同行为和表情。
在状态识别建模模块中，状态识别建模用于在识别成功学员的具体学习行为和面部表情之后，针对不同的面部表情和学员肢体行为，判断学员在不同肢体行为和表情下的学习状态，进而确定状态评估的识别结果。
在状态时间计算模块中，状态时间计算用于根据学员学习状态的识别结果，记录学员处于不同肢体行为和表情下的持续时间，计算不同时间店学员的学习状态，生成基于时间的学习状态评估模型。
在课程建模模块中，课程建模用于将不同时间点的学习状态和对应时间点的学习课程相对应，基于不同课程的重要程度，实现对学员学习状态的相对于不同重要度课程的评估。
在状态评估模块中，状态评估用于根据时间状态模型和时间课程模型，计算不同时间点，以及具体的学习课程，对学员的学习状态进行在线评估，判断学员的学习状态，学习状态包括相对于不同重要度课程的评估和相对于不同时间点的行为表情评估。
数据传输模块，获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式；
数据传输模块包括：
累积量数据获取模块：获取当前状态评估后的评估结果，并累计当前所述评估结果对应的数据量，获得所述评估结果对应的累积数据量。
上述技术方案的有益效果为：
对于学员的学习状态，本发明结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，从而实现对学员在线学习的全面评估。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种学员课堂学习状态在线评估方法，其特征在于，包括：
步骤1：学员建模；
获取学员的学习图像，构建学员在学习时的行为动作模型；其中，所述行为动作模型包括学员的行为模型和表情模型；
步骤2：状态识别建模；
根据所述行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
步骤3：状态时间计算；
根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
步骤4：课程建模；
记录学员在不同时间对应的学习课程，生成时间课程模型；
步骤5：状态评估；
根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果；
步骤6：数据传输；
获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式；
其中，所述时间状态模型包括：
收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；
将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；
使用K-交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，以此频率作为记录数据被识别为不良学习状态的识别概率；
根据识别概率，通过拟合函数，将概率映射为对应记录数据进行模型训练时的样本权重；
根据样本权重，搭建第一人工神经网络模型，将学习状态数据输入人工神经网络模型进行训练，生成时间状态模型；
所述时间课程模型包括：
基于时间状态模型，确定不同时间点对应的学习状态；
通过用户终端，获取对应时间点的学习课程；
通过预设的学习课程的重要度参数，搭建第二人工神经网络模型，将学习课程数据输入人工神经网络模型进行训练，生成时间课程模型；其中，
重要度参数包括关联性参数、单项评估参数和学习顺序重要度；其中，
关联性参数通过建立课程的有向图谱，通过计算有向图谱中不同课程内容节点的关联性，确定不同课程之间的关联性参数；
单项评估参数通过建立课程的内容图谱，通过计算内容图谱中每个课程内容的学习时间，确定不同课程内容的单项评估参数；
学习顺序重要度通过接收不同课程的授课图表，确定不同课程的时间顺序，根据时间顺序和关联性参数，通过学习时间关联性，计算不同课程的学习顺序重要度；
获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式，包括：
获取当前状态评估后的评估结果，并累计当前所述评估结果对应的数据量，获得所述评估结果对应的累积数据量；
当所述评估结果对应的累计数据量低于预设的数据量阈值时，在状态监控平台建立数据调取节点；
利用所述数据调取节点依次从在线评估终端调取每次生成的评估结果，并在所述评估结果完成调用后，对所述评估结果进行删除，重新计算评估结果对应的累积数据量；
当所述评估结果对应的累积数据量达到或超过预设的数据量阈值时，则设置单次数据传输的额定数据量；其中，所述额定数据量通过如下公式获取：
其中，C表示额定数据量；Cr表示预设的基准数据量；Ck表示累计数据量；C0表示数据量阈值；Cd表示单位时间生成的评估结果的平均数据量，并且，单位时间的取值范围为1.5min-2.5min；Ch表示临界数据量阈值的最后一次累计时，对应的单次评估结果数据量；
利用所述在线评估终端的服务器按照所述额定数据量向所述状态监控平台发送评估结果。
2.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述学员建模包括：
根据学员的学习图像，分别进行行为识别和表情识别；
根据行为识别，构建肢体行为识别机制；其中，肢体行为识别机制包括构建基于学习图像中第一肢体图像的人体骨架模型，人体骨架模型用于追踪肢体行为；
根据表情识别，构建注意力识别机制；其中，注意力识别机制包括构建基于预设基准面部表情图像的脸部区域网格模型，脸部区域网格模型用于拟真脸部表情；
根据肢体行为识别机制，捕捉学员在线学习时的肢体动作；
根据注意力识别机制，捕捉学员在线学习时的表情动作；其中，表情动作包括微表情和常态化表情；
根据肢体动作和表情动作，模拟每一时刻的学员行为动作，生成行为动作模型。
3.如权利要求2所述的一种学员课堂学习状态在线评估方法，其特征在于，所述肢体动作包括如下捕捉步骤：
将学员的学习图像按照时间轴排序，并通过人体骨架模型的追踪肢体行为，生成基于时间轴的肢体序列；
对肢体序列中每个图像通过特征识别进行肢体捕捉；
根据肢体捕捉，将相同肢体的坐标映射到虚拟二维图像中；
基于时间轴将虚拟二维图像进行重叠，生成肢体动作在三维空间的动作数据；
根据动作数据，确定肢体动作。
4.如权利要求2所述的一种学员课堂学习状态在线评估方法，其特征在于，所述微表情包括如下捕捉步骤：
根据学员图像，确定学员的面部区域，进行面部区域的裁剪，获取裁剪图像；
根据裁剪图像，将人脸划分为多个识别区域；
建立脸部的全局坐标系和每个识别区域的局部坐标系；其中，
全局坐标系包括深度坐标系和平面坐标系；
根据全局坐标系和局部坐标系，确定不同时刻学员图像上不同识别区域的局部坐标系在全局坐标系上的位置迁移矢量；
根据位置迁移矢量，进行微表情建模，捕捉学员的微表情；
所述常态化表情包括如下捕捉步骤：
基于行为动作模型，对学员图像进行脸部分割，确定学员脸部图像；
基于学员脸部图像，确定每个识别区域；其中，
根据识别区域，对学员脸部进行网格化投影，确定面部表情网格点；
根据面部表情的网格点，确定学员面部的变换动作；
根据变换动作，捕捉学员面部的常态化表情。
5.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述构建不同行为表情相对于学习的状态评估体系，包括：
分别构建行为专注度指标和表情专注度指标，生成双层状态评估模型；其中，
双层状态评估模型包括：行为判定层和表情判定层；
根据行为判定层，生成时间行为判定矩阵；其中，
时间行为判定矩阵由每个肢体行为的发生时间、行为特征参数和行为评估系数构成；
根据表情判定层，生成时间表情判定矩阵；其中，
时间表情判定矩阵由每个表情的发生时间、表情特征参数和表情持续时间构成；
在双层状态评估模型上配置同步状态评估机制，生成状态评估体系。
6.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述方法还包括：
确定需进行学员学习状态评估的评估场景；
根据评估场景在预先设定的若干场景模式中选择对应的场景模型，其中，
所述场景模型根据学习课程要求，对不同课程在学习时的状态参数和持续时间进行统计，并结合对应场景模式下的学员接受度系数，进行学员学习状态损失计算；其中，
学员学习状态损失计算通过采集学员在不同学习场景下的注意力数据，设置不同场景下的学习注意力变量，通过学习注意力变量确定具备鲁棒性的损失函数，并根据学习图像，确定当前学习场景，并生成学员学习状态损失计算函数；
根据场景模型设定计算出学员学习状态的评估结果。
7.一种学员课堂学习状态在线评估系统，其特征在于，包括：
学员建模模块：获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
行为动作模型包括学员的行为模型和表情模型；
状态识别建模模块：根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
状态时间计算模块：根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
课程建模模块：记录学员在不同时间对应的学习课程，生成时间课程模型；
状态评估模块：根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果；
数据传输模块，获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式；
其中，所述时间状态模型包括：
收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；
将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；
使用K-交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，以此频率作为记录数据被识别为不良学习状态的识别概率；
根据识别概率，通过拟合函数，将概率映射为对应记录数据进行模型训练时的样本权重；
根据样本权重，搭建第一人工神经网络模型，将学习状态数据输入人工神经网络模型进行训练，生成时间状态模型；
所述时间课程模型包括：
基于时间状态模型，确定不同时间点对应的学习状态；
通过用户终端，获取对应时间点的学习课程；
通过预设的学习课程的重要度参数，搭建第二人工神经网络模型，将学习课程数据输入人工神经网络模型进行训练，生成时间课程模型；其中，
重要度参数包括关联性参数、单项评估参数和学习顺序重要度；其中，
关联性参数通过建立课程的有向图谱，通过计算有向图谱中不同课程内容节点的关联性，确定不同课程之间的关联性参数；
单项评估参数通过建立课程的内容图谱，通过计算内容图谱中每个课程内容的学习时间，确定不同课程内容的单项评估参数；
学习顺序重要度通过接收不同课程的授课图表，确定不同课程的时间顺序，根据时间顺序和关联性参数，通过学习时间关联性，计算不同课程的学习顺序重要度；
获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式，包括：
获取当前状态评估后的评估结果，并累计当前所述评估结果对应的数据量，获得所述评估结果对应的累积数据量；
当所述评估结果对应的累计数据量低于预设的数据量阈值时，在状态监控平台建立数据调取节点；
利用所述数据调取节点依次从在线评估终端调取每次生成的评估结果，并在所述评估结果完成调用后，对所述评估结果进行删除，重新计算评估结果对应的累积数据量；
当所述评估结果对应的累积数据量达到或超过预设的数据量阈值时，则设置单次数据传输的额定数据量；其中，所述额定数据量通过如下公式获取：
其中，C表示额定数据量；Cr表示预设的基准数据量；Ck表示累计数据量；C0表示数据量阈值；Cd表示单位时间生成的评估结果的平均数据量，并且，单位时间的取值范围为1.5min-2.5min；Ch表示临界数据量阈值的最后一次累计时，对应的单次评估结果数据量；
利用所述在线评估终端的服务器按照所述额定数据量向所述状态监控平台发送评估结果。
CN202310753430.XA 2023-06-26 2023-06-26 一种学员课堂学习状态在线评估方法及系统 Active CN116797090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310753430.XA CN116797090B (zh) 2023-06-26 2023-06-26 一种学员课堂学习状态在线评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310753430.XA CN116797090B (zh) 2023-06-26 2023-06-26 一种学员课堂学习状态在线评估方法及系统

Publications (2)

Publication Number Publication Date
CN116797090A CN116797090A (zh) 2023-09-22
CN116797090B true CN116797090B (zh) 2024-03-26

Family

ID=88039209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310753430.XA Active CN116797090B (zh) 2023-06-26 2023-06-26 一种学员课堂学习状态在线评估方法及系统

Country Status (1)

Country Link
CN (1) CN116797090B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN110516979A (zh) * 2019-09-02 2019-11-29 西南大学 一种个性化学习评价方法及装置
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN110807585A (zh) * 2019-10-30 2020-02-18 山东商业职业技术学院 一种学员课堂学习状态在线评估方法及系统
CN112949461A (zh) * 2021-02-26 2021-06-11 北京高途云集教育科技有限公司 一种学习状态的分析方法、装置以及电子设备
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN113780051A (zh) * 2021-06-29 2021-12-10 华为技术有限公司 评估学生专注度的方法和装置
CN115689820A (zh) * 2022-09-27 2023-02-03 东南大学附属中大医院 基于双向的学习质量评估方法及继续医学教育闭环管理系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206441A1 (en) * 2014-01-18 2015-07-23 Invent.ly LLC Personalized online learning management system and method
US11551570B2 (en) * 2018-02-15 2023-01-10 Smarthink Srl Systems and methods for assessing and improving student competencies

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334626A (zh) * 2019-06-26 2019-10-15 北京科技大学 一种基于情感状态的在线学习系统
CN110516979A (zh) * 2019-09-02 2019-11-29 西南大学 一种个性化学习评价方法及装置
CN110728194A (zh) * 2019-09-16 2020-01-24 中国平安人寿保险股份有限公司 基于微表情和动作识别的智能培训方法、装置及存储介质
CN110807585A (zh) * 2019-10-30 2020-02-18 山东商业职业技术学院 一种学员课堂学习状态在线评估方法及系统
CN112949461A (zh) * 2021-02-26 2021-06-11 北京高途云集教育科技有限公司 一种学习状态的分析方法、装置以及电子设备
CN113780051A (zh) * 2021-06-29 2021-12-10 华为技术有限公司 评估学生专注度的方法和装置
CN113239914A (zh) * 2021-07-13 2021-08-10 北京邮电大学 课堂学生表情识别及课堂状态评估方法、装置
CN113239916A (zh) * 2021-07-13 2021-08-10 北京邮电大学 一种表情识别及课堂状态评估方法、设备及介质
CN115689820A (zh) * 2022-09-27 2023-02-03 东南大学附属中大医院 基于双向的学习质量评估方法及继续医学教育闭环管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于神经网络的学习者在线学习状态研究;刘瑞;《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》;20230215(第2期);全文 *
面向在线教学效果评估的头部姿态及表情识别技术研究;李磊;《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》;20240115(第1期);全文 *

Also Published As

Publication number Publication date
CN116797090A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN111814587B (zh) 人体行为检测方法、教师行为检测方法及相关系统和装置
CN111275345B (zh) 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN110889672A (zh) 一种基于深度学习的学生打卡及上课状态的检测系统
CN110580470A (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN109902912A (zh) 一种基于性格特征的个性化图像美学评价方法
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
CN115810163B (zh) 一种基于ai课堂行为识别的教学评估方法和系统
CN115546861A (zh) 一种在线课堂专注度识别方法、系统、设备及介质
Wang et al. Yolov5 enhanced learning behavior recognition and analysis in smart classroom with multiple students
KR102439446B1 (ko) 인공지능 기반 학습 관리 시스템
CN110287912A (zh) 基于深度学习的目标对象情感状态确定方法、装置及介质
CN116682052B (zh) 一种基于云服务的教学服务平台
CN116797090B (zh) 一种学员课堂学习状态在线评估方法及系统
CN112766130A (zh) 一种课堂教学质量监测方法、系统、终端及存储介质
CN117037277A (zh) Aed急救培训学员的考核方法、装置、系统及存储介质
CN111199378B (zh) 学员管理方法、装置、电子设备及存储介质
Ray et al. Design and implementation of affective e-learning strategy based on facial emotion recognition
CN110838357A (zh) 基于人脸识别及动捕的注意力全息智能训练系统
CN109299805A (zh) 一种基于人工智能的在线教育课程请求处理方法
CN113723233A (zh) 一种基于分层时序多示例学习的学生学习参与度评估方法
CN113688789A (zh) 一种基于深度学习的在线学习投入度识别方法及系统
CN112580526A (zh) 基于视频监控的学生课堂行为识别系统
CN110180155A (zh) 一种间歇性训练的强度远程监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant