CN113344479A - 面向在线课堂的学习参与度智能评估方法和装置 - Google Patents

面向在线课堂的学习参与度智能评估方法和装置 Download PDF

Info

Publication number
CN113344479A
CN113344479A CN202110903535.XA CN202110903535A CN113344479A CN 113344479 A CN113344479 A CN 113344479A CN 202110903535 A CN202110903535 A CN 202110903535A CN 113344479 A CN113344479 A CN 113344479A
Authority
CN
China
Prior art keywords
image data
learning
branch
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110903535.XA
Other languages
English (en)
Other versions
CN113344479B (zh
Inventor
徐敏
董瑶
孙众
周丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202110903535.XA priority Critical patent/CN113344479B/zh
Publication of CN113344479A publication Critical patent/CN113344479A/zh
Application granted granted Critical
Publication of CN113344479B publication Critical patent/CN113344479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种面向在线课堂的学习参与度智能评估方法和装置，该方法包括：获取受教育者的在线学习数据，并对在线学习数据进行预处理；通过两分支网络学习预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对两分支网络输出的特征进行提取，获得每个图像数据的特征向量；通过聚合模块对每个图像数据的特征向量进行加权处理；基于每个图像数据对应的特征的相似性构造困难四元组，并通过困难四元组的损失函数对两分支网络的网络参数进行优化；将受教育者的实时数据输入至优化后的两分支网络，获取参与度识别结果。该方法可在参与度识别任务中样本分布不均衡的状况下，显著提升网络模型识别学习参与度的准确性和鲁棒性。

Description

面向在线课堂的学习参与度智能评估方法和装置
技术领域
本申请涉及计算机视觉和智能教育技术领域，尤其涉及一种面向在线课堂的学习参与度智能评估方法和装置。
背景技术
随着网络技术的发展，在线教育应运而生。与传统教育不同的是，在线教育突破了时间和空间的束缚，在信息获取、信息存储、信息传递和信息共享等方面更具便捷性和灵活性。可以说，数字化教育的到来，给人们的学习方式带来了巨大变革。然而，目前的在线教育也存在包括学习反馈不及时等问题，需要相应的解决方案和改进措施。在传统的课堂中，通过学生的面部表情、身体姿态以及课堂测验等方式，可以反映出学生的课堂参与度，同时让教师及时了解学生对教学知识的掌握程度。而由于在线教育环境中，教师和学生缺乏面对面的沟通，学习反馈不及时，学习效果难以提升。对于教师而言，课后无法及时进行教学知识点的梳理总结，缺乏必要的教学反思，不能进一步有效调整授课进度。因此，研究一种在线课堂的学习参与度识别方法，对提高学生学习效率和教师教学质量具有重大意义。
学习参与度自动识别是智能教育和计算机视觉交叉领域的一个新颖研究课题。相关技术中，学习参与度的评估方式大致分为两类：第一类是自我汇报，采用调查问卷的方式，通过设置一些题目让学生作答，依据学生的回答来判断参与度。然而由于学生具有主观意愿并且存在记忆效应的偏差，调查问卷的结果可能会与学生实际的学习参与度存在出入；第二类是外部识别，包括基于传感器测量方式的识别和基于计算机视觉的自动参与度识别方式。前者是通过传感器测量神经或者生理数据来判断，比如，脑电图，血压，心率等等。但是侵入式设备会影响学生的听课状态，以及此类设备难以在大规模研究中使用，所以现在国内外主流的研究方式是借助安装在电脑或者相应环境中的摄像头来收集实验数据，基于计算机视觉，利用神经网络自动分析学生的面部，身体姿态等特征，在无干扰的情况下，自动识别学生的课堂学习参与度。比如，Whitehil等人在2014年的工作中，分别提取BoxFilters和GaborEnergyFilters低级特征，然后用GentleBoost和SVM分类器进行分类，同时使用CERT开源工具提取3D头部姿态和20个面部活动单元等基于面部表情分析的高级特征，然后用多项逻辑回归（MLR）的方法进行训练；2019年Shi等人收集了82名学生参与MOOC学习的视频数据，分别采用不同特征提取技术和SVM分类器的组合进行参与度识别；2020年Zhu等人采用多特征工程方法提取CNN特征，利用基于注意力的门控循环单元来捕捉长期视频序列的时间特征，应用多速率和多实例处理技术相结合的方法以达到更好的识别准确率。
另外，在线学习视频的参与度标签由学生线上学习的参与度决定，包括4个等级：极低参与度、低参与度、高参与度和极高参与度，它们的标签值分别对应1至4。等级的高低反映了学生参与度情况，等级1表示学生完全没有参与进任务中，具体可表现为眼睛经常看向屏幕外或呈半睁半闭状态，经常采取不必要的行动等；等级4表示学生参与度非常高，具体可表现为眼睛大部分时间聚焦在屏幕上，身体姿势直立，没有不必要的行动等。
然而，现有的参与度公开数据集存在数据分布不平衡的问题，即较低参与度的样本数量远远小于参与度较高的样本数，这会导致训练出来的网络模型存在判别力和鲁棒性不足的问题。如果仅仅采用再平衡方法解决样本分布不均衡问题，分类器的决策边界倾向于区分小样本数据，将导致由于刻意改变样本数目或数据分布，使得类内的空间距离变得非常分散，在一定程度上损害了深度学习提取到的特征表达。此外，在深度学习中，特征学习和分类学习通常是被耦合在一起进行端到端学习，而在数据集极度不平衡状态下，特征学习和分类学习的效果均会受到不同程度的干扰。因此，相关技术中的学习参与度识别方法并未充分考虑参与度识别任务的样本数据分布不均衡、参与度样本的标签敏感性和有序性等特点，对受教育者的在线学习参与度进行识别的准确率较低。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种面向在线课堂的学习参与度智能评估方法，该方法提出一种两分支参与度识别网络模型，其中一个分支网络采用均匀采样策略重点关注大类样本特征学习，另一个分支网络则采用反向采样策略侧重分类器的学习，并通过适配器动态调节两个分支网络在整个训练过程中的权重，并且，引入注意力机制，提出聚合模块CTAB实现视频特征融合，使得参与度高度相关的帧序列获得更大的权重，以及使用困难四元组有序度量损失函数和交叉熵损失函数联合优化网络模型，使其可以兼顾特征学习和分类器的学习，从而有效解决了参与度识别任务中样布分布极度不均衡的问题，显著提升了网络模型的判别力和鲁棒性。
本申请的第二个目的在于提出一种面向在线课堂的学习参与度智能评估装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种面向在线课堂的学习参与度智能评估方法，包括以下步骤：
获取受教育者的在线学习数据，并对在线学习数据进行预处理，以生成连续的预设数量的图像数据；
通过预设的两分支网络学习预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对两分支网络输出的特征进行提取，获得每个图像数据的特征向量；
通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得每个图像数据对应的特征；
基于每个图像数据对应的特征的相似性构造困难四元组，并通过困难四元组的有序度量损失函数和交叉熵损失函数对两分支网络的网络参数进行优化；
将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
可选地，在本申请的一个实施例中，两分支网络包括特征学习分支和类别重平衡分类学习分支，所述通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，包括：所述特征学习分支通过均匀采样的方式对所述每个图像数据采样一次，并保持所述每个图像数据的特征的分布状态；所述类别重平衡分类学习分支通过反向采样的方式对所述预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下：
Figure DEST_PATH_IMAGE001
其中，
Figure 75206DEST_PATH_IMAGE002
，
其中，
Figure DEST_PATH_IMAGE003
表示第
Figure 687846DEST_PATH_IMAGE004
类的图像数据的数量，
Figure DEST_PATH_IMAGE005
表示图像数据的最大样本数。
可选地，在本申请的一个实施例中，通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，还包括：通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重，其中，通过以下公式计算所述特征学习分支的比重：
Figure 636211DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
为训练周期总数，
Figure 541850DEST_PATH_IMAGE008
为当前训练周期的次序。
可选地，在本申请的一个实施例中，聚合模块CTAB包括第一注意力模块和第二注意力模块，每个注意力模块包括一个过滤内核和一个非线性传输层，所述通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，包括：将所述每个图像数据的特征向量输入至所述第一注意力模块，并将每个特征向量与所述第一注意力模块的内核进行点积操作，以获得与所述每个特征向量对应的第一显性向量；将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后，输入至所述第二注意力模块，并与所述第二注意力模块的内核进行点积操作后，输入至所述第二注意力模块的非线性传输层进行转换，以得到与所述每个第一显性向量对应的第二显性向量；将每个第二显性向量输入以下公式计算所述每个图像数据的权重值：
Figure DEST_PATH_IMAGE009
其中，
Figure 637982DEST_PATH_IMAGE010
是任一图像数据
Figure DEST_PATH_IMAGE011
的第二显性向量，
Figure 287269DEST_PATH_IMAGE012
是图像数据的预设数量；将每个图像数据的权重值乘以对应的所述特征向量，获得所述每个图像数据对应的特征。
可选地，在本申请的一个实施例中，通过以下公式对所述两分支网络的网络参数进行优化：
Figure DEST_PATH_IMAGE013
其中，
Figure 588675DEST_PATH_IMAGE014
是有序度量损失函数和交叉熵损失函数的联合优化目标函数，
Figure DEST_PATH_IMAGE015
是所述有序度量损失函数，
Figure 665215DEST_PATH_IMAGE016
是所述交叉熵损失函数，
Figure DEST_PATH_IMAGE017
为损失项的平衡参数。
为达上述目的，本申请第二方面实施例提出本发明一种面向在线课堂的学习参与度智能评估装置，包括以下模块：
第一获取模块，用于获取受教育者的在线学习数据，并对所述在线学习数据进行预处理，以生成连续的预设数量的图像数据；
第二获取模块，用于通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对所述两分支网络输出的特征进行提取，获得每个图像数据的特征向量；
加权模块，用于通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得所述每个图像数据对应的特征；
优化模块，用于基于每个图像数据对应的特征的相似性构造困难四元组，并通过所述困难四元组的有序度量损失函数和交叉熵损失函数对所述两分支网络的网络参数进行优化；
第三获取模块，用于将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
可选地，在本申请的一个实施例中，两分支网络包括特征学习分支和类别重平衡分类学习分支，所述第二获取模块还包括：特征学习分支单元，用于通过均匀采样的方式对所述每个图像数据采样一次，并保持所述每个图像数据的特征的分布状态；类别重平衡分类学习分支单元，用于通过反向采样的方式对所述预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下：
Figure 186327DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
，
其中，
Figure 373725DEST_PATH_IMAGE020
表示第
Figure DEST_PATH_IMAGE021
类的图像数据的数量，
Figure 798147DEST_PATH_IMAGE022
表示图像数据的最大样本数。
可选地，在本申请的一个实施例中，第二获取模块还用于：通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重，其中，通过以下公式计算所述特征学习分支的比重：
Figure DEST_PATH_IMAGE023
其中，
Figure 45589DEST_PATH_IMAGE024
为训练周期总数，
Figure DEST_PATH_IMAGE025
为当前训练周期的次序。
可选地，在本申请的一个实施例中，聚合模块CTAB包括第一注意力模块和第二注意力模块，每个注意力模块包括一个过滤内核和一个非线性传输层，所述加权模块具体用于：将所述每个图像数据的特征向量输入至所述第一注意力模块，并将每个特征向量与所述第一注意力模块的内核进行点积操作，以获得与所述每个特征向量对应的第一显性向量；将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后，输入至所述第二注意力模块，并与所述第二注意力模块的内核进行点积操作后，输入至所述第二注意力模块的非线性传输层进行转换，以得到与所述每个第一显性向量对应的第二显性向量；将每个第二显性向量输入以下公式计算所述每个图像数据的权重值：
Figure 116313DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
是任一图像数据
Figure 107403DEST_PATH_IMAGE028
的第二显性向量，
Figure DEST_PATH_IMAGE029
是图像数据的预设数量；将每个图像数据的权重值乘以对应的所述特征向量，获得所述每个图像数据对应的特征。
本申请的实施例提供的技术方案至少带来以下有益效果：本申请通过提出一种两分支参与度识别网络模型，其中一个分支网络采用均匀采样策略重点关注大类样本特征学习，另一个分支网络则采用反向采样策略侧重分类器的学习，并通过适配器动态调节两个分支网络在整个训练过程中的权重，并且，引入注意力机制，提出聚合模块CTAB实现视频特征融合，使得参与度高度相关的帧序列获得更大的权重，以及使用困难四元组有序度量损失函数和交叉熵损失函数联合优化网络模型，使优化后的网络模型可以兼顾特征学习和分类器的学习，从而有效解决了参与度识别任务中样布分布极度不均衡的问题，显著提升了网络模型的判别力和鲁棒性。
为了实现上述实施例，本申请第三方面实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的面向在线课堂的学习参与度智能评估方法法和装置。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提出的一种面向在线课堂的学习参与度智能评估方法的流程图；
图2是本申请实施例提出的一种聚合模块CTAB的结构示意图；
图3是本申请实施例提出的一种面向在线课堂的学习参与度识别框架的示意图；
图4为本申请实施例提出的一种面向在线课堂的学习参与度智能评估装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例所提供的一种面向在线课堂的学习参与度智能评估方法和装置。
图1为本申请实施例提出的一种面向在线课堂的学习参与度智能评估方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取受教育者的在线学习数据，并对在线学习数据进行预处理，以生成连续的预设数量的图像数据。
其中，在线学习数据是受教育者在在线课堂上进行学习时产生的数据，比如，在线学习数据可以是受教育者在线听讲时的视频数据。
具体的，可以通过摄像头和传感器等各种信息采集设备获取受教育者的在线学习数据，然后对采集的在线学习数据进行预处理，将在线学习数据转换为按照时间顺序连续排列且数量为预设个数一组或多组图像数据，便于后续对网络模型进行训练以及对受教育的学习参与度进行评估。
作为一种可能的实现方式，对于在线学习视频数据，可以将相应时间段内的视频数据分割为若干个存在重叠内容的片段，再从每个片段中抽取时序上连续的预设数量的图像，以生成连续的预设数量的图像数据。举例而言，实时采集受教育的在线学习视频时，每获取10秒视频就将其分割为4个时长为4秒的有重叠的片段，从每个4秒的子视频中随机抽取连续的16帧图像，得到4组连续的预设数量的图像数据。
步骤102，通过预设的两分支网络学习预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对两分支网络输出的特征进行提取，获得每个图像数据的特征向量。
其中，两分支网络是包括特征学习分支和类别重平衡分类学习分支的网络模型，特征学习分支采用均匀采样策略重点关注大类样本特征学习，类别重平衡分类学习分支则采用反向采样策略侧重分类器的学习。
在本申请一个实施例中，通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，包括：特征学习分支通过均匀采样的方式构建最小批，对每个图像数据采样一次，并保持每个图像数据的特征原始分布状态，类别重平衡分类学习分支通过反向采样的方式构建最小批，对预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，类别重平衡分类学习分支对于预设数量的图像数据中的每一类图像数据的采样概率公式如下：
Figure 884866DEST_PATH_IMAGE030
其中，
Figure 801744DEST_PATH_IMAGE031
，
Figure 94185DEST_PATH_IMAGE032
表示第
Figure 888966DEST_PATH_IMAGE033
类的图像数据的数量，
Figure 583252DEST_PATH_IMAGE034
表示图像数据的最大样本数。
Figure 172496DEST_PATH_IMAGE035
类可以是预设数量的图像数据中的任一类，此处的
Figure 217813DEST_PATH_IMAGE035
和
Figure 613022DEST_PATH_IMAGE036
仅表示预设数量的图像数据中的一类数据，也可以用其他符号，比如a等代替，在本申请一个实施例中，图像数据的最大样本数可以是上述图像数据的预设数量。
也就是说，对于分布极度不均衡的参与度样本库来说，参与度高的样本量远大于参与度低的样本量，因此均匀采样能够更侧重大类样本特征的学习。而类别重平衡分类学习采用反向采样的方法构建最小批，每一类的抽样概率与其样本量的倒数成正比，即某一类中样本越多，该类的抽样概率越小，则该分支采样可侧重于小类样本特征的学习。
进一步的，两分支网络学习对预设数量的图像数据进行特征学习后，通过3D卷积神经网络（C3D）对两分支网络输出的特征进行提取，获得每个图像数据的特征向量。在本申请一个实施例中，C3D网络将两分支网络进行特征学习后的输出作为特征，特征学习分支得到的特征记为
Figure 99498DEST_PATH_IMAGE037
，类别重平衡分类学习分支得到的特征记为
Figure 187540DEST_PATH_IMAGE038
。其中，使用一个适配器控制两个分支在整个训练过程中的比重
Figure 882002DEST_PATH_IMAGE039
，希望网络训练前期更加关注大类样本特征的学习，中后期逐步关注小类样本特征的学习。
在本申请一个实施例中，通过以下公式计算特征学习分支的比重：
Figure 80903DEST_PATH_IMAGE040
其中，
Figure 421885DEST_PATH_IMAGE041
为训练周期总数，
Figure 680828DEST_PATH_IMAGE042
为当前训练周期的次序。可以理解的是，当特征学习分支的比重为
Figure 372841DEST_PATH_IMAGE044
时，类别重平衡分类学习分支的比重为则为1-
Figure 109853DEST_PATH_IMAGE045
，而由上述公知可知，
Figure 570921DEST_PATH_IMAGE044
的大小随训练周期的递增而递减，从而使网络最开始专注于学习数据的原始分布，之后再逐步关注小样本数据，提升分类器的识别性能
更进一步的，C3D网络进行特征提取时，在本申请一个实施例中，对两分支网络输出的对于每个图像数据的特征进行加权，得到加权后两分支的特征分别为将
Figure 765DEST_PATH_IMAGE046
，再串连后得到每个图像数据的特征向量
Figure 413030DEST_PATH_IMAGE047
，此处的具体实现方式在后续实施例进行详细描述。
步骤103，通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得每个图像数据对应的特征。
其中，如图2所示，本申请提出的聚合模块（CascadedTwoAggregationBlocks，简称CTAB）包括第一注意力模块和第二注意力模块，每个注意力模块均包括一个过滤内核q和一个非线性传输层tanh。
在本申请一个实施例中，通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，包括：将每个图像数据的特征向量输入至第一注意力模块，并将每个特征向量与第一注意力模块的内核进行点积操作，以获得与每个特征向量对应的第一显性向量，再将每个第一显性向量输入第一注意力模块的非线性传输层，通过该非线性传输层进行转换后，输入至第二注意力模块，重复执行上述点积操作和转换操作，进而得到与每个第一显性向量对应的第二显性向量，再将每个第二显性向量输入以下公式计算每个图像数据的权重值：
Figure 953732DEST_PATH_IMAGE048
其中，
Figure 597203DEST_PATH_IMAGE049
和
Figure 870053DEST_PATH_IMAGE050
是预设数量的图像数据中任一图像数据，
Figure 598975DEST_PATH_IMAGE051
是图像数据
Figure 615472DEST_PATH_IMAGE052
的第二显性向量，
Figure 113450DEST_PATH_IMAGE053
是图像数据
Figure 557200DEST_PATH_IMAGE054
的第二显性向量，
Figure 773418DEST_PATH_IMAGE055
是图像数据的预设数量，最后，将每个图像数据的权重值乘以对应的特征向量，获得每个图像数据对应的特征，即将一组预设数量的图像数据经过权重
Figure 95071DEST_PATH_IMAGE056
调节后，最终得到该组图像数据的特征F为：
Figure 447555DEST_PATH_IMAGE057
，可以理解，
Figure 390103DEST_PATH_IMAGE058
是预设数量的图像数据中任一图像数据的特征，此处的
Figure 765721DEST_PATH_IMAGE052
和
Figure 186338DEST_PATH_IMAGE054
仅表示预设数量的图像数据中的任一图像数据，也可以用其他符号，比如a等代替。
步骤104，基于每个图像数据对应的特征的相似性构造困难四元组，并通过困难四元组的有序度量损失函数和交叉熵损失函数对两分支网络的网络参数进行优化。
在本申请一个实施例中，联合建模有序度量学习和分类学习，构建分类学习模块，从预设数量的图像数据中选取任意的图像数据
Figure 596591DEST_PATH_IMAGE059
和图像数据
Figure 444461DEST_PATH_IMAGE054
作为样本，并通过上述方式确定其特征后，则对于输入分类学习模块的向量对
Figure 307375DEST_PATH_IMAGE060
，其相似性定义如下：
Figure 531683DEST_PATH_IMAGE061
其中，
Figure 294977DEST_PATH_IMAGE062
，
Figure 579328DEST_PATH_IMAGE063
是样本
Figure 991855DEST_PATH_IMAGE052
的参与度标签，
Figure 691958DEST_PATH_IMAGE064
是样本
Figure 873540DEST_PATH_IMAGE065
的参与度标签，
Figure 266476DEST_PATH_IMAGE066
为差异阈值，反映训练集标签分布的方差。在参与度有序度量空间中，视觉特征相似性与其参与度标签距离保持有序的一致性，从而增强预测模型的判别力。
然后，通过度量加权后的视觉特征向量的相似性，进行困难四元组挖掘，提高类内紧凑性和类间差异性。
作为一种可能的实现方式，本申请的困难四元组表示为
Figure 166298DEST_PATH_IMAGE067
，具体构造方法如下：
Figure 670092DEST_PATH_IMAGE068
，
Figure 706181DEST_PATH_IMAGE069
，
Figure 771483DEST_PATH_IMAGE070
，其中，
Figure 158602DEST_PATH_IMAGE071
是困难四元组的锚点特征样本，
Figure 262824DEST_PATH_IMAGE072
是与
Figure 356682DEST_PATH_IMAGE073
视觉特征相似度最小的正样本，
Figure 153736DEST_PATH_IMAGE074
是与
Figure 700255DEST_PATH_IMAGE073
视觉特征相似度最大的负样本，
Figure 873748DEST_PATH_IMAGE075
是与
Figure 822112DEST_PATH_IMAGE076
视觉特征相似度最大的负样本，
Figure 790068DEST_PATH_IMAGE077
和
Figure 322419DEST_PATH_IMAGE078
分别代表正、负样本对的序号集合。由此，得到一个四元组
Figure 768443DEST_PATH_IMAGE079
，再根据样本对的嵌入向量距离与其对应的参与度标签距离一致性有序原则，构造困难四元组有序度量损失函数，使正样本对的视觉特征相似度最大化，负样本对的特征相似度最小化，在本申请一个实施例中，有序度量损失函数公式如下：
Figure 899210DEST_PATH_IMAGE080
其中，
Figure 975751DEST_PATH_IMAGE081
为负样本对的相似度阈值，
Figure 559179DEST_PATH_IMAGE082
为正样本对损失项和负样本对损失项的平衡参数。进一步的，再通过以下公式构造交叉熵分类损失函数：
Figure 746578DEST_PATH_IMAGE083
更进一步的，联合困难四元组有序度量损失函数和交叉熵分类损失函数，构造联合优化目标函数：
Figure 731851DEST_PATH_IMAGE084
，其中，
Figure 979293DEST_PATH_IMAGE085
是参与度识别的多分类交叉熵损失，
Figure 50017DEST_PATH_IMAGE086
为损失项的平衡参数，用以平衡两个不同的损失函数，以提升模型性能。由此，在本申请一些实施例中，可以通过该联合优化目标函数用SGD算法对两分支网络的网络参数进行迭代更新和优化，即使联合函数取最小值，得到更优的学习参与度识别网络模型。
步骤105，将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
具体的，在训练完成两分支参与度识别网络模型后，可以将当前在线采集的受教育者的实时学习数据输入至优化后的两分支网络，该模型可在受教育者的实时学习数据分布不均衡的状况下，获取更加准确的该受教育者的在线学习的参与度识别结果。
需要说明的是，本申请实施例的两分支参与度识别网络模型训练完成后，可以对不同的受教育者的学习参与度进行智能评估，提高学习参与度智能评估的适用性。
综上所述，本申请实施例的面向在线课堂的学习参与度智能评估方法，通过提出一种两分支参与度识别网络模型，其中一个分支网络采用均匀采样策略重点关注大类样本特征学习，另一个分支网络则采用反向采样策略侧重分类器的学习，并通过适配器动态调节两个分支网络在整个训练过程中的权重，并且，引入注意力机制，提出聚合模块CTAB实现视频特征融合，使得参与度高度相关的帧序列获得更大的权重，以及使用困难四元组有序度量损失函数和交叉熵损失函数联合优化网络模型，使优化后的网络模型可以兼顾特征学习和分类器的学习，从而有效解决了参与度识别任务中样布分布极度不均衡的问题，显著提升了网络模型的判别力和鲁棒性。
为了更加清楚的说明本申请的面向在线课堂的学习参与度智能评估方法的具体实现过程，下面结合图3以一个具体的实施例进行详细描述:
本实施中第一步先对视频数据样本进行预处理(图中未示出)，具体可以表述为：实时采集在线学习视频，每获取10秒视频就将其分割为4个时长为4秒的有重叠的片段，从每个4秒的子视频中随机抽取连续的16帧图像，实时输入参与度识别模块。
第二步，使用不同的采样策略进行特征学习。
本步骤中使用特征学习模块包括特征学习分支和类别重平衡分类学习分支。特征学习分支采用均匀采样的方法构建最小批，可通过图3所示的均匀采样器将每个样本数据采样一次，保留特征原始分布状态，对于分布极度不均衡的参与度样本库来说，参与度高的样本量远大于参与度低的样本量，因此均匀采样能够更侧重大类样本特征的学习。而类别重平衡分类学习采用反向采样的方法构建最小批，通过反向采样器进行采样，每一类的抽样概率与其样本量的倒数成正比，即某一类中样本越多，该类的抽样概率越小，因此该分支采样侧重于小类样本特征的学习，其中，采样概率公式如下：
Figure 542572DEST_PATH_IMAGE087
其中，
Figure 382352DEST_PATH_IMAGE088
，
Figure 863012DEST_PATH_IMAGE089
表示第
Figure 93136DEST_PATH_IMAGE090
类的图像数据的数量，
Figure 950233DEST_PATH_IMAGE091
表示图像数据的最大样本数。
进一步的，采用C3D网络进行特征提取，将倒数第二层的全连接层的输出作为特征。其中，特征学习分支得到的特征记为
Figure 582203DEST_PATH_IMAGE092
，类别重平衡分类学习分支得到的特征记为
Figure 233764DEST_PATH_IMAGE093
。此处使用一个适配器控制两个分支在整个训练过程中的比重
Figure 216764DEST_PATH_IMAGE094
，希望网络训练前期更加关注大类样本特征的学习，中后期逐步关注小类样本特征的学习。
Figure 611973DEST_PATH_IMAGE095
参数是根据训练周期数自动生成的，计算公式如下：
Figure 596984DEST_PATH_IMAGE096
其中，
Figure 685026DEST_PATH_IMAGE097
为训练周期总数，
Figure 952059DEST_PATH_IMAGE098
为当前训练周期的次序。由该公知可知，
Figure 823063DEST_PATH_IMAGE099
的大小随训练周期的递增而递减，使网络最开始专注于学习数据的原始分布，之后再逐步关注小样本数据，提升分类器的识别性能。
更进一步的，对两分支网络输出的对于每个图像数据的特征进行加权，加权后两分支的特征分别为：
Figure 491942DEST_PATH_IMAGE100
和
Figure 688568DEST_PATH_IMAGE101
，其中，
Figure 177318DEST_PATH_IMAGE102
和
Figure 117593DEST_PATH_IMAGE103
是预先设置的两分支的权重，然后，再将
Figure 640978DEST_PATH_IMAGE104
串连后得到特征向量
Figure 256110DEST_PATH_IMAGE105
：
Figure 497735DEST_PATH_IMAGE106
。
第三步，利用聚合模块CTAB实现特征加权。
其中，如图2所示，聚合模块（CTAB）由两个注意力模块组成，每个注意力模块包含一个过滤内核和一个非线性传输层tanh。注意力机制可以通过神经网络自学习获得一组权重，使得高质量的实例特征在完整的视频特征中占得比重更大，有利于对学习参与度的准确判断。将特征向量
Figure 38438DEST_PATH_IMAGE107
（
Figure 354013DEST_PATH_IMAGE108
表示第
Figure 954758DEST_PATH_IMAGE109
个图像数据）输入到第一个注意力块中，并用过滤内核
Figure 355784DEST_PATH_IMAGE110
进行调节，将特征向量与内核
Figure 700177DEST_PATH_IMAGE111
进行点积操作，得到一组显性向量
Figure 135838DEST_PATH_IMAGE112
，用来描述向量
Figure 641906DEST_PATH_IMAGE113
每个特征的重要性。经过tanh转换层的变换后，得到第一个注意力块的最终输出
Figure 294342DEST_PATH_IMAGE114
，计算公式如下所示：
Figure 176847DEST_PATH_IMAGE115
Figure 529331DEST_PATH_IMAGE116
。
然后，将第一个注意力块的输出
Figure 143983DEST_PATH_IMAGE117
重复上述过程继续输入到第二个注意力块中。经过第二个tanh转换层的传输后，得到显性向量
Figure 581918DEST_PATH_IMAGE118
。为了使权重满足概率分布，加入了softmax层进行调节，得到一组权重值
Figure 205797DEST_PATH_IMAGE119
：
Figure 412787DEST_PATH_IMAGE120
其中，
Figure 463920DEST_PATH_IMAGE121
是任一图像数据的第二显性向量，
Figure 389151DEST_PATH_IMAGE123
是图像数据的预设数量，
Figure 613459DEST_PATH_IMAGE124
。
由此，将一组视频特征经过权重
Figure 379683DEST_PATH_IMAGE125
调节后，最终得到的特征F为：
Figure 664034DEST_PATH_IMAGE126
。
第四步，联合建模有序度量学习和分类学习。
本步骤中的分类学习模块包括有序度量学习和分类学习。对于输入分类学习模块的向量对
Figure 748664DEST_PATH_IMAGE127
，其相似性定义如下：
Figure 776663DEST_PATH_IMAGE128
式中
Figure 895929DEST_PATH_IMAGE129
，
Figure 351181DEST_PATH_IMAGE130
是样本i的参与度标签，
Figure 188687DEST_PATH_IMAGE131
是样本j的参与度标签，
Figure 754797DEST_PATH_IMAGE132
为差异阈值，它反映了训练集标签分布的方差。在参与度有序度量空间中，视觉特征相似性与其参与度标签距离保持有序的一致性，从而增强预测模型的判别力。
基于上述定义，通过度量加权后的视觉特征向量的相似性，进行困难四元组挖掘，以提高类内紧凑性和类间差异性。其中，困难四元组表示为
Figure 790887DEST_PATH_IMAGE133
，具体构造方法如下公式所示：
Figure 853258DEST_PATH_IMAGE134
Figure 974798DEST_PATH_IMAGE135
Figure 282283DEST_PATH_IMAGE136
其中，
Figure 438457DEST_PATH_IMAGE137
是困难四元组的锚点特征样本，
Figure 173195DEST_PATH_IMAGE138
是与
Figure 782031DEST_PATH_IMAGE139
视觉特征相似度最小的正样本，
Figure 627627DEST_PATH_IMAGE140
是与
Figure 638309DEST_PATH_IMAGE139
视觉特征相似度最大的负样本，
Figure 606265DEST_PATH_IMAGE141
是与
Figure 141545DEST_PATH_IMAGE142
视觉特征相似度最大的负样本，
Figure 853149DEST_PATH_IMAGE143
和
Figure 921599DEST_PATH_IMAGE144
分别代表正、负样本对的序号集合。
由此，根据上述困难四元组挖掘策略，得到一个四元组
Figure 60456DEST_PATH_IMAGE145
，依据样本对的嵌入向量距离与其对应的参与度标签距离一致性有序原则，构造困难四元组有序度量损失函数，使正样本对的视觉特征相似度最大化，负样本对的特征相似度最小化，有序度量损失函数的定义公式可参照上述实施例的描述。
进一步的，联合困难四元组有序度量损失和交叉熵分类损失的联合优化目标函数可以表示为：
Figure 315988DEST_PATH_IMAGE146
，其中，
Figure 831283DEST_PATH_IMAGE147
，
Figure 754240DEST_PATH_IMAGE148
是参与度识别的多分类交叉熵损失，
Figure 63998DEST_PATH_IMAGE149
为损失项的平衡参数，用以平衡两个不同的损失函数，以提升模型性能。
第五步，在线采集的实时学习视频通过训练后的参与度识别框架得到参与度识别结果。
为了实现上述实施例，本申请还提出了一种面向在线课堂的学习参与度智能评估装置，图4为本申请实施例提出的一种面向在线课堂的学习参与度智能评估装置的结构示意图。如图4所示，该参与度智能评估装置包括：第一获取模块100、第二获取模块200、加权模块300、优化模块400和第三获取模块500。
其中，第一获取模块100，用于获取受教育者的在线学习数据，并对在线学习数据进行预处理，以生成连续的预设数量的图像数据。
第二获取模块200，用于通过预设的两分支网络学习预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对所述两分支网络输出的特征进行提取，获得每个图像数据的特征向量。
加权模块300，用于通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得每个图像数据对应的特征。
优化模块400，用于基于每个图像数据对应的特征的相似性构造困难四元组，并通过困难四元组的有序度量损失函数和交叉熵损失函数对两分支网络的网络参数进行优化。
第三获取模块500，用于将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
在本申请一个实施例中，两分支网络包括特征学习分支和类别重平衡分类学习分支，第二获取模块200还包括：特征学习分支单元，用于通过均匀采样的方式对每个图像数据采样一次，并保持每个图像数据的特征的分布状态；类别重平衡分类学习分支单元，用于通过反向采样的方式对预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下：
Figure 869143DEST_PATH_IMAGE150
其中，
Figure 358768DEST_PATH_IMAGE151
，其中，
Figure 198548DEST_PATH_IMAGE152
表示第
Figure 616891DEST_PATH_IMAGE153
类的图像数据的数量，
Figure 174912DEST_PATH_IMAGE154
表示图像数据的最大样本数。
在本申请一个实施例中，第二获取模块200还用于：通过适配器控制特征学习分支和类别重平衡分类学习分支在训练过程中的比重，其中，通过以下公式计算特征学习分支的比重：
Figure 704113DEST_PATH_IMAGE155
其中，
Figure 663979DEST_PATH_IMAGE156
为训练周期总数，
Figure 253223DEST_PATH_IMAGE157
为当前训练周期的次序。
在本申请一个实施例中，聚合模块CTAB包括第一注意力模块和第二注意力模块，每个注意力模块包括一个过滤内核和一个非线性传输层，加权模块300具体用于：将每个图像数据的特征向量输入至第一注意力模块，并将每个特征向量与第一注意力模块的内核进行点积操作，以获得与每个特征向量对应的第一显性向量；将每个第一显性向量输入至第一注意力模块的非线性传输层进行转换后，输入至所述第二注意力模块，并与第二注意力模块的内核进行点积操作后，输入至第二注意力模块的非线性传输层进行转换，以得到与每个第一显性向量对应的第二显性向量；将每个第二显性向量输入以下公式计算每个图像数据的权重值：
Figure 32960DEST_PATH_IMAGE158
其中，
Figure 428169DEST_PATH_IMAGE159
是任一图像数据的第二显性向量，
Figure 681690DEST_PATH_IMAGE160
是图像数据的预设数量；将每个图像数据的权重值乘以对应的特征向量，获得所述每个图像数据对应的特征。
综上所述，本申请实施例的面向在线课堂的学习参与度智能评估装置，通过两分支参与度识别网络模型，其中一个分支网络采用均匀采样策略重点关注大类样本特征学习，另一个分支网络则采用反向采样策略侧重分类器的学习，并通过适配器动态调节两个分支网络在整个训练过程中的权重，并且，引入注意力机制，提出聚合模块CTAB实现视频特征融合，使得参与度高度相关的帧序列获得更大的权重，以及使用困难四元组有序度量损失函数和交叉熵损失函数联合优化网络模型，使优化后的网络模型可以兼顾特征学习和分类器的学习，从而有效解决了参与度识别任务中样布分布极度不均衡的问题，显著提升了网络模型的判别力和鲁棒性。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的一种面向在线课堂的学习参与度智能评估方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种面向在线课堂的学习参与度智能评估方法，其特征在于，包括以下步骤：
获取受教育者的在线学习数据，并对所述在线学习数据进行预处理，以生成连续的预设数量的图像数据；
通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对所述两分支网络输出的特征进行提取，获得每个图像数据的特征向量；
通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得所述每个图像数据对应的特征；
基于每个图像数据对应的特征的相似性构造困难四元组，并通过所述困难四元组的有序度量损失函数和交叉熵损失函数对所述两分支网络的网络参数进行优化；
将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
2.根据权利要求1所述的评估方法，其特征在于，所述两分支网络包括特征学习分支和类别重平衡分类学习分支，所述通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，包括：
所述特征学习分支通过均匀采样的方式对所述每个图像数据采样一次，并保持所述每个图像数据的特征的分布状态；
所述类别重平衡分类学习分支通过反向采样的方式，对所述预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下：
Figure 502602DEST_PATH_IMAGE001
其中，
Figure 667742DEST_PATH_IMAGE002
，
其中，
Figure 746557DEST_PATH_IMAGE003
表示第
Figure 41272DEST_PATH_IMAGE004
类的图像数据的数量，
Figure 812919DEST_PATH_IMAGE005
表示图像数据的最大样本数。
3.根据权利要求2所述的评估方法，其特征在于，通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，还包括：
通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重，其中，通过以下公式计算所述特征学习分支的比重：
Figure 842186DEST_PATH_IMAGE006
其中，
Figure 724691DEST_PATH_IMAGE007
为训练周期总数，
Figure 14858DEST_PATH_IMAGE008
为当前训练周期的次序。
4.根据权利要求1所述的评估方法，其特征在于，所述聚合模块CTAB包括第一注意力模块和第二注意力模块，每个注意力模块包括一个过滤内核和一个非线性传输层，所述通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，包括：
将所述每个图像数据的特征向量输入至所述第一注意力模块，与所述第一注意力模块的内核进行点积操作，获得与每个特征向量对应的第一显性向量；
将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后，输入至所述第二注意力模块，并与所述第二注意力模块的内核进行点积操作后，输入至所述第二注意力模块的非线性传输层进行转换，以得到与所述每个第一显性向量对应的第二显性向量；
将每个第二显性向量输入以下公式计算所述每个图像数据的权重值：
Figure 957406DEST_PATH_IMAGE009
其中，
Figure 395341DEST_PATH_IMAGE010
是任一图像数据
Figure 612695DEST_PATH_IMAGE011
的第二显性向量，
Figure 85265DEST_PATH_IMAGE012
是图像数据的预设数量；
将每个图像数据的权重值乘以对应的所述特征向量，获得所述每个图像数据对应的特征。
5.根据权利要求1所述的评估方法，其特征在于，通过以下公式对所述两分支网络的网络参数进行优化：
Figure 767089DEST_PATH_IMAGE013
其中，
Figure 692320DEST_PATH_IMAGE014
是有序度量损失函数和交叉熵损失函数的联合优化目标函数，
Figure 713366DEST_PATH_IMAGE015
是所述有序度量损失函数，
Figure 774862DEST_PATH_IMAGE016
是所述交叉熵损失函数，
Figure 137842DEST_PATH_IMAGE017
为损失项的平衡参数。
6.一种面向在线课堂的学习参与度智能评估装置，其特征在于，包括：
第一获取模块，用于获取受教育者的在线学习数据，并对所述在线学习数据进行预处理，以生成连续的预设数量的图像数据；
第二获取模块，用于通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征，并通过3D卷积神经网络对所述两分支网络输出的特征进行提取，获得每个图像数据的特征向量；
加权模块，用于通过聚合模块CTAB对每个图像数据的特征向量进行加权处理，以获得所述每个图像数据对应的特征；
优化模块，用于基于每个图像数据对应的特征的相似性构造困难四元组，并通过所述困难四元组的有序度量损失函数和交叉熵损失函数对所述两分支网络的网络参数进行优化；
第三获取模块，用于将在线采集的受教育者的实时学习数据输入至优化后的两分支网络，获取受教育者的在线学习的参与度识别结果。
7.根据权利要求6所述的评估装置，其特征在于，所述两分支网络包括特征学习分支和类别重平衡分类学习分支，所述第二获取模块还包括：
特征学习分支单元，用于通过均匀采样的方式对所述每个图像数据采样一次，并保持所述每个图像数据的特征的分布状态；
类别重平衡分类学习分支单元，用于通过反向采样的方式对所述预设数量的图像数据中的每一类图像进行采样，并学习采样样本的特征，其中，所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下：
Figure 550369DEST_PATH_IMAGE018
其中，
Figure 578367DEST_PATH_IMAGE019
，
其中，
Figure 196168DEST_PATH_IMAGE020
表示第
Figure 385841DEST_PATH_IMAGE021
类的图像数据的数量，
Figure 82402DEST_PATH_IMAGE022
表示图像数据的最大样本数。
8.根据权利要求7所述的评估装置，其特征在于，所述第二获取模块还用于：
通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重，其中，通过以下公式计算所述特征学习分支的比重：
Figure 648512DEST_PATH_IMAGE023
其中，
Figure 28809DEST_PATH_IMAGE024
为训练周期总数，
Figure 389383DEST_PATH_IMAGE025
为当前训练周期的次序。
9.根据权利要求6所述的评估装置，其特征在于，所述聚合模块CTAB包括第一注意力模块和第二注意力模块，每个注意力模块包括一个过滤内核和一个非线性传输层，所述加权模块具体用于：
将所述每个图像数据的特征向量输入至所述第一注意力模块，并将每个特征向量与所述第一注意力模块的内核进行点积操作，以获得与所述每个特征向量对应的第一显性向量；
将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后，输入至所述第二注意力模块，并与所述第二注意力模块的内核进行点积操作后，输入至所述第二注意力模块的非线性传输层进行转换，以得到与所述每个第一显性向量对应的第二显性向量；
将每个第二显性向量输入以下公式计算所述每个图像数据的权重值：
Figure 573240DEST_PATH_IMAGE026
其中，
Figure 943042DEST_PATH_IMAGE027
是任一图像数据
Figure 833637DEST_PATH_IMAGE028
的第二显性向量，
Figure 568375DEST_PATH_IMAGE029
是图像数据的预设数量；
将每个图像数据的权重值乘以对应的所述特征向量，获得所述每个图像数据对应的特征。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的面向在线课堂的学习参与度智能评估方法。
CN202110903535.XA 2021-08-06 2021-08-06 面向在线课堂的学习参与度智能评估方法和装置 Active CN113344479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110903535.XA CN113344479B (zh) 2021-08-06 2021-08-06 面向在线课堂的学习参与度智能评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110903535.XA CN113344479B (zh) 2021-08-06 2021-08-06 面向在线课堂的学习参与度智能评估方法和装置

Publications (2)

Publication Number Publication Date
CN113344479A true CN113344479A (zh) 2021-09-03
CN113344479B CN113344479B (zh) 2022-01-07

Family

ID=77480959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110903535.XA Active CN113344479B (zh) 2021-08-06 2021-08-06 面向在线课堂的学习参与度智能评估方法和装置

Country Status (1)

Country Link
CN (1) CN113344479B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837157A (zh) * 2021-11-26 2021-12-24 北京世纪好未来教育科技有限公司 题目类型识别方法、系统和存储介质
CN115439915A (zh) * 2022-10-12 2022-12-06 首都师范大学 区域编码和样本平衡优化的课堂参与度识别方法和装置
CN116664840A (zh) * 2023-05-31 2023-08-29 博衍科技(珠海)有限公司 一种基于互关系知识蒸馏的语义分割方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345904A (zh) * 2018-01-26 2018-07-31 华南理工大学 一种基于随机敏感度采样的不平衡数据的集成学习算法
US20180308376A1 (en) * 2013-10-07 2018-10-25 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
CN111507213A (zh) * 2020-04-03 2020-08-07 北京三快在线科技有限公司 图像识别方法、装置、存储介质及电子设备
CN111832669A (zh) * 2020-09-21 2020-10-27 首都师范大学 学习参与度识别网络模型的建立方法及装置
CN111931768A (zh) * 2020-08-14 2020-11-13 中国科学院重庆绿色智能技术研究院 一种自适应样本分布的车辆识别方法及系统
CN112115826A (zh) * 2020-09-08 2020-12-22 成都奥快科技有限公司 一种基于双边分支网络的人脸活体检测方法及系统
CN112800932A (zh) * 2021-01-25 2021-05-14 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备
CN112912897A (zh) * 2018-09-28 2021-06-04 索尼互动娱乐股份有限公司 声音分类系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180308376A1 (en) * 2013-10-07 2018-10-25 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
CN108345904A (zh) * 2018-01-26 2018-07-31 华南理工大学 一种基于随机敏感度采样的不平衡数据的集成学习算法
CN112912897A (zh) * 2018-09-28 2021-06-04 索尼互动娱乐股份有限公司 声音分类系统
CN111507213A (zh) * 2020-04-03 2020-08-07 北京三快在线科技有限公司 图像识别方法、装置、存储介质及电子设备
CN111931768A (zh) * 2020-08-14 2020-11-13 中国科学院重庆绿色智能技术研究院 一种自适应样本分布的车辆识别方法及系统
CN112115826A (zh) * 2020-09-08 2020-12-22 成都奥快科技有限公司 一种基于双边分支网络的人脸活体检测方法及系统
CN111832669A (zh) * 2020-09-21 2020-10-27 首都师范大学 学习参与度识别网络模型的建立方法及装置
CN112800932A (zh) * 2021-01-25 2021-05-14 上海海事大学 海上背景下显著船舶目标的检测方法及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837157A (zh) * 2021-11-26 2021-12-24 北京世纪好未来教育科技有限公司 题目类型识别方法、系统和存储介质
CN115439915A (zh) * 2022-10-12 2022-12-06 首都师范大学 区域编码和样本平衡优化的课堂参与度识别方法和装置
CN116664840A (zh) * 2023-05-31 2023-08-29 博衍科技(珠海)有限公司 一种基于互关系知识蒸馏的语义分割方法、装置及设备
CN116664840B (zh) * 2023-05-31 2024-02-13 博衍科技(珠海)有限公司 一种基于互关系知识蒸馏的语义分割方法、装置及设备

Also Published As

Publication number Publication date
CN113344479B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN113344479B (zh) 面向在线课堂的学习参与度智能评估方法和装置
Liu et al. Towards smart educational recommendations with reinforcement learning in classroom
CN108510194A (zh) 风控模型训练方法、风险识别方法、装置、设备及介质
CN110478883B (zh) 一种健身动作教学及矫正系统及方法
CN105184325A (zh) 一种人体动作识别方法和移动智能终端
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
WO2021077382A1 (zh) 一种学习状态的判断方法、装置及智能机器人
CN112017085B (zh) 智能虚拟教师形象人格化方法
CN110731773A (zh) 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法
CN109598226B (zh) 基于Kinect彩色及深度信息在线考试作弊判断方法
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN110287829A (zh) 一种结合深度q学习和注意模型的视频人脸识别方法
CN112686462A (zh) 基于学生画像的异常检测方法、装置、设备及存储介质
CN113408852A (zh) 基于在线学习行为和深度神经网络的元认知能力评估模型
CN111832669B (zh) 学习参与度识别网络模型的建立方法及装置
CN111860117A (zh) 一种基于深度学习的人体行为识别方法
Stanković et al. Artificial neural network model for prediction of students’ success in learning programming
CN113282840B (zh) 一种训练采集综合管理平台
CN113989217A (zh) 一种基于深度学习的人眼屈光度检测方法
CN117056678B (zh) 一种基于小样本的机泵设备运行故障诊断方法及装置
CN111553311A (zh) 一种微表情识别机器人及其控制方法
CN110598789A (zh) 一种基于模糊感知器的人体疲劳状态预测方法及系统
CN115147768A (zh) 一种跌倒风险评估方法及系统
CN115719514A (zh) 一种面向手势识别的领域自适应方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant