CN116523711A - 基于人工智能的教育监管系统及其方法 - Google Patents

基于人工智能的教育监管系统及其方法 Download PDF

Info

Publication number
CN116523711A
CN116523711A CN202310654365.5A CN202310654365A CN116523711A CN 116523711 A CN116523711 A CN 116523711A CN 202310654365 A CN202310654365 A CN 202310654365A CN 116523711 A CN116523711 A CN 116523711A
Authority
CN
China
Prior art keywords
sequence
performance
scale
training
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310654365.5A
Other languages
English (en)
Inventor
单伟萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Polytechnic
Original Assignee
Hangzhou Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Polytechnic filed Critical Hangzhou Polytechnic
Priority to CN202310654365.5A priority Critical patent/CN116523711A/zh
Publication of CN116523711A publication Critical patent/CN116523711A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了一种基于人工智能的教育监管系统及其方法。其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。

Description

基于人工智能的教育监管系统及其方法
技术领域
本申请涉及智能化监管领域，且更为具体地，涉及一种基于人工智能的教育监管系统及其方法。
背景技术
随着人工智能技术的快速发展，教育监管系统逐渐被广泛应用于学校和培训机构等教育场景中。传统的教育监管方法主要依赖于人工对学生的课堂表现进行监测评估，需要耗费大量的时间和精力，并且存在主观性和不公平性的问题，导致监管的效率和精度都较低，难以满足现代化的教育监管需求。
因此，期望一种优化的基于人工智能的教育监管系统，以对学生的课堂表现进行自动化分析和评估，从而提高监管效率和精度，为教育管理部门提供更加科学、客观的决策依据。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于人工智能的教育监管系统及其方法。其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。
根据本申请的一个方面，提供了一种基于人工智能的教育监管系统，其包括：视频采集模块，用于获取由摄像头采集的被监控对象的课堂表现视频；课堂表现关键帧采样模块，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；课堂表现特征提取模块，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；课堂表现时序变化模块，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及课堂表现检测模块，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
在上述的基于人工智能的教育监管系统中，所述课堂表现特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
在上述的基于人工智能的教育监管系统中，所述课堂表现时序变化模块，包括：第一序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；第二序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及融合单元，用于将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
在上述的基于人工智能的教育监管系统中，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练模块。
在上述的基于人工智能的教育监管系统中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；训练课堂表现关键帧采样单元，用于对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；训练课堂表现特征提取单元，用于将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；训练课堂表现时序变化单元，用于将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；特征融合单元，用于融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；分类损失单元，用于将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；伪循环差异惩罚损失单元，用于计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值；以及训练单元，用于以所述分类损失函数值和所述伪循环差异惩罚损失函数值的加权和作为损失函数值，并通过梯度下降的反向传播来对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练。
在上述的基于人工智能的教育监管系统中，所述分类损失单元，用于：使用所述分类器以如下分类损失公式对所述训练课堂表现时序特征向量进行处理以获得所述训练分类结果，其中，所述分类损失公式为： ，其中，/>到为权重矩阵，/>到/>为偏置向量 ，/>为所述训练课堂表现时序特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
在上述的基于人工智能的教育监管系统中，所述伪循环差异惩罚损失单元，用于：以如下损失公式计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为所述伪循环差异惩罚损失函数值；其中，所述损失公式为：，其中，/>是所述第一尺度训练课堂表现时序特征向量，/>是所述第二尺度训练课堂表现时序特征向量，/>是特征向量的长度，/> 为所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离矩阵， />表示矩阵的Frobenius范数，/>是所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离，/>是向量的二范数，/>表示以2为底的对数函数，且/>和/> 为加权超参数，/>是所述伪循环差异惩罚损失函数值。
根据本申请的另一个方面，提供了一种基于人工智能的教育监管方法，其包括：获取由摄像头采集的被监控对象的课堂表现视频；对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
在上述的基于人工智能的教育监管方法中，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
在上述的基于人工智能的教育监管方法中，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，包括：将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
与现有技术相比，本申请提供的基于人工智能的教育监管系统及其方法，其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于人工智能的教育监管系统的应用场景图。
图2为根据本申请实施例的基于人工智能的教育监管系统的框图示意图。
图3为根据本申请实施例的基于人工智能的教育监管系统中的所述课堂表现时序变化模块的框图示意图。
图4为根据本申请实施例的基于人工智能的教育监管系统中进一步包括的训练模块的框图示意图。
图5为根据本申请实施例的基于人工智能的教育监管方法的流程图。
图6为根据本申请实施例的基于人工智能的教育监管方法的系统架构的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，传统的教育监管方法主要依赖于人工对学生的课堂表现进行监测评估，需要耗费大量的时间和精力，并且存在主观性和不公平性的问题，导致监管的效率和精度都较低，难以满足现代化的教育监管需求。因此，期望一种优化的基于人工智能的教育监管系统，以对学生的课堂表现进行自动化分析和评估，从而提高监管效率和精度，为教育管理部门提供更加科学、客观的决策依据。
相应地，考虑到在实际进行教育监管过程中，可以通过摄像头采集被监控对象的课堂表现视频，并基于对所述课堂表现视频的分析来判断被监控对象的学习状态是否正常，以此来帮助教育管理部门更好地监管教育过程，提高教育质量。但是，由于所述被监控对象的课堂表现视频中存在有较多的信息量，而关于被监控对象的课堂表现特征为小尺度的隐含特征信息。并且由于每个被监控对象的行为习惯不同，同时其在课堂上的表现情况在时间维度上是不断变化的，使得对被监控对象的课堂表现监测带来了难度。因此，在此过程中，难点在于如何进行所述课堂表现视频中关于被监控对象的课堂表现时序隐含变化特征的充分表达，以此来对学生的课堂表现进行自动化分析和评估，从而提高教育监管效率和精度，以帮助教育管理部门更好地监管教育过程，提高教育质量。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述课堂表现视频中关于被监控对象的课堂表现时序隐含变化特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过摄像头采集被监控对象的课堂表现视频。接着，考虑到在所述被监控对象的课堂表现视频中，关于所述被监控对象的课堂表现时序变化特征可以通过所述课堂表现视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示被监控对象的课堂表现状态时序变化情况。但是，考虑到所述课堂表现视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧。应可以理解，通过采样处理，可以将视频中的每一帧都转化为一个课堂表现关键帧，这样可以大大减少分析和评估的计算量，同时也可以更好地捕捉学生在课堂上的表现。
然后，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的卷积神经网络模型来进行所述各个课堂表现关键帧的特征挖掘，以分别提取出所述各个课堂表现关键帧中关于所述被监控对象的课堂表现隐含特征分布信息，从而得到课堂表现特征向量的序列。
进一步地，考虑到由于所述被监控对象的课堂表现在时间维度上有着动态性的变化特性，也就是说，学生在课堂上的表现情况不是一成不变的，因而在所述各个课堂表现关键帧中关于所述被监控对象的课堂表现特征信息之间具有着时序的关联关系。为了能够对于所述被监控对象的课堂表现情况进行准确监测，需要对于所述各个课堂表现关键帧中关于所述被监控对象的课堂表现的隐含关联特征进行提取。因此，在本申请的技术方案中，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量。应可以理解，这里，所述课堂表现特征向量的序列可以看作是学生在课堂上表现的时间序列数据，而所述多尺度感知模型可以通过对这些数据进行多尺度分析，从而更好地捕捉数据中的时序特征。特别地，这里，所述第一序列编码器为循环神经网络模型，以提取出所述被监控对象的课堂表现特征基于时序中短距离依赖关联的隐含关联特征信息；所述第二序列编码器为双向长短期记忆神经网络模型，以更好地捕捉所述待监控对象的课堂表现特征基于时序长距离依赖关联的隐含关联特征信息。通过将这两个模型结合起来，可以得到更准确、更全面的所述课堂表现时序特征向量，从而更好地评估学生的表现，提高监管系统的性能。
接着，进一步再将所述课堂表现时序特征向量作为分类特征向量通过分类器中进行分类处理，以得到用于表示被监控对象的课堂表现是否正常的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括被监控对象的课堂表现正常(第一标签)，以及，被监控对象的课堂表现不正常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“被监控对象的课堂表现是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，被监控对象的课堂表现是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“被监控对象的课堂表现是否正常”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为被监控对象的课堂表现是否正常的检测评估标签，因此，在得到所述分类结果后，可基于所述分类结果来对学生的课堂表现进行自动化分析和评估，从而提高教育监管效率和精度。
特别地，在本申请的技术方案中，每个所述课堂表现特征向量表达单个课堂表现关键帧的图像特征语义，由此将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型得到所述课堂表现时序特征向量，可以提取图像特征语义沿时序下的不同尺度的关联特征。但是，考虑到所述第一序列编码器和所述第二序列编码器的时序关联尺度不同，其从所述课堂表现特征向量的序列得到的第一尺度课堂表现时序特征向量和第二尺度课堂表现时序特征向量之间会存在整体特征分布之间的不平衡，从而影响融合所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量得到的所述课堂表现时序特征向量的特征表达效果。
基于此，本申请的申请人在针对所述课堂表现时序特征向量的分类损失函数之外，进一步引入针对所述第一尺度课堂表现时序特征向量，例如记为和所述第二尺度课堂表现时序特征向量，例如记为/>的伪循环差异惩罚因数作为损失函数，具体表示为：，/>为特征向量/>和/>之间的距离矩阵，即所述距离矩阵的第/>位置的特征值是特征向量的第/>个特征值/>与特征向量/>的第/>个特征值/>之间的距离，/>表示矩阵的Frobenius范数，/>是特征向量的长度，/>是特征向量/>和/>之间的距离，例如欧式距离，/>是向量的二范数，/>表示以2为底的对数，且/>和/> 为加权超参数。
这里，考虑到所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量/>之间的不平衡分布会在基于梯度下降的反向传播的模型训练过程当中导致梯度传播异常，从而形成模型参数更新的伪循环，所述伪循环差异惩罚因数通过引入用于表达特征值的密切关联数值对的空间关系和数值关系两者的惩罚因数，来在最小化损失函数的模型训练过程中，将模型参数更新的伪循环视为真实循环，以通过梯度传播的模拟激活的方式来实现所述第一尺度课堂表现时序特征向量/>和所述第二尺度课堂表现时序特征向量/>各自的特征分布的渐进耦合，从而改进所述课堂表现时序特征向量的融合特征表达效果。这样，能够对学生的课堂表现进行自动化分析和评估，从而提高教育监管效率和精度，以帮助教育管理部门更好地监管教育过程，进而提高教育质量。
图1为根据本申请实施例的基于人工智能的教育监管系统的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头（例如，图1中所示意的C）采集的被监控对象的课堂表现视频（例如，图1中所示意的D），然后，将所述课堂表现视频输入至部署有基于人工智能的教育监管算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述基于人工智能的教育监管算法对所述课堂表现视频进行处理以得到用于表示被监控对象的课堂表现是否正常的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的基于人工智能的教育监管系统的框图示意图。如图2所示，根据本申请实施例的基于人工智能的教育监管系统100，包括：视频采集模块110，用于获取由摄像头采集的被监控对象的课堂表现视频；课堂表现关键帧采样模块120，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；课堂表现特征提取模块130，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；课堂表现时序变化模块140，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及，课堂表现检测模块150，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
更具体地，在本申请实施例中，所述视频采集模块110，用于获取由摄像头采集的被监控对象的课堂表现视频。在实际进行教育监管过程中，可以通过摄像头采集被监控对象的课堂表现视频，并基于对所述课堂表现视频的分析来判断被监控对象的学习状态是否正常，以此来帮助教育管理部门更好地监管教育过程，提高教育质量。
更具体地，在本申请实施例中，所述课堂表现关键帧采样模块120，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧。考虑到所述课堂表现视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧。应可以理解，通过采样处理，可以将视频中的每一帧都转化为一个课堂表现关键帧，这样可以大大减少分析和评估的计算量，同时也可以更好地捕捉学生在课堂上的表现。
更具体地，在本申请实施例中，所述课堂表现特征提取模块130，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列。使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的卷积神经网络模型来进行所述各个课堂表现关键帧的特征挖掘，以分别提取出所述各个课堂表现关键帧中关于所述被监控对象的课堂表现隐含特征分布信息，从而得到课堂表现特征向量的序列。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，所述课堂表现特征提取模块130，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
更具体地，在本申请实施例中，所述课堂表现时序变化模块140，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型。由于所述被监控对象的课堂表现在时间维度上有着动态性的变化特性，也就是说，学生在课堂上的表现情况不是一成不变的，因而在所述各个课堂表现关键帧中关于所述被监控对象的课堂表现特征信息之间具有着时序的关联关系。为了能够对于所述被监控对象的课堂表现情况进行准确监测，需要对于所述各个课堂表现关键帧中关于所述被监控对象的课堂表现的隐含关联特征进行提取。
这里，所述课堂表现特征向量的序列可以看作是学生在课堂上表现的时间序列数据，而所述多尺度感知模型可以通过对这些数据进行多尺度分析，从而更好地捕捉数据中的时序特征。特别地，这里，所述第一序列编码器为循环神经网络模型，以提取出所述被监控对象的课堂表现特征基于时序中短距离依赖关联的隐含关联特征信息；所述第二序列编码器为双向长短期记忆神经网络模型，以更好地捕捉所述待监控对象的课堂表现特征基于时序长距离依赖关联的隐含关联特征信息。通过将这两个模型结合起来，可以得到更准确、更全面的所述课堂表现时序特征向量，从而更好地评估学生的表现，提高监管系统的性能。
相应地，在一个具体示例中，如图3所示，所述课堂表现时序变化模块140，包括：第一序列编码单元141，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；第二序列编码单元142，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及，融合单元143，用于将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
更具体地，在本申请实施例中，所述课堂表现检测模块150，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。在得到所述分类结果后，可基于所述分类结果来对学生的课堂表现进行自动化分析和评估，从而提高教育监管效率和精度。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，所述的基于人工智能的教育监管系统，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练模块。其中，如图4所示，所述训练模块200，包括：训练数据采集单元210，用于获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；训练课堂表现关键帧采样单元220，用于对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；训练课堂表现特征提取单元230，用于将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；训练课堂表现时序变化单元240，用于将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；特征融合单元250，用于融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；分类损失单元260，用于将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；伪循环差异惩罚损失单元270，用于计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值；以及，训练单元280，用于以所述分类损失函数值和所述伪循环差异惩罚损失函数值的加权和作为损失函数值，并通过梯度下降的反向传播来对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练。
相应地，在一个具体示例中，所述分类损失单元260，用于：使用所述分类器以如下分类损失公式对所述训练课堂表现时序特征向量进行处理以获得所述训练分类结果，其中，所述分类损失公式为： ，其中，/>到/>为权重矩阵，/>到/>为偏置向量 ，/>为所述训练课堂表现时序特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
特别地，在本申请的技术方案中，每个所述课堂表现特征向量表达单个课堂表现关键帧的图像特征语义，由此将所述训练课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型得到所述训练课堂表现时序特征向量，可以提取图像特征语义沿时序下的不同尺度的关联特征。但是，考虑到所述第一序列编码器和所述第二序列编码器的时序关联尺度不同，其从所述训练课堂表现特征向量的序列得到的第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量之间会存在整体特征分布之间的不平衡，从而影响融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量得到的所述训练课堂表现时序特征向量的特征表达效果。基于此，本申请的申请人在针对所述训练课堂表现时序特征向量的分类损失函数之外，进一步引入针对所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为损失函数。
相应地，在一个具体示例中，所述伪循环差异惩罚损失单元270，用于：以如下损失公式计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为所述伪循环差异惩罚损失函数值；其中，所述损失公式为：，其中，/>是所述第一尺度训练课堂表现时序特征向量，/>是所述第二尺度训练课堂表现时序特征向量，/>是特征向量的长度，/> 为所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离矩阵， />表示矩阵的Frobenius范数，是所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离，/>是向量的二范数，/>表示以2为底的对数函数，且/>和/>为加权超参数，/>是所述伪循环差异惩罚损失函数值。
这里，考虑到所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的不平衡分布会在基于梯度下降的反向传播的模型训练过程当中导致梯度传播异常，从而形成模型参数更新的伪循环，所述伪循环差异惩罚因数通过引入用于表达特征值的密切关联数值对的空间关系和数值关系两者的惩罚因数，来在最小化损失函数的模型训练过程中，将模型参数更新的伪循环视为真实循环，以通过梯度传播的模拟激活的方式来实现所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量各自的特征分布的渐进耦合，从而改进所述训练课堂表现时序特征向量的融合特征表达效果。这样，能够对学生的课堂表现进行自动化分析和评估，从而提高教育监管效率和精度，以帮助教育管理部门更好地监管教育过程，进而提高教育质量。
综上，基于本申请实施例的基于人工智能的教育监管系统100被阐明，其首先对课堂表现视频进行采样处理以得到多个课堂表现关键帧，接着，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，然后，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，最后，将所述课堂表现时序特征向量通过分类器以得到用于表示被监控对象的课堂表现是否正常的分类结果。这样，可以更好地评估学生的表现，提高监管系统的性能。
如上所述，根据本申请实施例的基于本申请实施例的基于人工智能的教育监管系统100可以实现在各种终端设备中，例如具有基于本申请实施例的基于人工智能的教育监管算法的服务器等。在一个示例中，基于本申请实施例的基于人工智能的教育监管系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于人工智能的教育监管系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于人工智能的教育监管系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于本申请实施例的基于人工智能的教育监管系统100与该终端设备也可以是分立的设备，并且该基于人工智能的教育监管系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图5为根据本申请实施例的基于人工智能的教育监管方法的流程图。如图5所示，根据本申请实施例的基于人工智能的教育监管方法，其包括：S110，获取由摄像头采集的被监控对象的课堂表现视频；S120，对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；S130，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；S140，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及，S150，将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
图6为根据本申请实施例的基于人工智能的教育监管方法的系统架构的示意图。如图6所示，在所述基于人工智能的教育监管方法的系统架构中，首先，获取由摄像头采集的被监控对象的课堂表现视频；接着，对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；然后，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；接着，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；最后，将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
在一个具体示例中，在上述基于人工智能的教育监管方法中，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
在一个具体示例中，在上述基于人工智能的教育监管方法中，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，包括：将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及，将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
在一个具体示例中，在上述基于人工智能的教育监管方法中，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练步骤。所述训练步骤，包括：获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值；以及，以所述分类损失函数值和所述伪循环差异惩罚损失函数值的加权和作为损失函数值，并通过梯度下降的反向传播来对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练。
在一个具体示例中，在上述基于人工智能的教育监管方法中，将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值，包括：使用所述分类器以如下分类损失公式对所述训练课堂表现时序特征向量进行处理以获得所述训练分类结果，其中，所述分类损失公式为： ，其中，/>到/>为权重矩阵，/>到/>为偏置向量 ，/>为所述训练课堂表现时序特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
在一个具体示例中，在上述基于人工智能的教育监管方法中，计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值，包括：以如下损失公式计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为所述伪循环差异惩罚损失函数值；其中，所述损失公式为：，其中，/>是所述第一尺度训练课堂表现时序特征向量，/>是所述第二尺度训练课堂表现时序特征向量，是特征向量的长度，/> 为所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离矩阵， />表示矩阵的Frobenius范数，是所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离，/>是向量的二范数，/>表示以2为底的对数函数，且/>和/>为加权超参数，/>是所述伪循环差异惩罚损失函数值。
这里，本领域技术人员可以理解，上述基于人工智能的教育监管方法中的各个步骤的具体操作已经在上面参考图1到图4的基于人工智能的教育监管系统100的描述中得到了详细介绍，并因此，将省略其重复描述。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种基于人工智能的教育监管系统，其特征在于，包括：视频采集模块，用于获取由摄像头采集的被监控对象的课堂表现视频；课堂表现关键帧采样模块，用于对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；课堂表现特征提取模块，用于将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；课堂表现时序变化模块，用于将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及课堂表现检测模块，用于将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
2.根据权利要求1所述的基于人工智能的教育监管系统，其特征在于，所述课堂表现特征提取模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
3.根据权利要求2所述的基于人工智能的教育监管系统，其特征在于，所述课堂表现时序变化模块，包括：第一序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；第二序列编码单元，用于将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及融合单元，用于将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
4.根据权利要求3所述的基于人工智能的教育监管系统，其特征在于，还包括用于对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练的训练模块。
5.根据权利要求4所述的基于人工智能的教育监管系统，其特征在于，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括被监控对象的训练课堂表现视频，以及，所述被监控对象的课堂表现是否正常的真实值；训练课堂表现关键帧采样单元，用于对所述训练课堂表现视频进行采样处理以得到多个训练课堂表现关键帧；训练课堂表现特征提取单元，用于将所述多个训练课堂表现关键帧通过所述作为特征提取器的卷积神经网络模型以得到训练课堂表现特征向量的序列；训练课堂表现时序变化单元，用于将所述训练课堂表现特征向量的序列通过所述包含第一序列编码器和第二序列编码器的多尺度感知模型以得到第一尺度训练课堂表现时序特征向量和第二尺度训练课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；特征融合单元，用于融合所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量以得到训练课堂表现时序特征向量；分类损失单元，用于将所述训练课堂表现时序特征向量通过所述分类器以得到分类损失函数值；伪循环差异惩罚损失单元，用于计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为伪循环差异惩罚损失函数值；以及训练单元，用于以所述分类损失函数值和所述伪循环差异惩罚损失函数值的加权和作为损失函数值，并通过梯度下降的反向传播来对所述作为特征提取器的卷积神经网络模型、所述包含第一序列编码器和第二序列编码器的多尺度感知模型和所述分类器进行训练。
6.根据权利要求5所述的基于人工智能的教育监管系统，其特征在于，所述分类损失单元，用于：使用所述分类器以如下分类损失公式对所述训练课堂表现时序特征向量进行处理以获得所述训练分类结果，其中，所述分类损失公式为： ，其中，/>到/>为权重矩阵，/>到/>为偏置向量 ，/>为所述训练课堂表现时序特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。
7.根据权利要求6所述的基于人工智能的教育监管系统，其特征在于，所述伪循环差异惩罚损失单元，用于：以如下损失公式计算所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量的伪循环差异惩罚因数作为所述伪循环差异惩罚损失函数值；其中，所述损失公式为：，其中，/>是所述第一尺度训练课堂表现时序特征向量，/>是所述第二尺度训练课堂表现时序特征向量，是特征向量的长度，/> 为所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离矩阵， />表示矩阵的Frobenius范数，是所述第一尺度训练课堂表现时序特征向量和所述第二尺度训练课堂表现时序特征向量之间的距离，/>是向量的二范数，/>表示以2为底的对数函数，且/>和/>为加权超参数，/>是所述伪循环差异惩罚损失函数值。
8.一种基于人工智能的教育监管方法，其特征在于，包括：获取由摄像头采集的被监控对象的课堂表现视频；对所述课堂表现视频进行采样处理以得到多个课堂表现关键帧；将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列；将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，其中，所述第一序列编码器为循环神经网络模型，所述第二序列编码器为双向长短期记忆神经网络模型；以及将所述课堂表现时序特征向量通过分类器以得到分类结果，所述分类结果用于表示被监控对象的课堂表现是否正常。
9.根据权利要求8所述的基于人工智能的教育监管方法，其特征在于，将所述多个课堂表现关键帧通过作为特征提取器的卷积神经网络模型以得到课堂表现特征向量的序列，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层输出所述课堂表现特征向量的序列，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述多个课堂表现关键帧。
10.根据权利要求9所述的基于人工智能的教育监管方法，其特征在于，将所述课堂表现特征向量的序列通过包含第一序列编码器和第二序列编码器的多尺度感知模型以得到课堂表现时序特征向量，包括：将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第一序列编码器以得到第一尺度课堂表现时序特征向量；将所述课堂表现特征向量的序列通过所述多尺度感知模型的所述第二序列编码器以得到第二尺度课堂表现时序特征向量；以及将所述第一尺度课堂表现时序特征向量和所述第二尺度课堂表现时序特征向量进行融合以得到所述课堂表现时序特征向量。
CN202310654365.5A 2023-06-05 2023-06-05 基于人工智能的教育监管系统及其方法 Withdrawn CN116523711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310654365.5A CN116523711A (zh) 2023-06-05 2023-06-05 基于人工智能的教育监管系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310654365.5A CN116523711A (zh) 2023-06-05 2023-06-05 基于人工智能的教育监管系统及其方法

Publications (1)

Publication Number Publication Date
CN116523711A true CN116523711A (zh) 2023-08-01

Family

ID=87397736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310654365.5A Withdrawn CN116523711A (zh) 2023-06-05 2023-06-05 基于人工智能的教育监管系统及其方法

Country Status (1)

Country Link
CN (1) CN116523711A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575485A (zh) * 2024-01-12 2024-02-20 深圳比特耐特信息技术股份有限公司 一种基于可视化的智慧调度方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117575485A (zh) * 2024-01-12 2024-02-20 深圳比特耐特信息技术股份有限公司 一种基于可视化的智慧调度方法、系统及存储介质
CN117575485B (zh) * 2024-01-12 2024-05-03 深圳比特耐特信息技术股份有限公司 一种基于可视化的智慧调度方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN107784293B (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN105975573B (zh) 一种基于knn的文本分类方法
CN111814704B (zh) 基于级联注意力与点监督机制的全卷积考场目标检测方法
CA3066029A1 (en) Image feature acquisition
CN109727246A (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN109726671B (zh) 从全局到类别特征表达学习的动作识别方法和系统
Zhong et al. Where to Prune: Using LSTM to Guide End-to-end Pruning.
CN103106394A (zh) 一种视频监控中的人体行为识别方法
CN116363738A (zh) 一种基于多移动目标的人脸识别方法、系统及存储介质
CN116229530A (zh) 图像处理方法、装置、存储介质及电子设备
CN116523711A (zh) 基于人工智能的教育监管系统及其方法
CN116415581A (zh) 一种基于智慧教育的教学数据分析系统
CN112288700A (zh) 一种铁轨缺陷检测方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法
CN108875448B (zh) 一种行人再识别方法及装置
CN116486308A (zh) 基于智慧教育的教学管理系统及其方法
CN117392604A (zh) 物联网实时信息监控管理系统及方法
CN116310563A (zh) 一种贵金属库存的管理方法及系统
CN108090905B (zh) 产线异常的判断方法及系统
CN115705706A (zh) 视频处理方法、装置、计算机设备和存储介质
CN112785479A (zh) 一种基于少样本学习的图像隐形水印通用检测方法
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
CN116863406A (zh) 一种基于人工智能的智能报警安防系统及其方法
CN117034123A (zh) 健身器材的故障监控系统及其方法
CN109934281B (zh) 一种二分类网络的非监督训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230801

WW01 Invention patent application withdrawn after publication