CN115131867A - 基于学生学习效率检测方法、系统、设备及介质 - Google Patents

基于学生学习效率检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN115131867A
CN115131867A CN202210867271.1A CN202210867271A CN115131867A CN 115131867 A CN115131867 A CN 115131867A CN 202210867271 A CN202210867271 A CN 202210867271A CN 115131867 A CN115131867 A CN 115131867A
Authority
CN
China
Prior art keywords
student
learning efficiency
image
test
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210867271.1A
Other languages
English (en)
Inventor
余瑶
魏巍
刘珊珊
王可
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Education
Original Assignee
Chongqing University of Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Education filed Critical Chongqing University of Education
Priority to CN202210867271.1A priority Critical patent/CN115131867A/zh
Publication of CN115131867A publication Critical patent/CN115131867A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种基于学生学习效率检测方法、系统、设备及介质，该方法包括：获取课堂上学生听课的视频图像；对视频图像进行人脸识别，确定学生的身份信息，根据身份信息建立关联动作图像与表情图像的学生档案；构建卷积神经网络，基于学生档案标注的训练集对卷积神经网络进行训练，得到检测学习效率的专注度识别模型；将获取的待测学生档案输入专注度识别模型进行检测，确定待测学生的专注度分值来量化评估学生的学习效率，本申请不需要人为主观因素进行评测打分，检测结果更为客观、准确，同时，也不需要佩戴额外设备，提高了待测用户的舒适度，降低检测成本；另外，通过图像进行直观检测，大大提升了学习效率检测的智能化水平以及检测效率。

Description

基于学生学习效率检测方法、系统、设备及介质
技术领域
本申请涉及数据处理技术领域，也涉及教育领域，特别是涉及一种基于学生学习效率检测方法、系统、设备及介质。
背景技术
目前，相比初、中学期间的学习而言，在大学期间，一方面，在课堂上的老师认为：听课的同学都是成年人，有独立思考的能力，以及为自己行为负责任能力，因此，对听课学生的要求不严；例如，由于缺乏对教学课堂的严格要求，导致学生养成学习懒散的习惯，存在以下不良行为，在课堂上偷完手机、在课堂上睡觉、以及在上课注意力不集中等不良习惯；另一方面，学生只想到在期末考试能够考过就行，对课堂上教授的知识并不上心，对于上课的老师而言，缺乏一种从听课态度以及听课行为进行客观检测，确定学生学习效率进行量化检测方法。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于学生学习效率检测方法、系统、设备及介质，用于解决现有技术中的课堂上无法客观对学生的学习效率进行检测的问题。
为实现上述目的及其他相关目的，本申请提供一种基于学生学习效率检测方法，包括：
获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
在本申请的一目的在于提供一种高校学生行为分析方法，包括：
视频获取模块，用于获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
档案确定模块，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
专注度构建模型，用于构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
学习效率检测模块，用于将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
在本申请的另一目的在于提供一种电子设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述基于学生学习效率检测方法。
在本申请的还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述基于学生学习效率检测方法。
如上所述，本申请的基于学生学习效率检测方法、系统、设备及介质，具有以下有益效果：
通过对学生听课的视频图像进行分析，确定待测学生的人脸图像、动作图像以及表情图像；基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案，利用视觉技术对学生档案中动作图像与表情图像进行识别，通过肢体动作与人脸表情进行待测学生专注度检测，利用专注度来反映待测学生的学习效率，相比其他方式而言，本申请不需要人为主观因素进行评测打分，检测结果更为客观、准确，同时，也不需要佩戴额外设备，提高了待测用户的舒适度，降低检测成本；另外，通过视觉图像进行直观检测，大大提升了学习效率检测的智能化水平以及检测效率。
附图说明
图1显示为本申请提供的一种基于学生学习效率检测方法流程图；
图2显示为本申请提供的一种基于学生学习效率检测系统结构框图；
图3显示为本申请提供的一种电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，为本申请提供的一种基于学生学习效率检测方法结构框图，包括：
步骤S101，获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
具体地，可以通过在线视频教学，或，线下课堂教学获取视频图像，其中，需要说明的是，本申请中获取的视频图像都是经待测学生本人合法授权，用于评测该学生在课堂上的专注度，其中，学习效率是学习快慢的表示形式，本申请主要通过学习的专注度来考量学生的学习效率。
例如，通过在视频图像中进行截取或裁剪，获取到待测学生的人脸图像、动作图像以及表情图像。
步骤S102，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
具体地，获取待检索的目标人脸图像(即，待测学生的人脸图像)；基于深度残差网络中顺次相连的各个残差块，对所述目标人脸图像进行特征提取，得到目标人脸特征信息，任意一个残差块中均包括一个恒等映射和至少两个卷积层，任意一个残差块的恒等映射由所述任意一个残差块的输入端指向所述任意一个残差块的输出端；基于所述目标人脸特征信息在人脸数据库进行人脸检索，得到人脸检索结果，所述人脸数据库中存储了人脸特征信息与身份标识之间的对应关系，所述人脸检索结果中至少包括与所述目标人脸特征信息匹配的身份标识，进而确定待测学生的身份信息。
或者，获取二维图像，并基于所述二维图像获取所述二维图像对应的法向图；获取所述二维图像对应的二维特征向量，以及所述法向图对应的三维特征向量；融合所述二维特征向量和所述三维特征向量，得到最终的人脸特征向量；基于所述最终的人脸特征向量进行人脸识别，即，确定待测学生的身份信息。
再或者，将学生听课的视频图像按照所述人脸图像进行聚类分析，根据相似度确定归属于同一图像的图像子集；
对所述图像子集所对应的人脸图像进行人脸识别，确定所述图像子集的身份信息；
根据所述身份信息将隶属于相同身份信息的图像子集内的动作图像与表情图像进行关联绑定，确定学生档案，其中，所述表情图像是基于人脸表情识别模型对人脸图像进行识别确定的，所述动作图像是基于肢体动作识别模型检测所得的肢体动作。
例如，通过相同人脸图像进行聚档，形成关联动作图像与表情图像的学生档案，便于构成后续的训练集，例如，对动作图像与表情图像分别按照类别不同或等级不同进行标注，形成训练集。
步骤S103，构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
具体地，提取所述动作图像中动作特征，所述动作特征至少包括以下至少之一：头像的长度参数、嘴巴开合程度、眼睛睁开程度、眼睛睁开频率以及肢体动作；
基于构建的Arousal-Valence情感模型确定表情图像所带来的情感分值，用情感分值来表征标注的表情特征；其中，横坐标为Valence，通过分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；纵坐标为Arousal，通过分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈；
将所述表情图像中关联表情特征以及所述动作图像关联的动作特征进行标注，形成训练集；
构建卷积神经网络，基于所述训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型。
例如，可以对各种二维图像中的动作图像中动作特征进行特征提取，以及对表情图像进行情绪特征进行提取，将提取的特征按类别进行分类，通过分类标注的训练集进行训练卷积神经网络，得到检测学习效率的专注度识别模型。
在一个例子中，将训练对象的各二维图像样本，以及针对各二维图像样本得到的特征进行随机组合，得到多组同一训练对象不同内容的训练样本对；使用各组训练样本对中的二维图像样本对应的二维特征向量。例如，某一训练对象有N张不同时刻拍摄的二维图像样本，基于N张不同的二维图像样本估计得到N张(情绪特征与动作特征组成的特征图)。将N张二维图像样本和N张特征图随机组合，得到多组训练样本对。在得到多组训练样本对后，针对各组训练样本对，提取二维图像样本对应的二维特征向量。将每组二维特征向量输入卷积神经网络进行训练，得到检测学习效率的专注度识别模型。
值得一提的是，采用同一训练对象的多对二维图像和特征图随机组对的训练策略对卷积神经网络进行训练，对训练数据无对齐、同帧等要求，使相同对象中样本的多模态信息更好的交互，使得类内特征更为紧密，进一步提升了多模态人脸识别系统的准确率。
步骤S104，将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
在本实施例中，利用视觉技术对学生档案中动作图像与表情图像进行识别，通过肢体动作与人脸表情进行待测学生专注度检测，利用专注度来反映待测学生的学习效率，进而实现了智能检测学生学习效率的目的。
在另一些实施例中，确定待测学生的专注度分值来量化评估所述学生的学习效率之前，还包括：
将获取的待测学生档案输入所述专注度识别模型进行检测，得到第一专注度分数；
获取各学生对知识点测试确定的测试成绩；其中，所述测试成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
根据所述测试成绩与预设的学生专注度转化关系进行自评测试，得到专注度自评的第二专注度分数，所述学生专注度转化关系在预设时间段内进行知识测试所得分数与专注度分数的映射关系；
将所述专注度自评的第二专注度分数与所述第一专注度分数进行加权融合，得到待测学生最终的专注度分值来量化评估所述学生的学习效率。
在本实施例中，通过对课堂相关知识点进行评测，确定待测学生学以致用的转化效率，利用转化效率的分值对专注度进行自评，进而提高了专注度的测试精度。不需要人为主观因素进行评测打分，检测结果更为客观、准确，同时，也不需要佩戴额外设备，提高了待测用户的舒适度，降低检测成本；另外，通过视觉图像进行直观检测，大大提升了学习效率检测的智能化水平以及检测效率。
在另一些实施例中，还包括：连续获取待测学生的嘴部开合程度图像，对所述嘴部开合程度图像进行唇语识别，确定待测学生所讲的说话内容；利用说话内容与当前场景内的知识点关联度进行判断，确定待测学生是否有课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容相同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度达到预设阈值；则不存在课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容不同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度未达到预设阈值；则存在课堂违规操作。
通过上述方式，能够准确判断待测学生是否在跟随老师的教课节奏进行学习，以及待测学生是否有课堂违规操作，例如，上课窃窃私语、交头接耳等。在上述实施例基础上，还可以通过获取待测学生的眼球与(线上的显示屏幕)或线下(投影屏或黑板)之间的角度，确定待测学生是否专注精力在老师教授的课堂上。
在另一些实施例中，还包括：对学生在预设时间周期内的学习效率进行统计分析，若检测到某待测学生在该预设时间周期内的学习效率分数低于阈值分数，则将该待测学生所对应的学习效果评估结果发送至该学生关联的家长以及老师，通过辅助分析以提高学生的学习效率。
通过上述方式，一方面，能够对学生听课的学习效率进行智能检测，无需人为参与进行测评，另一方面，通过学习效率检测结果不仅可让学生家长知悉学生的听课效果，给予一个客观结果进行参考，同时，授课老师也可以根据学生的现场反应进行修正，有利于老师下来备课以及改进讲课水平，以提升老师的讲课能力；最后一方面，结合学生的专注度所体现的学习效率，便于家长与老师共同督导学生提高学习效率，上课更专注、更认真、更聚精会神。
请参阅图2，为本申请提供的一种基于学生学习效率检测系统结构框图，详述如下：
视频获取模块201，用于获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
档案确定模块202，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
专注度构建模型203，用于构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
学习效率检测模块204，用于将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
在本实施例中，通过人脸图像、动作图像以及表情图像即可确定待测学生的专注度，通过专注度分值高低来评测学生在课堂上听课的学习效率。
所述学习效率检测模块204，还包括：
将获取的待测学生档案输入所述专注度识别模型进行检测，得到第一专注度分数；
获取各学生对知识点测试确定的测试成绩；其中，所述测试成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
根据所述测试成绩与预设的学生专注度转化关系进行自评测试，得到专注度自评的第二专注度分数，所述学生专注度转化关系在预设时间段内进行知识测试所得分数与专注度分数的映射关系；
将所述专注度自评的第二专注度分数与所述第一专注度分数进行加权融合，得到待测学生最终的专注度分值来量化评估所述学生的学习效率。
其中，需要说明的是，基于学生学习效率检测系统与基于学生学习效率检测方法为一一对应的关系，在此，各个模块与上述流程步骤所涉及的技术细节与技术效果均相同，在此不用一一赘述，请参照上述基于学生学习效率检测方法。
在本实施例中，通过对学生听课的视频图像进行分析，确定待测学生的人脸图像、动作图像以及表情图像；基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案，利用视觉技术对学生档案中动作图像与表情图像进行识别，通过肢体动作与人脸表情进行待测学生专注度检测，利用专注度来反映待测学生的学习效率，相比其他方式而言，本申请不需要人为主观因素进行评测打分，检测结果更为客观、准确，同时，也不需要佩戴额外设备，提高了待测用户的舒适度，降低检测成本；另外，通过视觉图像进行直观检测，大大提升了学习效率检测的智能化水平以及检测效率
下面参考图3，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM303中，还存储有电子设备操作所需的各种程序和数据。处理装置301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行图1中的步骤流程。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本实施例公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
综上所述，通过对学生听课的视频图像进行分析，确定待测学生的人脸图像、动作图像以及表情图像；基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案，利用视觉技术对学生档案中动作图像与表情图像进行识别，通过肢体动作与人脸表情进行待测学生专注度检测，利用专注度来反映待测学生的学习效率，相比其他方式而言，本申请不需要人为主观因素进行评测打分，检测结果更为客观、准确，同时，也不需要佩戴额外设备，提高了待测用户的舒适度，降低检测成本；另外，通过视觉图像进行直观检测，大大提升了学习效率检测的智能化水平以及检测效率。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于学生学习效率检测方法，其特征在于，包括：
获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
2.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，确定待测学生的专注度分值来量化评估所述学生的学习效率之前，还包括：
将获取的待测学生档案输入所述专注度识别模型进行检测，得到第一专注度分数；
获取各学生对知识点测试确定的测试成绩；其中，所述测试成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
根据所述测试成绩与预设的学生专注度转化关系进行自评测试，得到专注度自评的第二专注度分数，所述学生专注度转化关系在预设时间段内进行知识测试所得分数与专注度分数的映射关系；
将所述专注度自评的第二专注度分数与所述第一专注度分数进行加权融合，得到待测学生最终的专注度分值来量化评估所述学生的学习效率。
3.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的，包括：
将学生听课的视频图像按照所述人脸图像进行聚类分析，根据相似度确定归属于同一图像的图像子集；
对所述图像子集所对应的人脸图像进行人脸识别，确定所述图像子集的身份信息；
根据所述身份信息将隶属于相同身份信息的图像子集内的动作图像与表情图像进行关联绑定，确定学生档案，其中，所述表情图像是基于人脸表情识别模型对人脸图像进行识别确定的，所述动作图像是基于肢体动作识别模型检测所得的肢体动作。
4.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型，包括：
提取所述动作图像中动作特征，所述动作特征至少包括以下至少之一：头像的长度参数、嘴巴开合程度、眼睛睁开程度、眼睛睁开频率以及肢体动作；
基于构建的Arousal-Valence情感模型确定表情图像所带来的情感分值，用情感分值来表征标注的表情特征；其中，横坐标为Valence，通过分值从1到5依次代表情绪从恶心、不适、平静、愉悦到兴奋；纵坐标为Arousal，通过分值从1到5依次代表情绪从平静、起伏、波澜、强烈到剧烈；
将所述表情图像中关联表情特征以及所述动作图像关联的动作特征进行标注，形成训练集；
构建卷积神经网络，基于所述训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型。
5.根据权利要求4所述的基于学生学习效率检测方法，其特征在于，还包括：连续获取待测学生的嘴部开合程度图像，对所述嘴部开合程度图像进行唇语识别，确定待测学生所讲的说话内容；利用说话内容与当前场景内的知识点关联度进行判断，确定待测学生是否有课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容相同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度达到预设阈值；则不存在课堂违规操作；若待测学生的说话内容与预设时段内当前场景内其他学生的说话内容不同，或，若待测学生的说话内容与预设时段内老师教授的知识点关联度未达到预设阈值；则存在课堂违规操作。
6.根据权利要求1所述的基于学生学习效率检测方法，其特征在于，还包括：对学生在预设时间周期内的学习效率进行统计分析，若检测到某待测学生在该预设时间周期内的学习效率分数低于阈值分数，则将该待测学生所对应的学习效果评估结果发送至该学生关联的家长以及老师，通过辅助分析以提高学生的学习效率。
7.一种基于学生学习效率检测系统，其特征在于，包括：
视频获取模块，用于获取课堂上学生听课的视频图像，所述视频图像包含待测学生的人脸图像、动作图像以及表情图像；
档案确定模块，基于所述人脸图像进行人脸识别，确定所述学生的身份信息，根据所述身份信息建立关联动作图像与表情图像的学生档案；
专注度构建模型，用于构建卷积神经网络，基于所述学生档案标注的训练集对所述卷积神经网络进行训练，得到检测学习效率的专注度识别模型；
学习效率检测模块，用于将获取的待测学生档案输入所述专注度识别模型进行检测，确定待测学生的专注度分值来量化评估所述学生的学习效率。
8.根据权利要求7所述的基于学生学习效率检测方法，其特征在于，所述学习效率检测模块，还包括：
将获取的待测学生档案输入所述专注度识别模型进行检测，得到第一专注度分数；
获取各学生对知识点测试确定的测试成绩；其中，所述测试成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
根据所述测试成绩与预设的学生专注度转化关系进行自评测试，得到专注度自评的第二专注度分数，所述学生专注度转化关系在预设时间段内进行知识测试所得分数与专注度分数的映射关系；
将所述专注度自评的第二专注度分数与所述第一专注度分数进行加权融合，得到待测学生最终的专注度分值来量化评估所述学生的学习效率。
9.一种电子设备，其特征在于：包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1至6任一所述的基于学生学习效率检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行权利要求1至6任一所述的基于学生学习效率检测方法。
CN202210867271.1A 2022-07-22 2022-07-22 基于学生学习效率检测方法、系统、设备及介质 Withdrawn CN115131867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210867271.1A CN115131867A (zh) 2022-07-22 2022-07-22 基于学生学习效率检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210867271.1A CN115131867A (zh) 2022-07-22 2022-07-22 基于学生学习效率检测方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN115131867A true CN115131867A (zh) 2022-09-30

Family

ID=83384894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210867271.1A Withdrawn CN115131867A (zh) 2022-07-22 2022-07-22 基于学生学习效率检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115131867A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798020A (zh) * 2023-01-29 2023-03-14 北京林业大学 一种基于人工智能的中小学生学习投入度检测方法与系统
CN116311060A (zh) * 2023-03-17 2023-06-23 华中师范大学 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798020A (zh) * 2023-01-29 2023-03-14 北京林业大学 一种基于人工智能的中小学生学习投入度检测方法与系统
CN116311060A (zh) * 2023-03-17 2023-06-23 华中师范大学 一种基于计算机视觉的学生课堂学习投入度自动评价方法及系统

Similar Documents

Publication Publication Date Title
CN108563780B (zh) 课程内容推荐方法和装置
Kachouie et al. Socially assistive robots in elderly care: a mixed-method systematic literature review
CN115131867A (zh) 基于学生学习效率检测方法、系统、设备及介质
CN108898115B (zh) 数据处理方法、存储介质和电子设备
Ochoa et al. Multimodal learning analytics-Rationale, process, examples, and direction
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN111475627B (zh) 解答推导题目的检查方法、装置、电子设备及存储介质
CN108875785A (zh) 基于行为特征对比的关注度检测方法以及装置
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
CN108629497A (zh) 课程内容掌握程度评价方法和装置
US20230178217A1 (en) Adjusting mental state to improve task performance and coaching improvement
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
US11037460B2 (en) Cognitive robotic assistance for education
CN111046852A (zh) 个人学习路径生成方法、设备及可读存储介质
US10915819B2 (en) Automatic real-time identification and presentation of analogies to clarify a concept
Ochoa Multimodal systems for automated oral presentation feedback: A comparative analysis
US20200027364A1 (en) Utilizing machine learning models to automatically provide connected learning support and services
Fasihuddin et al. Smart tutoring system for Arabic sign language using Leap Motion controller
Sanusi et al. Developing middle school students’ understanding of machine learning in an African school
CN112714174A (zh) 一种基于无线通信的智慧教育数据采集系统
CN117037552A (zh) 智慧课堂交互系统及方法
CN111967739A (zh) 一种基于专注度的在线授课方法和系统
US20220309936A1 (en) Video education content providing method and apparatus based on artificial intelligence natural language processing using characters
Utami et al. A Brief Study of The Use of Pattern Recognition in Online Learning: Recommendation for Assessing Teaching Skills Automatically Online Based
Rathi et al. Embedding Affect Awareness into Online Learning Environment using Deep Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220930

WW01 Invention patent application withdrawn after publication