CN112200138A - 基于计算机视觉的课堂学情分析方法 - Google Patents

基于计算机视觉的课堂学情分析方法 Download PDF

Info

Publication number
CN112200138A
CN112200138A CN202011184624.5A CN202011184624A CN112200138A CN 112200138 A CN112200138 A CN 112200138A CN 202011184624 A CN202011184624 A CN 202011184624A CN 112200138 A CN112200138 A CN 112200138A
Authority
CN
China
Prior art keywords
target
human body
face
frame
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011184624.5A
Other languages
English (en)
Other versions
CN112200138B (zh
Inventor
柯逍
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011184624.5A priority Critical patent/CN112200138B/zh
Publication of CN112200138A publication Critical patent/CN112200138A/zh
Application granted granted Critical
Publication of CN112200138B publication Critical patent/CN112200138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于计算机视觉的课堂学情分析方法，包括以下步骤：步骤S1:获取人体图像数据，并进行预处理，得到人体图像数据集；步骤S2:根据得到的人体图像数据集，训练YOLOv4目标检测算法模型，并基于训练后的YOLOv4目标检测算法模型对课堂实时视频进行逐帧人体检测，得到每个目标的人体位置信息；步骤S3:根据得到每个目标的人体位置信息，采用CrowdPose拥挤场景姿态估计算法进行姿态估计，获得每个目标的骨骼关键点分布信息；步骤S4:根据得到的每个目标的骨骼关键点分布信息，分别进行行为检测和情绪分析；步骤S5:根据行为检测、人脸识别，情绪分析结果，进一步实现目标的课堂考勤和获得识别目标的课堂参与度。本发明有效的获取每个学生课堂状态，供教师改进教学策略，提高课堂教学质量。

Description

基于计算机视觉的课堂学情分析方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于计算机视觉的课堂学情分析方法。
背景技术
随着人工智能场景化应用的不断成熟，教育+AI的重要性与可能性吸引着越来越多的学者投身研究。与此同时，传统教育所呈现的弊端正慢慢浮现，如大班式教学导致考勤工作困难、老师分身乏术无暇顾及众多学生的上课状态等等。为了解决上述痛点，本发明提出一种以目标检测、姿态估计等计算机视觉技术为基础的课堂学情分析方法，通过对教室摄像头获取的实时图像进行处理，帮助教师实现课堂智能考勤以及多维度课堂学情分析，将学生课堂状态数据分析作为参考，供教师改进教学策略。
发明内容
有鉴于此，本发明的目的在于提供一种基于计算机视觉的课堂学情分析方法，能够有效的获取每个学生课堂状态，供教师改进教学策略，提高课堂教学质量。
为实现上述目的，本发明采用如下技术方案：
一种基于计算机视觉的课堂学情分析方法，包括以下步骤：
步骤S1:获取人体图像数据，并进行预处理，得到人体图像数据集；
步骤S2:根据得到的人体图像数据集，训练YOLOv4目标检测算法模型，并基于训练后的YOLOv4目标检测算法模型对课堂实时视频进行逐帧人体检测，得到每个目标的人体位置信息；
步骤S3:根据得到每个目标的人体位置信息，采用CrowdPose拥挤场景姿态估计算法进行姿态估计，获得每个目标的骨骼关键点分布信息；
步骤S4:根据得到的每个目标的骨骼关键点分布信息，分别进行行为检测、人脸识别，情绪分析；
步骤S5:根据行为检测、人脸识别，情绪分析结果，进一步实现目标的课堂考勤和获得识别目标的课堂参与度。
进一步的，所述步骤S1具体为：
步骤S11:采用关键词爬虫工具获取人体图像数据；
步骤S12:采用图像直方图法对人体图像数据进行数据清洗；
步骤S13:采用Yolo_mark标注工具对清洗后的人体图像数据进行数据标注，完成数据集的构建。
进一步的，所述步骤S12具体为：设置一张正确图像，将获取的人体图像数据转化为直方图，然后使用相关系数法求得图像与正确图像的相似度，保存相似系数大于预设值的图像，所述相关系数的计算公式如下所示：
Figure BDA0002751077620000021
其中，x,y分别两副图像的直方图结果，r(x,y)表示两幅图像的相似度，Cov(x,y)为x,y的协方差，Var[x]为x的方差,Var[y]为y的方差，该公式的取值范围为[-1,1]，计算出的结果越大，两幅图像越相似。
进一步的，所述步骤S2具体为：
步骤S21:对YOLOv4目标检测算法模型中的参数进行调整，并对检测模型进行预训练；
步骤S22:将人体图像数据集按预设比例分为训练集和测试集；
步骤S23:根据训练集训练YOLOv4目标检测算法模型，得到训练后的YOLOv4目标检测算法模型。
进一步的，所述步骤S3具体为：
步骤S31:通过目标检测获得预测的人体位置框；
步骤S32:采用CrowdPose算法对每个位置框检测其所有骨骼关键点，获得人体特征图；
步骤S33:根据人体特征图使用多峰预测的方法获得每个关键点位置；
步骤S34:得到多峰预测的结果后，通过构建Person-Joint图，图以humaninstance和jointnode为节点，每个关键点与人体实例之间的连接为边，关键点的置信度值为边上的权重；
步骤S35:求得的最大权重子图，即为当前得到的人体关键点连接，得到人体姿态。
进一步的，所述行为检测采用基于视频帧序列的行为检测方法，具体包括以下步骤：
(a)将间隔帧的图像里的手部骨骼关键点位置信息分别进行存储，再进行判断处理,若出现相邻帧的肩膀关键点的Y轴值Yshoulderk大于对应手腕关键点Y轴值Ywristk，则举手目标帧计数器Thandup增加1，否则Tnohandup增加1；使用以下公式进行计算当Res大于举手行为阈值Reshp时，则估计此时目标的行为是举手：
if(Yshoulderk>Ywristk)，Thandup＝Thandup+1
Figure BDA0002751077620000041
Figure BDA0002751077620000042
其中，Thandup为举手目标帧计数器，Tnohandup为未举手目标帧计数器，Res为当前举手行为估计值，Reshp为举手行为阈值，μhp表示举手目标帧的权重；μnhp表示未举手目标帧的权重；C表示一段连续帧的长度，μhp+μnhp＝1，μhp>μnhp且Thandup>μnhp，handup值为true时表示估计此时行为为举手，默认值为false；
(b)对于站立行为的判断，利用到左右脚的膝盖关键点,当第k帧关键点遍历时左腿的膝盖关键点出现，则对该关键点变量进行标记Lkneek＝true，若该帧的下一关键点检测也出现Rkneek＝true，则将Tstand增加1；使用如下公式进行计算；当stand＝true时表示估计此时目标处于站立状态
if(Lkneek＝＝true&&Rkneek＝＝true)，Tstand＝Tstand+1
Figure BDA0002751077620000043
其中，Lkneek为第k帧的左膝关键点，Rkneek为第k帧的右膝关键点，Tstand表示累加站立时间计数器,默认值为0，Tmaxstand表示站立估计阈值，范围在(0，1)，stand值为true时表示估计此时行为为站立，默认值为false。
进一步的，所述人脸识别和情绪分析，具体包括以下步骤：
(a)根据得到的目标骨骼关键点分布信息，获取学生脸部区域；
(b)获取到学生脸部区域后通过Face++人脸识别与数据库中学生图像匹配完成身份确认；
(c)完成人脸确认后,采用Face++情绪分析云服务获取该学生的情绪信息，分析成功后以JSON数据格式返回该学生所有的情绪数据，根据其中最大值确定其当前情绪。
进一步的，所述根据得到的目标骨骼关键点分布信息，获取学生脸部区域，具体为：
根据得到的目标骨骼关键点分布信息确定脸部位置，输出脸部区域的预测框，在获取第k个目标人的脸部关键点后，将其中左右眼关键点的坐标
Figure BDA0002751077620000054
记录到自定义变量中，同时记录鼻子关键点坐标
Figure BDA0002751077620000055
利用左右眼关键点X轴距离估算脸部宽度，使用公式(1)进行计算，将左右眼关键点的Y轴最小值与鼻子关键点Y轴值估算脸部长度，使用公式(2)进行计算；在计算得到脸部长度与宽度后，以鼻子为脸部中心点，分别根据公式(3)与公式(4)获得脸部左上角坐标与右下角坐标，从而实现图像中人体脸部区域获取
facew＝(Xleyek-Xreyek)/γw-cover (1)
Figure BDA0002751077620000056
Figure BDA0002751077620000051
Figure BDA0002751077620000052
其中，(Xleyek，Yleyek)与(Xreyek，Yreyek)分别表示第k帧左右眼关键点中心坐标，
Figure BDA0002751077620000057
表示鼻子关键点中心坐标，γw_cover表示两眼水平距离差之于脸部宽度的占比参数；γh_cover表示眼鼻垂直距离差之于脸部长度的占比参数(beginx，beginy)表示脸部左上角坐标，(endx，endy)表示脸部右下角坐标，facew表示估算的脸部宽度，faceh表示脸部右下角坐标。
本发明与现有技术相比具有以下有益效果：
1、本发明针对课堂场景下的小目标情况调整了YOLOv4目标检测算法的模型参数并对训练集进行了处理，从而训练出更加适用于课堂场景下的目标检测算法模型；
2、本发明采用CrowdPose拥挤场景姿态估计算法，提高了拥挤场景下的姿态估计效果；
3、本发明利用姿态估计图进行人脸识别完成考勤需求以及进行情绪识别进一步体现学生课堂参与度，能够有效的获取每个学生课堂状态，供教师改进教学策略，提高课堂教学质量。
附图说明
图1是本发明原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于计算机视觉的课堂学情分析方法，包括以下步骤：
步骤S1:获取人体图像数据，并进行预处理，得到人体图像数据集；
步骤S2:根据得到的人体图像数据集，训练YOLOv4目标检测算法模型，并基于训练后的YOLOv4目标检测算法模型对课堂实时视频进行逐帧人体检测，得到每个目标的人体位置信息；
步骤S3:根据得到每个目标的人体位置信息，采用CrowdPose拥挤场景姿态估计算法进行姿态估计，获得每个目标的骨骼关键点分布信息；
步骤S4:根据得到的每个目标的骨骼关键点分布信息，分别进行行为检测、人脸识别，情绪分析；
步骤S5:根据行为检测、人脸识别，情绪分析结果，进一步实现目标的课堂考勤和获得识别目标的课堂参与度。
在本实施例中，所述步骤S1具体为：
步骤S11:采用关键词爬虫工具获取人体图像数据；
步骤S12:采用图像直方图法对人体图像数据进行数据清洗；
步骤S13:采用Yolo_mark标注工具对清洗后的人体图像数据进行数据标注，完成数据集的构建。
优选的，步骤S12具体为：设置一张正确图像，将获取的人体图像数据转化为直方图，然后使用相关系数法求得图像与正确图像的相似度，保存相似系数大于预设值的图像，所述相关系数的计算公式如下所示：
Figure BDA0002751077620000071
其中，x,y分别两副图像的直方图结果，r(x,y)表示两幅图像的相似度，Cov(x,y)为x,y的协方差，Var[x]为x的方差,Var[y]为y的方差，该公式的取值范围为[-1,1]，计算出的结果越大，两幅图像越相似。
在本实施例中，所述步骤S2具体为：
步骤S21:对YOLOv4目标检测算法模型中的参数进行调整，并对检测模型进行预训练；具体如下：
(1)课堂场景下的图像中每个学生的人体区域范围都较小，因此为了保证检测模型的准确度，将输入图像大小从416×416调整为608×608，更高的输入图片分辨率，有助于检测多尺度的小物体；
(2)对于课堂场景这种目标很多的图像，在.cfg权重文件中最后一个[yolo]层添加max＝200。(YOLOv4可以检测到的对象的全局最大数目是0.0615234375*(width*height)，其中width和height是.cfg文件中[net]部分的参数)，以提高拥挤场景下多目标的检测效果。
(3)调整decay参数为0.0005防止过拟合现象的发生；
步骤S22:将人体图像数据集按预设比例分为训练集和测试集；
优选的，在本实施例中，训练集：共20100张图片，其中添加500张随机动物图片，使训练集中包含不想被检测且不带标签的图片，即无标注边界框的负样本(空.txt文件)，使模型在进行人体图像识别时能得到更好的效果。
测试集：共5000张图片，用于检测模型在人体图像识别的性能；
步骤S23:根据训练集训练YOLOv4目标检测算法模型，得到训练后的YOLOv4目标检测算法模型。
优选的，在本实施例中，模型训练开始时使用较高的学习率(0.001)以减少损失并使模型快速收敛，之后转向较低的学习率(0.0001)，如果从一开始就使用较小的学习率，则将花费大量时间收敛到最小值。
在本实施例中，所述步骤S3具体为：
步骤S31:通过目标检测获得预测的人体位置框；
步骤S32:采用CrowdPose算法对每个位置框检测其所有骨骼关键点，获得人体特征图；
步骤S33:根据人体特征图使用多峰预测的方法获得每个关键点位置；
步骤S34:得到多峰预测的结果后，通过构建Person-Joint图，图以humaninstance和joint node为节点，每个关键点与人体实例之间的连接为边，关键点的置信度值为边上的权重；
步骤S35:求得的最大权重子图，即为当前得到的人体关键点连接，得到人体姿态。
优选的，在本实施例中，CrowdPose算法模型训练基于本实施例课堂教学视频数据集以及MS-COCO数据集。
在本实施例中，所述行为检测采用基于视频帧序列的行为检测方法，具体包括以下步骤：
(a)将间隔帧的图像里的手部骨骼关键点位置信息分别进行存储，再进行判断处理,若出现相邻帧的肩膀关键点的Y轴值Yshoulderk大于对应手腕关键点Y轴值Ywristk，则举手目标帧计数器Thandup增加1，否则Tnohandup增加1；使用以下公式进行计算当Res大于举手行为阈值Reshp时，则估计此时目标的行为是举手：
if(Yshoulderk>Ywristk)，Thandup＝Thandup+1
Figure BDA0002751077620000091
Figure BDA0002751077620000092
其中，Thandup为举手目标帧计数器，Tnohandup为未举手目标帧计数器，Res为当前举手行为估计值，Reshp为举手行为阈值，范围在(0，1)，μhp表示举手目标帧的权重，默认为0.6；μnhp表示未举手目标帧的权重，默认为0.4；C表示一段连续帧的长度，μhp+μnhp＝1，μhp>μnhp且Thandup>μnhp，handup值为true时表示估计此时行为为举手，默认值为false；
(b)对于站立行为的判断，利用到左右脚的膝盖关键点,当第k帧关键点遍历时左腿的膝盖关键点出现，则对该关键点变量进行标记Lkneek＝true，若该帧的下一关键点检测也出现Rkneek＝true，则将Tstand增加1；使用如下公式进行计算；当stand＝true时表示估计此时目标处于站立状态
if(Lkneek＝＝true&&Rkneek＝＝true)，Tstand＝Tstand+1
Figure BDA0002751077620000093
其中，Lkneek为第k帧的左膝关键点，Rkneek为第k帧的右膝关键点，Tstand表示累加站立时间计数器,默认值为0，Tmaxstand表示站立估计阈值，范围在(0，1)，stand值为true时表示估计此时行为为站立，默认值为false；
在本实施例中，所述人脸识别和情绪分析，具体包括以下步骤：
(a)根据得到的目标骨骼关键点分布信息，获取学生脸部区域；
根据得到的目标骨骼关键点分布信息确定脸部位置，输出脸部区域的预测框，在获取第k个目标人的脸部关键点后，将其中左右眼关键点的坐标
Figure BDA0002751077620000103
记录到自定义变量中，同时记录鼻子关键点坐标
Figure BDA0002751077620000104
利用左右眼关键点X轴距离估算脸部宽度，使用公式(1)进行计算，将左右眼关键点的Y轴最小值与鼻子关键点Y轴值估算脸部长度，使用公式(2)进行计算；在计算得到脸部长度与宽度后，以鼻子为脸部中心点，分别根据公式(3)与公式(4)获得脸部左上角坐标与右下角坐标，从而实现图像中人体脸部区域获取
facew＝(Xleyek-Xreyek)/γw-cover (1)
Figure BDA0002751077620000105
Figure BDA0002751077620000101
Figure BDA0002751077620000102
其中，(Xleyek，Yleyek)与(Xreyek，Yreyek)分别表示第k帧左右眼关键点中心坐标，
Figure BDA0002751077620000106
表示鼻子关键点中心坐标，γw_cover表示两眼水平距离差之于脸部宽度的占比参数，默认为0.5；γh_cover表示眼鼻垂直距离差之于脸部长度的占比参数，默认为0.2，(beginx，beginy)表示脸部左上角坐标，(endx，endy)表示脸部右下角坐标，facew表示估算的脸部宽度，faceh表示脸部右下角坐标。
(b)获取到学生脸部区域后通过Face++人脸识别与数据库中学生图像匹配完成身份确认；
(c)完成人脸确认后,采用Face++情绪分析云服务获取该学生的情绪信息，分析成功后以JSON数据格式返回该学生所有的情绪数据，根据其中最大值确定其当前情绪。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于计算机视觉的课堂学情分析方法，其特征在于，包括以下步骤：
步骤S1：获取人体图像数据，并进行预处理，得到人体图像数据集；
步骤S2：根据得到的人体图像数据集，训练YOLOv4目标检测算法模型，并基于训练后的YOLOv4目标检测算法模型对课堂实时视频进行逐帧人体检测，得到每个目标的人体位置信息；
步骤S3：根据得到每个目标的人体位置信息，采用CrowdPose拥挤场景姿态估计算法进行姿态估计，获得每个目标的骨骼关键点分布信息；
步骤S4：根据得到的每个目标的骨骼关键点分布信息，分别进行行为检测、人脸识别，情绪分析；
步骤S5：根据行为检测、人脸识别，情绪分析结果，进一步实现目标的课堂考勤和获得目标的课堂参与度。
2.根据权利要求1所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述步骤S1具体为：
步骤S11：采用关键词爬虫工具获取人体图像数据；
步骤S12：采用图像直方图法对人体图像数据进行数据清洗；
步骤S13：采用Yolo_mark标注工具对清洗后的人体图像数据进行数据标注，完成数据集的构建。
3.根据权利要求2所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述步骤S12具体为：设置一张正确图像，将获取的人体图像数据转化为直方图，然后使用相关系数法求得图像与正确图像的相似度，保存相似系数大于预设值的图像，所述相关系数的计算公式如下所示：
Figure FDA0002751077610000021
其中，x，y分别两副图像的直方图结果，r(x，y)表示两幅图像的相似度，Cov(x，y)为x，y的协方差，Var[x]为x的方差，Var[y]为y的方差，该公式的取值范围为[-1，1]，计算出的结果越大，两幅图像越相似。
4.根据权利要求1所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述步骤S2具体为：
步骤S21：对YOLOv4目标检测算法模型中的参数进行调整，并对检测模型进行预训练；
步骤S22：将人体图像数据集按预设比例分为训练集和测试集；
步骤S23：根据训练集训练YOLOv4目标检测算法模型，得到训练后的YOLOv4目标检测算法模型。
5.根据权利要求1所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述步骤S3具体为：
步骤S31：通过目标检测获得预测的人体位置框；
步骤S32：采用CrowdPose算法对每个位置框检测其所有骨骼关键点，获得人体特征图；
步骤S33：根据人体特征图使用多峰预测的方法获得每个关键点位置；
步骤S34：得到多峰预测的结果后，通过构建Person-Joint图，图以human instance和joint node为节点，每个关键点与人体实例之间的连接为边，关键点的置信度值为边上的权重；
步骤S35：求得的最大权重子图，即为当前得到的人体关键点连接，得到人体姿态。
6.根据权利要求1所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述行为检测采用基于视频帧序列的行为检测方法，具体包括以下步骤：
(a)将间隔帧的图像里的手部骨骼关键点位置信息分别进行存储，再进行判断处理，若出现相邻帧的肩膀关键点的Y轴值Yshoulderk大于对应手腕关键点Y轴值Ywristk，则举手目标帧计数器Thandup增加1，否则Tnohandup增加1；使用以下公式进行计算当Res大于举手行为阈值Reshp时，则估计此时目标的行为是举手：
if(Yshoulderk＞Ywristk)，Thandup＝Thandup+1
Figure FDA0002751077610000031
Figure FDA0002751077610000032
其中，Thandup为举手目标帧计数器，Tnohandup为未举手目标帧计数器，Res为当前举手行为估计值，Reshp为举手行为阈值，μhp表示举手目标帧的权重；μnhp表示未举手目标帧的权重；C表示一段连续帧的长度，μhp+μnhp＝1，μhp＞μnhp且Thandup＞μnhp，handup值为true时表示估计此时行为为举手，默认值为false；
(b)对于站立行为的判断，利用到左右脚的膝盖关键点，当第k帧关键点遍历时左腿的膝盖关键点出现，则对该关键点变量进行标记Lkneek＝true，若该帧的下一关键点检测也出现Rkneek＝true，则将Tstand增加1；使用如下公式进行计算；当stand＝true时表示估计此时目标处于站立状态
if(Lkneek＝＝true&&Rkneek＝＝true)，Tstand＝Tstand+1
Figure FDA0002751077610000041
其中，Lkneek为第k帧的左膝关键点，Rkneek为第k帧的右膝关键点，Tstand表示累加站立时间计数器，默认值为0，Tmaxstand表示站立估计阈值，范围在(0，1)，stand值为true时表示估计此时行为为站立，默认值为false。
7.根据权利要求1所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述人脸识别和情绪分析，具体包括以下步骤：
(a)根据得到的目标骨骼关键点分布信息，获取学生脸部区域；
(b)获取到学生脸部区域后通过Face++人脸识别与数据库中学生图像匹配完成身份确认；
(c)完成人脸确认后，采用Face++情绪分析云服务获取该学生的情绪信息，分析成功后以JSON数据格式返回该学生所有的情绪数据，根据其中最大值确定其当前情绪。
8.根据权利要求7所述的基于计算机视觉的课堂学情分析方法，其特征在于，所述根据得到的目标骨骼关键点分布信息，获取学生脸部区域，具体为：
根据得到的目标骨骼关键点分布信息确定脸部位置，输出脸部区域的预测框，在获取第k个目标人的脸部关键点后，将其中左右眼关键点的坐标
Figure FDA0002751077610000043
记录到自定义变量中，同时记录鼻子关键点坐标
Figure FDA0002751077610000044
利用左右眼关键点X轴距离估算脸部宽度，使用公式(1)进行计算，将左右眼关键点的Y轴最小值与鼻子关键点Y轴值估算脸部长度，使用公式(2)进行计算；在计算得到脸部长度与宽度后，以鼻子为脸部中心点，分别根据公式(3)与公式(4)获得脸部左上角坐标与右下角坐标，从而实现图像中人体脸部区域获取
facew＝(Xleyek-Xreyek)/γw_cover (1)
Figure FDA0002751077610000045
Figure FDA0002751077610000042
Figure FDA0002751077610000051
其中，(Xleyek，Yleyek)与(Xreyek，Yreyek)分别表示第k帧左右眼关键点中心坐标，
Figure FDA0002751077610000052
表示鼻子关键点中心坐标，γw_cover表示两眼水平距离差之于脸部宽度的占比参数；γh_cover表示眼鼻垂直距离差之于脸部长度的占比参数(beginx，beginy)表示脸部左上角坐标，(endx，endy)表示脸部右下角坐标，facew表示估算的脸部宽度，faceh表示脸部右下角坐标。
CN202011184624.5A 2020-10-30 2020-10-30 基于计算机视觉的课堂学情分析方法 Active CN112200138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011184624.5A CN112200138B (zh) 2020-10-30 2020-10-30 基于计算机视觉的课堂学情分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011184624.5A CN112200138B (zh) 2020-10-30 2020-10-30 基于计算机视觉的课堂学情分析方法

Publications (2)

Publication Number Publication Date
CN112200138A true CN112200138A (zh) 2021-01-08
CN112200138B CN112200138B (zh) 2022-07-08

Family

ID=74012080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011184624.5A Active CN112200138B (zh) 2020-10-30 2020-10-30 基于计算机视觉的课堂学情分析方法

Country Status (1)

Country Link
CN (1) CN112200138B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819665A (zh) * 2021-01-29 2021-05-18 上海商汤科技开发有限公司 课堂状态的评估方法和相关装置、设备
CN112990030A (zh) * 2021-03-23 2021-06-18 范逸非 一种基于表情图像的学生情绪分析系统
CN113537005A (zh) * 2021-07-02 2021-10-22 福州大学 一种基于姿态估计的线上考试学生行为分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
CN110740298A (zh) * 2019-10-28 2020-01-31 上海交通大学 分布式教室违纪行为检测系统、方法及介质
CN110781843A (zh) * 2019-10-29 2020-02-11 首都师范大学 课堂行为检测方法及电子设备
US20200143227A1 (en) * 2018-11-06 2020-05-07 Google Llc Neural Architecture Search with Factorized Hierarchical Search Space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
US20200143227A1 (en) * 2018-11-06 2020-05-07 Google Llc Neural Architecture Search with Factorized Hierarchical Search Space
CN110740298A (zh) * 2019-10-28 2020-01-31 上海交通大学 分布式教室违纪行为检测系统、方法及介质
CN110781843A (zh) * 2019-10-29 2020-02-11 首都师范大学 课堂行为检测方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MENGLING YU ET AL.: "Behavior detection and analysis for learning process in classroom environment", 《2017 IEEE FRONTIERS IN EDUCATION CONFERENCE (FIE)》 *
林灿然 等: "基于多模态数据的课堂学生行为识别技术的探究", 《现代计算机》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819665A (zh) * 2021-01-29 2021-05-18 上海商汤科技开发有限公司 课堂状态的评估方法和相关装置、设备
CN112990030A (zh) * 2021-03-23 2021-06-18 范逸非 一种基于表情图像的学生情绪分析系统
CN113537005A (zh) * 2021-07-02 2021-10-22 福州大学 一种基于姿态估计的线上考试学生行为分析方法
CN113537005B (zh) * 2021-07-02 2023-08-11 福州大学 一种基于姿态估计的线上考试学生行为分析方法

Also Published As

Publication number Publication date
CN112200138B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN112200138B (zh) 基于计算机视觉的课堂学情分析方法
CN108256433B (zh) 一种运动姿态评估方法及系统
CN107103298A (zh) 基于图像处理的引体向上计数系统及计数方法
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN109635727A (zh) 一种人脸表情识别方法及装置
CN107844797A (zh) 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN110135282B (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN102184541A (zh) 多目标优化人体运动跟踪方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN111967407B (zh) 动作评价方法、电子设备和计算机可读存储介质
CN111931869A (zh) 一种人机自然交互的用户注意力检测方法及系统
CN111126143A (zh) 一种基于深度学习的运动评判指导方法及系统
CN114581271B (zh) 一种在线教学视频的智能处理方法及系统
DE112022000165T5 (de) Verfahren und System zum Erfassen der Sitzhaltung eines Kindes basierend auf der Gesichtserkennung eines Kindes
CN109993116B (zh) 一种基于人体骨骼相互学习的行人再识别方法
Goyal et al. Yoga pose perfection using deep learning: An algorithm to estimate the error in yogic poses
CN103310191A (zh) 运动信息图像化的人体动作识别方法
CN109558797A (zh) 基于视觉刺激下的重心面积模型区分人体平衡障碍的方法
CN113158914A (zh) 一种舞蹈动作姿态、节奏和表情的智能评估方法
Tarek et al. Yoga Trainer for Beginners Via Machine Learning
CN116704603A (zh) 一种基于肢体关键点分析的动作评估纠正方法及系统
Zhou et al. Pose comparison based on part affinity fields
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN114092863A (zh) 一种用于多视角视频图像的人体动作评估方法
CN114092862A (zh) 一种基于最优帧选取的动作评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant