CN116665294A - 一种基于计算机视觉的教学姿态及表情应用技能分析方法 - Google Patents

一种基于计算机视觉的教学姿态及表情应用技能分析方法 Download PDF

Info

Publication number
CN116665294A
CN116665294A CN202310340479.2A CN202310340479A CN116665294A CN 116665294 A CN116665294 A CN 116665294A CN 202310340479 A CN202310340479 A CN 202310340479A CN 116665294 A CN116665294 A CN 116665294A
Authority
CN
China
Prior art keywords
teaching
data
expression
gesture
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310340479.2A
Other languages
English (en)
Inventor
孙硕
胡小勇
穆肃
黄向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202310340479.2A priority Critical patent/CN116665294A/zh
Publication of CN116665294A publication Critical patent/CN116665294A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于计算机视觉的教学姿态及表情应用技能分析方法，包括获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。本发明实施例能够根据时间维度进行关联分析，准确地评估和分析教师教学姿态及表情应用技能，可广泛应用于人工智能技术领域。

Description

一种基于计算机视觉的教学姿态及表情应用技能分析方法
技术领域
本发明涉及人工智能技术领域，尤其是一种基于计算机视觉的教学姿态及表情应用技能分析方法。
背景技术
教学姿态及表情应用技能是传递教学信息的重要方式，是教师教学基本技能训练的重要组成部分。现有的计算机视觉技术已经可以实现真实教学场景中对学生个体姿态或表情的自动化识别，但缺少教师教学姿态及表情应用多维度信息的深层识别与分析。在相关技术中，常见的特征提取包括基于图像采样和低层特征的提取技术，但这些提取教学姿态及表情的方法仅局限于个体姿态及表情状态的识别和呈现，缺少时间维度的关联分析，难以体现个体在视频中的活动轨迹，准确性有待提升。综合上述，相关技术中存在的技术问题亟需得到解决。
发明内容
有鉴于此，本发明实施例提供一种基于计算机视觉的教学姿态及表情应用技能分析方法，以实现提高数据分析效率且时间关联性强。
一方面，本发明提供了一种基于计算机视觉的教学姿态及表情应用技能分析方法，包括：
获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
可选地，所述获取目标教师教学的视频片段数据这一步骤，包括：
通过摄像装置获取目标教师的教学视频；
对所述教学视频进行数据预处理，得到视频片段数据。
可选地，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到肩部状态，所述教学姿态数据包括左肩关节坐标数据和右肩关节坐标数据，包括：
对所述左肩关节坐标数据和所述右肩关节坐标数据进行欧式距离计算，得到肩关节距离；
基于时间基线对所述肩关节距离进行记录，并结合所述左肩关节坐标数据和所述右肩关节坐标数据的位置关系进行平衡状态分析处理，得到肩部状态。
可选地，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到腿部状态，所述教学姿态数据包括左膝关节坐标数据、右膝关节坐标数据和髋关节坐标数据，包括：
对所述左膝关节坐标数据和所述右膝关节坐标数据进行欧式距离计算，得到膝关节距离；
根据所述髋关节坐标数据分别对所述左膝关节坐标数据和所述右膝关节坐标数据进行余弦距离计算处理，得到左关节向量夹角和右关节向量夹角；
基于时间基线对所述膝关节距离进行记录，并结合所述左膝关节坐标数据和所述右膝关节坐标数据的位置关系以及所述左关节向量夹角和所述右关节向量夹角进行腿部运动状态分析处理，得到腿部状态。
可选地，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述人脸表情数据进行指标计算处理，得到表情极性占比，所述人脸表情数据包括正向表情数据、负向表情数据和无表情数据，包括：
基于时间基线分别对所述正向表情数据、所述负向表情数据和所述无表情数据进行记录，并进行占比计算，得到表情极性占比。
可选地，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据和所述人脸表情数据进行变化频率计算处理，得到姿态变化频率和表情变化频率。
可选地，所述根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果这一步骤，包括：
所述分析结果包括姿态规范分析评估结果、表情应用分析评估结果和教学节奏变化分析评估结果；
对所述指标参数进行可视化处理，得到可视化结果，所述可视化结果包括肩部状态时序图、腿部状态时序图、表情占比环状图、姿态变化频率数值和表情变化频率数值；
根据所述肩部状态时序图和所述腿部状态时序图对教学姿态规范进行分析处理，得到姿态规范分析评估结果；
根据所述表情占比环状图对教学表情进行分析处理，得到表情应用分析评估结果；
根据所述姿态变化频率数值和所述表情变化频率数值对教学节奏进行分析，得到教学节奏变化分析评估结果。
另一方面，本发明实施例还提供了一种基于计算机视觉的教学姿态及表情应用技能分析系统，包括：
第一模块，用于获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
第二模块，用于基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
第三模块，用于根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，能够根据时间维度进行关联分析，准确地评估和分析教师教学姿态及表情应用技能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于计算机视觉的教学姿态及表情应用技能分析方法的流程图；
图2是本申请实施例提供的一种教师肩部状态时序图；
图3是本申请实施例提供的一种教师腿部状态时序图；
图4是本申请实施例提供的一种教师表情极性占比环状图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
教学姿态及表情应用技能是传递教学信息的重要方式，是教师教学基本技能训练的重要组成部分。准确地评估和诊断教师教学姿态及表情应用技能，有利于教师对自身肢体语言及表情语言应用方式进行改进，对于帮助教师及时调整教学姿态及表情应用和提升教学基本技能水平具有重要意义。
而现有的计算机视觉技术已经可以实现真实教学场景中对学生个体姿态或表情的自动化识别，但缺少教师教学姿态及表情应用多维度信息的深层识别与分析，也尚未有提出对教师开展教学时肩部状态、腿部状态、姿态变化情况、表情分类、表情极性占比、表情变化情况等方面进行自动分析的方法，教师教学姿态及表情应用技能的评估与分析仍以人工手动编码或半自动数据编码方法为主，人力和时间成本投入较高、主观性较大、分析颗粒度较粗，无法适用于大样本量的分析评估，也无法作为常规的过程性评价工具。相关技术中，教师教学姿态及表情识别和检测技术，常见的特征提取包括基于图像采样和低层特征的提取技术，这些提取教学姿态及表情的方法仅局限于个体姿态及表情状态的识别和呈现，缺少时间维度的关联分析，难以体现个体在视频中的活动轨迹，准确性有待提升。有鉴于此，本发明实施例提供一种数据分析效率高且时间关联性强的，基于计算机视觉的教学姿态及表情应用技能分析方法。
参照图1，本发明实施例提供一种基于计算机视觉的教学姿态及表情应用技能分析方法，包括：
S101、获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
S102、基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
S103、根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
在本发明实施例中，基于计算机视觉技术获取目标教师教学的视频片段，通过特征识别技术获取教师教学姿态和人脸表情基础数据，基于时间基线对数据进行定义与分类、计算并以可视化的形式呈现教师教学姿态与表情应用技能水平的指标参数，包括肩部状态(Shoulder Condition，SC)、腿部状态(Leg Condition，LC)、表情极性占比(Polarityof Expression，PoE)、姿态变化频率(Attitude Change Frequency，ACF)和表情变化频率(Expression frequency，EF)五个指标参数，最终实现基于指标参数综合分析判定教师教学姿态与表情应用技能的水平。
进一步作为优选的实施方式，上述步骤S101中，所述获取目标教师教学的视频片段数据这一步骤，包括：
通过摄像装置获取目标教师的教学视频；
对所述教学视频进行数据预处理，得到视频片段数据。
在本发明实施例中，通过摄像装置获取教师教学视频片段，摄像装置可以为摄像头；然后对教师教学片段进行预处理，得到视频片段数据。其中，预处理包括图像分割处理、灰度化处理、直方图均衡化处理、图像滤波处理、边缘信息监测等。
进一步作为优选的实施方式，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到肩部状态，所述教学姿态数据包括左肩关节坐标数据和右肩关节坐标数据，包括：
对所述左肩关节坐标数据和所述右肩关节坐标数据进行欧式距离计算，得到肩关节距离；
基于时间基线对所述肩关节距离进行记录，并结合所述左肩关节坐标数据和所述右肩关节坐标数据的位置关系进行平衡状态分析处理，得到肩部状态。
在本发明实施例中，基于时间基线对教学姿态数据和人脸表情数据进行指标计算处理，得到指标参数这一步骤中包括：基于时间基线对所述教学姿态数据进行指标计算处理，得到肩部状态，具体步骤为：以视频画面左下角的位置为坐标原点，再以坐标原点右侧为X轴正向，以坐标原点上侧为Y轴正向，教师肩部状态的每个关节点平面坐标用(X，Y)表示，包括左肩关节坐标数据A＝(X1,Y1)和右肩关节坐标数据B＝(X3,Y2)，由此计算出左右肩两关节点的欧氏距离：
基于时间基线对所述肩关节距离进行记录，即记录在一段时间内肩关节距离的大小变化，并结合左肩关节坐标数据和右肩关节坐标数据的位置关系进行平衡状态分析处理得到肩部状态。具体为当左肩关节坐标数据和右肩关节坐标数据的横坐标相等X1＝X2，且肩关节距离dAB在一段时间内始终保持不变时，说明肩部状态为左右肩在一段时间内处于平衡状态；当X1>X2，且dAB在一段时间内始终保持不变时，说明肩部状态为左右肩在一段时间内处于不平衡状态，左肩高于右肩；当X1<X2，且dAB在一段时间内始终保持不变时，说明肩部状态为左右肩在一段时间内处于不平衡状态，右肩高于左肩。
进一步作为优选的实施方式，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到腿部状态，所述教学姿态数据包括左膝关节坐标数据、右膝关节坐标数据和髋关节坐标数据，包括：
对所述左膝关节坐标数据和所述右膝关节坐标数据进行欧式距离计算，得到膝关节距离；
根据所述髋关节坐标数据分别对所述左膝关节坐标数据和所述右膝关节坐标数据进行余弦距离计算处理，得到左关节向量夹角和右关节向量夹角；
基于时间基线对所述膝关节距离进行记录，并结合所述左膝关节坐标数据和所述右膝关节坐标数据的位置关系以及所述左关节向量夹角和所述右关节向量夹角进行腿部运动状态分析处理，得到腿部状态。
在本发明实施例中，基于时间基线对教学姿态数据和人脸表情数据进行指标计算处理，得到指标参数这一步骤中，还包括基于时间基线对教学姿态数据进行指标计算处理，得到腿部状态，具体包括：根据上述坐标系确定左膝关节坐标数据a＝(x1,y1)、右膝关节坐标数据b＝(x2,y2)和髋关节坐标数据c＝(x3,y3)，由此计算出左右膝两关节点的欧氏距离dab：
再根据髋关节坐标数据分别对左膝关节坐标数据和右膝关节坐标数据进行余弦距离计算处理，得到左关节向量夹角α和右关节向量夹角β，其中：
基于时间基线对膝关节距离进行记录，即记录膝关节距离在一段时间内的大小变化，并结合左膝关节坐标数据和右膝关节坐标数据的位置关系以及左关节向量夹角和右关节向量夹角进行腿部运动状态分析处理，具体为对左膝关节坐标数据和右膝关节坐标数据的纵坐标，以及左关节向量夹角和右关节向量夹角的大小进行比较，当y1＝y2，α＝β，且膝关节距离dab在一段时间内始终保持不变时，说明腿部状态为在一段时间内腿部处于直立状态；当y1≠y2或α≠β，且dab在一段时间内始终保持不变时，说明腿部状态为在一段时间内腿部处于弯曲状态；当dab在一段时间内出现波动变化时，说明腿部状态为在一段时间内出现腿部处于晃动状态。
进一步作为优选的实施方式，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述人脸表情数据进行指标计算处理，得到表情极性占比，所述人脸表情数据包括正向表情数据、负向表情数据和无表情数据，包括：
基于时间基线分别对所述正向表情数据、所述负向表情数据和所述无表情数据进行记录，并进行占比计算，得到表情极性占比。
在本发明实施例中，基于时间基线对教学姿态数据和人脸表情数据进行指标计算处理，得到指标参数这一步骤，还包括：基于时间基线对人脸表情数据进行指标计算处理，得到表情极性占比。在本实施例中，对教学视频识别出的六种基本表情及无表情状态进行分类计算，六种基本表情包括快乐、恐惧、愤怒、憎恶、悲伤和惊讶，计算方法为：
A＝count(i＝1)；
B＝count(1<i<7)；
C＝count(i＝7)；
其中，A、B、C分别表示教师在教学中出现正向表情、负向表情和无表情的次数，i代表某一种具体的表情，1～7分别对应快乐、恐惧、愤怒、憎恶、悲伤、惊讶以及无表情，且A、B、C不能同时为0。
基于时间基线分别对正向表情数据、负向表情数据和无表情数据进行记录，当正向表情数据A为0时，说明表情极性占比为教师在教学过程中未出现正向表情，未向学生传递积极情绪信息；当负向表情数据B不为0时，说明表情极性占比为教师在教学过程中出现负向表情，向学生传递消极情绪信息；当正向表情数据A为0且负向表情数据B为0时，说明表情极性占比为教师在教学过程中没有出现表情变化，始终呈现无表情状态。
进一步作为优选的实施方式，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据和所述人脸表情数据进行变化频率计算处理，得到姿态变化频率和表情变化频率。
在本发明实施例中，基于时间基线对教学姿态数据和人脸表情数据进行指标计算处理，得到指标参数这一步骤中包括：基于时间基线对教学姿态数据和人脸表情数据进行变化频率计算处理，得到姿态变化频率和表情变化频率。其中，教学姿态变化频率ACF的特征为教学过程中教学姿态发生变化的频率，表情变化频率EF的特征为教学过程中教师表情发生变化的频率，教学姿态随时间变化的频率计算公式为：
式中，Nj为教学过程中在某个时间点上出现的教学姿态，Nj+1与Nj为教学过程中连续两个时间点出现的两个教学姿态，当Nj+1-Nj≠0时，说明教师教学姿态发生变化，t为教学过程总时长；Mk为教学过程中在某个时间点上出现的教学表情，Mk+1与Mk为教学过程中连续两个时间点出现的两个教学表情，当Mk+1-Mk≠0时，说明教师教学表情发生变化，T为教学过程总时长。
进一步作为优选的实施方式，所述根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果这一步骤，包括：
所述分析结果包括姿态规范分析评估结果、表情应用分析评估结果和教学节奏变化分析评估结果；
对所述指标参数进行可视化处理，得到可视化结果，所述可视化结果包括肩部状态时序图、腿部状态时序图、表情占比环状图、姿态变化频率数值和表情变化频率数值；
根据所述肩部状态时序图和所述腿部状态时序图对教学姿态规范进行分析处理，得到姿态规范分析评估结果；
根据所述表情占比环状图对教学表情进行分析处理，得到表情应用分析评估结果；
根据所述姿态变化频率数值和所述表情变化频率数值对教学节奏进行分析，得到教学节奏变化分析评估结果。
在本发明实施例中，参照图2-4，对上述指标参数进行可视化处理，得到可视化结果，可视化结果包括肩部状态时序图、腿部状态时序图、表情占比环状图、姿态变化频率数值和表情变化频率数值，教师肩部状态SC利用肩部状态时序图呈现，用上方线段表示左右肩不平衡，下方线段表示左右肩平衡；教师腿部状态LC利用腿部状态时序图呈现，用中部线段表示腿部弯曲，上方线段表示腿部直立，下方线段表示腿部晃动；教师教学表情极性占比PoE利用环状图呈现，教师教学姿态变化频率ACF和表情变化频率EF利用数值呈现。
根据肩部状态时序图和腿部状态时序图对教学姿态规范进行分析处理，得到姿态规范分析评估结果，具体为：图2反映了教学过程中教师肩部状态情况，在0分至5分20秒、8分20秒至12分30秒之间，教师肩部处于平衡状态；在5分20秒至8分20秒、12分30秒至15分时段中，教师肩部处于不平衡状态。图3反映了教学过程中教师腿部状态情况，在0分至4分10秒、8分20秒至12分30秒时段中，教师腿部处于直立状态；在4分10秒至5分5秒、7分10秒至8分20秒、12分30秒至15分时段中，教师腿部处于晃动状态；在5分5秒至7分10秒时段中，教师腿部处于弯曲状态。根据教学过程中教师肩部状态与腿部状态，给出教师教学姿态规范性的综合分析结果为“教学过程中，您的左右肩总体呈现不平衡状态，腿部出现弯曲和晃动状态，建议回看教学录像调整教学姿态并加强练习。”
根据表情占比环状图对教学表情进行分析处理，得到表情应用分析评估结果，具体为：图4反映了教学过程中教师教学表情极性占比的情况，正向表情占比15％，负向表情占比20％，无表情占比65％。根据教学表情极性占比，给出教师表情应用合理性的综合分析结果为“教学过程中，您向学生呈现了负向表情，负向表情容易导致课堂氛围变沉闷，不利于教学信息的有效传递，建议回看教学录像适当调整教学表情并加强练习。”
根据姿态变化频率数值和表情变化频率数值对教学节奏进行分析，得到教学节奏变化分析评估结果，通过计算教师教学姿态变化频率，并设置姿态变化标准值。当教师教学姿态变化频率低于姿态变化标准值时，给出教师教学姿态变化节奏的综合分析结果为“教学过程中，您的教学姿态变化频率低于标准值，教学姿态变化节奏偏慢，建议回看教学录像调整教学姿态变化节奏并加强练习。”通过计算教师教学表情变化频率，若低于表情变化标准时，给出教师教学表情变化节奏的综合分析结果为“教学过程中，您的教学表情变化频率低于标准值，教学表情变化节奏偏慢，建议会看教学录像调整教学表情应用节奏并加强练习。”综合上述姿态规范分析评估结果、表情应用分析评估结果和教学节奏变化分析评估结果，得到对目标教师的教学姿态及表情应用技能进行分析评估处理后的分析结果。
另一方面，本发明实施例还提供了一种基于计算机视觉的教学姿态及表情应用技能分析系统，包括：
第一模块，用于获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
第二模块，用于基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
第三模块，用于根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
与图1的方法相对应，本发明实施例还提供了一种电子设备，包括处理器以及存储器；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：
(1)本发明实施例建立了利用姿态识别和表情识别技术判定授课者教学姿态及表情应用技能水平的技术方法，通过识别的教学姿态及表情指标和参数判定授课过程中教师的教学姿态和表情应用技能水平，借助姿态识别和表情识别和平台工具能够真实记录授课者在模拟课堂或真实授课过程中的教学姿态和表情的数据，可实现即时分析，保证评估的客观性和常规化；
(2)本发明实施例确定了反映教师教学姿态及表情应用技能水平的五个指标参数，包括肩部状态(SC)、腿部状态(LC)、教学姿态变化频率(ACF)、表情变化频率(EF)、表情极性占比(PoE)；
(3)本发明实施例对教师教学姿态及表情应用的数据采集和分析可以实时动态进行，以往教师教学姿态及表情应用技能水平往往通过听课专家现场主观评估，受个人主观和客观环境影响，评估结果真实性和客观性难以保证，且存在一定的滞后性，无法真实反应授课者教学过程中的实时教学姿态及表情应用水平状况。基于姿态识别和表情识别技术，教师在模拟授课或真实授课过程中，每一帧的画面都能够被录像设备录入并保存至分析软件中，保证了教师教学过程中数据的实效性和真实性；
(4)本发明实施例在教学姿态及表情应用测评过程中无需确定常模值。不同于传统纸笔测验须通过大规模数据确定常模值，本发明所采用的计算机视觉技术，可以面向所有教师动态捕捉教学姿态及表情数据，结合评判标准对教师教学姿态及表情应用技能进行分析评估，使本方法更加简捷且可以广泛应用。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于计算机视觉的教学姿态及表情应用技能分析方法，其特征在于，所述方法包括：
获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
2.根据权利要求1所述的方法，其特征在于，所述获取目标教师教学的视频片段数据这一步骤，包括：
通过摄像装置获取目标教师的教学视频；
对所述教学视频进行数据预处理，得到视频片段数据。
3.根据权利要求1所述的方法，其特征在于，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到肩部状态，所述教学姿态数据包括左肩关节坐标数据和右肩关节坐标数据，包括：
对所述左肩关节坐标数据和所述右肩关节坐标数据进行欧式距离计算，得到肩关节距离；
基于时间基线对所述肩关节距离进行记录，并结合所述左肩关节坐标数据和所述右肩关节坐标数据的位置关系进行平衡状态分析处理，得到肩部状态。
4.根据权利要求1所述的方法，其特征在于，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据进行指标计算处理，得到腿部状态，所述教学姿态数据包括左膝关节坐标数据、右膝关节坐标数据和髋关节坐标数据，包括：
对所述左膝关节坐标数据和所述右膝关节坐标数据进行欧式距离计算，得到膝关节距离；
根据所述髋关节坐标数据分别对所述左膝关节坐标数据和所述右膝关节坐标数据进行余弦距离计算处理，得到左关节向量夹角和右关节向量夹角；
基于时间基线对所述膝关节距离进行记录，并结合所述左膝关节坐标数据和所述右膝关节坐标数据的位置关系以及所述左关节向量夹角和所述右关节向量夹角进行腿部运动状态分析处理，得到腿部状态。
5.根据权利要求1所述的方法，其特征在于，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述人脸表情数据进行指标计算处理，得到表情极性占比，所述人脸表情数据包括正向表情数据、负向表情数据和无表情数据，包括：
基于时间基线分别对所述正向表情数据、所述负向表情数据和所述无表情数据进行记录，并进行占比计算，得到表情极性占比。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数这一步骤，包括：
基于时间基线对所述教学姿态数据和所述人脸表情数据进行变化频率计算处理，得到姿态变化频率和表情变化频率。
7.根据权利要求1所述的方法，其特征在于，所述根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果这一步骤，包括：
所述分析结果包括姿态规范分析评估结果、表情应用分析评估结果和教学节奏变化分析评估结果；
对所述指标参数进行可视化处理，得到可视化结果，所述可视化结果包括肩部状态时序图、腿部状态时序图、表情占比环状图、姿态变化频率数值和表情变化频率数值；
根据所述肩部状态时序图和所述腿部状态时序图对教学姿态规范进行分析处理，得到姿态规范分析评估结果；
根据所述表情占比环状图对教学表情进行分析处理，得到表情应用分析评估结果；
根据所述姿态变化频率数值和所述表情变化频率数值对教学节奏进行分析，得到教学节奏变化分析评估结果。
8.一种基于计算机视觉的教学姿态及表情应用技能分析系统，其特征在于，所述系统包括：
第一模块，用于获取目标教师教学的视频片段数据，并对所述视频片段数据进行特征识别处理，得到教学姿态数据和人脸表情数据；
第二模块，用于基于时间基线对所述教学姿态数据和所述人脸表情数据进行指标计算处理，得到指标参数，所述指标参数包括肩部状态、腿部状态、表情极性占比、姿态变化频率和表情变化频率；
第三模块，用于根据所述指标参数对目标教师的教学姿态及表情应用技能进行分析评估处理，得到分析结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；
所述存储器用于存储程序；
所述处理器执行所述程序实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310340479.2A 2023-03-31 2023-03-31 一种基于计算机视觉的教学姿态及表情应用技能分析方法 Pending CN116665294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310340479.2A CN116665294A (zh) 2023-03-31 2023-03-31 一种基于计算机视觉的教学姿态及表情应用技能分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310340479.2A CN116665294A (zh) 2023-03-31 2023-03-31 一种基于计算机视觉的教学姿态及表情应用技能分析方法

Publications (1)

Publication Number Publication Date
CN116665294A true CN116665294A (zh) 2023-08-29

Family

ID=87724967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310340479.2A Pending CN116665294A (zh) 2023-03-31 2023-03-31 一种基于计算机视觉的教学姿态及表情应用技能分析方法

Country Status (1)

Country Link
CN (1) CN116665294A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
CN111401797A (zh) * 2020-05-09 2020-07-10 华南师范大学 一种教学质量评测方法及系统
CN112541529A (zh) * 2020-12-04 2021-03-23 北京科技大学 表情与姿态融合的双模态教学评价方法、设备及存储介质
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质
CN113723250A (zh) * 2021-08-23 2021-11-30 华中师范大学 一种用于帮助教师反思性成长的课堂智能分析方法及系统
WO2022077405A1 (zh) * 2020-10-15 2022-04-21 曹庆恒 一种演唱教学系统及其使用方法、计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559491A (zh) * 2013-10-11 2014-02-05 北京邮电大学 人体动作捕获及姿态分析系统
CN111401797A (zh) * 2020-05-09 2020-07-10 华南师范大学 一种教学质量评测方法及系统
WO2022077405A1 (zh) * 2020-10-15 2022-04-21 曹庆恒 一种演唱教学系统及其使用方法、计算机可读存储介质
CN112541529A (zh) * 2020-12-04 2021-03-23 北京科技大学 表情与姿态融合的双模态教学评价方法、设备及存储介质
CN112668476A (zh) * 2020-12-28 2021-04-16 华中师范大学 一种数据处理方法、装置、电子设备及存储介质
CN113723250A (zh) * 2021-08-23 2021-11-30 华中师范大学 一种用于帮助教师反思性成长的课堂智能分析方法及系统

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN112101315B (zh) 一种基于深度学习的运动评判指导方法和系统
CN109242825A (zh) 一种基于深度学习技术的钢铁表面缺陷识别方法和装置
CN110097537A (zh) 一种基于三维纹理特征的肉质定量分析评价方法
CN109472464A (zh) 一种基于眼动追踪的在线课程质量的评估方法
CN109492584A (zh) 一种识别跟踪方法和电子设备
CN114565976A (zh) 一种训练智能测试方法以及装置
CN110321867A (zh) 基于部件约束网络的遮挡目标检测方法
Guo et al. PhyCoVIS: A visual analytic tool of physical coordination for cheer and dance training
CN112766130A (zh) 一种课堂教学质量监测方法、系统、终端及存储介质
CN116665294A (zh) 一种基于计算机视觉的教学姿态及表情应用技能分析方法
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
CN111563443A (zh) 一种连续运动动作准确度评价方法
CN116433431A (zh) 一种基于图像处理技术的教师教学状态自动评价方法及系统
Warren et al. Rapid defect detection and classification in images using convolutional neural networks
CN115810163A (zh) 一种基于ai课堂行为识别的教学评估方法和系统
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
TW202219494A (zh) 缺陷檢測方法及檢測裝置
CN111950472A (zh) 教师磨课测评方法及系统
Ahmadi et al. Aras-farabi experimental framework for skill assessment in capsulorhexis surgery
CN117671774B (zh) 一种人脸情绪智能识别分析设备
CN113869158A (zh) 教学能力评估方法及其装置
Tanaka AN AUTOMATIC EVALUATION SYSTEM FOR STUDENTS’EXERCISE ON E-LEARNING FOR PHYSICAL EDUCATION
Pierard et al. A technique for building databases of annotated and realistic human silhouettes based on an avatar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination