CN117115917A - 基于多模态特征融合的教师行为识别方法、设备以及介质 - Google Patents

基于多模态特征融合的教师行为识别方法、设备以及介质 Download PDF

Info

Publication number
CN117115917A
CN117115917A CN202311161709.5A CN202311161709A CN117115917A CN 117115917 A CN117115917 A CN 117115917A CN 202311161709 A CN202311161709 A CN 202311161709A CN 117115917 A CN117115917 A CN 117115917A
Authority
CN
China
Prior art keywords
behavior recognition
teacher
thermodynamic diagram
features
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311161709.5A
Other languages
English (en)
Inventor
甘健侯
马晓钰
罗森
周菊香
吴迪
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Normal University
Original Assignee
Yunnan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Normal University filed Critical Yunnan Normal University
Priority to CN202311161709.5A priority Critical patent/CN117115917A/zh
Publication of CN117115917A publication Critical patent/CN117115917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种基于多模态特征融合的教师行为识别方法、设备以及介质。所述方法包括：获取待识别教师行为视频数据集中的关键点热力图、骨骼热力图和RGB图；将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征；将所述行为识别特征映射至单一数据集，得到初始融合特征，并对所述初始融合特征进行分类，确定教师行为识别结果。旨在解决如何提高计算机视觉对教师的授课行为的识别分析精确度的问题。

Description

基于多模态特征融合的教师行为识别方法、设备以及介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于多模态特征融合的教师行为识别方法、设备以及介质。
背景技术
随着大数据和人工智能技术的发展，将大数据和人工智能应用在数字化教育领域，是未来全面推进教育数字化转型发展的必然趋势。而如何利用新兴技术与教育场景融合来实现教学过程的精准化和个性化，是目前的一个热门研究方向。
课堂教学评价是提升教学质量重要的一环，传统的课堂教学评价通常采用人工的方式对教师的授课过程进行评分，存在评分效率低、评分客观性不足等缺陷。而在相关技术方案中，通过计算机对自动识别打分存在识别精确度不足的问题，因此，需要一种方法来基于计算机视觉对教师的授课行为进行高效、精确的识别分析。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于多模态特征融合的教师行为识别方法，旨在解决如何提高计算机视觉对教师的授课行为的识别分析精确度的问题。
为实现上述目的，本发明提供的一种基于多模态特征融合的教师行为识别方法，所述方法包括：
获取待识别教师行为视频数据集中的关键点热力图、骨骼热力图和RGB图；
将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征；
将所述行为识别特征映射至单一数据集，得到初始融合特征，并对所述初始融合特征进行分类，确定教师行为识别结果。
可选地，所述将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征的步骤包括：
将所述关键点热力图、所述骨骼热力图和所述RGB图，分别输入所述多模态特征融合模型中的三条不同路径，提取出骨骼运动特征和图像纹理特征，其中，所述骨骼热力图对应的路径的时间采样频率，高于所述RGB图对应的路径的时间采样频率；
将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征。
可选地，所述多模态特征融合模型中的三条不同路径之间添加双向横向连接。
可选地，所述将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征的步骤之前，还包括：
将所述图像纹理特征的数组维度，置为与所述骨骼运动特征相同；或，
基于预设时间采样间隔，对所述图像纹理特征中的画面帧进行采样；或，
基于预设三维卷积函数，对所述图像纹理特征进行预处理。
可选地，构建所述关键点热力图的步骤包括：
基于HRNet人体姿态估计模型，识别所述待识别教师行为视频数据集中的二维姿态；
将各个所述二维姿态沿时间维度堆叠，得到具备三维姿态的所述关键点热力图。
可选地，所述将各个所述二维姿态沿着时间维度堆叠，得到具备三维姿态的所述关键点热力图的步骤包括：
根据所述二维姿态，确定关键点坐标；
以每个所述关键点坐标为中心构建高斯映射，得到所述关键点热力图，其中，所述关键点热力图中的高斯映射个数为关键点个数。
可选地，构建所述骨骼热力图的步骤包括：
将人体骨骼的长度作为骨骼流关键点的横坐标，以及将所述人体骨骼的方向作为所述骨骼流关键点的纵坐标；
根据所述横坐标和所述纵坐标，创建肢体热图；
将各个所述肢体热图沿时间维度堆叠，得到具备三维姿态的所述骨骼热力图。
可选地，所述对所述初始融合特征进行分类，确定教师行为识别结果的步骤包括：
调用卷积网络的全局平均池化层，对所述初始融合特征中的每一时空像素点进行聚合；
将聚合后的所述初始融合特征送至所述卷积网络全连接层进行分类，得到多个分类结果；
将每一所述分类结果进行晚期融合，得到所述教师行为识别结果。
此外，为实现上述目的，本发明还提供一种计算机视觉系统，所述计算机视觉系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态特征融合的教师行为识别程序，所述基于多模态特征融合的教师行为识别程序被所述处理器执行时实现如上所述的基于多模态特征融合的教师行为识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于多模态特征融合的教师行为识别程序，所述基于多模态特征融合的教师行为识别程序被处理器执行时实现如上所述的基于多模态特征融合的教师行为识别方法的步骤。
本发明实施例提供一种基于多模态特征融合的教师行为识别方法、设备以及介质，通过采集自建的教师行为数据集中的关键点热力图、骨骼热力图和RGB图三种模态特征，输入至自研多模态特征融合模型中进行融合，并对融合结果进行分类后，识别教师在教学过程中的行为，以实现通过计算机视觉对教师的授课行为进行自动识别，并且实验结果表明该模型的识别精度优于以往常用的行为识别模型，具有提高计算机视觉对教师的授课行为的识别分析精确度的效果。
附图说明
图1为本发明实施例涉及的计算机视觉系统的硬件运行环境的架构示意图；
图2为本发明基于多模态特征融合的教师行为识别方法的第一实施例的流程示意图；
图3为本发明基于多模态特征融合的教师行为识别方法的第二实施例的流程示意图；
图4为本发明基于多模态特征融合的教师行为识别方法的第三实施例的流程示意图；
图5为本发明实施例涉及的二维姿态及热力图形的效果示意图；
图6为本发明基于多模态特征融合的教师行为识别方法的第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
本申请通过采集自建的教师行为数据集中的关键点热力图、骨骼热力图和RGB图三种模态特征，输入至自研多模态特征融合模型中进行融合，并对融合结果进行分类后，识别教师在教学过程中的行为，以实现通过计算机视觉对教师的授课行为进行自动识别，并且实验结果表明该模型的识别精度优于以往常用的行为识别模型，具有提高计算机视觉对教师的授课行为的识别分析精确度的效果。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。
作为一种实现方案，图1为本发明实施例方案涉及的计算机视觉系统的硬件运行环境的架构示意图。
如图1所示，该计算机视觉系统可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的计算机视觉系统架构并不构成对计算机视觉系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于多模态特征融合的教师行为识别程序。其中，操作系统是管理和控制基于多模态特征融合的教师行为识别的硬件和软件资源的程序，基于多模态特征融合的教师行为识别程序以及其他软件或程序的运行。
在图1所示的计算机视觉系统中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的基于多模态特征融合的教师行为识别程序。
在本实施例中，计算机视觉系统包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的基于多模态特征融合的教师行为识别程序，其中：
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
获取待识别教师行为视频数据集中的关键点热力图、骨骼热力图和RGB图；
将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征；
将所述行为识别特征映射至单一数据集，得到初始融合特征，并对所述初始融合特征进行分类，确定教师行为识别结果。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
将所述关键点热力图、所述骨骼热力图和所述RGB图，分别输入所述多模态特征融合模型中的三条不同路径，提取出骨骼运动特征和图像纹理特征，其中，所述骨骼热力图对应的路径的时间采样频率，高于所述RGB图对应的路径的时间采样频率；
将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
将所述图像纹理特征的数组维度，置为与所述骨骼运动特征相同；或，
基于预设时间采样间隔，对所述图像纹理特征中的画面帧进行采样；或，
基于预设三维卷积函数，对所述图像纹理特征进行预处理。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
基于HRNet人体姿态估计模型，识别所述待识别教师行为视频数据集中的二维姿态；
将各个所述二维姿态沿时间维度堆叠，得到具备三维姿态的所述关键点热力图。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
根据所述二维姿态，确定关键点坐标；
以每个所述关键点坐标为中心构建高斯映射，得到所述关键点热力图，其中，所述关键点热力图中的高斯映射个数为关键点个数。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
将人体骨骼的长度作为骨骼流关键点的横坐标，以及将所述人体骨骼的方向作为所述骨骼流关键点的纵坐标；
根据所述横坐标和所述纵坐标，创建肢体热图；
将各个所述肢体热图沿时间维度堆叠，得到具备三维姿态的所述骨骼热力图。
处理器1001调用存储器1005中存储的基于多模态特征融合的教师行为识别程序时，执行以下操作：
调用卷积网络的全局平均池化层，对所述初始融合特征中的每一时空像素点进行聚合；
将聚合后的所述初始融合特征送至所述卷积网络全连接层进行分类，得到多个分类结果；
将每一所述分类结果进行晚期融合，得到所述教师行为识别结果。
基于上述基于计算机视觉技术的计算机视觉系统的硬件架构，提出本发明基于多模态特征融合的教师行为识别方法的实施例。
参照图2，在第一实施例中，所述基于多模态特征融合的教师行为识别方法包括以下步骤：
步骤S10，获取待识别教师行为视频数据集中的关键点热力图、骨骼热力图和RGB图；
在本实施例中，待识别教师行为视频数据集可以通过大数据采集，其中，数据主要来源包括在教室中录制的真实课堂视频，以及公开课视频。
在本实施例中，关键点热力图用于表示图像中物体的关键点位置，通过在图像上的特定位置显示颜色强度来表示关键点的存在和位置置信度。
骨骼热力图用于表示人体姿势中的关节和姿势，每个骨骼关键点位置对应一个颜色强度。
RGB图像是由红（R）、绿（G）、蓝（B）三种基本颜色通道的强度组成的图像。在每个像素位置上，三种颜色的强度以一定的比例组合在一起，形成彩色图像。在本实施例中用于捕捉待识别教师行为视频数据集中的颜色和纹理信息。
作为一种可选实施方式，为了便于识别，所述视频数据集需要以老师为中心，且画面中只有教师一个人，摄像头的位置在教室正后方正对讲台或在教室中部的天花板上可以拍到教室前方，保证拍摄的画面中包括讲台、讲桌、黑板和多媒体电子屏幕。而对于采集到的画面模糊和没有拍到教师的视频，因为不同的教室环境不同，采集到的画面中教师所在部分的占比也不一样，为了尽可能排除不相关因素的干扰，将采集到的视频画面全部裁剪，裁剪后的视频画面中只保留黑板、多媒体和讲桌。
作为一种可选实施方式，为了保证数据的质量，视频数据集中的每个视频片段时长在1s-10s，每个视频片段仅包含一种定义的教师行为类别，即一个视频片段只有一个类别标签。此外，为了避免教师自身外貌特征等因素对行为识别结果的影响，每位教师每种类别的动作在数据集出现的次数不超过5次。视频片段标注完成之后将数据按类别保存命名，示例性地，命名方式可以为：类别标签_类别名_视频编号.视频格式，例如“3_写板书_001.mp4”。
步骤S20，将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征；
在本实施例中，多模态特征融合模型表征为一个三数据流模型，即将关键点热力图、骨骼热力图以及RGB图像三种类型的数据流作为输入，输出多个不同类型的行为识别特征。
可选地，对于模型内部得到行为识别特征的实现特点，包括将所述关键点热力图、所述骨骼热力图和所述RGB图，分别输入所述多模态特征融合模型中的三条不同路径，提取出骨骼运动特征和图像纹理特征。需要说明的是，骨骼热力图对应的路径的时间采样频率，高于RGB图对应的路径的时间采样频率，这样做的目的在于，通过高时间分辨率路径用来捕获骨骼模态数据的运动变化，低时间分辨率路径用来捕获RGB的特征，既可以有效利用RGB的外观信息，同时又减少了冗余的计算。
然后，进一步将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征。
可选地，为了便于不同路径之间多种模态数据的特征融合，可以在三条不同路径之间添加双向横向连接。
步骤S30，将所述行为识别特征映射至单一数据集，得到初始融合特征，并对所述初始融合特征进行分类，确定教师行为识别结果。
在本实施例中，在输出行为识别特征之后，对行为识别特征进行先融合后分类。
可选地，可以通过多层感知器（Multilayer Perceptron，MLP）将行为识别特征映射至单一数据集。其中，多层感知器（Multilayer Perceptron，MLP）至少包括一个输入层、一个或多个隐藏层和一个输出层。每层由多个神经元组成，每个神经元都与上一层的所有神经元相连，并具有权重和激活函数。可以通过调整权重来减小预测输出与实际标签之间的误差。
可选地，对于如何对所述初始融合特征进行分类，系统可以通过调用预设的卷积网络的全局平均池化层，对所述初始融合特征中的每一时空像素点进行聚合，然后将聚合后的所述初始融合特征送至所述卷积网络全连接层进行分类，得到多个分类结果，将每一所述分类结果进行晚期融合，从而得到最终的教师行为识别结果。
在本实施例提供的技术方案中，通过采集教师行为数据集中的关键点热力图、骨骼热力图和RGB图三种模态特征，输入至自研多模态特征融合模型中进行融合，并对融合结果进行分类后，识别教师在教学过程中的行为，以实现通过计算机视觉对教师的授课行为进行自动识别，并且实验结果表明该模型的识别精度优于以往常用的行为识别模型，具有提高计算机视觉对教师的授课行为的识别分析精确度的效果。
参照图3，在第二实施例中，基于第一实施例，将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征的步骤之前，还包括：
步骤S401，将所述图像纹理特征的数组维度，置为与所述骨骼运动特征相同；或，
步骤S402，基于预设时间采样间隔，对所述图像纹理特征中的画面帧进行采样；或，
步骤S403，基于预设三维卷积函数，对所述图像纹理特征进行预处理。
可选地，为了便于融合，需要对骨骼运动特征和所述图像纹理特征进行一定的预处理，其中预处理方式可以包括以下三种：
一、转换时间通道：将图像纹理特征的数组维度，置为与所述骨骼运动特征相同。
示例性地，设骨骼路径的特征图表示为{T,S2,C}，RGB路径的特征图表示为{αT,S2,βC}，将特征图{αT,S2,βC}进行reshape和transpose操作，特征图变为{T,S2,αβC}，这就意味着将所有α帧打包到一个帧的通道中。
二、限制时间采样：基于预设时间采样间隔，对所述图像纹理特征中的画面帧进行采样。
示例性地，同样设骨骼路径的特征图表示为{T,S2,C}，RGB路径的特征图表示为{αT,S2,βC}，每间隔α帧便抽取一帧，从而将{αT,S2,βC}转换为{T,S2,βC}。
三、限制时间卷积：基于预设三维卷积函数，对所述图像纹理特征进行预处理。
示例性地，同样设骨骼路径的特征图表示为{T,S2,C}，RGB路径的特征图表示为{αT,S2,βC}。则三维卷积函数的卷积核的大小设为5×12，输出通道大小为2βC，步幅为α。
在做完上述预处理之后，横向连接的输出通过相加的方式融合到其他路径中，实现骨骼运动特征和图像纹理特征的融合。
在本实施例提供的技术方案中，可以选用上述方式中的任意一种来对骨骼运动特征和所述图像纹理特征进行一定的预处理，避免出现骨骼运动特征对应的路径与RGB特征对应的路径之间出现特征图大小不匹配的问题。
参照图4，在第三实施例中，基于任一实施例，构建所述关键点热力图的步骤包括：
步骤S100，基于HRNet人体姿态估计模型，识别所述待识别教师行为视频数据集中的二维姿态；
步骤S200，将各个所述二维姿态沿时间维度堆叠，得到具备三维姿态的所述关键点热力图。
在本实施例中，由于关键点以及骨骼数据是非欧式数据，其很难与其他模态规则的数据进行融合，比如RGB数据，特别是在特征融合的阶段。为了更好的将骨骼特征与RGB特征融合，在表示骨骼信息的时候不再采用人体拓扑图的形式，而是将人体的骨骼信息表示为三维热图的形式。
在本实施例中，将基于HRNet人体姿态估计模型获得的二维姿态作为输入，二维姿态由骨骼关节的热图堆栈表示，而不再使用人体关键点的坐标。不同时间步长的二维热图将沿着时间维度堆叠，形成一个三维热图，这样在形式上骨骼特征就变成了规则的热图形式，这样就可以更好的和RGB特征进行融合。
进一步的，在本实施例中，所述步骤S200包括：
步骤S201，根据所述二维姿态，确定关键点坐标；
步骤S202，以每个所述关键点坐标为中心构建高斯映射，得到所述关键点热力图，其中，所述关键点热力图中的高斯映射个数为关键点个数。
可选地，为了便于识别行为识别，选择将二维姿态表示为一个3D热图。在表示形式上，把二维姿态估计的结果描述成一个尺寸为 K× H× W的热力图，K为关节数目，其中，H、W为热力图形的高、宽，其效果如图5所示。该方法利用HRNet方法生成的人体特征点热图（也即二维姿态），将无特征点的区域用0来填充。如果第k个关键点的坐标为lk =（xk，yk，ck），通过组合以每个关键点为中心的K个高斯映射可以得到一个关键点热图J：
其中，i,j是关键点的坐标，σ为控制高斯映射的方差，并且（xk，yk）和ck分别是第k个关键点的位置和其对应的置信度。
在本实施例提供的技术方案中，将基于HRNet人体姿态估计模型获得的二维姿态作为输入，二维姿态由骨骼关节的热图堆栈表示，而不再使用人体关键点的坐标。不同时间步长的二维热图将沿着时间维度堆叠，形成一个三维热图，这样在形式上骨骼特征就变成了规则的热图形式，从而更好的与RGB特征进行融合。
参照图5，在第四实施例中，基于任一实施例，构建所述骨骼热力图的步骤包括：
步骤S1000，将人体骨骼的长度作为骨骼流关键点的横坐标，以及将所述人体骨骼的方向作为所述骨骼流关键点的纵坐标；
步骤S2000，根据所述横坐标和所述纵坐标，创建肢体热图；
步骤S3000，将各个所述肢体热图沿时间维度堆叠，得到具备三维姿态的所述骨骼热力图。
在本实施例中，为了尽可能准确地表示教师的行为动作，采用人体骨骼的二阶信息即骨骼的长度与方向作为骨骼流的输入，将人体的关键特征与骨骼特征相结合，这样可以得到对人体行为动作更加准确的表示，所以还可以创建一个肢体热图。
示例性的，肢体热图B的表达式为：
其中，为两个预设点，D为点（i,j）到线段[]的距离，为对进行分割的分割函数seg（）。
最后,将所有热图沿时间维度叠加得到具备三维姿态的骨骼热力图，其大小为K×T×H×W。
在本实施例提供的技术方案中，为了尽可能准确的表示教师的行为动作，采用人体骨骼的二阶信息即骨骼的长度与方向作为骨骼流的输入，将人体的关键特征与骨骼特征相结合，以提高系统对人体行为动作的识别准确度。
此外，为了验证本发明所提出的模型的效果，本发明在自建教师行为数据集和公共数据集上分别与已有的流行网络进行实验对比。下表所示为本发明方法在自建数据集上与C3D、ST-GCN、MS-AAGCN等模型的对比结果。
从上表看出，在自建教师行为数据集上，本发明提出的方法要优于其他的基线模型。
此外，在非自建的公开数据集：NTU RGB+D 60数据集，进行实验，实验结果如下表所示：
在公开数据集NTU RGB+D 60上，相较于基于单模态的行为识别模型，同时使用RGB和Pose两种模态在CS和CV两个指标上均有所提升。本发明的算法同时使用关键点热图，骨骼热图以及RGB特征，相较于基准算法PoseC3D模型来说，CS的准确率从94.1%提升到94.8%，CV的准确率从97.1%提升到97.3%。
在NTU RGB+D 60 数据集上基于特征融合的行为识别方法中，VPN模型的准确率要高于本发明的算法，VPN是一个可以放置在任何三维卷积主干网络之上的层。网络中加入空间嵌入来加强RGB和三维姿态之间的对应关系，这在其他先进的方法中是缺失的。需要说明的是，对于Pose主干，VPN使用GCN来学习三维人体关节之间的空间关系，从而为视觉特征图提供注意权重。本发明的主干网是SlowFast模型，虽然准确率不如VPN，但是由于本发明中主干网络是一个轻量级的网络，在保证识别准确率的同时算法所消耗的时间要更少，本发明提出的方法在课堂场景中应用更具优势。
此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可以存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被计算机视觉系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于多模态特征融合的教师行为识别程序，所述基于多模态特征融合的教师行为识别程序被处理器执行时实现如上实施例所述的基于多模态特征融合的教师行为识别方法的各个步骤。
其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
需要说明的是，由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多模态特征融合的教师行为识别方法，其特征在于，所述基于多模态特征融合的教师行为识别方法包括以下步骤：
获取待识别教师行为视频数据集中的关键点热力图、骨骼热力图和RGB图；
将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征；
将所述行为识别特征映射至单一数据集，得到初始融合特征，并对所述初始融合特征进行分类，确定教师行为识别结果。
2.如权利要求1所述的方法，其特征在于，所述将所述关键点热力图、所述骨骼热力图和所述RGB图，输入预构建的多模态特征融合模型，输出多个行为识别特征的步骤包括：
将所述关键点热力图、所述骨骼热力图和所述RGB图，分别输入所述多模态特征融合模型中的三条不同路径，提取出骨骼运动特征和图像纹理特征，其中，所述骨骼热力图对应的路径的时间采样频率，高于所述RGB图对应的路径的时间采样频率；
将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征。
3.如权利要求2所述的方法，其特征在于，所述多模态特征融合模型中的三条不同路径之间添加双向横向连接。
4.如权利要求2所述的方法，其特征在于，所述将所述骨骼运动特征和所述图像纹理特征进行融合，得到所述行为识别特征的步骤之前，还包括：
将所述图像纹理特征的数组维度，置为与所述骨骼运动特征相同；或，
基于预设时间采样间隔，对所述图像纹理特征中的画面帧进行采样；或，
基于预设三维卷积函数，对所述图像纹理特征进行预处理。
5.如权利要求1所述的方法，其特征在于，构建所述关键点热力图的步骤包括：
基于HRNet人体姿态估计模型，识别所述待识别教师行为视频数据集中的二维姿态；
将各个所述二维姿态沿时间维度堆叠，得到具备三维姿态的所述关键点热力图。
6.如权利要求5所述的方法，其特征在于，所述将各个所述二维姿态沿着时间维度堆叠，得到具备三维姿态的所述关键点热力图的步骤包括：
根据所述二维姿态，确定关键点坐标；
以每个所述关键点坐标为中心构建高斯映射，得到所述关键点热力图，其中，所述关键点热力图中的高斯映射个数为关键点个数。
7.如权利要求1所述的方法，其特征在于，构建所述骨骼热力图的步骤包括：
将人体骨骼的长度作为骨骼流关键点的横坐标，以及将所述人体骨骼的方向作为所述骨骼流关键点的纵坐标；
根据所述横坐标和所述纵坐标，创建肢体热图；
将各个所述肢体热图沿时间维度堆叠，得到具备三维姿态的所述骨骼热力图。
8.如权利要求1所述的方法，其特征在于，所述对所述初始融合特征进行分类，确定教师行为识别结果的步骤包括：
调用卷积网络的全局平均池化层，对所述初始融合特征中的每一时空像素点进行聚合；
将聚合后的所述初始融合特征送至所述卷积网络全连接层进行分类，得到多个分类结果；
将每一所述分类结果进行晚期融合，得到所述教师行为识别结果。
9.一种计算机视觉系统，其特征在于，所述计算机视觉系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态特征融合的教师行为识别程序，所述基于多模态特征融合的教师行为识别程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于多模态特征融合的教师行为识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于多模态特征融合的教师行为识别程序，所述基于多模态特征融合的教师行为识别程序被处理器执行时实现如权利要求1至8中任一项所述的基于多模态特征融合的教师行为识别方法的步骤。
CN202311161709.5A 2023-09-11 2023-09-11 基于多模态特征融合的教师行为识别方法、设备以及介质 Pending CN117115917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311161709.5A CN117115917A (zh) 2023-09-11 2023-09-11 基于多模态特征融合的教师行为识别方法、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311161709.5A CN117115917A (zh) 2023-09-11 2023-09-11 基于多模态特征融合的教师行为识别方法、设备以及介质

Publications (1)

Publication Number Publication Date
CN117115917A true CN117115917A (zh) 2023-11-24

Family

ID=88800016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311161709.5A Pending CN117115917A (zh) 2023-09-11 2023-09-11 基于多模态特征融合的教师行为识别方法、设备以及介质

Country Status (1)

Country Link
CN (1) CN117115917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523677A (zh) * 2024-01-02 2024-02-06 武汉纺织大学 一种基于深度学习的课堂行为识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523677A (zh) * 2024-01-02 2024-02-06 武汉纺织大学 一种基于深度学习的课堂行为识别方法

Similar Documents

Publication Publication Date Title
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
CN110515452B (zh) 图像处理方法、装置、存储介质和计算机设备
US20200320346A1 (en) System and method for generating training data for computer vision systems based on image segmentation
CN108388882B (zh) 基于全局-局部rgb-d多模态的手势识别方法
WO2021036699A1 (zh) 视频帧的信息标注方法、装置、设备及存储介质
Vazquez et al. Virtual and real world adaptation for pedestrian detection
US11410570B1 (en) Comprehensive three-dimensional teaching field system and method for operating same
JP7128708B2 (ja) 機械学習用の訓練データの効率的な収集のための拡張現実を使用したシステム及び方法
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN105528082A (zh) 三维空间及手势识别追踪交互方法、装置和系统
CN108734194B (zh) 一种面向虚拟现实的基于单深度图的人体关节点识别方法
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN110458805A (zh) 一种平面检测方法、计算设备以及电路系统
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
Lu et al. Localize me anywhere, anytime: a multi-task point-retrieval approach
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
Zhang et al. A comprehensive survey on computational aesthetic evaluation of visual art images: Metrics and challenges
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
Wang et al. Wuju opera cultural creative products and research on visual image under VR technology
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN114373050A (zh) 一种基于HoloLens的化学实验教学系统及方法
Chen et al. An improved dense-to-sparse cross-modal fusion network for 3D object detection in RGB-D images
Xu The research on applying artificial intelligence technology to virtual YouTuber
Zhao et al. Human pose regression through multiview visual fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination