CN112257639A - 基于人体骨架的学生学习行为识别方法 - Google Patents

基于人体骨架的学生学习行为识别方法 Download PDF

Info

Publication number
CN112257639A
CN112257639A CN202011188103.7A CN202011188103A CN112257639A CN 112257639 A CN112257639 A CN 112257639A CN 202011188103 A CN202011188103 A CN 202011188103A CN 112257639 A CN112257639 A CN 112257639A
Authority
CN
China
Prior art keywords
human
skeleton
student
coordinates
human skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011188103.7A
Other languages
English (en)
Inventor
柯逍
缪欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011188103.7A priority Critical patent/CN112257639A/zh
Publication of CN112257639A publication Critical patent/CN112257639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人体骨架的学生学习行为识别方法，包括以下步骤：步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，对人体骨骼关键点进行预处理，并依据人体部位进行编码转换为图像，并构建人体运动特征；步骤S4:将处理后的图像输入到神经网络分类器中进行分类，得到分类结果。本发明能够有效地对学生行为进行识别。

Description

基于人体骨架的学生学习行为识别方法
技术领域
本发明涉及模式识别与计算机视觉领域，特别是一种基于人体骨架的学生学习行为识别方法。
背景技术
教室是老师授课、学生获取知识的主要场所，学生在课堂上的学习状态学习行为、老师的洞察能力关乎学生学习的效果以及课堂的教学质量。学校一堂课多则上百学生听课，加以教室课堂场景十分复杂，如今大、中、小学，除了传统排排坐的课堂，还增加互动课堂，如圆桌讨论等，学生数量众多，同一动作行为有多种表现方式，而老师在授课时难以同时顾及到所有同学的学习状态，学生表现无法及时反馈，教学质量难以评估。针对以上问题的研究，对教师提高教学质量以及学生改进学习行为有着重要的意义，对当下课堂教学质量分析和反馈有重要应用价值。
人体动作识别虽然已经运用到智能监控、医疗等众多场合中，而针对教学场景中的人体动作识别的相关研究工作还相对较少，且和我们目标中 实时、高效、准确地分析出人体行为仍有一段距离。而为缩短这段距离，我们还面临者许多问题，如摄像头角度固定、人群肢体交叉难以分辨等，主要概括为以下几点、动作差异、视角差异、执行效率。
发明内容
有鉴于此，本发明的目的在于提供一种基于人体骨架的学生学习行为识别方法，能够有效地对学生行为进行识别。
为实现上述目的，本发明采用如下技术方案：
一种基于人体骨架的学生学习行为识别方法，包括以下步骤：
步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；
步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；
步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，依据人体部位进行编码转换为图像，并构建人体运动特征；
步骤S4:搭建神经网络分类器，并基于人体运动特征数据进行训练，最终将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果。
进一步的，所述步骤S1具体为：
步骤S11:利用摄像头采集教室场景下的学生行为视频，提取学生行为图像，对其进行标注作为数据集;
步骤S12:对数据集中图像进行随机角度翻转、裁剪、镜像处理，得到数据增强后的图像数据集。
进一步的，所述AlphaPose模型采用RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG组成。
进一步的，所述SSTN由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态。
进一步的，所述步骤S2具体为:
步骤S21:利用ALphaPose检测出视频中的学生;
步骤S22:并根据检测的学生，对其进行人体骨骼点提取，获取人体骨骼点的坐标，所述骨骼关键点及其坐标和置信度为
Person:{"0":[x0，y0]，"1":[x1，y1]，...， "17":[x17，y17]}
其中Person表示检测到的学生，"0"-"17"分别对应鼻子、右眼、左眼、右耳、左耳、右肩、左肩、右肘、左肘、右腕、左腕、右髋、左髋、右膝、左膝、右脚踝、左脚踝、颈部，x和y表示骨骼点相对于图片的坐标；
步骤S23:将得到的人体骨骼关键点，先将坐标转换为向量，以人体的颈部关节坐标为中心，将其他骨骼点坐标转换为以颈部关节为坐标原点的坐标值，转换公式如下：
Figure DEST_PATH_IMAGE001
其中Pn表示除颈部关节之外的其他骨骼点坐标，P0表示颈部关节坐标，所得 f 为其他骨骼点以颈部关节为起点的向量；
步骤S24:将向量进行归一化，具体公式如下：
Figure 145927DEST_PATH_IMAGE002
其中，H为图片大小。
进一步的，所述步骤S3具体为：
步骤S31:根据得到的像素值数据，在对应的人体躯干两端之间增加一个中点，得到更为精细的人体姿态；
步骤S32:对于处理好的人体骨骼点信息，将向量中x、y值经过处理编码作为 RGB 图像中的红、绿通道值，蓝色通道设置为0或1。编码转换方式为先将骨骼点坐标归一化为从0到1的连续范围内的值，再将其乘以255,得到对应的像素值；
步骤S33:根据得到的对应像素值，并按照人体部位的位置进行排列，依次将头部、身体、腿部分别加入分配矩阵中。例如分配在（1+3+3）×5×3的矩阵中，则其中头部占1行包括左眼、右眼、鼻子、嘴巴、左耳、右耳，身体3行包括脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕，腿部3行包括左髋、右髋、左膝、右膝、左脚踝、右脚踝，5为横向划分关键点的列，矩阵中没有人体骨骼点的位置我们将其像素值全部设为0；
步骤S34:根据不同行为类别构建不同的图像，如举手，主要是人的手部在运动，所以我们仅将手部的像素点放入图像矩阵，其他部位的像素点值设为0，得到举手动作的运动特征图像，又如玩手机等坐着的动作，我们仅使用头部、身体的像素点放入矩阵，站立则在此基础上加入腿部的像素点，并最终得到编码转换后的图像。
进一步的，搭建神经网络分类器，主要包括三层的卷积对处理完的图片进行卷积提取特征、紧接着批量归一层对数据按批进行归一化，然后通过线性整流层和三层全连接进行分类，并利用交叉熵损失函数计算损失，将处理得到的图像输入到神经网络分类器进行训练，得到神经网络分类器。
本发明与现有技术相比具有以下有益效果：
1、本发明基于人体骨架的提取，有效的减少了光照等外间因素的干扰；
2、本发明构建的关键点编码表示为图像的数据结构，相对于传统的运动特征提取方法，编码转换后的图像有效的表示了人体的动作特征；
3、本发明针对像素点的提取本发明针对AlphaPose所提取的有限关键点，提出了相应的关键点扩展方法，并针对不同类别进行不同的排列表示。
4、本发明针对传统的二维动作识别，难以有效的解决视角差异和动作差异带来的问题，本发明利用编码图像加以神经网络分类器，有效的改善了此类问题。
附图说明
图1是本发明原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于人体骨架的学生学习行为识别方法，包括以下步骤：
步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；
步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；
步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，依据人体部位进行编码转换为图像，并构建人体运动特征；
步骤S4: 搭建神经网络分类器，并基于人体运动特征数据进行训练，最终将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果。
在本实施例中，所述步骤S1具体为：
步骤S11:利用摄像头采集教室场景下的学生行为视频，提取学生行为图像，对其进行标注作为数据集;
步骤S12:对数据集中图像进行随机角度翻转、裁剪、镜像处理，得到数据增强后的图像数据集。
在本实施例中，所述步骤S2具体为:
步骤S21:利用ALphaPose检测出视频中的学生;
步骤S22:并根据检测的学生，对其进行人体骨骼点提取，获取人体骨骼点的坐标，所述骨骼关键点及其坐标和置信度为
Person:{"0":[x0，y0]，"1":[x1，y1]，...， "17":[x17，y17]}
其中Person表示检测到的学生，"0"-"17"分别对应鼻子、右眼、左眼、右耳、左耳、右肩、左肩、右肘、左肘、右腕、左腕、右髋、左髋、右膝、左膝、右脚踝、左脚踝、颈部，x和y表示骨骼点相对于图片的坐标；
步骤S23:将得到的骨架信息，先将坐标转换为向量，以人体的颈部关节坐标为中心，将其他骨骼点坐标转换为以颈部关节为坐标原点的坐标值，转换公式如下：
Figure DEST_PATH_IMAGE003
其中Pn表示除颈部关节之外的其他骨骼点坐标，P0表示颈部关节坐标，所得 f 为其他骨骼点以颈部关节为起点的向量；
步骤S24:将向量进行归一化，具体公式如下：
Figure 361883DEST_PATH_IMAGE002
其中，H为图片大小。
在本实施例中，AlphaPose模型是自上而下的人体骨架关键点检测模型，采用RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG组成。
SSTN由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态。PNMS即参数姿势非最大抑制负责过滤掉多余的姿态估计，避免冗余；PGPG即姿态引导建议发生器就是SPPE这一部分，可以产生各种姿态图片，供训练过程使用。
在本实施例中，所述步骤S3具体为：
步骤S31:由于AlphaPose所得人体骨骼点数目有限，为了更好的表示人体的运动特征，我们希望骨骼点数目越多越好，所以我们进行增加点的处理，即对应的人体躯干两端之间增加一个中点（可以视情况多加几个点），得到更为精细的人体姿态；
步骤S32:对于处理好的人体骨骼点信息，将向量中x、y值经过处理编码作为 RGB 图像中的红、绿通道值，蓝色通道设置为0或1；为将检测到的关键点全局坐标转换为相应的“像素值”，我们需先将它们规格化。先将这些值归一化为从0到1的连续范围内的值，而不是从0到255的离散整数值；
步骤S33:为了实现可视化，再将图中的处理好的x、y值乘以255得到像素值，如果处理的不是图片，而是视频那么我们将时间信息z值同理转换为蓝色通道的值；
步骤S34:根据得到的对应像素值，并按照人体部位的位置进行排列，依次将头部、身体、腿部分别加入分配矩阵中；例如分配在（1+3+3）×5×3的矩阵中，则其中头部占1行包括左眼、右眼、鼻子、嘴巴、左耳、右耳，身体3行包括脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕，腿部3行包括左髋、右髋、左膝、右膝、左脚踝、右脚踝，5为横向划分关键点的列，矩阵中没有人体骨骼点的位置我们将其像素值全部设为0；
步骤S35:根据不同行为类别构建不同的图像，如举手，主要是人的手部在运动，所以我们仅将手部的像素点放入图像矩阵，其他部位的像素点值设为0，得到举手动作的运动特征图像，又如玩手机等坐着的动作，我们仅使用头部、身体的像素点放入矩阵，站立则在此基础上加入腿部的像素点，并最终得到编码转换后的图像。
在本实施例中，神经网络分类器包括卷积层、批量归一层、线性整流、全连接层。具体实现如下：
搭建神经网络分类器，主要包括三层的卷积对处理完的图片进行卷积提取特征、紧接着批量归一层对数据按批进行归一化，然后通过线性整流层和三层全连接进行分类，并利用交叉熵损失函数计算损失，将处理得到的图像输入到神经网络分类器进行训练，得到神经网络分类器。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于人体骨架的学生学习行为识别方法，其特征在于，包括以下步骤：
步骤S1:采集教室场景下的学生行为视频，并提取学生行为图像,构建图像数据集；
步骤S2:根据得到图像数据集，采用AlphaPose提取人体骨骼关键点及其坐标和置信度；
步骤S3:根据得到的人体骨骼关键点及其坐标和置信度，依据人体部位进行编码转换为图像，并构建人体运动特征；
步骤S4:搭建神经网络分类器，并基于人体运动特征数据进行训练，将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果。
2.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S1具体为：
步骤S11:利用摄像头采集教室场景下的学生行为视频，提取学生行为图像，对其进行标注作为数据集;
步骤S12:对数据集中图像进行随机角度翻转、裁剪、镜像处理，得到数据增强后的图像数据集。
3.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述AlphaPose模型采用RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG组成。
4.根据权利要求3所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述SSTN由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态。
5.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S2具体为:
步骤S21:利用ALphaPose检测出视频中的学生;
步骤S22:并根据检测的学生，对其进行人体骨骼点提取，获取人体骨骼点的坐标，所述骨骼关键点及其坐标和置信度为
Person:{"0":[x0，y0]，"1":[x1，y1]，...， "17":[x17，y17]}
其中Person表示检测到的学生，"0"-"17"分别对应鼻子、右眼、左眼、右耳、左耳、右肩、左肩、右肘、左肘、右腕、左腕、右髋、左髋、右膝、左膝、右脚踝、左脚踝、颈部，x和y表示骨骼点相对于图片的坐标；
步骤S23:将得到的骨架信息，先将坐标转换为向量，以人体的颈部关节坐标为中心，将其他骨骼点坐标转换为以颈部关节为坐标原点的坐标值，转换公式如下：
Figure 935864DEST_PATH_IMAGE002
其中Pn表示除颈部关节之外的其他骨骼点坐标，P0表示颈部关节坐标，所得 f 为其他骨骼点以颈部关节为起点的向量；
步骤S24:将向量进行归一化，具体公式如下：
Figure 790687DEST_PATH_IMAGE004
其中，H为图片大小。
6.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，所述步骤S3具体为：
步骤S31:根据得到的人体骨骼关键点数据，在对应的人体躯干两端之间增加一个中点，得到更为精细的人体姿态；
步骤S32:对于处理好的人体骨骼点信息，将向量中x、y值经过处理编码作为 RGB 图像中的红、绿通道值，蓝色通道设置为0或1，编码转换方式为先将骨骼点坐标归一化为从0到1的连续范围内的值，再将其乘以255,得到对应的像素值；
步骤S33:根据得到的对应像素值，并按照人体部位的位置进行排列，依次将头部、身体、腿部分别加入分配矩阵中；
步骤S34:根据不同行为类别构建不同的图像，并最终得到编码转换后的图像，作为人体运动特征。
7.根据权利要求1所述的基于人体骨架的学生学习行为识别方法，其特征在于，搭建神经网络分类器，主要包括三层的卷积对处理完的图片进行卷积提取特征、紧接着批量归一层对数据按批进行归一化，然后通过线性整流层和三层全连接进行分类，并利用交叉熵损失函数计算损失，将处理得到的图像输入到神经网络分类器进行训练，得到神经网络分类器。
CN202011188103.7A 2020-10-30 2020-10-30 基于人体骨架的学生学习行为识别方法 Pending CN112257639A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188103.7A CN112257639A (zh) 2020-10-30 2020-10-30 基于人体骨架的学生学习行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188103.7A CN112257639A (zh) 2020-10-30 2020-10-30 基于人体骨架的学生学习行为识别方法

Publications (1)

Publication Number Publication Date
CN112257639A true CN112257639A (zh) 2021-01-22

Family

ID=74268285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188103.7A Pending CN112257639A (zh) 2020-10-30 2020-10-30 基于人体骨架的学生学习行为识别方法

Country Status (1)

Country Link
CN (1) CN112257639A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408390A (zh) * 2021-06-11 2021-09-17 广东工业大学 一种人体行为实时识别方法、系统、装置及存储介质
CN113762115A (zh) * 2021-08-27 2021-12-07 国网浙江省电力有限公司 一种基于关键点检测的配网作业人员行为检测方法
CN114282593A (zh) * 2021-11-22 2022-04-05 南京信息工程大学 一种基于机器视觉的手语识别方法
CN115083015A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种3d人体姿态估计数据标注方式和对应的模型构建方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729647A (zh) * 2013-12-31 2014-04-16 公安部第三研究所 基于深度图像实现人体骨骼提取的方法
CN104298358A (zh) * 2014-10-29 2015-01-21 指挥家(厦门)智能科技有限公司 一种基于关节空间位置数据的动态3d手势识别方法
CN106056053A (zh) * 2016-05-23 2016-10-26 西安电子科技大学 基于骨骼特征点提取的人体姿势识别方法
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN111079481A (zh) * 2018-10-22 2020-04-28 西安邮电大学 一种基于二维骨架信息的攻击性行为识别方法
CN111507283A (zh) * 2020-04-21 2020-08-07 浙江蓝鸽科技有限公司 基于课堂场景的学生行为识别方法及系统
CN111652273A (zh) * 2020-04-27 2020-09-11 西安工程大学 一种基于深度学习的rgb-d图像分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729647A (zh) * 2013-12-31 2014-04-16 公安部第三研究所 基于深度图像实现人体骨骼提取的方法
CN104298358A (zh) * 2014-10-29 2015-01-21 指挥家(厦门)智能科技有限公司 一种基于关节空间位置数据的动态3d手势识别方法
CN106056053A (zh) * 2016-05-23 2016-10-26 西安电子科技大学 基于骨骼特征点提取的人体姿势识别方法
CN107194344A (zh) * 2017-05-16 2017-09-22 西安电子科技大学 自适应骨骼中心的人体行为识别方法
CN111079481A (zh) * 2018-10-22 2020-04-28 西安邮电大学 一种基于二维骨架信息的攻击性行为识别方法
CN109614939A (zh) * 2018-12-13 2019-04-12 四川长虹电器股份有限公司 基于人体姿态估计的“玩手机”行为检测识别方法
CN111507283A (zh) * 2020-04-21 2020-08-07 浙江蓝鸽科技有限公司 基于课堂场景的学生行为识别方法及系统
CN111652273A (zh) * 2020-04-27 2020-09-11 西安工程大学 一种基于深度学习的rgb-d图像分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAO-SHU FANG ET AL.: "RMPE：regional Muiti-Person Pose Estimation", 《ARXIV》 *
HAO-SHU FANG ET AL.: "RMPE：regional Muiti-Person Pose Estimation", 《ARXIV》, 30 April 2018 (2018-04-30) *
冉宪宇等: "自适应骨骼中心的人体行为识别算法", 《中国图象图形学报》 *
冉宪宇等: "自适应骨骼中心的人体行为识别算法", 《中国图象图形学报》, no. 04, 16 April 2018 (2018-04-16) *
徐家臻等: "基于人体骨架信息提取的学生课堂行为自动识别", 《现代教育技术》 *
徐家臻等: "基于人体骨架信息提取的学生课堂行为自动识别", 《现代教育技术》, no. 05, 15 May 2020 (2020-05-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408390A (zh) * 2021-06-11 2021-09-17 广东工业大学 一种人体行为实时识别方法、系统、装置及存储介质
CN113762115A (zh) * 2021-08-27 2021-12-07 国网浙江省电力有限公司 一种基于关键点检测的配网作业人员行为检测方法
CN113762115B (zh) * 2021-08-27 2024-03-15 国网浙江省电力有限公司 一种基于关键点检测的配网作业人员行为检测方法
CN114282593A (zh) * 2021-11-22 2022-04-05 南京信息工程大学 一种基于机器视觉的手语识别方法
CN115083015A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种3d人体姿态估计数据标注方式和对应的模型构建方法
CN115083015B (zh) * 2022-06-09 2024-04-16 广州紫为云科技有限公司 一种3d人体姿态估计数据标注方式和对应的模型构建方法

Similar Documents

Publication Publication Date Title
CN112257639A (zh) 基于人体骨架的学生学习行为识别方法
CN112287891B (zh) 基于表情行为特征提取的通过视频评估学习专注力的方法
CN110472604B (zh) 一种基于视频的行人与人群行为识别方法
CN107292813A (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN106203503A (zh) 一种基于骨骼序列的动作识别方法
CN104794722A (zh) 利用单个Kinect计算着装人体三维净体模型的方法
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN103729614A (zh) 基于视频图像的人物识别方法及人物识别装置
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
Obdržálek et al. Real-time human pose detection and tracking for tele-rehabilitation in virtual reality
CN106815855A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN112949622A (zh) 融合文本与图像的双模态性格分类方法及装置
CN109670401B (zh) 一种基于骨骼运动图的动作识别方法
CN112446313A (zh) 一种基于改进动态时间规整算法的排球动作识别方法
Pismenskova et al. Classification of a two-dimensional pose using a human skeleton
CN113255522A (zh) 基于时间一致性的个性化运动姿态估计与分析方法及系统
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
CN114708617A (zh) 行人重识别方法、装置及电子设备
CN114519727A (zh) 一种图像驱动方法、装置、设备和介质
CN109375766A (zh) 一种基于手势控制的新型学习方法
CN113378799A (zh) 基于目标检测和姿态检测框架的行为识别方法及系统
JP2023143768A (ja) 骨格情報を画像にマッピングする人物識別方法
Zhang et al. Skeleton-based action recognition with attention and temporal graph convolutional network
CN117529758A (zh) 用于使用神经网络识别图像和视频中的人类协同活动的方法、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122