CN115346149A - 基于时空图卷积网络的跳绳计数方法和系统 - Google Patents

基于时空图卷积网络的跳绳计数方法和系统 Download PDF

Info

Publication number
CN115346149A
CN115346149A CN202210706721.9A CN202210706721A CN115346149A CN 115346149 A CN115346149 A CN 115346149A CN 202210706721 A CN202210706721 A CN 202210706721A CN 115346149 A CN115346149 A CN 115346149A
Authority
CN
China
Prior art keywords
human body
rope skipping
space
neighbor
trend
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210706721.9A
Other languages
English (en)
Inventor
徐联伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dawei Artificial Intelligence Technology Co ltd
Original Assignee
Zhejiang Dawei Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dawei Artificial Intelligence Technology Co ltd filed Critical Zhejiang Dawei Artificial Intelligence Technology Co ltd
Priority to CN202210706721.9A priority Critical patent/CN115346149A/zh
Publication of CN115346149A publication Critical patent/CN115346149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B5/00—Apparatus for jumping
    • A63B5/20—Skipping-ropes or similar devices rotating in a vertical plane
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/17—Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能运动检测技术，公开了基于时空图卷积网络的跳绳计数方法和系统，基于时空图卷积网络的跳绳计数方法，包括：图像数据的获取；人体关键点坐标位置的获取；人体关键点拓扑图的生成；人体状态的确定；人体运动趋势的分析；跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数；本发明通过利用时空图卷积神经网络，对人体姿态估计的结果进行分析，得到跳绳人的跳绳状态，来进行精确跳绳计数的方法，计数精度高，能够自动识别跳绳开始与结束，不会由于其他动作产生误计。

Description

基于时空图卷积网络的跳绳计数方法和系统
技术领域
本发明涉及智能运动检测技术，尤其涉及了基于时空图卷积网络的跳绳计数方法和系统。
背景技术
随着跳绳运动被列入中考的考试项目，各地中小学参与跳绳人数越来越多。但是由于跳绳运动快速的特点，以及跳绳运动中可能发生的脚绊绳子等现象的复杂性，使得在跳绳计数需要大量的人力参与，且计数的准确性无法得到保证。随着人工智能与深度学习技术的不断发展，通过智能的算法与设备进行自动的跳绳计数与统计，可以减少体育考试中需要投入的大量人力，也能提高考试结果的准确性。
现有的自动化跳绳计数的方法，多是采用在跳绳上增加可以计数的装置，这类方法容易受到绳子空摇，迈过绳子等跳绳中产生的复杂现象带来的误差，也存在跳绳设备难以管理容易损坏等缺点。而一些通过视频画面进行计数的方法，则存在计数精度不高，无法识别跳绳行为，判断开始与结束的问题。
人体姿态估计可以准确的估计人体主要关节点的位置，人体姿态估计的结果将复杂的图像信息转变为人体关节点这种纯粹的人体姿态特征信息，对人体运动状态的分析很有帮助。关键点坐标点信息占用的空间小，信息量大，不含冗余信息，这对利用神经网络对其进行运动分析很有帮助，并且大大缩短了处理时间。
近年来，图卷积神经网络受到了学术界越来越多的关注，相比与只能用于网格结构数据的传统网络模型，图卷积能够处理具有广义拓扑图结构的数据，利用图中相邻节点之间相关性，对任意不规则的图结构数据进行灵活的卷积。由人体姿态估计得到的人体关键点数据可以通过人体骨架的关联表示成图，并且可以将多帧的关节点数据通过相邻帧对应关节点连接的方式，将人在一段时间内的完整动作表示成图结构。
对于这种结构的数据，图卷积能够更好地提取图中的特征，在分辨跳绳的动作与状态上有更好的表现。
如专利申请号CN202111265277.3的中国专利文献公开一种基于关键点识别的跳绳计数检测系统及方法，在计数准确性上存在一定误差，只能在跳绳人跳绳时进行准确计数，不能判断跳绳与其他非跳绳动作的区别，计数时仍需要人工干预。
发明内容
本发明针对现有技术中跳绳计数技术在计数准确性上存在一定误差，只能在跳绳人跳绳时进行准确计数，不能判断跳绳与其他非跳绳动作的区别，计数时仍需要人工干预的问题，提供了基于时空图卷积网络的跳绳计数方法和系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
基于时空图卷积网络的跳绳计数方法，包括视频采集模块，其方法包括：
图像数据的获取，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
人体状态的确定，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
作为优选，时空图卷积神经网络模型的生成方法包括：
视频数据库的建立，通过对获取的视频数据进行视频数据库的建立；
视频数据的标注，对视频数据库的数据进行跳绳时间段和非跳绳时间段的标注；
关键点坐标信息的获取，在视频中，通过人体检测与人体姿态估计得到每个人每帧的关键点坐标信息；
数据的增强，对视频数据库的样本按照一定的比例分成训练集和预测集，并对训练集数据和预测集数据进行数据增强；
训练模型的调整，通过调整训练集数据调整训练模型；
训练模型的验证，通过在测试集上对训练模型的验证，当验证的准确率达到阈值，则得到训练模型，否则返回至训练模型的调整；
对于获得的训练模型，进行神经网络损失函数的计算。
作为优选，神经网络损失函数的计算包括单次空间图卷积网络和单层图卷积网络；
单次空间图卷积网络的计算通过公式1进行计算，
Figure BDA0003705676700000041
其中，vti表示在时间t身体节点i处的坐标输入，vtj表示在时间t身体节点j处的坐标输入，t表示第几帧，j是该关键点的编号，B(vti)表示点vti的邻域点集合，p(vti，vtj)＝vtj为采样函数，w(vti，vtj)为每个点所在邻域子集的权重；Z(vtij)为每个邻域子集的正则项；foutput(vti)，
单层图卷积网络的计算通过公式2进行计算，
Figure BDA0003705676700000042
其中，A为所输入图结构的邻接矩阵，I为其度矩阵；W为所有通道的权重向量堆叠成的权重矩阵，finput为输入的方程；其中，Λii＝∑j(Aij+Iij)。
作为优选，时空图卷积神经网络中其直接相连的图节点为邻居节点，一个节点的所有邻居节点的集合成为该节点的邻居集合；
作为优选，邻居集合包括四个邻居子集，分别为第一邻居子集、第二邻居子集、第三邻居子集和第四邻居子集；
第一邻居子集为在邻居集合同一帧内与其相连的节点中，靠近人体自然重心的节点；
第二邻居子集为在邻居集合同一帧内其自然重心的距离更远的节点；
第三邻居子集为与邻居集合相连的前一帧的节点，第四邻居子集为与邻居集合相连的后一帧的节点；
相同的子集内的节点其在同一卷积核的卷积计算中权重共享。
为了解决上述技术问题，本发明还提供了基于时空图卷积网络的跳绳计数系统，包括视频采集模块，其还包括：
图像数据的获取模块，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取模块，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成模块，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
人体状态的确定模块，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析模块，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数模块，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
为了解决上述技术问题，本发明还提供了一种存储介质，其，通过基于时空图卷积网络的跳绳计数实现的存储介质。
为了解决上述技术问题，本发明还提供了一种电子设备，其通过基于时空图卷积网络的跳绳计数实现的电子设备。
本发明由于采用了以上技术方案，具有显著的技术效果：
本发明利用时空图卷积神经网络，对人体姿态估计的结果进行分析，得到跳绳人的跳绳状态，来进行精确跳绳计数的方法，计数精度高，能够自动识别跳绳开始与结束，不会由于其他动作产生误计。
附图说明
图1是本发明的流程图。
图2是本发明的时空图卷积神经网络模型的生成方法流程图。
图3是本发明的单帧图像拓扑图。
图4是本发明的多帧图像拓扑图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
基于时空图卷积网络的跳绳计数方法，包括视频采集模块，其方法包括：
图像数据的获取，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
人体状态的确定，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
时空图卷积神经网络模型的生成方法包括：
视频数据库的建立，通过对获取的视频数据进行视频数据库的建立；
视频数据的标注，对视频数据库的数据进行跳绳时间段和非跳绳时间段的标注；
关键点坐标信息的获取，在视频中，通过人体检测与人体姿态估计得到每个人每帧的关键点坐标信息；
数据的增强，对视频数据库的样本按照一定的比例分成训练集和预测集，并对训练集数据和预测集数据进行数据增强；
训练模型的调整，通过调整训练集数据调整训练模型；
训练模型的验证，通过在测试集上对训练模型的验证，当验证的准确率达到阈值，则得到训练模型，否则返回至训练模型的调整；
对于获得的训练模型，进行神经网络损失函数的计算。
神经网络损失函数的计算包括单次空间图卷积网络和单层图卷积网络；
单次空间图卷积网络的计算通过公式1进行计算，
Figure BDA0003705676700000081
其中，vti表示在时间t身体节点i处的坐标输入，vtj表示在时间t身体节点j处的坐标输入，t表示第几帧，j是该关键点的编号，B(vti)表示点vti的邻域点集合，p(vti，vtj)＝vtj为采样函数，w(vti，vtj)为每个点所在邻域子集的权重；Z(vtij)为每个邻域子集的正则项；foutput(vti)，
单层图卷积网络的计算通过公式2进行计算，
Figure BDA0003705676700000082
其中，A为所输入图结构的邻接矩阵，I为其度矩阵；W为所有通道的权重向量堆叠成的权重矩阵，finput为输入的方程；其中，Λii＝∑j(Aij+Iij)。
时空图卷积神经网络中其直接相连的图节点为邻居节点，一个节点的所有邻居节点的集合成为该节点的邻居集合；
邻居集合包括四个邻居子集，分别为第一邻居子集、第二邻居子集、第三邻居子集和第四邻居子集；
第一邻居子集为在邻居集合同一帧内与其相连的节点中，靠近人体自然重心的节点；
第二邻居子集为在邻居集合同一帧内其自然重心的距离更远的节点；
第三邻居子集为与邻居集合相连的前一帧的节点，第四邻居子集为与邻居集合相连的后一帧的节点；
相同的子集内的节点其在同一卷积核的卷积计算中权重共享。
实施例2
在实施例1基础上，本实施例基于时空图卷积网络的跳绳计数系统，包括视频采集模块，其还包括：
图像数据的获取模块，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取模块，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成模块，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；关键点拓扑图包括单帧拓扑图如附图3和多帧拓扑图如附图4。
人体状态的确定模块，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析模块，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数模块，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
实施例3
在实施例1基础上，本实施为一种存储介质。
实施例4
在实施例1基础上，本实施为一种电子设备。
实施例5
在上述实施例基础上，预备步骤，通过摄录设备录制视频，将视频数据拆解为单帧图像数据。对图像数据使用人体检测算法，得到图像中每个人体的位置，再对每个人体使用人体姿态估计算法提取出每个人体的关键点信息。
将当前时刻前25帧的关节点坐标信息，按照关键点间的时间与空间关系连接成拓扑图。
多帧人体关键点数据分类：用训练好的图神经网络进行对拓扑图数据分类，判断当前人体的状态为“跳绳”还是“非跳绳”，具体包括：
逐帧读取图像；对每帧图像进行人体检测与人体姿态估计；在视频中滑窗提取以25帧为单位的时间段，将时间段内相同人体的的关键点坐标连接为拓扑图的形式，并根据时间段内人体是否在跳绳的客观事实，将时空图样本标记为正样本或负样本。
构建图卷积神经网络用于分类，具体步骤如下：建立图卷积网络包括9个图卷积层，前三层通道数为64，中间三层通道数为128，后三层通道数为256。每层图卷积层添加概率为0.5的随机失活层，以减小过拟合情况。图卷积提取出的特征通过SoftMax分类器进行分类。对样本进行数据增强。
通过对拓扑图形式的人体关键点坐标样本进行数据增强，包括对关键点坐标的随机扰动，左右翻转，缩放。
使用训练集的数据训练模型，并按照7比3的比例分成训练集与测试集。通过随机梯度下降的方法，在训练过程中不断减小损失，拟合训练数据。再通过测试集验证，选用测试集准确度最高的模型。使用训练好的图神经网络，对产生的潜在计数点做分类判断，如果判断结果是在跳绳，则执行计数模块。当时空图神经网络判断为正在跳绳，则对人体的特定关节点做曲线分析。
在本实施例中，选取两个脚踝关键点纵坐标的较低值形成的曲线作分析，具体过程包括：对该曲线进行平滑滤波，减少噪声与毛刺；对曲线的运动趋势做状态判断，如果检测到两次连续的曲线值上升，则将曲线的状态置为上升，如果检测到两次连续的曲线值下降，则将曲线的状态置为下降。在曲线状态由上升转变为下降时进行计数。实时输出计数信号并显示。

Claims (8)

1.基于时空图卷积网络的跳绳计数方法，包括视频采集模块，其方法包括：
图像数据的获取，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
人体状态的确定，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
2.根据权利要求1所述的基于时空图卷积网络的跳绳计数方法，其特征在于，时空图卷积神经网络模型的生成方法包括：
视频数据库的建立，通过对获取的视频数据进行视频数据库的建立；
视频数据的标注，对视频数据库的数据进行跳绳时间段和非跳绳时间段的标注；
关键点坐标信息的获取，在视频中，通过人体检测与人体姿态估计得到每个人每帧的关键点坐标信息；
数据的增强，对视频数据库的样本按照一定的比例分成训练集和预测集，并对训练集数据和预测集数据进行数据增强；
训练模型的调整，通过调整训练集数据调整训练模型；
训练模型的验证，通过在测试集上对训练模型的验证，当验证的准确率达到阈值，则得到训练模型，否则返回至训练模型的调整；
对于获得的训练模型，进行神经网络损失函数的计算。
3.根据权利要求1所述的基于时空图卷积网络的跳绳计数方法，其特征在于，神经网络损失函数的计算包括单次空间图卷积网络和单层图卷积网络；
单次空间图卷积网络的计算通过公式1进行计算，
Figure FDA0003705676690000021
其中，vti表示在时间t身体节点i处的坐标输入，vtj表示在时间t身体节点j处的坐标输入，t表示第几帧，j是该关键点的编号，B(vti)表示点vti的邻域点集合，p(vti,vtj)＝vtj为采样函数，w(vti,vtj)为每个点所在邻域子集的权重；Z(vtij)为每个邻域子集的正则项；foutput(vti)，
单层图卷积网络的计算通过公式2进行计算，
Figure FDA0003705676690000022
其中，A为所输入图结构的邻接矩阵，I为其度矩阵；W为所有通道的权重向量堆叠成的权重矩阵，finput为输入的方程；其中，Λii＝∑j(Aij+Iij)。
4.根据权利要求1所述的基于时空图卷积网络的跳绳计数方法，其特征在于，时空图卷积神经网络中其直接相连的图节点为邻居节点，一个节点的所有邻居节点的集合成为该节点的邻居集合；
5.根据权利要求4所述的基于时空图卷积网络的跳绳计数方法，其特征在于，邻居集合包括四个邻居子集，分别为第一邻居子集、第二邻居子集、第三邻居子集和第四邻居子集；
第一邻居子集为在邻居集合同一帧内与其相连的节点中，靠近人体自然重心的节点；
第二邻居子集为在邻居集合同一帧内其自然重心的距离更远的节点；
第三邻居子集为与邻居集合相连的前一帧的节点，第四邻居子集为与邻居集合相连的后一帧的节点；
相同的子集内的节点其在同一卷积核的卷积计算中权重共享。
6.基于时空图卷积网络的跳绳计数系统，包括视频采集模块，其特征在于，还包括：
图像数据的获取模块，视频采集模块获取跳绳视频流数据，通过跳绳视频流数据获取图像数据；
人体关键点坐标位置的获取模块，通过人体姿态估计和人体检测获取逐帧图像数据中的人体关键点坐标；
人体关键点拓扑图的生成模块，将人体关键点中的横坐标与纵坐标作为特征向量，并依据人体关键点坐标的时间空间的连接关系生成人体关键点拓扑图；
人体状态的确定模块，将生成的拓扑图输入至时空图卷积神经网络模型中进行分类判断，从而确定人体状态；其中人体状态包括跳绳状态和非跳绳状态；
人体运动趋势的分析模块，当人体状态为跳绳状态，则对人体关键点的轨迹进行曲线平滑和分析，从而确定人体运动趋势，人体运动趋势包括上升趋势和下降趋势；
跳绳计数模块，依据人体运动趋势进行跳绳计数，当人体运动趋势由上升趋势转为下降趋势，进行跳绳计数。
7.一种存储介质，其特征在于，通过权利要求1-5任一所述的基于时空图卷积网络的跳绳计数实现的存储介质。
8.一种电子设备，其特征在于，通过权利要求1-5任一所述的基于时空图卷积网络的跳绳计数实现的电子设备基于时空图卷积网络的跳绳计数方法和系统基于时空图卷积网络的跳绳计数方法和系统基于时空图卷积网络的跳绳计数方法和系统。
CN202210706721.9A 2022-06-21 2022-06-21 基于时空图卷积网络的跳绳计数方法和系统 Pending CN115346149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706721.9A CN115346149A (zh) 2022-06-21 2022-06-21 基于时空图卷积网络的跳绳计数方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706721.9A CN115346149A (zh) 2022-06-21 2022-06-21 基于时空图卷积网络的跳绳计数方法和系统

Publications (1)

Publication Number Publication Date
CN115346149A true CN115346149A (zh) 2022-11-15

Family

ID=83948041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706721.9A Pending CN115346149A (zh) 2022-06-21 2022-06-21 基于时空图卷积网络的跳绳计数方法和系统

Country Status (1)

Country Link
CN (1) CN115346149A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546291A (zh) * 2022-11-28 2022-12-30 成都怡康科技有限公司 一种跳绳计数方法、装置、计算机设备及存储介质
CN117253290A (zh) * 2023-10-13 2023-12-19 景色智慧(北京)信息科技有限公司 基于yolopose模型的跳绳计数实现方法、装置及存储介质
CN117612245A (zh) * 2023-09-26 2024-02-27 飞项科技(广州)有限公司 用于常规跳绳测试的自动计数方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546291A (zh) * 2022-11-28 2022-12-30 成都怡康科技有限公司 一种跳绳计数方法、装置、计算机设备及存储介质
CN117612245A (zh) * 2023-09-26 2024-02-27 飞项科技(广州)有限公司 用于常规跳绳测试的自动计数方法
CN117253290A (zh) * 2023-10-13 2023-12-19 景色智慧(北京)信息科技有限公司 基于yolopose模型的跳绳计数实现方法、装置及存储介质
CN117253290B (zh) * 2023-10-13 2024-05-10 景色智慧(北京)信息科技有限公司 基于yolopose模型的跳绳计数实现方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112507901B (zh) 一种基于伪标签自纠正的无监督行人重识别方法
CN115346149A (zh) 基于时空图卷积网络的跳绳计数方法和系统
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN111814704B (zh) 基于级联注意力与点监督机制的全卷积考场目标检测方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN108564049A (zh) 一种基于深度学习的快速人脸检测识别方法
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN112183334B (zh) 一种基于多模态特征融合的视频深度关系分析方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN107590427A (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN114821299B (zh) 一种遥感图像变化检测方法
CN112528777A (zh) 一种用于课堂环境下的学生面部表情识别方法及系统
CN114202565A (zh) 一种基于学习过程情绪实时分析的智能化学习干预系统
CN111967361A (zh) 一种基于婴儿表情识别与哭声的情绪检测方法
CN115410258A (zh) 基于注意力图像的人脸表情识别方法
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
Liu et al. Design of face detection and tracking system
CN112132839B (zh) 一种基于深度卷积级联网络的多尺度快速人脸分割方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
Ramasso et al. Human shape-motion analysis in athletics videos for coarse to fine action/activity recognition using transferable belief model
CN107665325A (zh) 基于原子特征袋模型的视频异常事件检测方法及系统
CN114120370A (zh) 基于cnn-lstm的人体跌倒检测实现方法及系统
CN114882580A (zh) 一种基于深度学习的运动动作一致性的度量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination