CN115482580A - 一种基于机器视觉骨骼追踪术的多人评测系统 - Google Patents

一种基于机器视觉骨骼追踪术的多人评测系统 Download PDF

Info

Publication number
CN115482580A
CN115482580A CN202210896479.6A CN202210896479A CN115482580A CN 115482580 A CN115482580 A CN 115482580A CN 202210896479 A CN202210896479 A CN 202210896479A CN 115482580 A CN115482580 A CN 115482580A
Authority
CN
China
Prior art keywords
video
module
action
key points
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210896479.6A
Other languages
English (en)
Inventor
冯云辉
杨旭
刘翠薇
林艳
罗亚茹
王欢
伍辉祥
吴焱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210896479.6A priority Critical patent/CN115482580A/zh
Publication of CN115482580A publication Critical patent/CN115482580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Abstract

本发明公开了一种基于机器视觉骨骼追踪术的多人评测系统，包括视频模块、姿势识别模块、中央处理模块和动作智能匹配及评价模块，本方法用户通过标准视频的学习训练，能了解到训练的注意点；把训练的视频上传后可以获得该次训练的科学评价和建议，包括动作规范与否或者关键点发力的情况。有效给用户提供一个标准化的运动学习平台，在用户运动训练时给与良好的运动检测和行为指引，给与用户最佳的学习体验。通过摄像头，识别到用户的健美操、广场舞图像，通过骨骼追踪术，识别用户骨骼，分析用户动作，和示范动作进行匹配，对于重大动作错误，进行视频对比和评分，帮助使用者改善动作标准度。

Description

一种基于机器视觉骨骼追踪术的多人评测系统
技术领域
本发明涉及运动健康技术领域，具体涉及一种基于机器视觉骨骼追踪术的多人评测系统。
背景技术
随着生活水平的提升，人们对生活的追求也变得多元化。人们更加注重自身的健康，而运动健康也更加受到人们的关注。更多的人去学习各种运动，例如武术、广场舞等等，但大部分的人没有意识到练习动作的同时姿势做得是否标准，这样收获的效果也会大打折扣。因此，针对这样的一个现状设计出一个能够纠正姿势的平台，有利于我们更好地运动学习，达到更好的效果。
现在的解决方案只是针对部分模块提出相应的方法。针对训练问题，不同的体系有着不同的训练标准，只能给予相对标准的纠正指导。针对分析报告问题，不同的人体有着不同的身体素质，同时包括各种不同因素的影响，给予的分析报告需要根据具体情况看待。
因此，本发明将提供一种基于机器视觉骨骼追踪术的多人评测系统意在解决以上问题。
发明内容
本申请实施例提供了一种基于机器视觉骨骼追踪术的健美操、广场舞多人评测系统，旨在解决现有技术不能针对用户运动时的体态进行纠正的问题，包括姿势识别模块、中央处理模块和动作智能匹配及评价模块；
所述姿势识别模块包括摄像头拍摄单元、视频预处理单元和视频上传单元；
所述动作智能匹配及评价模块包括智能分析模块、视频处理模块、数据处理模块和数据反馈模块；
所述摄像头拍摄单元，用于拍摄运动视频；所述视频上传单元用于上传所述上传运动视频；所述视频预处理单元用于对所述运动视频进行预处理，包括获取用户运动时骨骼节点的变化信息，然后将变化信息发送至所述中央处理模块；
所述中央处理模块用于根据用户运动时骨骼节点的变化信息，搭建力学模型，分析关节间运动数据，将关节的具体位置数据发送至所述动作智能匹配及评价模块；
所述动作智能匹配及评价模块用于将关节的具体位置数据与标准的运动关键节点相关信息进行对比，获得相关动作差别信息，基于相关动作差别信息对该次运动的结果进行评价，并根据评价结果生成动作纠正方案。
优选的，本系统还包括视频模块，所述视频模块包括信息录入单元和信息显示单元，所述视频模块用于为用户提供标准化的运动视频，所述运动视频包括武术教学视频、广场舞视频、体操教学视频和专业运动姿势教学视频。
优选的，所述预处理包括对拍摄运动视频获取连续帧图像并进行关于人体骨骼的关键点检测，获取各关键点的二维图像坐标并将关键点与人体关联；
判断运动视频中的关键点的个数是否超出预定值，若未超过，则不进行姿态识别；若超过预定值，则将获取的各关键点的二维图像坐标转换为三维坐标。
更优的，基于所述三维坐标，获取关键点映射的肢体的相对位置特征，所述相对位置特征包括关键点之间表征的肢体距离、肢体夹角及关键点在x、y、z各方向上的距离差。
更优的，所述中央处理模块收到变化信息后，计算关键点的置信度累加权重，将置信度累加权重与预设阈值相比较，判断检测出表征姿态的人体关键点的信息是否足够；若置信度累加权重大于预设阈值，表示表征姿态的人体关键点的信息足够，利用肢体的相对位置关系判定法进行姿态识别，输出检测结果；
所述肢体的相对位置关系判定法包括预设的各种人体姿态，获取各姿态下的肢体的相对位置特征，将不同姿态下获取的肢体的相对位置特征的范围作为设定的阈值；将肢体的相对位置特征与设定的阈值进行比对，若处于设定的阈值范围内，则对应为预设姿态；若处于设定的阈值范围外则不属于预设姿态。
更优的，若所述累加权重小于预设阈值，表示表征姿态的人体关键点信息不足，采用神经网络姿态识别技术进行姿态识别，输出检测结果；所述的神经网络姿态识别技术具体包括如下步骤：
采用图像处理技术，提取人体目标轮廓的特征，特征包括面积、周长、宽高比和离心率；
将目标轮廓的特征与关键点映射的肢体的相对位置特征组合归一化后作为特征向量，形成训练模式库；
通过神经网络模型训练，构建神经网络姿态分类器对姿态进行识别。
更优的，所述骨骼关键点检测包括关键点置信图预测、关键点亲和场预测和关键点聚类；所述关键点置信图预测通过下式确定：
Figure BDA0003769253630000031
其中，
Figure BDA0003769253630000032
表示第k个人的第j个关键点存在于p像素的置信度；Xj,k表示第k个人的第j个关键点的空间坐标；σ表示高斯分布的扩散程度。
更优的，整个人体的置信度为该人体所有组成部分的置信度中的最大值，如下式：
Figure BDA0003769253630000041
其中K表示当前检测总人数。
本申请提出的一种基于机器视觉骨骼追踪术的多人评测系统，其有益效果包括：
将所获取到的运动视频的动作信息与录入的标准数据库中相对应体态的各项指标信息进行对比分析，得到用户的体态信息与标准数据库中相对应的动作的各项指标评估结果；通过智能评价系统将其正确和错误动作的数据变为直观的数字，那么练习者可以通过相应的信息平台自主选择查看自己的动作体态质量信息，直观了解到自己体态中存的缺点，教练员或教师可以根据其信息反馈单元快速的给出相应的运动建议，并纠正其动作。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本申请实施例提供的一种基于机器视觉骨骼追踪术的多人评测系统框架结构图；
图2为技术流程图；
图3为Yolov5网络模型。
具体实施方式
以下结合具体实施例对一种基于机器视觉骨骼追踪术的多人评测系统作进一步的详细描述，这些实施例只用于比较和解释的目的，本发明不限定于这些实施例中。
如图1所示的一种基于机器视觉骨骼追踪术的多人评测系统，包括姿势识别模块、中央处理模块和动作智能匹配及评价模块；
所述姿势识别模块包括摄像头拍摄单元、视频预处理单元和视频上传单元；
所述动作智能匹配及评价模块包括智能分析模块、视频处理模块、数据处理模块和数据反馈模块；
所述摄像头拍摄单元，用于拍摄运动视频；所述视频上传单元用于上传所述上传运动视频；所述视频预处理单元用于对所述运动视频进行预处理，包括获取用户运动时骨骼节点的变化信息，然后将变化信息发送至所述中央处理模块；
所述中央处理模块用于根据用户运动时骨骼节点的变化信息，搭建力学模型，分析关节间运动数据，将关节的具体位置数据发送至所述动作智能匹配及评价模块；
所述动作智能匹配及评价模块用于将关节的具体位置数据与标准的运动关键节点相关信息进行对比，获得相关动作差别信息，基于相关动作差别信息对该次运动的结果进行评价，并根据评价结果生成动作纠正方案。
优选的，本系统还包括视频模块，所述视频模块包括信息录入单元和信息显示单元，所述视频模块用于为用户提供标准化的运动视频，所述运动视频包括武术教学视频、广场舞视频、体操教学视频和专业运动姿势教学视频。
优选的，所述预处理包括对拍摄运动视频逐帧进行关于人体骨骼的关键点检测，获取各关键点的二维图像坐标并将关键点与人体关联；
判断运动视频中的关键点的个数是否超出预定值，若未超过，则不进行姿态识别；若超过预定值，则将获取的各关键点的二维图像坐标转换为三维坐标。
更优的，基于所述三维坐标，获取关键点映射的肢体的相对位置特征，所述相对位置特征包括关键点之间表征的肢体距离、肢体夹角及关键点在x、y、z各方向上的距离差。
更优的，所述中央处理模块收到变化信息后，计算关键点的置信度累加权重，将置信度累加权重与预设阈值相比较，判断检测出表征姿态的人体关键点的信息是否足够；若置信度累加权重大于预设阈值，表示表征姿态的人体关键点的信息足够，利用肢体的相对位置关系判定法进行姿态识别，输出检测结果；
所述肢体的相对位置关系判定法包括预设的各种人体姿态，获取各姿态下的肢体的相对位置特征，将不同姿态下获取的肢体的相对位置特征的范围作为设定的阈值；将肢体的相对位置特征与设定的阈值进行比对，若处于设定的阈值范围内，则对应为预设姿态；若处于设定的阈值范围外则不属于预设姿态。
更优的，若所述累加权重小于预设阈值，表示表征姿态的人体关键点信息不足，采用神经网络姿态识别技术进行姿态识别，输出检测结果；所述的神经网络姿态识别技术具体包括如下步骤：
采用图像处理技术，提取人体目标轮廓的特征，特征包括面积、周长、宽高比和离心率；
将目标轮廓的特征与关键点映射的肢体的相对位置特征组合归一化后作为特征向量，形成训练模式库；
通过神经网络模型训练，构建神经网络姿态分类器对姿态进行识别。
更优的，所述骨骼关键点检测包括关键点置信图预测、关键点亲和场预测和关键点聚类；所述关键点置信图预测通过下式确定：
Figure BDA0003769253630000071
其中，
Figure BDA0003769253630000072
表示第k个人的第j个关键点存在于p像素的置信度；Xj,k表示第k个人的第j个关键点的空间坐标；σ表示高斯分布的扩散程度。
更优的，整个人体的置信度为该人体所有组成部分的置信度中的最大值，如下式：
Figure BDA0003769253630000073
其中K表示当前检测总人数。
本发明提供的一种基于机器视觉骨骼追踪术的多人评测系统具体操作流程如图2所示，包括：
(1)通过视频数据获取连续帧图像并进行预处理；
(2)对获取的图像进行人体骨骼的关键点检测，获取各关键点的二维图像坐标并将关键点与人体关联；
(3)设置一个预定值，判断检测出的人体关键点的个数是否超出预定值，若未超过，则不进行姿态识别；若超过预定值，则将获取的各关键点的二维图像坐标转换为三维坐标；
(4)基于各关键点的三维坐标，获取关键点映射的肢体的相对位置特征，所述的相对位置特征包括关键点之间表征的肢体距离、肢体夹角及关键点在x、y、z各方向上的距离差；
(5)计算关键点置信度累加权重，将累加权重与预设阈值相比较，判断检测出表征姿态的人体关键点信息是否足够；若累加权重大于预设阈值，表示表征姿态的人体关键点信息足够，利用肢体的相对位置关系判定法进行姿态识别，输出检测结果；所述肢体的相对位置关系判定法包括步骤：
(5.1)通过预设的各种人体姿态，获取各姿态下的肢体的相对位置特征，将不同姿态获取的肢体的相对位置特征的范围作为设定的阈值；
(5.2)根据步骤(4)获取的肢体的相对位置特征与设定的阈值进行比对，若处于设定的阈值范围内，则对应为预设姿态；否则不属于预设姿态。
(6)若累加权重小于预设阈值，表示表征姿态的人体关键点的信息不足，采用神经网络姿态识别技术进行姿态识别，输出检测结果；步骤(6)所述的神经网络姿态识别技术具体包括如下步骤：
(6.1)采用图像处理技术，提取人体目标轮廓的特征，特征包括面积、周长、宽高比和离心率；
(6.2)目标轮廓特征与关键点映射的肢体的相对位置特征组合归一化后作为特征向量，形成训练模式库；
(6.3)通过神经网络模型训练，构建神经网络姿态分类器对姿态进行识别。
其中，骨骼关键点检测是采用自下而上的关键点检测算法；具体包括以下步骤：
(1)构建双分支卷积神经网络将经过预处理后图片输入包含16个卷积层和3个全连接层的双分支深度卷积神经网络VGG-19，神经网络的前10层用于为输入图像创建特征映射，得到特征F；将F分别输入两个分支，第一分支用来预测关键点置信图S，第二分支用来预测关键点亲和场L；其中S＝(S1,S2,…,SJ)，J表示要检测的关键点个数；L＝(L1,L2,…,LC)，C表示要检测的关节对数；
(2)关键点置信图预测
关键点置信图为：
Figure BDA0003769253630000091
其中，
Figure BDA0003769253630000092
表示第k个人的第j个关键点存在于p像素的置信度；Xj,k表示第k个人的第j个关键点；σ表示高斯分布的扩散程度；
设置关键点置信度阈值，若关键点置信度超过阈值，则保留该关键点；整个人体的置信度为该人体所有组成部分的置信度中的最大值，如下式：
Figure BDA0003769253630000093
其中K表示当前检测总人数。
(3)关键点亲和场预测
关键点亲和场则为：
Figure BDA0003769253630000094
式中，表示第k个人的第c个两两连接的关节上是否存在某像素点p；lc,k＝||xj2,k-Xj1,k||2表示位置j1指向位置j2的单位向量，Xj1,kXj2,k分别为j1、j2的真实坐标；若满足以下条件，则判断像素点p在该关节对连接形成的肢体上：
0≤V·(p-Xj1,k)≤lc,k and v⊥·(p-Xj1,k)|≤σl
式中，V是肢体相对图像的比例，lc,k为第k个人的第c个关节对两两连接形成肢体的长度，σl为肢体的宽度；v⊥表示人体对称关节节点之间的距离与图像之间的比例
(4)关键点聚类
使用最大边权的匈牙利算法进行二分图匹配，得到最优的多人关键点连接结果，将每个关键点和不同的人对应起来；匈牙利算法的目标是在C个两两连接的关节集合中找出边权和最大的组合，如下式：
Figure BDA0003769253630000101
式中，Zc表示C个两两连接的关节集合中找出边权和最大的组合，Ec是最优化的多人关键点为第m个和第n个关键点类型的边权值，Dj1为J个1类型关键点的集合，Dj2为J个2类型关键点的集合，用于判断两个关键点是否相连；
Figure BDA0003769253630000102
表示第m个1类关键点和第n个2类关键点是否相连。对于任意两个关键点位置和边权值，通过计算亲和场的积分来表征关键点对的相关性，如下式：
Figure BDA0003769253630000103
式中，dj1和dj2分别为关键点j1，j2的预测坐标，C为关键点j1，j2相连形成的肢体，p(u)为关键点上的采样，Lc(P(u)为肢体C在p(u)点的PAF预测值。
根据获取到人体姿势的相关信息，与标准动作的相关信息进行比较，获得相应的对比结果的数据处理单元；
以及，将获取到的对比结果返回到中央处理模块，中央处理模块接收到对比结果后，对其进行处理，获得数据差异结果。
智能匹配及评价模块包括：
将数据反馈模块反馈的对比结果进行分析的智能分析模块；智能分析模块主要用Yolov5的目标检测算法主要分为以下几步：首先对图像大小进行统一调整，接着用卷积神经网络进行特征提取，然后通过非最大值抑制筛选出重复预测的候选框，最终输出预测的结果。算法先对图像按照规格进行尺寸调整，然后将图像划分为S×S个格子。每个格子都会预测内部是否存在目标的位置坐标，如果某个目标的中心坐标在其中某个格子中，那么就由这个格子完成目标识别。
Yolov5目标检测模型的神经网络主要包括输入端、Backbone、Neck、Prediction四个部分，如图3所示。输入端使用Mosaic数据增强，提升了小目标的检测效果，并且使用自适应锚框计算的方法，大大提高了训练和预测的效率。Backbone主要包括Focus和CSP结构，它们用于对不同图像在细粒度上进行聚合，形成图像特征。Neck由一系列混合和组合图像的网络层组成，主要作用是将图像特征从Backbone传输到Prediction。Prediction用于对图像进行预测，检测目标种类以及目标所在候选框。
在预测中，使用GIoULoss计算预测框回归损失函数均值，使用
Figure BDA0003769253630000111
其中Ac是两个框最小闭包面积，U为A∪B。
使用二元交叉熵损失函数BCELoss计算目标分类损失函数均值：
Figure BDA0003769253630000112
其中N为样本总数，yi是第i个样本的类别，pi是第i个样本预测值。将分析好的结果展示给用户的结果展示单元。
用户将运动视频上传到姿势识别模块，姿势识别模块对用户上传的运动视频进行处理，获取用户运动时骨骼节点的变化信息，为健身操、广场舞等标准姿态和待评估姿态的差异化对比做准备，然后将差异化信息发送至动作匹配模块；
动作匹配模块根据用户运动时骨骼节点的变化信息，搭建力学模型，分析关节间运动数据，并与标准的运动关键节点相关信息进行对比，抽取标准的姿态视频与待匹配的姿态视频中的相似帧进行姿态匹配，然后根据人体姿态的特征选取合适的骨骼点组成特征向量及关键特征姿态，通过对比向量的相似度及特征姿态的角度，结合其标准姿态的相关系数评估与待匹配姿态的准确率，并分析他们之间的差异；
智能匹配及评价模块用于将关节的具体位置数据与标准的运动关键节点相关信息进行对比，获得相关动作差别信息，
基于相关动作差别信息对该次运动的结果进行评价，并根据评价结果生成动作纠正方案。若肢体的相对位置特征与设定的阈值进行比对结果为不处于预定阈值范围内，则不属于预设姿态，表明当前用户姿态不标准，通过视频模块提供标准动作视频指导。
在一实施例中，视频模块1，至少包括有信息录入单元11和信息显示单元12；在本系统中，录入的专业教学视频包括但不限于武术教学视频、广场舞教学视频以及专业运动教学视频。用于为用户提供标准化的运动视频，运动视频包括武术教学视频、广场舞、体操教学视频和专业运动姿势教学视频。
在一实施例中，姿势识别模块2至少包括有摄像头拍摄单元21、视频预处理单元22和视频上传单元单元23；
其中，摄像头拍摄单元21，用于完成对用户实时运动视频的信息上传；视频预处理单元22，用于对用户上传的运动视频进行预处理，获取用户运动时骨骼节点的变化信息；视频上传单元23，用于获取用户上传的视频信息，通过处理视频获取到人体姿势的基本识别。
在一实施例中，智能匹配及评价模块3，至少包括有视频处理单元31、数据处理单元32、数据反馈单元33和智能分析模块34；
其中，视频处理单元31，用于对视频进行进一步的处理，包括截取关键图像，分析图像中的骨骼节点等信息；
数据处理单元32，用于将用户训练视频的相关信息与标准动作的数据进行比较，从而得到相关的差异信息；
数据反馈单元33，用于把得到的差异数据返回给中央处理模块4处理。
智能分析模块34，用于对动作匹配模块处理完的数据运动科学的评价方法进行智能分析；通过信息显示单元可展示所需要的关键信息给用户。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，包括姿势识别模块、中央处理模块和动作智能匹配及评价模块；
所述姿势识别模块包括摄像头拍摄单元、视频预处理单元和视频上传单元；
所述动作智能匹配及评价模块包括智能分析模块、视频处理模块、数据处理模块和数据反馈模块；
所述摄像头拍摄单元，用于拍摄运动视频；所述视频上传单元用于上传所述上传运动视频；所述视频预处理单元用于对所述运动视频进行预处理，包括获取用户运动时骨骼节点的变化信息，然后将变化信息发送至所述中央处理模块；
所述中央处理模块用于根据用户运动时骨骼节点的变化信息，搭建力学模型，分析关节间运动数据，将关节的具体位置数据发送至所述动作智能匹配及评价模块；
所述动作智能匹配及评价模块用于将关节的具体位置数据与标准的运动关键节点相关信息进行对比，获得相关动作差别信息，基于相关动作差别信息对该次运动的结果进行评价，并根据评价结果生成动作纠正方案。
2.根据权利要求1所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，还包括视频模块，所述视频模块包括信息录入单元和信息显示单元，所述视频模块用于为用户提供标准化的运动视频，所述运动视频包括武术教学视频、广场舞视频、体操教学视频和专业运动姿势教学视频。
3.根据权利要求1所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，所述预处理包括对拍摄运动视频获取连续帧图像并进行关于人体骨骼的关键点检测，获取各关键点的二维图像坐标并将关键点与人体关联；
判断运动视频中的关键点的个数是否超出预定值，若未超过，则不进行姿态识别；若超过预定值，则将获取的各关键点的二维图像坐标转换为三维坐标。
4.根据权利要求3所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，基于所述三维坐标，获取关键点映射的肢体的相对位置特征，所述相对位置特征包括关键点之间表征的肢体距离、肢体夹角及关键点在x、y、z各方向上的距离差。
5.根据权利要求3所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，所述中央处理模块收到变化信息后，计算关键点的置信度累加权重，将置信度累加权重与预设阈值相比较，判断检测出表征姿态的人体关键点的信息是否足够；若置信度累加权重大于预设阈值，表示表征姿态的人体关键点的信息足够，利用肢体的相对位置关系判定法进行姿态识别，输出检测结果；
所述肢体的相对位置关系判定法包括预设的各种人体姿态，获取各姿态下的肢体的相对位置特征，将不同姿态下获取的肢体的相对位置特征的范围作为设定的阈值；将肢体的相对位置特征与设定的阈值进行比对，若处于设定的阈值范围内，则对应为预设姿态；若处于设定的阈值范围外则不属于预设姿态。
6.根据权利要求5所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，若所述累加权重小于预设阈值，表示表征姿态的人体关键点信息不足，采用神经网络姿态识别技术进行姿态识别，输出检测结果；所述的神经网络姿态识别技术具体包括如下步骤：
采用图像处理技术，提取人体目标轮廓的特征，特征包括面积、周长、宽高比和离心率；
将目标轮廓的特征与关键点映射的肢体的相对位置特征组合归一化后作为特征向量，形成训练模式库；
通过神经网络模型训练，构建神经网络姿态分类器对姿态进行识别。
通过神经网络模型训练，构建神经网络姿态分类器对姿态进行识别。
7.根据权利要求3所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，所述骨骼关键点检测包括关键点置信图预测、关键点亲和场预测和关键点聚类；所述关键点置信图预测通过下式确定：
Figure FDA0003769253620000031
其中，
Figure FDA0003769253620000032
表示第k个人的第j个关键点存在于p像素的置信度；Xj,k表示第k个人的第j个关键点的空间坐标；σ表示高斯分布的扩散程度。
8.根据权利要求7所述的一种基于机器视觉骨骼追踪术的多人评测系统，其特征在于，整个人体的置信度为该人体所有组成部分的置信度中的最大值，如下式：
Figure FDA0003769253620000033
其中K表示当前检测总人数。
CN202210896479.6A 2022-07-28 2022-07-28 一种基于机器视觉骨骼追踪术的多人评测系统 Pending CN115482580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210896479.6A CN115482580A (zh) 2022-07-28 2022-07-28 一种基于机器视觉骨骼追踪术的多人评测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210896479.6A CN115482580A (zh) 2022-07-28 2022-07-28 一种基于机器视觉骨骼追踪术的多人评测系统

Publications (1)

Publication Number Publication Date
CN115482580A true CN115482580A (zh) 2022-12-16

Family

ID=84423116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210896479.6A Pending CN115482580A (zh) 2022-07-28 2022-07-28 一种基于机器视觉骨骼追踪术的多人评测系统

Country Status (1)

Country Link
CN (1) CN115482580A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及系统
CN116611970A (zh) * 2023-07-20 2023-08-18 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法
CN117036327A (zh) * 2023-08-22 2023-11-10 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质
CN117438040A (zh) * 2023-12-22 2024-01-23 亿慧云智能科技（深圳）股份有限公司 运动课程自适应配置方法、装置、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861381A (zh) * 2023-02-28 2023-03-28 中国民用航空飞行学院 球体协同运动中鱼跃救球动作标准性的检测方法及系统
CN116611970A (zh) * 2023-07-20 2023-08-18 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法
CN116611970B (zh) * 2023-07-20 2023-11-07 中国人民解放军空军特色医学中心 结合人脸和姿态识别的群体训练动作纠正系统及方法
CN117036327A (zh) * 2023-08-22 2023-11-10 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质
CN117036327B (zh) * 2023-08-22 2024-03-12 广州市疾病预防控制中心(广州市卫生检验中心、广州市食品安全风险监测与评估中心、广州医科大学公共卫生研究院) 一种防护用品检视方法、系统、设备及介质
CN117438040A (zh) * 2023-12-22 2024-01-23 亿慧云智能科技（深圳）股份有限公司 运动课程自适应配置方法、装置、设备及存储介质
CN117438040B (zh) * 2023-12-22 2024-04-05 亿慧云智能科技（深圳）股份有限公司 运动课程自适应配置方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115482580A (zh) 一种基于机器视觉骨骼追踪术的多人评测系统
WO2021057810A1 (zh) 数据处理、训练、识别方法、装置和存储介质
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN108256433B (zh) 一种运动姿态评估方法及系统
CN109522793A (zh) 基于机器视觉的多人异常行为检测与识别方法
CN112464808B (zh) 一种基于计算机视觉的跳绳姿态及个数识别方法
CN110448870B (zh) 一种人体姿态训练方法
CN112287891B (zh) 基于表情行为特征提取的通过视频评估学习专注力的方法
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
CN113516005B (zh) 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN107863153A (zh) 一种基于智能大数据的人体健康特征建模测量方法与平台
US11869200B2 (en) ML model arrangement and method for evaluating motion patterns
CN112329571A (zh) 一种基于姿态质量评估的自适应人体姿态优化方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和系统
CN116189301A (zh) 一种基于姿态估计的立定跳远动作规范性评估方法
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN115761901A (zh) 一种骑马姿势检测评估方法
Chariar et al. AI trainer: Autoencoder based approach for squat analysis and correction
CN115690902A (zh) 一种健身动作的异常姿态预警方法
CN114092863A (zh) 一种用于多视角视频图像的人体动作评估方法
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
Nguyen et al. An automatic tool for yoga pose grading using skeleton representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination