CN111860157A - 一种运动分析方法、装置、设备和存储介质 - Google Patents

一种运动分析方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111860157A
CN111860157A CN202010542967.8A CN202010542967A CN111860157A CN 111860157 A CN111860157 A CN 111860157A CN 202010542967 A CN202010542967 A CN 202010542967A CN 111860157 A CN111860157 A CN 111860157A
Authority
CN
China
Prior art keywords
action
motion
dimensional
characteristic
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010542967.8A
Other languages
English (en)
Other versions
CN111860157B (zh
Inventor
李建伟
郭天晓
沈燕飞
胡庆锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sport University
Original Assignee
Beijing Sport University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sport University filed Critical Beijing Sport University
Priority to CN202010542967.8A priority Critical patent/CN111860157B/zh
Publication of CN111860157A publication Critical patent/CN111860157A/zh
Application granted granted Critical
Publication of CN111860157B publication Critical patent/CN111860157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种运动分析方法，包括根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集；根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。本发明无需大规模的计算资源，提升对健身动作识别与评估的准确度。本发明还涉及一种运动分析装置、存储介质和设备。

Description

一种运动分析方法、装置、设备和存储介质
技术领域
本发明涉及信息采集分析技术领域，尤其涉及一种运动方法、装置、设备和存储介质。
背景技术
基于视觉信息对人体运动进行分析是计算机视觉技术在体育领域中的重要应用之一，涉及到计算机视觉、模式识别和智能体育等多个领域的理论和技术。目前由于通过对大样本数据集进行模型训练，完成健身动作的分析，造成了需要依赖大规模的计算资源，同时通过对多种动作设置对应的评价规则得到动作评分，导致无法准确评价个性化或定制化健身动作。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种运动分析方法、装置、设备和存储介质。
本发明解决上述技术问题的技术方案如下：
一种运动分析方法，包括；
根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；
根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集；
根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；
根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。
本发明的有益效果是：提供一种运动分析方法，通过人体姿态估计算法和训练人员的动作视频，得到动作视频的一维动作特征向量和二维动作特征点集，根据一维动作特征向量和多类分类器，得到动作视频的动作分类，根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分，实现了无需大规模的计算资源，提高对健身动作识别与评估的准确度。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列，具体包括：
利用OpenPose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；
从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。
采用上述进一步方案的有益效果是：利用OpenPose对动作视频的每帧图像进行骨架识别，得到训练人员的动作骨架序列，并从动作骨架序列中剔除低于预设阈值的置信度对应的关节点的位置信息，提取所述动作骨架序列中的关节点位置信息，得到第一动作集合序列，降低了无效信息的干扰，提高了计算效率。
进一步地，所述根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集，具体包括：
建立人体坐标系，所述人体坐标系的中心点是人体的左右髋节点连线的中点；
将所述第一动作集合序列中的关节点位置信息转换为对应所述人体坐标系的坐标信息，得到第二动作集合序列；
基于所述第二动作集合序列，确定投影区域，其中，所述投影区域覆盖所述第二动作集合序列中的关节点的所有坐标信息；
从所述投影区域中选取预设区域，得到特征区域，并根据所述特征区域所覆盖的所有关节点的坐标信息；
将所述特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到所述二维动作特征点集；
根据所述二维动作特征点集中的动作特征点在所述特征区域中的分布进行编码，得到所述一维动作特征向量。
采用上述进一步方案的有益效果是：将第一动作集合序列中的关节点位置信息转换为对应人体坐标系的坐标信息后确定特征区域，并根据特征区域所覆盖的所有关节点的坐标信息，得到一维动作特征向量和二维动作特征点集，消除了人体运动过程中整体位移对于动作识别的影响，提升了动作识别的准确度。
进一步地，所述根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类，具体包括：
将所述特征区域中的所述一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集；
根据所述动作特征编码集确定对应的特征向量，并将所述特征向量输入所述多类分类器，得到所述动作视频的动作分类。
采用上述进一步方案的有益效果是：将特征区域中的一维动作特征向量的位置分布信息进行线性编码，得到的动作特征编码集确定对应的特征向量，并将特征向量输入多类分类器，得到动作视频的动作分类，提升了健身动作的识别准确度。
进一步地，所述根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分，具体包括：
将所述标准二维动作特征点集Pc和所述训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数评价所述训练人员的动作匹配度；
设计如下的打分函数：
Figure BDA0002539574280000041
其中R是所述标准二维动作特征点集和所述二维动作特征点集间的旋转矩阵，t是所述标准二维动作特征点集和所述二维动作特征点集间的平移向量，l'×l'是所述二维动作特征点集的动作特征点的数量，i是所述二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′；
通过最小化公式的距离误差得到所述训练人员的动作得分，Fscore采用Levenberg-Marquardt(LM)算法迭代求解得到。
采用上述进一步方案的有益效果是：将标准二维动作特征点集Pc和训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数评价训练人员的动作匹配度，得到训练人员的动作得分，提升了评估健身动作中动作得分的精准度。
进一步地，所述多类分类器通过以下方法进行训练：
获取批量历史动作视频，并将所述批量历史动作视频进行处理，得到特征向量训练集和特征向量测试集；
基于支持向量机算法设计了所述多类动作分类器对所述特征向量训练集进行训练，并对所述特征向量测试集进行测试，得到所述多类分类器；
所述多类分类器的目标函数是：
Figure BDA0002539574280000042
其中，
Figure BDA0002539574280000043
是第r个中心为cr方差为
Figure BDA0002539574280000044
的径向基函数，R是径向基函数的个数，ωr是权重因子，b为偏差项。
本发明解决上述技术问题的另一种技术方案如下：一种运动分析装置，包括；
分解模块，用于根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；
分析模块，用于根据所述第一动作集合序列，得到所述动作视频的动作特征向量；
动作识别模块，用于根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；
评估模块，用于根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步地，所述分解模块，用于利用OpenPose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；
从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。
本申请还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述技术方案中任一项所述的运动分析方法的步骤。
此外，本申请还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述技术方案中任一项所述的运动分析方法的步骤。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种运动分析装置的流程示意图；
图2为本发明另一实施例提供的一种运动分析装置的结构示意图；
图3为本发明另一实施例提供的人体坐标系的转换过程示意图；
图4为本发明另一实施例提供的动作识别效果示意图；
图5为本发明另一实施例提供的动作评估效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1本发明实施例提供的一种运动分析装置的流程示意图所示，运动分析方法包括以下步骤：
110、根据人体姿态估计算法OpenPose和训练人员的动作视频，得到训练人员的第一动作集合序列。
120、根据第一动作集合序列，得到动作视频的一维动作特征向量和二维动作特征点集。
130、根据一维动作特征向量和多类分类器，得到动作视频的动作分类。
140、根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分。
基于上述实施例提供的一种运动分析方法，通过人体姿态估计算法和训练人员的动作视频，得到动作视频的一维动作特征向量和二维动作特征点集，根据一维动作特征向量和多类分类器，得到动作视频的动作分类，根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分，实现了无需大规模的计算资源，提高对健身动作识别与评估的准确度。
基于上述实施例，进一步地，步骤110中具体包括：
111、利用OpenPose对动作视频的每帧图像进行骨架识别，得到训练人员的动作骨架序列，动作骨架序列包括关节点位置信息及对应的置信度。
112、从动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取动作骨架序列中的关节点位置信息，得到第一动作集合序列。
进一步地，步骤120中具体包括：
121、建立人体坐标系，人体坐标系的中心点是人体的左右髋节点连线的中点。
122、将第一动作集合序列中的关节点位置信息转换为对应人体坐标系的坐标信息，得到第二动作集合序列。
123、基于第二动作集合序列，确定投影区域，其中，投影区域覆盖第二动作集合序列中的关节点的所有坐标信息。
124、将特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到二维动作特征点集。
125、根据二维动作特征点集中的动作特征点在特征区域中的分布进行编码，得到一维动作特征向量。
进一步地，步骤130中具体包括：
131、将特征区域中的一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集。
132、根据动作特征编码集确定对应的特征向量，并将特征向量输入多类分类器，得到动作视频的动作分类。
进一步地，步骤140中具体包括：
将标准二维动作特征点集Pc和训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数评价训练人员的动作匹配度。
设计如下的打分函数：
Figure BDA0002539574280000081
其中R是标准二维动作特征点集和二维动作特征点集间的旋转矩阵，t是标准二维动作特征点集和二维动作特征点集间的平移向量，l'×l'是二维动作特征点集的动作特征点的数量，i是二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′。
通过最小化公式的距离误差得到训练人员的动作得分，Fscore采用Levenberg-Marquardt(LM)算法迭代求解得到。进一步地，多类分类器通过以下方法进行训练：
获取批量历史动作视频，并将所述批量历史动作视频进行处理，得到特征向量训练集和特征向量测试集；
基于支持向量机算法设计了多类动作分类器对特征向量训练集进行训练，并对特征向量测试集进行测试，得到多类分类器；
多类分类器的目标函数是：
Figure BDA0002539574280000082
其中，
Figure BDA0002539574280000083
是第r个中心为cr方差为
Figure BDA0002539574280000084
的径向基函数，R是径向基函数的个数，ωr是权重因子，b为偏差项。
应理解，使用人体姿态估计算法Openpose提取训练人员的动作视频中的动作骨架序列，例如对包含25个关节点的动作集合序列进行精简，删除置信度低即对动作识别贡献很小的双目、双耳、足趾及足跟等关节点，建立包含15个关节点的动作集合序列，对于包含N帧图像的动作集合序列在图像坐标系统中第i帧图像中第j个关节点的坐标表示为(xi,j,yi,j)，其中1<i<N,1<j<15。
由于有些健身动作的复杂动态会在图像坐标系中人体整体位移，在对动作集合序列投影时，无关位移过大会降低有效动作特征的识别度，从而对识别结果造成影响。为消除人体整体位移对动作识别的影响，建立人体坐标系。动作集合序列从图像坐标系O-XY变换到人体坐标系B-UV的变换公式
Figure BDA0002539574280000091
其中，(ui,j,vi,j)为第i帧第j个关节点在人体坐标系B-UV中的坐标，(xi,j,yi,j)为第i帧第j个关节点在图像坐标系O-XY中的坐标,(xi,hip,yi,hip)为动作集合序列中第i帧的髋关节中点hip的坐标。通过将动作集合序列转换至人体坐标系B-UV，使得动作轨迹围绕人体髋关节中点分布，降低了人体整体位移对动作识别的影响。
为了提取人体关节点所在的图像区域，在人体坐标系中选取一个最小投影区域使其能包含全部动作轨迹信息，在人体坐标系B-UV中，假设存在以原点B为对角线交点的正方形区域Q，该区域包含所有关节点而且任意关节点(ui,j,vi,j)满足如下关系：
Figure BDA0002539574280000092
其中，l×l为该投影区域的尺寸。l的取值为max(u_range,v_range)，u_range和v_range分别为动作集合序列中横纵坐标跨度的最大值，可以通过下式得到
Figure BDA0002539574280000093
在投影区域Q中选取一个尺寸为l'×l'的特征区域Q′，通过下式得到
Figure BDA0002539574280000094
其中，pk＝(uk,vk)表示特征区域Q′中第k个动作特征点。特征区域Q′内所有动作特征点构成二维动作特征点集，表示为
Figure BDA0002539574280000095
K为特征区域中所包含动作特征点数量。
对特征区域Q′中的动作特征向量进行编码，令
Figure BDA0002539574280000096
为一含有K个动作特征点的一维编码集合，sk为特征区域中第k个动作特征点的一维动作特征向量，取值sk＝l′×vk+uk,1≤k≤K，K取值是大于1的正整数。经过以上步骤，可以提取出尺寸较小的特征区域表示人体动作，实现特征区域增强。降低了人体体型差异对动作识别影响，同时将人体动作特征从时间-空间维度变换到了二维，并实现了一维编码。
从健身动作视频到一维动作编码后，集合S中包含特征区域中动作特征点的位置分布信息，基于该信息设计多类分类器实现动作识别。首先，对特征区域Q′进行线性编码提取特征向量，构造一个长度为l'×l'的特征向量
Figure BDA0002539574280000101
其中，zm表示特征向量z中第m个值，zm取值是0或1，代表动作特征点在特征区域中的位置分布，0表示背景区域，1表示关节点轨迹所在区域。基于支持向量机算法设计了一个多类动作分类器对健身动作进行分类识别。该分类器的目标函数
Figure BDA0002539574280000102
Figure BDA0002539574280000103
是第r个中心为cr方差为
Figure BDA0002539574280000104
的径向基函数，R是径向基函数的个数，ωr是权重因子，b为偏差项。
为了评估训练人员的动作的标准度，基于向量的几何配准思想进行教练员和训练人员的动作匹配。通过将标准二维动作特征点集Pc和训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数来评价训练人员的动作匹配度。
设计如下的打分函数：
Figure BDA0002539574280000105
R和t分别是标准动作特征向量和训练人员的动作特征向量间的旋转矩阵和平移向量。通过最小化公式的距离误差得到训练人员的运动表现，Fscore采用Levenberg-Marquardt(LM)算法迭代求解得到，数值越小说明动作误差越小，训练人员的动作越标准。
如图2本发明另一实施例提供的一种运动分析装置的结构示意图所示,运动分析装置包括：
分解模块根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；
分析模块根据所述第一动作集合序列，得到所述动作视频的动作特征向量；
动作识别模块根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；
评估模块根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。
进一步地，分解模块，用于利用OpenPose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；
从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。
进一步地，分析模块，用于建立人体坐标系，所述人体坐标系的中心点是人体的左右髋节点连线的中点；
将所述第一动作集合序列中的关节点位置信息转换为对应所述人体坐标系的坐标信息，得到第二动作集合序列；
基于所述第二动作集合序列，确定投影区域，其中，所述投影区域覆盖所述第二动作集合序列中的关节点的所有坐标信息；
从所述投影区域中选取预设区域，得到特征区域，并根据所述特征区域所覆盖的所有关节点的坐标信息；
将所述特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到所述二维动作特征点集；
根据所述二维动作特征点集中的动作特征点在所述特征区域中的分布进行编码，得到所述一维动作特征向量。
进一步地，动作识别模块，用于将所述特征区域中的所述一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集；
根据所述动作特征编码集确定对应的特征向量，并将所述特征向量输入所述多类分类器，得到所述动作视频的动作分类。
进一步地，评估模块，用于将所述标准二维动作特征点集Pc和所述训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数评价所述训练人员的动作匹配度；
设计如下的打分函数：
Figure BDA0002539574280000121
其中R是所述标准二维动作特征点集和所述二维动作特征点集间的旋转矩阵，t是所述标准二维动作特征点集和所述二维动作特征点集间的平移向量，l'×l'是二维动作特征点集的动作特征点的数量，i是二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′；
通过最小化公式的距离误差得到所述训练人员的动作得分，Fscore采用Levenberg-Marquardt(LM)算法迭代求解得到。
此外，本申请还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行根据上述技术方案中任一项所述的业务组件复用方法的步骤。
本申请还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述技术方案中任一项所述的业务组件复用方法的步骤。
下面结合实例，对本发明的技术效果做进一步说明：
使用两台主光轴互相垂直的GoPro Hero 7Black相机拍摄健身动作视频并提取人体运动骨架信息。两台相机分为主机位和副机位，分别拍摄运动者的正面和侧面。主机位相机用于拍摄健身动作主要特征的投影平面，在执行不同的动作时，根据动作特点选择主机位拍摄运动者的矢状面或冠状面。设计了28种健身动作，动作分类如表1所示，主要包含力量练习，拉伸练习和综合练习，进一步可细化分为器械和徒手练习，静态和动态练习。有24位运动者参与拍摄，每位运动者执行全套动作记作1人次视频数据，共整理了5850段视频作为视频数据集。
表1
Figure BDA0002539574280000131
如图3所示人体坐标系的投影过程，将动作集合序列中的关节点坐标信息连续投影到垂直于人体主光轴的平面上，在投影的过程中将关节点坐标从图像坐标系变换到人体坐标系上。如图4是健身动作数据集上的动作识别效果图，共展示了36个健身动作测试样本的特征区域及其识别结果。图5动作评估效果图，共展示了6名受试者与教练的动作匹配误差，分数越低说明动作越标准，说明了本申请可以对健身动作进行分类识别并对动作的执行质量进行准确评价。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种运动分析方法，其特征在于，包括：
根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；
根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集；
根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；
根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。
2.根据权利要求1所述的运动分析方法，其特征在于，所述根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列，具体包括：
利用OpenPose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括关节点位置信息及对应的置信度；
从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。
3.根据权利要求2所述的运动分析方法，其特征在于，所述根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集，具体包括：
建立人体坐标系，所述人体坐标系的中心点是人体的左右髋节点连线的中点；
将所述第一动作集合序列中的关节点位置信息转换为对应所述人体坐标系的坐标信息，得到第二动作集合序列；
基于所述第二动作集合序列，确定投影区域，其中，所述投影区域覆盖所述第二动作集合序列中的关节点的所有坐标信息；
从所述投影区域中选取预设区域，得到特征区域，并根据所述特征区域所覆盖的所有关节点的坐标信息；
将所述特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到所述二维动作特征点集；
根据所述二维动作特征点集中的动作特征点在所述特征区域中的分布进行编码，得到所述一维动作特征向量。
4.根据权利要求3所述的运动分析方法，其特征在于，所述根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类，具体包括：
将所述特征区域中的所述一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集；
根据所述动作特征编码集确定对应的特征向量，并将所述特征向量输入所述多类分类器，得到所述动作视频的动作分类。
5.根据权利要求3所述的运动分析方法，其特征在于，所述根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分，具体包括：
将所述标准二维动作特征点集Pc和所述训练人员的二维动作特征点集Ps做几何变化，构建距离均方差函数评价所述训练人员的动作匹配度；
设计如下的打分函数：
Figure FDA0002539574270000021
其中R是所述标准二维动作特征点集和所述二维动作特征点集间的旋转矩阵，t是所述标准二维动作特征点集和所述二维动作特征点集间的平移向量，l'×l'是所述二维动作特征点集中的动作特征点的数量，i是所述二维动作特征点集中的动作特征点的序号，取值范围是1至l′×l′；
通过最小化公式的距离误差得到所述训练人员的动作得分，Fscore采用Levenberg-Marquardt(LM)算法迭代求解得到。
6.根据权利要求1-5中任一项所述的运动分析方法，其特征在于，所述多类分类器通过以下方法进行训练：
获取批量历史动作视频，并将所述批量历史动作视频进行处理，得到特征向量训练集和特征向量测试集；
基于支持向量机算法设计了所述多类动作分类器对所述特征向量训练集进行训练，并对所述特征向量测试集进行测试，得到所述多类分类器；
所述多类分类器的目标函数是：
Figure FDA0002539574270000031
其中，
Figure FDA0002539574270000032
是第r个中心为cr方差为
Figure FDA0002539574270000033
的径向基函数，R是径向基函数的个数，ωr是权重因子，b为偏差项。
7.一种运动分析装置，其特征在于，包括：
分解模块，用于根据人体姿态估计算法OpenPose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；
分析模块，用于根据所述第一动作集合序列，得到所述动作视频的动作特征向量；
动作识别模块，用于根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；
评估模块，用于根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。
8.根据权利要求7所述的运动分析装置，其特征在于，
所述分解模块，用于利用OpenPose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；
从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。
9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-6中任一项所述的运动分析方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的运动分析方法的步骤。
CN202010542967.8A 2020-06-15 2020-06-15 一种运动分析方法、装置、设备和存储介质 Active CN111860157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542967.8A CN111860157B (zh) 2020-06-15 2020-06-15 一种运动分析方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542967.8A CN111860157B (zh) 2020-06-15 2020-06-15 一种运动分析方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111860157A true CN111860157A (zh) 2020-10-30
CN111860157B CN111860157B (zh) 2023-12-26

Family

ID=72986610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542967.8A Active CN111860157B (zh) 2020-06-15 2020-06-15 一种运动分析方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111860157B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229807A (zh) * 2021-05-17 2021-08-10 四川大学华西医院 人体康复评估装置、方法、电子设备及存储介质
CN113313017A (zh) * 2021-05-27 2021-08-27 中科院合肥技术创新工程院 一种无器械体能训练方法及系统
CN113327267A (zh) * 2021-07-15 2021-08-31 东南大学 一种基于单目rgb视频的动作评价方法
CN113850248A (zh) * 2021-12-01 2021-12-28 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质
CN114584685A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种赛况展示方法、装置、计算机设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344692A (zh) * 2018-08-10 2019-02-15 华侨大学 一种运动质量评价方法及系统
CN109344790A (zh) * 2018-10-16 2019-02-15 浩云科技股份有限公司 一种基于姿态分析的人体行为分析方法及系统
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
JP2020086823A (ja) * 2018-11-22 2020-06-04 株式会社富士通アドバンストエンジニアリング 動作評価装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344692A (zh) * 2018-08-10 2019-02-15 华侨大学 一种运动质量评价方法及系统
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
CN109344790A (zh) * 2018-10-16 2019-02-15 浩云科技股份有限公司 一种基于姿态分析的人体行为分析方法及系统
CN109543576A (zh) * 2018-11-09 2019-03-29 石家庄铁道大学 基于骨骼检测和三维重建的列车驾驶员检测方法
JP2020086823A (ja) * 2018-11-22 2020-06-04 株式会社富士通アドバンストエンジニアリング 動作評価装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANWEI LI ETC: ""EFFICIENT FITNESS ACTION ANALYSIS BASED ON SPATIO-TEMPORAL FEATURE ENCODING"", 《2020 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》, pages 1 - 5 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584685A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 一种赛况展示方法、装置、计算机设备及可读存储介质
CN113229807A (zh) * 2021-05-17 2021-08-10 四川大学华西医院 人体康复评估装置、方法、电子设备及存储介质
CN113313017A (zh) * 2021-05-27 2021-08-27 中科院合肥技术创新工程院 一种无器械体能训练方法及系统
CN113327267A (zh) * 2021-07-15 2021-08-31 东南大学 一种基于单目rgb视频的动作评价方法
CN113850248A (zh) * 2021-12-01 2021-12-28 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质
CN113850248B (zh) * 2021-12-01 2022-02-22 中科海微(北京)科技有限公司 运动姿态评估方法、装置、边缘计算服务器及存储介质

Also Published As

Publication number Publication date
CN111860157B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN111860157B (zh) 一种运动分析方法、装置、设备和存储介质
CN112861624A (zh) 一种人体姿态检测方法、系统、存储介质、设备及终端
CN109522850B (zh) 一种基于小样本学习的动作相似度评估方法
CN111709409A (zh) 人脸活体检测方法、装置、设备及介质
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
WO2017161734A1 (zh) 通过电视和体感配件矫正人体动作及系统
CN112464808A (zh) 一种基于计算机视觉的跳绳姿态及个数识别方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN113516064A (zh) 体育运动的动作判定方法、装置、设备及存储介质
CN113269013B (zh) 对象行为分析方法、信息显示方法及电子设备
CN111080676B (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
Yang et al. Research on face recognition sports intelligence training platform based on artificial intelligence
CN115205961A (zh) 一种羽毛球动作识别方法、装置、电子设备及存储介质
CN115761901A (zh) 一种骑马姿势检测评估方法
CN115731608A (zh) 基于人体姿态估计的体育运动训练方法与系统
CN115601823A (zh) 一种中小学生专注度追踪及评估方法
Izutov Ligar: Lightweight general-purpose action recognition
CN110148202B (zh) 用于生成图像的方法、装置、设备和存储介质
Murthy et al. Divenet: Dive action localization and physical pose parameter extraction for high performance training
CN112633083A (zh) 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法
CN111028949A (zh) 一种基于物联网的医学影像检查训练系统及方法
Xie Intelligent Analysis Method of Sports Training Posture Based on Artificial Intelligence
Li Image error correction of hockey players' step-by-step pull shooting based on Bayesian classification
CN117542121B (zh) 基于计算机视觉的智能化训练考核系统及方法
Xie Institute of Physical Education, Henan University Kaifeng, Henan 475001, China mengxie0719@ 163. com

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant