CN113255522B - 基于时间一致性的个性化运动姿态估计与分析方法及系统 - Google Patents

基于时间一致性的个性化运动姿态估计与分析方法及系统 Download PDF

Info

Publication number
CN113255522B
CN113255522B CN202110578414.2A CN202110578414A CN113255522B CN 113255522 B CN113255522 B CN 113255522B CN 202110578414 A CN202110578414 A CN 202110578414A CN 113255522 B CN113255522 B CN 113255522B
Authority
CN
China
Prior art keywords
action
actions
video
frame
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110578414.2A
Other languages
English (en)
Other versions
CN113255522A (zh
Inventor
王露潼
杨承磊
鲍西雨
奚彧婷
郑雅文
盖伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110578414.2A priority Critical patent/CN113255522B/zh
Publication of CN113255522A publication Critical patent/CN113255522A/zh
Application granted granted Critical
Publication of CN113255522B publication Critical patent/CN113255522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能运动辅助领域，提供了一种基于时间一致性的个性化运动姿态估计与分析方法及系统。其中，该方法包括识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；根据动作差异度生成姿态调整建议；根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。其能够清晰展现动作过程中的每个细节，为用户提供动作指导意见，精确指出每个动作的偏差。

Description

基于时间一致性的个性化运动姿态估计与分析方法及系统
技术领域
本发明属于智能运动辅助领域，尤其涉及一种基于时间一致性的个性化运动姿态估计与分析方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
瑜伽、太极等运动有益于人的身心健康，但其动作学习起来比较困难，往往需要专业教练面对面的示范与不断纠错才能学好。由于受到时间、地点等因素的制约，更多的人只好通过观看网络视频来学习。然而，因缺少专业的纠错指导，人们学习的动作往往达不到标准，反而影响身体健康。智能运动辅助技术能够辅助动作学习，帮助学习者提高效率。但部分系统需要动捕设备、kinect等专业设备，造价较高，难以普及。而基于单目视频进行运动分析无需昂贵专业设备，能够打破时间和场景的限制，且能够较为全面地分析人体动作，帮助学习者矫正运动姿态。
据发明人了解，目前基于单目视频的智能运动辅助学习方法仍存在以下问题：(1)基于视频的动作评估方法还不能很好的自动对齐不同视频之间的同一动作。比如：太极等运动的动作速度因人而异，即使同一人的速度也可能存在差异。不同视频(如教学视频与学习视频)中的动作难以同步，用户无法同时对比观看学习视频与教学视频，缺少动作参照。(2)缺乏动作纠正机制，不能评估人体多个部位动作差异，用户缺少反馈，无法得知动作偏差、动作标准度等比对细节，难以开展学习。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于时间一致性的个性化运动姿态估计与分析方法及系统，其能够对运动过程中每帧的动作进行分析，进行多尺度比对，清晰展现动作过程中的每个细节，为用户提供动作指导意见，精确指出每个动作的偏差。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于时间一致性的个性化运动姿态估计与分析方法。
一种基于时间一致性的个性化运动姿态估计与分析方法，其包括：
识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；
对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；
基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；
根据动作差异度生成姿态调整建议；
根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。
本发明的第二个方面提供一种基于时间一致性的个性化运动姿态估计与分析系统。
一种基于时间一致性的个性化运动姿态估计与分析系统，其包括：
姿态提取模块，其用于识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；
视频对齐模块，其用于对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；
动作分析模块，其用于基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；
反馈模块，其用于根据动作差异度生成姿态调整建议；
评分模块，其用于根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
与现有技术相比，本发明的有益效果是：
(1)本发明允许用户根据自身需求或训练目标选择自己上传或系统携带的教学模板视频与学习视频，对自己喜爱的运动进行比对分析，满足多样性的个性化训练需求；本系统不需要昂贵的动作捕捉设备，只需采用手机相机等普通摄像头即可进行分析。
(2)本发明在单目视频中进行人体姿态检测，上传教练教学视频与学生自学视频，采用Openpose方法提取人体关键骨骼坐标，并进行错点、漏点修复与平滑去噪，以得到更准确的骨骼关节坐标。
(3)采用动作边界切割方法将长视频分割成短视频序列，并采用TCC方法对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致，逐帧循环对齐不同速度的相同动作序列，用户可以拖动进度条，对比查看对齐后的教练动作与自身学习动作。
(4)基于骨骼点对视频中的动作进行逐帧分析，捕获用户在练习过程中的不规范动作，对运动过程中每帧的动作进行分析，进行多尺度比对，清晰展现动作过程中的每个细节，为用户提供动作指导意见，逐帧计算角度差异值，根据用户的不规范动作生成姿态调整建议，精确指出每个动作的偏差。
(5)基于运动金字塔模型生成科学的多层级得分，帮助用户进行学习。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例的基于时间一致性的个性化运动姿态估计与分析方法流程图；
图2(a)为本发明实施例的Openpose捕获的关节点；
图2(b)为本发明实施例的太极骨骼定位图；
图3为本发明实施例的Openpose整体流程图；
图4(a)为本发明实施例的左腕、左踝、右肘关节运动横坐标序列图；
图4(b)为本发明实施例的左腕、左踝、右肘关节运动纵坐标序列图；
图5为本发明实施例的人体姿态特征金字塔模型图；
图6为本发明实施例应用于具体实施例学习的实例图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
下面以进行太极拳学习训练进行实例说明，当然，在其他实施例中，可以进行其他场景训练。
一种基于时间一致性的个性化姿态估计与分析方法及系统，其允许用户根据自身需求或训练目标选择自己上传或系统携带的教学模板视频与学习视频，对视频分别进行骨骼坐标提取，并基于上下文对关键点坐标进行优化，修复错点、漏点，以获取更准确的骨骼关节坐标；然后根据人体姿态特征进行短序列提取，并采用TCC算法对每个短序列进行逐帧对齐配准；最后基于运动金字塔模型进行多尺度特征比对，并输出比对建议与得分，来帮助学习者矫正运动姿态。该系统允许用户对自己喜爱的多种运动进行比对分析，满足多样性的个性化训练需求，能够有效帮助用户提高学习效率。
实施例一
如图1所示，本实施例提供了一种基于时间一致性的个性化运动姿态估计与分析方法，其具体包括如下步骤：
步骤S101：识别教学视频与学生自学视频中的动作，提取关键骨骼坐标。
具体地，用户首先选择使用内置模式或者自由上传模式，若选择内置模式，则可使用系统内置的教学视频，并通过摄像头录制学习视频；若选择自由上传模式，则可使用来自网络或自行录制的教学视频，然后通过摄像头录制学习视频。
人体姿势可定义为某一时刻身体关节点之间的相对位置，由于关节角度受人体高矮、胖瘦、肤色、衣着等外貌特征影响较小，能够反映人体姿态，故本发明采用关节角度衡量姿势特征。图2(a)所示为Openpose捕获的关节点。Openpose是一种基于机器学习的姿态检测方法，能够在单目视频中定位人体的25个关节点，捕获关节点的二维位置信息，关节点所对应名称详见表1。图2(b)展示了太极骨骼定位图。
步骤S101的具体过程为：
进行人体部位识别，识别人体轮廓中的不同部位；
进行关键骨骼点定位，采用Openpose识别25个关键关节点，捕获用户身体各个关节点的二维位置信息；
进行上下文搜索优化，根据运动连续性对低置信度坐标位置进行插值优化，具体搜索优化方法为：
当关节点置信度小于50％时，对坐标进行进一步优化。首先对于当前帧进行前向搜索和后向搜索，取置信度较高的骨骼坐标对当前坐标进行线性插值，即对于时间tn上的坐标(xn，yn)，在x方向上有：
Figure BDA0003085146430000071
在y方向上有：
Figure BDA0003085146430000072
得到n处优化后坐标点(xn′，yn′)。
式中，tn为当前点所处时间，tn-1为上一点所处时间，tn+1是下一点所处时间，xn、yn为tn时刻的横、纵骨骼坐标，xn-1，yn-1为tn-1时刻的横纵骨骼坐标，xn+1，yn+1为tn+1时刻的横纵骨骼坐标，xn′，yn′为优化后坐标点。
进行多项式拟合平滑，进行二次优化，去除离群值，具体方法为：依据间断点设定分段，并根据分段长度设置窗口尺寸阈值，采用Savitzky-Golay滤波器，基于最小二乘法对骨骼时间序列进行k-1阶多项式拟合，设置窗口大小为2m+1，取左右各m个坐标点，最终得到滤波后的骨骼序列X、Y。
如图3所示，首先采用openpose方法提取骨骼坐标，然后根据运动连续性对低置信度坐标位置进行优化，对于当前帧进行前向搜索和后向搜索，取置信度较高的骨骼坐标对当前坐标进行线性插值，同时，设置可变窗口对骨骼序列进行平滑计算，以消除抖动，获取更流畅的视觉效果。
步骤S102：对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致。
在具体实施中，步骤S102的过程包括：
步骤S1021：进行关键帧分割，基于动作边界提取关键帧，将长视频分割为短视频。对于关节点m，n有：
Figure BDA0003085146430000081
式中，xm，ym为关节点m的横、纵坐标，xn，yn为关节点n的横、纵坐标，dmn为关键点m与关节点n之间的距离。
设A，B，C分别为关节点i，j，k的坐标值，则有A(xi，yi)，B(xj，yj)，C(xk，yk)，计算关节间距离，则有c＝|AB|＝dAB，a＝|BC|＝dBC，b＝|AC|＝dAC，计算得到关节角度：
Figure BDA0003085146430000082
式中，a为关节点j、k之间的欧式距离，b为关节点i、k之间的欧式距离，c为关节点i、j之间的欧氏距离，cos θ为关节i、j、k之间的夹角。
以太极八法为例，关键帧为起势、定步揽雀尾(东南)、定步揽雀尾(西南)、活步揽雀尾(东南)、活步揽雀尾(西南)、抹捌肘靠(东南)、抹捌肘靠(西南)、收势，部分动作腿部、脚部姿势变化明显，部分动作手部、肘部动作较为明显。提取运动边界值，融合关节距离、关节角度特征，基于动作边界帧将长视频分割为短视频；
步骤S1022：采用TCC方法对短视频进行嵌入式编码，采用最近邻搜索方法对当前视频中的每一帧进行检索，寻找匹配视频的最相似帧，对两个视频进行逐帧配准对齐。
具体的，设两个视频序列分别为S和T，长度分别为N和M，设视频S＝{s1，s2，...，sN}，对每帧进行嵌入式编码，首先将si输入ResNet编码网络，得到其嵌入为ui＝φ(si，θ)，vi＝φ(ti，θ)，则两个视频嵌入分别为U＝{u1，u2，...，uN}和V＝{v1，v2，...，vM}。对于序列s中的参考帧ui∈U，在序列T嵌入空间中寻找参考帧的最近邻帧vj，即vj＝argminυ∈V||ui-v||。然后在视频S的嵌入空间中再次寻找NN2中vj的最近邻帧，即为uk＝argminu∈U||vj-u||。当且仅当i＝k时，即点ui循环回到其自身，则认为ui点是周期一致的，当周期一致的点的数量最大时，得到嵌入编码。
计算V中ui的soft近邻
Figure BDA0003085146430000091
然后在U中寻找
Figure BDA0003085146430000092
的最近邻。设序列U中的每个帧都是一个单独的类，计算
Figure BDA0003085146430000093
与所有uk∈U之间的距离对数，设置第i个真值标签为1，其他真值标签y均为零，对于ui，则有其近邻
Figure BDA0003085146430000094
为：
Figure BDA0003085146430000095
式中，ui为视频S的嵌入，vj为视频V中ui的最近邻，α为相似度分布，j为视频帧号，即ui与vj∈V之间的相似度，vk为最近邻，M为视频T的总帧数。
同时解决N类(即U中的帧数)分类问题，若logits为
Figure BDA0003085146430000096
设预测标签为
Figure BDA0003085146430000097
最后计算交叉熵损失，即：
Figure BDA0003085146430000098
式中，
Figure BDA0003085146430000101
为预测标签，y为真值标签，j为帧序号，Lcbc为交叉熵损失。
为使模型在循环时返回更近的邻居，设置时间邻近性周期回归，首先在V中寻找最近邻
Figure BDA0003085146430000102
然后计算
Figure BDA0003085146430000103
与uk∈U之间的相似度向量β，即：
Figure BDA0003085146430000104
式中，β是相似度随时间的离散分布，uj为视频S的嵌入，vj为视频T的嵌入uk
Figure BDA0003085146430000105
分别为vj、uj的最近邻，N为视频S的总帧数。对β设置高斯先验最小化归一化平方距离，定义最终目标函数为：
Figure BDA0003085146430000106
式中，
Figure BDA0003085146430000107
λ为正则化权重，β是相似度随时间的离散分布，i、k为帧序号，N为总帧数。
图4(a)和图4(b)为太极动作中部分关节轨迹变化图。部分动作腿部、脚部姿势变化明显，部分动作手部、肘部动作较为明显。抽取一名学员视频与一名教练视频，绘制其太极八法运动轨迹，图4(a)(左)为学习视频中左腕、左踝、右肘的横坐标位置变化，图4(a)(右)为教学视频中左腕、左踝、右肘的横坐标位置变化。图4(b)(左)为学习视频中左腕、左踝、右肘的纵坐标位置变化，图4(b)(右)为教学视频中左腕、左踝、右肘的纵坐标位置变化，通过对关节角度进行算法分析，即可识别动作边界，基于边界关键帧对视频进行预分割；
步骤S103：基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度。
步骤S104：根据动作差异度生成姿态调整建议。
步骤S104具体过程包括：
计算标准动作与学习动作中两两关节之间的欧式距离，计算关节角度与关节角度差异度，并根据学习需要设定阈值，若角度差异度大于所设阈值，则输出关节角度调整建议，否则，则输出动作合格。
设A，B，C分别为关节点i，j，k的坐标值，分别计算关节间距离dtea、dstu与关节角度θtea与θstu，
对于每对视频帧，计算关节角度差异度：
Figure BDA0003085146430000111
式中，θstu为学习者关节角度，θtea为标准视频关节角度，可根据学习需要设定阈值，若P大于所设阈值，输出关节角度调整建议。
步骤S105：根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。
具体地，步骤S105具体过程包括：
建立关节、肢体、躯干、动作四层金字塔模型，提取关节特征、肢体特征、躯干特征、动作特征，从细粒度到粗粒度分析两个视频动作之间的差别，并计算基于每帧动作的加权得分。基于不同关节对动作的重要度生成每个关节得分Ki。
对于躯干姿态，计算所有角度差异度得分，即为：
Figure BDA0003085146430000121
式中，Ki为关节i的得分，Wi为关节i的权重，k关节个数，F为当前帧姿态总得分。
对于整套动作，由于关键动作相较过程动作更为重要，设置权值，计算关键动作与基于过程动作的加权得分，最终生成针对整段视频的动作标准度分数：
Figure BDA0003085146430000122
式中，m，n分别为关键动作帧个数与过程帧个数，Wkeyframe与Wordframe分别为关键动作帧权重与过程帧权重，Fi与Fj分别为关键动作帧和过程帧的角度差异度得分，TotalScore为整段视频的总得分。
如图5所示，为人体姿态特征金字塔模型图。人体解剖学将运动系统分为关节、肢体和躯干三个层次，形成三层金字塔模型。在此基础上，本发明结合人体解剖学特征与运动特征，将特征金字塔自上而下分别定义为关节特征、肢体特征、躯干特征、动作特征，建立四层运动金字塔模型，在不同尺度从局部动作到整体对两个视频进行动作比对分析，衡量学习者做出的动作与教练动作之间的差别。
如图6所示，为太极拳示例学习界面图。在系统中，针对每帧动作输出多个关节的角度及动作调整意见，并为用户生成动作得分。用户可拖动进度条对每个动作进行直观对比和查看，并实时与教练范例动作进行对比。图6左边为学习视频，右边为发明人录制的专业太极教练教学视频，视频中的太极教练是中国太极拳名家、杨氏太极拳第六代传人。在学习视频(左)中，学习者右臂、左膝、右膝满足要求，系统生成建议“左臂动作合格”，“左膝动作合格”，“右膝动作合格”；左肘角度较小，系统生成建议“请微外放左前臂，增大左大臂和左小臂的角度'；左肩角度较小，生成建议为“请微上提左臂”；右肩角度较小，生成建议为“请微微上提右臂”。
实施例二
本实施例提供了一种基于时间一致性的个性化运动姿态估计与分析系统，其具体包括：
姿态提取模块，其用于识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；
视频对齐模块，其用于对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；
动作分析模块，其用于基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；
反馈模块，其用于根据动作差异度生成姿态调整建议；
评分模块，其用于根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，包括：
识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；
对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；
基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；
根据动作差异度生成姿态调整建议；
根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分；
所述运动金字塔模型为关节、肢体、躯干、动作四层运动金字塔模型；
生成从局部动作到整体动作的多尺度得分的过程为：
提取关节特征、肢体特征、躯干特征和动作特征，分析两个视频动作之间的差别，并计算基于每帧动作的加权得分；
对于整套动作，设置权值，计算关键动作与基于过程动作的加权得分，最终生成针对整段视频的动作标准度分数；
所述基于不同关节对动作的重要度生成每个关节得分Ki；
对于躯干姿态，计算所有角度差异度得分，即为：
Figure FDA0004136456190000011
式中，Ki为关节i的得分，Wi为关节i的权重，k关节个数，F为当前帧姿态总得分；
对于整套动作，由于关键动作相较过程动作更为重要，设置权值，计算关键动作与基于过程动作的加权得分，最终生成针对整段视频的动作标准度分数：
Figure FDA0004136456190000021
式中，m，n分别为关键动作帧个数与过程帧个数，Wkeyframe与Wordframe分别为关键动作帧权重与过程帧权重，Fi与Fj分别为关键动作帧和过程帧的角度差异度得分，Total Score为整段视频的总得分；
基于骨骼点对视频中的动作进行逐帧分析，捕获用户在练习过程中的不规范动作，对运动过程中每帧的动作进行分析，进行多尺度比对，清晰展现动作过程中的每个细节，为用户提供动作指导意见，逐帧计算角度差异值，根据用户的不规范动作生成姿态调整建议，精确指出每个动作的偏差。
2.如权利要求1所述的基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，采用OpenPose算法提取关键骨骼坐标。
3.如权利要求2所述的基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，提取关键骨骼坐标之后还包括：对提取的关键骨骼坐标进行错点、漏点修复与平滑去噪。
4.如权利要求1所述的基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，对齐教学视频与学生自学视频中的不同步动作的过程包括：
采用动作边界切割方法将教学长视频与学生自学长视频分割成相应短视频序列；
采用TCC方法对齐教学与学生自学相应短视频序列中的不同步动作。
5.如权利要求1所述的基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，根据动作差异度生成姿态调整建议的过程为：
计算教学视频中的标准动作与学生自学视频中的学习动作中两两关节之间的欧式距离，计算关节角度与关节角度差异度；
根据学习需要设定阈值，若角度差异度大于所设阈值，则输出关节角度调整建议，否则，则输出动作合格。
6.一种基于时间一致性的个性化运动姿态估计与分析系统，利用了如权利要求1所述的基于时间一致性的个性化运动姿态估计与分析方法，其特征在于，包括：
姿态提取模块，其用于识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；
视频对齐模块，其用于对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；
动作分析模块，其用于基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；
反馈模块，其用于根据动作差异度生成姿态调整建议；
评分模块，其用于根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分；
所述运动金字塔模型为关节、肢体、躯干、动作四层运动金字塔模型；
生成从局部动作到整体动作的多尺度得分的过程为：
提取关节特征、肢体特征、躯干特征和动作特征，分析两个视频动作之间的差别，并计算基于每帧动作的加权得分；
对于整套动作，设置权值，计算关键动作与基于过程动作的加权得分，最终生成针对整段视频的动作标准度分数；
所述基于不同关节对动作的重要度生成每个关节得分Ki；
对于躯干姿态，计算所有角度差异度得分，即为：
Figure FDA0004136456190000041
式中，Ki为关节i的得分，Wi为关节i的权重，k关节个数，F为当前帧姿态总得分；
对于整套动作，由于关键动作相较过程动作更为重要，设置权值，计算关键动作与基于过程动作的加权得分，最终生成针对整段视频的动作标准度分数：
Figure FDA0004136456190000042
式中，m，n分别为关键动作帧个数与过程帧个数，Wkeyframe与Wordframe分别为关键动作帧权重与过程帧权重，Fi与Fj分别为关键动作帧和过程帧的角度差异度得分，Total Score为整段视频的总得分。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于时间一致性的个性化运动姿态估计与分析方法中的步骤。
CN202110578414.2A 2021-05-26 2021-05-26 基于时间一致性的个性化运动姿态估计与分析方法及系统 Active CN113255522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110578414.2A CN113255522B (zh) 2021-05-26 2021-05-26 基于时间一致性的个性化运动姿态估计与分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110578414.2A CN113255522B (zh) 2021-05-26 2021-05-26 基于时间一致性的个性化运动姿态估计与分析方法及系统

Publications (2)

Publication Number Publication Date
CN113255522A CN113255522A (zh) 2021-08-13
CN113255522B true CN113255522B (zh) 2023-05-05

Family

ID=77184635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578414.2A Active CN113255522B (zh) 2021-05-26 2021-05-26 基于时间一致性的个性化运动姿态估计与分析方法及系统

Country Status (1)

Country Link
CN (1) CN113255522B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743319B (zh) * 2021-09-07 2023-12-26 三星电子（中国）研发中心 一种自监督型智能健身方案生成方法和装置
CN114764819A (zh) * 2022-01-17 2022-07-19 北京甲板智慧科技有限公司 基于滤波算法的人体姿态估计方法及装置
CN114627559B (zh) * 2022-05-11 2022-08-30 深圳前海运动保网络科技有限公司 基于大数据分析的运动计划规划方法、装置、设备及介质
CN115223406B (zh) * 2022-08-05 2024-05-07 康家豪 虚拟运动教练系统及其控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270461B2 (en) * 2019-01-07 2022-03-08 Genieland Company Limited System and method for posture sequence on video from mobile terminals
CN110751050A (zh) * 2019-09-20 2020-02-04 郑鸿 一种基于ai视觉感知技术的运动教学系统

Also Published As

Publication number Publication date
CN113255522A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113255522B (zh) 基于时间一致性的个性化运动姿态估计与分析方法及系统
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Patrona et al. Motion analysis: Action detection, recognition and evaluation based on motion capture data
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
Thar et al. A proposal of yoga pose assessment method using pose detection for self-learning
CN107909060A (zh) 基于深度学习的健身房健身动作识别方法及装置
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Liu et al. Human pose estimation in video via structured space learning and halfway temporal evaluation
Obdržálek et al. Real-time human pose detection and tracking for tele-rehabilitation in virtual reality
CN110874865A (zh) 三维骨架生成方法和计算机设备
CN112668531A (zh) 一种基于动作识别的运动姿态矫正方法
CN115131879B (zh) 一种动作评价方法及装置
Liu Aerobics posture recognition based on neural network and sensors
Amaliya et al. Study on hand keypoint framework for sign language recognition
Kanase et al. Pose estimation and correcting exercise posture
Sheu et al. Improvement of human pose estimation and processing with the intensive feature consistency network
KR102181828B1 (ko) 4d리깅정보 복원장치 및 방법
Trejo et al. Recognition of Yoga poses through an interactive system with Kinect based on confidence value
Almasi et al. Investigating the Application of Human Motion Recognition for Athletics Talent Identification using the Head-Mounted Camera
Jessika et al. A study on part affinity fields implementation for human pose estimation with deep neural network
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
CN113989928A (zh) 一种动作捕捉和重定向方法
Do et al. Multi-modal transformer for indoor human action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant