CN110728220A

CN110728220A - 基于人体动作骨骼信息的体操辅助训练方法

Info

Publication number: CN110728220A
Application number: CN201910937319.XA
Authority: CN
Inventors: 黄剑波; 赵航; 何小青; 丁友东; 孙海垠; 于冰
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2020-01-24

Abstract

本发明公开了一种基于人体动作骨骼信息的体操辅助训练方法，采用光学动作捕捉系统获取专业人士和学习者所做的体操动作骨骼数据，以序列的形式存储，专业人士数据作为参考序列，建立参考数据库；再通过学习者的动作骨架信息和参考动作骨架信息进行对比，得到动作相似性和错误姿势。本发明方法能快速识别人体关节部位的动作信息，实时进行动作评价和体操训练反馈，能对体操学习者的动作进行科学可观的评价，发现动作的问题，找到纠正错误姿势、优化提升动作标准和得出改进的方向，对体操学习者的动作加以评价以及指导，提高学习者的体操学习效果。本发明提出的方法具有一定的工程应用价值。

Description

基于人体动作骨骼信息的体操辅助训练方法

技术领域

本发明涉及一种训练测试和分析方法，特别是涉及一种结合视频处理及计算机视觉的训练辅助测试和分析方法，应用于辅助训练和人体动作识别分析技术领域。

背景技术

动作比对分析归属于人类行为分析研究的范畴，比对分析是比较、对比的分析方式，可以是一对多的动作比对，也就是“参考”与“非参考”动作进行比对，当然也可以对随机的两个动作进行比对，但最终都需要依据两者之间的相似程度对动作进行评价。动作识别在人类动作分析中属于热门方向，主要研究的是该动作属于哪一类，而动作比对分析研究的重心是动作评价，也就是该动作做得怎么样。一般说来，只有在某些专业领域的动作才会涉及到动作规范的评价问题。在研究过程中，特定领域的专业人士所做的动作可以作为参考动作，测试人员的动作数据作为测试动作。因为受到人类主观因素的影响，不同人类所做的动作在速度、力度等方面会产生多多少少的区别，也因此可能造成动作的不同步，同时人类动作数据维度高、数据量大，在研究中可能遇到诸多困难，国内外诸多学者一直在不断探索研究。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于人体动作骨骼信息的体操辅助训练方法，能对体操学习者的动作进行科学可观的评价，发现动作的问题，找到纠正错误姿势、优化提升动作标准和得出改进的方向，对体操学习者的动作加以评价以及指导，提高学习者的体操学习效果。

为达到上述目的，本发明采用如下技术方案：

一种基于人体动作骨骼信息的体操辅助训练方法，包括如下步骤：

a.采用光学动作捕捉系统，获取专业人士和学习者所做的体操动作骨骼数据，以序列的形式进行数据存储；将专业人士的体操动作骨骼数据作为参考序列，建立参考动作数据库，包含参考动作骨骼信息；将学习者的体操动作骨骼信息作为学习者序列，建立参考数据库；

b.将在所述步骤a中建立的学习者的体操动作骨骼信息和在所述步骤a中建立的参考动作骨骼信息进行对比，得到动作相似性和错误姿势信息，统计分析结果，然后输出体操训练动作训练的结果信息。

作为本发明优选的技术方案，在上述步骤a中，建立参考动作数据库包括如下步骤：配置OptiTrack光学动作捕捉系统，进行专业人士表演，采集专业人士的体操动作数据的采集，进行动作数据的编辑，进行动作数据的保存，建立参考动作数据库。

作为本发明优选的技术方案，在上述步骤b中，输出动作曲线、动作相似度信息和错误姿势图片。

优选上述人体骨骼信息包括人体20个骨骼采集点信息，包括头部、颈部、胸部或背部、左肩、右肩、左肘、右肘、左腕、右腕、左手、右手、髋骨、左膝盖、右膝盖、左踝、右踝、左脚根、右脚跟、左脚趾、右脚趾的骨骼信息。

作为本发明优选的技术方案，在上述步骤b中，体操动作骨骼信息的对比包括如下操作：

b-1.采用K均值聚类算法，进行人体骨骼动作数据预处理，分别提取学习者序列和参考序列的关键帧；

b-2.计算人体骨骼关节点的角度特征；

b-3.计算人体骨骼运动当前帧的瞬间速度特征；

b-4.采用动态时间规划算法，将学习者的体操动作骨骼信息和参考动作骨骼信息进行相似性对比。

作为本发明优选的技术方案，在上述步骤b-1中，在对于人体骨骼数据预处理时，将原始人体运动序列转换成关键帧的方法是：根据不同的动作包含的关键动作数量，确定K值，按照动作的时间比例选取初始中心，最终得到K帧关键帧。

作为本发明优选的技术方案，在上述步骤b-2中，在计算人体骨骼关节点的角度特征时，对于提取人体关节角度特征来说，人体骨骼模型既包括骨骼形状信息，又包括人体骨骼结构信息；根据体操各个动作的不同特征，提取不同关节点的角度特征。

作为本发明优选的技术方案，在上述步骤b-3中，在计算人体骨骼运动当前帧的瞬间速度时，在人体骨骼序列中，每一帧之间的时间间隔是固定的，每一帧的瞬时速度大小相当于前一帧到该帧的关节点变化的差值，计算方式为：

S_Joint,i＝d(P_Joint,i,P_Joint,i-1)

其中，Joint为采集的人体关节点中的其中一个关节点，P_Joint,i为该节点在第i帧的三维坐标，P_Joint,i-1为该节点在第i-1帧的三维坐标，S_Joint,i为该节点在第i帧的瞬时速度，d为两个向量之间的欧氏距离。

作为本发明优选的技术方案，在上述步骤b-4中，在将学习者的体操动作骨骼信息和参考动作骨骼信息进行相似性对比时，采用动态时间规划算法，采用规整函数，用来描述两个数据之间的相似关系；假设要匹配的动作时间序列分别为R和T，分别对应的长度是m和n：

R＝{R₁,R₂,...,R_i,...,R_m}

T＝{T₁,T₂,...,T_j,...,T_n}

其中，R和T序列分别有m和n帧动作，R_i和T_j是任意特征表示，R_m和T_n是第m和n帧的特征表示；在动作比对分析模块中，将参考动作作为模板序列，计作参考序列R，学习者的练习动作队列作为测试序列T；m和n的值可能不相等，当在m和n不相等的时候，则创建m*n的矩阵，计算最短距离来对齐两个动作时间序列，矩阵中的数据点之间的距离表示为：

d(R_i,T_j)＝(R_i-T_j)²

其中，d为两个特征表示之间的欧氏距离；

进行寻找最短路径的程序，规整路径W表示动作时间序列R和T之间的映射关系，如果W中的第a个元素为：W_k＝(i,j)_k，则：

W＝{W₁,W₂,...,W_k,...,W_K}

其中max(m,n)≤K<m+n-1。

优选上述体操为戏曲广播操。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明方法采用K均值聚类算法分别提取学习者序列和参考序列的关键帧，经过这个过程的处理，可以大大减少原始人体骨骼数据的冗余，将原始人体运动序列转换成关键帧，进而能够降低之后比对分析的处理数据量；

2.本发明方法采用动态时间规划算法将学习者和参考动作进行相似性对比，能对亮度变化的视频序列的前景进行分割，具有边缘提取精确且简单易行的优点；

3.本发明方法克服了人类动作数据维度高、数据量大的问题，能快速识别人体关节部位的动作信息，实时进行动作评价和体操训练反馈，对学习者的动作加以评价以及指导，提高学习者的学习效果，发明提出的方法具有一定的工程应用价值。

附图说明

图1为本发明优选实施例基于人体动作骨骼信息的体操辅助训练方法的流程图。

图2为本发明优选实施例方法的建立参考动作数据库的流程图。

图3为本发明优选实施例方法的骨骼节点标号以及夹角示意图。

图4为本发明优选实施例方法的关节点瞬时速度计算示意图。

图5为本发明优选实施例方法的辅助训练结果输出展示界面。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

在本实施例中，参见图1-图5，一种基于人体动作骨骼信息的体操辅助训练方法，体操为戏曲广播操，包括如下步骤：

a.采用光学动作捕捉系统，获取专业人士和学习者所做的戏曲广播操动作骨骼数据，以序列的形式进行数据存储；将专业人士的戏曲广播操动作骨骼数据作为参考序列，建立参考动作数据库，包含参考动作骨骼信息；将学习者的戏曲广播操动作骨骼信息作为学习者序列，建立参考数据库；如图2所示，建立参考动作数据库包括如下步骤：配置OptiTrack光学动作捕捉系统，进行专业人士表演，采集专业人士的体操动作数据的采集，进行动作数据的编辑，进行动作数据的保存，建立参考动作数据库；

b.将在所述步骤a中建立的学习者的戏曲广播操动作骨骼信息和在所述步骤a中建立的参考动作骨骼信息进行对比，得到动作相似性和错误姿势信息，统计分析结果，然后输出戏曲广播操训练动作训练的结果信息。参见图1，体操动作骨骼信息的对比包括如下操作：

b-2.计算人体骨骼关节点的角度特征；

b-3.计算人体骨骼运动当前帧的瞬间速度特征；

在上述步骤b-1中，在对于人体骨骼数据预处理时，将原始人体运动序列转换成关键帧的方法是：根据不同的动作包含的关键动作数量，确定K值，按照动作的时间比例选取初始中心，最终得到K帧关键帧。经过这个过程的处理，可以大大减少原始人体骨骼数据的冗余，将原始人体运动序列转换成关键帧，进而能够降低之后比对分析的处理数据量。

在上述步骤b-2中，在计算人体骨骼关节点的角度特征时，对于提取人体关节角度特征来说，人体骨骼模型既包括骨骼形状信息，又包括人体骨骼结构信息；根据体操各个动作的不同特征，提取不同关节点的角度特征。根据戏曲广播体操各个动作的不同特征，在整个人体的运动过程中，四肢的空间位置很关键，能够表征当前的运动姿势。根据各个动作的特征，我们需要提取不同关节点的角度特征。参见图3，人体20个骨骼关节点标号示意图，人体骨骼信息包括人体20个骨骼采集点信息，包括头部3、颈部2、胸部或背部1、左肩8、右肩4、左肘9、右肘5、左腕10、右腕6、左手11、右手7、髋骨16、左膝盖17、右膝盖12、左踝18、右踝13、左脚根19、右脚跟14、左脚趾20、右脚趾15的骨骼信息。如果要计算左肘关节点P₅的角度η，两端为肩关节点P₄和腕关节点P₆。假设的P₅坐标为(x₅,y₅,z₅)，P₄和P₆的坐标分别为(x₄,y₄,z₄)和(x₆,y₆,z₆)，则通过数学中的夹角关系可以得到：

其中，

和

表示计算角度的向量。使用同样的方法可以计算出其余各个关节点的角度特征，根据各个动作的关键关节点来计算重要的关节点角度特征作为最终比对算法的输入。

在上述步骤b-3中，在计算人体骨骼运动当前帧的瞬间速度时，在人体骨骼序列中，每一帧之间的时间间隔是固定的，每一帧的瞬时速度大小相当于前一帧到该帧的关节点变化的差值，计算方式为：

S_Joint,i＝d(P_Joint,i,P_Joint,i-1) (4)

其中，Joint为采集的人体关节点中的其中一个关节点，P_Joint,i为该节点在第i帧的三维坐标，P_Joint,i-1为该节点在第i-1帧的三维坐标，S_Joint,i为该节点在第i帧的瞬时速度，d为两个向量之间的欧氏距离。参见图4，人体运动当前帧的瞬时速度的表示图，前一帧的人体骨架使用细实线表示，当前帧人体骨骼使用粗实线表示，两帧之间的动作变化如图中对应关节点之间的连线所示。

在上述步骤b-4中，在将学习者的体操动作骨骼信息和参考动作骨骼信息进行相似性对比时，采用动态时间规划算法，采用规整函数，用来描述两个数据之间的相似关系；动态时间规划算法运用了动态规划算法的思维，它结合了时间规整以及距离测量，属于优化问题；假设要匹配的动作时间序列分别为R和T，分别对应的长度是m和n：

R＝{R₁,R₂,...,R_i,...,R_m} (5)

T＝{T₁,T₂,...,T_j,...,T_n} (6)

其中，R和T序列分别有m和n帧动作，R_i和T_j是任意特征表示，R_m和T_n是第m和n帧的特征表示；在动作比对分析模块中，将参考动作作为模板序列，计作参考序列R，学习者的练习动作队列作为测试序列T；m和n的值可能不相等，当在m和n不相等的时候，则创建m*n的矩阵，计算最短距离来对齐两个动作时间序列，矩阵中数据点之间的距离表示为：

d(R_i,T_j)＝(R_i-T_j)² (7)

其中，d为两个特征表示之间的欧氏距离；最重要的步骤就是寻找最短路径，进行寻找最短路径的程序，规整路径W表示动作时间序列R和T之间的映射关系，如果W中的第a个元素为：W_k＝(i,j)_k，则：

W＝{W₁,W₂,...,W_k,...,W_K} (8)

其中max(m,n)≤K<m+n-1。通过本实施例的实验表明，本实施例方法对亮度变化的视频序列的前景分割，具有边缘提取精确且简单易行等特点。

参见图5，学习者进行扩胸运动的辅助训练结果，输出动作曲线、动作相似度信息和错误姿势图片，图5中细曲线是参考动作序列的曲线，较粗的带方块标记的曲线是学习者的动作序列的曲线，学习者的动作序列的曲线围绕参考动作序列的曲线上下波动，从二维曲线上可以看出，学员所做的扩胸运动在时间上明显拖沓，也许是不够熟练导致。

本实施例基于人体骨骼信息的戏曲广播操辅助训练方法，对学习者的动作加以评价以及指导，提高学习者的学习效果，首先采用光学动作捕捉系统获取专业人士和学习者所做的戏曲广播操动作骨骼数据，以序列的形式存储，专业人士数据作为参考序列，建立参考数据库；然后通过学习者的动作骨架信息和参考动作骨架信息进行对比，得到动作相似性和错误姿势；首先，采用K均值聚类算法分别提取学习者序列和参考序列的关键帧；然后，计算人体骨骼关节点的角度特征；其次，计算人体骨骼运动当前帧的瞬间速度；最后，采用动态时间规划算法将学习者和参考动作进行相似性对比。本实施例方法具有一定的工程应用价值。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于人体动作骨骼信息的体操辅助训练方法的技术原理和发明构思，都属于本发明的保护范围。

Claims

1.一种基于人体动作骨骼信息的体操辅助训练方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤a中，建立参考动作数据库包括如下步骤：配置OptiTrack光学动作捕捉系统，进行专业人士表演，采集专业人士的体操动作数据的采集，进行动作数据的编辑，进行动作数据的保存，建立参考动作数据库。

3.根据权利要求1所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b中，输出动作曲线、动作相似度信息和错误姿势图片。

4.根据权利要求1所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：人体骨骼信息包括人体20个骨骼采集点信息，包括头部(3)、颈部(2)、胸部或背部(1)、左肩(8)、右肩(4)、左肘(9)、右肘(5)、左腕(10)、右腕(6)、左手(11)、右手(7)、髋骨(16)、左膝盖(17)、右膝盖(12)、左踝(18)、右踝(13)、左脚根(19)、右脚跟(14)、左脚趾(20)、右脚趾(15)的骨骼信息。

5.根据权利要求1所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b中，体操动作骨骼信息的对比包括如下操作：

b-2.计算人体骨骼关节点的角度特征；

b-3.计算人体骨骼运动当前帧的瞬间速度特征；

6.根据权利要求5所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b-1中，在对于人体骨骼数据预处理时，将原始人体运动序列转换成关键帧的方法是：根据不同的动作包含的关键动作数量，确定K值，按照动作的时间比例选取初始中心，最终得到K帧关键帧。

7.根据权利要求5所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b-2中，在计算人体骨骼关节点的角度特征时，对于提取人体关节角度特征来说，人体骨骼模型既包括骨骼形状信息，又包括人体骨骼结构信息；根据体操各个动作的不同特征，提取不同关节点的角度特征。

8.根据权利要求5所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b-3中，在计算人体骨骼运动当前帧的瞬间速度时，在人体骨骼序列中，每一帧之间的时间间隔是固定的，每一帧的瞬时速度大小相当于前一帧到该帧的关节点变化的差值，计算方式为：

S_Joint,i＝d(P_Joint,i,P_Joint,i-1)

9.根据权利要求5所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：在上述步骤b-4中，在将学习者的体操动作骨骼信息和参考动作骨骼信息进行相似性对比时，采用动态时间规划算法，采用规整函数，用来描述两个数据之间的相似关系；假设要匹配的动作时间序列分别为R和T，分别对应的长度是m和n：

R＝{R₁,R₂,...,R_i,...,R_m}

T＝{T₁,T₂,...,T_j,...,T_n}

d(R_i,T_j)＝(R_i-T_j)²

其中，d为两个特征表示之间的欧氏距离；

W＝{W₁,W₂,...,W_k,...,W_K}

其中max(m,n)≤K<m+n-1。

10.根据权利要求5所述基于人体动作骨骼信息的体操辅助训练方法，其特征在于：所述体操为戏曲广播操。