CN110232727A

CN110232727A - 一种连续姿态动作评估智能算法

Info

Publication number: CN110232727A
Application number: CN201910323456.4A
Authority: CN
Inventors: 黄晶
Original assignee: Zhejiang Gongshang University
Current assignee: Zhejiang Gongshang University
Priority date: 2019-04-22
Filing date: 2019-04-22
Publication date: 2019-09-13

Abstract

本发明提出一种连续姿态动作评估智能算法，包括：第一步：录制标准动作数据帧序列，作为基准序列，第二步：使用者按标准动作完成动作，生成需要评估的动作序列；第三步：以基准序列作为标准，和需要评估的动作序列建立距离矩阵，通过计算帧与帧之间的距离，寻找最短路径；第四步：在最短路径中的动作序列上，寻找基准序列中每一帧对应的唯一关键帧，组成一个与基准序列长度相同的新动作序列，评估两序列之间的距离。本发明所述算法，引入时间维度，使用DTW算法，不仅可比较相似度较高的姿态片段，也能评估时间维度变化差异较大的情况，适合时间序列的评测，适用于动画算法评估、医疗用途、体育训练和其他相关连续动作比对的场景。

Description

一种连续姿态动作评估智能算法

技术领域

本发明属于人工智能算法领域，特别设计用于评估用户标准化完成给定连续姿态动作的人工智能算法。

背景技术

Humanoid Animation(H-Anim)是人形建模和动画的ISO和IEC标准。H-Anim用于定义可互换和操作的人物骨骼图形化的规范和标准，以便这些角色可以在各种3D游戏和模拟环境中使用。H-Anim主要定义了人体、关节、骨骼等信息，并以骨架的层次结构存储。根据骨骼关节的层次的复杂程度不同，定义了多个层级版本Level of articulation(LOA)。本发明以使用LOA-1标准。

运动学(kinematics)和反向运动学(inverse kinematics)简称IK，常常被用于动画捕捉(motion capture)和动画合成(animation synthesis)。由于这一类运动学算法的使用场景非常多，所以相关的优化算法[1][2][3][4]层出不穷，如何评估这一类算法的优劣性除了从视觉角度主观评估以外，也需要客观算法中与参考样本做比对，比如传统的样本比对方案均方差(Mean Squared Error)MSE，均方根误差(Root Mean Squard Error)RMSE，平均绝对比率误差(Mean Absolute Percentage Error)MAPE。这些评估方案大多只考虑静态一对一姿态情况，比对静态姿态与参考样本姿态的差异(或者长度相同的两组近似序列)，并不适合评估一组动态姿态的差异，特别是无法评估前后连贯性不同的时间无法匹配的序列动作，动作有快慢变化的特征。

发明内容

本发明提供了一种连续姿态动作评估智能算法，主要是评估用户完成既定标准的连续姿态动作的技术问题。在图形图像交互视觉系统(包括虚拟现实系统)中获取动态动作数据的基础上，计算骨骼关节点的运动轨迹、旋转姿态以及角速度等多维运动动力学数据，对比标准数据库中的运动姿态基准，使用动态时间规整算法(DTW)量化动作阶段，求取时间线上最优动作距离，规格化最后结果，并对姿态纠正提供量化力学运动学建议。

采用的具体技术方案如下：

一种连续姿态动作评估智能算法，包括以下步骤：

第一步：录制标准动作数据帧序列，作为基准序列，

第二步：使用者按标准动作完成动作，生成需要评估的动作序列；

第三步：以基准序列作为标准，和需要评估的动作序列建立距离矩阵，通过计算帧与帧之间的距离，寻找最短路径：

建立k×h大小的矩阵M，h＜k，根据标准动作序列x′的数据，利用DTW算法在x上搜索从M[1，1]到M[k，h]的最短路径；

第四步：在最短路径中的动作序列上，寻找基准序列中每一帧对应的唯一关键帧，组成一个与基准序列长度相同的新动作序列；

第五步：评估基准序列和新动作序列之间的距离：

其中，i是x的序号，j是x′的序号；indices[]是数组，用于记录对应x′_j的最优点x_i的序号i。

进一步地，对于特定标准姿态动作，指定关键帧标签，先比对序列x寻找最接近x′_j的姿态帧x_i，然后从位置[j，i]开始，向前向后同时使用DTW算法，直到x′序列向前达到序号1，向后达到h为止。

本发明与现有技术相比，有益效果是：本发明所述连续姿态动作评估智能算法，引入时间维度，使用动态时间规整算法(Dynamic Time Warping)DTW，参考维特比算法(Viterbi algorithm)，不仅可比较相似度较高的姿态片段，也能评估时间维度变化差异较大的情况，适合时间序列的评测，适用于动画算法评估、医疗用途、体育训练和其他相关连续动作比对的场景。

附图说明

图1为本发明所述评估算法的实例图；

图2为本发明所述延伸算法实例图；

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

以标准化骨骼结构H-Anim LOA-1为例，本发明所述连续姿态动作评估智能算法，包括以下步骤：

第一步：录制标准动作数据帧序列，作为基准序列，该步骤用于准备目标动作基准序列，设定比对的标准。

第二步：使用者按标准动作完成动作，生成需要评估的动作序列；该步骤生成需要评估的序列，序列长度不一定与目标动作序列相同，假设该动作序列与基准序列完全相同，则两个序列相似度最高，使用者完成的动作为最佳动作。

该步骤是为了生成一组与动作基准序列最类似动作的序列，将需要评估的序列中的帧按照帧距离分配给临近的基准序列中的姿态帧。

该步骤是根据关键帧一对一原则，剔出一对多情况中距离值较大的多余帧，简化需要评估的序列，使得其简化后长度与基准序列相同。

第五步：评估基准序列和新动作序列之间的距离：

本发明需要使用一些交互硬件设备获取用户姿态数据，该类动作捕捉硬件可使用包括光学捕捉，惯性捕捉等技术，输出则包括人体骨骼关节的定位坐标position(p_i)和关节局部旋转角度local rotation(r_j)等参数，其中i是关节点序号，j是骨骼关节自由度Degree of Freedoms(DOFs)的序号，其中骨骼关节自由度个数可根据需求以及不同系统的调整(本发明专利使用标准化骨骼结构H-Anim LOA-1作为例子)。

在录数据时，骨骼关节点的数据都需要保存，本发明可使用的数据包括：

1)骨骼关节位置坐标：P＝(p₁，p₂，...，p_m)，m＝16个骨骼包括：humanoid_root，sacroiliac，r_hip，l_hip，r_knee，l_knee，r_talocrual，l_talocrual，vl5，skullbase，r_shoulder，l_shoulder，r_elbow，l_elbow，r_wrist，l_wrist等16个骨骼。

2)骨骼关节的局部旋转坐标：R＝(r₁，r₂，...，r_n)，n＝40个关节自由度：humanoid_root(3)，sacroiliac(3)，r_hip(3)，1_hip(3)，r_knee(1)，l_knee(1)，r_talocrual(3)，l_talocrual(3)，vl5(3)，skullbase(3)，r_shoulder(3)，l_shoulder(3)，r_elbow(1)，l_elbow(1)，r_wrist(3)，l_wrist(3)等40个骨骼关节自由度。

3)作为标准的姿态的骨骼位置坐标：P′＝(p′₁，p′₂，...，p′_m)如评估使用位置坐标时则使用该数据

4)作为标准的动作的局部旋转坐标：R′＝(r′₁，r′₂，...，r′_n)如评估使用局部旋转角度时则使用该数据

5)作为标准的动作序列(局部旋转坐标)：x′＝(R′₁，R′₁，...，R′_k)

6)需要比对的动作序列(局部旋转坐标)：x＝(R₁，R₁，...，R_h)，正常情况下h＜k

7)距离操作符：dist(x，y)，计算x和y之间的距离，可使用欧式距离。

基本算法：以下算法使用局部旋转角度作为对比标准

该基本算法基于寻找对应帧，

在h＜k的基础上，根据标准动作序列x′的数据，以x′作为基准利用DTW算法在x上搜索最短路径，寻找路径上对应帧，完成帧匹配，然后完成h对应帧之间的距离计算。

具体步骤：

(1)搜索最小距离路径，匹配关键帧：建立k×h大小的矩阵M，根据姿态最短距离，搜索从M[1，1]到M[k，h]坐标的最短匹配路径。

伪代码：参考图1所示

定义：帧与帧(x′_j与x_i)之间的距离i是x的序号，j是x′的序号；indices[]是数组，用于记录对应x′_j的最优点x_i的序号i；distance[]也是数组，记录最短匹配路径上最优点的时候两个姿态间的距离；

初始化：i＝1，j＝1

循环直到x′_h(即i＝h)为止

计算：d₁＝dist(x′_j，x_i)

d₂＝dist(x′_j，x_i+1)

d₃＝dist(x′_j+1，x_i+1)

比较d₁，d₂，d₃：

如果d₁最大，则比较d₁和distance[j]：

如果d₁大，则indices[j]＝i，distance[j]＝d₁；

i＝i+1；

如果d₂最大，则比较d₂和distance[j]：

如果d₂大，则indices[j]＝i+1，distance[j]＝d₂；

i＝i+2；

如果d₃最大，则比较d₃和distance[j+1]：

如果d₃大，则indices[j+1]＝i，distance[j+1]＝d₃；

i＝i+1，j＝j+1；

(2)累计关键帧之间的距离，并做均一化操作，得到基准序列与新动作序列之间的距离：

对于特定标准姿态动作，使用者可以指定关键帧标签，关键帧代表该连续动作中比较重要的姿态x′_j。先比对序列x寻找最接近x′_j的姿态帧x_i，然后从位置[j，i]开始，向前向后同时使用基本算法，直到x′序列向前达到序号1，向后达到h为止。

特定标准姿态动作的算法属于本发明的延伸算法：当某一序列中有特定比较重点的关键帧，该关键帧的姿态比较有代表性，决定了该动作的完成程度，则可以在评估序列前，指定该帧作为重点帧，按图2延伸算法向前向后计算评估序列。该延伸算法更加具有针对性，比如抬腿的姿势，抬腿一瞬间最为重要，需要提前指定该瞬间的关键帧，并使用最高权重参数。

本发明所述连续动作评估智能算法，适用于多种场景，例如：

1)动画算法评估：比较动画算法与原始动画数据(标准比对动画)相似性

2)医疗用途，肢体康复，给定需要训练的姿势动作，使用者根据要求完成整套动作，系统自动比对动作的准确程度，提供纠正意见

3)体育训练：根据要求完成动作，与标准动作比对，提出训练建议

4)其他相关连续动作比对的场景。

本领域技术人员可显见，本发明上述概述并不意味着阐述了本发明的每一个示例性的实施例或每一种实施方式，容易对本发明进行各种修改和形式替换而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改、替换及其等同形式。

Claims

1.一种连续姿态动作评估智能算法，其特征在于，包括以下步骤：

第一步：录制标准动作数据帧序列，作为基准序列，

第三步：以基准序列作为标准，和需要评估的动作序列建立距离矩阵，通过计算帧与帧之间的距离，寻找最短路径；

第五步：评估基准序列和新动作序列之间的距离。

2.根据权利要求1所述的连续姿态动作评估智能算法，其特征在于，第三步具体为：

建立k×h大小的矩阵M，h<k，根据标准动作序列x′的数据，利用DTW算法在x上搜索从M[1,1]到M[k,h]的最短路径；

第五步中的距离计算公式为

3.根据权利要求2所述的连续姿态动作评估智能算法，其特征在于，对于基准序列中存在特定标准姿态动作，对姿态帧x′_j指定关键帧标签，先比对序列x寻找最接近x′_j的姿态帧x_i，然后从位置[j,i]开始，向前向后同时使用DTW算法，直到x′序列向前达到序号1，向后达到h为止。

4.根据权利要求1所述的连续姿态动作评估智能算法，其特征在于，所述标准动作数据帧，包括作为标准姿态的骨骼位置坐标和作为标准动作的局部旋转坐标。