CN108764120A - 一种人体规范动作评价方法 - Google Patents

Abstract

本发明提供一种人体规范动作评价方法。利用人体关节骨架模型，分别获取标准动作和对比动作的关节骨架数据，分别进行分段后，计算各段对比动作与对应标准动作段的DTW距离，最后综合各段距离得到对比动作相对标准动作的距离。本发明基于所提出的规范人体动作评价方法能准确地分辨标准动作与待评价动作的区别，给出基于动作间差异的量化评分，同时，所开发的人体动作评价软件能进行人体动作评价过程中的动作引导及人机交互，方便用户进行娱乐、学习、专业分析等性质的评分交互工作。

Description

一种人体规范动作评价方法

技术领域

本发明属于人体运动分析技术领域，涉及一种针对人体规范动作进行自动评价的方法。

背景技术

在我们的社会生活中，有许多的人体动作是有着严格规范与套路的，如舞蹈、武术、体操等。无论是职业体育运动竞赛还是群众体育活动，对这些项目中动作完成的规范性进行评价都是必不可少的。目前在运动竞赛中的规范动作评分主要依靠裁判来完成，评分结果容易受到裁判主观因素的影响。而在群众体育活动中一方面难以长期提供大量具有一定专业技能的裁判，另一方面业余裁判的权威性和客观性也难以保证。因此，针对这类有规范动作的运动项目，亟需一个能够实时地自动进行人体动作评价的系统。因此评分结果或多或少的会受到主观因素的影响，而类似于跳舞机等的娱乐设备，也是和动作评价有着天壤之别，难以满足人们日益增长的娱乐需求。现阶段关于人体姿态与动作的研究大多数旨在提出一种动作识别方法。对于有特定规范的人体动作，仅仅具有识别功能的智能技术是不够的。

以微软Kinect为代表的深度相机，能以较高帧率提供人体关节骨架三维数据，其数据稳定性好，精度较高，能适应室内外的各种应用环境。利用深度相机和一些智能算法，无需对人体的关节点进行标记，就能实时的对人做出的动作进行分析。

DTW算法能对两个时间序列进行对比，量化的计算时间序列之间的相似程度。该算法源于动态规划(DP)算法思想，解决了语音识别问题中发音长短不一的模板匹配问题。算法的思想就是利用动态规划来寻找两个序列间的最小距离的路径，即使得两个长度不等的时间序列对应匹配位置的路径。该算法在人体动作识别方面有着广泛的应用。

用数学方法表示一段时间内人体动作的变化细节是人体动作分析的基础。基于人体关节骨架模型，能构造出很多表示方法，如在人体骨架中构造平面，用空间几何关系的变化表示人体动作变化等。人体关节骨架模型中，每个关节点都连接有代表骨骼的线段，因此，每个中间关节点两端与关节点本身都会形成一个角度，用关节角度变化来表示人体动作变化是最简单直观的方法，广泛应用于人体动作分析的研究。

发明内容

本发明针对现有技术的不足，提出了一种人体规范动作评价方法。

一种人体规范动作评价方法，该方法具体如下：

用深度相机进行标准规范动作的采集，标准动作视为满分动作，用来作为参照标准。

对标准动作的关节点数据进行提取，并计算每一帧中不同关节点间的三维空间角度，其中三维空间角度的余弦a计算公式为：

则三维角度为：θ＝arccos(a)，

其中，(x₁,y₁,z₁)、(x₂,y₂,z₂)和(x₃,y₃,z₃)分别为构成一个关节角度的三个关节点的空间坐标；得到多个角度时间序列，该时间序列描述了标准动作的关节点变化信息；

然后采集按该规范动作完成的待评价动作样本，按照标准动作同样的方法计算多个关节角度时间序列。

然后将标准动作角度数据与待评价动作角度数据按规范动作的分解动作进行对应分段；将样本动作子段的每个关节角度序列对应地与标准动作子段的角度序列利用DTW算法计算两者之间的DTW距离，然后对所有关节DTW距离取均值，得到当前待评价样本子段角度时间序列与标准动作子段角度时间序列的总体DTW距离，该距离表征了样本动作与标准动作之间的差异化程度，距离的值越小表明两者越相似，反之亦然。

最后把总体DTW距离按照距离(D)-分数(S)的映射关系：

S＝f(D),

即可得到该待评价动作子段的评价分数，再把全部子段评价分数累加平均得到该待评价动作的整体评价分数。

在给出评分的过程中，将每段动作子段数据前后各加上一个长度为T的额外片段，称之为段头和段尾，以时间t为间隔，从带有段头和段尾的动作段数据中遍历提取出与该动作子段时间长度一致的子片段，将每个子片段与标准动作子段计算总体DTW距离，以距离最小的子片段作为正确的匹配动作子段，再以正确的匹配段的总体DTW距离计算该动作子段的评价分数，其中t＜T。

一种人体动作评价装置，包括原始数据获取模块，该模块由深度相机、PC机以及二者的通信器件组成，用于获取深度相机前运动中的人体的关节骨架初步信息；辅助运动评价的人机交互模块，该模块由显示屏、PC机及运动评价辅助软件组成，用于显示动作评价前后的信息及结果，指示动作评价前中后时期人体的操作要素。其中，运动评价辅助软件的功能包括：用左右挥手的手势来选择运动模式、用握拳来选定模式从而开始进行运动评价，用柱形条的长短来描述当前动作子段的分数，用滑动条的左右滑动来描述当前动作对比标准动作的节奏快慢；动作评分计算模块，该模块在初步数据获取模块的基础上，对获取到的实时人体动作信息，计算若干个关节角度，并按照标准动作的分段方式，对每个获取到的实时动作片段与对应的标准动作片段计算评分与动作节奏快慢，并将评分与动作节奏快慢输出至评价辅助软件。

一种人体动作评价系统。包括：一套完整的深度相机设备，能与PC机进行通信；一个具备至少一个高速信息传输接口、具备能存储人体动作评价软件及一系列人体动作关节骨架数据的存储器、具备能计算本发明涉及的人体动作数据计算的处理器的PC机；一组或多组标准动作的数据以及各类质量动作的数据及响应的评分；一个能运行于所给定PC机的人体动作评价软件，且该软件能实时获取给定数据及实时的深度相机数据并计算出实时动作评分并能输出至PC机显卡供显示器显示及交互。当人体动作评价方法执行时，PC机应运行人体动作评价辅助软件的进程，深度相机应实时采集人体动作数据并存储与PC机内存供人体动作评价辅助软件之进程读取，同时，显示器应显示人体动作评价过程中的相应交互信息与结果信息。

本发明具有如下有益效果：

本发明提供了一种人体规范动作评价方法，基于所提出的规范人体动作评价方法能准确地分辨标准动作与待评价动作的区别，给出基于动作间差异的量化评分，同时，所开发的人体动作评价软件能进行人体动作评价过程中的动作引导及人机交互，方便用户进行娱乐、学习、专业分析等性质的评分交互工作。

附图说明

图1人体动作评价方法流程图；

图2最佳匹配子段示意图；

图3人体动作评价系统示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1是本发明提供的人体动作评价方法的流程图，本实施例可适用于人体动作评价的情况，该方法可以由人体动作评价装置来执行，具体地，该装置是能与深度相机进行稳定数据通信的PC机。如图1所示，该方法具体内容如下：

大多数专业动作完整的长度多达几十秒甚至几分钟，如本实施例选取的八式太极拳的整套动作时长一般为两分半到三分钟。若深度相机获取人体关节信息的频率是每秒f次，假设一组动作的时长为t秒，人体动作特征的维数是n，可以获取到n个长度为f*t的序列，然后根据动作转换将八式太极拳完整动作分为29段2秒到6秒不等的动作子段，在分段的同时，对每一段数据设置标签，标签表征该段数据在所有片段中的序数，如第一段数据标签为1，以此类推。在对对比动作进行评价时，也按照同样方式分段，每取得一段对比动作的数据后，按照当前段数与对应标签的标准动作片段进行匹配运算。

进行匹配运算需要合适的特征描述方法用来数学化地表示不同的人体动作，本实施例选取关节角度用于描述人体动作变化，选取两侧肘关节角度、两侧后臂与躯干方向夹角、两侧后臂与肩膀的夹角、胯部角度、两侧膝关节处角度、两侧大腿与躯干部分夹角等11个角度作为动作特征，来描述人体动作。

基于以上方法可以从一段人体骨架数据中获取到11个特征序列，基于这11个序列与一组标准动作就可以进行人体连续动作评价。具体的实现方法是：首先对标准的动作进行角度特征提取，获取到11个特征序列，然后将待对比的动作进行角度特征提取后，将对比动作的各个特征序列分别与标准动作的特征序列基于DTW算法计算匹配程度，得到的匹配程度反映出对比动作相对于标准动作的质量。

最后将DTW运算结果与分数进行映射。在获取到一组标准动作的同时，需由不同的人员，进行不同动作质量的演示，演示的同时由专业人士分别进行人为的打分。以标准动作为100分，最终得到的不同示例动作的基于本文方法的得分理想情形下应该与各自对应的人为打分一致。因此，由几个不同人为打分的分数与各自计算出的DTW距离，可以得到一种距离-分数映射关系：

S＝F(D),

其中，S表示最终得分，D表示算法输出的距离。

在上述基础上，即可直接读取对比数据进行评分。

图2是计算DTW距离过程中，按照分段的方式将完整动作段分段后处理的原理示意图。图中描述了在带段头和段位的当前动作段中选取与标准动作段的最佳匹配子段的过程。

本实施例考虑对比动作可能在某些时候节奏或运动速度出现差错，若此时对对比动作数据进行连续分段，会导致前面部分的动作片段与标准动作匹配错位时，之后的所有片段都会跟着错位。为了避免这种情况，本实施例在对对比动作每一次分段后，在动作段上加入段头和段尾，其中段头和段尾为与当前动做段连续的前后1秒动作数据。

在进行DTW运算时，以0.5秒为间隔，从前到后遍历选取包括段头和段尾的完整数据段中的所有子段，并将所有子段与标准动作段进行DTW运算，取匹配距离最小的子段为当前段的匹配片段，然后以该匹配片段的结束帧作为下一主片段的开始帧。图2示例了一个3秒标准动作片段和一段带段头和段尾的最佳子段匹配过程，图中正在进行所有3.5秒子段的遍历(绿色线段)，最终标准动段与第三个子段匹配距离最小，即以此子段作为匹配片段。重复以上分段与运算，最终得到各段的匹配距离。

图3是人体动作评价系统的完整示意图。PC机的硬盘中存储了标准太极动作的Kinect数据，PC机连接有Kinect深度相机且运行人体动作评价软件时，可由深度相机前的人体进行肢体控制人体动作评价软件的界面进行交互，此时，Kinect以每秒30帧的帧率获取人体的关节骨架信息传输至PC机内存，供人体动作评价软件读取并进行相应计算。当人体进入Kinect深度相机视角内，即可开始通过人体动作评价软件进行交互与八式太极运动及评分。交互过程中，选手可以用手势结合评价软件选择相应的模式与操作，评分过程中，评分软件界面会按段给出每个细分动作的评分结果，八式太极运动结束后，评价软件会给出所有动作的细致分析及最终的得分情况，并将当前的评分录入后台数据库。

综上所述，本发明所提出的人体规范动作评价方法、装置及系统可以在家庭及社区娱乐、专业体育竞技以及在线教学等领域具有广泛的应用。

Claims (1)

1.一种人体规范动作评价方法，其特征在于：该方法具体包括以下步骤：

用深度相机进行标准规范动作的采集，标准动作视为满分动作，用来作为参照标准；

对标准动作的关节点数据进行提取，并计算每一帧中不同关节点间的三维空间角度，其中三维空间角度的余弦a计算公式为：

则三维角度为：θ＝arccos(a)，

其中，(x₁,y₁,z₁)、(x₂,y₂,z₂)和(x₃,y₃,z₃)分别为构成一个关节角度的三个关节点的空间坐标；得到多个角度时间序列，该时间序列描述了标准动作的关节点变化信息；

然后采集按该规范动作完成的待评价动作样本，按照标准动作同样的方法计算多个关节角度时间序列；

然后将标准动作角度数据与待评价动作角度数据按规范动作的分解动作进行对应分段；将样本动作子段的每个关节角度序列对应地与标准动作子段的角度序列利用DTW算法计算两者之间的DTW距离，然后对所有关节DTW距离取均值，得到当前待评价样本子段角度时间序列与标准动作子段角度时间序列的总体DTW距离，该距离表征了样本动作与标准动作之间的差异化程度，距离的值越小表明两者越相似，反之亦然；

最后把总体DTW距离按照距离(D)-分数(S)的映射关系：

S＝f(D),

即可得到该待评价动作子段的评价分数，再把全部子段评价分数累加平均得到该待评价动作的整体评价分数；

在给出评分的过程中，将每段动作子段数据前后各加上一个长度为T的额外片段，称之为段头和段尾，以时间t为间隔，从带有段头和段尾的动作段数据中遍历提取出与该动作子段时间长度一致的子片段，将每个子片段与标准动作子段计算总体DTW距离，以距离最小的子片段作为正确的匹配动作子段，再以正确的匹配段的总体DTW距离计算该动作子段的评价分数，其中t＜T。