CN106446757A - 一种人体运动数据相似度自动评价方法 - Google Patents

Abstract

本发明涉及一种人体运动数据相似度自动评价方法，首先采用动捕设备采集的基于人体骨架结构的动作数据，并基于该数据格式对姿态之间的距离进行定义，然后聚类各种时空姿态建立动作的统计信息，最后基于巴氏距离计算两个动作的距离，进行分段动作比较，以该距离对动作相似度进行评价；具体包括：1)采用Vicon动作捕捉套件进行人体动作采集；2)将动作分解为时间序列的分动作；3)对分动作进行相似度比较；4)计算得到动作A和动作B的相似度。本发明的有益效果是：以动作捕捉的姿态数据作为输入，聚类各种时空姿态建立动作的统计信息，提高动作评价的准确度并提高实时性。

Description

一种人体运动数据相似度自动评价方法

技术领域

本发明涉及一种人体动作自动评价方法，具体的涉及一种人体运动数据相似度自动评价方法，属于人体动作评价类领域。

背景技术

众所周知，人体动作评价主要涉及到三个相互关联问题：身体骨架、身形分析以及特征提取。骨架的提取比较容易，是一种有效的形状压缩表示方法。雷涛等提出采用骨架提取法分析动作，该方法生成身体轮廓的骨架，用以辨别行走、奔跑和步态。Ziaeefard和Ebrahimnezhad对该方法进行了改进，他们介绍了一种规格化极性直方图，该直方图从“星”骨架获得，对应于一个动作周期的累积骨架。特别是他们对比了几种骨架提取方法，并提出了一种支持向量机(SVM)分类技术用于动作评价及分类。刘剑等采用不同的骨骼提取方法，在同样的数据集上取得了更好的效果。但是由于他们采用极性直方图代替基于时间的直方图进行姿态信息统计，因此时态信息会丢失。

为此，如何提供一种准确度高的人体运动数据相似度自动评价方法，是本发明研究的目的。

发明内容

为克服现有技术不足，本发明提供一种人体运动数据相似度自动评价方法，是针对现有持续人体动作评价算法实时性不高的问题，提出了动态时间规整与姿态统计信息相结合的方法，基于范例策略的人体动作评价系统，以动作捕捉的姿态数据作为输入，聚类各种时空姿态建立动作的统计表示，提高动作评价的准确度并提高实时性。

为解决现有技术问题，本发明所采用的技术方案是：

一种人体运动数据相似度自动评价方法，首先采用动捕设备采集的基于人体骨架结构的动作数据，并基于该数据格式对姿态之间的距离进行定义，然后聚类各种时空姿态建立动作的统计信息，最后基于巴氏距离计算两个动作的距离，进行分段动作比较，以该距离对动作相似度进行评价，其特征在于，具体包括以下步骤：步骤一，采用Vicon动作捕捉套件进行人体动作采集，其包含12个MX-40红外摄像头，采集到的人体动作可以采用每个关节的运动来描述，关节之间存在父子关系，关节的方向由它在父关节坐标空间中的相对方向进行描述，根骨采用模型坐标空间中的位置和方向进行描述；所述的人体骨架模型描述动作数据，取ID为0的关节的位置以及所有关节的方向表示人体运动，所述的所有关节包括ID为0的关节；

步骤二，定义姿态距离，令A＝(p₀,...,p_N)为一组时间序列姿态组成的动作，假设A从时间t₀开始，到时间t_N结束；用D_p表示两个姿态p₁和p₂的距离，ε为两个姿态之间的已知等效值；

其中，p₁,p₂∈P²。令为姿势等效值ε的聚类的中位元素；根据以上定义，可以得到一个代表在长度为t_N的动作A＝(p₀,...,p_N)中的累计发生频率

其中，ΔT＝[t_i,t_j]/t₀≤t_i≤t_j≤t_N。

定义动作A的姿态统计信息H，有

采用巴氏距离x测量两个动作A和B的姿态统计信息之间的距离

其中

根据式(1)可以得到动作A和B的相似度估计函数

其中，T_A和T_B分别表示动作A和B的时间长度；

步骤三，分段动作比较，将动作分解为时间序列的分动作，对于动作A，定义一组时间序列姿势{p₀,...,p_n}，对于所有的分解可能，其长度范围从1到n+1，递归算法定义如下：

·A只有1个姿势：A＝(p₀)

Decomp(A)＝{([p₀])}

·A有2个姿势：A＝(p₀,p₁)

Decomp(A)＝{([p₀,p₁]),([p₀][p₁])}

·A有3个姿势：A＝(p₀,p₁,p₂)

Decomp(A)＝{([p₀][p₁][p₂]),([p₀][p₁])(p₂),(p₀)([p₁][p₂]),([p₀])([p₁])([p₂])}

·A有n+1个姿势：A＝(p₀,...,p_n)

所述的式(3)中，

Concat[(p_a,...,p_b)(p_i,...,p_n-1),{[p_n]}]＝{(p_a,...,p_b)(p_i,...,p_n-1p_n)} (4)

所述的式(4)中，0≤a≤b≤n-1，对于A＝(p₀,...,p_n),(p_i)^*表示序列(p_i)^*重复0到N次，如式(5)表示：

A\{p_n}＝(p₀,...,p) (5)

在对动作A和B进行比较时，根据式(2)可以找到最优分解方法以获得最小费用值；将每个分解动作建立姿态统计信息，获得整个动作的姿态统计信息序列；一个动作的分解可以看做是时间序列的子姿态信息，用长度不超过N的矢量(h₀,h₁,h₂)表示；

步骤四，采用动态规划的思想，通过下式计算A和B之间的距离

评价动作A和B的相似性。

本发明的有益效果是：以动作捕捉的姿态数据作为输入，聚类各种时空姿态建立动作的统计信息，提高动作评价的准确度并提高实时性。

附图说明

图1为本发明流程图。

图2为人体骨架结构图。

具体实施方式

为了使本领域技术人员能更加理解本发明的技术方案，下面结合附图1-2对本发明做进一步分析。

如图1所示，一种人体运动数据相似度自动评价方法，首先采用动捕设备采集的基于人体骨架结构的动作数据，并基于该数据格式对姿态之间的距离进行定义，然后聚类各种时空姿态建立动作的统计信息，最后基于巴氏距离计算两个动作的距离，进行分段动作比较，以该距离对动作相似度进行评价。具体步骤如下：步骤一，采用Vicon动作捕捉套件进行人体动作采集，其包含12个MX-40红外摄像头，采集到的人体动作可以采用每个关节的运动来描述。如图2所示，关节之间存在父子关系，关节的方向由它在父关节坐标空间中的相对方向进行描述，根骨(如图2中标号为1的关节点)采用模型坐标空间中的位置和方向进行描述。本发明采用图1人体骨架模型描述动作数据，取ID为0的关节的位置以及所有关节(包括ID为0的关节)的方向表示人体运动。

步骤二，定义姿态距离。令A＝(p₀,...,p_N)为一组时间序列姿态组成的动作，假设A从时间t₀开始，到时间t_N结束。用D_p表示两个姿态p₁和p2的距离，ε为两个姿态之间的已知等效值。

其中，p₁,p₂∈P²。令为姿势等效值ε的聚类的中位元素。根据以上定义，可以得到一个代表在长度为t_N的动作A＝(p₀,...,p_N)中的累计发生频率

其中，ΔT＝[t_i,t_j]/t₀≤t_i≤t_j≤t_N。

定义动作A的姿态统计信息H，有

采用巴氏距离x测量两个动作A和B的姿态统计信息之间的距离

其中

根据式(1)可以得到动作A和B的相似度估计函数

其中，T_A和T_B分别表示动作A和B的时间长度。

步骤三，分段动作比较。由于姿态统计信息缺少时态信息，因此将动作分解为时间序列的分动作。对于动作A，定义一组时间序列姿势{p₀,...,p_n}，对于所有的分解可能，其长度范围从1到n+1，可有以下递归算法定义：

·A只有1个姿势：A＝(p₀)

Decomp(A)＝{([p₀])}

·A有2个姿势：A＝(p₀,p₁)

Decomp(A)＝{([p₀,p₁]),([p₀][p₁])}

·A有3个姿势：A＝(p₀,p₁,p₂)

Decomp(A)＝{([p₀][p₁][p₂]),([p₀][p₁])(p₂),(p₀)([p₁][p₂]),([p₀])([p₁])([p₂])}

·A有n+1个姿势：A＝(p₀,...,p_n)

式(3)中，

Concat[(p_a,...,p_b)(p_i,...,p_n-1),{[p_n]}]＝{(p_a,...,p_b)(p_i,...,p_n-1p_n)} (4)

式(4)中，0≤a≤b≤n-1，对于A＝(p₀,...,p_n),(p_i)^*表示序列(p_i)^*重复0到N次，如式(5)表示。

A\{p_n}＝(p₀,...,p) (5)

在对动作A和B进行比较时，根据式2可以找到最优分解方法以获得最小费用值。为了这个目的，将每个分解动作建立姿态统计信息，可获得整个动作的姿态统计信息序列。例如动作A包含4个姿势，可分解为3个分解动作，可以采用3个姿态统计信息序列表示

因此，一个动作的分解可以看做是时间序列的子姿态信息，用长度不超过N的矢量(h₀,h₁,h₂)表示。

步骤四，为了评价动作A和B的相似性，采用动态规划的思想，通过下式计算A和B之间的距离

实施例：1)采用Vicon动作捕捉套件进行人体动作采集；

2)按照步骤二，将动作分解为时间序列的分动作；

3)按照步骤三，对分动作进行相似度比较；

4)按照步骤四，计算得到动作A和动作B的相似度。

本发明提出了一种针对连续的动作相似度评价的新技术，采用一种新的姿态统计信息表示法对比两个动作捕捉数据的动作序列。相比大多数现有的方法，对于连续的动作相似度评价方面，就所需空间和计算时间来说，本发明具有较大优势。本发明开辟了动作相似度领域新的可能性，特别是在人机交互新的应用方面，用户可以通过运行时的新姿态自由地扩展其应用程序。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (1)

1.一种人体运动数据相似度自动评价方法，其特征在于：首先采用动捕设备采集的基于人体骨架结构的动作数据，并基于该数据格式对姿态之间的距离进行定义，然后聚类各种时空姿态建立动作的统计信息，最后基于巴氏距离计算两个动作的距离，进行分段动作比较，以该距离对动作相似度进行评价；具体包括以下步骤：

步骤一，采用Vicon动作捕捉套件进行人体动作采集，其包含12个MX-40红外摄像头，采集到的人体动作可以采用每个关节的运动来描述，关节之间存在父子关系，关节的方向由它在父关节坐标空间中的相对方向进行描述，根骨采用模型坐标空间中的位置和方向进行描述；所述的人体骨架模型描述动作数据，取ID为0的关节的位置以及所有关节的方向表示人体运动，所述的所有关节包括ID为0的关节；

步骤二，定义姿态距离，令A＝(p₀,...,p_N)为一组时间序列姿态组成的动作，假设A从时间t₀开始，到时间t_N结束；用D_p表示两个姿态p₁和p₂的距离，ε为两个姿态之间的已知等效值；

其中，p₁,p2∈P²。令为姿势等效值ε的聚类的中位元素；根据以上定义，可以得到一个代表在长度为t_N的动作A＝(p₀,...,p_N)中的累计发生频率

其中，ΔT＝[t_i,t_j]/t₀≤t_i≤t_j≤t_N。

定义动作A的姿态统计信息H，有

采用巴氏距离x测量两个动作A和B的姿态统计信息之间的距离

其中

根据式(1)可以得到动作A和B的相似度估计函数

其中，T_A和T_B分别表示动作A和B的时间长度；

步骤三，分段动作比较，将动作分解为时间序列的分动作，对于动作A，定义一组时间序列姿势{p₀,...,p_n}，对于所有的分解可能，其长度范围从1到n+1，递归算法定义如下：

·A只有1个姿势：A＝(p₀)

Decomp(A)＝{([p₀])}

·A有2个姿势：A＝(p₀，p₁)

Decomp(A)＝{([p₀,p₁]),([p₀][p₁])}

·A有3个姿势：A＝(p₀，p₁，p₂)

Decomp(A)＝{([p₀][p₁][p₂]),([p₀][p₁])(p₂),(p₀)([p₁][p₂]),([p₀])([p₁])([p₂])}

·A有n+1个姿势：A＝(p₀,...,p_n)

所述的式(3)中，

Concat[(p_a,...，p_b)(p_i,...，p_n-1),{[p_n]}]＝{(p_a,...，p_b)(p_i,...，p_n-1p_n)} (4)

所述的式(4)中，0≤a≤b≤n-1，对于A＝(p₀,...,p_n),(p_i)^*表示序列(p_i)^*重复0到N次，如式(5)表示：

A\{p_n}＝(p₀,...,p) (5)

在对动作A和B进行比较时，根据式(2)可以找到最优分解方法以获得最小费用值；将每个分解动作建立姿态统计信息，获得整个动作的姿态统计信息序列；一个动作的分解可以看做是时间序列的子姿态信息，用长度不超过N的矢量(h₀,h₁,h₂)表示；

步骤四，采用动态规划的思想，通过下式计算A和B之间的距离

评价动作A和B的相似性。