CN108520250A - 一种人体运动序列关键帧提取方法 - Google Patents

Abstract

本发明公开一种人体运动序列关键帧提取的方法，对给定的人体运动序列，首先计算每一帧各关节点与其它关节点的位置偏移矢量作为相应关节点的特征，然后，根据人体运动先验知识以关节点组合的形式定义关节点团，由关节点团的特征组合实现运动帧的特征表示，同时定义基于关节点团特征表示的人体运动帧间相似度度量模型；最后，在此模型基础上使用仿射传播的聚类算法实现数据自适应的人体运动序列关键帧提取。

Description

一种人体运动序列关键帧提取方法

技术领域

本发明属于计算机图形学和人机交互技术领域，尤其涉及一种人体运动序列关键帧提取的方法。

背景技术

随着传感器技术的飞速发展,以及人机交互技术应用领域的不断拓展,获取运动人体的关节时空位置信息成为可行及必然的任务；而人体运动的高复杂性所要求的时间域高频采样获取，使得人体运动数据序列天然地具有较高的冗余性，这直接导致人体运动数据在存储、检索、浏览以及重用等方面遇到困难。从给定的人体运动序列中提取具代表性的帧即关键帧，以实现人体运动序列在语义层面的压缩表示，是目前提升人体运动序列数据应用效能的关键技术，在人机交互、虚拟现实等领域有着重要应用。

人体运动序列数据作为人体关节空间运动信息在时间轴上的采样信息，要求尽可能高的采样频率以保障所获取运动信息的完整准确。而关键帧提取技术的核心在于结合内容语义进行序列重采样，以数量尽可能少的关键帧尽可能完整地表示人体运动序列。高质量的关键帧提取方法应在关键帧的数量与基于关键帧的序列重建质量这二者之间取得最佳的均衡，这是一个极具挑战性的任务。

聚类作为一种重采样手段是目前常用的关键帧提取技术。它通过定义运动序列帧间的相似度，对所有的帧进行聚类，将满足相似度度量标准的相邻帧分组产生关键帧。其核心参数，即聚类数量及聚类中心的选择，直接决定关键帧质量。然而人体运动序列具有时空维度，频率多变，不仅帧间相似度度量难度大，而且聚类算法核心参数同样难以优化。现有的诸如K均值聚类等的聚类算法，因聚类个数难以预估，且算法关于初始聚类中心不稳定，难以实现高质量关键帧提取。

为了解决上述问题，本发明在定义一种新的人体运动序列帧间相似度度量模型的基础上，提出一种基于仿射传播聚类算法的人体运动关键帧提取方法。在卡耐基梅隆大学提供的运动捕捉数据库上进行的对比实验验证了本方法的高效性。

发明内容

为实现频率自适应的人体运动序列重采样，实现高质量的关键帧提取，本发明提出一种新的人体运动序列关键帧提取方法。该方法首先定义了基于人体分部位特征的帧间相似性度量公式；在此基础上，通过基于仿射传播聚类算法实现关键帧提取；并通过基于关键帧的序列重构质量评估验证了本方法的性能。

本发明提供一种高质量的人体运动关键帧提取方法。其基本思想是：对给定的人体运动序列，首先计算每一帧各关节点与其它关节点的位置偏移矢量作为相应关节点的特征，然后，根据人体运动先验知识以关节点组合的形式定义关节点团，由关节点团的特征组合实现运动帧的特征表示，同时定义基于关节点团特征表示的人体运动帧间相似度度量模型；最后，在此模型基础上使用仿射传播的聚类算法实现数据自适应的人体运动序列关键帧提取。

附图说明

图1人体关节点团；

图2从“跳”运动中提取的关键帧序列；

图3从“侧手翻”运动中提取的关键帧序列；

图4从“跳舞”运动中提取的关键帧序列；

图5(a)和图5(b)为原始的“跳”运动和重构的运动结果比较，其中，图5(a)对应本发明方法，图5(b)对应K均值聚类方法；

图6(a)和图6(b)为原始的“侧手翻”运动和重构的运动结果比较，其中，图6(a)对应本发明方法，图6(b)对应K均值聚类方法；

图7(a)和图7(b)为原始的“跳舞”运动和重构的运动结果比较，其中，图7(a)对应本发明方法，图7(b)对应K均值聚类方法；

图8为本发明的流程图。

具体实施方式

如图8所示，本发明提供一种人体运动序列关键帧提取方法，包括以下步骤：

(1)基于关节点团特征表示的人体运动帧间相似度度量

CMU的人体运动捕捉数据由38个关节点组成，但考虑到部分节点对于运动语义分析的影响较小，因此，我们选择由18个关节点构成的简化骨架模型(如图1所示)。其3D坐标可表示为：

f(t)＝{θ₁(t),θ₂(t),K,θ₁₈(t)}，t∈{1,2,K,T} (1)

其中θ_i(t)＝(x_i(t),y_i(t),z_i(t))，i∈{1,2,K,18}，θ_i(t)表示第t帧第i个人体关节点的3D坐标信息,T表示帧数。

通过计算每一帧各关节点与其它关节点的偏移信息作为相应关节点的相对位置特征，如下所示：

其中p_i(t)是一个51维的向量，

根据人体的物理结构，人体可分为五部分：躯干、左臂、右臂、左腿、右腿(如图1所示)。为了能有效地度量人体运动帧间相似性，就有必要更好地描述人体各部分运动帧间的相似性。为此，本发明提出了一种基于关节点团的人体运动帧间相似度度量方法。每一个关节点团即为人体各部分关节点的组合，表示为P_l(t)＝[p₁(t),K,p_n(t)]，其中n为第l个关节点团关节点的个数。

首先，每一帧第l个关节点团的相似性可通过关节点团内不同关节点相似度的乘积表示，如下所示：

其中k(p_i(t₁),p_i(t₂))是一个径向基函数：

其中σ为标准差。然后人体运动帧间相似度就可以通过5个关节点团的相似度来表示，即：

(2)基于仿射传播聚类的人体运动序列关键帧提取

由于人体运动序列具有时空维度，频率多变，不仅帧间相似度度量难度较大，而且聚类算法的聚类数量难以预估，所以本发明采用了仿射传播聚类的方法。该算法主要有两个参数：偏向参数(影响聚类的数目)和阻尼系数(起迭代收敛的作用)。仿射传播聚类算法的整体思路为：将数据集中所有点当作潜在的中心点，计算两两点之间的相似性；每一代点之间交换信息(吸引度和适合度)，使聚类网络所对应的全局函数最大化(全局函数定义为中心点自身的置信度与该中心点与其簇中其它点的相似度的总和)；从而获得高质量的聚类中心。

传统的仿射传播聚类在初始化样本集的相似度矩阵时，采用的欧氏距离计算样本点的相似度。为了更好地描述不同帧的相似度，本发明则使用基于关节点团特征表示的人体运动帧间相似度度量方法计算不同帧的相似度。基本步骤如下：

1.设定相似度s(i,k)(由公式(5)可得)和偏向参数p(i,k)的值，初始化吸引度r(i,k)和适合度a(i,k)为0；

2.更新所有帧的吸引度

为了防止不收敛，设置加权更新公式：

r_t(i,k)＝λr_t-1(i,k)+(1-λ)r_t(i,k)

3.更新所有帧的适合度

其中

为了防止不收敛，设置加权更新公式：

a_t(i,k)＝λa_t-1(i,k)+(1-λ)a_t(i,k)

4.计算r(i,k)+a(i,k)值。若样本点k对应的值为所有样本点中的最大值，则更新点k为点i的聚类中心。

5.是否达到最大迭代次数，否则返回第2步，继续迭代。

关键帧重构原始运动序列是一种评价关键帧是否有效的方法。其中球面线性差值是一种普遍的运动重构方法，所以本发明使用球面线性插值重构两个关键帧之间的非关键帧。并通过下式计算原始运动序列和重构的运动序列的重构误差：

其中T是帧数，m是关节点数，O是原始数据的三维坐标，R是重构数据的三维坐标。本发明实验采用的是卡耐基梅隆大学提供的运动捕捉数据库。我们选择“跳”、“侧手翻”、“跳舞”三类来验证本发明的高效性。图2、3、4为本发明方法在三个类中提取的关键帧序列。从图中可以看出，本发明提取的关键帧能够很好的描述一个动作序列的细节。图5、6、7比较了本发明方法和K均值聚类算法在相同的关键帧情况下，重构出的非关键帧与原始数据的差异，其中红色是原始数据，黑色是重构结果。图5是一个240帧的“跳”运动序列，提取的关键帧为25帧，压缩比是10.4％。从图5(a)可以看出，本发明方法重构的非关键帧与原始数据相比只有轻微的差异，只是在落地的时候，手部的误差较大。从图5(b)可以看出，K均值聚类算法对运动的开始和结束阶段有较好的重构结果，对中间的跳跃阶段重构出的结果与原始数据有较大的差异。图6是一个782帧的“侧手翻”运动序列，提取的关键帧为35帧，压缩比是4.48％。从图6(a)可以看出，本发明方法重构的非关键帧与原始数据很相似，只是在侧空翻脚落地的时候，腿部的误差比较大。从图6(b)可以看出，K均值聚类算法对这一动作幅度比较大的运动，重构的结果完全偏离了原始数据。如图7(a)和图7(b)所示，是一个971帧的“跳舞”运动序列，提取的关键帧为61帧，压缩比是6.28％。由于跳舞的动作比较复杂，帧和帧之间有大量的角度变化，所以本发明方法重构的非关键帧与原始数据在手部和腿部都有一些轻微的误差，而K均值聚类算法重构的大部分非关键帧方向与原始数据相差很大。表1列出了不同动作类的关键帧数、压缩比和计算时间；表2列出了本发明方法和K均值聚类算法在相同的压缩比下重构误差的比较结果。从实验结果中可以看出本发明方法的重构误差明显优于K均值聚类算法。

表1压缩率和时间的结果

表2重构误差的比较结果

Claims (3)

1.一种人体运动序列关键帧提取的方法，其特征在于，包括以下步骤：

步骤1、对给定的人体运动序列，首先计算每一帧各关节点与其它关节点的位置偏移矢量作为相应关节点的特征。然后根据人体运动先验知识以关节点组合的形式定义关节点团，由关节点团的特征组合实现运动帧的特征表示，同时定义基于关节点团特征表示的人体运动帧间相似度度量模型，

步骤2、基于关节点团特征表示的人体运动帧间相似度度量模型，使用仿射传播的聚类算法实现数据自适应的人体运动序列关键帧提取。

2.如权利要求1所述的人体运动序列关键帧提取的方法，其特征在于，步骤1具体为：

对一个运动序列，每一帧18个关节点的3D坐标可表示为：

f(t)＝{θ₁(t),θ₂(t),K,θ₁₈(t)}，t∈{1,2,K,T} (1)

其中θ_i(t)＝(x_i(t),y_i(t),z_i(t))，i∈{1,2,K,18}，θ_i(t)表示第t帧第i个人体关节点的3D坐标信息,T表示帧数。

通过计算每一帧各关节点与其它关节点的偏移信息作为相应关节点的相对位置特征，如下所示：

其中p_i(t)是一个51维的向量，

根据人体的物理结构，人体可分为五部分：躯干、左臂、右臂、左腿、右腿；根据人体各部分运动帧间的相似性，度量人体运动帧间相似性；采用基于关节点团的人体运动帧间相似度度量，即每一个关节点团即为人体每部分关节点的组合，表示为P_l(t)＝[p₁(t),K,p_n(t)]，其中n为第l个关节点团关节点的个数。

首先，每一帧第l个关节点团的相似性可通过关节点团内不同关节点相似度的乘积表示，如下所示：

其中k(p_i(t₁),p_i(t₂))是一个径向基函数：

其中σ为标准差。然后人体运动帧间相似度就可以通过5个关节点团的相似度来表示，即：

3.如权利要求1所述的人体运动序列关键帧提取的方法，其特征在于，步骤2具体为：

仿射传播聚类算法的整体思路为：将数据集中所有点当作潜在的中心点，计算两两点之间的相似性；每一代点之间交换信息(吸引度和适合度)，使聚类网络所对应的全局函数最大化(全局函数定义为中心点自身的置信度与该中心点与其簇中其它点的相似度的总和)；从而获得高质量的聚类中心。

传统的仿射传播聚类在初始化样本集的相似度矩阵时，采用的欧氏距离计算样本点的相似度。为了更好地描述不同帧的相似度，本发明则使用基于关节点团特征表示的人体运动帧间相似度度量方法计算不同帧的相似度。即，基本步骤如下：

1)设定相似度s(i,k)和偏向参数p(i,k)的值，初始化吸引度r(i,k)和适合度a(i,k)为0；

2)更新所有帧的吸引度

为了防止不收敛，设置加权更新公式：

r_t(i,k)＝λr_t-1(i,k)+(1-λ)r_t(i,k)

3)更新所有帧的适合度

其中

为了防止不收敛，设置加权更新公式：

a_t(i,k)＝λa_t-1(i,k)+(1-λ)a_t(i,k)

4)计算r(i,k)+a(i,k)值。若样本点k对应的值为所有样本点中的最大值，则更新点k为点i的聚类中心。

5)是否达到最大迭代次数，否则返回第2步，继续迭代。