CN102999923A - 基于自适应阈值的运动捕捉数据的关键帧提取方法 - Google Patents

Abstract

本发明公开了一种基于自适应阈值的运动捕捉数据的关键帧提取方法，步骤为：先利用四元数间距表示相邻帧间人体各个关节的旋转变化的差异；而后用相邻帧间四元数间距的均值为初始阈值来提取初始关键帧；并通过关键帧压缩比率是否为期望的压缩比率或是通过初始关键帧数目与实际过程中得到的关键帧数目的对比调节阈值，迭代重复的比较调节，当得到期望的关键帧或是满足终止条件时，得到关键帧。本发明基于传统的四元数方法，通过与期望的关键对比设定简单有效的阈值自适应调节方法，避免人工设定难以确定的参数，用户只需关注期望提取的关键帧数目或是关键帧压缩比率即可，极大的缩短了提取时间，能够用在计算机动画的在线生成中。

Description

基于自适应阈值的运动捕捉数据的关键帧提取方法

技术领域

本发明涉及人体运动捕捉技术，更具体地说，涉及人体运动的关键帧提取。 

背景技术

二十世纪七十年代以来，随着运动捕获技术的兴起和发展，以及设备技术的进步，大量的三维人体运动捕获数据生成，并被广泛的应用在计，计算机动画，电影特技，医学仿真和游戏等领域。在这样的背景下，基于运动捕获数据的学习和研究，已经成为近年来图形学研究领域，计算机视觉和动漫应用领域的一大热点。为了获得逼真的期望效果，可以通过捕捉一个原始的真实角色运动作为原型，这样就可以避免由于创建物理模型而面对的困难。而基于运动捕捉的动画技术，借助于专门的捕捉设备直接地获取表演者的真实运动，然后将运动数据映射到制作的动画角色上。与传统的动画制作方法相比，该方法能够使得所得的动画角色的动作效果更加自然、逼真，而且动画制作所需要的工作难度、工作强度和工作量都大大降低。 

现有的成熟的运动捕捉系统基本都依赖于通过传感器获取人体数据，按照传感器的类型进行分类，可以分为以下几类:机械式、声学式、电磁式和光学式等。目前被广泛使用的光学式的运动捕捉设备常用的有两种技术手段，脉冲式和反射式。反射式的设备在人体身上粘贴标记点，这些标记点带有容易被摄像机辨别的颜色，利用计算机视觉原理，利用多台摄像机观察同一个标记点可以计算出这个标记点的三维位置，典型的光学运动捕捉系统由6-12个相机环绕表演场地排列，计算机通过跟踪表演者身上标记点的轨迹来捕捉运动。现在也已经出现主动式的运动捕捉系统，虽然不用粘贴标记点，但仍然需要有容易被摄像机容易捕获的颜色的脉冲式发光二极管等装置，同样利用了计算机视觉原理。而基于光学的运动捕捉方法也存在着如下的缺点： 

运动捕捉设备的购买和使用价格都很昂贵； 

运动捕捉数据的可重用性差，捕捉设备记录的运动数据是特定角色在特定场合和情景下完成的，无法直接不加修改地应用到其他不同环境； 

难以制作一些高难度、高危险或是超乎实际的夸张动作 

于是如何处理和应用已捕获的运动数据已经成为当前动画界研究的热点之一。计算机图形学的各种顶级会议近年来收录的论文也表明研究者在此方向上投入了大量的热情和精力。随着商业运动捕获设备的广泛应用，运动捕捉数据大幅度地增长，很多运动数据库已经可以很容易的获得。大量的研究热点在于以下两个大的方面： 

怎样才能充分地利用这些已有的运动捕捉数据。虽然运动捕捉系统能够精确地记录表演者的大部分运动，但捕捉的运动数据不一定能够很好满足用户的实际需要，实际可能需要高难度的动作或是多种动作的合成。需要通过编辑和合成等重用手段来实现需要的数据。 

如何从运动库中获取用户所需要的运动。对一个比较大型的运动库(常有上百万帧的数据，或是大量的不同或是相似的运动类型)，让用户通过手动浏览的方式来从中找寻到期望的运动序列，是很不切实际的。我们期望提供计算机软件工具或手段，使用户能够从数据库中搜索所需运动的过程能够简单化和自动化。 

而对于上述提到的问题比如编辑、存储和检索，比较实用的技术就是运动捕获数据的关键帧提取技术。关键帧提取技术是一种传统的被广泛应用于视频分析与检索领域的技术，目的在于减少视频数据流在内容上的冗余度。近年来，国内外研究学者在运动捕捉数据关键帧提取方面也去的了许多成果。目前从采样方式主要分为两大类：等间隔采样和自适应采样。等间隔采样有可能出现过采样和欠采样的问题，自适应采样可以在变化小的地方少采样而在变化大的地方多采样，于是可以解决前者的不足。现有的运动捕获数据关键帧提取技术主要分为三大类：基于曲线简化、聚类和基于矩阵分解的技术。 

现有技术提取关键帧，都需要比较相邻帧中动作的状况，通过人工设置阈值，确定出相邻帧动作的相近程度。当比较情况大于阈值时，筛选出动作比较典型的关键帧，当比较情况小于阈值时，筛除同类近似的帧，从而达到提取关键帧的目的。问题在于，在比较相邻帧的时候，现有技术均依赖于人工设置阈值，从而对提取效率造成影响。 

发明内容

本发明在现有技术的基础上实现阈值的自适应确定，提供一种基于自适应阈值的运动捕捉数据的关键帧提取方法，以避免参数的人工设定和解决提取过程耗时的问题。本发明是一种简单实用的运动捕捉数据关键帧提取技术，利用 四元数间距表示人体各关节上的旋转变化作为帧间距，设计一种简单高效的基于自适应算法调节阈值，以满足不同压缩率的要求。在整个算法过程中，仅需指定期望的压缩率(关键帧数目/全部帧数目)或是关键数目即可，其他参数都是根据运动内容得出的，而不需要人工设定。 

本发明公开了一种基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，包括如下步骤： 

S1、利用四元数间距表示相邻帧间人体各个关节的旋转变化的差异； 

S2、用相邻帧间四元数间距的均值为初始阈值来提取初始关键帧；并通过所述关键帧压缩比率是否为期望的压缩比率或是通过初始关键帧数目与实际过程中得到的关键帧数目的对比调节阈值，迭代重复的比较调节，当得到期望的关键帧或是满足终止条件时，得到关键帧； 

所述压缩比率为关键帧数目/运动序列总的帧数目。 

其中，步骤S1的具体过程为： 

设S=ω∈R，V=(x,y,z)∈R³，四元数可以表示为q=[s,V]=[ω，x,y,z]；其中，s和V分别表示四元数q的标量部分和三维向量部分；ω是标量部分的值，x,y,z即四元数的三维向量坐标。 

假设两个四元数分别为q₁=[s₁,v₁],q₂=[s₂,v₂],则它们之间的四元数乘法为： 

q₁q₂＝[s₁s₂-v₁·v₂，s₁v₂+s₂v₁+v₁×v₂]    (1) 

如果四元数的模

则称为单位四元数，且两个单位四元数相乘仍为单位四元数，于是定义如果q₁和q₂都是单位四元数，且q₂q₁ ^-1＝[ω,x，y，z]，那么表示q₁和q₂所产生的旋转之间的差异，可以用一个角度表示，称为两者间的四元数间距为： 

d(q₁，q₂)＝arccos w    (2) 

人体运动可由一离散时间向量函数m(t)＝[p(t),q₁(t),q₂(t),…，q_n(t)](1≤t≤T)表示，其中p(t)表示跟关节的平移运动，q_i(t)表示关节i的旋转运动，T表示运动序列终止的时间点。定义设m(t₁)，m(t₂)为不同时刻t₁，t₂上的两帧，它们之间的距离定义为： 

$D(t_1,t_2)=\left|\right|m\left(t_1\right)-m\left(t_2\right)\left|\right|=\stackrel{n}{\mathrm{\Σ}}{\mathrm{\α}}_{i}d(q_i\left(t_1\right),q_i\left(t_2\right))---\left(3\right)$

其中α_i表示各个关节的重要度，即权值系数，D(t₁,t₂)表示这两个不同时刻帧之间的四元数距离。 

设N表示运动序列总的帧数目，步骤S2的具体过程为： 

S21.将第一帧作为关键帧加入关键帧序列，并将当前关键帧指示器设为1，并将迭代次数t置为1； 

所述关键帧指示器是指目前为止最后找到的关键帧； 

S22.当t<N时，按照S1中的公式（3）进行帧间距的计算；否则算法就停止； 

S23.若计算所得帧间距大于阈值，得到关键帧，并将其加入关键帧序列，并将当前关键帧指示器指向当前新得到关键帧，迭代次数加1，即t+1； 

S24.以S23中得到的关键帧，重复步骤S22~S23的步骤，寻找下一关键帧，循环至算法停止。 

此外，步骤S2中阈值的调节方式为： 

连续5次迭代过程中得到的关键帧数目在期望得到关键帧数目的值的同一侧（即连续5次小于或连续5次大于期望关键帧数目），那么就按步长dδ增大阈值，以增大其向同方向变化的速度； 

否则，关键帧数目的实际值在期望的目标值左右两侧邻域内进行振荡，此时减小dδ，以减小阈值步长的变化； 

其中，dδ增加和减小的变化函数分别是： 

$f_{\mathrm{inc}}\left(\mathrm{d\&delta;}\right)=\left(\sqrt{1-{\left(\mathrm{d\&delta;}*1000-1\right)}^2}\right)/1000$

$f_{\mathrm{dec}}\left(\mathrm{d\&delta;}\right)=(1-\sqrt{1-{(\mathrm{d\&delta;}*1000)}^2})/1000---\left(4\right)$

其中，对于所述实际值处于所述期望值的较小邻域内无限次震荡的情况，设定一个最大的阈值作为终止循环的一个条件，用于满足期望的压缩率。 

优选方式下，阈值的精确度为0.0001，变化率的初始值dδ是在(0.0001,0.001)之间任意的一个数。 

本发明与现有技术相比具有以下优点： 

1、现有技术，运动捕捉数据关键帧提取方法大多需要耗费大量的时间来人工设定各个参数，而在运动内容未知的情况下，想要很快设定所需的理想参数是非常困难的，甚至消耗的时间是不可接受的。而本发明是基于传统的四元数 方法，通过与期望的关键对比设定简单有效的阈值自适应调节方法，避免人工设定难以确定的参数，用户只需关注期望提取的关键帧数目或是关键帧压缩比率即可，极大的缩短了提取时间，能够用在计算机动画的在线生成中。 

2、该方法具有良好的可扩展性；表现在：（1）能够在具有不同运动风格或类型的运动序列中表现出较理想的效果。（2）可以根据不同的期望目标值设定不同的参数得到需要的关键帧。（3）动态调节过程可以通过设定阈值变化率来减小或的增大提取精度，以满足不同实时性的需求。 

附图说明

图1本发明算法流程图。 

图2设定不同关键帧压缩率时的提取时间对比。 

图3提取一组类型运动关键帧效果。 

图4是提取另一组类型运动关键帧效果。 

图5对于不同方法提取关键帧的误差对比。 

具体实施方式

本发明的技术方案是：首先利用四元数间距表示相邻帧间人体各个关节的旋转变化的差异，用相邻帧间四元数间距的均值为初始阈值来提取初始关键帧。然后通过初始关键帧数目和期望的目标关键帧压缩比率或是关键帧数目动态的调节其中需要的阈值，迭代重复的比较调节，当得到期望的关键帧或是满足终止条件时停止，此时得到的关键即是所要求的。本发明能比较快速的得到较理想的关键帧，同时能够减少阈值的人工设定，满足自动化提取的要求。 

人体是一种关节链结构，其状态可以用根关节的平移和所有关节的旋转表示。其中关节的旋转可用欧拉角、旋转矩阵或四元数来表示，由于四元数在插值方面的优越性，目前已经广泛应用于计算机动画中。 

附图1所示为本发明算法流程图。其具体包括以下技术环节： 

1、基于四元数距离的关键帧提取方法 

四元数表示法、欧拉角表示法和矩阵表示法，这三者都是在三维空间中经常使用的表示旋转的方法。因为在虚拟人运动中，使用欧拉角表示法求解时常常会产生“万向锁”的问题，所以在运动捕捉数据的合成或者编辑算法中，通常使用的是四元数表示法。假设两个四元数分别为q₁=[s₁,v₁],q₂=[s₂,v₂],则它们之 间的四元数乘法为： 

q₁q₂＝[s₁s₂-v₁·v₂，s₁v₂+s₂v₁+v₁×v₂]    (1) 

于是定义如果q₁和q₂都是单位四元数，且q₂q₁ ^-1=[ω，x,y,z]，那么两者间的四元数间距为： 

d(q₁，q₂)＝arccos w     (2) 

人体运动可由一离散时间向量函数m(t)＝[p(t)，q₁(t)，q₂(t)，…，q_n(t)](1≤t≤T)表示，其中p(t)表示跟关节的平移运动，q_i(t)表示关节i的旋转运动。定义设m(t₁)，m(t₂)为不同时刻t₁，t₂上的两帧，它们之间的距离定义为： 

$D(t_1,t_2)=\left|\right|m\left(t_1\right)-m\left(t_2\right)\left|\right|=\stackrel{n}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_{i}d(q_i\left(t_1\right),q_i\left(t_2\right))---\left(3\right)$

其中α_i表示各个关节的重要度，即权值系数，D(t₁,t₂)表示这两个不同时刻帧之间的差异，此算法的流程如附图1所示。 

2、初始关键帧的提取 

为了在处理拥有不同风格或类型的运动序列时需要设定不同的提取阈值，同时减少动态调节是的迭代循环次数，将所有相邻帧之间的差异的均值作为阈值的初始值δ用上述方法来提取初始关键帧，大致的思路是算法不断考察当前帧与前一关键帧之间的差异，如果超过阈值则视为关键帧，否则就继续考察下一运动帧。N表示运动序列总的帧数目，其提取过程如下： 

S21：将运动序列的第一帧作为关键帧加入关键帧序列，并将当前关键帧指示器（目前为止最后找到的关键帧）设为1，并将迭代次数t置为1； 

S22：当t<N时，按照说明书1中的公式（2）进行帧间距的计算；否则算法就停止； 

S23：若计算所得帧间距大于阈值，得到关键帧，并将其加入关键帧序列，并将当前关键帧指示器指向当前新得到关键帧，用以计算此后的帧与此关键帧之间的四元数距离，迭代次数加1，即t+1； 

S24：以第三步中得到的关键帧，重复S22-S23的步骤，寻找下一关键帧，循环至算法停止。 

3、阈值的自适应调节提取关键帧 

阈值自适应阈值调节的基本思想是：根据当前关键帧数目的实际值和期望的目标值之间的差异来动态地调节阈值，即对初始阈值进行调节。若关键帧数目的当前值大于期望值时增大阈值，增大变化比率；否则就减小阈值，减小变化率dδ。在此过程中会可能会出现影响期望值收敛的情况： 

1.由于阈值δ过大或是过小，而其变化率过小，会导致期望关键帧数目收敛缓慢； 

2.由于阈值的变化率过，导致关键帧数目的实际值在期望的目标值邻域内出现大幅度的剧烈震荡； 

3.可能由于实际情况会使得关键帧数目的实际值一直在期望值的较小邻域内无限次震荡，而无法达到目标值。 

对于前两种情况的解决，对阈值的变化率采用动态调节的策略，如果连续5次迭代中关键帧数目的实际值在期望值的同一侧(或大或小)，那么就增加dδ，以增加其向同方向变化的速度；否则就是关键帧数目的实际值在期望的目标值左右两侧邻域内进行振荡，此种情况下应减小振荡幅度，以减小阈值的变化率。这个算法中我们设定阈值的精确度为0.0001，变化率的初始值dδ是在(0.0001,0.001)之间任意的一个数，所以变化率增加和减小的变化函数分别是 

$f_{\mathrm{inc}}\left(\mathrm{d\&delta;}\right)=\left(\sqrt{1-{\left(\mathrm{d\&delta;}*1000-1\right)}^2}\right)/1000$

$f_{\mathrm{dec}}\left(\mathrm{d\&delta;}\right)=(1-\sqrt{1-{(\mathrm{d\&delta;}*1000)}^2})/1000---\left(4\right)$

对于第三种情况，我们将为振荡设定一个最大的阈值，来保证最终的结果较为理想同时满足期望的压缩率，并将其作为终止循环的一个条件。 

由于我们提出的算法在提取过程中依赖于期望的压缩比率或是期望的关键帧数目，因此我们这里从与第四章一样的运动捕捉数据库中选取大量的运动序列，用我们提出方法对这些运动序列进行关键帧提取，观察在提取不同压缩比率时候所耗费的时间和重建后的误差，我们选取其中部分运动序列如附图2所示，在压缩比率为4.5%的时候起耗费时间和重建后的误差均在可接受范围内，因此我们提取过程中选取的期望压缩比率为4.5%。 

实施例1 

利用说明书中介绍的发明，本文对六组运动序列进行关键帧提取，这些运动序列均来自现今运动捕捉研究领域比较通用的卡内基梅隆大学的运动捕捉数 据库，捕捉频率是120帧/秒，且这些提取过程均是在

中实现的。标记关节点是31个，其中各个关节点的权值系数（关节点的重要度）如表一。其中，LHipJoint和RightJoint的权值相同，其他对称的关节依次类推。 

表一：各个关节点的权值 

Hips	16	Neck1	1
				LHipJoint	0	Head	0
LeftUpLeg	8	LeftShoulder	0
				LeftLeg	4	LeftArm	1
LeftFoot	2	LeftForeArm	0.5
				LeftToeBase	1	LeftHand	0.25
LowerBack	0	LeftFingerBase	0.125
				Spine	8	LFingers	0
Spine1	4	LThumb	0
				Neck	2

具体操作步骤为： 

步骤1：采集原始数据。 

步骤2：载入运动数据 

步骤3：初始关键帧的提取。 

步骤4：通过与期望目标值对比进行阈值动态调节。 

步骤5：当迭代终止时得到的关键帧序列即为所需的关键帧。 

附图3和附图4分别展示出利用本发明提取的跳跃运动和踢球运动的关键帧，从图中可以看到，本发明得到了比较理想的结果。 

表二显示出用本发明从几组具有不同运动类型的运动提取关键帧的结果以及所消耗时间、误差等信息。这里我们对不同方法提取到的关键帧进行插值重建并进行误差分析，利用表2中得到的误差对比结果如附图5所示 

表二：不同运动类型提取出关键帧的详细情况 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。 

Claims (5)

1.一种基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，包括如下步骤：

S1、利用四元数间距表示相邻帧间人体各个关节的旋转变化的差异；

S2、用相邻帧间四元数间距的均值为初始阈值来提取初始关键帧；并通过所述关键帧的压缩比率是否为期望的压缩比率或是通过初始关键帧数目与实际过程中得到的关键帧数目的对比调节阈值，迭代比较调节，当得到期望的关键帧或是满足终止条件时，得到关键帧；

所述压缩比率为关键帧数目/运动序列总的帧数目。

2.根据权利要求1所述基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，步骤S1的具体过程为：

设S=ω∈R，V=(x,y,z)∈R³，四元数可以表示为q=[s,V]=[ω，x,y,z]；其中，s和V分别表示四元数q的标量部分和三维向量部分；ω是标量部分的值，x,y,z即四元数的三维向量坐标。

假设两个四元数分别为q₁=[s₁,v₁],q₂=[s₂,v₂],则它们之间的四元数乘法为：

q₁q₂＝[s₁s₂-v₁·v₂，s₁v₂+s₂v₁+v₁×v₂]    (1)

如果四元数的模

则称为单位四元数，且两个单位四元数相乘仍为单位四元数，于是定义如果q₁和q₂都是单位四元数，且q₂q₁ ^-1=[ω,x，y,z]，那么表示q₁和q₂所产生的旋转之间的差异，可以用一个角度表示，称为两者间的四元数间距：

d(q₁，q₂)＝arccosw     (2)

人体运动可由一离散时间向量函数m(t)＝[p(t),q₁(t),q₂(t),…，q_n(t)](1≤t≤T)表示，其中p(t)表示跟关节的平移运动，q_i(t)表示关节i的旋转运动，T表示运动序列终止的时间点；定义设m(t₁)，m(t₂)为不同时刻t₁，t₂上的两帧，它们之间的距离定义为：

$D(t_1,t_2)=\left|\right|m\left(t_1\right)-m\left(t_2\right)\left|\right|=\stackrel{n}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_{i}d(q_i\left(t_1\right),q_i\left(t_2\right))---\left(3\right)$

其中α_i表示各个关节的重要度，即权值系数，D(t₁,t₂)表示这两个不同时刻帧之间的四元数距离。

3.根据权利要求2所述基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，设N表示运动序列总的帧数目，步骤S2的具体过程为：

S21.将第一帧作为关键帧加入关键帧序列，并将当前关键帧指示器设为1，并将迭代次数t置为1；

所述关键帧指示器是指目前为止最后找到的关键帧；

S22.当t<N时，按照S1中的公式（3）进行帧间距的计算；否则算法就停止；

S23.若计算所得帧间距大于阈值，得到关键帧，并将其加入关键帧序列，并将当前关键帧指示器指向当前新得到关键帧，迭代次数加1，即t+1；

S24.以S23中得到的关键帧，重复步骤S22-S23的步骤，寻找下一关键帧，循环至算法停止。

4.根据权利要求3所述基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，步骤S2中阈值的调节方式为：

连续5次迭代过程中得到的关键帧数目在期望得到关键帧数目的值的同一侧，那么就按步长dδ增大阈值，以增大其向同方向变化的速度；

否则，关键帧数目的实际值在期望的目标值左右两侧邻域内进行振荡，此时减小dδ，以减小阈值步长的变化；

其中，dδ增加和减小的变化函数分别是：

$f_{\mathrm{inc}}\left(\mathrm{d\&delta;}\right)=\left(\sqrt{1-{\left(\mathrm{d\&delta;}*1000-1\right)}^2}\right)/1000$

$f_{\mathrm{dec}}\left(\mathrm{d\&delta;}\right)=(1-\sqrt{1-{(\mathrm{d\&delta;}*1000)}^2})/1000---\left(4\right)$

此外，对于所述实际值处于所述期望值的较小邻域内无限次震荡的情况，设定一个最大的阈值作为终止循环的一个条件，用于满足期望的压缩率。

5.根据权利要求4所述基于自适应阈值的运动捕捉数据的关键帧提取方法，其特征在于，阈值的精确度为0.0001，变化率的初始值dδ是在(0.0001,0.001)之间任意的一个数。

Images