CN102157009A - 基于运动捕获数据的三维人体骨架运动编辑方法 - Google Patents

Abstract

本发明是基于运动捕获数据的三维人体骨架运动编辑方法，是分析判断待运动片段联接点状态的相似性，决定是否添加过渡运动片段；消除运动片段间的相对位置差之后，将多个运动素材片段联接成为满足需求的新运动片段；在连接的过程中，会因运动片段首尾动作姿态的不一致而产生跳变，此处使用过渡函数，使得片段之间衔接处的过渡平滑自然；过渡函数的使用又会使运动中出现滑步现象，此时将运动捕获数据中固定的骨架模型层级结构打散重建，再应用反向运动学原理，将滑步消除。重新建立的骨架模型层级结构同时还被用于根据需要调整角色模型的运动朝向。最后对不同类型运动进行联合编辑，大大扩展了所生成新运动种类的丰富性与多样性。

Description

基于运动捕获数据的三维人体骨架运动编辑方法

技术领域

本发明属于计算机图形学和数字娱乐技术领域，涉及一种根据运动捕获设备进行运动编辑的方法。

背景技术

三维角色动画在三维游戏设计、三维电影制作中有着重要的应用，运动编辑系统对运动捕获数据的重用性、动画效果的逼真性、处理过程的快捷性，操作的易实现性有着很强烈的需求。因此，研究方便、高效的运动捕获数据编辑方法对实际应用具有重要意义。

目前三维人体动画技术总体上可以分为三类：

第一类是基于运动学的人体动画。这类方法将人体模型抽象为树状结构，将四肢躯干看作多段之间无质量的联接关系。根据分析的出发点不同又分为正向运动学和反向运动学两种。如Korein等人提出一种对每一关节段采用层次工作空间的直觉方法；Girard和Maeiejewsld提出一种用逆运动学生成关节运动的方法。

第二类是基于动力学的人体动画。这类方法将角色抽象为一个有质量的树形多刚体系统，根据其物理属性及相应的物理定律来控制物体的运动。根据分析的出发点，可以分为前向动力学计算法、轨迹优化方法(反向动力学法)和控制器法。如Armstrong与Wilhelm使用前向动力学合成来模拟角色行为。

第三类是基于运动捕获的人体动画。采用运动捕获技术进行三维人体动画创作本质上说是一种数据驱动的动画创作方式，具有数据获取容易、精度高、真实感强以及制作效率高等优点。一般来说，可以将人体运动数据重用技术分为运动编辑和运动合成两大类。如Rose等提出的运动混合框架，利用径向基函数对分散数据进行插值。

多种多样的运动学与动力学方法驱动角色动画中的模型表现出人的行为，而且物理学与生物力学方面知识的应用也大大提高了运动的真实性。然而，即使是最高级运动生成技术的真实感也无法与真人运动相媲美，而且之前这两类方法的计算成本也要明显更高。基于运动捕获的方法很好地保留了运动的逼真效果，但是购置运动捕获设备与联系演员表演相应动作都有着高昂的成本，所以通过运动捕获数据编辑技术来提高数据的使用效率与价值，富有重要意义。

发明内容

本发明的目的在于，利用已有的运动捕获数据，提供一套通过对已有运动素材片段进行编辑与合成生成新目标运动的方法，并使该方法能够广泛应用于人物模型的各种运动。

为了实现上述目的，本发明提供一种基于运动捕获数据的三维人体骨架运动编辑方法，所述三维人体骨架运动编辑的步骤如下：

步骤S1：将运动捕获数据中所述的运动分为非重复性运动与重复性运动；在运动捕获数据中选定一组待处理非重复性运动片段，对待处理非重复性运动片段联接点处的动作姿态进行分析，如果联接点处的动作姿态易于联接，则将该组非重复性运动片段直接送入步骤S3处理，如果联接点处的动作姿态不易联接，则需要先在这组运动片段的各个运动片段之间插入过渡运动片段，然后再将这组含有过渡运动片段送入步骤S3进行处理；

步骤S2：在运动捕获数据中选定一个重复性运动片段，从重复性运动片段中截取出单个完整周期的运动数据，形成新的待处理重复性运动片段，并对新的待处理重复性运动片段根据需要进行多份复制，所得到的多份相同的单周期重复性运动片段形成一组待处理的重复性运动片段，然后将其送入步骤S3进行处理；

步骤S3：对一组非重复性运动片段及一组重复性运动片段分别进行位置对接操作，消除所述非重复性运动片段及所述重复性运动片段内各个运动片段之间的位移差，从而将所有所述运动片段中角色模型的首末状态调整到便于进行联接的对应位置，分别得到一组待联接非重复性运动片段与一组待联接重复性运动片段；

步骤S4：基于平滑过渡的原则，对一组待联接非重复性运动片段及一组待联接重复性运动片段分别进行运动联接；在联接过程中，应用正弦过渡函数，设定每一个待联接运动片段中的过渡函数作用的帧数范围；运动联接之后，生成一个新的非重复性运动片段及一个新的重复性运动片段；

步骤S5：对一个新非重复性运动片段及一个新的重复性运动片段分别设定其反向运动学约束条件，消除两个运动片段中存在的滑步现象，分别得到无滑步的非重复性运动片段与无滑步的重复性运动片段；

步骤S6：将无滑步非重复性运动片段及无滑步的重复性运动片段各自的骨架模型拓扑结构打散重建，分别得到新的骨架模型拓扑结构；

步骤S7：将无滑步的非重复性运动片段及无滑步的重复性运动片段各自的新骨架模型拓扑结构分别与其各自的旧拓扑结构相结合，并以反向运动学原理为基础任意调节无滑步的非重复性运动片段及无滑步的重复性运动片段中各自新骨架模型运动方向；

步骤S8：对任意调节运动方向新骨架模型无滑步的非重复性运动片段与无滑步的重复性运动片段进行联合编辑，扩展运动片段不同类型的选用范围，使得在有限运动捕获数据的条件下，生成更加多样化的新运动片段。

其中，分析前一运动片段结尾部分与后一运动片断的起始部分状态的相似程度，来决定是否需要加入一个段过渡片段，使得运动的衔接变得自然，所述过渡片段是停顿站立。

其中，对重复性运动片段进行运动路径的设计，将新路径设计方案中产生的运动方向变化角度，作为该重复性运动片段中骨架模型运动方向调整的参考。

本发明的有益效果是提出了一种基于已有运动捕获数据生成新目标运动的方法，该方法对待处理运动素材片段进行联结点状态相似度的分析与判断，在需要的情况下添加过渡片段，在消除不同运动片段间的相对位置差之后，利用运动过渡与运动融合完成运动片段衔接，又利用反向运动学原理将运动衔接中的滑步效应消除，然后将运动捕获数据中已经固定的骨架模型层级结构打散重建，基于反向运动学的原理，对角色模型的运动方向进行调整，使得运动满足目标朝向。该方法还针对重复性运动提出运动路径的设置方法。本发明与前人方法的区别主要体现在对于非重复性运动片段的联接不仅仅是单纯对前后两个片段的联接，而是在根据连接片段的首尾运动状态预判断联接效果之后，决定是否加入一个短暂的过渡状态来使得衔接更自然，也更符合人体实际运动情况。而且该方法将联接处过渡函数的作用范围由通用性的固定值改为根据实际情况进行调整，使得运动衔接更为自然。此外，该方法还将重复性与非重复性动作的编辑方法整合为一个更为通用的处理方案。本发明运算成本更低，保留更完整的运动逼真性，所生成的重复性运动，比如行走，即使在路径的急转弯处，表现依然自然逼真。

本发明所获得的新目标运动能够用于丰富的计算机图形学应用领域，如三维游戏设计、三维电影制作、其他虚拟现实场景体验等。利用本发明可以快速生成新的任务运动，并且提高了已有运动捕获数据的再使用率。

附图说明

图1是本发明三维人体骨架运动编辑与合成总体方案的流程示意图。

图2是本发明中角色模型的骨架结构示意图。

图3a、图3b和图3c是本发明中适合直接联接的运动片段截图。

图4a、图4b是本发明中不适合直接联接的运动片段截图，图4c是需要中间加入的过渡片段截图。

图5是本发明中行走运动的阶段划分示意图。

图6是本发明中单周期行走截取点示意图。

图7是本发明中过渡函数示意图。

图8是本发明中使用过渡函数联接运动片段示意图。

图9a、图9b和图9c是本发明中行走片段联接处的滑步消除示意图。

图10a和图10b是本发明中骨架拓扑结构重建示意图。

图11是本发明中差矢量旋转示意图。

图12是本发明中运动路径的微观放大示意图。

图13a、图13b和图13c是本发明中非重复性运动编辑实验结果(无过渡动作片段)。

图14a、图14b和图14c是本发明中非重复性运动编辑实验结果(有过渡动作片段)。

图15是本发明中角色模型围绕支撑脚旋转示意图。

图16是本发明中以男性角色模型为对象的多种路径行进实验结果。

图17是本发明中以女性角色模型为对象的多种路径行进实验结果。

图18是本发明中以男性角色模型为对象在急转弯路径处的实验结果。

图19是本发明中以女性角色模型为对象在急转弯路径处的实验结果。

图20是本发明中行走(无路径修改)与坐的编辑联接。

图21是本发明中曲线行走+打拳的编辑联接。

图22是本发明中行走(圆圈)+下跪+打拳的编辑联接。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

1、方法概述

图1给出了本发明中整个方案的流程架构，其中适用于非重复性动作的一部分步骤可以用来处理重复性动作。本发明三维人体骨架运动编辑方法的主要步骤包括：

对于非重复性运动，

1)、待联接运动片段之间的联结点处状态分析；

2)、此处分为两种情况，如果易于直接联接，则进入步骤3，如果不易于直接联接，选取一个过渡状态(比如站立)作为中间动作；

3)、对待联接片段进行平移操作，使得相对位置易于联接；

4)、选择适当的函数作用帧数范围，应用过渡函数联接运动片段；

5)、根据反向运动学原理，确定约束条件，消除滑步效应；

6)、将运动捕获数据中固定的骨架模型拓扑结构打散重建，得到新的骨架拓扑结构，然后将新旧两种拓扑结构结合，以反向运动学原理为基础，根据要求调整角度，对角色模型进行运动朝向的实时调整。以根点为分割点，将人体模型分为上下两个部分来考虑。对于根点以下部分来说，结合反向运动学原理进行调整；而对于根点以上部分，可有两种方式来处理：(a)采用与根点以下部分一样的处理方法、(b)保留原有从属关系，根据根点来调整其它节点的转向。

7)、得到新的运动片段。

对于重复性运动，

1)、获得一个完整周期的运动片段；

2)、选择适当的函数作用帧数范围，应用过渡函数联接运动片段；

3)、依次执行非重复性运动编辑的第3)、5)步骤；

4)、根据得到的运动周期与步长，对路径进行函数表示与设置；以路径为指引，得到角色模型运动方向调整角度；

5)、根据路径中提供的调整角度，对角色模型进行运动方向的实时调整。调整方法同非重复性第6)步骤；

6)、得到新的运动片段。

在本发明书中，“非重复性运动”是指其运动姿势的出现并没有固定的周期性规律，而是呈现出随机特性的运动，比如一段坐着的运动与一段打拳的运动；“重复性运动”是指运动姿势呈现周期性重复的特性的运动，比如走路、跑步等；“运动捕获数据”是指由运动捕获设备采集好的BVH格式数据，包括角色模型的肢体、关节点拓扑位置信息与每一帧的运动信息；“路径”是指重复性运动中，角色模型的行进路线。

为了使得后续的详细说明易于理解，此处要简要介绍一下角色模型的结构及会涉及到的关键节点数据。不同的运动捕获设备对应的角色模型拓扑结构不尽相同，我们选用的是具有18个关键节点的BVH数据模型，如图2所示标记示出，18个关键节点分别是头部节点Head一个，颈部节点Neck一个，颈间节点Collar左右两个，肩部节点Shoulder左右两个，肘部节点Elbow左右两个，胸部节点Chest一个，髋部节点Hip左右两个，手腕节点Wrist左右两个，膝关节点Knee左右两个，脚踝节点Ankle左右两个，以及臀部节点Hips(Root)一个，这个臀部节点也是BVH数据中默认的根节点。此外图中的骨架示意图上，在头顶、双手、双脚处还共有5个末梢节点End-site，这5个节点是为了骨架的显示更为完整美观，不属于关键关节点。18个关键节点中，臀部节点Hips(Root)具有6个自由度，包括3个平移自由度和3个旋转自由度，其它节点均只有3个旋转自由度。对于旋转自由度，将原数据中欧拉角的表示转化成四元数的表示。之所以不采用传统欧拉角来表示物体旋转的朝向，主要是因为：

(1)欧拉角的旋转矩阵是不可交换的，所以要求欧拉角的旋转一定要按某个特定的次序进行；

(2)等量的欧拉角变化不一定引起等量的旋转变化，从而导致了旋转的不均匀性；

(3)欧拉角还有可能导致自由度的丧失。

2、联结点状态分析

在进行联接之前，先要对待联接的运动片段进行状态分析与判断，决定是否需要加入一个过渡状态的运动片段。为了能够更清楚形象地说明情况，此处举两个例子，但是这两个例子并不是本发明方法的局限。图3a、图3b和图3c是适合直接联接的运动片段截图，其中，图3a是表示行走、图3b是表示打拳A及图3c是表示打拳B这三个运动片段的。可以看出，这三个运动片段之间的首尾相接处状态比较类似，可以直接进行联接。而图4a、图4b分别表示的是坐、打拳两个运动片段，它们的首尾状态差别很大，就需要加入一个中间过渡状态，此处我们选择站立，如图4c。

3、位置对接

BVH文件中的三维模型，在捕获采集时其相对于坐标系的位置信息已经确定，运动数据部分中的位置信息也是以该位置坐标系为参考进行标识的。这样的数据格式，使得在不同运动片段中，角色模型在坐标系中所处的初始位置存在差异。必须要将该位置差异消除，也就是将待联接运动片段中角色模型的首末状态调整到合适的相对位置，才能使所得的新运动是一个自然连续的整体。

设待处理的两个运动片段分别为运动A和运动B，A是待联接的前一运动，B是后一运动。用p₀(t^e _A)表示A运动中角色模型在最后一帧所处的位置，p₀(t^b _B)表示B运动中角色模型在第一帧所处的位置，则有

$\mathrm{\Δ}=p_0\left(t_B^b\right)-p_0\left(t_A^e\right)---\left(1\right)$

此处的Δ就表示待消除的位置差，t表示运动片段中的某一时间点。运动B中，角色模型在每一帧的位置数据都需要减去Δ以抵消位置差。

$p_0^{\′}\left(t_B^i\right)=p_0\left(t_B^i\right)-\mathrm{\Δ}---\left(2\right)$

其中i表示任意一帧的序号，之后对于运动B的联接使用的平移数据就是p’₀(tⁱ _B)。

4、重复性运动完整运动周期截取

对于重复性运动来说，在联接之前，还需要进行这一步骤的处理。重复性运动的种类有很多，如行走、跑步等。在本发明中，为了便于表述方法，以行走这一典型的重复性运动为例子来讲解。一个抽象的行走模型是一系列分立阶段的依次循环重复。如图5所示，以左脚落地LFS、左脚抬起LTO、右脚落地RFS与右脚抬起RTO这四个时间点为划分界限，将人的行走划分为四个阶段。在步态学中，一步是指一次左(右)脚离地到相邻下一次同一只脚离地之间的状态，而一次左(右)脚离地到相邻下一次另一只脚离地之间的状态则被称为半步。一步中，共有四次脚落地与离地的事件发生：左脚抬起LTO，左脚落地LFS，右脚抬起RTO，和右脚落地RFS。这又引出了每只脚的两种运动状态：当作为支撑脚时，该脚处于稳定状态；作为非支撑脚时，该脚处于摆动状态。这两个状态的轮流切换形成了行走运动。

根据以上原则，我们从已有的行走片段中截取出一步的完整周期，作为编辑素材，要求该片段中的第一帧与最后一帧的动作姿势尽量相似，这样便于后期联接。如图6所示，在行走运动的完整一步中在四个关键时间点处提取4帧，两个阴影处的姿势分别是这个片段中的第一帧与最后一帧。

5、应用过渡函数联接运动片段

需要联接的运动片段最终确定好之后，我们应用图7所示的正弦函数作为运动片段之间的联接过渡函数，其中的α与b是该函数的两个参数，在下文会有公式进行解释，其取值是在[0，1]范围内。这个函数在已有的运动过渡工作方面已经有过应用，但是本方法的对其的使用具有独特性。在其他工作中，该过渡函数作用的过渡区间开始于前一运动片段的某一特定帧，结束于下一运动片段的第一帧。在本方法中，过渡区间根据实际联接效果来决定，选取更为灵活，区间的结束并不是在后接运动片段的第一帧而是某一个效果更为合适的帧次。这样的选取使得过渡的效果更为逼真自然。

图8所示，是过渡函数在联接中的具体应用。过渡函数提供的权重值α是将过渡区间内待联接姿势融合为目标姿势的关键变量。用T＝[t^*，0 _I，t^*，1 _I]表示运动片段编辑中的一段过渡区间，此处t^*，0 _I和t^*，1 _I分别代表运动I的过渡区间中首帧与尾帧在运动片段中的帧序号；*表示该时间点在运动中的什么位置，当其为b时代表当前帧在前向联接部分，为e时代表当前帧在后向联接部分。通常来说，这两部分的帧数是相等的。

对于运动片段A与运动片段B之间的过渡来说，新生成的过渡运动中根点在第i帧(i∈T)的位置p₀(tⁱ _A，B)用下式计算：

$p_0\left(t_{A,B}^i\right)=\mathrm{\α}\·p_0\left(t_A^{e,0}\right)+(1-\mathrm{\α})\·p_0\left(t_B^{b,1}\right)---\left(3\right)$

式子中，p₀是指根点的位置，p₀(t^e，0 _A)是指A的后接过渡区域内第一帧的根点位置，p₀(t^b，1 _B)是指B的前接过渡区域内最后一帧的根点位置。过渡函数的数学表达式如下：

α＝0.5cos(bπ)+0.5        (4)

式子中b＝(f-tA^e，0)/(t_B ^e，1-t_A ^e，0)，f是当前帧的序号。式(3)是应用于平移自由度的。

对于旋转自由度来说，角度是用四元数来表示，所以使用球面线性插值函数：

$q_n\left(t_{A,B}^i\right)=q_n\left(t_B^{b,1}\right)\·{(q_n^{-1}\left(t_B^{b,1}\right)\·q_n\left(t_A^{e,0}\right))}^{(1-\mathrm{\α})}---\left(5\right)$

式子中，q_n表示第n个旋转自由度，q_n(tⁱ _A，B)是过渡运动在第i帧(i∈T)的第n个自由度值，q_n(t^e，0 _A)是指A的后接过渡区域内第一帧的第n个旋转自由度的值，q_n(t^b，1 _B)是指B的前接过渡区域内最后一帧的第n个旋转自由度的值。整个过渡区间的时长是T的两倍。最终，我们在每一帧i∈[t_A ^e，0，t_B ^b，1]将合成的运动作为目标运动应用到过渡区间中。

6、应用反向运动学原理消除滑步

运动片段的过渡完成之后，能够使运动片段之间的衔接显得自然，但是却出现了滑步现象，这一现象使得模型的运动有悖于真实世界中的运动情况，必须予以消除。由于滑步主要出现在人体模型的运动支撑脚与地面接触时，所以不能再以运动捕获数据中的臀部节点Hips为运动状态的发起。反向运动学原理被广泛地应用，但是通常都伴随着复杂的算法。本发明中，通过对该原理的一种新的运用，使其更易理解与实现。

运动中，通常将起支撑作用的节点作为反向运动的约束条件。本发明中，以站立在地面的活动为主要说明实例。把支撑脚的位置作为反向运动学的约束条件，把人的一只脚从悬空的摆动状态到触地的稳定状态发生变化这一时间点视为关键时间点。当关键时间点出现的时候，也就是约束条件开始发生作用的起始点，这一约束的影响一直持续到下一个约束条件的作用时间点出现。一只脚作为约束条件的开始，就是另一只脚作为约束条件的结束。

在BVH数据结构中，根点的平移自由度决定了角色模型在世界坐标系中的位置。其它节点的位置都由其父节点的旋转自由度决定。根据新的约束条件，支撑脚的位置在触地的瞬间被记录下来，其它节点的位置都基于这个位置被决定。

假定支撑脚在世界坐标系中的位置为p，将所有节点的位置都映射到这个坐标系下。如图9a所示，左脚是支撑脚，在一个带有滑步的合成帧中，代表该支撑脚的末梢点其位置用p_le表示。其他节点的位置也可以根据这样的方法确定出来，并且其命名可以依据图2中的节点名称，例如左膝节点记为p_lk。该图9a中的箭头表示从左支撑脚节点位置p_le到其它节点的差矢量，并且反映出了这些节点相对于左支撑脚节点位置p_le的位置。比如，左膝关节点p_lk与左支撑脚节点位置p_le之间的差矢量被表示为v_lkle＝p_lk-p_le。其它节点的位置可以通过将它们的差矢量平移到支撑脚的位置计算出来。比如，v_lkle+p。最终，滑步现象得以消除。图9b和图9c为滑步消除前后的对比。可以看到，图9b的圆圈内，支撑脚在两帧切换时出现了明显的滑动。经过本方法的处理，如图9c圆圈内所示，支持脚在帧与帧切换时是稳定不动的。

自此，对于非重复性运动来说，成功地完成了基于已有运动片段，通过相联接，生成一系列新的连续动作的任务。

7、角色模型运动方向调整

完成了以上的步骤，我们已经准备好了对角色模型进行调整，以使其满足要求的目标运动朝向。这一步骤是能否实现最佳运动效果的关键。

设角色模型需要调整的运动朝向角度为θ，此处以行走过程中的转弯为例进行说明。在运动捕获数据中，模型是围绕着根点进行旋转。然而，根据日常生活的经验，有两个方面值得注意：

(1)人在转弯时，身体围绕的点是支撑脚与地面的接触点，而不是根点；

(2)通常在转弯时，人都是在转动身体同时向前行进，而不是在两只脚都处于支撑状态时转动身体，然后才向前行进。

这两个方面对于解决问题提供了很有帮助的思路。

为了满足第一方面的需求，我们需要将人体模型的根节点转移到人在行走过程中真正依据的“根节点”，即支撑脚与地面的接触点。这方面的工作与消除滑步的工作在本质上十分相似，还是基于反向运动学的原理，将骨架模型的层级结构打散重建。此处，我们借助示意图对这一重建进行更为直观与详细的说明。

如图10a所示的是骨架拓扑结构重建之前的对比。每一个箭头是从当前节点指向自己的子节点。图10a显示的是从运动捕获设备所采获数据中的原始拓扑结构，可以看到，根节点是臀部节点Hips，其有三个子节点，然后这三个子节点又具有自己的子节点。以此拓展延伸，整个模型骨架的最终控制源是臀部节点Hips的平移与旋转。在图10b中，我们按照实际需求，将根节点迁移到了左脚，也就是现在动作的触地支撑脚。拓扑结构的层级变少，只有一层，也就是说，其它所有的节点都是新根节点的子节点。这样的好处在于，模型作为一个整体，都是以支撑脚为运动参考依据，其运动更加灵活。

有一点需要强调，新拓扑结构的重建并不意味着对原拓扑结构的彻底抛弃。新的拓扑结构只是便于我们对模型整体进行行进方向的调整，但是对于动画中每一帧的切换，模型内部每一个关节之间的相对位移以及相应的骨骼位置变化是体现在新拓扑结构中根节点与其他关节点之间差矢量的移动旋转的，而这些运动，还是根据原拓扑结构下的关节点间差矢量来记录与约束。所以，重建后的骨架模型，其实是在同时使用两套拓扑结构。显在表面的拓扑结构负责控制模型整体的运动，而原来的拓扑结构则隐在表层之下，作用于模型内关节之间的相对位移。

对于日常经验中第二方面要求的满足，我们发现，尽管旋转与前进的动作是同时执行的，但是我们需要分别进行处理。由于每一帧姿势的生成在消除滑步的阶段就已经完成，所以模型的旋转成为满足旋转角度θ的最后一个步骤。整个模型围绕支撑脚的旋转等价于其它各个节点围绕支撑节点的旋转，这些旋转又等价于相应差矢量围绕穿过支撑脚的垂直轴的旋转。这其实就是对重建后新拓扑结构下模型的旋转。此处，我们再以v_lkle为例说明。

如图11所示，v_lkle是左膝关节点位置p_lk与左支撑脚关节点位置p_le的差矢量，左膝关节围绕支撑脚的旋转是通过v_lkle围绕支撑脚节点的旋转完成的。我们将v_lkle旋转θ到新的位置v′_lkle：

v_lkle＝R_θv_lkle    (6)

其中，R_θ是转角为θ的旋转矩阵。这个方法不但可以应用于通常的路径，在急转弯处也有很好的效果，只是角色模型需要旋转更大的角度而已。

接下来，我们将模型以根节点为界分为上半部分与下半部分。以上的处理方法被用于下半部分的各个节点。对于上半部分的各个节点来说，也可以使用这些方法来处理，但是一个更便捷的方法是，首先将处理前chest节点与支撑脚节点之间的差矢量移到即将生成的新运动模型相应位置上，然后旋转θ角。与下半部分的结构不同，上半部分的节点都是胸部节点chest的从属节点，所以对于上半部分的控制没必要将每一个节点的差矢量进行旋转，而是由胸部节点chest的旋转直接带动。这个方法使得处理流程更加简易，运动细节也能更好地得以保留。

8、运动路径设置

对于重复性动作，最典型与常用的就是行走、跑步等行进类动作，本发明以行走为例，针对这一类动作提出了一种新的运动路径设计方案。路径的总长度与运动片段的帧数相关联。一段运动路径曲线，可以被看作是由许多短线段的首尾连接组成。假设一个完整的运动帧数为N，运动路径的长度为L，那么路径就可以被N-1个点均分为N段，每一段的长度为L/N。如图12所示，是一段曲线路径的微观放大图。在图中，一个曲线的转弯可以看作是由三个直线段l₁，l₂，l₃组成的，相邻两段线段间的夹角θ₁和θ₂造成了曲线路径中运动方向的变化。

一段路径可以用一段函数来表示，从而将其在坐标系下的位置也固定下来。此处我们将通用的路径用c(t)指代，那么整个路径的设计就可以表示如下：

$\left\{\begin{array}{c}s\left(n\right)=c(n\·\mathrm{\Δt})\\ \mathrm{\Δt}=T/N\\ L={\∫}_0^T\left|c^{\′}\left(t\right)\right|\mathrm{dt}\end{array}\right.n=\mathrm{0,1,2,3},...,N-1---\left(7\right)$

其中，s(n)是路径的第n段，L是路径总长，T是运动持续时间，N是帧数。c(t)可以被设置为各种各样的曲线或者曲线组合，比如圆圈、正弦曲线、B样条曲线等，c’(t)是其导数，用于求取路径总长L。路径微观化之后，相邻两段线段间的夹角θ也正是角色模型在重复性运动中沿着路径前行时需要旋转调整的角度。角度的调整方法如上一节所述。

9、多类型运动的联合编辑

上述的步骤完成了对非重复性与重复性运动的编辑与合成，最后对多种类型的运动进行联合编辑。在之前工作的基础上，处理思路已经变得清晰。对于多类型运动片段nC+A+B，nC表示对重复性运动C的延拓，该部分应用重复性运动的编辑方法，A+B表示非重复性运动A与B的联接，该部分应用非重复性运动的编辑方法。nC与A+B部分之间的衔接，其实类似于A+B部分的处理，即将nC看作一个独立的运动即可。但是，在处理过程中还有一个比较特殊的问题需要注意，由于nC部分角色模型的运动路径是按照要求调整的，其结束帧处的朝向也是随机不定的，这就意味着之后的A+B部分也需要进行运动朝向的调整。此处的处理思路与非重复性运动编辑步骤中的位置对接类似，先将nC运动最后一帧的角色模型朝向角度θ记录下来，然后应用重复性运动编辑中的运动朝向调节方法将运动A+B中角色模型的朝向进行调整，使得整个新运动中，角色模型的运动朝向是一致自然的。

10、实验结果与结论

以上方法的实验与论证，其实验环境基于PC机(CPU为2.4GHz Core2Quad Processor，3GB内存)。通过应用以上方法对多种重复性与非重复性运动的典型动作进行处理，得到了很好的实验效果。

10.1非重复性运动实验效果

在实验中，如图13a表示行走运动片段、图13b表示打拳A运动片段、图13c表示打拳B运动片段，所述的三个各不相关的运动片段，通过上述处理，最终形成一段融合了三种动作的新运动。由于这三段动作的首尾相接处都比较相似，不需要额外添加过渡动作片段。

在实验中，如图14a表示坐与图14c打拳两个不同的运动片段被整合成了一段新的运动，由于这两个运动的首尾相接处差别较大，所以加入了一段站立的过渡动作图14b，作为联接处的平滑。

10.2重复性运动实验结果

如图15所示，角色模型围绕支撑脚做360度的旋转。为了证明旋转任意角度，姿势并无变形，我们从侧视、俯视、仰视三个视角进行观察，左、中、右三个图就是依次从这三个视角进行呈现。每一个模型依次间隔120度。

角色模型围绕支撑脚任意角度的旋转实现为沿着任意路径行进的实现做好了最后一步的准备。如图16中的(a)所示，原始运动片段是沿着z轴正向的前进。在实验中，选取四种不同的路径提供给模型：

1.图16中(b)中是与x轴正半轴成45度的直线；

2.图16中(c)中是一个圆圈；

3.图16中(d)中是一个椭圆；

4.图16中(e)中是一条正弦曲线。

原始动作片段的长度是75帧，处理后的运动片段持续时长是其8倍。播放速率是60帧/秒。所有的实验结果都显示了很好的效果。有一点需要注意的是，在本发明中，路径只是角色模型行进方向的一个指导，模型并不完全精确地在路径上行进。

图17中(a)、(b)、(c)、(d)是同样的实验内容应用于女性角色模型的实验结果。图17中(a)中是与x轴正半轴成45度的直线，图16中(b)中是一个圆圈，图16中(c)中是一个椭圆，图16中(d)中是一条正弦曲线。原始运动片段持续时长是38帧，处理后的新运动片段同样也是其8倍时长。播放速率是30帧/秒。可以看到，效果同样很好。

正如在上一小节提到的，本发明对于急转弯处的运动也具有很好的处理效果。为了验证这一点，我们将正弦曲线的路径进行调整，使其在转弯处角度变得极陡，然后应用两个不同的角色模型进行实验。如图18所示，左图表示带有急转弯的路径，右图表示角色模型在该路径下的行走效果。在图19中，我们使用了具有不同运动风格的女性角色模型，左图也是表示带有急转弯的路径，右图表示该女性角色模型在该路径下的行走效果。显而易见，实验结果同样具有很好的效果。

10.3多类型运动联合编辑实验结果

关于多类型运动的联合编辑，我们同样对多种运动片段进行了实验论证。首先，我们进行了没有经过路径修改的行走运动与坐这一运动的编辑联接。如图20所示，左上代表一段行走的运动，右上代表搬动椅子坐下的一段运动，在下方的图中，得到的一段新动作，角色模型行走了一段直线距离之后，搬动椅子坐下。

然后，我们对行走运动进行路径修改，使角色模型在行走一段曲线路径之后，完成打拳的动作，如图21所示。该实验效果图是由直接从运动视频上截取而来的关键帧拼接而成，关键帧截图的放置顺序与视频中运动方一致，按箭头方向读图。

以上的实验结果，验证了重复性运动与非周重复性运动编辑整合的成功。这表明在这一套运动编辑与合成方案下，可选择的运动素材类型极为丰富。最后，我们再给出一组圆圈路径行走、下跪和打拳三类运动的编辑合成，以此为代表，说明该方案适用范围的广泛性与可扩展性。如图22所示。同样，由于该实验效果图是由直接从运动视频上截取而来的关键帧拼接而成，关键帧截图的放置顺序与视频中运动方一致，按箭头方向读图。

10.4实验结论与本发明的应用意义

运动捕获能够忠实记录人体运动的物理信息。基于捕获的数据，与传统方法相比更高逼真性的运动片段能够被生成。原始的单一运动片段素材能够被用于多种多样的需求，能够极大地提高运动数据库的可重用性。本方案正是基于这样的目的而提出。现有的绝大多数类似工作，都只是聚焦于某一点或几点，而不是像本文这样，提出一套完整的解决方案。Gleicher的方法涉及到的方面有一些与本方案类似，但是其仅仅是一些已有方法的组合应用，而且在剧烈运动中，如急转弯处前进行走，其表现并不理想。

本发明中，我们基于已有的运动捕获数据，应用了有效的技术来实时生成新的非重复性运动组合，以及任意路径下的重复性运动，并且最终将各类运动进行联合编辑，实现了通用的编辑与合成方案。具有良好效果的实验验证了本发明可以适用于丰富多样的运动素材编辑处理，不论是重复性的行走、跑步运动，还是无规律的随机动作。我们的方法主要是基于几何的处理思路，这类方法并没有太多复杂的数学算法和物理概念，更易于实现，同时，我们的方法也最大程度地利用了这种思路对运动信息逼真性保留的优势。由于该方法具有很低的运算成本，新运动的生成可以实时完成，这对于三维游戏等对实时性要求比较高的应用是很有意义的。

上述实验结果和基于运动捕获数据的运动编辑与合成方法，可以用于计算机图形学各应用领域，具有实现便易、计算成本低、模型运动效果逼真、应用前景广的特点。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于运动捕获数据的三维人体骨架运动编辑方法，其特征在于，所述三维人体骨架运动编辑的步骤如下：

步骤S1：将运动捕获数据中所述的运动分为非重复性运动与重复性运动；在运动捕获数据中选定一组待处理非重复性运动片段，对待处理非重复性运动片段联接点处的动作姿态进行分析，如果联接点处的动作姿态易于联接，则将该组非重复性运动片段直接送入步骤S3处理，如果联接点处的动作姿态不易联接，则需要先在这组运动片段的各个运动片段之间插入过渡运动片段，然后再将这组含有过渡运动片段送入步骤S3进行处理；

步骤S2：在运动捕获数据中选定一个重复性运动片段，从重复性运动片段中截取出单个完整周期的运动数据，形成新的待处理重复性运动片段，并对新的待处理重复性运动片段根据需要进行多份复制，所得到的多份相同的单周期重复性运动片段形成一组待处理的重复性运动片段，然后将其送入步骤S3进行处理；

步骤S3：对一组非重复性运动片段及一组重复性运动片段分别进行位置对接操作，消除所述非重复性运动片段及所述重复性运动片段内各个运动片段之间的位移差，从而将所有所述运动片段中角色模型的首末状态调整到便于进行联接的对应位置，分别得到一组待联接非重复性运动片段与一组待联接重复性运动片段；

步骤S4：基于平滑过渡的原则，对一组待联接非重复性运动片段及一组待联接重复性运动片段分别进行运动联接；在联接过程中，应用正弦过渡函数，设定每一个待联接运动片段中的过渡函数作用的帧数范围；运动联接之后，生成一个新的非重复性运动片段及一个新的重复性运动片段；

步骤S5：对一个新非重复性运动片段及一个新的重复性运动片段分别设定其反向运动学约束条件，消除两个运动片段中存在的滑步现象，分别得到无滑步的非重复性运动片段与无滑步的重复性运动片段；

步骤S6：将无滑步非重复性运动片段及无滑步的重复性运动片段各自的骨架模型拓扑结构打散重建，分别得到新的骨架模型拓扑结构；

步骤S7：将无滑步的非重复性运动片段及无滑步的重复性运动片段各自的新骨架模型拓扑结构分别与其各自的旧拓扑结构相结合，并以反向运动学原理为基础任意调节无滑步的非重复性运动片段及无滑步的重复性运动片段中各自新骨架模型运动方向；

步骤S8：对任意调节运动方向新骨架模型无滑步的非重复性运动片段与无滑步的重复性运动片段进行联合编辑，扩展运动片段不同类型的选用范围，使得在有限运动捕获数据的条件下，生成更加多样化的新运动片段。

2.按权利要求1所述的三维人体骨架运动编辑方法，其特征在于，分析前一运动片段结尾部分与后一运动片断的起始部分状态的相似程度，来决定是否需要加入一个段过渡片段，使得运动的衔接变得自然，所述过渡片段是停顿站立。

3.按权利要求1所述的三维人体骨架运动编辑方法，其特征在于，对重复性运动片段进行运动路径的设计，将新路径设计方案中产生的运动方向变化角度，作为该重复性运动片段中骨架模型运动方向调整的参考。

Images