CN101241600B - 一种运动捕捉技术中的链状骨骼匹配方法 - Google Patents

Abstract

本发明公开了一种运动捕捉技术中的链状骨骼匹配方法，其包括以下步骤：从多帧不满足固定骨骼长度的关节中心数据中，生成一个最优固定长度的链状骨骼，并且使之与原有的关节中心数据匹配，从而修正原有的关节中心数据满足固定骨骼长度的约束；对一个链状骨骼的进行链状骨骼匹配时通过在目标函数中加入光滑性约束项，达到光滑约束骨骼运动序列的目的。本发明运动捕捉技术中的链状骨骼匹配方法由于采用了稀疏矩阵技术和关节中心位置参数化方法，更加充分的利用了运动捕获技术所提供的运动细节，其处理速度快，效率高，且处理结果更准确地模拟了人体链状骨骼的运动状态。

Description

一种运动捕捉技术中的链状骨骼匹配方法

技术领域

本发明涉及一种运动捕捉技术中的图形处理方法，尤其涉及的是一种运动捕捉技术中的链状骨骼匹配方法。

背景技术

在现有技术的运动捕获数据处理过程中，由于一些不可避免的噪声，使得通过各种关节中心计算方法对原始的运动捕获数据进行处理之后，所得到的人体关节中心数据并不满足固定骨骼长度的约束。而传统的角色动画使用的角色都是固定骨骼长度的模型，如果不进行必要的处理，最后的角色动画会有很大的走形。如何从多帧不满足固定骨骼长度的关节中心数据中生成一个合适的固定长度的链状骨骼，并且使之尽可能与原有的关节中心数据匹配，从而修正原有的关节中心数据，是目前一直未解决的问题。

链状结构匹配问题是三维人体运动捕获数据处理中经常碰到的一类问题的本质抽象。链状骨骼匹配问题中，目标点集的点数等于链状结构中链接点的数目；而逆运动学问题中，目标点集可能只考虑链体末端的关节及朝向，也可能考虑全部链体的关节。逆运动学问题和链状骨骼匹配问题的一个比较大的区别在于，链状结构的每一节链的长度在逆运动学问题当中都是已知的，而在链状骨骼匹配问题当中，链状结构的每一节链的长度并不总是已知的，因此，存在特殊链状骨骼匹配问题，可以看成一类特殊的逆运动学问题。

解决逆运动学问题主要有三种方法：分析求解方法、数值求解方法、基于神经网络和人工智能的方法。其中，逆运动学分析求解方法主要通过解析求解一系列代数方程来实现。由于是解析解，所以这种方法非常高效，但随着关节复杂度的增加，复杂度急剧增加，分析求解的代价越来越大，所以这种方法一般只用在简单机械手臂、以及人的手、足等简单链状结构的控制中。例如：Ge等人使用这种方法进行手部运动的重定向，Kovar等人用这种方法进行运动捕获数据的滑步处理。Tolani曾提出了一种基于分析求解方法和数值求解方法的组合方法，实现了实时求解IK问题所有可能解，但是使用的链接模型的节点自由度不能超过7。

对于人体这种复杂度高的链体所遇到的逆运动学问题，数值求解方法成了一种可行的方案，并且经过多年的发展，形成了三类成熟的方法，分别是圆柱坐标下降法(Cyclic Coordinate Descent CCD)、基于雅克比矩阵的方法以及优化的方法。圆柱坐标下降是一种启发式迭代方法，每一步迭代只更新一个关节角度，这种方法的好处是计算相对比较快速，并且可以避免奇异的情况。由于采用了启发式的机制，这种方法求解的旋转在整个链状结构上不是均匀分布的，因此产生的结果可能不自然。

逆运动学求解方法并没有太多的考虑结果的逼真性，而通过在已有的人体链节姿态之间进行插值，来求解逆运动学问题将具有令人信服的真实性。例如：基于这一原理，Rose等人采用径向基函数实现了一种快速的单步求解算法。Mukai和Kuriyama则采用统计优化过程取得了类似的一个结果，由于他们预测了被采样的插值数据的概率分布，因此这种方法将返回一个更加合理的结果姿态。

与上述采用插值技术的方法相比，基于机器学习的逆运动学技术具有不同的思路，它利用机器学习技术对人体运动姿态空间进行降维，建立姿态空间到低维空间中的对应关系，然后利用低维空间来进行逆运动学问题的求解。Grochow等人采用高斯过程变量模型(Scaled Gaussian Process LatentVariable Model(SGPLVM))，来学习姿态之间的相似性，并对人体姿态这样的高维空间进行降维。类似的工作还有对网格数据进行类似操作的逆运动学技术以及采用自组织映射的人体运动合成技术。

总的来说，基于插值或机器学习的方法提供了一种异于传统的逆运动学求解技术，能够产生逼真的人体运动，然而这两种方法需要事先离线学习大量的运动捕获数据，另一方面，有些没法捕获的运动数据(例如：人从很高的大楼上摔下来的数据)，这个方法就没那么容易来处理了。

除开逆运动学方法以外，还有以下一些研究工作与这个问题密切相关：为了修正运动捕获数据中的末端位置误差，Kwangjin等人采用非线性优化以及逆运动学重新计算人体骨骼链的关节角度参数。基于视频的人体运动参数提取技术研究吸引了不少的研究者，在这项研究当中，需要从二维的视频或图像数据中重构三维链状骨骼结构信息，这是一个多对一的特殊链状骨骼匹配问题。在这个问题当中需要考虑摄像机参数、关节中心位置，因此通常需要手工介入，通常只能生成少数动画关键帧。当然，也可以利用运动数据库的先验知识来建立概率模型，然后来完成三维链状骨骼的重构，只是这种方法需要大量的运动数据来构成一个完备的库。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种运动捕捉技术中的链状骨骼匹配方法，对如何从原始的关节中心数据提取出准确的人体骨骼进行研究，并且提出一种有效的解决方法，从修正原有的多帧不满足固定骨骼长度的关节中心数据，使之满足固定骨骼长度的约束，同时还可以进一步满足运动平滑性约束，本发明算法的效率来自于关节中心位置参数化方法和稀疏矩阵技术的采用，本发明方法可以更加充分的利用运动捕获技术所提供的运动细节。

本发明的技术方案如下：

一种运动捕捉技术中的链状骨骼匹配方法，其包括以下步骤：

A、从多帧不满足固定骨骼长度的关节中心数据中，生成一个最优固定长度的链状骨骼，并且使之与原有的关节中心数据匹配，从而修正原有的关节中心数据，使其满足固定骨骼长度的约束；所述的步骤A包括：

记F帧由一个有N个关节中心，M根骨骼的链状骨骼运动生成的原始关节中心数据为q_f，j，其中0≤j≤N-1，0≤f≤F-1，f表示帧数，j表示骨骼链的序号，同时，记目标的关节中心位置为p_f，j。记连接关节中心

和

的骨骼长度为l_k，

则未知骨骼长度问题可以表示为下面这样一个等式约束优化问题：

$\underset{1,p_{f,j}}{\min }\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(5\right)$

$s.t.{\left|\right|p_{{f,k}^{+}}-p_{{f,k}^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

B、对一个链状骨骼进行链状骨骼匹配时通过在目标函数中加入光滑性约束项，达到光滑约束骨骼运动序列的目的，骨骼匹配问题的公式化表示为：

$\underset{1,p_{f,j}}{\min }\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2+\mathrm{\μ}\underset{f=1}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-p_{f-1,j}\left|\right|}^2$

$+\mathrm{\υ}\underset{f=1}{\overset{F-2}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{f,j}-p_{f-1,j}-p_{f+1,j}\left|\right|}^2---\left(7\right)$

$s.t.{\left|\right|p_{{f,k}^{+}}-p_{{f,k}^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

其中，υ和μ是非负的权因子，

为骨骼长度。

所述的方法，其中，所述步骤B中骨骼长度预先测量得知。

所述的方法，其中，所述步骤B还包括：

在预先知道链状骨骼的骨骼长度时，逐帧求解下述等式约束优化问题：

$\underset{p_{f,j}}{\min }\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(6\right)$

$s.t.{\left|\right|p_{{f,k}^{+}}-p_{{f,k}^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

其中，0≤f≤F-1。

所述的方法，其中，还包括步骤：

当原始关节中心数据的帧数很大时，公式(7)的求解采用分段匹配的形式，其包括：

C1、将原始关节中心数据划分为多个数据段；

C2、对每一个数据段进行代端点约束的骨骼匹配，增加以下四个端点约束：

${\mathrm{\λ}}_1\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{1,j}-p_{0,j}-v_{0,j}\left|\right|}^2---\left(8\right)$

${\mathrm{\λ}}_2\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{1,j}-p_{0,j}-p_{2,j}-a_{0,j}\left|\right|}^2---\left(9\right)$

${\mathrm{\λ}}_3\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{F-1,j}-p_{F-2,j}-v_{F-1,j}\left|\right|}^2---\left(10\right)$

${\mathrm{\λ}}_4\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{F-2,j}-p_{F-1,j}-p_{F-3,j}-a_{F-1,j}\left|\right|}^2---\left(11\right)$

其中，v_0，j和a_0，j分别是开始帧数据第j个关节中心轨迹的一阶和二阶导数约束值，而v_F-1，j和a_F-1，j分别是结束帧数据第j个关节中心轨迹的一阶和二阶导数约束值，λ_i应当设置成大正数，其中i＝1，2，3，4。

所述的方法，其中，还包括：

对每一个关节中心加上一个非负权重，并通过一个约束最小二乘优化来计算在人体运动过渡中人体各个关节中心的权重分配，这种关节点加权情况下的骨骼匹配问题的单帧目标函数具有以下形式：

附图说明

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(12\right).$

所述的方法，其中，所述每一个关节中心的权重通过手动设定。

本发明所提供的一种运动捕捉技术中的链状骨骼匹配方法，由于采用了稀疏矩阵技术和关节中心位置参数化方法，更加充分的利用了运动捕获技术所提供的运动细节，其处理速度快，效率高，且处理结果更准确地模拟了人体链状骨骼的运动状态。

图1(a)为本发明方法中的原始关节中心数据示例图；

图1(b)为本发明方法中优化生成的链状骨骼示意图；

图1(c)为本发明方法优化的关节中心和原始的关节中心对比示意图；

图2(a1)-(d1)为本发明方法的原始的测试关节中心示意图；

图2(a2)-(d2)为本发明方法的优化关节中心和原始的测试关节中心之对比显示示意图；

图3为本发明方法与现有技术的不同参数化方法的计算效率对比示意图；

图4为现有技术的关节中心参数计算显示的结果示意图；

图5为现有技术的关节中心参数计算后的不同骨骼长度变化示意图，其中(a)为左大腿，(b)为左小腿，(c)为左上臂，(d)为左小臂；

图6(a)-(c)是本发明方法优化链状骨骼计算处理后的图形与现有技术的原始关节中心参数处理效果对比示意图；

图7(a)-(d)是不同的υ和μ下优化生成的关节中心(非灰色)与原始关节中心(灰色)的对比效果示意图；

图8为本发明方法的膝关节中心轨迹曲线的一阶和二阶导数曲线比较图；

图9(a)-图9(b)为第III组参数下本发明方法优化生成的关节中心(深色)与原始关节中心(灰色)的对比效果图。

具体实施方式

以下对本发明的较佳实施例加以详细说明。

通常一个链状骨骼由多个固定长度的骨骼构成，每两个相邻骨骼有一个公共点即关节中心。链状骨骼一般分为两类，第一类为树状的链状骨骼，比如人体骨骼和机器人手臂；第二类为带环的链状骨骼，比如力学结构中的一些链杆。本发明方法关注的是人体骨骼，即其所指的链状骨骼匹配是指树状的链状骨骼。

按照不同的目标函数和约束，可以将链状骨骼匹配问题划分为四类：未知骨骼匹配问题；已知骨骼匹配问题；带运动光滑性约束的骨骼匹配问题；加权骨骼匹配问题。

如图1(a)-图1(c)所示，最基本的一种链状骨骼匹配问题就是从多帧不满足固定骨骼长度的关节中心数据中，生成一个最优的固定长度的链状骨骼，并且使之尽可能与原有的关节中心数据匹配，从而修正原有的关节中心数据满足固定骨骼长度的约束。在这种类型的问题当中，骨骼长度预先是不知道的，所以被称为未知骨骼匹配问题。

记F帧由一个有N个关节中心，M根骨骼的链状骨骼运动生成的原始关节中心数据为q_f，j，(0≤j≤N-1，0≤f≤F-1)，其中f表示帧数，j表示骨骼链的序号，同时，记目标的关节中心位置为p_f，j。记连接关节中心p_f，k+和p_f，k-的骨骼长度为l_k， $l={\left\{l_k\right\}}_{k=1}^M$ 则未知骨骼长度问题可以表示为下面这样一个等式约束优化问题：

$\underset{l,p_{f,j}}{\min }\underset{f=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(5\right)$

$s.t{\left|\right|p_{{f,k}^{+}}-p_{{f,k}^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

在某些情况下，可以预先知道链状骨骼的骨骼长度，比如通过实际测量，或者通过求解未知骨骼匹配问题。这样，本发明方法中会遇到一类新的链状骨骼匹配问题——已知骨骼匹配问题，即使用已知骨骼长度的链状骨骼去修正原始关节中心的位置。在这种情况下，只需要逐帧求解下面这样一个等式约束优化问题：

$\underset{p_{f,j}}{\min }\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(6\right)$

$s.t{\left|\right|p_{{f,k}^{+}}-p_{{f,k}^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

其中，0≤f≤F-1。实际上，这种类型的骨骼匹配问题是一种特殊的多目标逆运动学问题，因为它把骨骼链上的所有关节中心当成目标。

对一个链状骨骼的运动序列而言，运动的光滑性是一个非常重要的特征。对于带有噪声的关节中心数据而言，从上述两种链状骨骼匹配问题优化所得到的骨骼运动序列的光滑性会遭到破坏，因此有必要在进行链状骨骼匹配时考虑运动的光滑性约束，即带运动光滑性约束的骨骼匹配问题。本发明方法通过在目标函数中加入光滑性约束项，来达到光滑约束骨骼运动序列的目的。这种骨骼匹配问题的公式化表示为：

$\underset{l,p_{f,j}}{\min }\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2+\mathrm{\μ}\underset{f=1}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-p_{f-1,j}\left|\right|}^2$

$+\mathrm{\υ}\underset{f=1}{\overset{F-2}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{f,j}-p_{f-1,j}-p_{f+1,j}\left|\right|}^2---\left(7\right)$

$s.t.{\left|\right|p_{{f,k}^{+}}-p_{f,k^{-}}\left|\right|}^2-l_k^2=\mathrm{0,1}\≤k\≤M$

其中，υ和μ是非负的权因子，骨骼长度 $l={\left\{l_k\right\}}_{k=1}^M$ 也可以预先知道。

由导数的有限差分知识，易知目标函数(7)的第二个项是一阶导数的向后差分格式，它用来约束骨骼运动的一阶导数，也就是保证结果骨骼运动的速度光滑性。而目标函数(7)的第三个项是二阶导数的中心差分格式，它可以保证结果骨骼运动的加速度光滑性。

当原始关节中心数据的帧数很大时，直接求解(7)式形成的优化问题将会很困难，一个可行的方法是采用分段匹配的形式。在这种情况下，可以首先将原始关节中心数据划分为多个数据段，然后对每一个数据段进行代端点约束的骨骼匹配。这样需要增加的端点约束有以下四个：

${\mathrm{\λ}}_1\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{1,j}-p_{0,j}-v_{0,j}\left|\right|}^2---\left(8\right)$

${\mathrm{\λ}}_2\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{1,j}-p_{0,j}-p_{2,j}-a_{0,j}\left|\right|}^2---\left(9\right)$

${\mathrm{\λ}}_3\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{F-1,j}-p_{F-2,j}-v_{F-1,j}\left|\right|}^2---\left(10\right)$

${\mathrm{\λ}}_4\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|2*p_{F-2,j}-p_{F-1,j}-p_{F-3,j}-a_{F-1,j}\left|\right|}^2---\left(11\right)$

其中，v_0，j和a_0，j分别是开始帧数据第j个关节中心轨迹的一阶和二阶导数约束值，而v_F-1，j和a_F-1，j分别是结束帧数据第j个关节中心轨迹的一阶和二阶导数约束值，为了保证这些约束的有效性，λ_i，i＝1，2，3，4应当设置成比较大的正数。

对于一个链状骨骼而言，在不同的应用中，骨骼上的每一个关节中心所起的作用是不一样的。如果每一个关节中心加上一个非负权重的话，这些权也不会完全相等。这样可以通过优化的方法去计算在特定应用下，每个关节中心的权重，可以通过一个约束最小二乘优化来计算在人体运动过渡中人体各个关节中心的权重分配。当然也可以手工设定每一个关节中心的权重。这种关节点加权情况下的骨骼匹配问题的单帧目标函数具有下面这样一个形式：

$\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(12\right)$

公式(12)可以用来置换公式(5)-(7)中相应的项，从而形成第四类骨骼匹配问题——加权骨骼匹配问题。

对上述的四类骨骼匹配问题，采用不同的参数化方法会形成不同类型的优化问题。采用关节中心位置参数化方法形成一个等式约束优化问题，可以采用逐步二次规划方法来进行求解。采用欧拉角或球面坐标参数化会形成无约束问题，可以采用拟牛顿法求解。在求解等式约束优化问题中，发现该问题的海森矩阵是稀疏的，因此可以采用稀疏矩阵技术来降低计算和存储的开销。试验表明当问题的规模超过一定数量时，未知参数个数F*N*3+M大于300时，稀疏矩阵技术将带来效率上的很大提高。而对于无约束问题，一般设置一个特殊的关节中心作为根节点，使得链状骨骼的链接层次最小，这样可以提高目标函数及雅克比矩阵计算的效率。

对于上述的优化问题，初值的选取不是一个很难的问题。骨骼长度参数 $l={\left\{l_k\right\}}_{k=1}^M$ 可以设置为从原始关节中心中计算出来的平均骨骼长度 $\stackrel{\‾}{l}={\left\{{\stackrel{\‾}{l}}_k\right\}}_{k=1}^M.$ 对于关节中心位置参数化方法，关节中心位置p_f，j可以直接初始化为q_f，j。对于欧拉角参数化和球面坐标参数化方法，根节点r_f，j的可以初始化为每一帧根节点所对应的关节中心位置，而旋转角度参数，通过反解得到，反解过程中关节中心p_f，k+和P_f，k-位置设置成对应的原始关节中心的值。

在特殊的情况下，重要的或者是性质比较好的关节中心所设的权值将会比其他关节中心所设的权值要大一些，这样这个特殊的关节中心优化所得到优化位置与其对应的原始关节中心的距离将比其他关节中心优化所得到优化位置与各自对应的原始关节中心的距离要小一些。基于这一点，针对这种特殊情况，本发明方法可以构造一个较好的初值。假定这个特殊的关节中心的标号为0，初始化p_f，0为q_f，0，然后采用下面的策略逐个初始化其他的关节中心。

$p_{{f,k}^{+}}=p_{{f,k}^{-}}+\frac{{\stackrel{\‾}{l}}_k(q_{f,k^{+}}-p_{{f,k}^{+}})}{\left|\right|q_{{f,k}^{+}}-p_{{f,k}^{+}}\left|\right|},k=\mathrm{1,2},...,M---\left(13\right)$

其中，如果第i根骨头的一个关节中心为0号关节中心，则 $p_{{f,i}^{-}}=p_{f,0}.$ 针对这种特殊权值的关节中心优化问题，初始化策略(13)可以得到更高的效率。

以下将给出本发明方法的数值例子来比较三种参数化方法的效率，然后给出链状骨骼匹配在运动捕获数据处理中的实际应用实例。

本发明方法使用matlab 6.0实现了三种参数化方法，并且在一台个人电脑(Pentium IV，2.8GHz内存1.0GB)上进行了效率测试。在这个实验当中，不同级别的噪声和不同规模的数据集被用来进行测试。使用一个具有13个关节中心12根骨骼的链状骨骼作为测试骨骼，骨骼长度 $l={\left\{l_k\right\}}_{k=1}^M$ 固定。此时，参考位置参数化方法，未知参数的个数为F*13*3+12，其中F待测试的数据帧数。

首先从[0，π]×[0，π]和[-100，100]分别随机地选择旋转分量和平移分量，然后对测试骨骼进行一个总体的平移和旋转变换之后，在对每一根骨骼进行旋转变换，在加上服从高斯分布的随机噪声之后构成关节中心测试数据。均值为m，方差为σ的高斯噪声通过matlab函数normrnd(m，σ)来实现，其中每一根骨骼所对应的σ通过计算noise％·l_i得到。

在不同级别的噪声和数据规模下，每一组实验进行20次试验，记录下平均响应作为该组实验的结果。优化的停机条件是目标函数的改变量和骨骼长度约束的误差低于1.0e-6。如图2展示了几帧原始的关节中心数据和优化之后的关节中心数据，其中的噪声比为5％。

如图3所示显示了三种参数化方法的计算效率。由于欧拉角参数化方法和球面坐标参数化方法的效率比较低，因此其中只显示了球面参数化方法部分有效的结果，而略去了欧拉角参数化方法的效率曲线。其中，JLP²表示使用稀疏矩阵的关节中心位置参数化方法；JLP¹表示未使用稀疏矩阵的位置参数化方法；SCP表示球面坐标参数化方法。从图3可以看到，本发明方法的JLP²方法优化所使用的时间不到其他两种参数化方法的10％。

尽管与关节中心位置参数化方法相比，球面参数化方法和欧拉角参数化方法使用了更少的参变量个数，并且也没有约束条件，但是其计算效率却非常的低。本发明方法尝试了在自变量上加上有效的范围约束，但是仍然无法改善其计算效率。经过计算比较，目标函数的大计算量以及旋转角度和骨骼长度两种参数之间的大尺度差异极大的降低了这两种参数化方法的计算效率。

本发明方法使用matlab计算方式实现了使用稀疏矩阵的关节中心位置参数化方法来解决链状骨骼匹配的方法，并使用OpenGL图形库建立了一个三维虚拟场景。使用VICON运动捕获设备，捕获了几类人体运动，包括走(76帧)、跑(47帧)和跳(105帧)和一个特殊的关节活动运动(RangeOf Motion)(1085帧)。在这个关节活动运动中，演员被要求尽可能的伸展肢体和活动关节。捕获使用了12个MX-40型号的摄像机，采样频率是30Hz，演员的身上贴有41个标志点。

如图4所示，采用现有技术的方法，计算人体23个主要的关节中心，图中显示根据计算出来的关节中心所形成骨骼的骨骼长度，很明显，这些骨骼的长度是变化的，如图5(a)-(d)所示的各骨骼，不能够直接用来驱动骨骼长度固定的角色模型，因此需要做链状骨骼匹配。

对计算所得到的关节中心数据进行链状骨骼匹配处理，根关节中心的权重被设置为其他关节中心的10倍，并且采用了公式(13)所建议的初始化策略。从原始关节中心数据中均匀选取不超过90帧的数据，并且考虑到人体骨骼的对称性，最大的参变量个数为90*23*3+13＝6223，采用未知骨骼长度匹配问题的形式进行处理，平均的计算效率为大约一秒每帧。得到优化的骨骼长度以后，本发明方法再采用已知骨骼长度匹配问题形式对剩余数据进行处理。如图6(a)-(c)所示比较了走、跑、跳运动的原始的关节中心数据(灰色)和本发明方法优化的关节中心数据(黑色)，很显然两者之间的差距是比较小的。

为了量化原始关节中心和本发明方法优化所得的关节中心之间的距离，定义一个平均误差函数：

$\mathrm{AvgError}=\frac{1000}{F*N}\underset{f=0}{\overset{F-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|p_{f,j}-q_{f,j}\left|\right|}^2---\left(14\right)$

表1列出了不同运动的平均误差函数AvgError值，从某种意义上来说，这些值反映了运动的剧烈程度。

         表1不同运动的平均误差函数值比较。

运动类型	走	跑	跳	ROM
					AvgError	0.1151	0.2103	0.7812	0.0957

进一步，通过变化的μ和υ，使用运动光滑性约束来提高数据处理的质量。总共选取了五组值：I.μ＝0，υ＝0；II.μ＝1，υ＝0；III.μ＝0，υ＝1；IV.μ＝5，υ＝0；V.μ＝0，υ＝5；以走为例，采用这五组不同的参数，按照带光滑性约束的链状骨骼匹配问题处理了原始关节中心数据，处理的结果显示在图7(a)-(d)中，相应的平均误差函数(AvgError)值记录在表2中。进一步，从各种参数下进行骨骼匹配优化生成的关节中心中，比较膝关节中心的轨迹曲线的一阶和二阶导数曲线，并把结果显示在图8中。

表2不同的υ和μ下的平均误差函数值比较。

υμ取值	I	II	III	IV	V
						AvgError	0.1151	1.3489	0.2831	3.7959	0.9183

从表2中可以观察到：与使用μ＝0和υ＝a参数相比，使用μ＝a和υ＝0参数进行骨骼匹配优化生成的关节中心要更接近原始关节中心，而且μ和υ的值越大，优化生成的关节中心与原始关节中心之间的偏差就越大。从图6-图7可以看出：与使用μ＝a和υ＝0参数相比，使用μ＝0和υ＝a参数进行骨骼匹配优化生成的关节中心的轨迹曲线更加光滑，要更接近原始关节中心，而且μ和υ的值越大，优化生成的关节中心轨迹曲线的光滑性就越好。因此，需要在优化生成的关节中心与原始关节中心之间数据偏差小和优化生成的关节中心轨迹光滑性好之间找一个折衷，从这五组参数(I-V)的结果来看，第III组参数值μ＝0，υ＝1能够产生一个数据偏差小同时关节中心轨迹光滑性好的优化结果。用同样的方式处理跑和跳的原始关节中心数据，结果显示在图9和表3当中。更加明显的反映出：在同一组μ和υ参数值的作用下，平均函数值确实反映了运动的剧烈程度。

表1不同的υ和μ下的平均误差函数值比较

	走	跑	跳
				I	0.1151	0.2103	0.7812

[0103]

II	1.3489	2.5753	2.9095
				III	0.2831	0.5375	1.1661
IV	3.7959	4.5450	4.7566
				V	0.9183	2.5268	2.5802

表3列举了在不同的μ和υ参数值下，不同人体运动计算所得的关节中心数据在通过骨骼匹配方法处理后优化生成的骨骼长度。表3表明，尽管在不同的参数值下，优化生成的骨骼长度会不一样，但是骨骼长度的变化是在一个很小的范围内变动，这是符合人的生理特性的。同时可以发现，优化生成的骨骼长度与平均的骨骼长度是很接近的，因此，将平均的骨骼长度作为优化的骨骼长度初值可以提高优化计算的收敛速度。

表2优化生成的骨骼长度和平均骨骼长度比较。

		走	跑	跳			走	跑	跳
										大  腿	平均	39.57	39.72	40.42	上  臂	平均	29.25	29.24	29.55
I	39.60	39.74	40.44	I	29.25	29.24	29.55
										II	39.54	39.69	40.44	II	29.22	29.21	29.54
III	39.59	39.74	40.44	III	29.25	29.23	29.54
										IV	39.54	39.70	40.39	IV	29.22	29.26	29.59
V	39.54	39.70	40.44	V	29.24	29.24	29.56
										小  腿	平均	45.00	43.66	45.12	前  臂	平均	30.00	29.90	30.10
I	45.02	43.68	45.14	I	30.00	29.90	30.06
										II	43.98	43.63	45.14	II	29.97	29.94	30.06
III	43.98	43.63	45.14	III	29.99	29.88	30.06
										IV	43.98	43.63	45.14	IV	29.97	29.94	30.06
V	43.98	43.63	45.14	V	29.98	29.86	30.06

从表5可以观察到，从ROM运动生成的平均骨骼长度可以用来作为演员的固定骨骼长度，因为与其他运动生成的平均骨骼长度相比，它与所有运动通过平均或通过优化生成的骨骼长度的平均值之间的差别是最小的。用这个骨骼，可以在已知骨骼的问题模式下，处理其他的运动捕获数据，使得优化生成的关节中心轨迹达到比较好的光滑性。

    表3优化生成的骨骼长度和平均骨骼长度比较。

ROM	大腿	小腿	上臂	前臂
					平均	39.95	43.98	29.33	29.99
I	39.99	43.92	29.32	29.99
					mean<sup>1</sup>	39.90	43.93	29.35	30.00
mean<sup>2</sup>	39.93	43.95	29.35	29.99

其中mean¹为表2中不同运动的“平均”骨骼长度的总体平均值，mean²为表2中I组参数下的优化骨骼长度的结果的均值。

本发明方法对链状骨骼匹配问题提出了一种高效地解决方法，通过这个方法，从修正原有的多帧不满足固定骨骼长度的关节中心数据，使之满足了固定骨骼长度的约束，同时还可以进一步满足运动平滑性约束。

本发明方法的效率来自于稀疏矩阵技术的采用和关节中心位置参数化方法，通过这个方法，本发明方法可以更加充分的利用运动捕获技术所提供的运动细节；在选择参数μ和υ时，预先给定五组值；找到一个较好的惩罚函数，来平衡分析优化生成的关节中心与原始关节中心之间数据偏差小和优化生成的关节中心轨迹光滑性，并使用优化的方法，搜索一组合理的参数值。本发明方法的处理效率高，且处理结果更准确。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种运动捕捉技术中的链状骨骼匹配方法，其包括以下步骤：

A、从多帧不满足固定骨骼长度的关节中心数据中，生成一个最优固定长度的链状骨骼，并且使之与原有的关节中心数据匹配，从而修正原有的关节中心数据，使其满足固定骨骼长度的约束；所述的步骤A包括：

记F帧由一个有N个关节中心，M根骨骼的链状骨骼运动生成的原始关节中心数据为q_f，j，其中0≤j≤N-1，0≤f≤F-1，f表示帧数，j表示骨骼链的序号，同时，记目标的关节中心位置为p_f，j；记连接关节中心

和

的骨骼长度为l_k，

则未知骨骼长度问题可以表示为下面这样一个等式约束优化问题：

B、对一个链状骨骼进行链状骨骼匹配时通过在目标函数中加入光滑性约束项，达到光滑约束骨骼运动序列的目的，骨骼匹配问题的公式化表示为：

其中，υ和μ是非负的权因子，

为骨骼长度。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中骨骼长度

预先测量得知。

3.根据权利要求2所述的方法，其特征在于，所述步骤B还包括：

在预先知道链状骨骼的骨骼长度时，逐帧求解下述等式约束优化问题：

其中，0≤f≤F-1。

4.根据权利要求3所述的方法，其特征在于，还包括步骤：

当原始关节中心数据的帧数很大时，公式(7)的求解采用分段匹配的形式，其包括：

C1、将原始关节中心数据划分为多个数据段；

C2、对每一个数据段进行代端点约束的骨骼匹配，增加以下四个端点约束：

其中，v_0，j和a_0，j分别是开始帧数据第j个关节中心轨迹的一阶和二阶导数约束值，而v_F-1，j和a_F-1，j分别是结束帧数据第j个关节中心轨迹的一阶和二阶导数约束值，λ_i应当设置成大正数，其中i＝1，2，3，4。

Images