CN110782513A - 一种用于实时动作捕捉数据去抖动复合算法的方法 - Google Patents

Abstract

本发明公开了一种用于实时动作捕捉数据去抖动复合算法的方法，该方法包括通过动捕传感器获取三维关节数据，使用逆向关节动力学驱动动作；然后利用随机森林的机器学习建立模型，平滑整体动作，并且弥补由于遮挡造成的传感器数据丢失问题；最后构建基于最小能量原理的能量泛函动作模型，对所述能量泛函附加惩罚项，所述惩罚项用于惩罚从前一帧的姿势生成的平滑预测中估计的姿势的偏差，所述附加的惩罚项包括关节角的惩罚项和刚体运动的惩罚项；将所述能量泛函迭代最小化，获得最终三维人体运动的动作姿势。本发明提供的方法，解决了现有的三维动捕数据无法控制的抖动和由于遮挡造成传感器数据丢失，导致跟踪结果错误或失败的问题。

Description

一种用于实时动作捕捉数据去抖动复合算法的方法

技术领域

本发明涉及动画制作领域，特别涉及一种用于实时动作捕捉数据去抖动复合算法的方法。

背景技术

动作捕捉的发明对于提升动画制作效率起到了革命性的作用，但是不管是光学动捕系统、惯性动捕系统、激光扫描动捕系统还是深度摄像头的动捕系统，都必须要面对获得数据的抖动和数据丢失问题，因此，对动作捕捉数据去抖和平滑处理是整个动作捕捉和动画行业的一项核心任务。

然而，现有的各种方法，例如卡尔曼滤波、基于边缘的技术、粒子滤波器或基于区域的方法，一方面，由于图像数据的模糊性，往往会导致跟踪结果不稳定，在最坏的情况下，这会导致丢失对应动作。一个直接的补救方法是要求时间上的一致性并使结果平滑，这通常是以后处理的步骤完成的。另一方面，许多跟踪过程没有考虑到被跟踪物体重心变化，其结果往往围绕被跟踪对象的真实中心摇摆。然而，抖动的结果往往表明跟踪过程中的错误或含糊不清。尤其在复杂场景中，如室外环境中，我们经常观察到运动抖动的影响，这是跟踪失败的前兆。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

为解决上述技术问题，本发明的目的在于提供一种能够实时抑制跟踪过程中的三维运动抖动，使得跟踪结果更平滑和更逼真的用于处理三维人体运动的动作数据的方法，以解决现有的跟踪方法不能抑制跟踪过程中的三维运动抖动、导致跟踪结果错误或失败的问题。

第一方面，本发明实施例提供一种用于实时动作捕捉数据去抖动复合算法的方法，包括以下步骤：

通过动捕传感器实时获取三维关节数据，使用逆向关节动力学驱动动作；

然后利用随机森林的机器学习建立模型，平滑整体动作，并且弥补由于遮挡造成的传感器数据丢失问题；

最后构建基于最小能量原理的能量泛函动作模型，对所述能量泛函附加惩罚项，所述惩罚项用于惩罚从前一帧的姿势生成的平滑预测中估计的姿势的偏差，所述附加的惩罚项包括关节角的惩罚项和刚体运动的惩罚项；

将所述能量泛函迭代最小化，获得最终三维人体运动的姿势，而且整个算法实施过程可以达到实时性要求。

首先，逆向动力学运动链中的每一个关节点,用一个关节变量来表示这个节点处的两个相邻坐标系的空间变换M,在每个旋转关节i处的变换Mi由位移和旋转构成,这两个量是相对于父节点坐标系的相对值,即：

M_i＝T(x_i，y_i，z_i)R(θ_i)

其中T(xi,yi,zi)是从父关节节点i-1到当前节点i的位移矩阵,R(θi)是绕着关节i的旋转轴旋转了θi的旋转矩阵。

这个运动链中,任意两个关节的坐标系i和j的关系,可以由从i遍历到j时,遇到的所有节点的变换相乘求得。

M_ij＝M_iM_i+1...M_j-1M_j

所以与基座坐标系相关的末端器的位置和朝向,可以简单的由每个节点的变换相乘求得。

其次，随机森林的机器学习建立模型，平滑整体动作，遍历每个特征的每个关节节点时，当使用特征A＝a，将D划分为两部分，即D1(满足A＝a的样本集合)，D2(不满足A＝a的样本集合)。则在特征A＝a的条件下D的基尼指数为：

Gini(D)：表示集合D的不确定性。

Gini(A,D)：表示经过A＝a分割后的集合D的不确定性。

随机森林中的每棵CART决策树都是通过不断遍历这棵树的特征子集的所有可能的分割点，寻找Gini系数最小的特征的分割点，将数据集分成两个子集，直至满足停止条件为止。

最后，所述刚体运动用扭曲指数表示，表达式为：

其中，

是扭曲

的矩阵表示，so(3)为李代数，是所有三维旋转的切空间，

进一步，所述建立基于能量泛函的运动捕捉模型的步骤包括：

根据以下表达式建立基于能量泛函的运动捕捉模型，所述能量泛函包括一个基于水平集的分割和一个表示姿势估计任务的形状项：

其中，Φ为轮廓，Ω为图像域，χ为位姿参数，p1和p2为概率密度，参数λ＝0.05。

进一步地，所述将所述能量泛函迭代最小化的步骤包括：

位姿参数χ保持不变，能量泛函相对于所述分割最小化；

轮廓保持不变，同时确定位姿参数以使曲面网格与轮廓相匹配。

进一步地，所述对所述能量泛函附加惩罚项的步骤包括：

通过关节角导数和代表预测位置的扭曲来计算估计值，估计值χ＝(ξ，Θ)，其中，

所述估计值χ＝(ξ，Θ)与预测值的偏差用下列表达式测量：

第二方面，本发明实施例提供一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行任意一种上述的方法。

第三方面，本发明实施例提供一种处理器，上述处理器用于运行程序，其中，所述程序运行时执行任意一种上述的方法。

第四方面，本发明实施例提供一种电子设备，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法。

有益效果

在本发明实例中，采用了一系列算法从逆向动力学获得动作，然后对动作进行随机森林的建模和学医，最后通过对能量泛函附加惩罚项，能够抑制跟踪过程中的三维运动抖动，大大提高了动作效果，甚至可以在没有时间一致性假设的情况下成功跟踪，且使得跟踪的动作结果更平滑和更逼真，解决了现有的去噪方法不能抑制跟踪过程中的三维运动抖动、导致跟踪结果错误或失败的问题。

附图说明

图1是根据本发明实施例的一种用于实时动作捕捉数据去抖动复合算法的方法的流程示意图；

图2是根据本发明实施例的逆向动力学驱动的动作；

图3是图2的经过复合算法处理后的结果量化图；

图4是根据本发明实施例对男性进行动作获取的示意图；

图5是根据本发明实施例对女性进行动作获取的示意图；

图6是根据图4和图5完成了复合算法全流程的结果对比图；

图7是根据本发明实施例在虚拟环境驱动虚拟角色的示例帧。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明实施中，提供一种用于实时动作捕捉数据去抖动复合算法的方法的方法，如图1所示，该方法包括如下步骤：

步骤S100，通过动捕传感器获取关节数据，采用逆向动力学驱动动作，构建基于随机森林的学习模型，平滑动作和处理遮挡导致的数据丢失；

步骤S102，建立基于能量最小化的泛函的运动捕捉模型，所述运动捕捉模型用于对处理后的动作模型，进行姿动态跟踪和去抖优化；

步骤S104，对所述能量泛函附加惩罚项，所述惩罚项用于惩罚从前一帧的姿势生成的平滑预测中估计的姿势的偏差，所述附加的惩罚项包括旋转角的惩罚项和刚体运动的惩罚项；

步骤S106，将所述泛函到能量迭代最小化，获得最终去抖后的三维人体运动的姿势。

其中，针对现有跟踪方法跟踪结果错误或失败的问题，发明人发现由于被观测物体重心的变化，可以对观测到的运动进行平滑假设。这意味着，除非有生理上的疾病，否则一个由机器人手臂或人类手臂等连续移动的物体在物理上不太可能迅速改变方向，甚至抖动。而现有的跟踪方法不考虑此特性。在复杂场景(如室外环境)中，我们经常观察到运动抖动的影响，是跟踪失败的前兆。因此，我们在跟踪过程中在线平滑估计的运动，我们可以使用现有的运动捕捉系统，该系统可以对关节式三维动作模型进行姿态跟踪。

其中，我们不使用串联的欧拉角和平移向量，而是使用刚体运动的扭曲表示形式，它以指数形式读取：

其中，

是扭曲

的矩阵表示，其中，李代数so(3)是所有三维旋转的切空间。其元素是(缩放)旋转轴，可以表示为三维矢量或斜对称矩阵：

扭曲ξ包含六个参数，对于单位向量ω，可以缩放到

参数

对应于运动速度(即旋转速度和俯仰角)。

对于不同的θ，运动可以被识别为围绕空间中的轴的螺旋运动。六个扭曲分量可以表示为一个6D向量或一个4×4矩阵：

从se(3)到SE(3)。从一个给定的扭曲重建群作用M∈SE(3)，必须计算指数函数这可以通过以下公式有效的完成。

并应用罗德里格斯公式：

这意味着，计算可以通过简单的矩阵运算和实数的正弦和余弦求值来实现。利用此特性可以计算正交相机设置中的姿势和运动链配置。

从SE(3)到se(3)，设R∈SO(3)为刚体运动的旋转矩阵，

为刚体运动的平移向量

对于R＝I的情况，扭曲为

在所有其他情况下，运动速度θ和旋转轴ω为

为了得到v，矩阵

从Rodriguez公式(见方程式(4))获得的数据需要倒转并乘以平移向量t，

v＝A-1_t (9)

这是因为当θ≠0时，组成a的两个矩阵具有相互正交的零空间。因此，

我们称从SE(3)到se(3)的转换为对数log(M)。

其中，三维动作模型可以用嵌入运动链的自由曲面表示的。将运动链建模为对x指数函数的连续求值，并使用扭曲ξ_i来建模(已知)关节位置。曲面模型的网格点的变换是在特定肢体运动中涉及的局部刚体运动的连续应用：

简而言之，我们注意到由(6+n)-D向量χ＝(ξ，θ₁，..θ_n)＝(ξ，θ)构成的姿势配置，其中包括刚体运动ξ的6个自由度和包含关节角的nD向量Θ。在mocap设置中，向量χ未知，必须根据图像数据确定。

本发明实施方式使用基于点对应的姿态估计，假设提取的图像轮廓和投影曲面网格的轮廓，两个轮廓之间的最近点对应可以用来定义一组对应的3D射线和3D点。然后，应用基于3D点线的运动链位姿估计算法来最小化两个轮廓之间的空间距离：对于基于点的位姿估计，将每条线建模为一条三维直线L_i＝(n_i，m_i)，单位方向为n_i，力矩为m_i。对于姿态估计，重建的直线与刚性运动的螺旋表示相结合。用3d射线L_i＝(n_i，m_i)表示转换后的3D点X_i的入射率，可以表示为：

由于

是一个4D向量，因此忽略齐次分量(即1)来计算与n_i的交叉乘积。利用指数函数和表示的前两个元素，可以在未知扭转参数中线性化该非线性方程组：

这个近似被用在方程(11)中，并导致线性方程组

通过收集足够数量的点对应并附加单方程组，得到一个未知位姿参数

下的超定线性方程组。利用方程(4)和(5)的最小二乘解重建刚体运动。然后对模型点进行变换，建立一个新的线性系统并求解，直至收敛。最后的姿态是迭代过程中所有刚体运动的连续评估。

因为关节被表示为特殊的螺钉，没有形式的螺距，已知的

(旋转轴的位置是模型的一部分)和未知的关节角θ_j。第j个关节上第i个点的约束方程的形式为

它的线性化方式与刚体运动本身相同。导致三个具有六个未知扭转角和j个未知关节角的线性方程组。

其中，运动捕捉模型可以用能量泛函来描述，试图将其最小化。它包括一个基于水平集的分割，类似Chan-Vesemode，以及一个表示姿势估计任务的形状项：

该函数用作隐式轮廓表示。它将图像域Ω分成两个区域Ω₁和Ω₂，如果x∈Ω₁，Φ(x)>0；如果x∈Ω₂，Φ(x)<0。这两个区域可通过阶跃函数H(s)访问，即如果x∈Ω₁，则H(Φ(x))＝1，否则H(Φ(x))＝0。概率密度p1和p2测量强度值I(x)到相应区域的拟合。它们由局部高斯分布建模。长度项按v>0加权可确保提取轮廓的平滑度。

利用轮廓Φ，将轮廓提取和姿态估计问题耦合起来。尤其是，投影曲面模型Φ₀作为支持分割之前的形状。参数λ＝0.05可以控制形状对分割的影响。

由于优化问题的非线性，选择一种迭代最小化方案：首先，位姿参数χ保持不变，而函数相对于分割最小化。然后保持轮廓不变，同时确定姿态参数以使曲面网格与轮廓相匹配

其中，为了避免运动抖动，其思想是通过一个附加的惩罚项来扩展能量泛函，该惩罚项惩罚从前一帧的姿势生成的平滑预测中估计的姿势的偏差。

这种预测χ＝(ξ，Θ)(如全局姿态)可以通过关节角导数：

和代表预测位置的扭曲来计算，

其中，估计值χ＝(ξ，Θ)与预测值的偏差现在可以通过以下方法来测量：

其中，刚体运动的偏差由当前姿势和预测姿势之间的最小测地线建模的。

这个误差值是由刚体运动的指数形式引起的：由于我们将姿态线性化，参见方程(13)，我们必须在这里做完全相同的事情。关节角的导数简单地由Θ-Θ给出。为了计算运动导数，我们可以先得到线性测地线，这是因为螺旋运动产生的刚性运动所对应的空间速度正是螺旋本身产生的速度。为了证明这一点，我们先设定

其中，

设

是转换为

的点，点的空间速度

因为

我们有

设置

后，线性化惩罚项会作为姿势约束的附加线性方程式，从而进一步对方程式进行正则化，

方程(22)对每一个参数产生附加约束，该约束将解决方案推向了预测。在这里，我们不会在第二个处理步骤中执行离线平滑。取而代之的是，在估计过程中对运动抖动进行在线惩罚，不仅提高了结果的平滑度，而且使得跟踪变得稳定。

为了进一步验证本发明实施方式用于动作捕捉数据去抖动复合算法的方法的有效性，我们进行了一系列的实验，实验分为男性和女性两个研究对象。

对于男性研究对象，我们使用腿的参数化网格模型，表示为自由曲面片。如图2显示了实验室环境中膝盖弯曲的几个连续示例帧。第一行中较小的图像显示了4个不带平滑度假设的脚位置示例，最后一行显示了带平滑度假设的脚位置示例。这四个连续帧中的运动抖动被抑制，其效果在图3量化显示。这里我们叠加了膝盖角度。灰色值表示没有惩罚项的系统结果，黑色值表示并入了惩罚项的结果。可以看出，惩罚项减少了快速运动的变化，但保持较小的变化，第50帧附近的灰色峰值是由于损坏的帧造成的。附加了惩罚项的能量泛函适用于惩罚跟踪过程中的快速移动变化，而不是较小的变化。

对于女性研究对象，我们使用了一个26个自由度的女性的全身模型。使用使用了DreamMaker激光扫描动捕系统，设置(60fps)中捕捉不同的序列。

图4显示了本发明实施例对男性进行跟踪的示意图，其上图显示的图像受到15％的不相关噪声以及颜色和大小随机的随机矩形的干扰，而下图展示了某些关节角度的比较，灰色曲线没有惩罚项，黑色曲线并入了惩罚项，可以看出使用惩罚项，运动更加平滑。图4总结了运行试验的结果：所图像都受到15％的不相关噪声和随机颜色和大小的随机矩形的干扰。无论在平滑度假设下还是在没有平滑度假设的情况下，跟踪都是成功的。然而，该图表明具有平滑度约束的曲线更平滑。通过与手动标记的基于标记的跟踪系统的比较，我们的结果与基于标记的跟踪结果之间的平均误差为5.8度。更重要的是，通过使用惩罚项，我们的方法和基于标记的方法之间的差异已经从12度减小到5度。

图5显示了本发明实施例针对女性进行跟踪的示意图，如图5所示，某些帧被完全错误地存储，从而导致腿部交叉和自交叉。由于惩罚项的存在，腿的快速运动减少，避免了自交叉。由于这种噪声影响，跟踪在序列的后一部分失败，而在集成平滑度约束下则成功，这表明平滑度假设可以区分成功跟踪和失败跟踪，跟踪结果参见图6，较平滑的线为并入了惩罚项的跟踪结果，表示跟踪成功，不平滑的线表示没有惩罚项的跟踪结果，表示跟踪失败。图7显示了在虚拟环境中驱动虚拟角色的示例帧。

在本发明实施中，还提供一种存储介质，存储介质包括存储的程序，其中，程序执行任意一种上述的方法。

在本发明实施中，还提供一种处理器，上述处理器用于运行程序，其中，程序运行时执行任意一种上述的方法。

在本发明实施中，还提供一种电子设备，包括：一个或多个处理器，存储器，显示装置以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的方法。

在本发明实例中，由于涉及到重心变化，因此平滑运动的假设是合理的，通过对能量泛函附加惩罚项，能够抑制跟踪过程中的三维运动抖动，大大提高了跟踪效果，甚至可以在没有时间一致性假设的情况下成功跟踪，且使得跟踪结果更平滑和更逼真，解决了现有的跟踪方法不能抑制跟踪过程中的三维运动抖动、导致跟踪结果错误或失败的问题。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (5)

1.一种用于实时动作捕捉数据去抖动复合算法的方法，其特征在于，包括：

通过动捕传感器实时获取三维关节数据，使用逆向关节动力学驱动动作；

然后利用随机森林的机器学习建立模型，平滑整体动作，并且弥补由于遮挡造成的传感器数据丢失问题；

最后构建基于最小能量原理的能量泛函动作模型，对所述能量泛函附加惩罚项，所述惩罚项用于惩罚从前一帧的姿势生成的平滑预测中估计的姿势的偏差，所述附加的惩罚项包括关节角的惩罚项和刚体运动的惩罚项；

将所述能量泛函迭代最小化，获得最终三维人体运动的姿势，而且整个算法实施过程可以达到实时性要求。

2.根据权利要求1所述的方法，其特征在于，所述的逆向动力学运动链中的每一个关节点,用一个关节变量来表示这个节点处的两个相邻坐标系的空间变换M,在每个旋转关节i处的变换Mi由位移和旋转构成,这两个量是相对于父节点坐标系的相对值,即：

M_i＝T(x_i，y_i，z_i)R(θ_i)

其中T(xi,yi,zi)是从父关节节点i-1到当前节点i的位移矩阵,R(θi)是绕着关节i的旋转轴旋转了θi的旋转矩阵。

这个运动链中,任意两个关节的坐标系i和j的关系,可以由从i遍历到j时,遇到的所有节点的变换相乘求得。

M_ij＝M_iM_i+1...M_j-1M_j

所以与基座坐标系相关的末端器的位置和朝向,可以简单的由每个节点的变换相乘求得。

所述的随机森林的机器学习建立模型，平滑整体动作，遍历每个特征的每个关节节点时，当使用特征A＝a，将D划分为两部分，即D1(满足A＝a的样本集合)，D2(不满足A＝a的样本集合)。则在特征A＝a的条件下D的基尼指数为：

Gini(D)：表示集合D的不确定性。

Gini(A,D)：表示经过A＝a分割后的集合D的不确定性。

随机森林中的每棵CART决策树都是通过不断遍历这棵树的特征子集的所有可能的分割点，寻找Gini系数最小的特征的分割点，将数据集分成两个子集，直至满足停止条件为止。

所述刚体运动用扭曲指数表示，表达式为：

其中，

是扭曲

的矩阵表示，so(3)为李代数，是所有三维旋转的切空间，

3.根据权利要求2所述的方法，其特征在于，所述建立基于逆向动力学、随机森林以及能量泛函的运动捕捉模型的步骤包括：

根据以下表达式建立基于能量泛函的运动捕捉模型，所述能量泛函包括一个基于水平集的分割和一个表示姿势估计任务的形状项：

其中，Φ为轮廓，Ω为图像域，χ为位姿参数，p1和p2为概率密度，参数λ＝0.05。

4.根据权利要求3所述的方法，其特征在于，所述将所述能量泛函迭代最小化的步骤包括：

位姿参数χ保持不变，能量泛函相对于所述分割最小化；

轮廓保持不变，同时确定位姿参数以使曲面网格与轮廓相匹配。

5.根据权利要求4所述的方法，其特征在于，所述对所述能量泛函附加惩罚项的步骤包括：

通过关节角导数和代表预测位置的扭曲来计算估计值，估计值χ＝(ξ，Θ)，其中，

所述估计值χ＝(ξ，Θ)与预测值的偏差用下列表达式测量：

Images