CN113592898A - 一种动作捕捉中缺失标记重建方法 - Google Patents

Abstract

一种动作捕捉中缺失标记重建方法，属于人体动作信息捕捉领域。光学运动捕获过程中由于遮挡或歧义而缺失的标记的问题。一种动作捕捉中缺失标记重建方法，通过卡尔曼滤波框架结合运动数据和人体自身关节约束，从残缺的数据中预估缺失标记点的位置，并重建人体骨架模型；包括分析现存标记点的控制位置分布排除非线性方向移动；基于卡尔曼滤波框架消除噪声和抖动；根据恒速采样计算缺失标记的位置，恢复缺失的数据；结合人体骨架拓扑模型，重建人体运动模型；本发明属于一种自动预测丢失或校正损坏数据的方法，实时重建运动捕获会话期间的骨架运动。

Description

一种动作捕捉中缺失标记重建方法

技术领域

本发明涉及一种动作捕捉中缺失标记重建方法。

背景技术

运动捕捉是记录一个主体在现实生活中的运动并将其转化为数字数据的技术。它广泛 应用于电影和电子游戏行业，以及电影和电子游戏、医疗和表演艺术等。例如，在电影泰 坦尼克号中，所有计算机模拟字符的运动都是从运动捕获数据中创建的。

在所有运动捕获技术中，光学运动捕获，例如，维康是最常用的var-ious应用。一组 标记被附着在物体上，并由一组摄像机跟踪。无源系统通常使用与每个相机搭配的红外照 明器，标记是反反射材料，以反射红外回到相机。活动系统使用LED标记。这两种设计都使相机能够跟踪标记的位置，并通过将标记位置投影到SEV-ERAL相机的图像平面上的三角测量来跟踪时间-空间变化的标记。捕获的数据可用于计算骨架的运动，并转化为数字字符的运动。

然而，即使有昂贵的运动捕获设备，来自光学运动跟踪的数据也可能包含一段时间内 的噪声、异常值或数据丢失。缺失标记的一个主要原因是遮挡，即标记可能被道具、身体 部位或其他物体遮挡。当系统将一个标记与其邻居帽标记混淆时，可能会导致异常值，因 此错误跟踪标记的位置。由于这些损坏的数据存在于记录中，因此在后处理中需要大量的 手动编辑，这不仅耗时，而且容易发生不同的运动。

无论是由遮挡或歧义引起的，都被称为缺失标记问题。为了克服这一常见问题，恢复 光捕获系统中的数据，现有的方法有多种，主要分为离线和实时两类。

一些典型的离线方法使用林耳或非线性方法插值数据。然而，插值需要未来的测量， 因此它在处理中造成不可抑制的延迟，只能用于后处理步骤。一些离线方法从预先捕获的 人体运动数据中学习一系列空间-运动滤波器基，并利用它们来过滤损坏的人体运动数据。 一些人使用预先训练的分类器来识别每个帧的线性模型，以恢复新数据序列中丢失的数据。 一些MOCAP系统也使用具有运动学信息的插值技术作为恢复解决方案。离线方法还包括 基于模型的方法。Rhijn和Mulder提出了一种基于几何骨架的方法来弥补测量数据序列中 存在的空白。恢复运动数据的实时方法包括使用卡尔曼滤波器、扩展卡尔曼滤波器(EKF) 或无迹卡尔曼滤波器预测测量状态。卡尔曼滤波处理的信息范围从标记的位置、速度、肢 体的旋转和角速度。然而，旋转过程模型不服从线性过程，此外，欧拉角表示存在奇异性 问题，四元数不满足角速度要求。必须保持四元数的统一性，以便将低通滤波器应用于四 元数中的估计角速度。滤波非线性方向空间作为线性滤波器在计算上也是无效的，因此许 多研究人员探索了将非线性过程转换为线性滤波器过程的方法。Lee和Shin制定了滤波非 线性定向数据不变时间不变滤波框架，通过将定向数据转换为向量空间，然后在应用滤波 器后将结果转换回ORI-entation空间。

一些实时方法基于其他质量测量，如标记之间的固定距离进行预测。这种方法通常不 包含运动学信息或内部骨架模型，因为它假设在给定的肢体段上的标记具有恒定的标记间 距离，当一个肢体段上的所有标记丢失时，它就变得无效。此外，它还使用了主动标记系 统，该系统对环境光等外部影响具有敏感性问题。方法由Hornung等人提出。还利用标记 间签名，以及使用刚体跟踪和逆运动学来提高跟踪质量。然而，它们不像我们的方法那样， 基于未来状态的预测来识别或重建标记。它们的方法可以补偿由于遮挡而丢失的标记，但 如果出现引起抖动和快速跟踪变化的歧义，则可能失败。

其他人仅基于复杂的人类模型来解决遮挡问题。他们识别标记的位置或消除其三维位 置的歧义，将其替换为骨架上的预期位置。然而，由于它不考虑历史统计信息，当标记在 短时间内被遮挡或与邻域标记混淆时，单凭骨架的预测可能变得无效。

综上，光学运动捕获过程存在的问题为，基于光学运动捕获是一种流行的盖帽和分析 运动的技术，和由于遮挡或歧义而缺失的标记问题。解决这一问题的大多数方法并不理想， 如：广泛的后处理努力，或者大量标记长期缺失时变得无效。

发明内容

本发明的目的是为了解决光学运动捕获过程中由于遮挡或歧义而缺失的标记的问题， 而提出一种动作捕捉中缺失标记重建方法。

一种动作捕捉中缺失标记重建方法，所述的缺失标记重建方法是通过卡尔曼滤波框架 结合运动数据和人体自身关节约束，从残缺的数据中预估缺失标记点的位置，并重建人体 骨架模型；包括如下步骤：

分析现存标记点的控制位置分布排除非线性方向移动的步骤；

基于卡尔曼滤波框架消除噪声和抖动的步骤；

根据恒速采样计算缺失标记的位置，恢复缺失的数据的步骤；

结合人体骨架拓扑模型，重建人体运动模型的步骤。

所述的根据恒速采样计算缺失标记的位置的步骤包括：

1)、将当前帧f_t中标记点状态与前一帧f_t-1中标记点状态进行分析对比，如果出现差值 快速变化，则判定出现了缺失标记情况；其中，差值快速变化表示为：

|f_t-f_t-1|＞δ (1)

式中，δ表示阈值；

2)、使用卡尔曼滤波框架，利用其位置速度常数速率模型预测缺失标记的位置，其中， 恒速模型表示为：

式中，f_t和

分别是标记在时间t的位置和速度；

卡尔曼滤波中的预测状态表示为：

其中，还可以利用卡尔曼滤波框架的位置速度常数速率模型更正错误的标记位置；

3)、使用恒定速率采样来计算速度的历史值，计算分段速度；假设恒定采样速率为δ_t， 则式(3)可写为：

所述的结合人体骨架拓扑模型，重建人体运动模型的步骤中，是通过刚体跟踪方法获 得人体骨架托盘模型的，具体为：

利用至少两个具有标记的摄像机的二维投影图像的立体三角剖分计算标记的三维坐 标，当标记的三维位置被重建后，标记从一个帧到下一个帧的跟踪，完成三维跟踪过程； 之后，通过三维标记跟踪，推断出人体骨架；之后，通过缩放骨骼长度将骨骼拟合到受试 者的解剖结构，完成骨架校准过程；其中，过三维标记跟踪，推断出人体骨架，而建立适合标记云的骨架的基本步骤主要包括：

1)将标记分割成定义身体段的组；

2)计算骨架的关节位置并确定骨架拓扑；

3)调整骨骼或节段的长度；

骨架和刚体模型建立后，计算刚体的方向，对齐该段的标记和关节位置；计算关节在 任何时候的位置，利用附着在肢体上的标记，用刚体近似。

所述的一种动作捕捉中缺失标记重建方法还包括确定关节的旋转角度和位置的步骤；

具体为：

将刚体骨架拟合到数据上，根据已知的刚体骨架和标记模型，则IK得到旋转数据。

本发明的有益效果为：

本发明提出了一种自动预测丢失或校正损坏数据的方法，并实时重建运动捕获会话期 间的骨架运动。该方法从数据驱动预测缺失或COR上升标记位置开始，考虑刚体跟踪被标 记集去罚款，以及身体部位之间的约束，从损坏的数据中重建有效的人体姿态。本发明专 注于光学运动捕获装置和铰接式图形运动(人体运动)，演示了本发明的方法在一个低成本 的运动捕获装置optitrack及其跟踪软件领域。

与以往的实时分类方法不同，本发明首先通过关注位置空间来避免非线性方向空间。 基于成功地应用卡尔曼滤波来消除抖动，快速改变记录的标记位置，这些位置与实际移动 不对应，并填补缺失的数据间隙，通过获得一个连续的三维数据流，以防止错误的跟踪和 恢复丢失的数据。然后，执行刚体跟踪求解器。利用运动学信息，固定母体刚体的跟踪可 能导致连接肢体的正确跟踪。这确保了可靠的跟踪，即使是刚体上的所有标记在很长一段 时间内被遮挡或损坏。用一种实用的光学运动捕获装置，optitrack和它的软件舞台演示了 我们的方法，显示了本发明方法的易用性和有效性。本发明方法可以显著提高标记跟踪的 鲁棒性，大大减少甚至消除在三维重建过程中对人类干预的需求。

具体实施方式

具体实施方式一：

本实施方式的一种动作捕捉中缺失标记重建方法，所述的缺失标记重建方法是通过卡 尔曼滤波框架结合运动数据和人体自身关节约束，从残缺的数据中预估缺失标记点的位置， 并重建人体骨架模型；包括如下步骤：

分析现存标记点的控制位置分布排除非线性方向移动的步骤；

基于卡尔曼滤波框架消除噪声和抖动的步骤；

根据恒速采样计算缺失标记的位置，恢复缺失的数据的步骤；

结合人体骨架拓扑模型，重建人体运动模型的步骤。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种动作捕捉中缺失标记重建方法，所述 的根据恒速采样计算缺失标记的位置的步骤包括：

1)、将当前帧f_t中标记点状态与前一帧f_t-1中标记点状态进行分析对比，如果出现差值 快速变化，则判定出现了缺失标记情况；其中，差值快速变化表示为：

|f_t-f_t-1|＞δ (1)

式中，δ表示阈值；

2)、使用卡尔曼滤波框架，利用其位置速度常数速率模型预测缺失标记的位置，其中， 恒速模型表示为：

式中，f_t和

分别是标记在时间t的位置和速度；

卡尔曼滤波中的预测状态表示为：

其中，还可以利用卡尔曼滤波框架的位置速度常数速率模型更正错误的标记位置；

3)、使用恒定速率采样来计算速度的历史值，计算分段速度，以提高速度计算的准确 性；假设恒定采样速率为δ_t，则式(3)可写为：

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的一种动作捕捉中缺失标记重建方法， 所述的结合人体骨架拓扑模型，重建人体运动模型的步骤中，是通过刚体跟踪方法获得人 体骨架托盘模型的，具体为：

利用至少两个具有标记的摄像机的二维投影图像的立体三角剖分计算标记的三维坐 标，当标记的三维位置被重建后，标记从一个帧到下一个帧的跟踪，完成三维跟踪过程； 之后，通过三维标记跟踪，推断出人体骨架；之后，通过缩放骨骼长度将骨骼拟合到受试 者的解剖结构，完成骨架校准过程；其中，过三维标记跟踪，推断出人体骨架，而建立适合标记云的骨架的基本步骤主要包括：

1)将标记分割成定义身体段的组；

2)计算骨架的关节位置并确定骨架拓扑；

3)调整骨骼或节段的长度；

将标记分割成组的原因是骨运动可以通过刚体转换(包括平移和旋转)很好地模拟， 而附着在刚体上的标记组可以定义刚体运动。考虑到骨架的段数，如n，可以将标记分割 成n组。簇可以通过最小化所有标记对上距离的和标准差来确定。通常，附着在同一肢体上的标记将被分组在一起。通过将标记划分为刚性段，它可以计算固定的标记间距离和固定标记相对于段上节点的位置，称为标记模型。利用该标记模型，可以确定节点连接段的骨架拓扑和位置。相邻段之间旋转中心(COR)的三维位置对应于关节位置。根据一种通过估计标记的COR及其附属肢体的一般骨架拟合技术，在标记分割和骨架拟合之后，每个标记将被标记为一个唯一的标识，以标记它属于哪个组或它连接到哪个肢体。身份将有助于跟踪标记和它连接到运动捕获期间的肢体。并不是每一个肢体都需要被定义为一个刚体，因为如果连接的关节位置是基于邻近肢体，那么可以确定一个内肢的转换。

骨架和刚体模型建立后，计算刚体的方向，对齐该段的标记和关节位置；计算关节在 任何时候的位置，利用附着在肢体上的标记，用刚体近似。

在运动跟踪中采用刚体跟踪有许多优点：

1)定义刚体的标记不会相互移动。即刚体上的标记间距离是固定的，无论如何，标记 实际上附着在皮肤或紧身衣服上，这些衣服可能相对于底层的骨结构而移动，因此单是恒 定的标记间距离就可能在标记识别过程中造成问题。

2)如果刚体上只缺少一个标记，通过跟踪一个刚体的标记，它可以根据固定标记间距 离的特性来预测缺失标记的位置，从而使系统能够继续跟踪。

3)在被动光学跟踪系统中，当标记AP-Pear在遮挡后再次出现时，系统无法识别它们 的身份，而是将它们作为匿名标记。刚体跟踪将尝试识别匿名标记。所有丢失一个或多个 标记的刚体都将被识别，并通过最接近标记模型定义的标记到关节的距离来识别与肢体的 匿名3D标记。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种动作捕捉中缺失标记重建方法，所述 的一种动作捕捉中缺失标记重建方法还包括确定关节的旋转角度和位置的步骤；

具体为：

逆运动学(IK)求解器是一种根据已知的末端效应器位置定位四肢的模拟机构。IK技术 需要某些关节的旋转角度和位置，称为末端效应器，以配置剩余的DOFS。法布里克(向前和向后到达逆运动学)是一种流行的Algo-rithms，它使用点和线来解决IK问题。例如，一旦刚体骨架被拟合到数据上，就可以使用该算法找到旋转。它还被用于标记预测和COR估计。

从标记组的三维跟踪计算关节旋转是容易产生标记噪声的误差，每段至少需要三个标 记。

将刚体骨架拟合到数据上，使用IK可以提高旋转计算。根据已知的刚体骨架和标记模 型，则IK得到最优的旋转数据，以最小化与段上标记位置的距离和输入数据。

Claims (4)

1.一种动作捕捉中缺失标记重建方法，其特征在于：所述的缺失标记重建方法是通过卡尔曼滤波框架结合运动数据和人体自身关节约束，从残缺的数据中预估缺失标记点的位置，并重建人体骨架模型；包括如下步骤：

分析现存标记点的控制位置分布排除非线性方向移动的步骤；

基于卡尔曼滤波框架消除噪声和抖动的步骤；

根据恒速采样计算缺失标记的位置，恢复缺失的数据的步骤；

结合人体骨架拓扑模型，重建人体运动模型的步骤。

2.根据权利要求1所述的一种动作捕捉中缺失标记重建方法，其特征在于：所述的根据恒速采样计算缺失标记的位置的步骤包括：

1)、将当前帧f_t中标记点状态与前一帧f_t-1中标记点状态进行分析对比，如果出现差值快速变化，则判定出现了缺失标记情况；其中，差值快速变化表示为：

|f_t-f_t-1|＞δ (1)

式中，δ表示阈值；

2)、使用卡尔曼滤波框架，利用其位置速度常数速率模型预测缺失标记的位置，其中，恒速模型表示为：

式中，f_t和

分别是标记在时间t的位置和速度；

卡尔曼滤波中的预测状态表示为：

其中，还可以利用卡尔曼滤波框架的位置速度常数速率模型更正错误的标记位置；

3)、使用恒定速率采样来计算速度的历史值，计算分段速度；假设恒定采样速率为δ_t，则式(3)可写为：

3.根据权利要求1所述的一种动作捕捉中缺失标记重建方法，其特征在于：所述的结合人体骨架拓扑模型，重建人体运动模型的步骤中，是通过刚体跟踪方法获得人体骨架托盘模型的，具体为：

利用至少两个具有标记的摄像机的二维投影图像的立体三角剖分计算标记的三维坐标，当标记的三维位置被重建后，标记从一个帧到下一个帧的跟踪，完成三维跟踪过程；之后，通过三维标记跟踪，推断出人体骨架；之后，通过缩放骨骼长度将骨骼拟合到受试者的解剖结构，完成骨架校准过程；其中，过三维标记跟踪，推断出人体骨架，而建立适合标记云的骨架的基本步骤主要包括：

1)将标记分割成定义身体段的组；

2)计算骨架的关节位置并确定骨架拓扑；

3)调整骨骼或节段的长度；

骨架和刚体模型建立后，计算刚体的方向，对齐该段的标记和关节位置；计算关节在任何时候的位置，利用附着在肢体上的标记，用刚体近似。

4.根据权利要求3所述的一种动作捕捉中缺失标记重建方法，其特征在于：所述的一种动作捕捉中缺失标记重建方法还包括确定关节的旋转角度和位置的步骤；

具体为：

将刚体骨架拟合到数据上，根据已知的刚体骨架和标记模型，则IK得到旋转数据。