CN102725038B - 组合多传感输入以用于数字动画 - Google Patents

Abstract

基于运动捕捉的表演来动画模拟数字角色，包括：接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及光学、红外和惯性运动捕捉中的至少一种；以及管理和组合所收集的传感数据，以辅助清洗、跟踪、标记和重定向过程。关键字包括光学视频数据和惯性运动捕捉。

Description

组合多传感输入以用于数字动画

技术领域

本发明涉及运动捕捉，更具体而言，涉及组合多传感输入以用于数字动画。

背景技术

运动捕捉系统被用于捕捉演员和/或物体的运动并按照对他们进行动画模拟的方式将他们映射到计算机生成的对象上。这些系统通常用在运动画面和视频游戏的制作中，以用于创建对演员和/或物体的数字表示来用作创建计算机图形(“CG”)动画的源数据。在普通系统中，演员穿着一套服装，该服装上的各个位置附着有标记(marker)(例如，小的反射标记被附着在身体和四肢上)。适当放置的数码相机随后在标记被照亮的同时从不同角度记录演员身体在捕捉体积(capture volume)中的运动。系统随后分析图像来确定在每一帧中演员服装上的标记的位置(例如，空间坐标)。通过跟踪标记的位置，系统随时间创建标记的空间表示，并建立运动中的演员的数字表示。运动随后被应用到虚拟空间中的数字模型，该数字模型可以被加纹理并渲染，以产生演员和/或表演的完整CG表示。该技术已经被特效公司用于在很多流行电影中产生逼真的动画。

发明内容

在一种实现方式中，一种基于运动捕捉的表演来动画模拟数字角色的方法被公开。该方法包括：接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及光学、红外和惯性运动捕捉中的至少一种；以及管理和组合所收集的传感数据，以辅助清洗、跟踪、标记和重定向过程。

在另一实现方式中，一种组合运动捕捉系统被公开。该系统包括：标记模块；跟踪模块；清洗模块；重定向模块；以及输入管理模块，该输入管理模块被配置为接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及光学、红外和惯性运动捕捉中的至少一种，并且该输入管理模块管理和组合所接收的传感数据，以产生指导所述清洗模块、所述跟踪模块、所述标记模块和所述重定向模块的输出。

在又一实现方式中，一种存储计算机程序的非瞬态有形存储介质被公开，所述计算机程序用于基于运动捕捉的表演来动画模拟数字角色。所述计算机程序包括致使计算机执行如下操作的可执行指令：接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及光学、红外和惯性运动捕捉中的至少一种；以及管理和组合所收集的传感数据，以辅助清洗、跟踪、标记和重定向过程。

在阅读以下详细描述和附图之后，本发明的其他特征和优点将对本领域普通技术人员变得显而易见。

附图说明

图1示出根据本发明一种实现方式的组合运动捕捉系统。

图2示出构成根据本发明一种实现方式的组合运动捕捉系统的各个模块。

图3A和3B形成示出根据本发明一种实现方式用于组合多传感输入的技术的流程图。

图4A示出计算机系统和用户的表示。

图4B是示出容宿组合运动捕捉系统的计算机系统的功能框图。

具体实施方式

这里所公开的某些实现方式用于组合多传感输入以用于数字动画。在阅读本说明书之后，如何在各种实现方式和应用中实现本发明将变得明显。但是，虽然这里将描述本发明的各种实现方式，但是应该理解，这些实现方式仅以示例方式而非限制方式给出。因此，对各种实现方式的详细描述不应该被理解为限制本发明的范围或广度。

各种实现方式包括用于基于所捕捉的表演来动画模拟数字角色(包括身体、脸和眼睛)的技术。这些技术包括单独或组合使用各种传感数据(sensory data)。例如，使用运动捕捉系统、传统视频、眼电图(electro-oculography)系统和惯性运动捕捉系统来收集传感数据，这些系统适合于捕捉演员表演并在各种制作情形中将他们重定向到数字角色上。在该实现方式中，用于捕捉演员表演和物体结构和运动的不同工具被组合，并且数据被集合到一起来创建表演的表示，例如在动画电影中动画模拟数字角色。因此，这些工具适合于捕捉演员表演并在各种制作情形中将他们重定向到数字角色上。

在一种实现方式中，各种运动捕捉技术被组合。在一个示例中，在不同捕捉体积中执行的运动捕捉会话被组合。在演员穿着带有光反射标记和脸部反射标记的运动捕捉服时，在声音阶段可以执行完全大体积、高足迹(footprint)捕捉。所捕捉的数据被自动标记、清洗并重定向到数字角色上。所产生的动画使用艺术家熟悉的控件，从而他们可以容易地将动画扩展以满足制作的艺术需求。这被用来在很多制作项目上在例如55×55×25英尺的大体积中同时捕捉、处理和重定向身体和脸部两者。可以对一个或多个视频流执行低体积、低足迹、在场(on-set)捕捉。该过程使用演员在他们的身体服装上佩戴的经编码并因此可识别的标记以及脸上的笔标记(pen marker)。这些标记在视频中被识别和跟踪。跟踪到的2D数据随后被分析和重定向到数字角色上。这已被用于在场景灯光在捕捉时间对项目具有最小影响的情况下捕捉在场演员，但是已经在数字角色上产生自动/半自动标记、跟踪和重定向的动画。

在另一示例中，有时当由于场景局限(例如，场景灯光)难以或不可能放置相机时，不希望使用传统的运动捕捉系统。在此情况下，可以使用惯性系统，其中该系统产生精确的对身体部分的相对动画，但是这样的系统具有无法精确地跟踪演员的绝对位置的缺陷。绝对位置(通常被称为演员的根(root))随时间漂移(drift)，因此演员在3D真实世界中的位置与角色在“图形”世界中的位置不匹配。这种不希望的效果是惯性系统的操作的缺陷。但是，这种不希望的效果当在数字场景中排列演员时确实造成问题。为了解决该问题，诸如光学和声学输入之类的其他传感输入可以与惯性系统组合来使方案自动化并解决数字角色的绝对位置的问题。因此，多个传感数据流被有效地组合，以使用惯性和视频系统或惯性和声学系统的组合来产生好的动画。在一种实现方式中，基于视频的系统解决根，同时惯性系统提供围绕根的局部动画。

在组合运动捕捉系统的一种实现方式中，可以提供以下输入：(a)来自传统运动捕捉系统的重构的3D点(例如，在大体积中)；(b)来自多个摄像机的跟踪的2D实体(在低足迹在场的情况下)；(c)来自由于漂移问题在位置上不同步的惯性系统的动画数据；或者(d)它们的组合。通过在数字角色装备(rig)上提供动画制作者熟悉的控件上的键，从该系统产生的输出包括对于身体和脸部的最终动画。此外，该组合的系统还可以包括离线校准(calibration)步骤，其中演员将身体和脸部经过一定的运动移动范围。这些运动移动范围被用来引导标记、跟踪和重定向步骤。

虽然用来清洗、跟踪和重定向数据集的基本技术在大多数情况下是非常类似的，但是各处理步骤可能取决于所使用的输入数据的类型而不同。就是说，输入数据是3D、2D还是它们的组合。

在一个示例中，用于脸部处理的常见基本技术是脸部动作编码系统(FACS)，该系统定义针对人脸的一列合法动作单位，并指定对于人脸的脸部肌肉的约束。从光学系统和眼电图系统获得的数据被组合以辅助脸部处理。但是，在未来，从光学系统获得的数据可以与来自其他系统的数据组合以用于脸部处理。

在另一示例中，用于身体处理的常见基本技术是反向运动(InverseKinematics，IK)，其基于在骨骼关节分配的自由度来提供用于人体的合法骨骼移动的数学公式。从光学系统和惯性系统获得的数据被组合以辅助身体处理。

在一种实现方式中，当输入是多个3D数据点时，数据点被定义为3D空间中的未标记点，这些未标记点对应于多个演员在一定体积中的运动。在此情况下，身体和脸部数据点被分成两个集合(可以包括与多个人相对应的数据)。

身体标记被标记、跟踪、清洗和随后重定向。工具可被用来基于人身上的标记的经编码排列来自动标记第一帧(身体T姿势)。随后的帧中的标记基于IK模型通过预测来标记。一旦基本上所有帧中的标记都被标记和跟踪，则基于校准数据的重定向步骤在数字角色的骨骼上生成动画键(key)。

脸部数据在粗略稳定化过程中被处理，其中头部标记被用来生成将脸部标记映射到中性(neutral)空间的变换。目的是使得脸部标记仅示出由于脸部表情引起的运动而不示出由于身体移动引起的运动。结果随后通过两个同时的过程(精细稳定化过程和标记过程)被处理。精细稳定化过程使用“学习到的”基于FACS的动作单位，这些基于FACS的动作单位进一步锁定脸部标记的任何粗略移动。标记过程标记所有脸部标记。被跟踪和标记的标记随后通过重定向步骤(被称为FACS解算器(solver))被处理，其中传入的表达被分成FACS动作单位的加权基本集合。这些权重被用作在数字脸部上得到的脸部姿态上的键。

在另一实现方式中，至少一个摄像机被用于捕捉身体和脸部，从而输入是包括多个2D数据点的视频。在身体捕捉情况下，使用自识别的光学标记，其中每个标记被以唯一的ID编码。该代码可以使用图像处理逻辑被视觉检测。一旦被检测到，图像中标记的位置和朝向就被计算。这些标记的2D位置在每一帧中针对所有相机被识别。2D位置随后被输入到多相机IK解算器系统。该系统采取被校准到特定演员的3D骨骼模型和2D点作为输入，该特定演员身上有附着到骨骼的3D偏移标记。接下来，骨骼的骨头和偏移标记的位置和/或朝向基于优化技术被计算，以大大减小被放置的标记的位置和在多个相机中同时观察到的实际2D数据之间的误差。

在脸部捕捉情况下，使用工作在“图像”空间而非“世界”空间中的脸部运动捕捉解算器。就是说，该解算器仅需要标记在单个相机中的2D位置来解算演员的朝向和表情两者。该解算器通过如下步骤来实现这一点：首先使用演员在中性姿态中的模型来解算对头部的位置的估计；然后使用FACS系统来解算表情。

在组合运动捕捉系统的另一实现方式中，从以下过程获得的数据被组合来提供输出结果：(a)从T姿势标记器获得的3D身体标记位置；(b)从运动标记和清洗获得的3D身体标记位置；(c)从脸部数据的稳定化获得的3D脸部标记位置；(d)从脸部标记和清洗获得的3D脸部标记位置；(e)通过选择最好的T姿势获得的3D脸部标记位置；(f)从基于FACS的脸部重定向获得的3D脸部标记位置；(g)从调谐动画模拟获得的3D脸部标记位置；(h)从基于视频的脸部和身体跟踪获得的2D标记位置；(i)从基于视频的脸部动画解算器获得的2D标记位置；和(j)从基于视频的身体动画解算器获得的2D标记位置。下面将描述上面列出的应用中的每个应用。

对于T姿势标记器过程(a)，所捕捉的身体和脸部数据作为3D标记点的云被逐帧输出。最初，演员在第一帧中站在T姿势位置上。然后，在第一帧上给定多个未经识别的标记并且利用演员处于T姿势位置的知识，T姿势标记器基于统计标记分布识别捕捉体积中的每个人，并在该第一帧上标记出每个人上的每个标记。该过程具有极大的省时效果，因为所有标记出的标记的在第一场景中的自举(boot strapping)自动发生。

对于运动标记和清洗过程(b)，一旦标记在第一T姿势帧中被标记出，就要在所有帧中标记出这些标记。就是说，演员在各种条件下动作，例如改变相对于相机的位置、彼此交互、执行复杂的运动，例如体操、在地板上旋转和其他类似动作。这种位置的改变可以造成很多标记被不时地遮蔽。运动标记过程使用反向身体运动来预测标记的位置，标记它们并确保标记是根据人身体的运动来移动的。此外，运动标记和清洗步骤将概率模型与运动模型一起使用，以减小噪声和获得可以被用于标记的更可靠的/标记出的标记数据集。

对于脸部数据稳定化过程(c)，运动捕捉脸部标记通常随身体移动并由于脸部表情而改变相对位置。出于脸部重定向的目的，这些标记被稳定化到正规化空间(即，没有粗略的移动)然后被标记。虽然该过程可以被感觉为通过计算每帧将头部锁定到正规化位置的变换而容易完成，但是其可以设计更复杂的计算。例如，由于用于变换的标记本身可以移动，因此稳定化过程可能导致额外的噪声。在此情况下，可以使用基于FACS的脸部表情模型来获得好的稳定化数据。

对于脸部标记和清洗过程(d)，一旦数据被稳定化即完成标记任务。但是，该过程可能需要结合稳定化过程本身来工作，因为在大体积中捕捉的脸部标记数据具有很多问题，包括高信噪比、由于脸部被遮挡而引起的标记中的间隙。该过程使用基于FACS的通用脸部模型库来生成干净的、高信噪比(SNR)的标记数据。

对于选择最好T姿势的过程(e)，好的T姿势被搜索以提供脸部重定向的正确操作。在制作中，标记可以在不同日子被附贴到演员，从而导致标记经过不同场所并因此使得中性脸部看起来每天不同。虽然演员在每次拍摄的开始和结束时被指导执行T姿势，但是演员的中性脸部通常看起来取决于脸部肌肉紧张、情绪和演员疲劳感而不同。选择针对T姿势的最佳帧通常取决于重定向过程的选择。因此，基于标记被附贴到演员的每天所执行的各种校准对话，最小均方误差最佳T姿势被选择。

基于FACS的脸部重定向过程(f)是优化过程，该过程接收稳定化的、干净的标记出的数据(使用上面列出的过程中的某些)和脸部表情模型来生成用于触发的FACS姿势的非零加权值。虽然可获得执行主要分量分析(PCA)或类似统计分析的其他系统，但是基于FACS的优化过程产生可由动画制作者修改以进行姿势修改的值。这允许动画制作者在循环中能够控制解的输出或者容易地利用所获得的解工作。

调谐动画过程(g)涉及对没有产生所期望的输出的动画进行调谐重定向。这可能是由于变化的标记布置，或者演员可能没有以足够强度或甚至更小强度做动作，或者或许用于重定向的脸部装备没有与数据一起很好地工作。在这些情况下，动画制作者进入特定的帧并重新调整解并且系统向后工作，重新校准输出，以便使得解在特定帧上是合乎需要的。经重新校准的输入随后被应用到所有帧以产生更合乎需要并且由艺术家指导的动画。

基于视频的脸部和身体跟踪应用(h)是可以在场(on set)或离场(off set)使用的独立于平台的应用。基于视频的脸部和身体跟踪应用提供软件框架，该软件框架允许各种跟踪引擎在统一环境下使用，其中艺术家可以选择对特定标记和帧范围最好的跟踪方法；在一些种子标记被识别之后可以被用于自动标记点的特定于角色的标记集和模型。基于视频的脸部和身体跟踪应用还提供特定于标记的插件，用于辅助检测和细化针对各种不同标记的标记位置，所述不同标记包括脸部的点、碰撞测试标记、以及可被用于在单个图像中找到标记的身份和朝向两者的自识别标记。基于视频的脸部和身体跟踪应用还提供包括位置、朝向和镜头属性的在场相机校准。出于在场相机校准的目的，小校准对象被放在已知位置上，并且标记的图像坐标被识别，并且相机相对于该已知位置被校准。该过程还可以与传统的运动捕捉系统协同使用，以使得相机与系统对准。

基于视频的脸部动画解算器(i)包括头部姿势解算器、FACS解算器和控制实体。头部姿势解算器从在2D中跟踪的一组标记估计角色头部的位置和姿势。这是通过首先估计哪个标记处在与处于中性姿势的演员相一致的位置上来进行。然后使用这些标记估计出头部的位置和姿势。FACS解算器通过评价在前一步骤中估计出的位置和姿势中3D模型上的标记的图像位置来计算表情。这是通过估计3D模型点在何处投射到图像中并且比较这有多符合所跟踪的标记位置来进行的。控制实体允许艺术家控制各标记对位置和姿势估计的影响。

基于视频的身体动画解算器包括骨架根解算器和骨骼朝向解算器。骨架根解算器基于所跟踪的或自识别的在视频序列中的根标记位置来计算身体骨架在3D中的位置。根是使用目标函数来计算的，该目标函数大大减小了所跟踪的数据和被投射到相机中的骨架根标记的位置之间的误差。骨骼朝向解算器基于所跟踪的或自识别的在视频序列中的身体标记位置来计算骨架上的骨骼的朝向。该解算是逐个骨骼链执行的，其中人的骨架上具有五条链—脊椎、左手臂、右手臂、左腿和右腿。骨骼朝向是使用目标函数来计算的，该目标函数大大减小了所跟踪的数据和被投射到相机中的骨架身体标记的位置之间的误差。

图1示出根据本发明一种实现方式的组合运动捕捉系统100。在图1所示实现方式中，组合系统100接收如下各项中的至少一个：重构的3D点(IN1)、跟踪的2D实体(IN2)、动画数据(IN3)、组合数据(IN5)和针对身体和脸部的运动移动的范围(IN4)。重构的3D点是从传统的运动捕捉系统接收的(通常在大捕捉体积的情况下)。跟踪的2D实体是在低足迹的情况下从多个摄像机接收的。动画数据是从由于漂移(drift)问题而在位置上不同步的惯性系统接收的。组合数据包括重构的3D点、跟踪的2D实体和动画数据的某些组合。组合系统100还接收从离线的校准步骤得到的运动移动范围的输出，所述运动移动范围是演员的身体和脸部经历的运动移动范围。通过在数字角色装备上提供动画制作者所熟悉的控件上的键，从该系统产生的输出包括针对身体和脸部的最终动画。

图2示出构成根据本发明一种实现方式的组合运动捕捉系统100的各个模块。在图2所示实现方式中，组合系统100被示为包括输入管理模块200、清洗模块210、标记模块220、跟踪模块230和重定向模块240。虽然模块210、220、230、240按特定顺序示出，但是模块对数据点的处理可以按照任意顺序。

输入管理模块200接收输入IN1、IN2、IN3、IN4、IN5，并管理和组合输入来产生指导随后的模块210、220、230、240的输出。例如，当输入是多个3D数据点时，这些数据点被定义为与多个演员在一定体积中的移动相对应的3D空间中的未经标记的点。在此情况下，身体和脸部数据点被分成两组(可以包括与多个人相对应的数据)。身体标记被标记模块220标记，被跟踪模块230跟踪，被清洗模块210清洗，然后被跟踪模块230重定向。

图3A和3B形成示出根据本发明的一种实现方式用于组合多传感输入以用于数字动画的技术的流程图300。在图3A和3B所示实现方式中，一系列过程被执行并组合以生成针对身体和脸部的动画。在图3A中，在方框310，使用T姿势标记器获得3D身体标记位置。在方框312，使用运动标记和清洗获得3D身体标记位置。在方框314，使用脸部数据的稳定化获得3D脸部标记位置。在方框316，使用脸部标记和清洗获得3D脸部标记位置。在方框318，通过选择最佳T姿势获得3D脸部标记位置。在图3B中，在方框320，使用基于FACS的脸部重定向获得3D脸部标记位置。在方框322，使用调谐动画获得3D脸部标记位置。在方框324，使用基于视频的脸部和身体跟踪获得2D标记位置。在方框326，使用基于视频的脸部动画解算器获得2D标记位置。在方框328，使用基于视频的身体动画解算器获得2D标记位置。在方框330，所产生的标记位置被管理和组合，以生成针对身体和脸部的动画。但是，如上所述，应该注意，从光学系统和眼电图系统获得的数据被组合以辅助脸部处理，而从光学系统和惯性系统获得的数据被组合以辅助身体处理。

图4A示出计算机系统400和用户402的表示。用户402使用计算机系统400来组合多传感输入以用于数字动画。计算机系统400存储和执行组合运动捕捉系统490。

图4B是示出容宿组合运动捕捉系统490的计算机系统400的功能框图。控制器410是可编程处理器并控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入的控制器存储器(未示出)加载指令(例如，以计算机程序的形式)并执行这些指令来控制系统。在其执行中，控制器410将组合运动捕捉系统490作为软件系统提供。可替换地，该服务可以被实现为控制器410或计算机系统400中的分离的硬件组件。

存储器420临时存储由计算机系统400的其他组件所使用的数据。在一种实现方式中，存储器420被实现为RAM。在一种实现方式中，存储器420还包括长期或永久存储器，例如闪存和/或ROM。

存储设备430临时或长期存储由计算机系统400的其他组件所使用的数据，例如用于存储由组合运动捕捉系统490所使用的数据。在一种实现方式中，存储设备430是硬盘驱动器。

介质设备440接收可移除介质并读取和/或写入数据到插入的介质。在一种实现方式中，例如，介质设备440是光盘驱动器。

用户接口450包括用于接受来自计算机系统400的用户的用户输入和向用户呈现信息的组件。在一种实现方式中，用户接口450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户的输入来调整计算机系统400的操作。

I/O接口460包括一个或多个I/O端口，用于连接到相应的I/O设备，例如外部存储设备或补充设备(例如，打印机或PDA)。在一种实现方式中，I/O接口460的端口包括例如如下端口：USB端口、PCMCIA端口、串行端口和/或并行端口。在另一实现方式中，I/O接口460包括用于与外部设备无线通信的无线接口。

网络接口470包括支持以太网连接的有线和/或无线网络连接，例如RJ-45或“Wi-Fi”接口(包括但不局限于802.11)。

计算机系统400包括计算机系统常用的附加硬件和软件(例如，电源、冷却、操作系统)，但是为了简化这些组件在图4B中没有具体示出。在其他实现方式中，可以使用计算机系统的不同配置(例如，不同总线或存储配置或多处理器配置)。

所公开的实现方式的以上描述被提供，以使得本领域技术人员能够制造或使用本发明。本领域技术人员将容易发现对这些实现方式的各种修改，并且这里所描述的通用原理可以被应用到其他实现方式而不会脱离本发明的精神或范围。因此，附加的实现方式和变化也处在本发明的范围之内。例如，数字表示可以与传统的视频组合使用，例如，添加单个数字角色到所摄制的场景或类似地添加一个物体或物体的一部分或角色到场景中。此外，应该理解，这里所提供的描述和图示是本发明所广泛设想的主题的代表。还应理解，本发明的范围完全包括对本领域技术人员变得明显的其他实现方式并且本发明的范围据此只由所附权利要求所限制。

Claims (17)

1.一种基于运动捕捉的表演来动画模拟数字角色的方法，该方法包括：

接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及对演员的光学、声学和惯性运动捕捉，

其中，惯性运动捕捉被用来提供该演员相对于该演员的绝对位置的精确动画，而光学和声学运动捕捉被用来与惯性运动捕捉组合来提供该演员的绝对位置；以及

管理和组合所收集的传感数据，以辅助清洗、跟踪、标记和重定向过程。

2.如权利要求1所述的方法，其中当由于场景局限而难以进行相机放置时，所述惯性运动捕捉被执行以收集所述传感数据。

3.如权利要求1所述的方法，其中管理和组合包括：

第一组合，该第一组合在大捕捉体积中组合接收自光学和红外运动捕捉中的至少一个的3D点，并在低足迹捕捉体积中将它们与接收自多个摄像机的2D实体相组合。

4.如权利要求3所述的方法，其中管理和组合包括：

第二组合，该第二组合将接收自所述惯性运动捕捉的动画数据与重构的3D点和2D实体相组合。

5.如权利要求3所述的方法，其中所述第一组合包括：

将3D点定义为与在捕捉体积中多个演员的移动相对应的3D空间中的未经标记的点。

6.如权利要求1所述的方法，还包括：

接收运动移动范围的输出；以及

使用所述运动移动范围来指导所述清洗、跟踪、标记和重定向过程。

7.如权利要求1所述的方法，还包括：

在粗略稳定化过程中处理脸部数据，

其中头部标记被使用以生成用于将脸部标记映射到中性空间的变换。

8.如权利要求1所述的方法，还包括：

处理使用自识别光学标记获得的身体数据，

其中每个光学标记被以唯一的标识符编码。

9.如权利要求8所述的方法，还包括：

计算每一帧中所述光学标记的2D位置和朝向。

10.如权利要求9所述的方法，还包括：

将所述2D位置输入到多相机反向运动解算器。

11.如权利要求1所述的方法，其中管理和组合包括：

使用运动标记和清洗来获得3D身体标记位置。

12.如权利要求1所述的方法，其中管理和组合包括：

使用脸部数据的稳定化来获得3D脸部标记位置。

13.如权利要求1所述的方法，其中管理和组合包括：

通过选择最佳T姿势来获得3D脸部标记位置。

14.如权利要求1所述的方法，其中管理和组合包括：

使用基于视频的脸部动画解算器来获得2D脸部标记位置。

15.如权利要求1所述的方法，还包括：

生成针对身体和脸部的动画。

16.一种组合运动捕捉系统，包括：

标记模块；

跟踪模块；

清洗模块；

重定向模块；以及

输入管理模块，该输入管理模块被配置为接收使用各种收集技术收集的传感数据，所述收集技术包括光学视频、眼电图以及对演员的光学、声学和惯性运动捕捉，

其中，惯性运动捕捉被用来提供该演员相对于该演员的绝对位置的精确动画，而光学和声学运动捕捉被用来与惯性运动捕捉组合来提供该演员的绝对位置，并且

该输入管理模块管理和组合所接收的传感数据以产生指导所述清洗模块、所述跟踪模块、所述标记模块和所述重定向模块的输出。

17.如权利要求16所述的系统，其中所述标记模块标记身体标记。