CN101253538B - 移动式动作捕捉相机 - Google Patents

移动式动作捕捉相机 Download PDF

Info

Publication number
CN101253538B
CN101253538B CN2006800321792A CN200680032179A CN101253538B CN 101253538 B CN101253538 B CN 101253538B CN 2006800321792 A CN2006800321792 A CN 2006800321792A CN 200680032179 A CN200680032179 A CN 200680032179A CN 101253538 B CN101253538 B CN 101253538B
Authority
CN
China
Prior art keywords
motion capture
mobile
cameras
motion
capture cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800321792A
Other languages
English (en)
Other versions
CN101253538A (zh
Inventor
德曼·乔丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/372,330 external-priority patent/US7333113B2/en
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN101253538A publication Critical patent/CN101253538A/zh
Application granted granted Critical
Publication of CN101253538B publication Critical patent/CN101253538B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于捕捉动作的系统(10)包括：动作捕捉空间(30)，配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；至少一个移动式动作捕捉相机(16)，配置成在所述动作捕捉空间内可移动；以及动作捕捉处理器(12)，与所述至少一个移动式动作捕捉相机(16)相耦合，以产生所述至少一个移动对象的移动的数字表示。

Description

移动式动作捕捉相机
相关申请的交叉引用
本申请作为申请日为2004年12月3日、申请号为No.11/004,320、名称为“System and Method for Capturing Facial and Body Motion(用于捕捉面部和身体动作的系统和方法)”的美国专利申请的部分继续申请，要求该申请关于U.S.C.§120的优先权，其中，美国专利申请No.11/004,320是申请日为2003年5月1日、申请号为No.10/427,114、名称为“System andMethod for Capturing Facial and Body Motion(用于捕捉面部和身体动作的系统和方法)”的美国专利申请的部分继续申请案。本申请还要求申请日为2005年7月1日、申请号为No.60/696,193、名称为“Mobile MotionCapture Cameras(移动式动作捕捉相机)”的共同待决美国临时专利申请的优先权。
据此要求这些申请(包括的申请日为2003年5月1日、2004年12月3日和2005年7月1日)的优先权，并且以上所引用的专利申请的公开内容通过引用而结合于此。
背景技术
本发明涉及三维图形和动画，更特别地，涉及一种动作捕捉系统，该动作捕捉系统使得可以在能够容纳多个演员的空间内同时捕捉面部动作和身体动作。
动作捕捉系统用于捕捉实际对象的运动，并将其映射成由计算机生成的对象。这种系统经常在动画和视频游戏的制作中使用，用于创建作为源数据的人的数字表示，从而创建计算机图形(CG)动画。在典型的系统中，演员身穿在各个位置处粘贴有标记的衣服(例如，身体和四肢粘贴有很小的反射标记)，并且在照亮所述标记的同时，数码相机从不同角度记录演员的动作。系统随后对图像进行分析，从而判断在各个画面中、演员衣服上的标记的位置(例如，作为空间坐标)和朝向。通过跟踪标记的位置，系统创建标记随时间的空间表示，并建立运动中的演员的数字表示。所述动作随后被应用于数字模型，该数字模型随后被纹理化并且渲染，以产生演员和/或表演的完整的CG表示。这个技术已经被特效公司在许多受欢迎的电影中用于制作相当真实的动画。
动作捕捉系统还用于跟踪演员的面部特征的动作，以创建演员的面部动作和表情(例如，大笑、哭泣、微笑等)的表示。与身体动作捕捉一样，也向演员的面部粘贴标记，并且相机记录演员的表情。由于与身体动作涉及较大肌肉相比，面部动作涉及相对较小的肌肉，所以面部标记一般比相应的身体标记小很多，并且相机一般比通常用于身体动作捕捉的相机具有更高的分辨率。一般使相机与演员的身体动作保持在同一平面上，从而进行限制以保持将相机聚焦在演员面部。面部动作捕捉系统可以设置到头盔或附于演员身体的其它装备上，从而统一对面部标记进行照射，并且最小化相机和面部之间的相对移动程度。基于此，面部动作和身体动作通常是在分立的步骤中捕捉的。稍后作为随后的动画处理的一部分，所捕捉的面部动作数据随后被与所捕捉的身体动作数据相组合。
动作捕捉系统与诸如关键帧(keyframing)之类的传统动画技术相比的一个优点是实时可视化的能力。制作团队可以实时或接近实时地检查演员动作的空间表示，使得演员可以改变身体活动以捕捉最佳数据。此外，动作捕捉系统还检测使用其它动画技术无法很容易再现的身体动作的细微差别，从而生成更精确地反映自然动作的数据。其结果是，使用动画捕捉系统所收集的原始资料来创建的动画将展现更加逼真的外观。
虽然动作捕捉系统存在这些优点，但是面部动作和身体动作的分立捕捉经常导致并不实在逼真的动画数据。面部动作和身体动作是紧密相连的，以使得面部表情经常通过相应的身体动作来增强。例如，演员可以利用特定的身体动作(即，身体语言)来传达动作并强调相应的面部表情，例如，当说话激动时上下摆动手臂或者当不赞成时耸动肩膀。面部动作和身体运动之间的这种联接关系在分立捕捉所述动作时将丢失，并且很难将这些分立捕捉的动作同步起来。当将面部动作和身体动作组合起来时，得到的动画经常会显得明显异常。由于动画捕捉的目的是使得可以创建更加真实的动画，所以面部动作和身体动作的拆离表示出传统动画捕捉系统的严重不足。
传统动作捕捉系统的另一个缺点是由于诸如道具或其它演员之类的其它对象的干扰可能遮挡包藏(occlude)演员的动作数据。具体而言，如果身体标记或面部标记的一部分被遮挡在数码相机的视野之外，则关于那部分身体或面部的数据不会被收集。这导致了动作数据的包藏或缺口。虽然稍后在使用传统计算机图形技术的后期制作期间可以填补该包藏，但是填补数据缺少实际动作数据的质量，从而导致观众可能可以辨别动画缺陷。为了避免这个问题，传统的动作捕捉系统对一次可以捕捉的对象数目进行限制，例如，限制于一个演员。这也往往会使得动作数据显得不那么真实，原因在于演员表演的质量经常依赖于与其它演员和对象的互动。此外，很难以显得自然的方式将这些分立的表演组合在一起。
传统动作捕捉系统的又一个缺点是并没有与动作捕捉同步地记录声音。在动画制作中，通常先记录音轨，然后再设计角色来与音轨相匹配。在面部动作捕捉期间，演员嘴唇将与所记录的音轨同步地张合。这不可避免地会导致动作数据的视觉质量的进一步降低，原因在于演员很难完美地将面部动作与音轨匹配。此外，身体动作经常影响说话方式，并且身体动作和面部动作的分立捕捉增加了与音轨同步以制作一致的最终产品的难度。
因此，需要提供克服了现有技术的这些和其它缺点的一种动作捕捉系统。更具体而言，需要提供这样一种动作捕捉系统，该动作捕捉系统使得可以在能够容纳多个演员的空间内同时捕捉身体动作和面部动作。此外，还需要提供可以与身体和面部动作捕捉同步地记录声音的动作捕捉系统。
发明内容
本发明提供了用于使用移动式动作捕捉相机来捕捉动作的系统和方法。
在一个实施例中，用于捕捉动作的系统包括：动作捕捉空间，该动作捕捉空间被配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；至少一个移动式动作捕捉相机，其被配置成在所述动作捕捉空间内可移动；以及动作捕捉处理器，该动作捕捉处理器与所述至少一个移动式动作捕捉相机相耦合，以产生所述至少一个移动对象的移动的数字表示。
在另一个实施例中，用于捕捉动作的另一个系统包括：配置成可移动的至少一个移动式动作捕捉相机，该至少一个移动式动作捕捉相机操作用于捕捉在动作捕捉空间内的动作；以及至少一个移动式动作捕捉索具，其被配置成使得所述至少一个移动式动作捕捉相机可以被布置在所述至少一个移动式动作捕捉索具上，以使得所述至少一个移动式动作捕捉相机中的相机可以被移动。
在另一个实施例中，一种用于捕捉动作的方法包括：限定动作捕捉空间，该动作捕捉空间被配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；在所述动作捕捉空间内移动至少一个移动式动作捕捉相机；以及对来自所述至少一个移动式动作捕捉相机的数据进行处理，以产生所述至少一个移动对象的移动的数字表示。
在又一个实施例中，一种用于捕捉动作的系统包括：用于限定动作捕捉空间的装置，所述动作捕捉空间被配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；用于在所述动作捕捉空间内移动至少一个移动式动作捕捉相机的装置；以及用于对来自所述至少一个移动式动作捕捉相机的数据进行处理以产生所述至少一个移动对象的移动的数字表示的装置。
附图说明
图1是示出根据本发明一个实施例的动作捕捉系统的框图；
图2是动作捕捉空间的顶视图，围绕该动作捕捉空间外围布置有多个动作捕捉相机；
图3是围绕其外围布置有多个动作捕捉相机的动作捕捉空间的侧视图；
图4是动作捕捉空间的顶视图，其示出了面部动作相机关于该动作捕捉空间的象限的布局；
图5是动作捕捉空间的顶视图，其示出了面部动作相机关于该动作捕捉空间的顶角的另一种布局；
图6是所述动作捕捉空间的透视图，其示出了反映出在该动作捕捉空间中的两个演员的动作捕捉数据；
图7示出了反映出在该动作捕捉空间中的两个演员的动作捕捉数据并显示出该数据的包藏区域；
图8示出了与图7一样的动作捕捉数据，其中，所述两个演员中的一个已经被包藏区域所遮掩；
图9是示出在动作捕捉系统中采用的动作捕捉相机的替代实施例的框图；
图10是示出根据本发明另一个实施例的动作捕捉系统的框图；
图11是限定了多个表演区域的放大的动作捕捉空间的顶视图；以及
图12A-12C是示出了动作捕捉相机的其它布局的图11的扩大的动作捕捉空间的顶视图。
图13示出了置于移动式动作捕捉索具之上的相机的一个实施例的前视图。
图14示出了图13所示的移动式动作捕捉索具的特定实施例的前视图。
图15示出了图13所示的移动式动作捕捉索具的特定实施例的顶视图。
图16示出了图13所示的移动式动作捕捉索具的特定实施例的侧视图。
图17示出了置于移动式动作捕捉索具上的相机的另一个实施例的前视图。
图18示出了置于移动式动作捕捉索具上的相机的又一个实施例的前透视图。
图19示出了用于捕捉动作的方法的一个实施例。
具体实施方式
如以下将进一步描述的，本发明满足了对这样一种运动捕捉系统的需要，该运动捕捉系统使得可以在能够容纳多个演员的空间内同时捕捉身体和面部动作。此外，本发明还满足了对可以与身体和面部动作捕捉相同步地记录声音的动作捕捉系统的需要。在随后的详细描述中，相似的元素标号用于描述在一幅或多幅附图中示出的相似元素。
首先参考图1，框图示出了根据本发明一个实施例的动作捕捉系统10。动作捕捉系统10包括动作捕捉处理器12，该动作捕捉处理器适合与多个面部动作相机141-14N和多个身体动作相机161-16N进行通信。动作捕捉处理器12还可以包括具有数据存储设备20的可编程计算机，该数据存储设备20适合存储关联数据文件。一个或多个计算机工作站181-18N可以使用网络来耦合到动作捕捉处理器12，以使得多个图形艺术家可以在创建计算机图形动画的过程中利用所存储的数据文件来进行创作。面部动作相机141-14N和身体动作相机161-16N是针对动作捕捉空间(以下将描述)来布置的，以捕捉在动作捕捉空间内表演的一个或多个演员的组合动作。
每一个演员的面部和身体都标有标记，面部动作相机141-14N和身体动作相机161-16N在演员在动作捕捉空间内的表演期间检测所述标记。标记可以是反射元素或照明元件。具体而言，每一个演员的身体可以标有布置在包括头、腿、臂和躯干在内的身体各个位置的多个反射标记。演员可以身穿由非反射材料制作的粘贴有标记的连体衣裤。演员的面部也将标有多个标记。面部标记一般小于身体标记，并且将使用比身体标记更多的面部标记。为了捕捉具有足够分辨率的面部动作，预期将利用大量的面部标记(例如，多于100)。在一个实施方式中，向演员粘贴了152个小面部标记和64个较大的身体标记。身体标记可以具有在5到9毫米范围内的宽度或直径，而面部标记可以具有在2到4毫米范围内的宽度或直径。
为了确保面部标记的布局的一致性，可以用在与所需的标记位置相对应的适当位置处钻孔的面具来构成各个演员的脸。可以将面具放置在演员脸上，并且使用合适的笔来将孔的位置直接标记在脸上。随后可以在标记位置处将面部标记粘贴到演员脸部。可以使用在戏剧领域已知的合适材料(例如，化妆胶水)来将面部标记粘贴于演员脸部。这样，延续很长一段时间(例如，数月)的动作捕捉产生可以获得演员的相当一致的动作数据，即使每天粘贴标记并移除标记也是如此。
动作捕捉处理器12对从面部动作相机141-14N和身体动作相机161-16N接收的二维图像进行处理，以产生所捕捉的动作的三维数字表示。特别地，动作捕捉处理器12从各个相机接收二维数据，并且作为图像捕捉过程的一部分，将数据以多个数据文件的形式来保存到数据存储设备20中。随后作为图像处理过程的一部分，该二维数据文件被分解成以表示各个标记的动作的轨道文件(trajectory file)的形式来联接在一起的一组三维坐标。图像处理过程使用来自一个或多个相机的图像来确定各个标记的位置。例如，由于被动作捕捉空间内的演员的面部或身体部分所遮蔽，所以标记仅仅对于部分相机是可视的。在那种情况下，图像处理使用来自具有那个标记的自由视野的其它相机的图像来确定该标记的空间位置。
通过使用来自多个相机的图像来确定标记的位置，图像处理过程对来自多个角度的图像信息进行评估，并使用三角处理来确定空间位置。随后对轨道文件执行动力学计算，从而生成反映与演员的表演相对应的身体动作和面部动作的数字表示。使用时间上的空间信息，所述计算随着各个标记在空间中移动而确定各个标记的进程。合适的数据管理过程可以用于控制与整个过程相关联的大量文件的向数据存储设备20的存储和从数据存储设备20的提取。动作捕捉处理器12和工作站181-18N可以利用商业软件包来执行这些或其它数据处理功能，例如，从Vicon Motion Systems或Motion Analysis Corp.可以获得的。
除了记录动作之外，动作捕捉系统10还包括记录声音的能力。可以在动作捕捉空间的周围布置多个麦克风241-24N，以收集演员表演期间的声音(例如，对话)。动作捕捉处理器12可以直接或通过音频接口22来耦合到麦克风241-24N。麦克风241-24N可以固定在适当的地方，或者可以在活动支架上可移动以跟随动作，或者可以由演员来携带并与动作捕捉处理器12或音频接口22进行无线通信。动作捕捉处理器12将接收所记录音频，并利用时间轨迹(time track)或可以与动作数据相同步的其它数据来以数字文件的形式将其存储在数据存储设备20上。
图2和3示出了被多个动作捕捉相机所环绕的动作捕捉空间30。动作捕捉空间30包括外围边沿32。动作捕捉空间30被示出为由网格线细分的矩形形状的区域。应当了解，动作捕捉空间30实际上包括三维空间，其中，网格限定了动作捕捉空间的基底。将捕捉在所述基底之上的三维空间内的动作。在本发明的一个实施例中，动作捕捉空间30包括大约为10英尺乘10英尺的基底面积，在所述基底之上具有大约6英尺的高度。有利地，也可以利用其它尺寸和形状的动作捕捉空间，以满足制作的特定需要，例如，椭圆形、圆形、矩形、多边形，等等。
图2示出了动作捕捉空间30的顶视图，其中，在外围边沿32周围通常以圆形模式布置有多个动作捕捉相机。各个相机在图形上表示为三角形，其中，锐角表示相机透镜的方向，因此，应当了解所述多个相机是从多个不同的方向朝向于动作捕捉空间30的。更具体而言，所述多个动作捕捉相机还包括多个身体动作相机161-168和多个面部动作相机141-14N。鉴于图2中的大量面部动作相机，应当了解有许多并没有被标记。在本发明的本实施例中，面部动作相机比身体动作相机更多。动作捕捉空间30的每一边大概布置有两个身体动作相机161-168，并且动作捕捉空间30的每一边大概布置有12个面部动作相机141-14N。除了面部动作相机的聚焦透镜被选择为提供比身体动作相机更窄的视场之外，面部动作相机141-14N和身体动作相机161-16N基本相同。
图3示出了动作捕捉空间30的侧视图，其中，在动作捕捉空间的基底之上具有粗略布置成三层的多个动作捕捉相机。低层包括多个面部动作相机141-1432，动作捕捉空间30的每一边大概布置有8个。在本发明的一个实施例中，每一个低层面部动作相机141-1432都轻微朝上，从而在视场内并不包括大约关于动作捕捉空间30相对的相机。动作捕捉相机一般包括用于照亮动作捕捉空间30的光源(例如，发光二极管阵列)。需要使动作捕捉相机“看”不见另一个动作捕捉相机的光源，原因在于光源对于动作捕捉相机而言就像是将淹没来自反射标记的数据的明亮反射。中层包括多个身体动作相机163-167，其中，动作捕捉空间30的每一边大概布置有2个。如上所述，身体动作相机具有比面部动作相机宽的视场，这使得各个相机在其各自的视场内可以包括更大量的动作捕捉空间30。
上层包括多个面部动作相机(例如，1433-1452)，动作捕捉空间30的每一边大概布置有5个。在本发明的一个实施例中，每一个上层面部动作相机1433-1452都稍微朝下，从而在视场内并不包括大约关于动作捕捉空间30相对的相机。如图2的左手侧所示，中层还包括聚焦在动作捕捉空间30的前边沿的多个面部动作相机(例如，1453-1460)。由于演员的表演一般都将面向动作捕捉空间30的前边沿，所以在该区域中的相机数目被增多，以减少包藏的数据丢失量。此外，中层还包括聚焦在动作捕捉空间30的顶角的多个面部动作相机(例如，1461-1464)。这些相机也用于减少包藏的数据丢失量。
身体和面部动作相机从不同的角度记录经标记的演员的图像，从而使得基本上演员的所有侧面都一直暴露在至少一个相机之下。更具体而言，优选的是相机的布局提供以下效果：基本上演员的所有侧面都一直暴露在至少三个相机之下。通过将相机放置在多个高度，可以随着演员在动作捕捉空间30内移动来模型化不规则表面。本动作捕捉系统10从而与面部动作(即，表情)相同步地记录演员的身体动作。如上所述，还可以与动作捕捉相同步地执行音频记录。
图4是动作捕捉空间30的顶视图，其示出了面部动作相机的布局。动作捕捉空间30在图形上划分为象限，标记为a、b、c和d。面部动作相机被分组为群集36、38，其中，每一个相机群集代表多个相机。例如，这样的一个相机群集可以包括位于低层的两个面部动作相机和位于上层的一个面部动作相机。有利地，还可以利用群集内的其它相机布局。两个相机群集36、38在物理上被布置成彼此相邻，但是在水平方向上相互偏移可辨距离。所述两个相机群集36、38各自都从大约45°的角度聚焦在象限d的前边沿上。第一相机群集36具有这样的视场，即，从象限c的前边沿中的一部分起延伸到象限d的前边沿的右端。第二相机群集38具有这样的视场，即，从象限d的前边沿的左端起延伸到象限d的右边沿的一部分。因此，第一和第二相机群集36、38的各自的视场在象限d的前边沿的实际长度上重叠。对于象限a、b、c和d的其它各条外部边沿(与外围边沿32相一致)，也包括相机群集的相似布局。
图5是动作捕捉空间30的顶视图，其视场了面部动作相机的另一个布局。与图4一样，动作捕捉空间30在图形上划分为象限a、b、c和d。面部动作相机被分组为群集42、44，其中，每一个相机群集代表多个相机。与图4的实施例一样，群集可以包括位于不同高度的一个或多个相机。在这个布局中，相机群集42、44位于动作捕捉空间30的顶角处、面向该动作捕捉空间。这些顶角相机群集42、44将记录其它相机例如由于包藏而没有拍摄到的演员图像。其它类似的相机群集也将被定位于动作捕捉空间30的其它顶角。
相机关于动作捕捉空间30的高度和角度的多样性用于增加从动作捕捉空间中的演员身上捕捉的可用数据，并降低数据包藏的可能性。还允许在动作捕捉空间30内同步捕捉多个演员的动作。此外，相机的数目之多和多样性使得动作捕捉空间30远大于现有技术的动作捕捉空间，从而使得可以在动作捕捉空间内进行更大范围的动作，并因而进行更加复杂的表演。应当了解，有利地，还可以利用身体和面部动作相机的许多替代布局。例如，可以利用更多或更少的分离层，并且可以改变在各个层中的各个相机的实际高度。
在对动作捕捉相机的在前描述中，身体和面部动作相机保持固定在适当的位置。这样，动作捕捉处理器12具有固定的参考点，可以针对该参考点来测量身体和面部标记的动作。这种布局的缺点在于其限制了动作捕捉空间30的大小。如果希望捕捉需要更大空间的表演动作(例如，角色跑过更大距离的场景)，则该表演将不得不分割成多个片断，所述片断是分开捕捉的动作。
在替代实施例中，一些动作捕捉相机保持固定，而其它可以移动。在一个配置中，可移动的动作捕捉相机被移动到新的位置，并被固定在该新位置处。在另一个配置中，可移动的动作捕捉相机被移动以跟随动作。因此，在这个配置中，动作捕捉相机在移动的同时执行动作捕捉。
可移动捕捉相机可以使用计算机控制的伺服电机来移动，或者可以由人工相机操作者来手动移动。如果相机被移动以跟随动作(即，相机在移动的同时执行动作捕捉)，则动作捕捉处理器12将跟踪相机的动作，并在对所捕捉的数据的随后处理中去除这个动作，从而生成反映与演员的表演相对应的身体和面部动作的三维数字表示。通过将相机放置在移动式动作捕捉索具(rig)上，可以分别移动或者一起移动可移动相机。因此，将移动式或可移动相机用于动作捕捉提供了在动作捕捉制作方面的改进的灵活性。
在一个实施例中，如图13所示，移动式动作捕捉索具1300包括六个相机1310、1312、1314、1316、1320、1322。图13示出了定位在移动式动作捕捉索具1300上的相机的前视图。在所示出的图13的示例中，四个相机1310、1312、1314、1316是动作捕捉相机。两个相机1320、1322是参考相机。一个参考相机1320将示出动作捕捉相机1310、1312、1314、1316的视图(view)。第二参考相机1322用于视频参考和调节。但是，不同的相机配置也是可以的，其中，具有不同数目的动作捕捉相机和参考相机。
虽然图13示出了具有四个动作捕捉相机和两个参考相机的移动式动作捕捉索具1300，但是索具1300可以仅包括一个或多个动作捕捉相机。例如，在一个实施例中，移动式动作捕捉索具1300包括两个动作捕捉相机。在另一个实施例中，移动式动作捕捉索具1300包括具有场分离器(field splitter)或镜子的一个动作捕捉相机，以提供立体图。
图14、图15和图16分别示出了图13所示的移动式动作捕捉索具的特定实施例的前视图、顶视图和侧视图。该移动式动作捕捉索具的尺度为：宽度和长度近似为40″×40″，而深度近似为14″。
图14示出移动式动作捕捉索具1400的特定实施例的前视图。四个移动式动作捕捉相机1410、1412、1414、1416被布置在移动式动作捕捉索具1400上，并且被定位成横向和纵向近似分隔40到48英寸。各个移动式动作捕捉相机1410、1412、1414或1416被放置在外直径近似为2″的可旋转圆柱基座上。移动式动作捕捉索具1400还包括参考相机1420、计算机和显示器1430、以及用于成帧和聚焦的取景器1440。
图15示出了移动式动作捕捉索具1400的特定实施例的顶视图。这个视图示出了四个移动式动作捕捉相机1410、1412、1414、1416的偏移布局。顶部相机1410、1412被定位在深度分别近似为2英寸和6英寸处，而底部相机1414、1416被定位在深度分别近似为14英寸和1英寸处。此外，顶部相机1410、1412在宽度上近似相隔42英寸，而底部相机1414、1416在宽度上近似相隔46英寸。
图16示出了移动式动作捕捉索具1400的特定实施例的侧视图。这个视图突出了四个移动式动作捕捉相机1410、1412、1414、1416所定位的不同高度。例如，顶部相机1410定位在移动式动作捕捉相机1412之上的近似2英寸处，而底部相机1414定位在移动式动作捕捉相机1416之下的近似2英寸处。一般而言，动作捕捉相机中的一些应当被定位在足够低处(例如，离地近似2英尺)，以使得相机可以捕捉在非常低的高度处的表演，例如，跪下和/或俯视地面。
在另一个实施例中，例如，移动式动作捕捉索具包括多个移动式动作捕捉相机，但是却不包括参考相机。因此，在这个实施例中，来自移动式动作捕捉相机的反馈被用作参考信息。
此外，在动作捕捉装备中可以使用不同的相机总量，例如，分布在多个索具中或者在一个或多个可移动索具和固定位置之间分配的200或更多个相机。例如，该装备可以包括208个固定式动作捕捉相机(32个执行实时的身体重建)和24个移动式动作捕捉相机。在一个示例中，24个移动式动作捕捉相机被分布到六个动作捕捉索具中，每一个索具都包括四个动作捕捉相机。在其它示例中，动作捕捉相机被分布到任意数目的动作捕捉索具中，该动作捕捉索具不包括使得动作捕捉相机单独移动的索具。
在又一个实施例中，如图17所示，移动式动作捕捉索具1700包括六个动作捕捉相机1710、1712、1714、1716、1718、1720和两个参考相机1730、1732。图17示出了定位在移动式动作捕捉索具1700上的相机的前视图。此外，动作捕捉索具1700还可以包括一个或多个显示器，用以显示参考相机所捕捉的图像。
图18示出了包括相机1810、1812、1814、1816、1820的移动式动作捕捉索具1800的前透视图。在所示出的图18的实施例中，移动式动作捕捉索具1800包括伺服电机，该伺服电机向动作捕捉相机1810、1812、1814、1816、1820提供至少6自由度(6-DOF)的移动。因此，该6自由度(6-DOF)移动包括沿着三个轴X、Y和Z的三个平移运动，以及关于三个轴X、Y和Z的三个旋转运动，即，分别为俯仰(tilt)、平摇(pan)和旋转(rotate)。
在一个实施例中，动作捕捉索具1800向所有的五个相机1810、1812、1814、1816、1820提供6-DOF移动。在另一个实施例中，动作捕捉索具1850上的各个相机1810、1812、1814、1816、1820被限制于6-DOF移动中的一些或全部。例如，上面的相机1810、1812可以限制于X和Z轴的平移运动以及平摇和向下摇的旋转运动；下面的相机1814、1816可以限制于X和Z轴的平移运动以及平摇和向上摇的旋转运动；并且中间的相机1820可以不受限，以使得其可以在全部六个方向上移动(即，X、Y、Z平移运动以及俯仰、平摇、和旋转的旋转运动)。在其它实施例中，动作捕捉索具1800在拍摄期间和/或拍摄之间移动、平摇、俯仰和旋转，使得相机可以被移动并定位到固定位置处，或者被移动以跟随动作。
在一个实施例中，动作捕捉索具1800的动作受到一个或多个人的控制。动作控制可以是手动、机械、或者自动的。在另一个实施例中，动作捕捉索具根据预编程的动作集合来移动。在另一个实施例中，动作捕捉索具基于所接收的输入来自动地移动，例如，基于索具动作控制系统所接收的RF、IR、声音、或视觉信号来跟踪移动中的演员。
在另一个实施例中，用于一个或多个固定式或移动式动作捕捉相机的照明的亮度被加强。例如，在每一个相机上放置额外的灯。加强的亮度允许使用减小的光圈值(f-stop)设定，并因此可以增大相机捕捉动作捕捉视频的空间的深度。
在另一个实施例中，移动式动作捕捉索具包括使用24P视频(即，利用逐行图像存储的每秒24帧)的机器视觉相机和每秒60帧的动作捕捉相机。
图19示出了使用移动式相机来捕捉动作的方法1900的一个实施例。首先，在块1902中，配置成包括至少一个移动对象的动作捕捉空间被限定。移动对象具有限定了该移动对象上的多个点的标记。所述空间可以是利用使用指南来限定的开放空间(例如，演员和相机将停留在特定位置的动作捕捉系统10米内)或者利用屏障(例如，墙)或标记(例如，地板上的线带)来限定的受限空间。在另一个实施例中，所述空间利用动作捕捉相机可以捕捉的面积来限定(例如，该空间随着移动式动作捕捉相机而移动)。然后，在块1904中，围绕动作捕捉空间的外围来移动至少一个移动式动作捕捉相机，以使得移动对象在动作捕捉空间内移动时基本上所有侧向暴露面基本上一直都在移动式动作捕捉相机的视场之内。在另一个实施例中，一个或多个移动式动作捕捉相机在所述空间内移动，而不仅仅是围绕周界(取代围绕外围移动的一个或多个相机，或者除其之外)。最后，在块1906中，来自动作捕捉相机的数据被处理，从而生成移动对象的移动的数字表示。
图6是动作捕捉空间30的透视图，其示出了反映动作捕捉空间内的两个演员52、54的动作捕捉数据。图6的视图反映出如上针对图1来描述的工作台18的操作者将如何查看动作捕捉数据。类似于图2和3(以上)，图6还示出了多个面部动作相机，包括位于低层的相机141-1412、位于高层的相机1433-1440、以及位于动作捕捉空间30的顶角中的相机1460、1462。两个演员52、54表现为与他们的身体和面部上的反射标记相对应的点云。如以上所示出并所讨论的，位于演员面部上的标记的数目远大于位于他们的身体上的标记的数目。如以上所充分描述的，由动作捕捉系统10来跟踪演员身体和面部的动作。
现在参考图7和8，动作捕捉数据被示出，因为其将被工作站18的操作者查看。与图6中一样，该动作捕捉数据反映了两个演员52、54，其中，高度集中的圆点反映了演员的面部，而其它圆点反映了身体各点。动作捕捉数据还包括示出为椭圆形状的三个包藏区域62、64、66。包藏区域62、64、66表示由于来自所述相机之一的光线落在其它相机的视场内而使得没有捕捉到可靠的动作数据的位置。这个光线淹没了来自反射标记的光照，并且被动作捕捉处理器12理解为身体或面部标记。动作捕捉处理器12所执行的图像处理过程通过限定图7和8所示的包藏区域62、64、66来生成过滤出相机光照的虚拟掩饰处理。制作公司可以尝试对演员的表演进行控制，以在物理上避免被包藏区域遮掩的动作。但是，不可避免地将发生数据捕捉的一些丢失，如图8所示，其中，通过物理移动到包藏区域64，演员54的面部已经几乎完全被遮掩。
图9示出了减小包藏问题的动作捕捉系统的一个实施例。特别地，图9示出了隔动作捕捉空间(未示出)而在物理上相互对置的相机84和74。相机84、74包括各自的光源88、78，该光源被调整成照亮相机的视场。相机84、74还设有置于相机透镜的前方的偏振滤光镜86、76。正如从以下描述中将清楚可见的，偏振滤光镜86、76被布置成(即，旋转成)彼此不同相。光源88发射光线，该光线被偏振滤光镜86所偏振。偏振后的光线到达相机74的偏振滤光镜76，但是，该偏振后的光线并不是穿透到相机74，而是被偏振滤光镜76反射或被其吸收。其结果是，相机84将“看”不见来自相机74的光照，从而避免了包藏区域的形成，不再需要虚拟掩饰处理。
虽然先前的描述提到使用对粘贴于身体和面部的用以跟踪动作的物理标记的光学传感，但是，本领域技术人员应当了解，有利地也可以采用跟踪动作的替代方式。例如，取代粘贴标记，可以使用演员的身体特征(例如，鼻子或眼睛的形状)来作为用以跟踪动作的自然标记。这种基于特征的动作捕捉系统将消除在每一个表演之前将标记粘贴到演员的任务。此外，还可以使用除了光之外的替代媒体来检测相应的标记。例如，标记可以包括超声波或电磁波发射器，其被布置在动作捕捉空间周围的相应接收机所检测到。鉴于此，应当了解，以上描述的相机仅仅是光学传感器，并且有利地也可以利用其它类型的传感器。
现在参考图10，框图示出了根据本发明的替代实施例的动作捕捉系统100。动作捕捉系统100与以上描述的在前实施例相比具有实质上有所增大的数据容量，并且适合捕捉与扩大的动作捕捉空间相关联的实质上更大量的数据。动作捕捉系统100包括被充当所收集的数据的贮藏室的主服务器110联接在一起的三个分立的网络。所述网络包括数据网络120、艺术家网络130、和重建转换网络140。主服务器110为动作捕捉系统100提供中央控制和数据存储。数据网络120将在表演期间捕捉的二维(2D)数据传递到主服务器110。艺术家网络130和重建转换网络140随后可以从主服务器110访问这些2D数据。主服务器110还可以包括适合存储大数据量的存储器系统112。
数据网络120提供与动作捕捉相机的接口，并提供对所捕捉的动作数据的初始数据处理，所捕捉的数据随后被提供给主服务器110以存储在112中。更具体而言，数据网络120与针对动作捕捉空间(以下将描述)来布置的多个动作捕捉相机1221-122N相耦合，以捕捉在该动作捕捉空间内表演的一个或多个演员的组合动作。数据网络120还可以直接或通过适当的音频接口124来与多个麦克风1261-126N相耦合，以捕捉与表演(例如，对话)相关联的音频。多个用户工作站之一128可以耦合到数据网络120，以提供数据网络功能的操作、控制和监视。在本发明的一个实施例中，数据网络120可以由多个动作捕捉数据处理站(例如，从ViconMotion Systems或者Motion Analysis Corp可以获得的)连同用于将所捕捉的数据整理成2D文件的多个从属处理站一起来提供。
艺术家网络130使用适当的工作站1321-132N来提供用于多个数据检验者和动画制作者的高速基础设施。数据检验者从主服务器110访问2D数据文件，以检验数据的可接受性。例如，数据检验者可以对所述数据进行检查，以核对表演的关键方面是否已被捕捉。如果表演的重要方面未被捕捉，例如如果数据的一部分被包藏，则可以按需来重复所述表演，直到所捕捉的数据被认为是可接受的为止。数据检验者和关联工作站1321-132N可以被定位于物理上邻近动作捕捉空间，以便于与演员和/或场景指导进行交流。
重建转换网络140提供这样的高速数据处理计算机，该高速数据处理计算机适合用于执行2D数据文件的自动重建和将该2D数据文件转换成三维(3D)动画文件(该3D动画文件由主服务器110来存储)。多个用户工作站1421-142N之一可以耦合到重建转换网络140，以提供数据网络功能的操作、控制和监视。访问艺术家网络130的动画制作者在制作最后的计算机图形动画期间还将访问3D动画文件。
类似于以上针对固定式动作捕捉相机的描述，动作捕捉索具的移动式相机所捕捉的动作(例如，视频)被提供给动作捕捉处理系统，例如，数据网络120(参见图10)。此外，该动作捕捉处理系统使用所捕捉的动作来确定在动作捕捉相机前方的对象(或多个对象)上的标记的位置和动作。该处理系统使用位置信息来构建和更新表示所述一个或多个对象的三维模型(点云)。在使用多个动作捕捉索具或者使用一个或多个动作捕捉索具和一个或多个固定式相机的组合的系统中，所述处理系统将来自各个源的动作捕捉信息组合起来，以制作所述模型。
在一个实施例中，处理系统通过将那些相机的动作捕捉信息与其它动作捕捉相机(例如，作为校准的一部分的参考相机)所捕捉的信息相互关联来确定动作捕捉索具的位置和索具中的相机的位置。该处理系统可以随着动作捕捉索具的移动来自动动态地校准动作捕捉相机。所述校准可以基于例如来自其它索具或来自固定式相机的其它动作捕捉信息，从而确定动作捕捉索具信息如何与其余动作捕捉模型相关联。
在另一个实施例中，处理系统使用下述动作捕捉信息来校准相机，所述动作捕捉信息表示粘贴于背景中的已知固定位置处的固定跟踪标记或圆点的位置。因此，该处理系统为了校准的目的而忽视在移动对象上的标记或圆点。
图11示出了另一个动作捕捉空间150的顶视图。与前述实施例一样，动作捕捉空间150通常是为网格线所细分的矩形形状的区域。在本实施例中，动作捕捉空间150意图表示显著更大的空间，并且可以进一步细分为四个部分或象限(A、B、C、D)。每一部分具有大约等于上述动作捕捉空间30的大小，因此这个动作捕捉空间150具有前述实施例的四倍的表面面积。附加部分E位于所述空间的中心，并且与每一个其它部分都部分重叠。网格线还包括沿着纵轴的数值坐标(1-5)和沿着横轴的字母坐标(A-E)。这样，动作捕捉空间上的特定位置就可以通过其字母数字坐标(例如，区域4A)来限定。这样的指定允许在向演员提供方向(关于在哪里执行他们的表演和/或在哪里放置道具)的方面对动作捕捉空间150进行管理。为了方便演员和/或场景指导，可以将网格线和字母数字坐标实体地标记在动作捕捉空间150的基底上。应当了解，这些网格线和字母数字坐标将不包括在2D数据文件中。
在本发明的优选实施例中，各个部分A-E具有尺寸为10英尺乘10英尺的正方形形状，总面积为400平方英尺，即，大概为前述实施例的动作捕捉空间的四倍大。应当了解，有利地也可以利用动作捕捉空间150的其它形状和尺寸。
现在参考图12A-12C，示出了针对围绕动作捕捉空间150的外围部分的动作捕捉相机1221-122N的布局。外围部分提供了用以支撑相机、照明、和其它设备的脚手架的布置，并且作为区域1521-1524来示出。动作捕捉相机1221-122N通常平均地被布置在环绕动作捕捉空间150的各个区域1521-1524中，其中，具有相机高度和角度的多样性。此外，动作捕捉相机1221-122N各自被朝向聚焦在动作捕捉空间150的各个部分上，而不是聚焦在整个动作捕捉空间上。在本发明的一个实施例中，总共存在200个动作捕捉相机，其中，具有专用于动作捕捉空间150的五个部分A-E中的各个的每组40个单独的相机的多个组。
更具体而言，动作捕捉相机1221-122N的布局可以通过离动作捕捉空间的距离和距动作捕捉空间150的基底的高度来限定。图12A示出了距动作捕捉空间150最远并且普遍在最低高度上的第一组动作捕捉相机1221-122N的布局。参考区域152，(其中，其它区域也基本相同)，存在三排相机，其中，第一排172位于关于动作捕捉空间150的径向外侧且在距基底的最高高度处(例如，6英尺)，第二排174在略微较低高度处(例如，4英尺)，并且第三排176位于关于第一和第二排的径向内侧并在最低高度处(例如，1英尺)。在该实施例中，在第一组中总共存在80个动作捕捉相机。
图12B示出了比第一组更接近于动作捕捉空间150并且在比第一组更高的高度处的第二组动作捕捉相机12281-122160的布局。参考区域1521(其中，其它区域也基本相同)，存在三排相机，其中，第一排182位于关于动作捕捉空间的径向外侧并且在距基底的最高高度处(例如，14英尺)，第二排184在略微较低高度处(例如，11英尺)，并且第三排186位于关于第一和第二排的径向内侧并且在最低高度处(例如，9英尺)。在该实施例中，在本第二组中总共存在80个动作捕捉相机。
图12C示出了比第二组更接近于动作捕捉空间150并且在比第二组更高的高度处的第三组动作捕捉相机122161-122200的布局。参考区域1521(其中，其它区域也基本相同)，存在三排相机，其中，第一排192位于关于动作捕捉空间的径向外侧并且在距基底的最高高度处(例如，21英尺)，第二排194在略微较低高度处(例如，18英尺)，并且第三排196位于关于第一和第二排的径向内侧并且在最低高度处(例如，17英尺)。在该实施例中，在第三组中总共存在40个动作捕捉相机。应当了解，有利地也可以采用动作捕捉相机的其它布局和不同数目的动作捕捉相机。
动作捕捉相机按与以上针对图4来描述的相似的方式来聚焦在动作捕捉空间150的各个部分上。对于动作捕捉空间150的每一个部分A-E，来自四条边中的每一条的动作捕捉相机将聚焦在该部分上。通过示例的方式，来自距动作捕捉空间最远的第一组的相机可以聚焦在动作捕捉空间的距其最近的部分上。相反，来自最接近动作捕捉空间的第三组的相机可以聚焦在动作捕捉空间的距其最远的部分上。来自边之一的一端的相机可以聚焦在在另一端的部分上。在更具体的示例中，动作捕捉空间150的部分A可以被来自外围区域1521的第一排182和第三排186的特定的低高度相机、来自外围区域1524的第一排182和第三排186的低高度相机、来自外围区域1523的第二排184和第三排186的中高度相机、来自外围区域1522的第二排184和第三排186的中高度相机的组合所覆盖。图12A和12B还展现了在外围区域的中心的、用于捕捉中心部分E内的动作的更高度集中的动作相机。
通过提供角度和高度的多样性，其中，许多相机聚焦在动作捕捉空间150的各个部分上，将存在捕捉完整表演同时最小化不希望的包藏事件的更大的可能性。考虑到在这个布局中使用了大量相机，有利的是在各个相机周围放置遮光罩，以减少来自位于动作捕捉空间的相对位置处的另一个相机的外部光照的检测。在本发明的这个实施例中，使用相同的相机来同时捕捉面部和身体动作，因此不需要分立的身体和面部动作相机。可以在演员身上采用不同尺寸的标记，以区分面部和身体动作，其中，给定较大的动作捕捉空间，一般整体上使用较大的标记以确保数据捕捉。例如，9毫米标记可以用于身体，而6毫米标记可以用于面部。
本发明的各个实施例是用电子硬件、计算机软件、或这些技术的组合来实现的。一个实施例包括一个或多个可编程处理器和相应的计算机系统组件，用以存储和执行计算机指令，例如，提供对移动式动作捕捉相机所捕捉的视频的动作捕捉处理以及在动作过程中对那些相机进行校准。其它实施例包括由可编程处理器或计算机执行的一个或多个计算机程序。一般而言，每个计算机包括一个或多个处理器、一个或多个数据存储组件(例如，诸如硬盘驱动器和软盘驱动器、CD-ROM驱动器、和磁带驱动器之类的易失性或非易失性存储模块以及永久性光和磁存储设备)、一个或多个输入设备(例如，鼠标和键盘)、以及一个或多个输出设备(例如，显示控制器和打印机)。
计算机程序包括可执行代码，该可执行代码通常存储在永久性存储介质中，随后在运行时被复制到内存中。处理器通过按指定的顺序从内存检索程序指令来执行代码。当执行该程序代码时，计算机从输入和/或存储设备接收数据，对该数据执行操作，随后将得到的数据传递给输出和/或存储设备。
已经描述了本发明的各种示意性实施例。但是，本领域普通技术人员将了解，其它实施例也是可以的并且处在本发明的范围内。例如，在一个变体中，可以使用动作捕捉索具和不同数目的相机的组合来捕捉在相机前方的对象的动作。不同数目的固定式和移动式相机可以实现所需的结果和精确度，例如，50％的固定式相机和50％的移动式相机；90％的固定式相机和10％的移动式相机；或者100％的移动式相机。因此，可以选择相机的配置(例如，数目、位置、固定式对移动式，等等)来匹配所需的结果。
因此，本发明并不仅仅限于上述的那些实施例。

Claims (31)

1.一种用于捕捉动作的系统，包括：
动作捕捉空间，配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；
至少一个移动式动作捕捉相机，所述至少一个移动式动作捕捉相机被配置来在所述动作捕捉空间内可移动；
动作捕捉处理器，与所述至少一个移动式动作捕捉相机相耦合，以产生所述至少一个移动对象的移动的数字表示；以及
相机动作处理器，与所述至少一个移动式动作捕捉相机相耦合，以跟踪所述至少一个移动式动作捕捉相机的移动，并在随后对所捕捉的数据的处理中去除所述移动，从而生成所述至少一个移动对象的移动的所述数字表示。
2.如权利要求1所述的用于捕捉动作的系统，还包括至少一个固定式动作捕捉相机。
3.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机围绕空间的外围移动。
4.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机被移动以使得，所述至少一个移动对象在所述动作捕捉空间内移动时几乎所有暴露的侧面基本上一直在所述至少一个移动式动作捕捉相机的视场内。
5.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机被布置成提供所述动作捕捉空间的比在所有固定式动作捕捉相机的情况下可能的空间更大的有效空间。
6.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机被从第一位置移动到第二位置，并被固定在所述第二位置处。
7.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机被移动，以跟随所述至少一个移动对象的动作，并在移动的同时执行动作捕捉。
8.如权利要求1所述的用于捕捉动作的系统，还包括
至少一个伺服电机，用于移动所述至少一个移动式动作捕捉相机。
9.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机被单独移动。
10.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机包括
第一参考相机，配置来显示所述至少一个移动式动作捕捉相机的视图。
11.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机包括
第二参考相机，配置来生成对所述至少一个移动式动作捕捉相机所捕捉的动作的参考和调节。
12.如权利要求1所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机包括
反馈环路，配置来在没有参考相机的情况下生成对所述至少一个移动式动作捕捉相机所捕捉的动作的参考和调节。
13.如权利要求1所述的用于捕捉动作的系统，还包括
至少一个移动式动作捕捉索具，配置来使所述至少一个移动式动作捕捉相机中的至少一个能被布置在所述至少一个移动式动作捕捉索具之上，以使得所述至少一个移动式动作捕捉相机中的相机被移动。
14.如权利要求13所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉索具中的至少一个包括
至少一个伺服电机，配置来向布置在该移动式动作捕捉索具之上的所述至少一个移动式动作捕捉相机提供平移运动和旋转运动。
15.如权利要求14所述的用于捕捉动作的系统，其中，所述至少一个伺服电机与所述至少一个移动式动作捕捉索具相耦合，以一起向所述至少一个移动式动作捕捉相机提供所述平移运动和旋转运动。
16.如权利要求14所述的用于捕捉动作的系统，其中，所述至少一个伺服电机与所述至少一个移动式动作捕捉相机中的每一个相机都相耦合，以向所述至少一个移动式动作捕捉相机中的所述每一个相机独立提供所述平移运动和旋转运动。
17.如权利要求16所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉相机中的至少一个被限制于所述平移运动和旋转运动中的至少一种运动。
18.如权利要求13所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉索具被配置为使得所述至少一个移动式动作捕捉索具的移动是预先编程的。
19.如权利要求13所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉索具被配置来基于所接收的所述至少一个移动对象的输入来自动地移动。
20.如权利要求19所述的用于捕捉动作的系统，其中，所接收的输入包括从所述至少一个移动对象接收的视觉信号。
21.如权利要求20所述的用于捕捉动作的系统，其中，所述至少一个移动式动作捕捉索具基于所捕捉的所述至少一个移动对象的移动来与该对象一起移动。
22.如权利要求1所述的用于捕捉动作的系统，还包括
布置在所述动作捕捉空间内的固定位置处的固定跟踪标记。
23.如权利要求22所述的用于捕捉动作的系统，还包括
相机校准系统，用以使用表示所述固定跟踪标记的位置的动作捕捉信息来校准所述至少一个移动式动作捕捉相机。
24.一种用于捕捉动作的系统，包括：
配置成可移动的至少一个移动式动作捕捉相机，所述至少一个移动式动作捕捉相机用于捕捉代表动作捕捉空间内的至少一个动作的数据；
至少一个移动式动作捕捉索具，配置来使所述至少一个移动式动作捕捉相机能被布置在所述至少一个移动式动作捕捉索具上，以使所述至少一个移动式动作捕捉相机中的相机能被移动；以及
相机动作处理器，与所述至少一个移动式动作捕捉相机相耦合，以跟踪所述至少一个移动式动作捕捉相机的移动，并在随后对所捕捉的数据的处理中去除所述移动，以生成所述至少一个动作的数字表示。
25.一种用于捕捉动作的方法，包括：
限定动作捕捉空间，该动作捕捉空间被配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；
在所述动作捕捉空间内移动至少一个移动式动作捕捉相机；
跟踪所述至少一个移动式动作捕捉相机的移动；以及
对来自所述至少一个移动式动作捕捉相机的数据进行处理，以产生所述至少一个移动对象的移动的数字表示，其中，对数据的所述处理包括去除所述至少一个移动式动作捕捉相机的所述移动。
26.如权利要求25所述的方法，其中，移动所述至少一个移动式动作捕捉相机包括，
将所述至少一个移动式动作捕捉相机从第一位置移动到第二位置，并将其固定在所述第二位置处。
27.如权利要求25所述的方法，其中，移动所述至少一个移动式动作捕捉相机包括，
移动所述至少一个移动式动作捕捉相机以跟随所述至少一个移动对象的动作并在移动的同时执行动作捕捉。
28.如权利要求25所述的方法，其中，所述至少一个移动式动作捕捉相机包括，
生成对所述至少一个移动式动作捕捉相机所捕捉的动作的参考和调节。
29.如权利要求25所述的方法，还包括，
在所述动作捕捉空间内的固定位置处放置固定跟踪标记。
30.如权利要求29所述的方法，还包括，
使用表示所述固定跟踪标记的位置的动作捕捉信息来校准所述至少一个移动式动作捕捉相机。
31.一种用于捕捉动作的系统，包括：
用于限定动作捕捉空间的装置，所述动作捕捉空间被配置成包括至少一个移动对象，该移动对象具有限定所述至少一个移动对象上的多个点的标记；
用于在所述动作捕捉空间内移动至少一个移动式动作捕捉相机的装置；
用于跟踪所述至少一个移动式动作捕捉相机的移动的装置；以及
用于对来自所述至少一个移动式动作捕捉相机的数据进行处理以产生所述至少一个移动对象的移动的数字表示的装置，其中，用于对数据进行处理的所述装置包括用于去除所述至少一个移动式动作捕捉相机的所述移动的装置。
CN2006800321792A 2005-07-01 2006-07-03 移动式动作捕捉相机 Expired - Fee Related CN101253538B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US69619305P 2005-07-01 2005-07-01
US60/696,193 2005-07-01
US11/372,330 2006-03-08
US11/372,330 US7333113B2 (en) 2003-03-13 2006-03-08 Mobile motion capture cameras
PCT/US2006/026088 WO2007005900A2 (en) 2005-07-01 2006-07-03 Mobile motion capture cameras

Publications (2)

Publication Number Publication Date
CN101253538A CN101253538A (zh) 2008-08-27
CN101253538B true CN101253538B (zh) 2011-09-14

Family

ID=39804314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800321792A Expired - Fee Related CN101253538B (zh) 2005-07-01 2006-07-03 移动式动作捕捉相机

Country Status (4)

Country Link
JP (1) JP2008545206A (zh)
KR (1) KR101299840B1 (zh)
CN (1) CN101253538B (zh)
NZ (1) NZ564834A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2191445B1 (en) * 2007-09-04 2017-05-31 Sony Corporation Integrated motion capture
CN101635054B (zh) * 2009-08-27 2012-07-04 北京水晶石数字科技股份有限公司 一种信息点摆放的方法
KR101920473B1 (ko) 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
CN103106665A (zh) * 2011-11-11 2013-05-15 周建龙 一种空间增强现实系统中自动跟踪移动物体的方法
EP4221187A3 (en) 2012-09-10 2023-08-09 Aemass, Inc. Multi-dimensional data capture of an environment using plural devices
KR101385601B1 (ko) * 2012-09-17 2014-04-21 한국과학기술연구원 손동작 인식 및 인터렉션을 위한 장갑장치 및 방법
CN107469343B (zh) * 2017-07-28 2021-01-26 深圳市瑞立视多媒体科技有限公司 虚拟现实交互方法、装置及系统
WO2019216468A1 (ko) * 2018-05-11 2019-11-14 재단법인 차세대융합기술연구원 모바일 뷰잉 시스템
KR20190129602A (ko) 2018-05-11 2019-11-20 재단법인차세대융합기술연구원 모바일 뷰잉 시스템
CN111083462A (zh) * 2019-12-31 2020-04-28 北京真景科技有限公司 基于双视点的立体渲染方法
JP7335199B2 (ja) * 2020-04-30 2023-08-29 本田技研工業株式会社 解析装置、解析方法、プログラム、および較正方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7012637B1 (en) * 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JooKooi Tan.VARIOUS IMAGE TAKING STRATEGIES FOR 3-D OBJECTMODELING BASED ON MULTIPLE CAMERAS.IMAAGE PROCESSING4.2004,42487-2490. *

Also Published As

Publication number Publication date
NZ564834A (en) 2011-04-29
CN101253538A (zh) 2008-08-27
KR20080059144A (ko) 2008-06-26
JP2008545206A (ja) 2008-12-11
KR101299840B1 (ko) 2013-08-23

Similar Documents

Publication Publication Date Title
CN101253538B (zh) 移动式动作捕捉相机
CN101379530B (zh) 用来捕捉面部和身体动作的系统和方法
US7333113B2 (en) Mobile motion capture cameras
US7358972B2 (en) System and method for capturing facial and body motion
JP4384659B2 (ja) モーションキャプチャシステム及び方法
US8106911B2 (en) Mobile motion capture cameras
US8194093B2 (en) Apparatus and method for capturing the expression of a performer
US6769771B2 (en) Method and apparatus for producing dynamic imagery in a visual medium
JP2006520476A5 (zh)
CN101163940B (zh) 摄影位置分析方法
US9369694B2 (en) Adjusting stereo images
CN110446906A (zh) 三维扫描设备和方法
US20060055706A1 (en) Apparatus and method for capturing the motion of a performer
CN105793730A (zh) 对象运动的基于激光雷达的分类
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
CN108038911A (zh) 一种基于ar技术的全息成像控制方法
Jiang [Retracted] Application of Rotationally Symmetrical Triangulation Stereo Vision Sensor in National Dance Movement Detection and Recognition
CN115018877A (zh) 地面区域的特效展示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20210703