CN101379530B - 用来捕捉面部和身体动作的系统和方法 - Google Patents

用来捕捉面部和身体动作的系统和方法 Download PDF

Info

Publication number
CN101379530B
CN101379530B CN2005800476445A CN200580047644A CN101379530B CN 101379530 B CN101379530 B CN 101379530B CN 2005800476445 A CN2005800476445 A CN 2005800476445A CN 200580047644 A CN200580047644 A CN 200580047644A CN 101379530 B CN101379530 B CN 101379530B
Authority
CN
China
Prior art keywords
motion
motion capture
cameras
capture volume
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800476445A
Other languages
English (en)
Other versions
CN101379530A (zh
Inventor
D·戈登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN101379530A publication Critical patent/CN101379530A/zh
Application granted granted Critical
Publication of CN101379530B publication Critical patent/CN101379530B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用来捕捉动作的系统和方法包括适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作摄像机这样设置使得当在动作捕捉容积内运动时行动者的所有横向暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的组合的身体和面部动作的数字模型。至少一个传声器可以被定向成从该动作捕捉容积拾取声音。

Description

用来捕捉面部和身体动作的系统和方法
相关申请的交叉引用
本申请要求根据35 U.S.C.§120的优先权，作为于2003年5月1日提交的题为“System and Method for Capturing Facial andBody Motion.”的美国专利申请序列号10/427,114的部分延续。
技术领域
本发明涉及三维图形和动画，并且更具体地说，涉及动作捕捉系统，该系统在能够包含多个行动者的容积(volume)里面能够同时捕捉面部和身体动作。
背景技术
动作捕捉系统被用来捕捉实物的运动并且将它映射到计算机产生的物体上。在运动画面和视频游戏的制作中经常使用这样的系统来生成人的数字表示，该人的数字表示被用作产生计算机图形(CG)动画的源数据。在典型系统中，行动者穿着具有附着在各个位置的标志(例如具有附着到身体和四肢的反射标志)的衣服，并且数字摄像机在照亮这些标志的同时从不同的角度记录行动者的运动。然后该系统分析这些图像以确定在每一帧中行动者的衣服上的标志的位置(例如按空间坐标)和方向。通过跟踪这些标志的位置，该系统创建这些标志随时间的空间表示并且建立运动中的行动者的数字表示。然后，该运动可以应用于数字模型，其然后可以被构造和再现以制作行动者和/或行为的完整的CG表示。该技术已经被特技效果公司用来在许多流行电影中制作非常逼真的动画。
动作捕捉系统也被用来跟踪行动者的面部特征的动作以产生行动者的面部动作和表情(例如笑、哭、微笑等)的表示。与身体动作捕捉一样，标志被附着到行动者的面部上并且摄像机记录行动者的表情。因为与身体运动所涉及的较大的肌肉相比面部运动涉及相对小的肌肉，因此面部标志一般比相应的身体标志小得多，并且这些摄像机一般具有比通常用来捕捉身体运动的摄像机高的分辨率。这些摄像机一般与行动者的身体移动在共同的平面内排成直线，所述行动者的身体移动被限制以使这些摄像机聚焦在行动者的面部上。面部动作捕捉系统可以被并入物理地附着到行动者的头盔或其他工具中以便均匀地照射面部标志并且使摄像机和面部之间的相对运动程度最小化。为此，通常在分开的步骤中捕捉面部动作和身体动作。然后结合捕捉的面部动作数据和稍后捕捉的身体动作数据作为随后的动画过程的一部分。
动作捕捉系统优于传统的动画技术例如关键帧(keyframing)的优点是能够实时可视化。制作团队可以实时或接近实时地回顾行动者的动作的空间表示，使行动者能够改变身体行为以便捕捉最优的数据。此外，动作捕捉系统检测身体移动的精妙细微的差别，其不容易利用其他的动画技术来再现，由此产生更精确地反映自然运动的数据。因此，利用使用动作捕捉系统收集的源材料产生的动画将呈现更逼真的景象。
虽然动作捕捉系统有这些优点，但是分开捕捉面部和身体动作经常会导致并不真实地逼真的动画。面部动作和身体动作不可避免地相关联，使得面部表情经常被相应的身体动作增强。例如，行动者可以利用某种身体动作(即身体语言)来交流感情和强调相应的面部表情，例如在兴奋地谈话时利用手臂摆动或在生气时耸肩。当分开地捕捉动作时会失去面部动作和身体动作之间的这种联系，并且难以使这些分开捕捉的动作吻合在一起。当面部动作和身体动作被结合时，最后所得的动画经常会看起来明显不正常。因为动作捕捉的目的是能够形成格外逼真的动画，因此面部和身体动作的分离说明了常规动作捕捉系统的重大缺陷。
常规动作捕捉系统的另一缺点是行动者的动作数据有可能被其他对象例如道具或其他行动者的干扰所遮蔽。特别地，如果身体或面部标志的一部分从数字摄像机的视场被遮住，则涉及该身体或面部部分的数据就不会被收集。这导致动作数据中的遮掩或缺陷。虽然稍后在后期制作过程中可以利用常规的计算机制图技术填补该遮掩，但是该填补数据缺少实际动作数据的质量，导致能够被观看的观众识别的动画缺陷。为避免该问题，常规动作捕捉系统限制一次能够捕捉的对象的数目例如为单个行动者。这也易于使动作数据看起来不那么逼真，因为行动者的行为质量经常取决于与其他行动者和对象的相互作用。此外，难以以看起来自然的方式将这些独立的行为结合在一起。
常规的动作捕捉系统的另一缺点是声音不能和动作捕捉同时被记录。在动画制作中，通常首先记录声道，然后对人物进行动画制作以与声道相匹配。在面部动作捕捉期间，行动者会与记录的声道同步地说话。这不可避免地导致动作数据的视觉质量的进一步降低，因为对于行动者来说难以完美地将面部动作与声道同步。而且，身体动作经常会影响发表演讲的方式，并且身体和面部动作的分开捕捉增加了与声道同步以产生有内聚性的最终产品的难度。
因此，将期望提供一种克服现有技术的这些和其他缺点的动作捕捉系统。更具体地说，将期望提供一种动作捕捉系统，其能够在能够包含多个行动者的容积内同时捕捉身体和面部动作。还将期望提供一种动作捕捉系统，其能够与身体和面部动作捕捉同时地记录声音。
发明内容
根据本发明的教导，提供一种动作捕捉系统和方法，其能够在包含多个行动者的容积内同时捕捉面部和身体动作。该动作捕捉系统还能够与身体和面部动作捕捉同时地记录声音。
更具体地说，用来捕捉动作的系统和方法包括适合包含至少一个行动者的动作捕捉容积(volume)，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志。该动作捕捉容积可以具有任何期望的几何形状，例如椭圆形、圆形、矩形、多边形等。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作摄像机这样设置以便当在动作捕捉容积内运动时行动者的所有横向暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场以内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的合成的身体和面部动作的数字模型。至少一个传声器可以被定向以从该动作捕捉容积中拾取声音。
在本发明的实施例中，动作捕捉容积进一步包括被细分成多个部分的矩形区域。该多个动作摄像机进一步包括朝向该多个部分中的相应部分定向的第一子组摄像机。该多个动作摄像机可以进一步包括朝向该多个部分中的相应部分定向的第二子组摄像机，所述第二子组摄像机在空间上与所述第一子组摄像机分开。第一子组摄像机相对于第二子组摄像机被定向以便它们的相应视场基本重叠。第一和第二子组摄像机均可以进一步包括至少三个摄像机。该多个动作摄像机可以进一步包括第三子组摄像机，所述第三子组摄像机分别设置在动作捕捉容积的各角处并且通常朝向动作捕捉容积的中心被定向。
通过考虑以下优选实施例的详细描述，本领域技术人员将更完整地理解用来捕捉身体和面部动作的系统和方法，以及其另外的优点和目的的实现。将参考附图页，这些附图首先将被简要地描述。
附图说明
图1是示出根据本发明的实施例的动作捕捉系统的方块图；
图2是具有多个动作捕捉摄像机的动作捕捉容积的顶视图，该多个动作捕捉摄像机围绕该动作捕捉容积的外围设置；
图3是具有多个动作捕捉摄像机的动作捕捉容积的侧视图，该多个动作捕捉摄像机围绕该动作捕捉容积的外围设置；
图4是示出面部动作摄像机相对于动作捕捉容积的象限的示例性设置的动作捕捉容积的顶视图；
图5是示出面部动作摄像机相对于动作捕捉容积的各角的示例性设置的动作捕捉容积的顶视图；
图6是示出反映在动作捕捉容积中的两个行动者的动作捕捉数据的动作捕捉容积的透视图；
图7示出反映在动作捕捉容积中的两个行动者并且显示该数据的遮掩区的动作捕捉数据；
图8示出如图7中的动作捕捉数据，其中该两个行动者中的一个被遮掩区遮蔽；
图9是示出在该动作捕捉系统中利用的动作捕捉摄像机的替换实施例的方块图；
图10是示出根据本发明的另一实施例的动作捕捉系统的方块图；
图11是放大的动作捕捉容积的顶视图，该动作捕捉容积限定多个行为区域；以及
图12A-12C是图11的放大的动作捕捉容积的顶视图，示出了动作捕捉摄像机的示例性设置。
具体实施方式
正如以下将进一步描述的，本发明满足了对这样的动作捕捉系统的需要：该动作捕捉系统能够在能够包含多个行动者的容积内同时捕捉身体和面部动作。另外，本发明还满足了对这样的动作捕捉系统的需要：该动作捕捉系统能够与身体和面部动作捕捉同时地记录声音。在以下的详细描述中，类似的元件数字被用来描述在一个或多个图中示出的类似元件。
首先参考图1，方块图示出了根据本发明的实施例的动作捕捉系统10。该动作捕捉系统10包括适合与多个面部动作摄像机141-14N以及多个身体动作摄像机161-16N通信的动作捕捉处理器12。动作捕捉处理器12可以进一步包括具有适于能够存储相关数据文件的数据存储器件20的可编程计算机。可以利用网络将一个或多个计算机工作站181-18N耦接到动作捕捉处理器12以使多个图形设计师能够在制作计算机图形动画的过程中利用存储的数据文件工作。相对于动作捕捉容积(在下面被描述)设置面部动作摄像机141-14N和身体动作摄像机161-16N以捕捉在动作捕捉容积内进行的一个或多个行动者的组合动作。
每个行动者的面部和身体用标志来标记，在行动者在动作捕捉容积内行动期间利用面部动作摄像机141-14N和身体动作摄像机161-16N检测这些标志。这些标志可以是反射的或被照亮的元件。特别地，可以利用设置在包括头、腿、臂、和躯体的各个身体位置的多个反射标志标记每个行动者的身体。行动者可以穿着由非反射材料形成的、附着了这些标志的连体紧身衣。还将用多个标志标记行动者的面部。面部标志通常比身体标志小，并且使用的面部标志数目比身体标志更多。为了捕捉具有足够分辨率的面部动作，预期利用很多个面部标志(例如100以上)。在一个示例性的实施方式中，将152个小的面部标志和64个较大的身体标志贴到行动者上。身体标志可以具有5到9毫米的宽度或直径，而面部标志可以具有2到4毫米的宽度或直径。
为了确保面部标志的位置的一致性，可以由每个行动者的面部形成面具，其在与期望的标志位置相对应的适当位置处具有钻孔。该面具可以被放置在行动者的面部上，并且孔位置用合适的笔直接标记在面部上。然后可以将面部标志施加到在标记的位置处的行动者的面部上。可以利用戏剧表演领域已知的适当材料例如化妆胶将面部标志贴到行动者的面部上。这样，即使每天都施加和去除这些标志，延续一段长时间(例如数月)的动作捕捉作品也能获得行动者的相当一致的动作数据。
动作捕捉处理器12处理从面部动作摄像机141-14N和身体动作摄像机161-16N接收的二维图像以产生所捕捉动作的三维数字表示。特别地，动作捕捉处理器12从每个摄像机接收二维数据并且以多个数据文件的形式将该数据保存到数据存储器件20中作为图像捕捉过程的一部分。随后，作为图像处理过程的一部分，二维数据文件被分解成单组三维坐标，所述单组三维坐标以表示各个标志的运动的轨迹文件的形式被链接在一起。该图像处理过程利用来自一个或多个摄像机的图像确定每个标志的位置。例如，由于在动作捕捉容积内行动者的面部特征或身体部分的遮掩，标志可能仅能被这些摄像机的子集看得见。在那种情况下，图像处理利用来自对该标志具有自由视野的其他摄像机的图像来确定该标志在空间中的位置。
通过使用来自多个摄像机的图像确定标志的位置，图像处理过程从多个角度评估图像信息并且利用三角测量方法来确定空间位置。然后对轨迹文件进行动力学计算以产生反映与行动者的行为相对应的身体和面部动作的数字表示。利用随着时间过去的空间信息，这些计算确定每个标志在其移动通过空间时的进展。可以利用合适的数据管理过程控制将与整个过程相关的很多个文件存储到数据存储器件20/从数据存储器件20重新获得与整个过程相关的很多个文件。动作捕捉处理器12和工作站181-18N可以利用商业软件包来执行这些和其它数据处理功能，例如可以从Vicon Motion Systems或者Motion Analysis Corp获得商业软件包。
动作捕捉系统10除了动作以外还进一步包括记录声音的能力。可以围绕动作捕捉容积设置多个传声器241-24N以在行动者行动期间拾取声音(例如口头对话)。动作捕捉处理器12可以直接或通过音频接口22耦接到传声器241-24N。传声器241-24N可以被固定在适当的位置，或者可以在吊杆上移动以跟随动作，或者可以被行动者携带并且与动作捕捉处理器12或音频接口22进行无线通信。动作捕捉处理器12将接收记录的声音以及时间轨迹或其他能够与动作数据同步的数据并以数字文件的形式将其存储在数据存储器件20上。
图2和3示出被多个动作捕捉摄像机围绕的示例性动作捕捉容积30。动作捕捉容积30包括外围边缘32。动作捕捉容积30被示为由网格线细分的矩形区域。应当理解，动作捕捉容积30实际上包括具有为动作捕捉容积限定底面的栅格的三维空间。将在该底面上的三维空间内捕捉动作。在本发明的优选实施例中，动作捕捉容积30包括大约10英尺×10英尺的底面面积，且在该底面上具有大约6英尺的高度。也可以有利地利用其他尺寸和形状的动作捕捉容积来满足制作的特殊需要，例如椭圆形、圆形、矩形、多边形等。
图2示出具有多个以通常为圆形的图案围绕外围边缘32设置的动作捕捉摄像机的动作捕捉容积30的顶视图。各个摄像机被利用图形表示为具有代表摄像机的镜头方向的锐角的三角形，因此，应当理解，该多个摄像机从多个不同的方向指向动作捕捉容积30。更具体地说，该多个动作捕捉摄像机进一步包括多个身体动作摄像机161-168和多个面部动作摄像机141-14N。鉴于图2中的很多个面部动作摄像机，应当理解，多个面部动作摄像机没有被标记。在本发明的该实施例中，面部动作摄像机比身体动作摄像机多得多。在动作捕捉容积30的每侧大致设置2个身体动作摄像机161-168，并且在动作捕捉容积30的每侧大致设置12个面部动作摄像机141-14N。除了选择面部动作摄像机的聚焦透镜以提供比身体动作摄像机的视场窄的视场以外，面部动作摄像机141-14N与身体动作摄像机161-16N基本相同。
图3示出具有该多个动作捕捉摄像机的动作捕捉容积30的侧视图，该多个动作捕捉摄像机在该动作捕捉容积的底面之上被设置成大致三层。下层包括多个面部动作摄像机141-1432，在动作捕捉容积30的每侧设置大致8个面部动作摄像机。在本发明的实施例中，下层面部动作摄像机141-1432中的每一个稍稍向上瞄准以便不包括大致与包含在视场内的动作捕捉容积30相对的摄像机。动作捕捉摄像机通常包括用来照亮动作捕捉容积30的光源(例如发光二极管阵列)。期望不使动作捕捉摄像机“看见”另一动作捕捉摄像机的光源，因为该光源对动作捕捉摄像机表现为亮反射，其将覆没来自反射标志的数据。中间层包括多个身体动作摄像机163-167，在动作捕捉容积30的每侧设置大致2个身体动作摄像机。如上所讨论的，身体动作摄像机具有比面部动作摄像机宽的视场，能够使每个摄像机在它的相应视场内包括更大量的动作捕捉容积30。
上层包括多个面部动作摄像机(例如1433-1452)，在动作捕捉容积30的每侧设置大致5个面部动作摄像机。在本发明的实施例中，上层面部动作摄像机1433-1452中的每一个稍稍向下瞄准以便不包括大致与包含在视场内的动作捕捉容积30相对的摄像机。在图2的左手侧示出，在中间层中还包括多个聚焦在动作捕捉容积30的前边缘的面部动作摄像机(例如1453-1460)。因为行动者的行为通常会面对动作捕捉容积30的前边缘，所以在该区域中增加该多个摄像机以减少因遮掩而丢失的数据的量。另外，在中间层中包括多个聚焦在动作捕捉容积30的角落的面部动作摄像机(例如1461-1464)。这些摄像机也用来减少因遮掩而丢失的数据的量。
在本发明的该优选实施例中，身体和面部动作摄像机从多个不同的角度记录被标记的行动者的图像以便行动者的基本全部的侧表面一直暴露于至少一个摄像机。更具体地说，优选这种摄像机设置使得行动者的基本全部的侧表面一直暴露于至少三个摄像机。通过在多个高度处放置摄像机，可以在行动者在动作捕捉场30内移动时为不规则表面作模型。本动作捕捉系统10由此同时记录行动者的身体运动和面部运动(即表情)。如上所讨论的，还可以与动作捕捉同时地进行声音记录。
图4是示出面部动作摄像机的示例性设置的动作捕捉容积30的顶视图。动作捕捉容积30在图形上被分成标记为a、b、c和d的象限。面部动作摄像机被分组成群36、38，每个摄像机群表示多个摄像机。例如，一个这样的摄像机群可以包括两个位于下层中的面部动作摄像机和一个位于上层中的面部动作摄像机。还可以有利地利用群内的其他摄像机设置。这两个摄像机群36、38被物理地设置成彼此相邻，但是彼此水平上偏离了可辨别的距离。这两个摄像机群36、38均以大约45℃的角度聚焦在象限d的前边缘。第一摄像机群36具有从部分地进入象限c的前边缘延伸到象限d的前边缘的右端的视场。第二摄像机群38具有从象限d的前边缘的左端延伸到部分地进入象限d的右边缘的视场。因此，第一和第二摄像机群36、38的相应视场基本上在象限d的前边缘的长度上重叠。象限a、b、c和d的其他外边缘(与外围边缘32一致)的每一个包括类似的摄像机设置。
图5是示出面部动作摄像机的另一示例性设置的动作捕捉容积30的顶视图。如同在图4中，动作捕捉容积30在图形上被分成象限a、b、c和d。面部动作摄像机被分组成群42、44，且每个摄像机群表示多个摄像机。如同在图4的实施例中，这些群可以包括位于不同高度的一个或多个摄像机。在该设置中，摄像机群42、44位于动作捕捉容积30的角落处，面向动作捕捉容积中。这些角落摄像机群42、44将记录例如由于遮掩而没有被其他摄像机拾取的行动者的图像。其他相似的摄像机群也可以位于动作捕捉容积30的其他角落处。
相对于动作捕捉容积30具有多种摄像机高度和角度用以增加从动作捕捉容积中的行动者捕捉到的可用数据并且减小数据遮掩的可能性。它也允许在动作捕捉容积30内同时捕捉多个行动者的动作。此外，摄像机的大数量和多样性能够使动作捕捉容积30比现有技术的动作捕捉容积大得多，由此能够使动作捕捉容积内的动作范围更大并且因此能够使行为更复杂。应当理解，也可以有利地利用身体和面部动作摄像机的多种替换设置。例如，可以利用更多或更少数目的分开的层，并且在单层内的每个摄像机的实际高度可以改变。
在本发明的优选实施例的前面描述中，身体和面部动作摄像机保持固定在原地。这样，动作捕捉处理器12具有固定的参考点，身体和面部标志的移动可以相对于该参考点来测量。这种设置的缺点是它限制了动作捕捉容积30的尺寸。如果期望捕捉需要更大的空间容积的行为的动作(例如，其中人物在更大的距离上跑动的场景)，则该行为必须被分成多个段，这些段被分别进行动作捕捉。在本发明的替换实施例中，一部分摄像机保持固定而其他摄像机将跟随动作移动。这些可移动的摄像机都可以利用计算机控制的伺服电动机移动或者可以由人摄影师手动移动。动作捕捉处理器12将跟踪这些摄像机的移动，并且在所捕捉的数据的随后处理中除去该移动以产生反映与行动者的行为相对应的身体和面部动作的三维数字表示。
图6是示出反映动作捕捉容积内的两个行动者52、54的动作捕捉数据的动作捕捉容积30的透视图。图6的图反映了该动作捕捉数据怎样被以上参考图1描述的工作站18的操作者观看。与图2和3(上面的)类似，图6进一步示出多个面部动作摄像机，包括位于下层中的摄像机141-1412、位于上层中的摄像机1433-1440、以及位于动作捕捉容积30的角落中的摄像机1460、1462。这两个行动者52、54呈现为与它们的身体和面部上的反射标志相对应的大量的点。如上所示和所讨论的，位于行动者的面部上的标志比位于它们的身体上的标志多得多。行动者的身体和面部的运动被动作捕捉系统10跟踪，基本上如上所述。
现在参考图7和8，动作捕捉数据被示为它将被工作站18的操作者所看见的那样。如同在图6中，动作捕捉数据反映两个行动者52、54，其中高浓度的点反映行动者的面部并且其他点反映身体点。动作捕捉数据进一步包括三个被示为椭圆形状的遮掩区62、64、66。遮掩区62、64、66表示这样的地方，其中由于来自摄像机之一的光落在其他摄像机的视场内而没有捕捉到可靠的动作数据。该光覆没了来自反射标志的发光，并且被动作捕捉处理器12理解为身体或面部标志。由动作捕捉处理器12执行的图像处理过程产生虚拟掩蔽，其通过限定图7和8中示出的遮掩区62、64、66滤掉摄像机发光。制作公司可能会试图控制行动者的行为以在身体上避免被遮掩区遮蔽的运动。然而，不可避免地会发生一些数据捕捉丢失，如图8中所示，其中行动者54的面部由于身体移动进入遮掩区64而几乎完全被遮蔽。
图9示出减少了遮掩问题的动作捕捉系统的实施例。特别地，图9示出被物理地设置成跨越动作捕捉容积(未示出)彼此相对的摄像机84和74。摄像机84、74包括适于照亮摄像机的视场的相应光源88、78。摄像机84、74进一步被提供有设置在摄像机镜头前面的偏振滤光器86、76。正如由以下描述变得清楚的，偏振滤光器86、76相对于彼此异相地设置(即被旋转)。光源88发射被偏振滤光器86偏振的光。该偏振光到达摄像机74的偏振滤光器76，但不是穿过到达摄像机74，该偏振光被偏振滤光器76反射掉或吸收。结果，摄像机84将不会“看见”摄像机74的发光，由此避免了遮掩区的形成并且消除了对虚拟掩蔽的需要。
虽然前面的描述涉及使用贴到身体和面部上的物理标志的光学感测来跟踪动作，但是本领域技术人员应当理解，也可以有利地使用跟踪动作的替换方法。例如，代替贴标志，可以利用行动者的身体特征(例如鼻子或眼睛的形状)作为跟踪动作的自然标志。这种基于特征的动作捕捉系统将取消在每次行动之前将标志贴到行动者上的任务。另外，可以使用除了光之外的替换介质来检测相应的标志。例如，这些标志可以包括超声或电磁发射器，其被设置在动作捕捉容积周围的相应的接收器所检测。在这点上，应当理解，上述摄像机仅仅是光学传感器并且可以有利地利用其他类型的传感器。
现在参考图10，方块图示出了根据本发明的替换实施例的动作捕捉系统100。动作捕捉系统100已经大大增加了超过上述前面实施例的数据容量，并且适于捕捉与扩大的动作捕捉容积相关的更大量的数据。动作捕捉系统100包括三个被充当收集数据的储存库的主服务器110系在一起的分开的网络。这些网络包括数据网120、艺术家网(artist network)130、以及重构再现网140。主服务器110为动作捕捉系统100提供中央控制和数据存储。数据网120将在行动期间捕捉到的二维(2D)数据传送到主服务器110。艺术家网130和重构再现网140随后可以从主服务器110存取这些相同的2D数据文件。主服务器110可以进一步包括适于存储大容量数据的存储器112系统。
数据网120提供与动作捕捉摄像机的接口并且提供捕捉的动作数据的初始数据处理，其然后被提供到主服务器110以存储在存储器112中。更具体地说，数据网120被耦接到多个动作捕捉摄像机1221-122N，其被相对于动作捕捉容积设置(在下面被描述)以捕捉在该动作捕捉容积内进行的一个或多个行动者的组合动作。数据网120也可以直接或通过合适的音频接口124耦接到多个传声器1261-126N以捕捉与该行为相关的声音(例如对话)。多个用户工作站128中的一个可以耦接到数据网120以提供对数据网的功能的操作、控制和监控。在本发明的实施例中，数据网120可以由例如可从ViconMotion Systems或Motion Analysis Corp得到的多个动作捕捉数据处理工作站连同用来将捕捉的数据整理成2D文件的多个从处理工作站一起来提供。
艺术家网130利用合适的工作站1321-132N为多个数据检验者和动画绘制者提供高速基础结构。数据检验者从主服务器110得到2D数据文件以验证该数据的可接受性。例如，数据检验者可以再检查该数据以验证该行为的关键方面被捕捉了。如果该行为的重要方面没有被捕捉，例如如果该数据的一部分被遮掩，则可以根据需要重复该行为直到所捕捉的数据被视为可接受的为止。为了便于与行动者和/或场景指导者联系，数据检验者和相关的工作站1321-132N可以被设置成物理地接近动作捕捉容积。
重构再现网140提供高速数据处理计算机，其适于执行2D数据文件的自动重构并且将2D数据文件再现为被主服务器110存储的三维(3D)动画文件。多个用户工作站1421-142N中的一个可以耦接到重构再现网140以提供对数据网的功能的操作、控制和监控。访问艺术家网130的动画绘制者也将在最后的计算机图形动画的制作过程中得到所述3D动画文件。
图11示出示例性的动作捕捉容积150的顶视图。如同在前述的实施例中，动作捕捉容积150通常是被网格线细分的矩形区域。在该实施例中，动作捕捉容积150旨在表示明显更大的空间，并且能被进一步细分为四个部分或象限(A、B、C、D)。每个部分具有与上述的动作捕捉容积30的尺寸大致相等的尺寸，因此该动作捕捉容积150具有的表面面积是前面实施例的表面面积的四倍。额外的部分E中心在该空间内并且与其他部分的每一个部分重叠。这些网格线进一步包括沿垂直轴的数字坐标(1-5)和沿水平轴的字母坐标(A-E)。这样，在动作捕捉容积上的特定位置可以由其字母坐标来限定，例如区域4A。这种指定允许依照关于在哪里进行他们的行为和/或在哪里放置道具给行动者提供方向来管理动作捕捉容积150。为方便行动者和/或场景指导者，可以将网格线和字母坐标物理地标记在动作捕捉容积150的底面上。应当理解，这些网格线和字母坐标将不被包含在2D数据文件中。
在本发明的优选实施例中，部分A-E中的每一个具有尺寸为10英尺×10英尺的正方形，其总面积为400方英尺，即比前面实施例的动作捕捉容积大大约四倍。应当理解，也可以有利地使用其他形状和尺寸的动作捕捉容积150。
现在参考图12A-12C，相对于动作捕捉容积150周围的外围区域示出动作捕捉摄像机1221-122N的示例性设置。该外围区域提供脚手架放置以支撑摄像机、照明设备、以及其他设备，并且被示为区域1521-1524。动作捕捉摄像机1221-122N通常以多种摄像机高度和角度均匀地设置在围绕动作捕捉容积150的区域1521-1524中的每一个中。此外，动作捕捉摄像机1221-122N均被定向成聚焦在动作捕捉容积150的各个所述部分上，而不是聚焦在整个动作捕捉容积上。在本发明的示例性实施例中，总共有两百个动作捕捉摄像机，并且40个单独摄像机的组专用于动作捕捉容积150的5个部分A-E中的每一个。
更具体地说，可以由距离动作捕捉容积的距离和离动作捕捉容积150的底面的高度来限定动作捕捉摄像机1221-122N的设置。图12A示出第一组动作捕捉摄像机1221-12280的设置，其被定向成距离动作捕捉容积150最远并且处在通常最低的高度。参考示例性区域1521(其他区域基本上与其相同)，存在3行摄像机，第一行172在距离底面最高的高度处(例如6英尺)相对于动作捕捉容积150呈放射状向外设置，第二行174在稍稍较低的高度处(例如4英尺)，以及第三高度176相对于第一和第二行呈放射状向内设置并且处于最低的高度处(例如1英尺)。在示例性实施例中，在该第一组中总共有80个动作捕捉摄像机。
图12B示出第二组动作捕捉摄像机12281-122160的设置，其被定向成比第一组更靠近动作捕捉容积150并且处于比第一组的高度更高的高度。参考示例性区域1521(其他区域基本上与其相同)，存在3行摄像机，第一行182在距离底面最高的高度处(例如14英尺)相对于动作捕捉容积呈放射状向外设置，第二行184在稍稍较低的高度处(例如11英尺)，以及第三行186相对于第一和第二行呈放射状向内设置并且处于最低的高度处(例如9英尺)。在示例性实施例中，在该第二组中总共有80个动作捕捉摄像机。
图12C示出第三组动作捕捉摄像机122161-122200的设置，其被定向成比第二组更靠近动作捕捉容积150并且处于比第二组的高度更高的高度。参考示例性区域1521(其他区域基本上与其相同)，存在3行摄像机，第一行192在距离底面最高的高度处(例如21英尺)相对于动作捕捉容积呈放射状向外设置，第二行194在稍稍较低的高度处(例如18英尺)，以及第三高度196在更低的高度处(例如17英尺)相对于第一和第二行呈放射状向内设置。在示例性实施例中，在该第二组中总共有40个动作捕捉摄像机。应当理解，还可以有利地利用其他设置的动作捕捉摄像机和不同数目的动作捕捉摄像机。
动作捕捉摄像机以类似于以上参考图4描述的方式聚焦在动作捕捉容积150的相应部分上。对于动作捕捉容积150的部分A-E中的每一个而言，四侧中的每一侧的动作捕捉摄像机将聚焦于该部分上。借助实例，离动作捕捉容积最远的第一组的摄像机可以聚焦在离其最近的动作捕捉容积的部分上。相反，离动作捕捉容积最近的第三组的摄像机可以聚焦在离其最远的动作捕捉容积的部分上。所述侧之一的一端的摄像机可以聚焦在另一端的部分上。在更具体的实例中，动作捕捉容积150的部分A可以被某些来自外围区域1521的第一行182和第三行186的低高度的摄像机、来自外围区域1524的第一行182和第三行186的低高度的摄像机、来自外围区域1523的第二行184和第三行186的中间高度的摄像机、来自外围区域1522的第二行184和第三行186的中间高度的摄像机的组合所覆盖。图12A和12B进一步揭示了在用来捕捉中心部分E内的动作的外围区域的中心中的更大浓度的动作摄像机。
通过提供多种角度和高度，利用聚焦在动作捕捉容积150的所述部分上的多个摄像机，更有可能捕捉整个行为同时使不期望的遮掩事件减至最少。考虑到在该设置中使用的很多个摄像机，有利的是，在每一个摄像机的周围放置光屏蔽以限制来自位于动作捕捉容积对面的另一摄像机的外部光的探测。在本发明的该示例性实施例中，相同的摄像机被用来同时捕捉面部和身体动作，因此不需要分开的身体和面部动作摄像机。为了区别面部和身体动作，可以在行动者上使用不同尺寸的标志，并且为了确保产生较大的动作捕捉容积的数据捕捉，通常全部都使用较大的标志。例如，可以对身体使用9毫米的标志并且对面部使用6毫米的标志。
已经这样描述了用来捕捉身体和面部动作的系统和方法的优选实施例，对本领域技术人员来说显而易见的是，本发明的特定优点已经实现了。还应当理解，在本发明的范围和精神内，可以进行多种修改、改编及其替换实施例。本发明由以下权利要求进一步限定。

Claims (22)

1.一种用来捕捉动作的系统，包括：
适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志；所述身体标志在尺寸上大于所述面部标志；
围绕所述动作捕捉容积的外围设置的多个动作摄像机，所述动作摄像机这样设置使得当在所述动作捕捉容积内运动时所述至少一个行动者的所有横向暴露的表面基本上一直在所述多个面部动作摄像机中的至少一个的视场内；以及
动作捕捉数据处理系统，其耦接到所述多个动作摄像机以同时接收来自所述多个动作摄像机的动作捕捉数据并且产生反映所述至少一个行动者的组合的身体和面部动作的数字表示；其中，所述身体动作还包括行动者的头、躯体、臂和腿的相对大尺度的肌肉运动，并且面部动作还包括在形成面部表情时面部肌肉的相对小尺度的肌肉运动。
2.如权利要求1的用来捕捉动作的系统，其中所述动作捕捉容积进一步包括被细分为多个部分的矩形区。
3.如权利要求1的用来捕捉动作的系统，其中所述多个动作摄像机包括第一组摄像机，该第一组摄像机被定向成在第一高度处距离所述动作捕捉容积最远。
4.如权利要求3的用来捕捉动作的系统，其中所述多个动作摄像机包括第二组摄像机，该第二组摄像机被定向成比所述第一组摄像机距离所述动作捕捉容积更近并且处于比所述第一高度高的第二高度。
5.如权利要求4的用来捕捉动作的系统，其中所述多个动作摄像机包括第三组摄像机，该第三组摄像机被定向成比所述第二组摄像机距离所述动作捕捉容积更近并且处于比所述第二高度高的第三高度。
6.如权利要求2的用来捕捉动作的系统，其中所述多个部分的每一个包括大约10英尺×10英尺的面积。
7.如权利要求2的用来捕捉动作的系统，其中所述动作摄像机中的至少四十个聚焦在所述多个部分的每一个上。 
8.如权利要求1的用来捕捉动作的系统，其中所述动作捕捉容积进一步包括大约400方英尺的面积。
9.如权利要求1的用来捕捉动作的系统，其中所述动作捕捉数据处理系统进一步包括数据网，该数据网耦接到所述多个动作摄像机并且适于根据从所述多个动作摄像机接收的信号产生二维(2D)数据文件。
10.如权利要求9的用来捕捉动作的系统，其中所述动作捕捉数据处理系统进一步包括主服务器，该主服务器耦接到所述数据网并且适于存储所述二维数据文件。
11.如权利要求10的用来捕捉动作的系统，其中所述动作捕捉数据处理系统进一步包括耦接到所述主服务器的重构再现网，该重构再现网用来执行所述二维数据文件的自动重构并且产生随后被所述主服务器存储的三维(3D)动画文件。
12.如权利要求10的用来捕捉动作的系统，其中所述动作捕捉数据处理系统进一步包括耦接到所述主服务器的艺术家网，该艺术家网用来检查所述二维数据文件以验证精确的数据捕捉。
13.一种用来捕捉动作的方法，包括：
限定动作捕捉容积，该动作捕捉容积适合包含至少一个行动者，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志；所述身体标志在尺寸上大于所述面部标志；
围绕所述动作捕捉容积的外围设置多个动作摄像机，所述动作摄像机均这样设置使得当在所述动作捕捉容积内运动时所述至少一个行动者的所有横向暴露的表面基本上一直在所述多个动作摄像机中的至少一个的所述视场内；以及
同时接收来自所述多个动作摄像机的动作捕捉数据，并且处理所述动作捕捉数据以产生反映所述至少一个行动者的组合的身体和面部动作的数字表示；其中，所述身体动作还包括行动者的头、躯体、臂和腿的相对大尺度的肌肉运动，并且面部动作还包括在形成面部表情时面部肌肉的相对小尺度的肌肉运动。
14.如权利要求13的方法，其中所述限定步骤进一步包括将所述动作捕捉容积限定为被细分成多个部分的矩形区。
15.如权利要求14的方法，其中所述设置步骤包括将所述多个 动作摄像机的第一组定向在第一高度处距离所述动作捕捉容积最远的所述动作捕捉容积的外围区域中。
16.如权利要求15的方法，其中所述设置步骤包括将所述多个动作摄像机的第二组定向在所述外围区域中，比所述第一组摄像机离所述动作捕捉容积更近，并且处于比所述第一高度更高的第二高度。
17.如权利要求16的方法，其中所述设置步骤包括将所述多个动作摄像机的第三组定向在所述外围区域中，比所述第二组摄像机离所述动作捕捉容积更近，并且处于比所述第二高度更高的第三高度。
18.如权利要求13的方法，其中所述处理步骤进一步包括根据从所述多个动作摄像机接收的信号产生二维(2D)数据文件。
19.如权利要求18的方法，其中所述处理步骤进一步包括在中央数据存储装置中存储所述二维数据文件。
20.如权利要求18的方法，其中所述处理步骤进一步包括执行所述二维数据文件的自动重构并且由其产生三维(3D)动画文件。
21.如权利要求18的方法，其中所述处理步骤进一步包括验证所述二维数据文件的精确性。
22.如权利要求13的方法，进一步包括从所述动作捕捉容积内记录声音。 
CN2005800476445A 2004-12-03 2005-11-30 用来捕捉面部和身体动作的系统和方法 Expired - Fee Related CN101379530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/004,320 2004-12-03
US11/004,320 US7573480B2 (en) 2003-05-01 2004-12-03 System and method for capturing facial and body motion
PCT/US2005/043366 WO2006060508A2 (en) 2004-12-03 2005-11-30 System and method for capturing facial and body motion

Publications (2)

Publication Number Publication Date
CN101379530A CN101379530A (zh) 2009-03-04
CN101379530B true CN101379530B (zh) 2012-01-11

Family

ID=36565699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800476445A Expired - Fee Related CN101379530B (zh) 2004-12-03 2005-11-30 用来捕捉面部和身体动作的系统和方法

Country Status (8)

Country Link
US (1) US7573480B2 (zh)
EP (1) EP1825438B1 (zh)
JP (1) JP4901752B2 (zh)
KR (1) KR100938021B1 (zh)
CN (1) CN101379530B (zh)
AU (1) AU2005311889B2 (zh)
NZ (1) NZ555867A (zh)
WO (1) WO2006060508A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100507780B1 (ko) * 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
US7333113B2 (en) * 2003-03-13 2008-02-19 Sony Corporation Mobile motion capture cameras
WO2007008715A2 (en) * 2005-07-07 2007-01-18 Ingenious Targeting Laboratory, Inc. System for 3d monitoring and analysis of motion behavior of targets
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
FR2897680B1 (fr) * 2006-02-17 2008-12-05 Commissariat Energie Atomique Dispositif de capture de mouvement et procede associe
EP2039163A4 (en) * 2006-07-11 2013-01-23 Sony Corp USING QUANTUM NANOPOUNTS IN FILMS OR VIDEO GAMES
CA2668023A1 (en) * 2006-10-30 2008-05-08 Jerry Moscovitch System and method for producing and displaying images
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US20080297304A1 (en) * 2007-06-01 2008-12-04 Jerry Moscovitch System and Method for Recording a Person in a Region of Interest
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US20100315524A1 (en) * 2007-09-04 2010-12-16 Sony Corporation Integrated motion capture
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
CN101833791B (zh) * 2010-05-11 2012-04-18 成都索贝数码科技股份有限公司 一种单摄像机下的场景建模方法及系统
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
AU2013260160B2 (en) * 2012-05-07 2017-10-26 DermSpectra LLC System and apparatus for automated total body imaging
US20140046923A1 (en) * 2012-08-10 2014-02-13 Microsoft Corporation Generating queries based upon data points in a spreadsheet application
CN104469130A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于影像技术的动作捕捉、解析方法
US9600999B2 (en) 2014-05-21 2017-03-21 Universal City Studios Llc Amusement park element tracking system
JP6942300B2 (ja) * 2015-01-30 2021-09-29 株式会社電通 コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム
WO2016154554A1 (en) 2015-03-26 2016-09-29 Biomet Manufacturing, Llc Method and system for planning and performing arthroplasty procedures using motion-capture data
US10327624B2 (en) * 2016-03-11 2019-06-25 Sony Corporation System and method for image processing to generate three-dimensional (3D) view of an anatomical portion
JP6434947B2 (ja) * 2016-09-30 2018-12-05 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法、及びプログラム
CN106773815A (zh) * 2016-11-30 2017-05-31 广州微至科技有限公司 数字智能控制方法、装置和中控系统
JP2020136776A (ja) * 2019-02-14 2020-08-31 キヤノン株式会社 画像生成システムおよび画像生成方法、制御装置および制御方法
CN110108205B (zh) * 2019-05-13 2020-11-24 中国农业科学院农产品加工研究所 体积快速测定的装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
CN1477602A (zh) * 2002-08-21 2004-02-25 厦门影迪软件有限公司 一种动画制作方法及装置
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296194A (ja) * 1994-04-22 1995-11-10 Canon Inc 画像処理方法およびその装置
US6020892A (en) 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5802220A (en) 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US6121953A (en) * 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6215498B1 (en) * 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
JP2001084375A (ja) 1999-09-13 2001-03-30 Atr Media Integration & Communications Res Lab 動作検証システムおよび非接触マニピュレーションシステム
KR100361462B1 (ko) * 1999-11-11 2002-11-21 황병익 모션 캡쳐 데이터 획득 방법
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
JP2002008040A (ja) * 2000-06-16 2002-01-11 Matsushita Electric Ind Co Ltd 三次元情報検出装置及び三次元情報検出方法
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US6707444B1 (en) 2000-08-18 2004-03-16 International Business Machines Corporation Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7012637B1 (en) 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
US6831603B2 (en) * 2002-03-12 2004-12-14 Menache, Llc Motion tracking system and method
US7012634B2 (en) 2002-03-28 2006-03-14 Eastman Kodak Company System and method for calibrating an image capture device
KR100606996B1 (ko) * 2002-04-30 2006-09-07 (주)싸이런 골프 스윙모션 분석방법 및 그 시스템
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7218320B2 (en) * 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
CN1477602A (zh) * 2002-08-21 2004-02-25 厦门影迪软件有限公司 一种动画制作方法及装置
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置

Also Published As

Publication number Publication date
EP1825438B1 (en) 2020-04-15
JP2008522324A (ja) 2008-06-26
AU2005311889A1 (en) 2006-06-08
US20050083333A1 (en) 2005-04-21
JP4901752B2 (ja) 2012-03-21
WO2006060508A2 (en) 2006-06-08
CN101379530A (zh) 2009-03-04
EP1825438A4 (en) 2017-06-21
KR100938021B1 (ko) 2010-01-21
KR20070094757A (ko) 2007-09-21
WO2006060508A3 (en) 2008-10-02
US7573480B2 (en) 2009-08-11
NZ555867A (en) 2009-11-27
AU2005311889B2 (en) 2009-11-12
EP1825438A2 (en) 2007-08-29

Similar Documents

Publication Publication Date Title
CN101379530B (zh) 用来捕捉面部和身体动作的系统和方法
US7218320B2 (en) System and method for capturing facial and body motion
US7358972B2 (en) System and method for capturing facial and body motion
US7812842B2 (en) Mobile motion capture cameras
CN101253538B (zh) 移动式动作捕捉相机
US8106911B2 (en) Mobile motion capture cameras
CN101496031B (zh) 使用主要和次要标志的运动捕捉
US8194093B2 (en) Apparatus and method for capturing the expression of a performer
US6769771B2 (en) Method and apparatus for producing dynamic imagery in a visual medium
US11048925B1 (en) Active marker device for performance capture
CN109241841A (zh) 视频人体动作的获取方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20211130