CN101573733B - 捕捉运动图片中的表面 - Google Patents

捕捉运动图片中的表面 Download PDF

Info

Publication number
CN101573733B
CN101573733B CN200780049051.1A CN200780049051A CN101573733B CN 101573733 B CN101573733 B CN 101573733B CN 200780049051 A CN200780049051 A CN 200780049051A CN 101573733 B CN101573733 B CN 101573733B
Authority
CN
China
Prior art keywords
sequence
mesh object
picture frame
pattern
performer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780049051.1A
Other languages
English (en)
Other versions
CN101573733A (zh
Inventor
德曼·乔丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN101573733A publication Critical patent/CN101573733A/zh
Application granted granted Critical
Publication of CN101573733B publication Critical patent/CN101573733B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

捕捉运动图片中的表面包括：利用由标记材料形成的图案来覆盖一表面；获取图像帧的序列，该序列的每个图像帧包括覆盖所述表面的所述图案的多个图像；对于每个图像帧，从所述多个图像中得出网格对象；在所述帧的序列中的每个帧中跟踪所述网格对象；以及利用被跟踪的网格对象来生成模拟所述表面的特性的动画数据。

Description

捕捉运动图片中的表面
相交申请的交叉引用
本申请根据35U.S.C.§119要求2006年11月1日提交的题为“Capturing Surface in Motion Picture”的共同未决的美国临时专利申请No.60/856,199的优先权，特此通过引用并入该申请的公开内容。
本申请还通过引用并入下述共同转让的专利或申请的公开内容：2003年5月23日提交的题为“System and Method for Animating a Digital FacialModel”的美国专利7,068,277；2003年5月1日提交的题为“System andMethod for Capturing Facial and Body Motion”的美国专利申请10/427,114；2006年8月25日提交的题为“Labeling Used in MotionCapture”的美国专利申请11/467,503；以及2007年7月27日提交的题为“FACS Cleaning in Motion Capture”的美国专利申请11/829,711。
技术领域
本发明一般地涉及运动捕捉，更具体而言涉及利用运动标记数据(motion marker data)来捕捉表面。
背景技术
运动捕捉系统被用于捕捉真实对象的运动，并将其映射到计算机生成的对象上，以作为使之动画化的方式。这些系统常在运动图片和视频游戏的制作中被用于创建对象或人的数字表示，该数字表示被用作源数据，以创建计算机图形(“CG”)动画。在典型的系统中，演员穿着一套服装，该套服装上的各个位置处附着了标记(例如，小的反射性标记被附着到身体和四肢)。然后，在标记被照亮的同时，适当布置的数字相机从不同角度记录在捕捉空间中演员的身体运动。系统随后分析图像以确定在每一帧中演员服装上的标记的位置(例如，空间坐标)和方向。通过跟踪标记的位置，系统创建在一段时间中标记的空间表示，并且构建运动中的演员的数字表示。该运动随后被应用到虚拟空间中的数字模型，该数字模型可被赋予纹理和颜色，以产生演员和/或表演的完整CG表示。该技术已被特技效果公司用来在许多流行的电影中产生逼真的动画。
然而，在运动捕捉系统中存在局限性。具体而言，从运动捕捉会话得出的数据通常捕捉刚性对象(例如，演员身体的肢端)的运动。例如，布置在演员的前臂上的标记被用于形成描述作为刚性对象的连接到手部和上臂的前臂的运动的数据。因此，一旦该数据被处理，该运动就类似于棒状物或杆状物的运动。因此，这些数据有时被称为演员的“骨架”。但是，缺少的是描述前臂的形状的数据，例如从肘部到腕部逐渐变细，以及沿着前臂的不同位置处的横截面轮廓。
发明内容
这里公开的某些实现方式提供了用于在运动图片中捕捉表面的方法、系统和计算机程序。
在一个方面中，这里公开的一种方法提供了运动图片中的表面的捕捉。该方法包括：利用由标记材料形成的图案来覆盖一表面；获取图像帧的序列，该序列的每个图像帧包括覆盖所述表面的所述图案的多个图像；对于每个图像帧，从所述多个图像中得出网格对象；在所述帧的序列中的每个帧中跟踪所述网格对象；以及利用被跟踪的网格对象来生成模拟所述表面的特性的动画数据。
在一种实现方式中，所述标记材料符合所述表面。在另一种实现方式中，所述网格对象模拟所述表面。在另一种实现方式中，所述动画数据包括采取下述各形式中的至少一种形式的被标注的标记数据：骨架数据、FACS动画曲线、以及形状动画。
在另一个方面中，一种方法包括：获得演员的头部的3-D模型；将所述3-D模型展开成2-D纹理；利用已知图案来替换所述2-D纹理中表示的所述演员的脸部特征的细节；将带有所述已知图案的所述2-D纹理印刷到柔性材料上；将所述柔性材料施加到所述演员的脸部；获取图像帧的序列，该序列的每个图像帧包括覆盖所述演员的脸部的所述已知图案的多个图像；以及利用所述图像帧得出表示所述演员的脸部的网格对象。
在另一个方面中，公开了一种用于在运动图片中捕捉表面的系统。该系统包括：图像获取模块，被配置为生成图像帧的序列，每个图像帧包括部署在一表面上的图案的多个同步的图像；以及表面捕捉模块，被配置为接收所述图像帧的序列，并且基于部署在所述表面上的所述图案来生成动画数据。
在查阅以下详细描述和附图之后，本领域的普通技术人员将更容易清楚本发明的其他特征和优点。
附图说明
本发明的结构和操作细节一部分可通过研究附图来掌握，附图中：
图1是根据一种实现方式的运动捕捉系统的框图；
图2是描述根据一种实现方式捕捉表面的方法的流程图；
图3是根据一种实现方式的表面捕捉系统的功能框图；
图4是根据一种实现方式的表面捕捉模块的功能框图；
图5A是示出了用户和计算机系统的图；
图5B是容宿着表面捕捉系统的示例性计算机系统的功能框图；并且
图6是描述使用柔性标记材料的方法的流程图。
具体实施方式
传统上，离散的标记被附着到演员或对象上，并且多个运动捕捉相机记录这些标记的运动。基于所记录的标记的运动，得出演员或对象的标记的模型并且将其用于创建运动的图形表示。
根据本发明的一种实现方式，施加已知图案的标记材料，其基本上覆盖演员和/或对象的整个表面。通过记录并数字化图案的图像，来捕捉运动以及演员和/或对象的或者与演员和/或对象有关的形状、纹理和照明效果。这样施加的已知和未知的图案例如是利用包括下述材料在内的材料来生成的：量子纳米点(quantum nano dot)、黑暗中发光的材料(即，荧光材料)、以及几乎任何可见的材料、红外或紫外墨水、涂料或者能够以充分已知或随机的图案来施加的材料。
在一种实现方式中，捕捉演员的脸部、身体、手部和其他肢端的形状、纹理、光亮和运动。在另一种实现方式中，捕捉在捕捉空间中的布景和道具的形状、纹理、光亮和运动。在另一种实现方式中，一种补充的明暗标记方法提供了对明亮帧和黑暗帧中的纹理的捕捉。或者，可以有一种明亮标记(例如，反射性标记或主动光)，其作为离散标记或者可见图案结合已知或随机图案的黑暗中发光的标记材料被施加。
从而，通过向演员和/或对象施加已知和/或随机的图案并随后利用相机来记录其运动，不仅可以捕捉运动，还可以捕捉几何特征(例如，形状、纹理或照明，等等)。对于所记录的图像的每个帧，所捕捉的图案被重建为一个网格对象。
自动特征跟踪器可被应用到针对帧序列得出的网格对象。在一种实现方式中，特征跟踪器使用表面形态识别、纹理跟踪、动态骨架和脸部动作编码系统(“FACS”)清洁的组合来生成连续的并且一贯标注的点数据。另外，点数据可被解析成骨架数据、FACS动画曲线或者形状动画，作为来自被捕捉场景中的所有对象的最终输出。
骨架数据使人物和对象动画化，使得人物和对象以与原物(包括演员)相同的方式运动。一旦“人物-对象”被动画化，“人物-对象”和“演员-对象”之间的形状差异就被确定。骨架数据中缺失、但存在于每个帧对象的网格中的细节被提取并应用到人物模型。
网格对象数据也可用于提取变形信息，作为在后处理期间仿真(例如对衣服、头发或皮肤抖动的仿真)的指导方针，并且可用于确保骨架数据严密匹配每个帧对象的网格。骨架数据可能难以量化，因为只有标记的运动被记录，从而原始对象的特性在传统的运动捕捉中丢失了。
人物纹理和照明可被与在捕捉时针对“演员-对象”记录的纹理中嵌入的照明相比较。通过使用与用于利用探照灯近似照明的方法类似的方法，有趣的阴影或照明特性被提取并复制在人物纹理和照明中。
在另一种实现方式中，一种方法包括获得演员头部的3-D模型，将3-D模型展开为2-D纹理，利用已知图案来替换2-D纹理中表示的演员面部特征的细节，将具有已知图案的2-D纹理印刷到柔性材料上，将柔性材料施加到演员脸部，获取图像帧的序列(该序列的每个图像帧包括覆盖演员脸部的已知图案的多个图像)，并且利用图像帧来得出表示演员脸部的网格对象。
图1是根据一种实现方式的运动捕捉系统100的功能框图。运动捕捉系统100包括运动捕捉处理器110、运动捕捉相机120、122、124、用户工作站130、以及按预定图案基本上覆盖有标记材料160的演员身体140和脸部150。虽然图1仅仅示出了10个标记，但在身体140和脸部150上可以使用多得多的标记。运动捕捉处理器110有线地或者无线地连接到工作站130。运动捕捉处理器110通常被配置为从工作站130接收控制数据分组。
三个运动捕捉相机120、122、124连接到运动捕捉处理器110，但根据各种与用户和动画有关的需求和要求，一般需要多于三个运动捕捉相机。运动捕捉相机120、122、124对焦在被施加了标记材料160的演员身体140和脸部150上。标记材料的布置被配置为捕捉感兴趣的运动，例如包括演员的身体140、脸部150、手部170、臂部172、腿部174和足部176的运动。
运动捕捉相机120、122、124被运动捕捉处理器110控制来逐帧地捕捉标记的二维(“2-D”)图像。图像在图像帧中被捕捉，其中每个图像帧表示图像帧的时间序列中的一帧。每一个图像帧包括多个2-D图像，每个2-D图像分别是由一个运动捕捉相机120、122或124生成的。这样捕捉的2-D图像通常可被存储在用户工作站130处或在用户工作站130处被实时观看，或者既被存储在用户工作站130处又在用户工作站130处被实时观看。
运动捕捉处理器110集成2-D图像(即，执行2-D图像的“重建”)，以生成三维(“3-D”)标记数据的体积性帧(volumetricframe)序列。体积性帧的这个序列通常被称为一“拍”(beat)，这也可被认为是一次“拍摄”(shot)或一个“场景”(scene)。传统上，标记是离散的对象或视觉点。重建的标记数据包括多个离散的标记数据点，其中每个标记数据点表示耦合到目标(例如演员140)的标记的空间(即，3-D)位置。每个体积性帧包括表示目标的空间模型的多个标记数据点。运动捕捉处理器110取回体积性帧序列，并且执行跟踪功能，以将每个帧的标记数据点与该序列中每个先前和随后的帧的标记数据点映射起来。
例如，第一体积性帧中的每一个标记数据点对应于布置在演员身体140上的单个标记。为第一体积性帧的每个这种标记数据点指派一个独特的标签。标记数据点随后与第二体积性帧中的相应标记数据点关联起来，并且第一体积性帧的标记数据点的独特标签被指派给第二体积性帧的相应标记数据点。当对于该体积性帧序列完成标注(即，跟踪)过程时，这样就可以通过该序列追踪第一体积性帧的标记数据点，从而得出了每个标记数据点各自的轨迹。
离散标记通常被用于捕捉刚性对象或者对象或身体的片段的运动。例如，如上所述，附着在肘部和腕部的刚性标记限定了前臂的端部的位置。当前臂移动时，肘部和腕部标记的运动如上所述在体积性帧的序列中被跟踪和解析。前臂的运动从而被建模为一个刚性体(例如，杆状物)，其中仅仅末端由肘部和腕部标记限定。然而，虽然可以通过分析肘部和腕部标记的空间位置的变化来很容易地解析前臂的这种平移运动，但是却难以检测前臂的常见扭曲运动，因为扭曲可以在并不怎么移动腕部或肘部的情况下执行。
在一种实现方式中，不是使用离散标记，而是使用符合并覆盖其所施加到的表面的标记材料。标记材料还与离散标记类似地具有易于跟踪的图案，如上所述。因为图案覆盖表面，所以表面的基本上全部或者任何部分都可以被跟踪，而不只是离散点被跟踪。在一种实现方式中，被这样标记和跟踪的表面在每个体积性帧中被重建为一个网格对象，其中图案的可跟踪方面由顶点来表示。每个体积性帧从而包括顶点的系统，该顶点的系统包括被施加了标记材料的表面的模型。在体积性帧的序列中跟踪该网格对象，从而得出表示表面的例如各种空间平移、旋转和扭曲的虚拟动画。
在一种实现方式中，标记材料被施加到对象(例如在表演期间使用的布景或道具)的一个或多个表面上。以与上述相同的方式，在体积性帧的序列中重建网格对象并且跟踪网格对象的顶点。
图2是描述根据一种实现方式的捕捉表面的方法200的流程图。方法200包括在块210利用带图案的标记材料来覆盖目标对象的表面。通常，标记材料符合其所施加到的表面。这使得相应的网格对象可以准确地表示要形成的表面的各个方面。
可以使用各种用于将标记材料施加到表面上的技术。一般来说，标记材料符合表面。
在一种实现方式中，标记材料处于液体形式，例如涂料或墨水，并且按动画家或艺术家选择的图案被施加到表面上。在一个示例中，标记材料作为点的系统被施加到演员的身体和脸部，其中，点被布置成独特地标识身体或脸部的特定部分的图案。随后的网格对象处理被大大简化了，因为独特的图案在重建和标记跟踪期间很容易被解释。在另一个示例中，标记材料被施加到演员身体上的唯一标识各个身体区域(即，右膝、左膝等等)的模塑形状的标记上，以简化处理。另外，液体形式的标记材料当然适合于覆盖表面以便识别其物理方面，例如其形状和其在表演期间经历的各种扭弯。
参考以上示例，演员的前臂基本上被覆盖了液体形式的标记材料，这些标记材料是按一个或多个图案来施加的。表示图案的网格对象随后在虚拟空间中被重建，从而不仅捕捉演员前臂的形状，还捕捉在演员表演期间进行的扭曲运动。
在另一种实现方式中，标记材料包括粘附到表面的织物或柔性带。标记材料的条带被塑造并且随后被施加到表面上的所关注区域。标记材料被直接施加到表面上以创建期望的图案。或者，标记材料被塑造成被施加到表面上的形状(包括独特的和/或随机的形状)。在另一种实现方式中，基于织物的标记材料被形成为外衣，其上缝有、涂有或染有期望的图案。例如，配置有不同图案的、非常合身的、符合形状的袖子被演员穿在前臂上。由于每场表演中在前臂上的相同位置处使用相同的图案本身所固有的高度一贯性，集成从不同日子的多场演出期间延续的演员表演获取的运动捕捉数据得以简化并且变得高效。另外，因为非常合身的外衣严密符合演员前臂的形状，所以这种外衣上的图案生成了前臂的准确的网格表示。
被配置成标记材料或者由标记材料形成的图案必须能够与图像帧的背景相辨别。
在一种实现方式中，标记材料包括量子纳米点，这是一种具有下述属性的物质：其以比照射的激发光的波长更高的波长发出光。也就是说，第一波长的激发光被用于照射量子纳米点标记材料，该标记材料作为响应经历量子迁移，并且发出第二波长的光，该第二波长高于第一波长。照射的激发光被从所获取的图像中过滤掉，只剩下发出的光，从而只剩下利用量子纳米点形成的图案的图像。
在另一种实现方式中，标记材料包括反射性材料。明亮的光在表演期间照射该材料，从而强化了在所获取的图像中图案的可视存在，并且帮助了重建和跟踪。
在另一种实现方式中，标记材料包括荧光性的黑暗中发光对象，也称为“暗标记”。在使用暗标记的情况下获取的图像是在暗化的环境中获取的，在该环境中只有发光材料可见。其他暗标记材料包括在红外(“IR”)照射下使用的IR标记材料，以及在紫外(“UV”)照射下使用的UV标记材料。
在另一种实现方式中，例如，在交替的亮和暗照明条件下，例如在亮闪光灯(bright strobe light)下，由反射性标记材料形成的可见图案(“亮标记”)与暗标记材料被一起使用。
被施加到标记材料的图案根据例如图像获取、动画家/艺术家偏好和/或动画产品的要求而变化。在一种实现方式中，图案是预定的。独特的图案如上所述被创建并施加到目标表面，通常用于在标记跟踪期间映射区域。在另一种实现方式中，图案基本上是随机图案。类似于独特的预定图案，随机图案由于其在其被施加到的表面上的各个位置之间的固有独特性而在跟踪期间是有益的。
参考图2，在块220，获取捕捉标记材料的图案的图像的帧的序列。如上所述，在捕捉空间四周精确布置的多个运动捕捉相机120、122、124在表演期间同步捕捉图案的图像。多个相机的图像捕捉的每次同步迭代产生被称为图像帧的多个图像。图像帧的序列通常持续一拍或一次表演的持续时间。
然后，在块230，对于每个图像帧，从为该图像帧同步获取的多个图像中得出至少一个网格对象。由于单次表演中可能涉及多个对象或演员，所以多个网格对象被生成来表示它们。所得到的网格对象由与多个图像帧相对应的体积性帧内限定的顶点来表示。
在一种实现方式中，标记材料所结合的图案包括多个精细散布的标记。标记的位置在帧的每个图像中被确定，并且结合关于捕捉空间四周的运动捕捉相机的空间布置的信息，标记被解析成捕捉空间中的空间位置。每个解析出的空间位置可被认为是一个标记数据点，或者更具体而言，被认为是表示被施加了图案的表面的模型的网格对象的一个顶点。这样，网格对象基本上捕捉了表面的形状。在一种实现方式中，网格对象还捕捉表面的纹理。在另一种实现方式中，网格对象还捕捉在图像帧被捕捉时表面上的照明效果。例如，由缠绕在演员前臂上的反射性标记材料形成的图案依据光线在前臂表面上的入射角而将进行照射的点光源的光反射到不同角度。从而，照射光的反射水平提供了光亮和阴影信息，以便根据动画的要求来加以利用。
然后，在块240，在体积性帧的序列中跟踪与每个体积性帧相对应的网格对象。在一种实现方式中，第一体积性帧的网格对象的每个顶点与序列的另一个体积性帧的网格对象的相应顶点相关联。该过程被重复，直到能够在体积性帧的序列中追踪每个顶点为止。
然后，在块250，生成表示图案的运动模型并从而也表示被施加了图案的表面的运动模型的动画数据。除了表演期间表面的平移和扭弯运动之外，动画模型还包括表面的至少一个特性，其中包括形状、纹理和照明效果。动画数据被应用到人物模型，该人物模型通常是与被施加了图案的表面有关的数字模型。例如，从施加到演员前臂的图案得出的动画数据被用于对被动画化的人物或者动画中的几乎任何其他对象的相应前臂进行动画化。对于从演员脸部的运动得出的动画数据，例如，该动画数据包括FACS动画曲线，这些曲线被用于触发数字脸部模型上与演员的脸部肌群相对应的虚拟肌群。在一种实现方式中，动画数据包括骨架数据，用于得出被动画化的身体或身体肢端的运动。在另一种实现方式中，动画数据包括诸如用于对形状进行动画化的体积性帧的序列的网格对象顶点之类的数据(即，形状动画数据)。
图3是根据一种实现方式的表面捕捉系统300的功能框图。表面捕捉系统300包括图像获取模块310和表面捕捉模块320。
图像获取模块310包括图1所示的运动捕捉相机120、122、124、运动捕捉处理器110以及用户工作站130。图像获取模块310生成图像帧，每个图像帧例如包括多个运动捕捉相机120、122、124在一拍期间同时获取的被施加到演员140的标记材料的至少一个图案的多个2-D图像。在图像获取模块310处生成的图像帧通常包括在一拍期间记录的图像帧的序列。图像帧在表面捕捉模块320处被接收，表面捕捉模块320生成从图像帧得出的动画数据。
图4是根据一种实现方式的表面捕捉模块320的功能框图。如图4所示，表面捕捉模块320包括网格得出模块410和跟踪模块420。跟踪模块420进一步包括顶点跟踪子单元430、表面形态子单元440、纹理跟踪子单元450、动态骨架子单元460、以及FACS清洁子单元470。
网格得出模块410接收图像帧并且生成在与图像帧相对应的体积性帧中限定的网格对象。通常，对于每个图像帧，从针对该图像帧同步获取的多个图像中得出至少一个网格对象。所得到的网格对象由与该图像帧相对应的体积性帧内限定的顶点来表示。
标记材料所结合的图案可包括多个精细散布的标记。标记在图像帧的每个图像中被定位，并且结合关于捕捉空间四周的运动捕捉相机的空间布置的信息，标记被解析成捕捉空间中的空间位置。每个解析出的空间位置表示一个标记数据点，或者更具体而言，表示网格对象的一个顶点，该网格对象表示被施加了图案的表面的相应帧的模型。网格对象基本上捕捉了表面的形状。在一种实现方式中，在表面被充分赋予纹理的情况下，网格对象还捕捉表面的纹理。在另一种实现方式中，网格对象捕捉在图像帧被捕捉时表面上的照明效果。例如，由缠绕在演员前臂上的反射性标记材料形成的图案依据光线在前臂表面上的入射角而将进行照射的点光源的光反射到不同角度。从而，照射光的反射水平提供了光亮和阴影信息，以便根据动画的要求来加以利用。
与每个体积性帧相对应的网格对象在跟踪模块420处被接收并且在体积性帧的序列中被跟踪。在一种实现方式中，第一体积性帧的网格对象的每个顶点被顶点跟踪子单元430与该序列的另一帧的网格对象的相应顶点关联起来。在序列的体积性帧之间重复这种关联，直到可以在整个序列中追踪每个顶点为止。
表面形态子单元440可以应用表面形态识别功能来在体积性帧的序列中追踪网格对象的一个或多个表面形态特性。对表面形态特性的追踪提高了顶点跟踪子单元430的跟踪准确度，并且在一种实现方式中，被用作唯一的网格对象跟踪技术。
纹理跟踪子单元450可以应用纹理识别功能来在体积性帧的序列中追踪网格对象中表示的一个或多个纹理特性。对纹理特性的追踪提高了顶点跟踪子单元430的跟踪准确度，并且在一种实现方式中被用作唯一的网格对象跟踪技术。
动态骨架子单元460可以向身体的骨架元素的运动应用各种约束(即，“规则”)。从在图像帧中捕捉的标记材料的图案得出骨架数据。例如，演员的前臂被建模为类似于连接肘部和腕部的杆状物或棒状物的骨架元素。如上所述，此方法在捕捉前臂的平移运动时是有效的，但对于捕捉扭弯运动(例如前臂的扭曲)是不够的。但是，通过根据针对前臂定义的约束骨架元素的运动的规则，约束帧与帧之间顶点的关系，提高了网格对象跟踪的准确度。如果按照动态骨架子单元460所确定的，两个帧之间的一个或多个候选顶点标签指派描述了前臂的一种不自然的、不太可能的或者不会发生的运动，则这些顶点指派的得分较低，同时其他与根据约束规则“可接受”的骨架元素运动相符的顶点指派则得分较高。应用动态骨架分析从而提高了顶点跟踪子单元430的跟踪准确度。
一般而言，FACS提供了一种标准的分类法，用于对人类脸部表情进行系统的分类，但是应当明白，该方案也适用于例如身体运动。表示各种脸部表情的脸部运动数据被利用与图1所示系统类似的运动捕捉系统来捕捉，并且根据FACS被分类。
在一种实现方式中，“FACS矩阵”形成了关键脸部表情的初始调查的基础。演员在脸部被装上利用标记材料实现的图案，并且被指示执行一定范围的表情。关键脸部表情通常在较小的捕捉空间中在理想条件下被捕捉，其中照明被严密地控制并且演员的无关运动被仔细地限制。通常，演员静止地坐着或者站立，以将身体运动与脸部运动隔离开来。
FACS矩阵中维护的关键脸部表情随后在后处理期间像“脸部基本向量”那样被使用。在演员表演期间生成的进入脸部表情被分析以确定关键脸部表情的加权组合。在一种实现方式中，在后处理期间通过利用加权组合结合在第一遍中没有很好描述的额外脸部表情来增强FACS矩阵。这些脸部表情被添加作为新的关键脸部表情，从而通过增大其理解的脸部表情(即，脸部基本向量)的范围来提高了FACS矩阵的鲁棒性。
脸部动作编码系统(“FACS”)清洁子单元470可以向表示演员脸部的网格对象应用约束规则。例如，分析脸部网格对象的顶点并且识别根据预定规则“不允许”的运动。也就是说，根据由FACS矩阵中维护的关键脸部表情所限定的约束来分析帧与帧之间顶点的空间位移(即，运动)。在一种实现方式中，只有可允许的脸部网格对象顶点运动才被返回，从而提供了去除脸部网格对象顶点中的噪声伪影(例如，界外的网格对象顶点)的过滤效果。清洁还包括确定在脸部网格对象顶点在演员表演期间被遮蔽的情况下(例如，脸上的标记材料的图案的视野被道具所遮挡的情况下)其应当占据的空间位置。FACS清洁随后利用符合FACS矩阵中维护的关键脸部表情的顶点来填充由此产生的脸部网格对象顶点轨迹中的缝隙。从而，生成了无缝隙的、准确标注的并且无噪声的网格对象顶点。
跟踪模块420生成表示图案的运动模型并且从而也表示被施加了图案的表面的运动模型的动画数据。除了表演期间表面的平移和扭弯运动之外，运动模型还包括表面的至少一个特性，其中包括形状、纹理和照明效果。动画数据被应用到人物模型，该人物模型通常是被施加了图案的表面的数字模型。例如，从施加到演员前臂172的图案得出的动画数据被用于对被动画化的人物或对象的相应臂部(或者可能某个其他肢体)进行动画化。在从演员脸部150的运动得出动画数据的情况下，动画数据被用于触发数字脸部模型上与演员脸部150的脸部肌群相对应的虚拟肌群。
图5A示出了计算机系统500和用户502的表示。用户502使用计算机系统500来执行表面捕捉。计算机系统500存储并执行表面捕捉系统590，该表面捕捉系统590处理图像帧数据。
图5B是示出容宿着表面捕捉系统590的计算机系统500的功能框图。控制器510是可编程处理器，并且控制计算机系统500及其组件的操作。控制器510从存储器520或嵌入式控制器存储器(未示出)中加载指令(例如，以计算机程序的形式)并且执行这些指令以控制系统。在其执行中，控制器510以软件系统的形式提供表面捕捉系统590。或者，该服务可以实现为控制器510或计算机系统500中的单独的组件。
存储器520临时存储数据，以供计算机系统500的其他组件使用。在一种实现方式中，存储器520被实现为RAM。在一种实现方式中，存储器520还包括长期或永久性存储器，例如闪存和/或ROM。
存储装置530临时或长期存储数据，以供计算机系统500的其他组件使用，例如用于存储供表面捕捉系统590使用的数据。在一种实现方式中，存储装置530是硬盘驱动器。
介质设备540接收可移除介质并且对插入的介质进行数据的读和/或写。在一种实现方式中，例如，介质设备540是光盘驱动器。
用户接口550包括用于接受来自计算机系统500的用户的用户输入以及向用户呈现信息的组件。在一种实现方式中，用户接口550包括键盘、鼠标、音频扬声器和显示器。控制器510使用来自用户的输入来调节计算机系统500的操作。
I/O接口560包括一个或多个I/O端口，用于连接到相应的I/O设备，例如外部存储装置或补充设备(例如，打印机或PDA)。在一种实现方式中，I/O接口560的端口包括诸如以下端口：USB端口、PCMCIA端口、串行端口、和/或并行端口。在另一种实现方式中，I/O接口560包括无线接口，用于与外部设备进行无线通信。
网络接口570包括有线和/或无线网络连接，例如支持以太网连接的“Wi-Fi”接口(包括但不限于802.11)或RJ-45。
计算机系统500包括计算机系统中典型的其他硬件和软件(例如，电源、冷却装置、操作系统)，但为了简明这些组件在图5B中没有具体示出。在其他实现方式中，可以使用计算机系统的不同配置(例如，不同的总线或存储配置或多处理器配置)。
图6是描述形成并使用柔性标记材料600来生成动画数据的方法的流程图。在一种实现方式中，该方法利用其上印刷有已知和/或可识别的随机图案的临时纹身。首先，在610，获得演员头部的3-D模型。例如可以通过利用激光扫描生成纹理图来获得该模型。接下来，在620，例如通过展开由激光扫描生成的脸部纹理，来将这样获得的3-D模型展开成2-D形式。在630，利用至少一个已知图案来替换2-D形式(例如，纹理图)中的演员脸部特征的细节。在替换实现方式中，印刷的栅格被与已知图案包括在一起。该栅格充当主标记图案并且该已知图案充当次标记图像来帮助标注栅格顶点。也就是说，栅格有利地是均一的，以用于辅助目标表面的准确数字模型(即，网格对象)。但是，因为栅格的固有均一性，它也是难以跟踪的，因为很难分别识别栅格顶点。施加在栅格上的已知图案的标记可用作次参考，以帮助解析(主)顶格顶点。
然后，在640，带有已知图案的2-D纹理图被印刷到柔性材料上。在一种实现方式中，柔性材料包括临时纹身纸。一般来说，任何柔性的和/或透明的材料就足够了。在650，带有印刷的图案的柔性材料(例如，临时纹身纸)被施加到演员的脸部。在某个场景中表演的每个演员通常接收一个独特的图案。
在另一种实现方式中，如果在其上有临时纹身的情况下演员脸部的运动太受限，则脸部纹身可被划分成更小的部分，这些更小的部分作为分开的纹身来施加。
接下来，在660，根据以上联系图1描述的用于运动捕捉的方法和系统，获取图像帧的序列。一旦被捕捉，在670，图像数据就被用于重建表示配备有标记的演员或对象的一个或多个网格对象(即，3-D模型)。
在一种实现方式中，可以利用黑暗中发光的墨水来印刷临时纹身。使用装有快门的明和暗相机的运动捕捉方案随后可被用于记录纹身上的图案。在其他实现方式中，可以使用利用紫外或红外光或者回射性材料的标记。
已经描述了本发明的各种例示性实现方式。但是，本领域的普通技术人员将会认识到，另外的实现方式也是可能实现的，并且在本发明的范围之内。例如，虽然表面捕捉系统中的照明信息处理已被概括描述为与网格对象有关，但也可从网格对象中提取照明信息，因为网格对象包括在记录时记录的纹理。在一种实现方式中，纹理被逐帧地缠绕在每帧网格对象上。
还应当明白，将功能分组在一个模块或块内是为了描述起来容易。具体的功能可被从一个模块或块移动到另一个，而不脱离本发明。
因此，本发明不限于上述那些实施例。

Claims (19)

1.一种用于捕捉运动图片中的表面的方法，包括：
利用由标记材料形成的图案来覆盖一表面，其中所述标记材料包括暗标记材料和由反射性标记材料形成的亮标记材料两者，以提供所述表面的照明；
获取图像帧的序列，该序列的每个图像帧包括覆盖所述表面的所述图案的多个图像，其中所述图案被形成为随机图案以捕捉所述表面的运动和几何特征；
对于每个图像帧，从所述多个图像中得出网格对象，其中所述网格对象捕捉所述表面的形状、纹理和照明效果；
在所述帧的序列中的每个帧中跟踪所述网格对象的多个顶点；以及
利用被跟踪的网格对象的多个顶点来生成模拟所述表面的特性的动画数据，所述动画数据包括所述表面的纹理和照明。
2.如权利要求1所述的方法，其中，所述标记材料符合所述表面。
3.如权利要求1所述的方法，其中，所述网格对象模拟所述表面。
4.如权利要求1所述的方法，其中，所述网格对象由所述多个顶点限定。
5.如权利要求1所述的方法，其中，所述动画数据包括
采取下述各形式中的至少一种形式的被标注的标记数据：骨架数据、FACS动画曲线、以及形状动画。
6.如权利要求1所述的方法，其中，所述表面包括人的表面。
7.如权利要求1所述的方法，其中，所述标记材料包括量子纳米点材料或者荧光材料。
8.如权利要求1所述的方法，其中，所述标记材料包括红外或紫外墨水或涂料。
9.一种用于捕捉运动图片中的表面的系统，包括：
图像获取模块，被配置为生成图像帧的序列，每个图像帧包括部署在一表面上的图案的多个同步的图像，其中所述图案由标记材料形成，其中所述标记材料包括暗标记材料和由反射性标记材料形成的亮标记材料两者，以提供所述表面的照明，并且所述图案被形成为随机图案以捕捉所述表面的运动和几何特征；以及
表面捕捉模块，被配置为接收所述图像帧的序列，并且基于部署在所述表面上的所述图案来生成动画数据，所述动画数据包括所述表面的纹理和照明，其中所述表面捕捉模块包括：
网格得出模块，被配置为接收所述图像帧的序列并且生成至少一个网格对象序列，其中所述网格对象捕捉所述表面的形状、纹理和照明效果；以及
跟踪模块，被配置为接收并跟踪所述至少一个网格对象序列的多个顶点并且根据跟踪信息生成动画数据。
10.如权利要求9所述的系统，其中，所述至少一个网格对象序列包括
针对所述图像帧的序列的每个图像帧生成的网格对象。
11.如权利要求10所述的系统，其中，针对每个图像帧生成的所述网格对象是由所述多个顶点限定的。
12.如权利要求11所述的系统，其中，所述跟踪模块包括
脸部动作编码系统FACS清洁子单元，被配置为根据预定的约束来分析所述多个顶点中的至少一个顶点的空间位移。
13.如权利要求10所述的系统，其中，所述跟踪模块包括
表面形态子单元，被配置为通过识别一个网格对象的至少一个表面形态特征并且在所述至少一个网格对象序列中跟踪该表面形态特征来生成所述跟踪信息。
14.如权利要求10所述的系统，其中，所述跟踪模块包括
纹理跟踪子单元，被配置为通过在所述至少一个网格对象序列中跟踪一个网格对象的纹理特征来生成所述跟踪信息。
15.如权利要求9所述的系统，其中，所述跟踪模块包括
动态骨架子单元，被配置为基于骨架模型信息来生成跟踪规则。
16.一种用于捕捉运动图片中的表面的方法，包括：
获得演员的头部的3-D模型；
将所述3-D模型展开成2-D纹理；
利用随机图案来替换所述2-D纹理中表示的所述演员的脸部特征的细节以捕捉所述脸部特征的运动和几何特征；
将带有所述随机图案的所述2-D纹理印刷到柔性标记材料上，其中所述柔性标记材料包括暗标记材料和由反射性标记材料形成的亮标记材料两者，以提供所述表面的照明；
将所述柔性标记材料施加到所述演员的脸部；
获取图像帧的序列，该序列的每个图像帧包括覆盖所述演员的脸部的所述随机图案的多个图像；
从所述图像帧的序列得出表示所述演员的脸部的网格对象，其中所述网格对象捕捉所述演员的脸部的形状、纹理和照明效果；以及
在所述图像帧的序列的每个帧中跟踪所述网格对象的多个顶点。
17.如权利要求16所述的方法，其中，所述柔性材料包括临时纹身纸。
18.如权利要求16所述的方法，其中，所述柔性材料包括透明材料。
19.如权利要求16所述的方法，其中，获得演员的头部的3-D模型的步骤包括对演员的头部执行激光扫描。
CN200780049051.1A 2006-11-01 2007-11-01 捕捉运动图片中的表面 Expired - Fee Related CN101573733B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US85619906P 2006-11-01 2006-11-01
US60/856,199 2006-11-01
US11/850,546 US8330823B2 (en) 2006-11-01 2007-09-05 Capturing surface in motion picture
US11/850,546 2007-09-05
PCT/US2007/083360 WO2008057953A2 (en) 2006-11-01 2007-11-01 Capturing surface in motion picture

Publications (2)

Publication Number Publication Date
CN101573733A CN101573733A (zh) 2009-11-04
CN101573733B true CN101573733B (zh) 2016-08-31

Family

ID=39329560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780049051.1A Expired - Fee Related CN101573733B (zh) 2006-11-01 2007-11-01 捕捉运动图片中的表面

Country Status (8)

Country Link
US (1) US8330823B2 (zh)
EP (1) EP2078287A4 (zh)
JP (1) JP5235891B2 (zh)
KR (2) KR101342257B1 (zh)
CN (1) CN101573733B (zh)
AU (1) AU2007317448B2 (zh)
CA (1) CA2668430C (zh)
WO (1) WO2008057953A2 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9685997B2 (en) 2007-08-20 2017-06-20 Rearden, Llc Systems and methods to enhance spatial diversity in distributed-input distributed-output wireless systems
US7605861B2 (en) * 2005-03-10 2009-10-20 Onlive, Inc. Apparatus and method for performing motion capture using shutter synchronization
GB2438783B8 (en) 2005-03-16 2011-12-28 Lucasfilm Entertainment Co Ltd Three-dimensional motion capture
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US8384714B2 (en) * 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
US8144155B2 (en) 2008-08-11 2012-03-27 Microsoft Corp. Example-based motion detail enrichment in real-time
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US8842933B2 (en) * 2009-11-10 2014-09-23 Sony Corporation Facial motion capture using marker patterns that accommodate facial surface
US8994790B2 (en) * 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8611670B2 (en) * 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
US20110208685A1 (en) * 2010-02-25 2011-08-25 Hariraam Varun Ganapathi Motion Capture Using Intelligent Part Identification
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
US20120036483A1 (en) * 2010-08-09 2012-02-09 Infineon Technologies Ag Device, method for displaying a change from a first picture to a second picture on a display, and computer program product
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
KR20120065834A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 멀티 카메라 기반의 디지털 액터 생성 장치 및 그 방법
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
TWI443587B (zh) * 2011-05-30 2014-07-01 Univ Nat Cheng Kung 三維雙模掃描裝置及三維雙模掃描系統
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
KR101908284B1 (ko) 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US10269165B1 (en) 2012-01-30 2019-04-23 Lucasfilm Entertainment Company Ltd. Facial animation models
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US9196084B2 (en) 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US10019825B2 (en) 2013-06-05 2018-07-10 Intel Corporation Karaoke avatar animation based on facial motion data
US9635895B1 (en) 2013-10-29 2017-05-02 Vf Imagewear, Inc. System and method for mapping wearer mobility for clothing design
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
CN105225262B (zh) * 2015-10-23 2018-09-21 深圳华侨城文化旅游科技股份有限公司 一种动态捕捉3d数据处理方法
WO2017116241A1 (en) * 2015-12-30 2017-07-06 Tds Polska Sp. Z O.O. The video-based system for the analysis of the sports' playground data for the purpose of statistical analysis, training and tactics development, especially in the basketball
US10452874B2 (en) 2016-03-04 2019-10-22 Disney Enterprises, Inc. System and method for identifying and tagging assets within an AV file
US10403037B1 (en) 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images
US9495764B1 (en) 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
US10380758B2 (en) * 2016-04-27 2019-08-13 Mad Street Den, Inc. Method for tracking subject head position from monocular-source image sequence
EP3582642A4 (en) 2017-02-20 2021-01-13 3M Innovative Properties Company OPTICAL ARTICLES AND INTERACTING SYSTEMS
US10186049B1 (en) 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
DE102017113615A1 (de) * 2017-06-20 2018-12-20 Carl Zeiss Smt Gmbh System, Verfahren und Marker zur Positionsbestimmung eines beweglichen Objektes im Raum
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
BR112020012480B1 (pt) 2017-12-28 2023-11-21 Colgate-Palmolive Company Método para estimativa de uma pose de um dispositivo de higiene oral e sistema de rastreamento de movimento
CN108401177B (zh) * 2018-02-27 2021-04-27 上海哔哩哔哩科技有限公司 视频播放方法、服务器及视频播放系统
US11077351B2 (en) 2018-05-02 2021-08-03 Rapsodo Pte. Ltd. Measurement and reconstruction of the golf launching scene in 3D
TWI684955B (zh) * 2018-05-25 2020-02-11 瑞昱半導體股份有限公司 前景影像的提取方法與電子裝置
CN109063536A (zh) * 2018-06-01 2018-12-21 浙江理工大学 一种反射式舞台人员身份识别方法
KR102215290B1 (ko) * 2018-08-27 2021-02-15 주식회사 쓰리디팩토리 컴퓨터 그래픽 합성 시스템 및 방법
TWI681755B (zh) * 2018-12-24 2020-01-11 山衛科技股份有限公司 脊椎側彎量測系統與方法
JP2021184215A (ja) * 2020-05-22 2021-12-02 国立大学法人 東京大学 皮膚情報を用いた運動特徴量の取得方法及び装置
US11989899B2 (en) 2021-02-09 2024-05-21 Everypoint, Inc. Determining object structure using physically mounted devices with only partial view of object
US11282291B1 (en) 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
US11741618B2 (en) 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device
CN113920164B (zh) * 2021-10-27 2024-05-24 浙江工商大学 一种剧场环境下基于近红外防伪油墨的演员身份重识别方法
KR102475243B1 (ko) * 2022-04-19 2022-12-09 키담 주식회사 영상의 배경 편집 기능을 가진 스포츠 교육 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235416A (en) * 1991-07-30 1993-08-10 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health & Human Services System and method for preforming simultaneous bilateral measurements on a subject in motion
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US5958560A (en) 1997-11-26 1999-09-28 Ewan; Frederick R. Temporary tatoo and method for manufacturing same
US6072496A (en) * 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US20050105772A1 (en) * 1998-08-10 2005-05-19 Nestor Voronka Optical body tracker
US6487516B1 (en) * 1998-10-29 2002-11-26 Netmor Ltd. System for three dimensional positioning and tracking with dynamic range extension
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
JP2000163596A (ja) * 1998-11-30 2000-06-16 Art Wing:Kk 動画処理装置
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6522332B1 (en) * 2000-07-26 2003-02-18 Kaydara, Inc. Generating action data for the animation of characters
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US20030016368A1 (en) * 2001-07-23 2003-01-23 Aman James A. Visibly transparent retroreflective materials
US6592465B2 (en) * 2001-08-02 2003-07-15 Acushnet Company Method and apparatus for monitoring objects in flight
JP2003057017A (ja) * 2001-08-10 2003-02-26 Kao Corp 三次元物体の測定装置
US7231063B2 (en) * 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7218320B2 (en) * 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model
JP2005258891A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄモーションキャプチャ方法および装置
US8194093B2 (en) * 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7777199B2 (en) * 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
US7324110B2 (en) * 2004-12-09 2008-01-29 Image Metrics Limited Method and system for cleaning motion capture data
US7605861B2 (en) 2005-03-10 2009-10-20 Onlive, Inc. Apparatus and method for performing motion capture using shutter synchronization
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置

Also Published As

Publication number Publication date
WO2008057953A2 (en) 2008-05-15
EP2078287A4 (en) 2017-06-21
US8330823B2 (en) 2012-12-11
CA2668430A1 (en) 2008-05-15
EP2078287A2 (en) 2009-07-15
AU2007317448A1 (en) 2008-05-15
JP5235891B2 (ja) 2013-07-10
KR20120135922A (ko) 2012-12-17
AU2007317448B2 (en) 2012-10-11
JP2010508609A (ja) 2010-03-18
CA2668430C (en) 2013-10-01
US20080100622A1 (en) 2008-05-01
KR20090081004A (ko) 2009-07-27
CN101573733A (zh) 2009-11-04
KR101342257B1 (ko) 2013-12-16
WO2008057953A3 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
CN101573733B (zh) 捕捉运动图片中的表面
Loper et al. MoSh: motion and shape capture from sparse markers.
US8471848B2 (en) System and method for tracking three dimensional objects
US7804998B2 (en) Markerless motion capture system
EP2078419B1 (en) Segment tracking in motion picture
Neumann et al. Capture and Statistical Modeling of Arm‐Muscle Deformations
Tsoli et al. Breathing life into shape: Capturing, modeling and animating 3D human breathing
US20070206832A1 (en) Motion capture using primary and secondary markers
CN102725038B (zh) 组合多传感输入以用于数字动画
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
CN101796545A (zh) 综合运动捕捉
Marques et al. Deep Light Source Estimation for Mixed Reality.
Ami-Williams et al. Digitizing traditional dances under extreme clothing: The case study of eyo
Qiu Generating human images and ground truth using computer graphics
Huang et al. A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection
AU2012203097B2 (en) Segment tracking in motion picture
Beeler et al. The Birth of a Digital Actor
Ding 3D Animation of a Human Body Reconstructed from a Single Photograph
Berendsen et al. Tracking and 3D body model fitting using multiple cameras
Saffold et al. Virtualizing Humans for Game Ready Avatars

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160831

Termination date: 20211101