CN101901497B - 运动捕捉角色的逆运动学 - Google Patents
运动捕捉角色的逆运动学 Download PDFInfo
- Publication number
- CN101901497B CN101901497B CN201010193446.2A CN201010193446A CN101901497B CN 101901497 B CN101901497 B CN 101901497B CN 201010193446 A CN201010193446 A CN 201010193446A CN 101901497 B CN101901497 B CN 101901497B
- Authority
- CN
- China
- Prior art keywords
- model
- displacement
- displacements
- user
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于计算机系统的方法,包括:从用户那里接收响应第一物理运动捕捉姿态确定的第一对象模型表面的位移,从该位移确定第一位移组和第二位移组的加权组合,其中第一位移组是从第一对象模型表面和第二对象模型表面之间的位移确定的,而第二对象模型表面是从第二物理运动捕捉姿态之间的位移确定的,第二位移组是从第一对象模型表面和第三对象模型表面之间的位移确定的,而第三对象模型表面是从第三物理运动捕捉姿态确定的,从第一对象模型表面和加权组合确定第四对象模型表面,并在显示器上将第四对象模型表面显示给用户。
Description
技术领域
本发明涉及计算机动画。更具体地,本发明涉及基于运动捕捉数据的计算机动画。
背景技术
在计算机动画中,被称为“动画设计人”的用户一般在计算机系统上指定对象模型的姿态。根据相对于时间的特定姿态,对象可表现为一系列渲染图像的动画。本发明的发明人已意识到经由对象模型指定对象的姿态是非常耗时的过程。例如,动画角色的脸可具有大约100个单独可调的参数,这些参数确定了20000个表面点的位置。因此,例如角色脸部的动画是缓慢和艰苦的过程。
为了便于在计算机动画环境中确定对象模型的姿态,本发明的受让人ImageMovers Digital已开拓性地使用真人演员的物理运动捕捉技术。例如,ImageMovers已使用运动捕捉技术和传统计算机动画技术两者的结合来生成故事片长度的电影,包括“The Polar Express”(2004)、“Monster House”(2006)、“Beowulf”(2007),其中几部已获得奥斯卡奖提名。
本发明的发明人已认识到尽管运动捕捉数据可能在动画过程中为动画设计人提供帮助,然而动画设计人仍然需要用手精制该动画。其一个原因是运动捕捉数据——尤其是演员脸部的运动捕捉数据——一般仅提供低分辨率、线框类数据,它们提供非常粗糙的动画数据。另一个原因是当运动捕捉数据单用于驱动计算机动画时,所得到的计算机动画通常看上去僵硬并且从美术上不尽如人意。又一个原因是使用运动捕捉数据的动画一般局限于所捕捉的姿态。
本发明的发明人认识到动画设计人修改运动捕捉数据的一个问题包括:动画设计人非常容易引发“走型”。换句话说,动画设计人容易偏离要求的特征姿态。仅作为示例,假设已知演员具有例如眼神闪烁或假笑的某一特征习性并且该习性被运动捕捉。在动画过程中,动画设计人可从运动捕捉习性开始,但随即在精制动画时无意地损毁这些姿态。于是所得到的姿态模型则被认为是“走型的”,因为对象并不表现出演员作出的动作。
因此,需要便于使用计算机动画的运动捕捉数据但没有前述缺陷的方法和装置。
发明内容
本发明涉及计算机动画。更具体地,本发明涉及基于运动捕捉数据的计算机动画。
在本发明的各实施例中,在放松或默认姿态和数个特征姿态下捕捉对象——例如演员的脸——的运动捕捉数据。基于运动捕捉装置相对于对象的已知几何形状,确定默认的三维对象表面和给出的三维对象表面。另外,表面位移是针对每个给出的三维对象表面相对于默认的三维对象表面的位置而确定的。该三维对象表面和表面位移则被存储入数据库。
结果,将默认的三维对象表面的二维图像显示给用户。用户选择图像上的第一点并随后选择第二点,要么通过在两个点上进行点击要么通过将第一点拖曳至第二点。作为对选择的响应,确定目标三维位移。将该目标三维位移与存储在数据库中的表面位移比较以确定可组合或混合以匹配该目标三维位移的一个或多个给出的三维对象表面。在许多实施例中,给出的三维对象表面的组合是基于加权的表面位移,其中所需的能量被减小或最小化。随后确定所给出的三维对象表面的经加权组合的二维图像并将其显示给用户。
根据本发明一个方面,披露一种计算机系统的方法。一种技术包括:通过计算机系统的用户输入装置从用户那里接收对象模型的第一表面上的位置的表面位移,其中对象模型的第一表面是响应对象的第一运动捕捉姿态确定的。过程包括响应计算机系统的表面位移确定第一表面位移组和第二表面位移组的加权组合,其中第一表面位移组是响应对象模型的第一表面和对象模型的第二表面之间的位移确定的,而对象模型的第二表面是响应对象的第二运动捕捉姿态确定的,第二表面位移组是响应对象模型的第一表面和对象模型的第三表面之间的位移确定的,而对象模型的第三表面是响应对象的第三运动捕捉姿态确定的。一种方法可包括在计算机系统中响应对象模型的第一表面以及第一表面位移组和第二表面位移组的加权组合确定对象模型的第四表面,并在计算机系统的显示器上将对象模型的第四表面显示给用户。
根据本发明的另一方面披露了一种计算机系统。一种计算机系统包括处理器和存储有使处理器执行一种计算机动画方法的可执行程序代码的存储装置。该方法包括通过计算机系统的用户输入装置从用户那里接收对象模型的第一表面上某个位置的表面位移,其中对象模型的第一表面是响应对象的第一运动捕捉姿态确定的。处理器响应计算机系统的表面位移确定第一表面位移组和第二表面位移组的加权组合。第一表面位移组可响应对象模型的第一表面和对象模型的第二表面之间的位移来确定,其中对象模型的第二表面是响应对象的第二运动捕捉姿态来确定的。第二表面位移组可响应对象模型的第一表面和对象模型的第三表面之间的位移来确定,而对象模型的第三表面可响应对象的第三运动捕捉姿态来确定。接着,一种方法包括在计算机系统中响应对象模型的第一表面以及第一表面位移组和第二表面位移组的加权组合来确定对象模型的第四表面。最后,该方法包括在计算机系统的显示器上将对象模型的第四表面显示给用户。
根据本发明的又一方面,披露了一种具有可执行程序代码的有形介质。该可执行程序代码包括使处理器执行实现计算机动画的方法的指令。该方法包括:从用户那里接收对象模型的第一表面上的位置的表面位移,其中对象模型的第一表面是响应对象的第一运动捕捉姿态来确定的。接着,可响应表面位移确定第一表面位移组和第二表面位移组的加权组合,其中第一表面位移组是响应对象模型的第一表面和对象模型的第二表面之间的位移确定的。对象模型的第二表面可响应对象的第二运动捕捉姿态来确定,而第二表面位移组可响应对象模型的第一表面和对象模型的第三表面之间的位移来确定。对象模型的第三表面可响应对象的第三运动捕捉姿态来确定。最后,响应对象模型的第一表面以及第一表面位移组和第二表面位移组的加权组合确定对象模型的第四表面。
附图说明
为了更充分地理解本发明,现在参照附图。要理解这些附图不应当认为对本发明的范围构成限制,使用附图进一步详细地描述当前记载的本发明实施例和当前了解的本发明最佳模式,在附图中:
图1示出本发明实施例的各个方面的方框图;
图2示出根据本发明各实施例的例子;
图3A-D示出本发明各实施例的例子;
图4A-D示出根据本发明各实施例的流程图的方框图;
图5是根据本发明各实施例的典型计算机系统的方框图。
具体实施方式
图1示出本发明实施例的各个方面的方框图。更具体地,图1示出脸部运动捕捉系统的各个实施例。
在图1所示的实施例中,运动捕捉系统100用来捕捉对象110的不同行为和/或姿态。在本发明各实施例中,对象110可以是人类演员、动物或其它能够经常随时间作出不同姿态的对象。在图1的例子中,对象110是人类演员,运动捕捉系统100用来捕捉人类演员脸部120的姿态。仅作为示例,这些姿态可包括微笑、皱眉、显现出愤怒表情、眨眼、浮现出假笑等,如下文将要描述的那样。
在各实施例中,运动捕捉系统100包括一个或多个摄象机吊杆130、140。另外,每个摄象机吊杆可包括一个或多个图像捕捉装置150、160。在本发明各实施例中,图像捕捉装置150、160可包括一个或多个高分辨率摄像机(例如高清分辨率)等。
用图像捕捉装置150、160捕捉的图像被存储在一般与对象110附连的存储单元190中。在各实施例中,来自图像捕捉装置150、160的视频数据可存储在存储单元190中,该存储单元190可包括含海量存储装置(例如硬盘、SSD等)的处理单元。运动捕捉系统100的其它细节和实施例记载于2008年9月29日提交的未决美国专利申请No.12/240907中,该文献以各种意图援引包含于此。
在该例中,当演员等作出直接脸部姿态时,图像捕捉装置150、160从不同的有利位置捕捉不同姿态下的演员图像。通过跟踪演员脸部上标记在二维空间的位置,可在三维空间确定对象110的表面。
图2示出根据本发明各实施例的例子。
图2示出例如演员脸部或其它三维对象的对象的脸部姿态200的几个例子。在本例中,演员的脸是演员被告知表现出任何数量的脸部表情,例如放松或默认表情210、愤怒表情220、惊讶表情230、悲伤表情240等。在各实施例中,脸部表情的数目可以可以有几十种脸部表情,例如10、20、50、80或更多。如所述未决美国专利申请中记载的那样,可将任何数量的光学标记用于演员的脸部以跟踪演员脸部不同部分的位置。在本例中可以看出,当处于愤怒表情时220,眉毛向下呈犁沟形250且嘴角向下扯动260;当处于惊讶表情时230,眉毛上扬290,而嘴角向内扯动280;当处于悲伤表情240时,眉毛上扬290,而嘴角向下扯动300。在本发明各实施例中,脸上被光学跟踪的个位置数目可以有几十至几百个,例如50、200等。
在本发明各实施例中,基于对象(例如演员的脸)各部分被跟踪的移动,对每种姿态确定其三维姿态的表面。各种类型的表面表征用来给出三维姿态的表面,例如包含顶点、边和/或多边形面等的连接网格。在这些实施例中,由于对象上的光学标记数量很少,因此例如建模者的用户可能必须增加网格的分辨率和/或手动细调顶点位置或多边形。在其它实施例中,建模者可例如使用不均匀有理B样条(或NURBS)、多边形、细分表面(或SubDivs)等定义表面的数学表述。在其它实施例中,若干不同的模型表征可描述表面或表面上的不同部分。
在各实施例中,在对于每种姿态的表面表征和缺省姿态的表面表征之间确定表面位移。在图2的例子中,表面位移组320包括放松或默认姿态表面和愤怒表情220的表面之间的位移组330;默认姿态表面和惊讶表情230的表面之间的位移组340;以及在默认姿态表面和悲伤表情240表面之间的位移组350。可对其它表情采用其它位移组。
在本发明各实施例中,随后将表面位移320存储在数据存储器(例如数据库)360中。在各实施例中,任何数量的表征可用来表达表面位移320,例如一个或多个数值表、向量图、图形表征等。
图3A-3B示出本发明各实施例的例子。更具体地,图3A-B示出默认或放松姿态表面370和表面位移320的使用。
在图3A的例子中,例如动画设计人的用户从动画环境中的显示器上的数据库360检索到对象的起始姿态400,例如中性脸部姿态370。在各实施例中,起始姿态400中的对象表面可由具有与相邻顶点连接的任何数量顶点的网格、棋盘格等表征。表面也可通过具有对照“结点”类似物的曲线表征。在各实施例中,动画环境可以是任何传统或专用动画环境,例如Maya(Autodesk)、Menv(Pixar)等。在本发明的其它实施例中,也可在该过程中使用除“中性姿态”外的其它姿态。例如,起始姿态可以是来自之前动画序列的终止姿态;起始姿态可以是预设姿态(例如愤怒、快乐、悲伤等)或任一其它姿态。
接着,使用传统计算机用户接口装置,用户(例如动画设计人)可使起始姿态变形。例如,如图所示,在变形的姿态410中,用户已选择起始姿态400的前额上的选定点420,并将脸“向下扯动”至图3B中的位置430。在各实施例中,这可通过选择网格、棋盘格的顶点或表面或此类表面并拖曳该点或几何特征来实现。在一些实施例中,可在二维空间或三维空间内微调或修正点420,这取决于特定要求。例如,点420可沿对象的表面“向上”、“向下”、“向左”或“向右”移动或微调;点420可“移入”或“移出”对象的表面;或点420可如上所述沿任意方向组合来微调。
在本发明各实施例中,响应点的移动,系统参照存储在数据库360中的表面位移组320以进行匹配和组合,如图3B所示。更具体地,系统尝试确定一个或多个建模的表面位移320,它大致与默认表面上点420朝向点430的表面位移匹配。
在本例中,系统确定与愤怒表情220关联的表面位移组330具有表面位移或移动,例如脸部前额的中央呈犁沟形。在各实施例中,这可以是数值匹配、图形匹配等。接着,将表面位移组330施加于默认表面370上的剩余对照点,而对象转为姿态440,如图3C所示。在其它实施例中,也可将提供表情的表面存储在数据存储器360中,并当表面位移匹配时将其检索出。
在一些例子中,如图3D所示,一个以上的表面基于表面位移可以是“匹配的”。例如,动画设计人指定的位移可与一个以上经加权的表面位移组的若干表面位移匹配。在本例中,表面位移组340和表面位移组350可各自匹配于动画设计人的输入(例如使前颚上的一个点升高)。在这种情形下,可提示例如动画设计人的用户选择使用哪个表面位移组。如上所述,基于用户选择,从数据存储器360检索或重构表面。
图3A-C的例子示出与单个对象姿态关联的表面规范。然而,如下文中进一步讨论的那样,更一般地使用与一个以上对象姿态关联的表面位移组的加权组合。例如,基于用户指定的表面位移,系统可确定输入表面位移应当由例如90%加权的悲伤姿态的表面位移组、5%加权的愤怒姿态的表面位移组以及5%加权的冷漠姿态的表面位移组表示。
图4A-D示出根据本发明各实施例的流程图的方框图。起初,在步骤500将例如演员的对象置于运动捕捉环境中。在各例中,例如人类演员、关节连接的对象、动物等对象一般配置以数个运动捕捉点,例如反射球、反射漆、黑点等,并布置在数个运动捕捉传感器——例如可视光相机、红外光相机等——的视野内。在各实施例中,捕捉到的运动可以是演员的脸、手或身体任何部分的运动。
在该运动捕捉环境中,在步骤510对象表现为默认或放松姿态或表情。在步骤520,基于运动捕捉点和运动捕捉环境的预定义几何特征、运动捕捉传感器的光学器件等确定默认放松姿态的运动捕捉点的三维表面位置。在各实施例中,例如建模者的用户可基于步骤510中捕捉的数据数学地定义表面。在各实施例中,运动捕捉点的数目可能相对较低,因此用户可能需要补充这些数据点以进一步定义对象的默认表面。
接着在步骤530,在运动捕捉环境中,对象呈现出一种或多种特征姿态或执行一个或多个特征运动。同上,在步骤540中,基于运动捕捉点和运动捕捉环境的预定义几何形状、运动捕捉传感器的光学器件等对步骤530中的姿态确定运动捕捉点的三维表面位置。
在各实施例中,对于该对象的各个特征姿态,在步骤550确定对于默认表面的表面位移组。在一些实施例中,可基于运动捕捉点的三维位置确定表面位移组。例如,可确定嘴角相对于不同姿态中对象默认姿态的位移。在一些实施例中,该位移可以是基于模式匹配算法由计算机半自动地确定的,和/或由视觉上绘出默认表面和特征姿态表面之间的运动捕捉点的各个位置的用户来辅助确定。在各实施例中,表面位移组可包括二维或三维向量。
在各实施例中,在步骤560存储默认位置中表面的三维表面位置以及每个特征姿态相比默认姿态的相对表面位移组。在各实施例中,数据可作为数据表存储,例如向量字段、图形等,其中所选表面位置可关联于某一位移量和方向。相对表面位移组的简单解说在图2中表示为表面位移组330-350。如表面位移组350中可见,为了从默认表面210形成为悲伤表情240,嘴角下垂,嘴唇向上偏移,眉毛下垂而前额抬高。在各实施例中,表面位移组中的表面位移的数目可以是50、100、200等。除了对每种姿态存储这种数据,在各实施例中,每种特征姿态的对象的三维表面也可存储在例如数据库的数据存储器360中。
在将数据存储于数据库后,在步骤570可从数据存储器360检索到处于默认姿态的对象的表面位置。然后在步骤580基于该表面数据渲染图像并将其显示给例如动画设计人的用户。在各实施例中,渲染可以是简单线框渲染至较高质量渲染。该图像在视觉上包含一定数量的对照点,这些对照点对应于运动捕捉点等。例如,默认表面位置可具有关联的表面网格结构等,而对照点是顶点。
在步骤590,当用户观察默认表面位置的表面时,用户可选择图像上的一个或多个点,在步骤600这些点被映射至对照点,例如顶点、三角形、方形、表面上的对照点等。在各实施例中,用户可通过鼠标、指示笔等执行该操作。接着,在步骤610用户使二维图像上的一个或多个点移动或位移。然后在步骤620将该位移映射到三维空间的目的位置。在各例子中,用户可基于点在图像上的运动而仅限于沿对象表面运动、或移入对象表面或移出对象表面或任何其它形式的运动组合。因此,该运动被认为在二维或三维空间内。
接着,在本发明各实施例中,在步骤630针对一个或多个对照点的移动确定三维位移和方向。然后在步骤640将一个或多个对照点的三维位移和方向与数据存储器360中存储的表面位移组比较以确定一个或多个表面位移匹配的组合。在本发明各实施例中,可使用各种匹配算法来确定数据存储器360中大致与步骤640中确定的表面位移匹配的表面位移组组合。在一些实施例中,可使用最小二乘误差函数。仅作为示例性实施例,如果在步骤640确定输入表面位移为{0.5,0.8,0.8,0,0,0},系统可从数学上确定{1,0,0,0,0.4,0.4}的25%加权的第一表面位移组(它与第一姿态关联)以及{0,1,1,0,0,0}的75%加权的第二表面位移组(它与第二姿态关联)将是最优匹配或最佳匹配。在其它实施例中,本发明可采用许多其它类型的匹配算法来确定表面位移组的组合。例如,可采用最小能量函数来确定表面位移组的加权组合,这种加权组合要求最小量的表面位移以匹配输入表面位移。
在各实施例中,随后在步骤650将加权施加于表面位移组中的各表面位移以确定默认表面等上的剩余对照点的表面位移,从而确定加权表面。继续上例,25%加权的第一表面位移组和75%加权的第二表面位移组可导致{0.25,0.75,0.75,0.1,0.1}的表面位移。因此,加权的表面位移应当是第一姿态的25%和第二姿态的75%。在各实施例中,经加权的表面位移可望比所示实施例更接近该输入表面位移。
在各实施例中,随后在步骤660渲染经加权表面的图像并将其显示给用户。如上所述,渲染步骤实质上可以是任何级别的合需质量,从线框或网眼至胶卷质量的渲染等。继续上述例子,如果第一姿态是惊讶姿态而第二姿态是快乐姿态,则该对象可望表现为具有一定惊讶特征的快乐表情。
在各实施例中,如果加权表面多于一个的组合具有相似的表面位移,则可提示用户选择使用对象的哪些经加权的表面。例如,如果表面位移组的两个或更多个经加权的组合具有相似或相同的最小二乘值、最小能量值等,则可将这些经加权的组合提供给用户以供选择。在各实施例中,如果在步骤670用户不满意于该加权的表面,用户可指定默认表面的附加对照点的位移(累积的),并返回步骤590。替代地,在步骤680用户可通过选择和移动经加权表面的对照点而直接修正经加权的表面。
在各实施例中,如果用户满意,则在步骤690可将该加权的表面位移组存储在存储器中以供之后渲染。之后,在各实施例中,在步骤700可从存储器检索默认表面以及经加权的表面位移组并用来渲染包含有姿态对象的图像,该渲染步骤可用于动画体貌的前期作品显示、作品渲染等;用于迅速显示(例如计算机游戏、娱乐)等。在步骤710,所确定的经渲染图像的表征可显示给用户和/或存储在便携或可移动存储器中,例如硬盘、光盘、胶卷介质等。随后在步骤720从存储器检索经渲染的图像并将其显示给用户(例如在公共剧院、家庭影院、计算机显示器等上)。
图5是根据本发明各实施例的典型计算机系统800的方框图。在各实施例中,计算机系统800一般包括监视器810、计算机820、键盘830、用户输入装置840、网络接口850等。
在本实施例中,用户输入装置840一般表现为计算机鼠标、跟踪球、跟踪板、无线遥控器等。用户输入装置840一般允许用户选择出现在监视器810上的对象、图标、文本、对照点等。在一些实施例中,监视器810和用户输入装置840可例如与触摸屏显示器或例如由Wacom销售的Cintiq的基于显示器的指示笔集成在一起。
网络接口850的实施例一般包括以太网卡、调制解调器(电话、卫星、有线、ISDN)(异步)数字用户线路(DSL)单元等。网络接口850如图所示通常耦合于计算机网络。在其它实施例中,网络接口850可物理地集成在计算机820的主板上,可以是例如软DSL等的软件程序。
计算机820一般包括常见的计算机组件,例如处理器860以及存储器设备,例如随机存取存储器(RAM)870、盘驱动器880以及互连上述组件的系统总线890。
在一个实施例中,计算机820是具有例如来自英特尔公司的例如XeonTM微处理器的多个微处理器的PC兼容计算机。此外,在本实施例中,计算机820一般包括基于UNIX的操作系统。
RAM 870和盘驱动器880是用于存储动画资源数据、音频/视频文件、计算机程序、操作系统、包括渲染引擎、可执行程序代码等本发明实施例的有形介质的示例。其它类型的有形介质包括软盘、可移动硬盘、例如CD-ROM、DVD、蓝光盘的光学存储器、例如闪存、只读存储器(ROM)、电池供电的易失性存储器的半导体存储器、网络存储设备等,包括数据存储器360。
在本发明中,计算机系统800也可包括允许在例如HTTP、TCP/IP、RTP/RTSP协议等网络上通信的软件。在本发明的替代性实施例中,也可使用其它通信软件和传输协议,例如IPX、UDP等。
图5是能够体现本发明的计算机系统的代表图。对本领域内技术人员来说很明显,许多其它硬件和软件配置适用于本发明。例如可考虑使用其它微处理器,例如CoreTM或ItaniumTM微处理器;来自先进微型设备公司的OpteromTM或PhenomTM微处理器等。此外,来自NVidia、ATI等的图形处理单元(GPU)也可用于加速渲染。此外可考虑其它类型的操作系统,例如来自微软公司的诸如等操作系统、来自SunMicrosystem的Solaris、来自苹果公司的LINUX、UNIX、MAC OS等。
有鉴于上述公开,本领域内技术人员能够发现可基于所讨论的实施例实现许多变化。例如,本发明的实施例可针对实时计算机动画,例如在电视游戏中找到的那些动画。与前述过程相似,确定对象(例如脸部表情)的特征表面位移组并将其存入数据库。接着,在游戏进行时,玩家可对一个对象指定一表面位移(例如爱抚虚拟动物、触摸虚拟病患等)。作为响应,确定表面位移组的最适宜加权,并相应地修正该对象的表面。在其它实施例中,计算机游戏本身可通过指定表面上的位移等来选择特定姿态。例如,在战争类游戏中,如果例如角色脸的左侧被弹片击中,则系统可基于角色左眼闭上的姿态确定经加权的表面位移组。在若干帧的时间内,该加权持续增加,致使角色的脸达到左眼闭上的姿态。
在本发明的另一些实施例中,所阐述的教义可施加于上述内容以外的对象其它部分,例如人的手、人体、动物的脸等。如上所述,相比执行特征姿态的物理对象的运动捕捉数据等,各表面位移组是基于处于放松或默认姿态下物理对象的运动捕捉数据。
要理解“渲染”可指使用例如Pixar的的程序转换来自场景数学描述的图像的高质量过程。另外,“渲染”可指场景数学描述的任意图形表示或像素的任意几何转化,例如用诸如GL和GPU硬件和软件渲染器等较低质量渲染引擎等的“渲染”。在本发明的一些实施例中,这种类型的实时渲染可用于娱乐程序,例如控制台游戏的计算机。在各实施例中,经渲染的对象可纳入计算机动画、计算机产生的形象、纳入真人动作场景等。
本领域内技术人员在细阅本公开后可受启发而作出更多的实施例。在其它实施例中,可较为有利地作出上面公开的本发明的组合或再组合。结构框图和流程图被分组以便于理解。然而应当理解,在本发明的替代性实施例中可以考虑方框的合并、新方框的添加、方框的重新排列等。
因此,说明书和附图被认为是示意性而非限定性的。但显然可对其作出各种修正和变化而不脱离较宽的精神和范围。
Claims (11)
1.一种用于计算机系统的方法,包括:
经由所述计算机系统的用户输入装置从用户那里接收对象的模型的第一表面上的位置的表面位移,其中所述对象的模型的第一表面是响应对象的第一运动捕捉姿态确定的;
响应所述计算机系统中的表面位移确定第一表面位移组和第二表面位移组的加权组合,其中所述第一表面位移组是响应对象的模型的第一表面和对象的模型的第二表面之间的位移确定的,而所述对象的模型的所述第二表面是响应对象的第二运动捕捉姿态确定的,其中所述第二表面位移组是响应所述对象的模型的所述第一表面和所述对象的模型的第三表面之间的位移确定的,而所述对象的模型的所述第三表面是响应对象的第三运动捕捉姿态确定的;
响应所述对象的模型的所述第一表面以及所述第一表面位移组和所述第二表面位移组的加权组合确定计算机系统中的所述对象的模型的第四表面,以及
在计算机系统的显示器上将所述对象的模型的第四表面显示给用户。
2.如权利要求1所述的方法,其特征在于,确定所述加权组合包括使用从包含最小二乘和能量函数的组中选择的成本函数。
3.如权利要求1所述的方法,其特征在于,还包括:
使所述对象处于所述第一运动捕捉姿态,其中所述对象包括多个物理标记;
捕捉处于所述第一运动捕捉姿态下的对象的多个图像,其中所述多个图像包括来自多个物理标记的物理标记位置;以及
响应所述多个图像确定所述对象的模型的第二表面。
4.如权利要求1所述的方法,其特征在于,还包括:
经由用户输入装置从用户那里确定所述对象的模型的第一表面上的所述位置,其中所述位置关联于表面描述符;
经由所述用户输入装置从用户那里确定另一位置;以及
响应所述位置和所述另一位置确定表面位移和方向。
5.如权利要求4所述的方法,其特征在于,
所述表面描述符包括具有多个顶点的线框模型;以及
所述表面位移包含来自所述多个顶点的至少一个顶点的位移。
6.如权利要求1所述的方法,其特征在于,还包括:
响应所述对象的模型的所述第四表面渲染图像;
将所述图像的表征存储在有形存储器中;以及
在显示器上将从有形存储器取得的图像显示给用户;
其中所述有形存储器是从包括光学存储介质、磁存储介质、电存储介质、胶卷介质的组中选取的。
7.一种计算机系统,包括耦合于记忆存储设备的处理器,所述记忆存储设备上存储有可执行程序代码以使所述处理器执行一方法,所述方法包括:
通过计算机系统的用户输入装置从用户那里接收对象的模型的第一表面上位置的表面位移,其中所述对象的模型的第一表面是响应所述对象的第一运动捕捉姿态确定的;
使用处理器响应所述计算机系统的所述表面位移确定第一表面位移组和第二表面位移组的加权组合,其中所述第一表面位移组是响应所述对象的模型的所述第一表面和所述对象的模型的所述第二表面之间的位移确定的,所述对象的模型的第二表面是响应所述对象的第二运动捕捉姿态确定的,所述第二表面位移组是响应所述对象的模型的第一表面和所述对象的模型的第三表面之间的位移确定的,而所述对象的模型的所述第三表面是响应所述对象的第三运动捕捉姿态来确定的;
响应对象的模型的第一表面以及所述第一表面位移组和所述第二表面位移组的加权组合来确定计算机系统中的对象模型的第四表面;以及
在所述计算机系统的显示器上将所述对象模型的所述第四表面显示给用户。
8.如权利要求7所述的计算机系统,其特征在于,所述方法还包括:
经由计算机系统的用户输入装置从用户那里确定所述对象模型的所述第一表面上的所述位置,其中所述位置关联于表面描述符;
经由用户输入装置从用户那里确定另一位置;以及
响应所述位置和所述另一位置确定所述表面位移和方向。
9.如权利要求8所述的计算机系统,其特征在于,所述表面描述符包括具有多个顶点的线框模型,且所述表面位移包括来自多个顶点的至少一个顶点的位移。
10.如权利要求7所述的计算机系统,其特征在于,所述方法还包括:
响应所述对象的模型的所述第四表面渲染图像;以及
在显示器上将所述图像显示给用户。
11.如权利要求10所述的计算机系统,其特征在于,所述方法还包括将所述图像的表示存储在有形存储器中,其中所述有形存储器是从包括光学存储介质、磁存储介质、电存储介质、和胶卷介质的组中选取的。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18258209P | 2009-05-29 | 2009-05-29 | |
US61/182,582 | 2009-05-29 | ||
US12/495,488 | 2009-06-30 | ||
US12/495,488 US8334872B2 (en) | 2009-05-29 | 2009-06-30 | Inverse kinematics for motion-capture characters |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101901497A CN101901497A (zh) | 2010-12-01 |
CN101901497B true CN101901497B (zh) | 2015-08-19 |
Family
ID=42316039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010193446.2A Active CN101901497B (zh) | 2009-05-29 | 2010-05-28 | 运动捕捉角色的逆运动学 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8334872B2 (zh) |
EP (1) | EP2256693A1 (zh) |
CN (1) | CN101901497B (zh) |
CA (1) | CA2704405A1 (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8854376B1 (en) * | 2009-07-30 | 2014-10-07 | Lucasfilm Entertainment Company Ltd. | Generating animation from actor performance |
US9082222B2 (en) | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
AU2011203028B1 (en) | 2011-06-22 | 2012-03-08 | Microsoft Technology Licensing, Llc | Fully automatic dynamic articulated model calibration |
US20130271459A1 (en) * | 2012-04-13 | 2013-10-17 | IntegrityWare, Inc. | Systems and methods of editing graphical data |
US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
US9111134B1 (en) | 2012-05-22 | 2015-08-18 | Image Metrics Limited | Building systems for tracking facial features across individuals and groups |
US9536446B2 (en) | 2012-12-03 | 2017-01-03 | Dynamic Motion Group Gmbh | Motion simulation system controller and associated methods |
US9242181B2 (en) | 2012-12-03 | 2016-01-26 | Dynamic Motion Group Gmbh | Amusement park elevator drop ride system and associated methods |
US9259657B2 (en) | 2012-12-03 | 2016-02-16 | Dynamic Motion Group Gmbh | Motion simulation system and associated methods |
US9183659B2 (en) | 2013-03-15 | 2015-11-10 | Dreamworks Animation Llc | Search-based matching for multiple parameter sets |
US10136856B2 (en) | 2016-06-27 | 2018-11-27 | Facense Ltd. | Wearable respiration measurements system |
US10130308B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Calculating respiratory parameters from thermal measurements |
US9867546B2 (en) | 2015-06-14 | 2018-01-16 | Facense Ltd. | Wearable device for taking symmetric thermal measurements |
US10045699B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Determining a state of a user based on thermal measurements of the forehead |
US10524696B2 (en) | 2015-06-14 | 2020-01-07 | Facense Ltd. | Virtual coaching based on respiration signals |
US10080861B2 (en) | 2015-06-14 | 2018-09-25 | Facense Ltd. | Breathing biofeedback eyeglasses |
US10045737B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Clip-on device with inward-facing cameras |
US10085685B2 (en) | 2015-06-14 | 2018-10-02 | Facense Ltd. | Selecting triggers of an allergic reaction based on nasal temperatures |
US9968264B2 (en) | 2015-06-14 | 2018-05-15 | Facense Ltd. | Detecting physiological responses based on thermal asymmetry of the face |
US10076250B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses based on multispectral data from head-mounted cameras |
US10216981B2 (en) | 2015-06-14 | 2019-02-26 | Facense Ltd. | Eyeglasses that measure facial skin color changes |
US10076270B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses while accounting for touching the face |
US10130261B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Detecting physiological responses while taking into account consumption of confounding substances |
US10045726B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
US10092232B2 (en) | 2015-06-14 | 2018-10-09 | Facense Ltd. | User state selection based on the shape of the exhale stream |
US10064559B2 (en) | 2015-06-14 | 2018-09-04 | Facense Ltd. | Identification of the dominant nostril using thermal measurements |
US10130299B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Neurofeedback eyeglasses |
US10151636B2 (en) | 2015-06-14 | 2018-12-11 | Facense Ltd. | Eyeglasses having inward-facing and outward-facing thermal cameras |
US10136852B2 (en) | 2015-06-14 | 2018-11-27 | Facense Ltd. | Detecting an allergic reaction from nasal temperatures |
US10523852B2 (en) | 2015-06-14 | 2019-12-31 | Facense Ltd. | Wearable inward-facing camera utilizing the Scheimpflug principle |
US10113913B2 (en) | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
US10524667B2 (en) | 2015-06-14 | 2020-01-07 | Facense Ltd. | Respiration-based estimation of an aerobic activity parameter |
US10154810B2 (en) | 2015-06-14 | 2018-12-18 | Facense Ltd. | Security system that detects atypical behavior |
US10299717B2 (en) | 2015-06-14 | 2019-05-28 | Facense Ltd. | Detecting stress based on thermal measurements of the face |
US10159411B2 (en) | 2015-06-14 | 2018-12-25 | Facense Ltd. | Detecting irregular physiological responses during exposure to sensitive data |
US10949649B2 (en) | 2019-02-22 | 2021-03-16 | Image Metrics, Ltd. | Real-time tracking of facial features in unconstrained video |
CN114155324B (zh) * | 2021-12-02 | 2023-07-25 | 北京字跳网络技术有限公司 | 虚拟角色的驱动方法、装置、电子设备及可读存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7123263B2 (en) * | 2001-08-14 | 2006-10-17 | Pulse Entertainment, Inc. | Automatic 3D modeling system and method |
CN100483462C (zh) * | 2002-10-18 | 2009-04-29 | 清华大学 | 融合多视角、多线索二维信息的人脸三维模型的建立方法 |
US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
EP1661116A4 (en) * | 2003-07-29 | 2010-12-01 | Pixar | IMPROVED PAINT PROJECTION METHOD AND CORRESPONDING DEVICE |
US7969447B2 (en) * | 2004-05-06 | 2011-06-28 | Pixar | Dynamic wrinkle mapping |
CN101069214A (zh) * | 2004-10-01 | 2007-11-07 | 索尼电影娱乐公司 | 为计算机图形动画制作跟踪面部肌肉和眼睛运动的系统和方法 |
US8139068B2 (en) * | 2005-07-29 | 2012-03-20 | Autodesk, Inc. | Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh |
US7606392B2 (en) * | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
NZ572324A (en) * | 2006-04-24 | 2011-10-28 | Sony Corp | Facial capture and animation using calibrated reference data for expression units |
WO2008011352A2 (en) * | 2006-07-16 | 2008-01-24 | The Jim Henson Company | System and method of animating a character through a single person performance |
US8139067B2 (en) * | 2006-07-25 | 2012-03-20 | The Board Of Trustees Of The Leland Stanford Junior University | Shape completion, animation and marker-less motion capture of people, animals or characters |
US7961947B2 (en) * | 2006-07-28 | 2011-06-14 | Sony Corporation | FACS cleaning in motion capture |
US7843454B1 (en) * | 2007-04-25 | 2010-11-30 | Adobe Systems Incorporated | Animated preview of images |
CN100557639C (zh) * | 2008-03-07 | 2009-11-04 | 清华大学 | 基于关键帧和时空约束的三维虚拟人体运动生成方法 |
-
2009
- 2009-06-30 US US12/495,488 patent/US8334872B2/en active Active
-
2010
- 2010-05-19 CA CA2704405A patent/CA2704405A1/en not_active Abandoned
- 2010-05-28 CN CN201010193446.2A patent/CN101901497B/zh active Active
- 2010-05-28 EP EP10164308A patent/EP2256693A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CA2704405A1 (en) | 2010-11-29 |
US20100302258A1 (en) | 2010-12-02 |
EP2256693A1 (en) | 2010-12-01 |
US8334872B2 (en) | 2012-12-18 |
CN101901497A (zh) | 2010-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101901497B (zh) | 运动捕捉角色的逆运动学 | |
WO2019242454A1 (zh) | 一种物体建模运动方法、装置与设备 | |
US9460539B2 (en) | Data compression for real-time streaming of deformable 3D models for 3D animation | |
CN111971713A (zh) | 使用图像和时间跟踪神经网络进行的3d面部捕获和修改 | |
CN109906600B (zh) | 模拟景深 | |
US9754398B1 (en) | Animation curve reduction for mobile application user interface objects | |
WO2005114640A1 (en) | Patch picking methods and apparatus | |
US11158104B1 (en) | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation | |
KR20190011492A (ko) | 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법 | |
CN109697748A (zh) | 模型压缩处理方法、模型贴图处理方法装置、存储介质 | |
CN110349269A (zh) | 一种目标穿戴物试戴方法及系统 | |
CN111833374A (zh) | 基于视频融合的路径规划方法、系统、存储介质、及终端 | |
US8896607B1 (en) | Inverse kinematics for rigged deformable characters | |
US8704828B1 (en) | Inverse kinematic melting for posing models | |
US20230196702A1 (en) | Object Deformation with Bindings and Deformers Interpolated from Key Poses | |
CN114371806B (zh) | 虚拟相机镜头参数处理、更新方法、装置、设备及介质 | |
JP7251003B2 (ja) | 細かいしわを有する顔メッシュ変形 | |
CN110941974B (zh) | 虚拟对象的控制方法和装置 | |
Fei et al. | 3D Gaussian Splatting as New Era: A Survey | |
CN117292052A (zh) | 基于单视角的人体模型驱动方法及电子设备 | |
CN117876590A (zh) | 三维模型的重建方法、装置、计算机设备及存储介质 | |
Bhowmik et al. | Advances in 3D‐Sensing Technologies and Applications | |
Zhu | Example-based natural three-dimensional expression generation for virtual human faces | |
Fei | Expressive textures: synthetic and video avatars | |
Vanaken et al. | Articulated Video Sprites. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent for invention or patent application | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Shuangtu Film Co., Ltd. Address before: American California Applicant before: Imagemovers Digital LLC |
|
COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: IMAGEMOVERS DIGITAL LLC TO: SHUANGTU FILM CO., LTD. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |