CN103443826A - 网格动画 - Google Patents

Abstract

在一实施例中，通常使用三维摄影机取得一对象在共同且高密度的一组像素位置上的平行影像与深度图。一二维网格动画系基于在该取得的影像中的动作追踪而决定。然后该二维网格动画与该深度图结合，以形成一适合渲染的三维网格动画。

Description

网格动画

相关申请的交叉引用

本申请要求美国申请号为12/987,363，2011年1月10日提交的优先权，其内容在此并入本文的全部内容。

背景技术

本发明涉及采用诸如影像追踪等方式的网格动画。

现代三维(3‐D)计算机动画制作系统大多以简化方式表述动画角色的身体构造，例如利用以点构成的网格表述一个角色的脸部形貌。为便于制作动画，通常系透过定义若干动画变量的方式建立一个“骨架(rig)”，藉以控制网格上一个或多个点的位置。在制作该角色的动画时，动画变数系逐时调整。

例如，欲将一个角色开口说话的场景制作成动画，动画师可调整一个或多个动画变量，从而将动作赋予该角色的相应部位，例如其嘴唇。在某些例子中，动画师须为一个场景中的每一帧调整多个动画变量，在使用典型的每秒24帧至30帧更新率的情况下，制作一个持续数秒的场景将会是费时且难巨的工作。

在其他某些例子中，动画师可利用软件，指定所需动画变量的目标值，并针对多个帧进行动画变量值的插值，直到满足所需动画变量的目标值为止，如此一来即可减少制作动画的工作量。

除了制作动画场景所需的时间外，动画师的另一项挑战系制作照像写实的人物动画。时至今日，人类复杂的生物力学仍为照像写实人物动画的一大阻碍。

一种能将人类的动作准确且快速地制作成动画的系统，乃为所冀。

发明内容

在一实施例中，通常使用三维摄影机取得一对象在共同且高密度的一组像素位置上的平行影像与深度图。一二维网格动画系基于在该等取得的影像中的动作追踪而决定。然后该二维网格动画与该深度图结合，以形成一适合渲染的三维网格动画。

在另一实施例中，一种动画制作方法通常包含接收一对象的一系列帧，其中各帧包含分辨率实质相当的一深度图及一影像，该影像中的每一位置对应到该深度图中的一位置。选择该帧的影像中的多个特征加以追踪。对该多个特征中每一特征的追踪产生该特征在该系列影像中的一系列位置。该选择及追踪需要一系列该影像经处理过的数据作为输入，其中该输入数据描述了该影像强度的曲率特征。该动画制作方法更包含将一网格表述对准到该影像中的第一影像。该网格表述包含多个网格点及该网格表述的对准关系，其中该网格表述的对准关系包含确定该多个网格点在该第一影像中对应的位置。形成所追踪的该特征在该第一影像中的位置与该网格点在该第一影像中的位置之间的关系，并利用所追踪的该特征的位置以及该特征的位置与该网格点的位置之间的关系，确定该网格表述与该系列的影像中各影像的对准关系。

实施例可包含下列特征中的一个或多个。

针对每一帧，将该网格表述相对于该影像的该对准关系，与对应该影像的深度图结合，藉以确定该网格表述的三维对准关系。

该网格表述的该三维对准关系的确定，包含针对该网格表述上的每一网格点，利用该网格点在该网格表述与该影像的该对准关系中的二维坐标，选择该深度图中的一位置，藉以确定该网格点之位置的深度坐标。

就该网格点的至少某些位置而言，确定该网格点的位置之该深度坐标，包含对该深度图中的深度值进行插值。

动画的渲染系以该网格表述在连续帧中所确定的三维对准关系为依据。

对接收的每一帧，其深度图及影像表述在同一组坐标位置上。

该组坐标位置包含一矩形栅格上的至少250000个坐标位置。

该选择及追踪包含针对每一帧，从该帧的影像确定一曲率图。

该曲率图的确定包含确定一平滑化的三维影像，以及从该平滑化的三维影像确定该曲率图。

该平滑化三维影像的确定，包含将曲面平滑化方法应用于根据该影像的强度所形成的曲面。

该曲面平滑化方法的应用包含应用高斯(Gaussian)加权曲面平滑化方法。

从该三维影像确定该曲率图，包含确定该影像中每一点的高斯曲率。

该选择及追踪系基于一系列影像经处理后的形式，包含将金出‐卢卡斯‐托玛斯(Kanade‐Lucas‐Tomasi;KLT)特征追踪器应用于该系列影像经处理后的该形式。

建立该特征的位置与该网格点的位置之间的关系，包含确定描述此关系的重心坐标(Barycentric coordinates)。

该动画制作方法更包含确定对象的一实体部位在一影像中的位置，并将所确定的位置关联到所追踪的特征在该影像中的位置。

该实体部位在其他影像中的位置，取决于所追踪的特征的位置，以及所确定的位置与所追踪的该特征之间的关系。

该对象的该实体部位至少包含该对象的一只眼睛及一个嘴巴。

根据所确定的该实体部位的位置渲染该对象。

接收一对象的一系列的帧，包含利用三维摄影机取得该系列帧。

上述实施例的优点包含下列一个或多个。

以相关联的影像及深度图为基础，能以相对较少的人力及机器运算量获得高度精确的动画网格。

该深度图的高密度，使得能通过该网格与该影像的二维对准关系建立起该网格的三维对准关系。

本发明的其他特征及优点，可从以下的说明及申请专利范围中清楚了解。

附图说明

图1系用来渲染从取得的二维及三维视讯数据合成的一影像序列的动画制作系统的方块图。

图2系图1的动画制作系统所使用的动作追踪器的方块图。

具体实施方式

1.系统概述

动画制作系统100用于产生供计算机动画所用的动画网格，其许多实施例说明如下。一般而言，这些实施例采用如图1所展示的总体方法。在某些范例中，该动画网格能用来将一人类对象经录像取得的脸部动作及表情赋予一人脸的原型面罩，以渲染一动画影像序列。在某些范例中，该动画网格可直接或经修改（例如根据一关联骨架）将脸部动作及表情赋予一非人类面罩（例如动物或怪物的面罩）。

系统100的概要说明参照图1提供如下，该系统的组件的更详细描述在后续各节提供。一般而言，该系统始于利用三维摄影机104取得一对象102的一序列影像帧。此摄影机的输出包含一序列的帧（标记为n＝1,2,...,N），例如每秒24帧或30帧，其提供一影像（例如一灰阶强度影像）以及对应的三维信息。在此实施例中，来自每一帧的信息输出包含(qⁿ(x,y),zⁿ(x,y))，其中qⁿ为一强度图，zⁿ为一对应的深度图。强度与深度二者皆为高密度，例如每一帧包含250,000个(x,y)点。系统100的一输出为一序列的二维网格对准关系Mⁿ以及相对应的三维网格对准关系Rⁿ。在此实施例中，各种尺寸及/或拓扑布局（形状）的网格皆能使用，例如，该网格可包含约2,500个点，此点数较原始取得影像中的点数小两个数量级。一网格对准关系包含该网格中的各点在该原始取得帧的参考帧（或一动作经稳定后的参考帧）中的二维（用于Mⁿ）或三维（用于Rⁿ）坐标。然后该网格对准关系可用于例如渲染许多动画影像序列。

一般而言，该系统将一具有对准关系M¹的初始网格应用于至少一影像，例如第一影像q¹，然后根据在该序列的影像qⁿ中追踪到的移动产生基于一致的网格定义的动画网格，作为该序列的二维网格对准关系Mⁿ。一般而言，一个特定网格点在该序列的帧中的移动对应该对象的皮肤上一个相对应点的移动。

确定该序列的网格对准关系Mⁿ的程序系基于逐时追踪一组(x,y)点在各帧中的位置。普遍来说，这项多点的追踪系以光流法为基础。然而，强度图qⁿ并非直接加以利用，而系先经过处理以确定多个曲率图，该曲率图提供较佳的逐时追踪特性，因而提供较高质量的网格对准关系序列。然后利用插值法将受追踪的点形成的轨迹转换为网格点坐标的轨迹。使用各种额外的作业，例如追踪上眼睑、嘴唇内侧以及其他可能受惠于特殊处理的特征之处理，以产出高质量的动画网格。

将二维网格坐标与透过摄影机取得的深度图结合，例如根据该深度图zⁿ(x,y)的插值结果，以形成三维网格对准关系序列Rⁿ。因此，该三维网格对准关系序列表述一个提供同一组点在该序列内每一帧中的位置的原始数据的压缩。

在某些范例中，该动画三维网格与一原型面罩结合，以渲染一合成的影像序列，其中该对象的各种脸部动作系以照像写实的方式赋予该原型面罩。

其他选择性的步骤用于特定实施例中。例如，该光学追踪可能涉及各种形式的限制条件，使得网格点保持其与该对象实体部位之间的关联性。在某些范例中，输出经动作稳定化处理，以消除该对象在初始影像取得过程中的移动造成的效应。在某些范例中，对眼睛及嘴巴区域施加各种技术，以处理与该区域相关的特殊情况。

以上介绍的许多步骤及程序在以下各节中详细讨论。

2.影像撷取

动画制作系统100的操作始于取得一对象102的一系列影像。在某些范例中，该影像系由三维摄影机104取得。

如前所述，三维摄影机104的输出包含一序列的帧（标记为n＝1,2,...,N），例如，以每秒24帧或30帧输出。所产生的该序列的帧可包含一个二维强度影像序列qⁿ(x,y)108（例如灰阶强度影像）以及一可提供三维信息的深度图zⁿ(x,y)序列106。藉由在同一坐标系统中以相同的分辨率表述的方式，该强度及深度信息以彼此关联的方式储存起来。该强度影像与深度图两者均为高密度，例如包含约250,000个(x,y)点（例如约640x480个像素）在每个帧中。

在某些范例中，可用其他影像捕获设备或系统取代三维摄影机104。较佳者，为该所用的替代影像撷取方案输出足够密度的一序列二维强度影像108及一序列三维信息（例如包含数量明显多于所需动画三维网格的点数的(x,y)点）。

在某些范例中，对象102的皮肤可用诸如滑石粉等对比强化剂加以处理。此项处理所改善的对比度可提高该动画制作系统中后续模组的效能，尤其是光流追踪模组150。然而在实务上，这类对比强化剂的使用对该系统的操作并非是必要的。

该系统所用的三维摄影机104的一范例，系来自美国马萨诸塞州萨默维尔市的几何信息学公司的GeoVideo摄影机。

3.光流追踪

参照图2，光流追踪模组150的两个方面系有关输入到该追踪程序的特征，以及用来检测或保证所追踪的点在该序列的帧中前后一致的方法。

3.1平均曲率的计算

继续参照图1，二维强度影像序列108首先经由平均曲率计算模组120处理，以制备供动作追踪模组150使用的影像。在某些范例中，在平均曲率计算模组120中的处理，系将二维强度影像序列qⁿ(x,y)108转换为可供该动作追踪器施加高斯平滑法及计算各点的高斯曲率的格式。

在某些范例中，以单一帧为基础对各帧逐一执行平滑化作业，将强度影像qⁿ(x,y)，其定义于一矩形栅格的多个(x,y)坐标点上，转换为平滑的强度影像

执行此平滑化作业的方法之一，系将该强度视为高度的表述，因此qⁿ(x,y)定义了三维空间（两空间维度及一强度维度）中的一张强度曲面。接着，将此三维曲面平滑化，以便在一平滑曲面上形成相对应的点。例如，在该平滑化作业中，将每一个三维点(x_j,y_j,q_j)，其中q_j＝qⁿ(x_j,y_j)，坐标映射到一个三维点所有这些映像点定义出平滑函数

在某些范例中，此平滑化作业使用一高斯核函数，使得每一个三维点被映射到在该强度曲面上邻近其他点的一个高斯加权平均值。

随后，平均曲率计算模组120根据平滑函数

确定曲率k(x,y)。在某些范例中，此曲率

系在平滑化步骤中计算作为曲面在点

处的高斯曲率。对每一帧n的影像qⁿ(x,y)的所有的原始坐标依此方式计算，于是定义出曲率图kⁿ(x,y)。在某些用户接口中，强度q(x,y)及其相关曲率k(x,y)可并排显示。

3.2影像流轨迹

接着，将该序列的曲率图kⁿ(x,y)输入到动作追踪模组150。在某些实施例中，该动作追踪器系以金出‐卢卡斯‐托玛斯(Kanade‐Lucas‐Tomasi;KLT)特征追踪器为基础。一般而言，该追踪器系从第一帧中选出多个适合追踪的点，例如以输入的每一像素附近的局部变化为基础，选出一像素子集合，作为随后逐帧追踪的“特征”所在的位置。该追踪器提供一种方法，可将如此选出的特征从某一帧映射到另一帧。就KLT算法而言，将某一特征从一帧映射到下一帧系对该特征在一帧中的位置附近区域（亦即容许在相邻帧中有限度的平移，甚或整个影像的平移及/或旋转），找出一个可能的变换（例如经旋转、缩放、平移后），使之可变换到该特征在下一帧出现的位置。在某些情况下，某特征可能在下一帧中因为遭到遮蔽或移到运算法所允许的范围外而消失不见了。

藉由对一序列的帧逐一重复此映射程序，某些点在各帧中的相应的位置将成为一连续轨迹的一部分。某些轨迹可能只出现在该序列的帧的一个子区间内。一般而言，以下描述的方法只使用延伸跨越整个输入帧序列的特征轨迹。

此程序的结果是一组特征点P＝{p₁,p₂,...,pK}，其中每一个特征点在该整个输入帧序列中具有一个由坐标位置

构成的一致的轨迹。此轨迹形成后述网格动画的基础。

KLT算法的特性之一，系在一轨迹上的一个点可能“滑动”，致使该点与其在对象身上对应的实体点的关联性可能随时间改变，而非保持一致。此“滑动”可由在大量帧中追踪多个点而引起，导致小追踪误差随时间累积。以下描述用来降低此效应的多个方法，例如有关使用“关键帧”以及沿着时间的正、负向进行追踪。

KLT算法的另一特性在于，一个对象的某些部位原本即有可能受到不连续轨迹的影响。例如一个对象的一只眼睛（例如眼球）上的点，可能只有在眼睛张开时才会出现，因此在追踪算法的输出结果中缺乏连续性。这种缺乏连续性的现象可能引发某些部位中的点遗失，因而导致该些点被排除在追踪算法的输出以外。

3.3关键帧

参阅图2，在某些范例中，点“滑动”的问题可利用关键帧选择模组124来改善，透过关键帧选择模组124，用户在使用KLT算法处理该整个帧序列之前先选择一系列的“关键帧”。

关键帧选择模组124允许动画制作系统的用户将帧序列中的某些影像指定为“关键帧”。在某些范例中，可以选择当对象处于中性姿势的影像作为合适的关键帧，例如，在为一个对象的脸部制作动画的情况下，具有合嘴的表情即属于上述的中性姿势。在理想状况下，这些影像应看起来尽量相似。例如，在一个两分钟（3600帧）的序列中，关键帧可能彼此相距200至400帧（例如相隔约十秒）。当更多的关键帧加入时，KLT演算结果的质量通常就改善了。在某些范例中，藉由将指定的关键帧彼此对准，该KLT演算结果可获得进一步改善。

将第一动作追踪器126应用于该子序列的关键帧，以辨识同时出现在第一关键帧及后续每一关键帧中的特征（“关键帧特征”）。例如，第一动作追踪器126可分别辨识关键帧1与200、1与400、1与600等之间的点轨迹。由于动作追踪器126一次仅辨识两关键帧之间的点轨迹，因此“滑动”被消除了。动作追踪器126辨识点稳定性的进一步改善由多个要素提供，包含较短长度的帧子序列，以及所选关键帧的相对相似度。

在某些范例中，关键帧的选择系透过与用户的交互程序来辅助，在此交互程序中，用户可检视所选特征的序列，以确认特征在该帧序列中的“稳定性”，且可选择性地移除或增加关键帧，直到动作追踪器126选出一组所需特征为止。在某些范例中，该稳定性系在一图形界面上由色斑显示特征位置来检视，因而允许用户评估该特征在该序列的关键帧中的稳定性。

关键帧将整个序列的输入帧有效地分割成多个时间分区。然后使用受限动作追踪器128处理这些时间分区，受限动作追踪器128尝试追踪特征在关键帧序列中的轨迹。在某些范例中，受限动作追踪器再次以曲率图作为输入并使用KLT算法。倘若找到某一特征在各关键帧之间形成一道完整的轨迹，则该特征在该整个帧序列中同时具有稳定性及连续性。

在某些范例中，关键帧特征的追踪，系先从第一关键帧到第二关键帧正向追踪，然后再从该第二关键帧到该第一关键帧逆向追踪。由于一项特征的正向及逆向追踪通常不会产出完全相同的位置，因此在某些范例中把正向与逆向追踪的结果进行插值而产出更精确的追踪结果，并消除关键帧分区之间可能发生的轻微但引人注意的晃动。

受限动作追踪器128使用一个以像素的数量来表示其大小的搜寻窗口，但在选择搜寻窗口的大小时需要某种折中。较小的搜寻窗口产出较佳质量的追踪结果，但是比较不能因应平均曲率二维影像序列144中的快速变化。反过来，较大的搜寻窗口产出较差质量的追踪结果，但是比较能够因应平均曲率二维影像序列144中的快速变化。

在某些范例中，系统100系以不同大小的搜寻窗口执行多次追踪程序来处理这种折中。首先，使用一个小搜寻窗口（例如21个像素）执行该追踪程序，产出高质量的追踪结果。然而，若有诸如张嘴的突然动作，则此小搜寻窗口可能产出低质量的追踪结果（亦即遗失相当多的追踪点）。

然后在后续执行该追踪程序时使用较大的窗口（例如31、41、51、61个像素）。该追踪的质量将随着窗口尺寸的增加而降低，但是能够侦测到较快的移动而不遗失点。例如，该较大的窗口对追踪嘴唇的动作特别有用。各轮的追踪结果可结合起来，为该整个帧序列产出一组完整的追踪点。

在某些范例中，假如一项关键帧特征的正向与逆向追踪不连续，则微小的不连续处可予以“桥接”以求得一连续的轨迹。

4.网格的对准

由动作追踪器，选择性地使用前述的关键帧法，所确定的一组被追踪的特征，形成确定动画网格的动作的基础。

再次参照图1，一网格定义142（例如指定多个网格点的互连以形成该网格的多个区域的拓扑布局），被传给初始手动网格对准模组140。使用者选择一帧，通常系输入帧序列的第一帧。一般而言，此模组使用一图形表述给用户，该使用者将该网格的至少若干点对准到该序列中所选第一帧的影像（例如对准到强度图q¹(x,y)）。此对准的结果系M¹，其包含该网格点在该第一帧中的一组位置。

网格插值模组138将该网格点在该第一帧中的位置关联到所追踪的特征在该第一帧中的位置。在某些范例中，建立此关系之方式系根据各网格点子集合（例如可形成一三角形以包围一特征之最少网格点）形成其对应特征位置之重心坐标，或根据该特征之子集合的位置形成网格位置之重心坐标。

然后由该网格插值模组138利用特征位置与网格点位置之间的关系（例如重心坐标）确定后续帧中的网格对准关系Mⁿ。

在某些范例中，提供对该网格对准关系的图形检视给用户，因而允许该用户编辑该网格对准关系序列所依据的对准关系。此图形检视可供用户比较该影像与该网格对准关系序列136的最终网格对准关系，藉以评估问题区域（例如嘴巴）周围的点的追踪成效。

然后该网格对准关系序列的拓扑布局的二维表述可迭合在相应的二维强度影像上检视。此步骤有助于判别未正确追踪的点。例如，假使有一个点未受到正确追踪，则其将使网格变形，变成可立即被辨认出。然后该使用者将该未正确追踪的点从网格中移除，导致该网格被重新计算。

对该序列中的各帧以及对该网格中的各点而言，该网格对准的结果通常系该原始帧中该网格点的子像素的位置（亦即一个像素间距的几分之一）。

三维插值模组112利用网格对准关系序列136及三维影像序列106产生一序列的三维网格对准关系。由于在二维强度影像序列108与三维影像序列106之间存在直接关联，二维强度影像中的每一像素分别对应到相对应的三维影像中的三维空间中的一个点。三维网格插值模组112利用此关联性，将该二维网格对准关系序列136中每一个网格对准关系（逐点）映像到三维影像序列106中的对应的三维影像。其结果系一序列的三维网格对准关系。请注意，由于该网格对准关系通常具有子像素点位置，因此利用插值法来确定在此子像素网格点位置(x,y)处的深度值z(x,y)。

5.对准稳定点

在某些范例中，冀望该对象的头部尽可能减少在该三维网格对准关系序列中的移动。然而，实际上，几乎不可能令某人长时间避免头部的移动。因此，动画制作系统100包括稳定点选择模组118，其允许用户选择多个点作为“稳定点”，以消除头部的移动。然后稳定点对准模组152将该三维网格对准关系序列中每一个网格对准关系的稳定点对准第一个三维网格对准关系中所辨识出来的稳定点，因而消除所有头部的移动。

6.渲染

在某些实施例中，该三维网格对准关系Rⁿ被传送到渲染模组132。在某些范例中，该渲染模组利用一个包含彩色纹理的原型面罩（例如高质量彩色照片），该原型面罩透过渲染资讯114供给该系统。利用一个极为类似于将拓扑布局点映射到第一帧的程序（亦即重心三角法），将该彩色纹理映射到该第一帧的区域。

所得的合成影像序列134系一序列的三维影像，包含对象102被录像取得的脸部表情赋予由渲染资讯114提供的原型面罩。

7.额外步骤

在某些实施例中，可执行额外的步骤以改善合成影像序列134的质量。例如，使用者可指定眼睛、嘴巴及下巴的位置、选择稳定点、增加新点或应用法线贴图。

7.1眼睛、嘴巴及下巴的位置

就KLT算法126与128而言，某些脸部特征可能很难追踪，甚至无法追踪。例如，眼睛及嘴巴的动作快速，且某些点有时候在帧中消失了（例如眼睑）。因此，动画制作系统100利用眼及嘴位置模组130让用户能手动辨识此追踪点。一般而言，该系统提供一种判断眼窝轮廓及嘴巴轮廓的接口，因而允许该渲染程序对该这些区域使用特别的渲染技法。

在某些范例中，由于所追踪的特征点未必位于眼睛或嘴巴的边界上，因此，用户透过一图形界面去定义所需的眼睛及嘴巴轮廓，从而辨识出额外的点。然后再根据所追踪的点的位置去定义这些额外点的位置，例如，从这些所追踪的特征点插值及/或平移。如此一来，可根据该额外点所依赖的追踪点的位置在各帧中追踪该额外点。

眼睛的追踪系利用眼睛导引追踪点、上眼睑的位置以及整个眼睛睁开时的形状。该眼睛导引追踪点为眼睛下方区域的可靠追踪点，可用以测量下眼睑在每一帧中的位置（最左侧点、最右侧点及底部点）。

然后利用可强调高对比度区域的边缘侦测技术辨识该对象的眼白，以确定该上眼睑的位置。该眼白的边线对应于该上眼睑。

在某些范例中，内含眨眼动作的帧可视为特例并以特殊方式处理。例如，可进一步处理二维强度影像的纹理，处理的方式则与前述应用于高度图的方式大致相同，不同之处在于须加强网格的平滑化。

假如该对象在录制该序列的二维强度影像的过程中开口说话，将会出现明显的嘴部动作。就KLT算法126与128而言，快速而复杂的嘴部动作不易成功追踪。

眼及嘴位置模组130让用户得以辨识嘴巴上可能在追踪过程中遗失的重要追踪点（例如嘴唇内侧）。

嘴唇内侧的追踪，系通过设置一组向内移到嘴部中心的额外追踪点。可从每一嘴角点画出一条通过该组嘴唇内侧点的弧线，然后沿此弧线建立额外的追踪点。沿嘴唇内侧弧线设置的追踪点乃一组极为实用的追踪点，其可将唇部的动作从嘴唇外侧区域转入嘴唇内侧区域。这些追踪点的运作原理系假设所有唇部动作实质相同。

首先辨识上唇稳定点。使用者找出可适度看见上唇的一个帧，然后选择一组上唇外侧追踪点（至少一点）及一组上唇内侧追踪点（至少一点）。

其次，辨识下唇稳定点。使用者找出可适度看见下唇的一个帧，然后选择一组下唇外侧追踪点（至少一点）及一组下唇内侧追踪点（至少一点）。

再其次，辨识左、右嘴角点。在此例中，使用者可选择正好位于嘴角的单一追踪点。若无正好位于嘴角的单一追踪点，使用者可选择嘴角介于其间的两点。

再其次，使用者选择可供辨识眼睛或眼睑底部的眼睛导引点。眼睛导引点为一组环绕于眼睛下部周围且系由使用者选择的追踪点，其可用于追踪各眼的左侧部分、右侧部分及中央下部。选择眼睛导引点使其在二维强度影像序列108中保持稳定是很重要的。

脸部另一处可能不易追踪的部位为下唇下方的区域。位于下唇与下巴间的区域在说话过程中动作频繁，须由动画制作系统100额外小心处理。在某些范例中，动画制作系统100执行一系列的追踪，以特别处理出现在下唇下方的点。

例如，一个大搜寻窗口（例如61个像素）可以用来测量嘴角及下唇的大概位置。然后画出一条穿过这些点的弧线。该弧线可视为一直线，且此一范围内的可追踪数据可重新采样以去除最大量的多余动作，使得该下唇下方的区域能够使用一个较小的搜寻窗口（例如21个像素）更精准的追踪。

在渲染过程中，可分析第一帧的眼睛追踪数据，进而将模型眼移到定位。待模型眼到达定位后，便可将眼球向后移动，直到其基本上不再与脸部的几何形状相交为止。然后再将眼睛边线的几何形状聚合到眼球。可在眼睛边线区域周围执行平滑化作业以改善外观。

然后观察嘴角追踪点的平均三维位置，藉以将嘴袋(mouth bag)模型移到定位。将此模型向后移动，并与嘴唇边线接合，以形成单一几何形状。

7.2法线贴图

在某些范例中，从三维影像序列zⁿ106计算法线贴图，并由法线贴图应用模组116将该法线贴图应用于该三维网格对准关系序列。

特别地，法线贴图允许模拟具有丰富细节的几何形状，而无需使用该三维网格对准关系中其他额外的点。例如，渲染模组132可根据法线贴图计算模组110的输出计算三维网格特定区域的阴影。之所以能如此，系因法线贴图计算模组110接收高分辨率的三维影像序列106。

8.实施与替选方案

上述处理方法的实施可能包括软件，其包含指令储存于实际机器可读的媒体中，且可令一数据处理系统执行上述程序。在某些实施例中，可同时利用多个不同的处理器以并行或分布的方式执行所需工作。在某些实施例中，某些工作系由专用的硬件执行，或由可编程的专用处理器执行。

应了解，亦可使用其他影像信息处理方法。例如，可使用其他形式的“曲率”计算。再者，可将图像处理纳入动作追踪的步骤中，如此一来便不须为转换后的影像进行显式计算，但又兼具转换法的优点。最后，KLT动作追踪法仅为基于影像的追踪程序的范例之一，亦可改用其他追踪法。

在某些实施例中，三维网格对准的结果并非直接用于动画制作，而系搭配进一步的处理。例如，在某些范例中，动画师可将一个“骨架”关联到网格，再进一步使用该三维对准使动画师得以操控动画变量，以便在渲染前修改所获得的动作。

亦应了解，未必需要前述使用对准影像及深度图的特定输入法。亦可使用其他可将插值网格的二维坐标映射到一个三维空间的方法，但深度信息须有足够的分辨率以供高精准映射到该三维空间。

应了解，以上说明系为阐述而非限制本发明的范围，本发明的范围系由后附的申请专利范围加以定义。后附的申请专利范围亦涵盖其他实施例。

Claims (18)

1.一种动画制作方法，包含：

接收一对象的一系列帧，其中每一帧包含分辨率实质相当的一深度图及一影像，该影像中的每一位置对应到该深度图中的一位置；

选择及追踪该系列影像中的多个特征，该追踪为该多个特征中的每一特征产生该特征在该系列影像中的一系列的位置，其中该选择及追踪需要以影像的一系列经处理后的形式作为输入数据，由该经处理后的形式确定该影像中表述的强度曲率；

将一网格表述对准该系列影像中的第一影像，该网格表述包含多个网格点，该网格表述的对准包含确定该网格点在该第一影像中的位置；

形成该特征在该第一影像中的位置与该网格点在该第一影像中的位置之间的关系；以及

利用所追踪的该特征的位置以及该特征的位置与该网格点的位置之间的关系，确定该网格表述与该系列影像中每一影像的对准关系。

2.如权利要求1的动画制作方法，更包含下列步骤：

针对每一该帧，藉由结合该网格表述与该影像的该对准关系以及对应于该影像的该深度图，确定该网格表述的三维对准关系。

3.如权利要求2的动画制作方法，其中确定该网格表述的该三维对准关系包括：针对该网格表述上的每一网格点，利用该网格点在该网格表述与该影像的该对准关系中的二维坐标选择该深度图中的一位置，藉以确定该网格点的位置的深度坐标。

4.如权利要求3的动画制作方法，其中就该网格点的至少某些位置而言，确定该网格点的位置的该深度坐标包括对该深度图中的深度值进行插值。

5.如权利要求2的动画制作方法，更包含：

根据该网格表述在连续帧中所确定的该三维对准关系渲染一动画。

6.如权利要求1的动画制作方法，其中已接收的每一该帧的该深度图及该影像系表述于同一组坐标位置。

7.如权利要求6的动画制作方法，其中该组坐标位置包含一矩形栅格上的至少250000个坐标位置。

8.如权利要求1的动画制作方法，其中该选择及追踪包括针对每一帧，从该帧的该影像确定一曲率图。

9.如权利要求8的动画制作方法，其中确定该曲率图包含确定一平滑化的三维影像，然后从该平滑化的三维影像确定一曲率图。

10.如权利要求9的动画制作方法，其中确定该平滑化的三维影像包含将一曲面平滑化方法应用到一根据该影像的强度所形成的曲面。

11.如权利要求10的动画制作方法，其中应用该曲面平滑化方法包含应用一高斯加权曲面平滑化方法。

12.如权利要求8的动画制作方法，其中从该影像确定一曲率图包含确定该影像中多个点的高斯曲率。

13.如权利要求1的动画制作方法，其中根据该影像的一系列经处理后的形式进行的该选择及追踪包含将一金出-卢卡斯-托玛斯（Kanade-Lucas-Tomasi; KLT）特征追踪器应用于该影像经处理后的形式。

14.如权利要求1的动画制作方法，其中形成该特征的位置与该网格点的位置之间的关系包含确定可描述该关系的重心坐标。

15.如权利要求1的动画制作方法，更包含：

确定该对象之一实体部位在该影像的某一帧中的位置，并将所确定的位置关联到所追踪的该特征在该帧影像中的该位置；以及

根据该位置与所追踪的该特征之间的关系以及所追踪的该特征的位置，确定该实体部位在其他帧中的位置。

16.如权利要求15的动画制作方法，其中该对象的该实体部位包含该对象的一眼睛与一嘴巴的至少其中之一。

17.如权利要求15的动画制作方法，更包含根据所确定的该实体部位的位置渲染该对象。

18.如权利要求1的动画制作方法，其中该接收一对象的该系列帧包含利用三维摄影机取得该系列帧。

Images