CN101401129B - 用于创建脸部动画的方法和设备 - Google Patents

Abstract

本发明提供了利用脸部网格来创建脸部动画的技术。该技术包括确定脸部网格序列。然后使脸部网格序列的一部分适合脸部图像。例如，使脸部网格序列的第一帧适合图像。然后基于适合，将脸部图像投影到脸部网格部分上。此外，可以生成头发模型并且将其配备到脸部网格序列上。此外，可以算出脸部网格的序列之间的色差。然后播放脸部网格序列以创建针对脸部图像的脸部动画序列。所产生的色差还可以在序列正在被播放时，被加入所述序列。因此，对脸部网格序列的播放创建了脸部图像的真实的脸部动画。

Description

用于创建脸部动画的方法和设备

相关申请的交叉引用

本申请要求2006年1月10日递交的题为“Method and Apparatus for Creating Facial Animation”的美国临时专利申请第60/758,122号以及2006年3月31日递交的题为“Techniques for Creating Facial Animation Using a Face Mesh”的美国专利申请第11/396,159号的优先权，这些美国专利申请的全部内容通过引用被结合于此。 

技术领域

本发明的实施例一般地涉及计算机图形学，并且更具体地涉及利用脸部网格创建脸部动画(facial animation)的技术。 

背景技术

在计算机图形学领域中，自动生成真实的脸部动画是最困难的问题之一。例如，针对一个人大笑(或者执行任何其他动作)过程中的变化来创建真实自然的表情是非常困难的。这是因为大部分人对脸部表情的微小变化十分敏感。当人们看到其中没有精细地赋予微小变化的、由计算机生成的图形时，动画看起来并不真实。 

为了创建脸部动画，可以手动输入脸部表情的变化以创建动画。例如，需要针对确切的形态、每个部分的运动的确切定时以及伴随着脸部形态改变的皮肤明暗变化来输入条件。这需要专业技能和大量时间。即使经手动输入的变化创建了真实的脸部动画，用于输入这些变化的时间量也可能使其变得不值得。此外，当仅使用单个用户图像作为输入时，创建动画变得更加困难。即使在手动输入了变化的情况下，作为结果得到的脸部表情也可能不真实。 

发明内容

本发明的实施例一般地涉及利用脸部网格来创建脸部动画的技术。在一个实施例中，该技术包括确定脸部网格序列(face mesh sequence)。然后使脸部网格序列的一部分适合脸部图像。例如，使脸部网格序列的第一帧适合图像。然后基于适合，将脸部图像投影到脸部网格部分上。此外，可以生成头发模型并且将其配备到脸部网格序列上。此外，可以算出脸部网格的序列之间的色差。然后播放脸部网格序列以创建针对脸部图像的脸部动画序列。所产生的色差还可以在序列正在被播放时，被添加到所述序列。因此，对脸部网格序列的播放创建了脸部图像的真实的脸部动画。 

在一个实施例中，提供了一种用于创建脸部动画的方法。该方法包括：确定脸部网格序列；使脸部网格序列的脸部网格适合二维的脸部图像，其中在适合过程中确定脸部网格的顶点的偏移量值；基于适合，将脸部图像作为纹理投影到脸部网格上；将顶点的偏移量值加到脸部网格序列中的后续脸部网格中；以及播放脸部网格序列以创建针对脸部图像的脸部动画。 

在一个实施例中，提供了一种用于创建脸部动画的设备。该设备包括：被配置为确定脸部网格序列的单元；被配置为使脸部网格序列的脸部网格适合二维的脸部图像的单元，其中在适合过程中确定脸部网格的顶点的偏移量值；被配置为基于适合将脸部图像作为纹理投影到脸部网格上的单元；被配置为将顶点的偏移量值加到脸部网格序列中的后续脸部网格中的单元；以及被配置为播放脸部网格序列以创建针对脸部图像的脸部动画的单元。 

通过参考本说明书的其余部分和附图，可以认识到对在此公开的本发明的本质和优点的进一步理解。 

附图说明

图1示出根据本发明一个实施例的用于创建脸部动画的方法的简化流程图。 

图2示出用于使脸部网格序列的脸部网格适合脸部图像的方法的简化 流程图。 

图3示出根据本发明一个实施例的脸部图像和特征点的示例。 

图4示出根据本发明一个实施例的具有特征点的脸部网格。 

图5示出根据本发明一个实施例的初始适合(fitting)。 

图6示出通过缩放、平移和旋转而使其合适了的脸部网格。 

图7示出根据本发明一个实施例的将脸部网格的特征点匹配到脸部图像的特征点上的匹配。 

图8示出如作为纹理(texture)被投影到脸部网格上的图像。 

图9示出根据本发明一个实施例的用于生成头发模型的方法的简化流程图。 

图10示出根据本发明一个实施例的头发区域的掩模图像(mask image)。 

图11示出被投影到脸部网格上的头发模型。 

图12示出根据本发明一个实施例的用于计算色差的方法的简化流程图。 

图13示出根据本发明一个实施例的色差。 

图14示出当针对顶点不使用色差和使用色差时的差别。 

图15示出根据本发明一个实施例的用于创建脸部动画的简化流程图。 

图16示出根据一个实施例的所创建动画的结果。 

图17示出根据一个实施例的加入了色差和未加入色差的图像。 

具体实施方式

概述

脸部网格(face mesh)序列可以用于创建脸部动画。脸部网格序列可以是在每次表情改变或者话音落下之间获取的一组脸部形态网格。脸部网格序列是当再现时看起来连贯的一个级别，例如，每秒多于20帧。序列的每个脸部网格可以细致地(例如大约20,000个顶点)表现脸部形态。可以针对脸部网格序列的每一帧来获取每个顶点的位置、移动量和颜色数 据。 

在一个实施例中，通过使用已知系统，用户(例如，一个人)的脸部网格序列是可获取的。脸部网格序列可以是其图像将被用于创建脸部动画的用户的。然而，如果不能够得到该用户的脸部网格，那么可以使用另一用户的脸部网格。然后可以将该另一用户的脸部网格修改为适合该用户的图像。 

图1示出根据本发明一个实施例的用于创建脸部动画的方法的简化流程图100。步骤102确定脸部网格序列。脸部网格序列可以捕捉自用户。 

步骤104使脸部网格序列的脸部网格适合脸部图像。脸部图像可以是捕捉了其脸部网格序列的相同用户的图像(例如，照片)。然而，在其他实施例中，脸部网格序列和脸部图像可以捕捉自不同用户。该脸部网格可以是脸部网格序列的第一帧。该第一帧可以对应于脸部图像。 

适合(fitting)处理可以使脸部网格变形。可以基于脸部网格和变形后的脸部网格来确定偏移量(displacement)值。这些值被保存并且随后在播放脸部网格序列时被用于使脸部网格序列中的所有脸部网格变形。 

步骤106根据脸部网格生成头发模型。头发模型创建用于头发的脸部网格区域。在下文中将更详细地描述该处理。 

步骤108计算脸部网格序列中的脸部网格的色差(difference in color)。可以针对序列中的不同脸部网格中的顶点来计算色差。在下文中将更详细地描述包括色差的效果，然而，结果是在脸部动画中显示出伴随形态变化的明暗变化。 

步骤110将脸部图像投影到脸部网格和头发网格上。因此，所包括的脸部网格示出除头发外的脸部图像。 

步骤112利用偏移量值和经计算的色差，与头发模型一起来播放脸部网格序列。可以将偏移量值加入脸部网格序列中的所有脸部网格。此外，加入色差。然后，播放脸部网格序列。当播放脸部网格序列时，脸部图像的动画被提供。通过加入经计算的色差，明暗的变化被示出。 

脸部网格适合处理

图2示出用于使脸部网格序列的脸部网格适合脸部图像的方法的简化流程图200。虽然描述了这种方法，但是应认识到，能够想到该方法的变体。 

步骤202载入脸部图像和脸部图像的特征点。特征点可以是脸部图像上的任何点。例如，可以在找到了脸部图像的区别特征的位置处选择特征点，例如眼睛、嘴、鼻子等处。可以通过使用已知方法来获取特征点。 

图3示出根据本发明一个实施例的脸部图像和特征点的示例。如图所示，在脸部图像300中，特征点302被示出为白点。在一个实施例中，特征点位于眼睛、嘴、耳朵和下巴附近。虽然示出了这些特征点302，但是应认识到，也可以使用其他的特征点302。 

步骤204将脸部图像300置于XY平面上。XY平面可以显示在任何计算设备上。 

步骤206载入脸部网格序列的脸部网格和脸部网格的特征点。所载入的脸部网格可以是脸部网格序列的一部分，例如脸部网格序列的一帧。在一个实施例中，从在脸部图像300中找到的用户获取脸部网格序列的第一帧。脸部网格可以是捕捉自脸部网格序列的3D网格。利用在脸部图像300中寻找特征点时使用的相同算法，可以确定在脸部网格上找到的特征点。 

图4示出根据本发明一个实施例的具有特征点402的脸部网格400。特征点402可以是脸部网格400中的顶点(例如，3D空间中具有特定位置的点)。特征点402可以由用户或者通过处理来确定。在一个实施例中，特征点402被置于眼睛、嘴、耳朵和下巴附近。 

步骤208使脸部网格400大概地对准脸部图像300。可以自动或手动执行该对准。图5示出根据本发明一个实施例的初始适合。如所示出的，已经将脸部网格400大概地配备(fit)在脸部图像300中的脸部之上。如所示出的，脸部网格400并没有完全覆盖脸部。因此，可能还需要调节。 

步骤210通过缩放来使被投影到图像平面的脸部网格特征点402和图像特征点302之间的距离之和最小化。可以将已知等式用于使脸部网格特征点402和图像特征点302之间的距离最小化。例如，缩放可以减小或增 大脸部网格400的尺寸以适合脸部图像300。 

步骤212利用平移和旋转来使被投影到图像平面的脸部网格特征点402和图像特征点302之间的距离之和最小化。可以将已知等式用于最小化脸部网格特征点402和图像特征点302之间的距离。平移可以移动脸部网格400以与脸部图像300相匹配。类似地，脸部网格400可以被旋转以与脸部图像300相匹配。 

步骤214判断最小化是否收敛。也就是，判断特征点302和被投影到图像平面的相应特征点402之间的距离之和是否被最小化。如果判断特征点302和特征点402不收敛，那么重复步骤210和212。 

如果它们收敛，那么步骤216保存在步骤210和212所确定的缩放、平移和旋转参数。这些参数是用于缩放、平移和旋转脸部网格400的参数。 

步骤218移动XY平面上的脸部网格400的特征点402以与脸部图像300的特征点302相匹配。最小化脸部网格特征点402和脸部图像特征点302之间的和可能尚未使它们完全匹配。因此，执行该调节步骤以使它们相匹配。 

步骤220根据脸部网格特征点402和脸部图像特征点302的偏移量来移动所有顶点。可以利用基于在步骤222中获得的特征点偏移量的径向基函数来计算这些偏移量。径向基函数是可以用于使计算机图形中的对象变形的内插方法。还可以想到其他函数。 

图6示出通过缩放、平移和旋转而合适了的脸部网格400。如所示出的，脸部网格400大致对应于用户的脸。脸部网格400通过变大而进行了缩放并且还经过了旋转和平移以与脸部图像300相匹配。然而，脸部网格特征点402可能尚未与图像特征点302完全匹配。例如，在眼部周围，特征点402并没有与特征点302完全匹配。然后移动特征点402以与特征点302相匹配。此外，然后基于脸部网格特征点402的移动来移动脸部网格400的其他顶点。 

图7示出根据本发明一个实施例的将特征点402匹配到脸部图像300的特征点302上的匹配。如所示出的，脸部网格特征点402和图像特征点 302彼此匹配。 

步骤222保存原始的和变形后的脸部网格400之间的顶点偏移量值。当随后播放脸部网格序列时将使用偏移量值。使用偏移量值来使脸部网格400与脸部图像300对准。 

步骤224将脸部图像300作为纹理投影到脸部网格400上。因此，用户的脸部图像被投影到脸部网格上。图8示出如作为纹理而被投影到脸部网格400上的脸部图像300。如所示出的，脸部被示出为脸部网格400上的纹理。 

头发建模处理

在使脸部网格400适合脸部图像300后，还可以生成头发模型。因为脸部网格可能没有对头发进行建模，所以生成头发模型。因此，头发模型被生成并且被包括在脸部网格中从而使得来自脸部图像300的头发可以作为纹理被投影于脸部网格上。图9示出根据本发明一个实施例的用于生成头发模型的方法的简化流程图900。 

步骤902将脸部网格400载入到XY平面上的方格网上。XY平面例如可以是100×100的栅格。脸部网格400是3D图像并且XY平面是2D的。因此，脸部网格400需要被置于Z空间中的某一位置。例如，脸部网格400可以被载入从而使得其Z值朝向正轴(即，如果看着显示屏，那么XY平面在脸部网格的后部或者脸部的前部从XY平面朝向前方)。虽然描述了方格网，但是也可以利用3D多边形而非方格网来创建头发模型。 

因为脸部网格400是3D模型，所以在Z方向上移动XY平面的栅格点以匹配脸部网格400上的点。这产生了栅格的3D模型。因此，步骤904针对每个栅格点判断其是否被脸部网格702包藏(occlude)(即，阻障(obstruct))。如果栅格点被脸部网格702包藏，那么步骤906将栅格点移至其与脸部网格400相交的点。例如，在正方向上移动栅格点(即，向前)，直到它与相应的脸部网格400的值的Z值相交为止。 

步骤908然后判断是否处理了所有的栅格点。如果没有，那么处理重回到步骤904以处理另一栅格点。 

如果栅格点没有被脸部网格702包藏，那么不移动脸部网格。这是脸部网格400外部的区域。 

一旦处理了所有的栅格点，步骤910就载入头发区域的掩模图像1002。可以利用已知方法对头发区域进行建模。 

图10示出根据本发明一个实施例的头发区域的掩模图像1002。如所示出的，头发区域的掩模图像1002对可以被捕捉到的头发区域进行建模。例如，可以得到脸部图像300中的头发轮廓。然后可以将掩模图像1002设定在脸部网格400上。 

可能存在包括头发区域的脸部网格400的某些区域。针对脸部网格400上的点，这些区域在正的Z方向上被略微升高。这是因为在动画中，对于逼真的动画而言，头发可以自皮肤升高。应认识到，在某些实施例中，不必升高头发。 

步骤912针对每个栅格点判断其是否被脸部网格400包藏。如果栅格点没有被脸部网格包藏，那么处理继续到步骤918。此外，如果步骤914中的掩模值不在指示其是头发的点处，那么处理前进到步骤918，步骤918判断是否已经处理了所有的栅格点。如果没有，那么处理重回到步骤912。 

如果栅格点被脸部网格400包藏，那么步骤914判断在所述点处的掩模值是否指示其是头发。例如，可以在对应于栅格像素的位置处计算脸部网格400上的头发的值。在步骤916，如果值为1，那么所述点的Z值可以被略微增大。为了确定脸部网格400上的顶点具有值1，顶点被投影到掩模图像1002上，并且掩模值在那里被检验。如果值为1，那么顶点是头发的一部分。这是因为所述点是作为头发区域的掩模图像1002的一部分。 

步骤918判断是否处理了所有的栅格点。如果没有，那么处理重回到步骤912。 

当处理了所有的栅格点时，可以处理由掩模图像1002所包藏的点。步骤920针对每个栅格点P判断其是否是指示“头发”的掩模值的掩模图像1002的一部分并且未被脸部网格400所包藏。也就是，是否是掩模图 像1002的栅格点的一部分而非脸部网格400的一部分。如果不是，那么不执行任何操作并且处理前进到如下文所述的步骤928。 

如果掩模值指示其是头发，那么以对人的头发进行建模的方式来升高栅格点。例如，一个人的头发可以在Z方向上被略微地向后缩放。这可以通过使用如下的步骤来进行建模。步骤922计算最近的包藏点(O)。步骤924然后沿着线OP(然而不是在线段OP上)确定头发和非头发之间的边界点Q。 

步骤926利用诸如等式Pz＝Qz+w*(Oz-Qz)之类的等式来计算P的Z值。Pz、Oz和Qz分布是P、O和Q的Z值。此外，w＝1-OP/OQ^2。这针对栅格点P内插Z值。应认识到，能够想到针对栅格点P来内插Z值的其他方法。 

步骤928判断是否处理了所有的栅格点。如果否，那么处理重回到步骤920。如果是，那么处理前进到步骤930，在步骤930，将脸部图像作为纹理投影到脸部网格上。 

当处理了所有的栅格点时，就生成了头发模型。头发模型是这样一种网格，其顶点是栅格点。图11示出头发模型1100。 

色差

还可以计算脸部网格序列中的顶点色差。这从不同表情中捕捉色差。例如，当脸部从一种表情变到另一种表情，某些区域的颜色可能变浅或变深。这些色差被算出并且随后针对脸部动画被添加。图12示出根据本发明一个实施例的用于计算色差的方法的简化流程图1200。 

步骤1202载入脸部网格序列。步骤1204将脸部网格400(例如，脸部网格序列的第一个脸部网格)设定为基础脸部网格。基础脸部网格可以是脸部网格序列的第一帧。基础脸部网格可以是接近于在脸部图像300中找到的表情的表情。此外，在另一实施例中，基础脸部网格可以是所有脸部网格的平均形状。 

步骤1206在基础网格和序列中的其他脸部网格之间，针对每个顶点计算色差。可以利用已知方法来计算色差。所述差值可以是颜色从基础脸 部网格到另一脸部网格应该被增大或者被减小的值。可以基于RGB(红、绿、蓝)模型来计算色差。色差可以是在顶点处从基础脸部网格的颜色值中减去后一脸部网格的颜色值。正的色差可以是更浅的颜色，并且负的色差是更深的颜色。 

在一个实施例中，可以忽略任何正的色差。这些差值可能在图像上产生白点。因此，仅负的色差可以被使用。此外，如果由色差所导致的结果纹理看起来不太好(例如在嘴部或眼角周围)，那么可以在那些区域中忽略色差。 

在另一实施例中，可以将色差表示为灰阶而非诸如RGB颜色方案之类的每个彩色通道中的差值。可以通过检测超过某一阈值的色差并且将其作为不同颜色(例如，黑色和白色)应用于基础纹理，来创建夸张的脸部(就颜色而言)。表情比率图的3D版本可以用于表示色差。 

此外，可以将添加色差的选项表示为纹理混合(blending)而非基于顶点的操作。在这种情况下，色差首先被渲染。然后将结果图像添加到所渲染的脸部网格图像。这是一种图像混合。可以针对每个顶点来添加色差(这在上文中进行了描述)。或者，色差可以分别被渲染在“非差值添加”的网格和通过色差被着色的相同网格中，然后两个所渲染的图像基于像素相加。任一种方式都可以添加色差。 

图13示出根据本发明一个实施例的色差。上方一行1302示出没有颜色的脸部网格。行1304示出包括颜色的图像。作为参考，行1304示出序列的最初捕捉看起来的样子。 

每个脸部网格1306和相应的脸部图像1308被示出。可以计算脸部网格1306之间的色差。例如，可以计算脸部网格1306-1和脸部网格1306-2之间的色差、脸部网格1306-1和脸部网格1306-3之间的色差等。 

步骤1208然后针对每个顶点来存储色差。当随后播放脸部网格序列时，将使用所述色差。 

图14示出原始脸部网格中的当脸部眯着眼睛时的色差。如所示出的，图像1404示出当表情从图像1402变化时在表情中出现的颜色变化。如所示出的，圆圈1408示出从圆圈1406中的图像变化而来的暗部。 

图15示出根据本发明一个实施例的用于创建脸部动画的简化流程图1500。步骤1502载入脸部网格序列和头发模型。 

步骤1504针对脸部网格序列中的每个脸部网格来应用缩放、平移和旋转。在图2的步骤216中保存了这些值。这使脸部网格序列中的脸部网格与脸部图像300对准。 

步骤1506将脸部图像302作为纹理投影到基础网格和头发模型上。因此，脸部图像被示出在脸部网格上。 

步骤1508将顶点的偏移量加入所有网格。这是在图2的步骤222中所保存的偏移量值。这使特征点和顶点与脸部图像300相匹配。此外，可以使用从基础网格到其他网格的偏移量差值，而不是针对每个网格得到顶点位置和偏移量值。例如，基础网格可以具有针对顶点的第一偏移量值。可以存储针对下一脸部网格的值的差值来替代新值。 

步骤1510将在图12的步骤1206中保存的色差添加到所有的脸部网格。此外，可以使用从基础网格到其他网格的色差，而不是针对每个网格得到顶点位置和色差。例如，基础网格可能具有针对顶点的第一色差。可以存储针对下一脸部网格的值的差值来替代新值。 

步骤1512然后播放脸部网格序列。通过播放脸部网格序列而创建了简单、自然并且十分真实的脸部动画。通过使用仅一幅基础图像(例如一帧或者一副图像)和脸部网格序列而提供了该动画。 

图16示出根据一个实施例的所创建动画的结果。如所示出的，脸部动画看起来十分真实。通过使用脸部网格序列，在脸部图像300上创建了不同的表情。 

图17示出根据一个实施例的添加了色差和没有添加色差的图像。图像1702示出当添加了色差时的图像，并且图像1704示出了没有添加色差的图像。如所示出的，图像1702中的表情示出根据脸部表情的变化而创建的明暗变化。如所示出的，在图像1702中，鼻梁和皱纹被更多地限定。 

在其他实施例中，通过使用上述方法可以创建语音动画。例如，通过使音素(phoneme)的脸部网格(称作visim)与语音音频同步来创建口型 同步动画。因此，通过本发明的实施例能够想到其他的动画。 

虽然关于其具体实施例而描述了本发明，但是这些实施例仅是说明性的，并且不会对本发明构成限制。 

可以将任何适当的编程语言，包括C、C++、Java、汇编语言等，用于实现本发明实施例的程序。可以采用诸如过程的或者面向对象的之类的不同编程技术。可以在单个处理设备或者多个处理器上执行例程。虽然可能以特定的顺序呈现步骤、操作或者计算，但是在不同的实施例中可以改变该顺序。在某些实施例中，可以同时执行在本说明书中被示出为有顺序的多个步骤。可以中断、中止或者由诸如操作系统、核心(kernel)等之类的另一处理来控制在此描述的操作序列。例程可以在操作系统环境中运行，或者作为占用系统处理的全部或者相当大一部分的独立程序运行。可以在硬件、软件或者二者的组合中执行功能。除非另有说明，还可以整体地或者部分地手动执行功能。 

在本文的描述中，为了提供对本发明实施例的全面理解，提供了诸如组件和/或方法的示例之类的大量具体细节。然而，相关技术领域中的技术人员应认识到，可以实践本发明的实施例而不需要一个或多个所述的具体细节，或者可以通过其他装置、系统、组合件、方法、组件、材料、部分和/或类似物来实践本发明。在其他情况下，为了避免使本发明实施例的各个方面变得模糊，并没有具体示出或详细描述为人熟知的结构、材料或者操作。 

用于实现本发明实施例目的的“计算机可读介质”可以是能够包含、存储、传送、传播或者传输由指令执行系统、装置、系统或设备所使用的或者与指令执行系统、装置、系统或设备结合使用的程序的任何介质。仅作为示例而非作为限制，计算机可读介质可以是电、磁、光、电磁、红外或半导体系统、装置、系统、设备、传播介质或者计算机存储器。 

可以以软件、硬件或者二者的组合中的控制逻辑的形式来实现本发明的实施例。控制逻辑可以被存储在诸如计算机可读介质之类的信息存储介质中，作为适用于指示信息处理设备执行在本发明实施例中所公开的一组步骤的多个指令。基于在此提供的公开和教导，本领域中的普通技术人员 将想到实现本发明的其他方式和/或方法。 

“处理器”或“处理”包括处理数据、信号或其他信息的任何人力、硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路或者其他系统的系统。处理不必受限于地理位置或具有时间限制。例如，处理器可以以“实时”、“离线”、在“批处理模式”中等方式来执行其功能。可以由不同(或相同)处理系统在不同时间并且在不同位置执行处理部分。 

在整个本说明书中提到的“一个实施例”、“实施例”或“具体实施例”表示结合实施例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中，并且不一定被包括在所有实施例中。因此，在本说明中不同地方分别出现的短语“在一个实施例中”、“在实施例中”或者“在具体实施例中”不一定指代相同实施例。此外，可以以任何适当的方式将本发明任一具体实施例的特定特征、结构或特性与一个或多个其他实施例相结合。应理解，鉴于本文的教导，在本文中描述并示出的本发明实施例的其他变体和修改是可能的，并且将被视为本发明精神和范围的一部分。 

可以利用经编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光学的、化学的、生物学的、量子或纳米工程系统、组件和机制来实现本发明的实施例。总之，本发明实施例的功能可以通过在本领域中已知的任何方式来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传输可以是有线的、无线的或者通过任何其他方式实现。 

还应理解，在附图/示图中示出的一个或多个元件也可以以更加分散或集中的方式实现，或者根据具体应用如果有用则在某些情况下甚至被去除或被使得不可操作。实现可以被存储在计算机可读介质以允许计算机执行上述任何方法的程序或代码，这也落入本发明的精神和范围之内。 

另外，在附图/示图中的任何信号箭头应该被视为仅是示例性的，而非限制性的，除非另外具体说明。此外，本文中所使用的术语“或者”通常意欲表示“和/或”，除非另外说明。应注意，组件或者步骤的组合也被视为示例性的，其中术语被预见为呈现分离或组合的能力不清楚。 

如在本文的描述和以下权利要求书中所使用的，“一个”和“所述”包括多个参考，除非上下文中另外明确指出。此外，如在本文的描述和以下权利要求书中所使用的，“在…中”的含意包括“在…中”和“在…上”，除非上下文中另外明确指出。 

所示出的本发明实施例的前述描述(包括在摘要中所描述的内容)并非意欲作为详尽的描述或者将本发明限制为在此公开的精确形式。如相关领域中的技术人员将认识到并理解的，虽然仅出于说明性目的在本文中描述本发明的具体实施例和示例，但是落入本发明的精神和范围内的各种等价修改是可能的。如所指示的，鉴于对本发明的示出实施例的前述描述，可以对本发明做出这些修改，并且所述这些修改将被包括在本发明的精神和范围之内。 

因此，虽然在本文中参考其具体实施例描述了本发明，但是在前述公开中意欲存在大量修改，各种改变和替换，并且应理解，在某些情况下，将采用本发明实施例的某些特征而不相应地使用其他特征，而不会背离所提出的本发明的精神和范围。因此，可以做出许多修改以适应具体情况或者本发明的实质范围和精神的要素。期望本发明不受限于在以下权利要求书中所使用的特定术语和/或不受限于作为被预期为实现本发明的最佳模式而公开的特定实施例，然而期望本发明包括落入随附权利要求书范围之内的任何以及所有实施例和等价物。 

Claims (18)

1.一种用于创建脸部动画的方法，所述方法包括：

确定脸部网格序列；

选择所述脸部网格序列中的一脸部网格；

基于一脸部图像的特征和所述脸部网格的特征，使所述脸部网格序列的所述脸部网格适合所述脸部图像；

基于所述脸部图像的特征和所述脸部网格的特征，在所述脸部网格的所述适合过程中确定所述脸部网格的顶点的偏移量值，所述偏移量值被用于使所述脸部网格变形以适合所述脸部图像；

基于所述适合，将所述脸部图像作为纹理投影到所述脸部网格上；

将所述顶点的偏移量值加到所述脸部网格序列中的所述后续脸部网格中；

将所述脸部图像投影到所述后续脸部网格上；以及

使用计算设备来播放所述脸部网格序列以创建针对所述脸部图像的脸部动画，其中所创建的脸部动画是通过使用用以适合所述脸部网格的仅一幅所述脸部图像和所述脸部网格序列而提供的，并且其中使用所述偏移量值来使所述后续脸部网格变形以适合所述脸部图像。

2.如权利要求1所述的方法，还包括：

在顶点处计算所述脸部网格和所述脸部网格序列的每个后续脸部网格之间的色差；并且

在所述顶点处针对每个后续脸部网格添加所述色差，其中当播放所述脸部网格序列时，在每个后续脸部网格中示出所述色差。

3.如权利要求2所述的方法，还包括忽略任何正的色差。

4.如权利要求1所述的方法，还包括：

从所述脸部网格创建头发模型；并且

将所述头发模型配备到所述脸部网格序列中的每个脸部网格上。

5.如权利要求4所述的方法，其中投影所述脸部图像包括将所述脸部图像的头发投影到用于所述脸部网格的所述头发模型上。 

6.如权利要求1所述的方法，其中使所述脸部网格适合包括通过使所述脸部网格的第一特征点到所述脸部图像的第二特征点之间的距离最小化，来确定缩放、旋转和/或平移值。

7.如权利要求6所述的方法，其中所述缩放、旋转和/或平移值被应用于所述后续脸部网格中的所述顶点。

8.如权利要求1所述的方法，其中所述脸部网格序列是人类用户的脸部网格记录。

9.如权利要求1所述的方法，其中所述脸部网格序列的一部分是对应于所述脸部图像的静止图像。

10.一种用于创建脸部动画的设备，所述设备包括：

被配置为确定脸部网格序列的单元；

被配置为选择所述脸部网格序列中的一脸部网格的单元；

被配置为基于一脸部图像的特征和所述脸部网格的特征，使所述脸部网格序列的所述脸部网格适合所述脸部图像的单元；

被配置为基于所述脸部图像的特征和所述脸部网格的特征在所述脸部网格的所述适合过程中确定所述脸部网格的顶点的偏移量值的单元，所述偏移量值被用于使所述脸部网格变形以适合所述脸部图像；

被配置为基于所述适合将所述脸部图像作为纹理投影到所述脸部网格上的单元；

被配置为将所述顶点的偏移量值加到所述脸部网格序列中的所述后续脸部网格中的单元；

被配置为将所述脸部图像投影到所述后续脸部网格上的单元；以及

被配置为播放所述脸部网格序列以创建针对所述脸部图像的脸部动画的单元，其中所创建的脸部动画是通过使用用以适合所述脸部网格的仅一幅所述脸部图像和所述脸部网格序列而提供的，并且其中使用所述偏移量值来使所述后续脸部网格变形以适合所述脸部图像。

11.如权利要求10所述的设备，还包括：

被配置为在顶点处计算所述脸部网格和所述脸部网格序列的每个后续脸部网格之间的色差的单元；以及 

被配置为在所述顶点处针对每个后续脸部网格添加所述色差，其中当播放所述脸部网格序列时，在每个后续脸部网格中示出所述色差的单元。

12.如权利要求11所述的设备，还包括被配置为忽略任何正的色差的单元。

13.如权利要求10所述的设备，还包括：

被配置为从所述脸部网格创建头发模型的单元；以及

被配置为将所述头发模型配备到所述脸部网格序列中的每个脸部网格上的单元。

14.如权利要求13所述的设备，其中所述被配置为投影所述脸部图像的单元包括将所述脸部图像的头发投影到用于所述脸部网格的所述头发模型上。

15.如权利要求10所述的设备，其中所述被配置为使所述脸部网格适合的单元包括被配置为通过最小化所述脸部网格的第一特征点到所述脸部图像的第二特征点之间的距离来确定缩放、旋转和/或平移值的单元。

16.如权利要求15所述的设备，其中所述缩放、旋转和/或平移值被应用于所述后续脸部网格中的所述顶点。

17.如权利要求10所述的设备，其中所述脸部网格序列是人类用户的脸部网格记录。

18.如权利要求10所述的设备，其中所述脸部网格序列的一部分是对应于所述脸部图像的静止图像。 

Images