CN110310349B

CN110310349B - 实时面部动画的在线建模

Info

Publication number: CN110310349B
Application number: CN201910447980.2A
Authority: CN
Inventors: S·布阿兹斯; M·保利
Original assignee: Fistford Ford Co ltd
Current assignee: Fistford Ford Co ltd
Priority date: 2013-06-07
Filing date: 2014-06-04
Publication date: 2023-11-28
Anticipated expiration: 2034-06-04
Also published as: CN105900144A; CN110310349A; CN105900144B; EP3518184B1; US9734617B2; US20200160582A1; AU2014277220A1; US20230024768A1; AU2014277220B2; US11348299B2; US20190156549A1; US20160350958A1; US9378576B2; EP3005302A1; US20140362091A1; US11948238B2; US10192343B2; EP3518184A1; US20170301125A1; EP3005302B1

Abstract

本申请涉及实时面部动画的在线建模。本发明的实施例涉及一种用于实时面部动画的方法和一种用于实时面部动画的处理设备。该方法包括提供动态表情模型、接收与用户的面部表情对应的跟踪数据、基于动态表情模型和跟踪数据来估计跟踪参数、并基于跟踪数据和所估计的跟踪参数来改进动态表情模型。该方法还可包括基于跟踪参数来生成与用户的面部表情对应的图形表示。本发明的实施例涉及一种实时面部动画系统。

Description

实时面部动画的在线建模

本申请是申请日为2014年6月4日、发明名称为“实时面部动画的在线建模”的中国专利申请201480044480.X的分案申请。

技术领域

本公开涉及用于实时面部动画的方法，具体地涉及处理设备和实时面部动画系统。此外，本公开涉及动态表情模型，该动态表情模型可包括可用于跟踪用户的面部表情以生成对应图形表示的多个融合变形。

背景技术

实时表现捕捉的最新进展已经使得新形式的人类通信变得触手可及。捕捉用户的动态面部表情并将这些面部表情重定向在数字人物上使得能够实现具有实时反馈的使用虚拟化身的通信。与经由只提供有限能力来改变用户外貌的记录视频流进行通信相比，面部动画为在计算机游戏、社交网络、电视、培训、客户支持、或其他形式的在线交互中的极具吸引力的新应用打开了大门。然而，大规模成功部署面部动画技术对性能和可用性提出了很高的要求。

在高端动画制作中常用的现有技术中基于标记的系统、多相机捕捉设备、或侵入式扫描设备并不适于消费者级的应用。需要复杂的校准或必需大量手动辅助来设置或创建系统的方法同样是不合适的。

已经提出了几种用于面部跟踪的实时方法。然而，基于视频的方法通常跟踪几个面部特征，并且常常缺少细小尺度的细节，这限制了所得到的动画的质量。跟踪性能在光照条件不好时也可能劣化，例如家居环境中通常发生此种情况。

现有技术的方法还要求事先创建跟踪模型和大量训练，这就要求通过扫描和处理预定的一组面部表情来构建用户的精确的3D表情模型。除了耗时之外，这样的预处理还是有错误的。通常要求用户在传感器前面以特定静止姿势移动其头部，以积累足够的信息。然而，呈现和保持正确姿势(例如以特定的预定张开角度保持嘴张开)可能是令人疲惫且困难的，并且常常需要多次尝试。此外，需要手动校正和参数调整来实现令人满意的跟踪结果。因此，特定于用户的校准对于消费者级应用中的部署而言是严重的妨碍。

基于面部表现捕捉来以动画方式显示数字人物在本领域中是已知的。例如，基于标记的系统被用于捕捉实时表现，其中显式面部标记可被放置在用户面部上以便简化跟踪。然而，面部标记限制了能捕获的空间细节的量。利用单个相机来记录面部表现的系统常常获得在所生成的面部动画中包含人工痕迹的非常低的跟踪质量。基于密集3D采集的表现捕捉系统诸如结构化光扫描设备或多视角相机系统能捕捉细小尺度的动态，但需要大量的处理时间，从而妨碍了交互帧速率。此外，应用标记和3D扫描的组合的系统常常要求需要大量细致校准的专门硬件设置。

鉴于以上考虑，本公开的一个目的是将面部跟踪改善足够准确和快速，以创建与被捕捉用户的表现完全匹配的似真的反应灵敏的动画，而其又适于或能够容易地适配于消费者级应用，消费者级应用要求最低的硬件设置、实时性能、以及没有复杂的手动校准或大量预处理。

因此，在本领域中需要实时面部动画，从而简化捕捉工作流程并且实现实时应用中更精确的面部跟踪。

发明内容

本发明的实施例涉及一种用于实时面部动画的方法、一种用于实时面部动画的处理设备、和一种实时面部动画系统。具体的实施例涉及存储有用于执行实时面部动画方法和实时面部动画系统的计算机可读指令的计算机可读介质。

本公开的第一方面提供了一种用于实时面部动画的方法，包括提供动态表情模型以及接收与用户的面部表情对应的跟踪数据。基于动态表情模型和跟踪数据来估计跟踪参数。此外，基于跟踪数据和所估计的跟踪参数来改进动态表情模型。

跟踪数据可被组织在帧中，其中跟踪数据的每个帧对应于在这个帧中捕捉到的用户的特定面部表情。因此，跟踪数据可包括一个或多个帧，并且跟踪数据的每个帧可对应于根据用户的面部表现的用户的当前面部表情。例如，跟踪数据可作为光学3D和/或2D数据来提供，诸如包括深度信息的一系列视频帧，其可由商用的RGB-D感测设备来提供。然而，本公开并不仅仅限于特定的感测设备或光学数据，并且还可包括电磁或声学跟踪数据。跟踪数据的每个帧可被用于估计跟踪参数，跟踪参数可进一步被用于生成与当前帧对应的当前面部表情的图形表示。跟踪数据的帧结合所估计的跟踪参数可进一步被用于改进动态表情模型。因此，初始动态表情模型可被直接用于跟踪，并且不断地根据在线建模方法被改进以更好地匹配用户的面部特征。在本说明书中，术语“在线建模”是在在线算法或方法的意义上来使用的，其在开始时不具有完整输入(诸如跟踪数据的所有帧)可供使用的情况下以串行方式逐个地处理输入，例如按输入被提供给算法的顺序进行处理。因此，在线算法可与直接需要完整输入数据的离线算法相对地来理解。因此，可通过串行方式使用每个帧中的当前跟踪数据来不断地改进动态表情模型。

动态表情模型可以是具有表情的参数化面部模型，其中各个参数可被用于将表情适配于用户的面部几何形态和表现。

在优选实施例中，动态表情模型包括多个融合变形，并且跟踪参数包括融合变形的权重。

动态表情模型的融合变形可被组织成一组融合变形，其中每个融合变形可对应于适于表示面部表情的几何3D表面的多边形网格或点云或任何其他表示。每个融合变形可优选地对应于例如与通用面部动画控制器的预定义语义匹配的预定义的面部表情，诸如微笑、皱眉、张嘴等。优选地，多个融合变形可包括具有相同静态网格组合的3D网格，其可由提供简洁表示的堆叠坐标向量来表示。

融合变形可被加权组合以生成面部表情，其近似于由当前跟踪数据(诸如帧的跟踪数据)限定的用户的面部表情。融合变形表示很好地适于实时表现捕捉，因为其将对用户单独特征的详细跟踪减少至估计每个帧中融合变形的相应权重。一旦权重被估计，权重就可被用于用户的面部动画，并且结合跟踪数据而被用于对动态表情模型的进一步改进。在完全集成到面部表情跟踪过程的过程期间，动态表情模型和这多个融合变形与用户的单独面部特征更好地匹配。因此，动态表情模型可在运行中被适配于特定用户，而不需要任何手动辅助。因此，可与跟踪过程同时构建或改进与被跟踪用户对应的特定多个融合变形，从而不需要在先前的训练或校准阶段。相反，从粗略的初始估计开始，动态表情模型随着跟踪进展而不断改进。

根据优选实施例，对跟踪参数的所述估计和对动态表情模型的所述改进是实时执行的。对用于用户跟踪的例如具有固定的一组融合变形的动态表情模型的唯一选择和对动态表情模型的综合改进使得能够实现实时处理。因此，该方法产生了一种适于大范围应用诸如消费者级应用的全自动的实时面部跟踪动画系统。

根据本公开的主题面部动画方法的实施例提供了实时面部跟踪和动画，并且不需要特定于用户的训练或校准或者任何其他形式的手动辅助，从而使得能够大范围地应用基于表现的面部动画和虚拟交互，例如消费者级应用。实施例可提高跟踪质量，同时将采集系统保持为足够简单从而用于消费者级应用并且避免任何手动系统校准或训练。具体地，方法的实施例既不需要特定于用户的预处理也不需要任何校准或用户辅助的训练，从而使任何新用户能够直接操作跟踪系统。

根据另一个优选实施例，对跟踪参数诸如动态表情模型的融合变形的权重的所述估计在第一阶段中执行，而对动态表情模型的所述改进在第二阶段中执行，其中第一阶段和第二阶段迭代地重复。因此，在第一阶段中，可在保持动态表情模型固定不变的情况下估计跟踪数据与跟踪参数诸如融合变形权重的刚性对准。在第二阶段中，可在保持跟踪参数固定不变的情况下改进特定于用户的动态表情模型。因此，在面部跟踪被实时完成的同时，可按照在线建模方法不断地针对当前被跟踪用户而改进动态表情模型。例如，可针对被跟踪用户的面部表现和几何形态来改进动态表情模型的固定数量的融合变形。改进方法是有利的，因为不需要例如通过添加另外的融合变形来扩展动态表情模型。使用固定数量的融合变形优化了存储器消耗和计算性能。

在另一个优选实施例中，基于跟踪参数来生成与用户的面部表情对应的图形表示。图形表示可被用于渲染用户的动画视觉表示。可在同一处理模块中或在同一处理设备上执行生成图形表示。然而，也可在另一处理模块、过程、任务中或在另一处理设备上执行生成图形表示。例如，根据实施例的一个或多个处理步骤可使用编程接口或工具包诸如应用编程接口(API)或软件开发工具包(SDK)来封装。此类编程接口或工具包例如可将一个或多个所述跟踪参数、以及动态表情模型提供给另一处理实体，所述另一处理实体随后可生成和渲染图形表示。

在另一个实施例中，方法还包括接收与用户的面部表情对应的另外的跟踪数据、基于所述另外的跟踪数据来估计改进的动态表情模型的融合变形的更新后权重、以及基于所述更新后权重来生成图形表示。该方法可迭代地重复，其中第一阶段和第二阶段可在每个帧中交错。

在另一个实施例中，方法还包括接收与用户中性面部表情对应的跟踪数据以及使用与用户中性面部表情对应的跟踪数据对动态表情模型初始化。用户可例如以中性面部表情进入跟踪传感器的视场。对应的跟踪数据可被用于初始化动态表情模型的所述多个融合变形中的至少一个融合变形，以便反映用户的中性面部表情。中性面部表情的这个初始近似值可在后续改变诸如第一阶段和第二阶段的改变中被进一步改进。

根据一个实施例，所述多个融合变形至少包括表示中性面部表情的融合变形b₀，并且动态表情模型还包括身份主成分分析(PCA)模型，该方法还包括基于跟踪数据和身份PCA模型来将表示中性面部表情的融合变形b₀匹配至用户的中性表情。身份PCA模型可表示不同用户的面部几何形态的变化，并且可被用于将所述多个融合变形(包括融合变形b₀)初始化为用户的面部几何形态。面部几何形态的变化可例如以例如由V.Blanz V.和T.Vetter在“A morphable model for the syntheses of 3D faces”，SIGGRAPH 1999中提出的形变模型来捕捉，该文献整体并入本文中。给定在中性表情中具有一对一顶点对应关系的一大组不同的人脸网格，则可使用网格的堆叠顶点坐标向量上的PCA来构建简化的表示。身份PCA模型可包括所得到的平均面部和形成标准正交基的一个或多个本征向量。因此，表示特定用户的中性面部表情的融合变形b₀可被估计为平均面部与所述本征向量中的至少一些本征向量的具有合适线性系数的线性组合，使得融合变形b₀近似于由跟踪数据所表示的面部表情。

在另一个实施例中，所述多个融合变形还包括分别表示不同面部表情的一个或多个融合变形b_i，并且动态表情模型还包括模板融合变形模型，该方法还包括基于模板融合变形模型和表示中性面部表情的融合变形b₀来近似于所述一个或多个融合变形b_i。模板融合变形模型可先验地预定义，并且可手动来建模。模板融合变形模型的模板融合变形可对应于与动态表情模型的所述多个融合变形相同或类似的表情语义，诸如通用面部动画控制器的相同的预定义语义。使用模板融合变形模型，在模板融合变形模型中表示中性表情的模板融合变形向表示特定面部表情的另一模板融合变形/>的已知变形可被应用于表示中性面部表情的融合变形b₀，以便获得动态表情模型的多个融合变形中对应的融合变形b_i。优选地，所述已知变形可使用不依赖于融合变形b₀的运算符来表示，使得动态表情模型的改进可通过公式表示为线性系统的解，该解可被高效且稳健地计算。

在另一个实施例中，动态表情模型还包括校正变形场，该方法还包括将校正变形场中的至少一个校正变形场施加至所述多个融合变形中的每个融合变形。身份PCA模型可表示中性表情中面部几何形态的大尺度变化性。为了更好地捕捉特定于用户的细节和用户的面部动态，可将附加的表面变形场施加至所述多个融合变形中的每个融合变形，以获得用户的面部表情空间的更忠实的重构。校正变形场可基于每顶点的位移来构造，每顶点的位移可使用由在3D面部网格上计算的图形拉普拉斯矩阵的多个本征向量(诸如图形拉普拉斯矩阵的最后k个本征向量)限定的谱表示来进行建模。图形拉普拉斯矩阵的计算和应用是本领域技术人员公知的，并且例如在B.Levy和T.H.Zhang的“Spectral geometryprocessing”SIGGRAPH Course Notes 2010中详细介绍。平滑变形场可被定义为本征向量与对应的谱系数的线性组合。谱基主要提供两个优点：校正变形可在只需要有限数量的变量来表示融合变形网格的变形的低维空间中优化；并且低频本征向量的固有平滑性有助于避免在将融合变形对准到偏置的跟踪数据(诸如充满噪声的深度图)时的过拟合。

根据优选实施例，该方法还包括将所述一个或多个融合变形b_i参数化为b_i＝T_i ^*b₀+Ez_i，其中T_i ^*是由应用于表示中性面部表情的融合变形b₀的模板融合变形模型的已知变形所推导出的表情传递运算符，并且Ez_i是融合变形b_i的校正变形场。参数化的动态表情模型可通过以身份PCA模型来近似于用户的中性面部表情、在中性面部表情的表示上应用由模板融合变形模型已知的变形，以便得到其余融合变形以及将特定于表情的变形场施加至融合变形，而被适配到任何用户的面部几何形态和表情。优选地，该方法可使用共同求解用户的详细3D动态表情模型和相应动态跟踪参数的优化方法。通过动态面部表情空间的子空间参数化导致显著简化的捕捉工作流程并同时实现实时应用的精确面部跟踪来促进实时性能和稳健计算。

在另一个实施例中，对动态表情模型的所述改进基于针对当前帧和一个或多个过去帧接收的跟踪数据。动态表情模型的改进可考虑当前表情以及由当前和过去帧的相应跟踪数据所表示的所有或至少一些观察到的表情的历史。过去帧的跟踪数据可根据聚集方案被组合，以便处理帧历史产生的存储器和计算开销，从而保持存储器成本恒定。

根据一个实施例，该方法包括聚集一个或多个过去帧的随时间衰减的跟踪数据。例如，在过去帧j中获得的跟踪数据对当前帧t中动态表情模型的改进的贡献可使用衰减系数γ来用公式表示，其中0≤γ≤1，并且过去帧j的跟踪数据可用γ^t-j来加权。

在另一个实施例中，对动态表情模型的所述改进包括确定动态表情模型的每个融合变形b_i的覆盖系数σ_i，其指示融合变形b_i的过去跟踪数据的适用性，其中该方法还包括只改进覆盖系数低于预先确定的阈值的融合变形。因此，该方法可包括将融合变形的覆盖系数与预先确定的阈值诸如下边界或下限进行比较，并且如果覆盖系数低于预先确定的阈值则改进该融合变形。该方法还可包括如果对应的覆盖系数高于预先确定的阈值，则将融合变形从动态表情模型的改进中排除。然而应当理解，相应的阈值也可被定义为上边界，并且融合变形只有在覆盖系数高于阈值的情况下才可被改进，反之亦然。由于动态表情模型在跟踪期间被不断改进，所以一般性的动态表情模型可随着用户越来越多的表情被观察到而逐渐地被适配于特定用户的面部特征，从而获得更精确的跟踪和所产生的面部动画。一旦面部表情已经被观察到并且对应的融合变形已经被改进足够多次，动态表情模型的融合变形就可选择性地会聚到稳态，从而进一步提高计算性能。因此，已经被足够经常地优化的融合变形可被视为饱和，并从动态表情模型的改进中移除。

在优选实施例中，通过对多个融合变形应用权重而生成与用户的面部表情对应的图形表示。因此，图形表示与用户的外表极为相似，并且不断地被改进至用户的面部几何形态和动态。

在优选实施例中，基于表示虚拟化身的一个或多个融合变形而生成与用户的面部表情对应的图形表示。虚拟化身可被定义为表示虚拟化身的面部几何形态的一组化身融合变形。可根据动态表情模型的多个融合变形的语义来选择和定义化身融合变形。因此，针对动态表情模型的融合变形确定的权重可直接应用于化身融合变形。

根据另一方面，提供了一种存储有指令的计算机可读介质，其中所述指令响应于由计算设备执行而使计算设备自动地执行根据本公开实施例的一种用于实时面部动画的方法。优选地，计算设备可被配置为自动地执行以下步骤：提供动态表情模型；接收与用户的面部表情对应的跟踪数据；基于动态表情模型和跟踪数据来估计跟踪参数；基于跟踪参数来生成与用户的面部表情对应的图形表示；以及基于跟踪数据和所估计的跟踪参数来改进动态表情模型。

根据另一方面，提供了一种处理设备，该处理设备包括被配置为接收与用户的面部表情对应的跟踪数据的输入接口；被配置为存储动态表情模型的存储器；和耦接到输入接口和存储器的处理部件，处理部件被配置为基于动态表情模型和跟踪数据来估计跟踪参数、以及基于跟踪数据和所估计的跟踪参数来改进动态表情模型。处理设备使得能够实现全自动化的面部跟踪和动画，其甚至在消费者级应用中也可被容易地设置和操作。

根据一个实施例，处理部件还被配置为实时地估计跟踪参数和改进动态表情模型。

在另一个实施例中，处理部件还被配置为在第一阶段中估计跟踪参数并且在第二阶段中改进动态表情模型，其中第一阶段和第二阶段迭代地重复。处理部件可调度第一阶段和第二阶段以用于在处理部件的一个或多个处理单元诸如多核处理器的一个或多个核上并行处理。类似地，第二阶段的特定处理步骤也可在处理设备的其他处理部件上、或者在可与处理设备的处理部件互连的其他处理部件上被分布和执行。

在优选实施例中，存储在存储器中的动态表情模型包括多个融合变形，并且跟踪参数包括融合变形的权重，其中处理部件被配置为估计融合变形的权重。

根据另一个优选实施例，处理部件还被配置为基于跟踪参数来生成与用户的当前面部表情对应的图形表示。

在另一个实施例中，输入接口还被配置为接收与用户的面部表情对应的另外的跟踪数据，并且处理部件还被配置为基于改进的动态表情模型和另外的跟踪数据来估计更新的跟踪参数，并基于更新的跟踪参数来生成图形表示。

根据另一个实施例，输入接口还被配置为接收与用户的中性面部表情对应的跟踪数据，并且处理部件还被配置为使用与用户的中性面部表情对应的跟踪数据来对动态表情模型初始化。

在优选实施例中，多个融合变形至少包括表示中性面部表情的融合变形b₀，并且动态表情模型还包括身份PCA模型，其中处理部件还被配置为基于身份PCA模型来将表示中性面部表情的融合变形b₀匹配至用户的中性表情。

在另一个实施例中，多个融合变形还包括分别表示不同面部表情的一个或多个融合变形b_i，并且动态表情模型还包括模板融合变形模型，其中处理部件还被配置为基于模板融合变形模型和表示中性面部表情的融合变形b₀来近似于所述一个或多个融合变形b_i。优选地，动态表情模型包括在改进期间不扩展的固定数量的融合变形b₀和b_i。

根据另一个实施例，动态表情模型还包括校正变形场，其中处理部件还被配置为将校正变形场中的至少一个校正变形场施加至多个融合变形中的每个融合变形。

在另一个实施例中，处理部件还被配置为将所述一个或多个融合变形b_i参数化为b_i＝T_i ^*b_o+Ez_i，其中T_i ^*是由应用于表示中性面部表情的融合变形b₀的模板融合变形模型所推导出的表情传递运算符，并且Ez_i是融合变形b_i的校正变形场。

根据另一个实施例，处理部件被配置为基于针对当前帧和一个或多个过去帧接收的跟踪数据来改进动态表情模型。

在另一个实施例中，所述一个或多个过去帧的跟踪数据被聚集并随时间衰减。

在优选实施例中，为了改进动态表情模型，处理部件还被配置为确定动态表情模型的每个融合变形的指示该融合变形的过去跟踪数据的适用性的覆盖系数，并且只改进覆盖系数低于预先确定的阈值的融合变形。

根据一个实施例，存储器还被配置为存储表示虚拟化身的一个或多个融合变形，并且处理部件还被配置为基于表示虚拟化身的一个或多个融合变形中的至少一些融合变形来生成与用户的面部表情对应的图形表示。优选地，表示虚拟化身的一个或多个融合变形可被选择为匹配与动态表情模型的多个融合变形的面部语义对应的面部语义。因此，针对动态表情模型的多个融合变形估计的权重可被直接应用于化身融合变形，以便推导虚拟化身的新的面部表情。

根据另一个方面，提供了一种实时面部动画系统，其包括被配置为跟踪用户的面部表情并生成跟踪数据的相机设备；和根据本公开的一个实施例的处理设备。优选地，处理设备可包括耦接到相机设备且被配置为接收跟踪数据的输入接口、被配置为存储动态表情模型的存储器、和耦接到输入接口和存储器的处理部件，处理部件被配置为基于动态表情模型和跟踪数据来估计跟踪参数、基于跟踪参数来生成与用户的面部表情对应的图形表示、以及基于跟踪数据和所估计的跟踪参数来改进动态表情模型。

根据优选实施例，相机设备被配置为生成视频数据和深度信息。例如，相机设备可以是消费者级RGB-D相机，诸如Microsoft Kinect相机或Asus Xtion Live相机。受约束的本地模型中深度和强度信息的集成相比于仅仅基于图像的跟踪显著地提高了跟踪性能。例如，将2D和3D非配准方法组合在单个优化中可得到高质量的跟踪。然而应当理解，本公开并不限于特定相机设备和/或跟踪系统。相反，可使用适于提供表示用户面部表情的跟踪或输入数据的任何相机设备和/或跟踪系统。

附图说明

图1示出了适用于本发明的一个实施例的动态表情模型的示意图。

图2示出了根据本发明的一个实施例的表情传递与模板融合变形模型的对比。

图3示出了根据本发明的一个实施例的优化流水线的流程图。

图4示出了使用本发明的实施例生成的虚拟化身的图形表示。

图5为根据本发明的一个实施例的方法的流程图。

图6示出了根据本发明的一个实施例的动态表情模型的融合变形的逐步改进。

图7示出了根据本发明的一个实施例的用于近似于用户面部表情的融合变形权重的不同设置。

图8示出了使用根据本发明的实施例的不同动态表情模型的中性面部表情的初始估计结果。

图9示出了根据本发明的一个实施例的动态表情模型中校正变形场的施用。

具体实施方式

在下面的描述中，参考以举例说明的方式示出各种实施例的附图。此外，以下将通过参考若干示例来描述各种实施例。应当理解，实施例可包括设计和结构的改变，而不脱离要求保护的主题的范围。

图1示出了在本公开的一个实施例中使用的动态表情模型的示例的示意图。动态表情模型100可包括多个融合变形102，也被标记为B＝[b₀,...,b_n]，其中b₀可以是表示中性姿势或面部表情的融合变形，i>0的融合变形b_i可表示一组特定的基本面部表情。融合变形102可具有相同的静态网格组合，并且可由相应3D网格的堆叠坐标向量来表示。为了生成面部表情的图形表示，融合变形102可被组合为B(x)＝b₀+ΔBx，其中ΔB＝[b₁–b₀,...,b_n–b₀]，并且x＝[x₁,...,x_n]^T是介于0和1之间的融合变形权重。

表示中性面部表情的融合变形b₀可通过应用动态表情模型100的身份模型104而近似于当前用户的面部几何形态。身份模型104可包括平均面部m，其可由在中性表情中具有一对一顶点对应关系的一大组不同的人脸网格推导出。此外，身份模型104可包括多个本征向量。在实施例中，身份模型104可以是身份PCA模型104，其可使用所述一大组不同的人脸网格的各个网格的堆叠顶点坐标向量上的主成分分析(PCA)而生成。例如，身份PCA模型104可包括第一/PCA本征向量P＝[p₁,...,p_l]，并且中性面部表情的融合变形b₀可利用合适的线性系数y＝[y₁,...,y_i]^T而被近似为b₀＝m+Py。

动态表情模型100还可包括模板融合变形模型106，模板融合变形模型包括与通用面部动画控制器的一组预定语义(诸如张嘴、微笑、皱眉等)优选地对应的融合变形并且其可例如手动地建模。模板融合变形模型106可被用于获得动态表情模型100的融合变形b_i。这可通过将模板融合变形模型106的模板融合变形/>所表示的中性表情到表示特定面部表情的模板融合变形模型106的模板融合变形/>的已知变形传递到中性表情b₀上来实现。这可使用运算符/>来进行，该运算符可与b₀线性组合。所述已知变形的传递可根据适用于表示两个网格之间顶点对应关系的任何技术来确定。优选地，/>只取决于网格的顶点/>和/>并且可与b₀无关。

根据一个示例，可通过计算将的p个三角形变形为/>的对应三角形的一组仿射变换/>来定义T_i ^*。由于三角形的变形不能完全通过仿射变换来表征，所以可使用四面体来计算仿射变换，其中在垂直于三角形的方向上添加第四顶点。因此，从/>的四面体到/>的对应四面体/>的仿射变换S*可被计算为/>其中/>并且/>变形传递问题于是可被公式表示为：

其中t_ij＝[v_i2-v_i1，v_i3-v_i1]_j表示b_i的三角形j的两条边缘，F是定义需要被固定在b₀和b_i之间的顶点的对角矩阵，并且μ是权重因子，其对于至少一些或全部计算可例如被固定为μ＝100。可以将这种优化以公式表示为：

其中G是将顶点转换为边缘的矩阵，并且是包含将模板中性表情/>的每个边缘映射到模板表情/>的仿射变换的矩阵。这个问题的最优解是/>其中是定义与/>到/>的变换匹配的从中性表情b₀到表情b_i的变换的线性运算符。

由于T_i ^*与b₀无关，所以动态表情模型100的改进可被公式表示为可高效且稳健地计算的线性系统的解。具体地，T_i ^*是基于图形拉普拉斯，而不是余切拉普拉斯，这避免了T_i ^*中b₀的三角形区域的加权因子。如果面部网格如图2中所示均匀地棋盘格状嵌合，则这个简化对所得到的变形几乎没有影响。

图2示出根据一个示例性实施例的从模板融合变形模型106到表示特定用户的融合变形模型102的表情传递的结果。将这些结果与使用应用余切拉普拉斯的变形传递的方法的结果比较，余切拉普拉斯包括传递运算符中b₀的三角形区域的加权因子，因此该变形传递对于b₀是非线性的。比较202示出了各个融合变形的单位为毫米的偏差。如图2所示，简化运算符T_i ^*对所得到的变形几乎没有影响，并且小于3.0毫米。然而，由于传递运算符T_i ^*可被表达为线性变换，所以动态表情模型的改进可被公式表达为使计算快速且稳健的简单线性系统。

应当理解，虽然传递运算符T_i ^*的示例是基于图形拉普拉斯或余切拉普拉斯，但本公开并不限于特定的传递运算符或相应的衍生物。

返回到图1，动态表情模型100还可包括校正变形场108，其可用于更好地捕捉特定于用户的细节。可使用由在3D面部网格上计算的图形拉普拉斯矩阵L的多个本征向量(诸如最后k个本征向量E＝[e₁,...,e_k])限定的谱表示来为每顶点的位移建模。平滑变形场可被定义为线性组合Ez，其中z＝[z₁,...,z_k]^T是谱系数。谱基提供两个主要优点：校正变形可在低维空间中优化，从而只需要k个变量来表示融合变形网格的变形；并且低频本征向量的固有平滑性有助于避免在将融合变形对准到充满噪声的深度图时的过拟合。

参数化的动态表情模型100可通过将中性表情b₀限定为与身份PCA模型104和校正变形场108的组合对应的b₀＝m+Py+Ez₀来适配于特定的被跟踪用户。其余融合变形b₁,...,b_n可被参数化为b_i＝T_i ^*b₀+Ez_i，其将模板融合变形模型106到中性表情b₀的表情传递与特定于表情的校正变形场108组合在一起。

图3示出了根据本发明的实施例的优化流水线的流程图。优化流水线可接收可包括彩色图像304和深度图306的输入数据302。输入数据302可被组织在帧中。输入数据302的每个帧可使用顺序地改进跟踪308和模型310的隔行优化来处理。跟踪优化308的输出可包括具有刚性对准和每帧的融合变形权重的跟踪参数312，其可用于实时地推导虚拟化身314。此外，特定于用户的动态表情模型316可在模型改进310期间基于被观察用户的面部特征根据输入数据302而使用自适应动态表情模型318来适配。要指出的是，自适应动态表情模型318和特定于用户的动态表情模型316可对应于图1中所示的动态表情模型100。

本公开通篇所使用的术语“实时”是指计算系统或处理设备受到定时约束的表现，所述定时约束指定从输入或处理事件到输出或相应响应的操作期限。因此，实时工作的计算或处理系统必须保证按照严格定时条件作出响应，例如在毫秒范围内。优选地，在媒体系统中，实时响应应当在用户没有感知到延迟的情况下被递送。例如，在相对于用户输入至少150毫秒延迟的情况下，图形输出应被保持在至少15Hz的恒定帧速率。优选地，帧速率在20Hz到150Hz的范围内，诸如在20、25、30、40、50、60、70、80、90、100、110、120、130、140和150Hz中的二者内，并且最优选地是25Hz。延迟可优选为至少160毫秒，优选在10毫秒到160毫秒的范围内，诸如在150、140、130、120、110、100、90、80、70、60、50、40、30、20和10毫秒中的二者内，并且最优选地是150毫秒。本公开实施例的实时性能可通过跟踪改进308和模型改进310的分离来实现。虚拟化身314的交互式生成可使用融合变形和所计算的融合变形权重来实现。同时，特定于用户的动态表情模型可被选择性地改进，以便满足定时约束。

跟踪改进308包括确定面部模型与输入数据302(诸如输入深度图306或图像304)的刚性对准。刚性对准可由输入数据302的每个帧t处的旋转矩阵R和平移向量t来定义。此外，可为每个帧t确定融合变形权重x＝[x₁，...，x_n]^T，并且其可被用于通过将融合变形权重应用于表示虚拟化身314的化身融合变形来生成图形面部表情。应当理解，化身融合变形可不同于特定于用户的动态表情模型316中表示用户的融合变形。然而，化身融合变形也可对应于特定于用户的动态表情模型316中表示用户的融合变形，从而使得能够实现用户的虚拟表示。

例如，用户的在线化身可基于改进的融合变形来直接创建，因为在模型改进310期间自动构建的特定于用户的动态表情模型316构成了用户的被完全操控的几何化身。在线化身还可包括纹理和其他面部特征(诸如头发)的重构，以便允许能直接集成到在线应用或通信应用和工具中的完整数字在线化身。

在模型改进310期间，确定用户的中性面部表情b₀的身份PCA参数y＝{y₁，...，_yl}T和变形系数Z＝{z₁，...，z_n}，其中z_i＝[z_i，1，...，z_i，k]^T用于每个融合变形b_i。

在整个说明书中，上标可被用来指示输入数据302的特定时间帧，诸如x^t可指代帧t(n)处的融合变形权重，并且t＝1可指代第一个帧。然而应当理解，在无关紧要或上下文清楚时也可略去上标，以便简化标记。

包括跟踪改进308和模型改进310的一般性优化可在两个阶段之间交替。在与跟踪改进308相关的第一阶段(在本文中也称为跟踪阶段)中，可在保持动态表情模型316、318固定不变的情况下估计刚性对准和融合变形权重x。在与模型改进310相关的阶段(在本文中也称为模型改进阶段)中，可通过在保持融合变形权重x固定不变的情况下求解PCA参数y和变形系数Z来改进特定于用户的动态表情模型316。交替处理可通过用中性表情的PCA重构和从自适应动态表情模型318的模板模型到特定于用户的动态表情模型316的变形传递来对动态表情模型316、318进行初始化而被启动载入。

根据举例说明的实施例，只要求用户最初以中性面部表情进入传感器的视场，由此提供中性面部表情的输入数据302。输入数据302可被预处理以检测用户的面部和裁切深度图，以便获得处于中性表情的用户的面部几何形态的3D扫描。根据这个初始面部扫描，可通过将参数化的中性表情对准到深度图来计算b₀的第一近似值。这可使用任何适于将参数化网格对准到深度图的技术来进行，诸如通过求解优化问题。

例如，可通过使具有点-面约束的公共迭代最近点(ICP)能量最小化并求解PCA系数y、变形系数z_o、和刚性的头部姿势(R,t)来实现对准。优化问题可被定义为：

在这个公式中，(A₀,C₀)将ICP约束等式概括在目标函数的第一项中。其余的被加数是具有相应正标量权重β₁、β₂、和β₃的正则化项。项D_py正则化PCA权重，其中D_p是包含PCA基的标准偏差的倒数的对角矩阵。项D_EZ₀通过测量变形的弯曲度来正则化变形系数。D_E是与拉普拉斯矩阵L的E中的本征向量对应的本征值的对角矩阵。最后一个被加数惩罚变形向量的量值。

可使用高斯牛顿法来求解优化，然而应当理解，可使用任何其他求解技术。例如，求解器能够以y＝z₀＝0来初始化，并且在假定用户是面朝前的情况下，对应于初始面部表情的输入数据302可从传感器设备获取。给定第一帧(t＝1)处的重构，附加融合变形可通过应用变形传递运算符来初始化，即对于i＝l,...,n，/>

在初始估计融合变形b_i之后，跟踪阶段308可在假定动态表情模型316、318固定不变的情况下开始为每个时间帧t求解融合变形权重x和刚性运动或对准(R,t)。

可通过使用具有点-面约束的ICP直接将前一帧t-1的静态重构网格与当前帧t的所采集的深度图对准来估计刚性运动或对准。为了进一步稳定刚性运动，可只为面部几何形态的特定区域定义约束，诸如所重构的网格的前额和鼻部区域。

给定特定于用户的动态表情模型316的当前一组融合变形B和刚性运动，对与当前帧的输入数据302最佳匹配的融合变形权重x的估计可被公式表示为组合的2D/3D配准。2D配准可使用光流约束来进行公式表示，3D配准可使用上面讨论的ICP。这可产生形式为的拟合能量，其中(A,c)概述了对面部顶点(诸如面部网格的前部)的预定义子组的配准约束。所述优化可根据等式(1)来迭代地最小化以下能量：

因此，具有非负权重λ₁和λ₂的两个附加项E_平滑和E_稀疏可被添加用于正则化。可通过惩罚二阶差来加强时间平滑，其中t指示当前时间帧。

此外，可应用融合变形系数上的1范数正则化E_稀疏＝||x||₁。稀疏诱导能量E_稀疏可使跟踪稳定，因为融合变形基不是线性独立的。因此，相同面部表情原理上可由不同融合变形组合来表示。E_稀疏有利于使用尽可能少的融合变形来进行重构，以便避免可能的融合变形补偿伪影，并且更好地匹配人类动画师通常会选择的融合变形权重，这对于重定向到其他虚拟化身是有利的，诸如虚拟化身314的化身融合变形。

所述优化可使用任何优化技术来执行，诸如内点法、交互式二次加权、打靶法和本领域技术人员已知的其他方法。例如，可使用例如在W.J.Fu的“Penalized regressions:the bridge versus the lasso”，Journal of Computational and GraphicalStatistics,7,3，第397-416页，1998中所述的热启动打靶法，其中融合变形权重x可通过在每个迭代处投射在约束设置上而介于0和1之间。

所述优化的模型改进阶段310可通过在跟踪阶段308中保持计算的融合变形权重x和刚性姿势(R,t)固定不变的情况下求解自适应动态表情模型318的变形系数z₀,...,z_n和PCA参数y而将特定于用户的动态表情模型316的融合变形模型适配于用户。可使用任何优化技术或方法来估计改进的PCA参数y和变形系数z₀,...,z_n，该改进的PCA参数y和变形系数产生更近似于用户面部几何形态的特定于用户的动态表情模型316的融合变形B。

例如，上面讨论的拟合能量E_拟合可被改写为：

其中在b₀＝m+Py+Ez₀并且/>的情况下，这个项可被重新公式化为/>其中

并且

如上所述，PCA系数y和变形系数z_i可被正则化，从而导致等式(2)所限定的模型改进能量：

本公开的一个或多个实施例的动态表情模型的改进显著地提高了跟踪精确度。根据一个实施例的表情传递运算符确保用户的特定动态表情模型保持模板模型的融合变形语义。在跟踪期间计算的融合变形权重因此能直接用于驱动具有相同融合变形配置的相容面部操控，诸如表示虚拟化身的面部表情的化身融合变形。重新定向不产生额外成本，并且因此能用于实时应用。甚至具有与被跟踪用户明显不同的面部特征的虚拟化身也能以上文中对于本公开一个或多个实施例所述的方法来忠实地以动画方式显示。

图4示出四个示例图像，包括用于一个帧的被采集图像数据和根据本公开的一个实施例生成的虚拟化身的所得的面部表情。虚拟化身的所得的面部表情可对应于图3中所示的虚拟化身314。此外，所采集的图像数据可对应于图3中所示的输入数据302的图像数据304。

除了虚拟化身的面部几何形态的图形表示之外，图4还示出了眼睛跟踪的结果。在一个举例说明的实施例中，单独的基于图像的眼睛跟踪器可用于确定用户眼睛的位置。参考图3所述的刚性和非刚性对准可用于准确地确定跟踪数据的彩色图像中(诸如输入数据302的图像304中)眼睛的位置。k最邻近搜索可通过对输入图像进行裁切、矫正和归一化而被应用在被标记的眼睛的数据库中。k最邻近搜索可使用公知的技术来实施，所述公知的技术例如可在库诸如OpenCV库中实施。然而应当理解，可使用k最邻近算法的任何其他实施方式。数据库可存储可例如被矫正、裁切和/或颜色归一化的眼睛图像。

结果可以是k个邻元素的标签的加权平均数。眼睛跟踪器的结果可驱动位于眼睛附近的一个或多个补充融合变形，例如14个补充融合变形。补充融合变形可只使用表情传递来计算，并且可与模型改进优化分开计算。瞳孔和眼睑位置可用作跟踪期间的几何约束。

在另一示例性实施例中，可集成语音分析以便提高唇同步。

图5为根据本发明的一个实施例的方法的流程图。方法500可以是计算机实现的方法，其可开始于步骤502，提供包括多个融合变形的动态表情模型。在步骤504中，可接收与用户的面部表情对应的跟踪数据或输入数据，诸如参考图3所述的输入数据302。

在步骤506中，可基于跟踪数据来估计动态表情模型的融合变形的权重。在步骤507中，可根据权重来生成与用户的面部表情对应的图形表示。在图5所示的示例中，步骤506和508可对应于图3的跟踪阶段308。随后或者同时，在步骤508中可基于跟踪数据和所估计的融合变形权重来针对用户面部的几何形态改进动态表情模型，这可对应于图3的改进阶段310。

动态表情模型可包括身份PCA模型、模板融合变形模型和校正变形场中的一者或多者。所述多个融合变形可至少包括表示中性面部表情的融合变形b₀和表示不同面部表情的一个或多个另外的融合变形b_i。在步骤510中，可基于身份PCA模型来将表示中性面部表情的融合变形b₀匹配至用户的中性表情。此外，在步骤512中，可基于模板融合变形模型和表示中性面部表情的融合变形b₀而进一步近似于一个或多个融合变形b_i。随后在步骤514中，校正变形场中的至少一个校正变形场可被施加至所述多个融合变形中的每个融合变形。应当理解，根据步骤502中提供的动态表情模型，步骤510至514中的一者或多者可被省略。此外，步骤510至514可至少部分地并行执行，并且可包括例如参考图3所述的求解优化问题的步骤。

根据步骤508对动态表情模型的改进可基于针对当前帧和一个或多个过去帧接收的输入或跟踪数据，其中所述一个或多个过去帧的输入或跟踪数据也可被聚集并随时间衰减。由于优化帧历史中的所有帧可很快由于存储器和计算开销而被禁止，因此可使用保持存储器成本恒定的聚集方案。可将这种优化以公式表示为：

其中t是当前帧，并且0≤γ≤1定义帧历史上的指数衰减。优选地，可使用γ＝0.9，其提供拟合误差与时间变化之间权衡的良好平衡。然而应当理解，也可使用衰减参数γ的其他值。表示上文所讨论的时间j的模型改进能量。可使用任何合适的优选技术来寻找最小化问题的解，诸如梯度下降法、高斯牛顿法、莱文贝格－马夸特法或本领域技术人员公知的其他技术。例如，可通过求解下式来找到最小化的最佳解：

其中D是包含上文中等式(2)中限定的模型改进能量的正则化项的对角矩阵。

可使用本领域已知的任何优化技术来求解这个系统。例如，可利用例如在T.Barrett等人的“Templates for the Solution of Linear Systems:Building Blocksfor Iterative Methods”，SIAM,1994中所述的热启动高斯-赛德尔优化。优选地，可使用以下算法来求解优化：

算法1：帧t的融合变形改进

1:初始化：M¹＝0，y¹＝0，s¹＝0

2:s^t＝γs^t-1+1

3:

4:

5:输出：ut＝高斯-赛德尔(M^t+D，y^t，u^t-1)。

由于帧不需要被单独存储，所以所述算法允许以固定的存储器开销在整个帧历史上优化。

步骤508中动态表情模型的改进还可包括步骤516，其中可为动态表情模型的每个融合变形b_i确定覆盖系数σ_i。覆盖系数可指示融合变形b_i的过去跟踪数据的适用性。因此，改进508可被优化，因为只有覆盖系数低于或高于预先确定的阈值的融合变形才被改进。从而，在改进步骤508期间优化的融合变形的数量可随着更多融合变形达到覆盖阈值而逐渐减少，这可显著地减少每个帧的总计算时间。例如，覆盖系数σ_i可被定义为其度量在当前帧t之前每个融合变形b_i已被观察的程度。一旦对于固定阈值/> 对应的融合变形b_i就可被认为饱和，并且可对于随后的优化保持恒定。

由于中性表情b₀作为表情传递的源的特殊角色，所以对b₀的完全优化可始终被执行，直到由于b₀是通常最常观察到的融合变形，所以这个约束将不会明显地影响性能。计算成本随着更多融合变形达到其覆盖阈值而逐渐降低。因此，步骤508中动态表情模型的改进相比于优化的跟踪阶段506、507很快就变得可以忽略。

图6示出对于表示表情语义“中性”、“张嘴”和“吻”的三个融合变形的根据本公开的一个实施例的动态表情模型的渐进式改进的一个示例。第一列中的初始融合变形可基于例如上文中参考图3所述的根据身份PCA模型的用户中性表情的初始近似值和根据模板融合变形模型的相应表情传递。每个相应的融合变形可基于所观察的表情的帧历史而随时间被改进，直到已基于每个相应面部表情的观察数量和覆盖系数发现相应的融合变形“饱和”。每个行显示特定融合变形的时间演化和改进。右边的输入图像被提供用于参考。即使需要较大的变形来匹配所跟踪用户的面部几何形态，动态表情模型的改进也是稳健的。

图7示出用于生成所得的面部表情的不同融合变形权重的比较，包括根据上文讨论的等式(1)的用于融合变形权重优化的l₁正则化和l₂正则化之间的比较。l₁正则化相比于l₂正则化的2.72mm的平均拟合误差导致2.27mm的更低的平均拟合误差。l₁正则化还显著地降低非零融合变形权重的数量。因此，l₁正则化导致后续模型改进阶段的明显加速，因为融合变形改进只在具有非零融合变形权重的融合变形上执行。

图8示出中性面部表情的优化分别如何取决于用于身份PCA模型的基向量的数量和校正变形场。具体地，图8示出在改变动态面部模型的身份PCA模型(诸如参考图1所述的身份PCA模型104)中PCA本征向量的数量时中性面部表情b₀的初始估计的示例性评估。此外，校正变形场的拉普拉斯本征向量的数量被改变，诸如参考图1所述的校正变形场108的拉普拉斯本征向量的数量k。包括彩色图像和深度图(诸如图3中所示的彩色图像304和深度图306)的输入数据是为了进行示意性的说明而示出的。此外，示出了使用十个PCA本征向量(P10)到50个PCA本征向量(P50)和50个PCA本征向量与图形拉普拉斯矩阵的最后十个本征向量(P50+E10)到最后50个本征向量(P50+E50)的组合而得到的重构面部表情。结果显示使用越多的本征向量，越近似于中性面部表情b₀。此外，图8示出包括在440帧的序列上平均的平均非刚性ICP误差的图，其可对应于上文中参考图3所讨论的拟合能量E_拟合。根据一个示例，可能不具有超过PCA模型的50个基向量的显著改进。对于变形场，50个拉普拉斯本征向量可能就足以获得准确的重构，同时仍然使得能够实现实时性能。图9示出根据一个实施例的动态表情模型的改进期间使用的校正变形场的应用效果，如上文中参考图1的校正变形场108以及图3的自适应动态表情模型318和特定于用户的动态表情模型316所述。

第一行示出使用只具有身份PCA模型的动态表情模型。因此，分别地，最左边的中性面部表情可被定义为b₀＝m+Py，并且另外的面部表情可被定义为在图9的第二行中，已经使用了另一动态表情模型，并且已经将校正变形场施加至融合变形。因此，中性表情的最左边融合变形可被定义为m+Py+Ez₀，另外的融合变形可被定义为/>最后一行示出变形场Ez_i导致的相应顶点位移。例如能在嘴部区域以及在鼻孔附近观察到明显改变。一般而言，这样的每顶点变形可表示捕捉很多面部中的几何细节和不对称的重要因素。

虽然本公开的示例性实施例已经参考特定的一组融合变形来进行描述，但应当理解，本公开并不限于特定数量的和特定组的融合变形以及特定的面部表情或融合变形语义。相反，动态表情模型可包括更多或更少的融合变形来获得更准确的面部表情空间。

本公开的一个实施例的示例性具体实施可使用34个融合变形的融合变形模型。身份PCA模型可由包括年轻成年人的100个男性和100个女性头部扫描的数据集来计算，诸如V.Blanz和T.Vetter在“A morphable model for the synthesis of 3D faces”，SIGGRAPH1999中所述提供的数据。可使用50个PCA基向量来近似于中性表情。校正变形场对于每个坐标可由50个拉普拉斯本征向量表示。上述优化的适当参数可被设置为β₁＝0.5、β₂＝0.1、并且β₃＝0.001，以及λ₁＝10和λ₂＝20，并且对于覆盖阈值，＝10。

根据本公开实施例的方法可实施为专用硬件、软件或软硬件组合。例如，软件可以C++实现，并且使用OpenMP并行化。然而应当理解，可使用任何其他编程语言和范式来实现根据本公开实施例的方法，诸如使用C、Java及其他，并且也可使用用于并行处理的其他库。因此，本公开不限于特定实施方式、编程语言或范式以及相应库。此外，可使用用于数值和图形计算的任何合适的库，诸如用于线性代数计算的Eigen库和用于面部检测和图像处理操作的OpenCV。

本公开的实施例可被实现在通用计算设备上或者被实现在逻辑或专用硬件内。例如，本公开的一个实施例可被实现在具有Intel Core i7 2.7GHz处理器、16GBytes主内存、和NVIDIA GeForce GT 650M 1024MB图形卡的MacBook Pro上，从而得到具有150毫秒延迟的25Hz的持续帧速率。然而，本公开并不限于特定通用计算设备或特定专用硬件。

根据本公开的方法能够替代面部表现捕捉系统的特定于用户的训练和手动校准，同时保持较高的跟踪精确度。其只需要低成本的3D传感器，并且不需要任何类型的手动辅助。因此，该方法很好地适合于新应用和通信，诸如在游戏人偶、用于社交网络的虚拟化身或者计算机辅助的实时训练应用中。

本发明的方面(诸如接收跟踪数据、估计跟踪参数、改进动态表情模型、和存储动态表情模型)可在计算机可执行指令(诸如程序模型)被计算机执行的一般性上下文中进行描述。一般来讲，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。此外，本领域的技术人员将认识到，本发明能够以多种计算机系统配置来实施，包括多处理器系统、基于微处理器或可编程消费者电子设备、微型计算机、大型计算机等。能接受任何数量的计算机系统和计算机网络来与本发明一起使用。

阐述了特定硬件设备、编程语言、组件、进程、协议、和包括操作环境等的很多细节，以提供对本发明的充分理解。在其他情况下，结构、设备、和进程以框图形式显示，而不是详细显示，以避免使本发明难以理解。然而，本领域技术人员应当理解，本发明可以在没有这些具体细节的情况下被实践。计算机系统、服务器、工作站、和其他机器可跨通信介质(包括例如一个或多个网络)彼此连接。

如在本领域技术人员将认识到的那样，本发明的实施例可实施为方法、系统、或计算机程序产品等等。因此，实施例可采取硬件实施例、软件实施例、或结合软件和硬件的实施例的形式。在实施例中，本发明采取包括实施在一个或多个计算机可读介质上的计算机可用指令的计算机程序产品的形式。

计算机可读介质包括易失性和非易失性介质、暂态和非暂态介质、瞬态和非瞬态介质、可移除和不可移除介质、以及想到的能由数据库、交换机和各种其他网络设备读取的介质。以举例的方式但非限制性地，计算机可读介质包括在用于存储信息的任何方法或技术中实现的介质。存储的信息的示例包括计算机可用指令、数据结构、程序模块、和其他数据表示。介质示例包括但不限于信息传递介质、RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)、全息介质或其他光盘存储装置、磁盒、磁带、磁盘存储装置、和其他磁性存储设备。这些技术能瞬时、暂时或永久地存储数据。

本发明可在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备来执行。在分布式计算环境中，程序模块可位于包括存储器存储设备的本地和远程计算机存储介质中。计算机可用指令形成接口来允许计算机根据数据源作出反应。指令与其他代码段配合以响应于结合所接收数据的源而接收到的数据来发起多个任务。

本发明可在网络环境诸如通信网络中实施。这样的网络被广泛用于连接各种类型的网络元件，诸如路由器、服务器、网关等。另外，本发明可在具有多个连接的公共和/或私有网络的多网络环境中实施。

网络元件之间的通信可以是无线的或有线的。如本领域的技术人员将认识到，通信网络可采用多种不同形式，并且可使用多种不同通信协议。并且本发明不受本文所述的形式和通信协议限制。

本文中提到或引用的所有专利、专利申请、临时申请、和公开文献在不与本说明书的明确教导矛盾抵触的限度内均以引用的方式全文并入本文，包括所有附图和表格。虽然已经详细描述了一些实施例，但应当理解，本公开的方面可采用多种形式。

具体地，要求保护的主题可与所述示例不同地来实施和实现，并且所述特征和特性可以任意组合来实施和实现。本文所示的实施例意图是进行举例说明，而不是要限制权利要求限定的本发明。

Claims

1.一种用于实时面部动画的方法，包括：

提供包括多个融合变形的动态表情模型；

获得在时间序列中的多个帧；

从在所述时间序列中的所述多个帧接收跟踪数据，所述跟踪数据与用户的面部表情对应；

针对所述多个帧的每个帧，估计所述融合变形的一个或更多个权重值；以及

基于针对所述多个帧的融合变形的估计的权重值来生成所述用户的特定的面部表情的图形表示。

2.根据权利要求1所述的方法，其中基于在所述时间序列中的所述多个帧的每个帧，重复估计所述融合变形的一个或更多个权重值。

3.根据权利要求1所述的方法，进一步包括：

对于在所述多个帧之后捕获的帧，基于改进的动态表情模型来估计更新的权重值；以及

基于所述融合变形的一个或更多个更新的权重值来改进所述动态表情模型。

4.根据权利要求1所述的方法，其中估计所述融合变形的一个或更多个权重值是实时执行的。

5.根据权利要求1所述的方法，进一步包括基于融合变形权重来改进所述动态表情模型。

6.根据权利要求5所述的方法，其中改进所述动态表情模型包括：

为所述动态表情模型的所述多个融合变形的每个融合变形确定覆盖系数；以及

当融合变形的对应的覆盖系数高于阈值时，从改进中删除所述融合变形。

7.根据权利要求1所述的方法，其中来自所述一个或更多个帧的所述跟踪数据是基于衰减系数被加权的。

8.一种处理设备，包括：

输入接口，所述输入接口被配置为从在时间序列中的多个帧接收跟踪数据，所述跟踪数据与用户的面部表情对应；

存储器，所述存储器被配置为存储动态表情模型，所述动态表情模型包括多个融合变形；和

处理部件，所述处理部件耦接到所述输入接口和所述存储器，其中所述处理部件被配置为：

9.根据权利要求8所述的设备，其中所述处理部件被进一步配置为基于在所述时间序列中的所述多个帧的每个帧，重复地估计融合变形的一个或更多个权重值。

10.根据权利要求8所述的设备，其中所述处理部件被进一步配置为：

对于随所述多个帧之后捕获的帧，基于改进的动态表情模型来估计更新的权重值；以及

基于所述更新的权重值来改进所述动态表情模型。

11.根据权利要求8所述的设备，其中所述处理部件被进一步配置为实时估计所述融合变形的一个或更多个权重值。

12.根据权利要求8所述的设备，其中所述处理部件被进一步配置为基于融合变形权重来改进所述动态表情模型。

13.根据权利要求12所述的设备，其中所述处理部件被配置为：

基于所述多个融合变形的每个融合变形的确定的覆盖系数来改进所述动态表情模型；以及

14.根据权利要求8所述的设备，其中来自所述一个或更多个帧的所述跟踪数据是基于衰减系数被加权的。

15.一种非暂时性程序存储设备，包括存储在其上以引起一个或更多个处理器执行以下操作的指令：

提供包括多个融合变形的动态表情模型；

从在时间序列中的多个帧接收跟踪数据，所述跟踪数据与用户的面部表情对应；

16.根据权利要求15所述的非暂时性程序存储设备，其中所述指令引起所述一个或更多个处理器基于在所述时间序列中的所述多个帧的每个帧，重复估计所述融合变形的一个或更多个权重值。

17.根据权利要求15所述的非暂时性程序存储设备，进一步包括引起所述一个或更多个处理器执行以下操作的指令：

对于随所述多个帧之后捕获的帧，基于改进的动态表情模型来估计更新的跟踪参数；以及

基于所述更新的跟踪参数来改进所述动态表情模型。

18.根据权利要求15所述的非暂时性程序存储设备，进一步包括引起所述一个或更多个处理器执行以下操作的指令：

基于融合变形权重来改进所述动态表情模型。

19.根据权利要求18所述的非暂时性程序存储设备，进一步包括引起所述一个或更多个处理器执行以下操作的指令：

20.根据权利要求15所述的非暂时性程序存储设备，其中来自所述一个或更多个帧的所述跟踪数据是基于衰减系数被加权的。