CN101395613A - 由2d图像实现3d人脸重建 - Google Patents

Abstract

本发明描述了一种用二维图像，如人脸图片实现三维人脸重建的技术。先前的人脸知识和普通的人脸被用来从图像提取稀疏的三维信息，并识别图像对。束调整用来实现确定更多精确的三维摄照相机位置，矫正图像对，并且未使用先前人脸知识提取密集的三维人脸信息。例如利用张量投票，移除孤立点。三维表面从密集的三维信息中提取出来；并且表面的细节从图像提取出来。

Description

由2D图像实现3D人脸重建

相关申请的交叉参考

本申请要求于2006年1月31日递交的美国临时申请60/764,007的优先权。在先申请的内容认为是本申请的一部分(或并入其内容作为参考)。

联邦政府支持的研究或发展

美国政府可以依照授权NO.HMI-582-04-1-2002对本发明有一定的权利。

背景技术

传统的人脸重建技术经常用人脸的一个或多个二维图像(例如数字照片)来创建脸部的一个三维表述。依此创建的表述可以是表示不同人脸的个体特征的文件，例如电子文件。所述文件可以用于，例如面部识别，动画的制作或者渲染。

该图像一旦被获取，就经常在先前知识或人脸通常看上去是什么样子的假定基础上进行处理。这种知识经常被称为“领域知识”，一种“先前模型”，或者尤其是一种“一般人脸”。例如，先前人脸知识可以显示不同种类的面部特征，比如眼睛、鼻子等等的当前位置或者可能的位置。先前人脸知识是由可以假定人脸是由人脸的基本形状和外观、照相机参数、光参数、以及其他已知元素，或易于估计的元素等的一种线性组合形成的。这些元素可以被组合来估计人脸可能的外貌。此外，领域知识可以由艺术家定义的一般人脸形状或由多个已知的人脸计算出的平均人脸形状的形式参与。

在整个重建的过程中，人脸重建的普通技术利用一般人脸的先前知识，和可能的一组人脸度量或形变参数。另外一种普通的技术尝试避开先前人脸知识的使用，而是使用纯粹的数据驱动的方法来实现人脸重建。这是可以实现的，例如，利用从多个校准照相机得到的多个图像中的二维要点的三角法测量。不幸的是，由于在整个重建过程中利用了一般人脸，前者的方法可能提供不现实的数据。后者的方法需要额外的硬件构造，而该硬件构造在一个合理的成本下事实上很难实现。单一照相机纯粹数据驱动的方法缓解了多视角立体方法的硬件约束，但是它自身可能会由于在处理的阶段中缺乏约束而不稳定。

技术概要

本申请描述了利用辅助技术获取三维人脸信息的技术。根据一些方面，在处理操作过程中，在一些部分利用人脸结构的先前知识，而处理操作过程中的其他部分则是纯粹的数据驱动。

另外一种操作利用单一照相机，以进行从一组二维图像得到三维信息的确定。

附图的简要说明

图1所示为操作的总体流程图；和

图2所示为实现流程图的通用目标计算机；

图3所示为三维人脸跟踪是如何由一般人脸辅助的；

图4A和4B显示了分别嵌入在圆柱形空间和展开的三角形空间中的密集的三维特征。

具体实施方式

在此，将描述能够用来实现更多总体目标的不同方法的总体的结构和技术，以及更详细的实施例。

本发明涉及一种确定物体，例如人脸的三维信息的方法。尽管本发明的具体实施例参考人脸的三维重建和绘图来描述，但是应该可以理解的是这些相同的技术可以用于重建和绘图任何物体的多个视图。当用于人脸时，由在此揭示的技术生成的三维信息可用于任何基于人脸的应用，如动画片的制作，识别，以及绘图。在此描述的技术，可能比更多依赖于一般人脸的先前知识的其他技术更实际可行。

本发明人承认使用强大的人脸外貌的先前知识来重建人脸的先前的系统，有效地量化了用于构成和渲染人脸的基础形状的数目。强大的先前知识或者一般人脸方法，被施加的先前知识或者一般人脸所提供的自由度有效地限制。因此，信息和之后的重建并没有捕获原始人脸的所有精细的细节。

所述“人脸空间”量化是由于先前知识和相关的转换限制了能够被系统重建的所有可能人脸的空间而产生。一般人脸或者基于纯粹先前知识的方法可能没有足够的自由度来覆盖整个人脸空间。

本实施例通过忽视先前人脸知识或者在处理过程关键点的一般人脸约束来捕获精细的人脸细节，而不是依靠利用数据驱动方法来寻找在此被称为密集特征的人脸细节的数据。数据驱动方法需要大量的数据来有效地处理噪音、测量的不可靠性和孤立点(outliers)。然而，本发明的系统没有利用纯粹的数据驱动方法，而且由一体化的先前人脸知识或者一般人脸的方法所辅助。

依照一个方面，大量的数据可以从操作获得多重图像的单一照相机来获得。例如，这可以用共同形成图像的活动序列的视频帧获得，也可以从一个或多个照相机获得的多种不同的静态图像来获得。

美国专利号1203211揭露了一种产生三维人脸模型的方法，该方法没有使用什么先前人脸知识，而只是完全地数据驱动。本发明系统用了一种主要用数据驱动的系统，但是用先前人脸知识或一般人脸来测定信息的某些部分。

参照图1的流程图描述一下本发明的实施例。图1同样举例说明了一些示范性的极小的照片，用于阐明操作过程。此流程图可在任何通用计算机上执行，例如图2所示的系统。该系统包括一个处理器200，一个用户接口205，例如鼠标和键盘，和一个显示屏210。例如，该计算机可以是，基于因特尔的处理器或其他任何种类的处理器。该计算机从一个或多个摄像机215，例如静态照相机或摄影机，接收原始的或经过处理的图像数据。该处理器200根据在此提供的说明处理所述原始数据。作为一种替换，照相机的信息可以存储在一个存储器220内，例如一个硬盘驱动，并且在稍后处理。

本实施例从图像序列例如视频序列，从视频序列得到的停止运动类型的图像序列，或者只是一些静态图像，中提取信息。除非目标物是标准的完全静止并且照相机不变换位置，在图像集中，图像序列具有目标物头部的多种不同视角。

在步骤100处，确定了初始姿势的估计。这可能用了一种人脸跟踪算法，例如如图3所示的算法，来推导出初始头部姿势的估计，并且推导出表示人脸外貌的面部轮廓(mask)。这使用了人脸构造的先前知识来测定头部可能的位置和姿态，像鼻子，嘴等类似的面部特征的位置。图3描述了在3种不同图像310，320，330中3种不同的姿势。同样的脸部轮廓300是每个上述这些图像的叠加。所述脸部轮廓300描述了一般人脸，并且有眼，口鼻等的点。这样，该轮廓就能够帮助估计图像的姿势。

在步骤110处，姿势评估技术将一组的视图传递到稀疏特征跟踪模块。传送到所述模块的图像，被认为是可从中提取三维信息的图像对的合适的候选图像。稀疏特征跟踪模块110为每个图像对产生了一组特征匹配，一个图像对中的两个图像充分相近以至于可以获得这些特征关联。

在步骤120实现姿势选择，来选择图像，该图像能够正确地产生可以用于3D信息的确定的图像对。这些图像对应该姿势相近，并且具有相同的光特性。

在步骤130处，执行对整个系列特征点的全局最优化。这被用来优化照相机位置估计和计算稀疏二维特征的三维结构。

在步骤135处，优化后的照相机位置用于矫正多对的图像，从而把相应特征点的搜索空间约束为在多对图像里的水平扫描线。

在步骤140处，通过图像对进行密集特征关联。这发现了除在步骤110处实现的稀疏检测以外的附加特征。这些匹配通过三角测量法来确定，该三角测量法使用优化的照相机位置形成密集3D点云或差距图。

相应于单个图像对的点云接着融合进单一点云，并且在步骤145处移除出界点。密集特征检测是完全地数据驱动，没有用先前人脸知识或一般人脸。步骤150定义了密集特征计算辅助手段，作为密集特征关联的简化。这可能包括特征点丢弃技术(例如张量投票)，并且可能包括区域搜索最小化。

在步骤155，最终净化点云被用来形成一个连通的表面。面部纹理从正面图像获得。最终结果是表面的代表性信息。这可以是三角片形成的3D面片模型(mesh)。最终结果可代替地是3D点集或者一个由例如弯曲键槽，细分表面或其他数字表面定义的表面。

现在提供进一步的操作细节。

传统的立体重建依赖于获得一个或多个相似图像对的多重照相机的存在。这些多种图像对之间的特征匹配被确定。该特征关联是随后被三角形化以找到最终的点的三维组。

在所述实施例中，单一照相机用来获取多重图像，然后这些图像被作为多重视角立体图像重塑。在所述实施例中，处理过程假设头部是静止的，并且照相机正在移动或者相对于头部移动。各种情况可能会有所不同，但这种假设并没有丧失一般性，例如照相机可以是静止的并且头部是运动的，或者照相机和头部都是移动的。

如上所述，多重图像首先在步骤100处被分析来测定这些图像之中照相机姿势的初始估计。这个初始估计用了人脸的信息指示，例如先前人脸知识或者一般人脸来实现估计。这提供了允许该系统测定足够信息来找到这些图像之间的姿势和关联的“稀疏”信息。

例如，利用先前人脸知识或者一般人脸完成的初始估计可能提供一些信息，这些信息显示人脸周界的信息，确定部分人脸面部轮廓的位置，或者其他的信息。这为图像选择提供了信息，并且强制一系列稀疏特征被匹配。先前人脸知识或一般人脸用于形成稀疏特征，但是该稀疏特征可以在密集特征被测定之前，用数据驱动最优化来优化。

该跟踪姿势估算模块检查这些图像来寻找可以互相矫正的相似图像。这些相似图像由确定相似姿势的图像组成。因此，这就允许图像子集的选择用于重建。所述图像既用基线信息，也用多重图像之间可靠性的跟踪特征点来选择。

多重不同的图像之间经常存在测量不确定性。例如，随着一对图像之间的角度基线的减少，计算了的3D点中的错误被放大。减少的角度基线于是增大了3D测量的不确定性。较少精确的3D信息可以从图像中具有更小角度基线的图像获得。随着角度基线的增大，可以提取更多精确的3D信息，然而两个视图之间的共有表面区域也更少了，因此具有更少的可能的匹配。图像对因此被选择来平衡测量不确定性和错误的数量。例如，带有8-15度角度基线的图像和6个点匹配图像对的图像可能是优选的。

所述平衡可以通过在多种已选图像中跟踪特征点实现。仅仅那些特征之间有高置信度匹配(例如90％以上)的图像被保留用来建立特征链。如果帧对适合特征点，并且也满足一个设定的基线标准，那么帧对就被维持在图像集中。例如，基线标准可以设定成——例如要求至少5度的角度基线。特征点标准也会舍弃有着高度不精确的跟踪姿势估计的帧。

这个稀疏匹配阶段产生了一组图像以及在序列中匹配的特征点。由所述特征点匹配所支持的匹配可能比由姿势跟踪器单独预测的匹配更精确。与跟踪器预测匹配相比，特征点匹配也可覆盖更多的帧，并且因此在照相机姿势优化进程提供了更多的限制。这些限制可导致在步骤130姿势完善中得到更大的精确性。

束调整以多组图像和在图像组中被匹配的特征点开始。如上所述，这些已经通过特征跟踪获得。在步骤130处实现的束调整，是一种为了解决照相机参数和基于图像组之间的二维匹配的点的3D位置的最优化技术。所述最优化参数可以包括照相机的位置和方向，以及2D特征点的3D结构。最优化可以通过交替针对结构的局部解决方案，然后针对照相机姿势的局部解决方案实现。计算机可以交替地实现这些计算直到一种恰当的解决方案汇合。

因此，通过以迭代的形式，在估计照相机的位置和点的位置之间进行翻转(flip-flopping)，束调整估计每个图像中的照相机位置，直到它最终汇合。最终的结果既是更精确的照相机位置又是更精确的点的结构。因为这些是稀疏“高置信度”点，因此它没有提供一个完整的密集表征，但是这在后面的过程中完成。

一个可选择的技术可以简化迭代得改变性能，直到获得好的性能。

像步骤130中估计的匹配特征点的3D位置和优化的束调整，在后续的阶段用于限制重建的范围。这些形成了在所有的后续处理阶段中用到的优化的照相机姿势。

步骤140密集特征匹配在图像对之间找到更多的关于相应点的信息。然而，无限制的密集匹配可以被计算性地抑制，因为它能为每个匹配获取完整的图像搜索。无限制的搜索会相对于其他图像中的每个点，比较每个图像的每个点。

步骤150总体地描述了用于降低密集特征搜索范围的技术。

根据所述实施例，应用了一种对极几何技术。在对极几何中，每个相互匹配的项目必须沿着在多对的图像或者成群的图像之间延伸的单线展开。处理进程可以进一步通过矫正图像简化，这样每个对极线与水平扫描线相符。这就避免了为每个潜在的匹配重取样图像的需要。

矫正之后，利用匹配进程发现每对图像里的相关点。先前人脸知识或一般人脸可以通过将匹配限制到被跟踪人脸轮廓覆盖的区域来辅助匹配进程。这就允许简化搜索，这样，就可针对一副图像中的每个像素利用固定的窗长来提取模板。该模板沿着多对图像中的相关对极线匹配。

一个最小化的相关性极值和适合人脸的受限的不同范围被用来降低假匹配的数量。带有平坦相关的块的位置或者没有明显峰顶的区域被丢弃。然而，多种候选匹配可以被维持来找到最好的匹配。

所述匹配进程的结果是一个不一致的量。每个三重(x，y，d)把矫正后的图像里面的像素(x，y)映射到多对图像里面的像素(x+d，y)。

该已知的姿势可以被三角形化以把不一致的值转换为三维点。每个不一致的像素用反矫正变换，转换为它自己的最初的图像空间。所述匹配的三维区域由通过照相机的光心的光线和图像平面里的相关特征关联之间的交集所提供。实际上，特征关联和照相机估计里的错误会阻止这些线精确地相交。最小化光线之间正交距离的三维点可能被用到。

另一个限制可以由导出结构里面的孤立点的丢弃提供。从束调整进程产生的三维结果提供了一个更加精确，尽管稀疏的三维人脸结构的估计。这不足以捕获人脸精细的表面几何形状。所述实施例中，这被用来提供在密集重建中允许的三维计算上的约束。尤其地，计算的结构与束调整导出的结构不应有太大的偏差。这个结构首先通过把内插值替换的束调整转换为三维像素来预过滤数据，并且在预定距离丢弃来自于三维像素的数据。实质上，这变成了一种数据优化技术。

该三维像素测试移除了那些大于到束三维像素的一个预定距离的全局异常信号。它也移除了由于人脸轮廓的不精确布局产生的边界伪迹。然而，特征关联的错误可以导致重建噪声。如果所述噪声在视图内部和视图之间是不相关的，它将呈现为三维结构里的稀疏、高频变化。然而由于人脸结构的平滑部分和连续性，正确的匹配在视图间将是相关联的。

张量投票也可以被用来测定表面突起，因此维持相关结构的是张量投票。三维张量投票方案可以用于加固和测定表面突起。张量投票允许每个3D点作为球张量或棍张量被编码。张量里的信息经过表决操作扩展到它们的相邻部分。具有相似结构的相邻部分通过张量投票互相加固。结构加固数量被原始的结构突起所影响。该技术从点云复原了表面。

好的点法向(point normals)的最初估计可能优选是无分别地把点作为球张量编码。所述实施例中，头部被图4A所示的圆柱体所近似。圆柱体法向(cylinder normals)被获得。所述圆柱体法向可以用来作为点法向的近似值。

图4B显示了展开和三角化的同样的点。

在另外一个实施例中，系统会用到一个3x3的本征系统，并且会把法线固定为本征系统里的第一个本征矢量。遗留的基准矢量接着会用奇异值分解来计算。例如，由第一个两种本征矢量间的不同幅度所定义的最初表面突起，可能会为所有的点统一设置。

从束调整获得的3D点是面部结构的非常精确，却是人脸结构的稀疏的估计。所述这些点被增加到设有增高的表面突起的张量投票中。径向基(radialbasis)功能也可以用于向从束调整获得的3D点之间插入一个平滑的表面。在所述实施例中，3D束点的法线从插入的表面计算出，用于张量投票。然而，所述插入的表面本身并不优选地用于张量投票。

经过两次张量投票后，带有低表面突起的点被移除，留下了散布于人脸表面的点的密集云。

先前人脸知识或一般人脸可能在密集重建阶段引入，所以人脸空间不被限制。特别地，实施例可能在密集处理中用先前人脸知识或一般人脸测定并丢弃孤立点等等，例如基于一个存在的一般人脸画像，但是不用于计算或修改重建点的3D位置。

面部细节在三维点云中有效地捕获。如果最终的目标是一个人脸的数学描述，那么三维点云可能就足够了。

所述实施例用领域知识产生和构造一个基于密集三维结构的面片模型(mesh)。所述实施例经过圆柱形投影操作打开3D云到一个二维平面上。随着圆柱形投影，每个三维点云有一个相关的二维映射位置。所述二维映射位置可以用Delaunay三角测量三角化。它们的连通性信息接着传送到三维点，并且根据作为结果的面片模型定义表面。图4B显示了展开和三角形划分的圆柱形。

这里描述普通的结构和技术，和更多能用于达到不同的实现更多普通目标的方法的明确实施例。

尽管上述细节仅描述了一些实施例，但是其他实施例也是可能的，而且发明将这些包含在此说明书中。说明书描述了一些实现更总体目标的例子，这些目标也可通过其他方式实现。这种揭示是示范性的，并且权利要求书意在覆盖任何更改或可替代的技术方案，而这些更改或可替代的技术方案对于本领域技术人员来说是可预知的。例如，很多在此描述的操作涉及到使用一般人脸或先前人脸知识的操作。应该可以理解的是，这些可替代的技术中的一些，但不是全部，可通过利用这些一般或先前人脸的知识实现。

同样，发明人认为，使用“用于......的方法”词语的权利要求，可根据35USC112的第六段进行解释。此外，说明书中任何的限制都不能在理解时被加入到任何权利要求书中，除非这些限制已经清楚地包含在权利要求书中。在此描述的计算机可为任何类型的计算机，或者用于通用目的，或者用于一些特殊的目的，如工作台。计算机可为运行Windows Xp或Linux的奔腾系列计算机，或者也可为苹果公司的计算机。计算机也可为掌上电脑，如PDA，蜂窝式便携无线电话，或便携式电脑。

所述程序可以用C，或者Java，Brew或者其他的程序语言写成。所述程序可以存储在存储介质上，举例来说磁介质或者光介质，例如计算机硬盘，移动磁盘或像记忆棒或SD媒介的媒介，或者其他移动介质。所述程序也可以经过网络运行，比如一个服务器或者其他机器发送信号给本地机器，这允许本地机器执行在此描述的操作。

在此提到的特殊的数值，它应该被认为是所述数值提高或者降低20％，然而依旧处于当前应用的教义之内，除非特别提及到一些不同的范围。

Claims (39)

1、一种人脸重建方法，包括：

利用先前人脸知识分析人脸的大量图像来找到稀疏的、三维人脸特征；以及利用所述稀疏三维人脸特征来分析所述大量图像，以利用数据驱动方法，不使用任何先前知识找到密集三维特征。

2、如权利要求1所述的方法，进一步包括：利用先前的知识来识别图像中的特征，并且在多对图像之间进行矫正来发现相似的图像对。

3、如权利要求1所述的方法，其中所述先前的知识被用来识别人脸的各部分。

4、如权利要求1所述的方法，其中所述先前的知识被用来识别表示一般人脸的人脸轮廓。

5、如权利要求1所述的方法，其中所述利用所述先前的知识包括：利用先前知识来约束形成一系列稀疏三维特征的人脸特征。

6、如权利要求2所述的方法，其中所述相似图像对是包括一个足够用来识别三维信息，而不是太大而不符合要求地将测量不确定性增加到超过特定数量的角形基线的图像对。

7、如权利要求2所述的方法，进一步包括：测试图像对来获得大于第一特定数量的角形基线，和获得大于第二特定数量的图像对里面的特征之间的匹配。

8、如权利要求1所述的方法，进一步包括：第二分析大量的图像来发现具有图像间匹配的特征点大于特定数量的图像簇，并且利用所述图像簇来优化用所述先前的知识实现的第一分析，来形成一系列跟踪特征点。

9、如权利要求8所述的方法，其中所述图像簇包括多对的图像。

10、如权利要求8所述的方法，进一步包括：利用所述一系列跟踪的特征点来发现所述跟踪特征点的位置和运动。

11、如权利要求10所述的方法，进一步包括：利用所述跟踪特征点的位置来优化所述稀疏三维特征。

12、如权利要求1所述的方法，其中所述发现密集特征包括约束密集特征的搜索范围。

13、如权利要求1所述的方法，其中所述发现密集特征包括丢弃与其他特征之间的距离大于预定距离的孤立点部分。

14、如权利要求13所述的方法，其中所述丢弃孤立点部分包括：把数据转换为三维像素，并且丢弃与三维像素之间的距离大于预定距离的数据。

15、如权利要求1所述的方法，进一步包括：丢弃显著偏离表面大于特定数量的部分。

16、如权利要求15所述的方法，其中所述丢弃包括用张量投票来检测所述部分。

17、一种人脸重建系统，包括：

照相机，用于获取人脸的大量图像；和

处理部件，用于利用先前的人脸知识分析所述大量图像，来发现稀疏、三维的人脸特征，以及用于利用数据驱动方法，不利用任何先前的知识，用所述稀疏三维人脸特征来分析所述大量图像，来发现密集特征。

18、如权利要求17所述的系统，其中所述照相机是静态照相机。

19、如权利要求17所述的系统，其中所述照相机是摄影机。

20、如权利要求17所述的系统，其中所述处理部件利用先前的知识操作来识别图像里的特征，并且在多对的图像之间矫正来发现相似的图像对。

21、如权利要求20所述的系统，其中所述处理部件利用所述先前的知识操作以识别表示一般人脸的人脸轮廓。

22、如权利要求17所述的系统，其中所述处理部件操作来测试图像对来获得大于第一特定数量的角形基线，和获得大于第二特定数量的图像对里面的特征之间的匹配。

23、如权利要求22所述的系统，其中所述图像簇包括多对的图像。

24、如权利要求17所述的系统，其中所述处理部件通过丢弃与其他特征之间的距离大于预定距离的孤立点部分来发现密集特征。

25、如权利要求24所述的系统，其中所述处理部件利用张量投票实现所述丢弃。

26、一种人脸重建的方法，包括：

分析从单个照相机获得大量图像，来矫正所述大量图像和从所述大量图像中发现至少一个人脸的可表示的三维信息，所述分析包括利用先前的人脸知识来测定图像中的初始特征的初始分析，和利用所述初始特征的，不使用任何先前知识的随后分析来发现附加的信息。

27、如权利要求26所述的方法，进一步包括：利用先前的知识来识别图像里的特征，和在多对的图像之间调整来发现相似的图像对。

28、如权利要求26所述的方法，其中所述先前的知识被用来识别人脸的部分。

29、如权利要求28所述的方法，其中所述先前的知识被用来识别表示一般人脸的人脸轮廓。

30、如权利要求27所述的方法，其中所述相似图像对是包含足够用来识别三维信息，而不太大、不符合要求地将测量不确定性增加到超过特定数量的角形基线的图像对。

31、如权利要求26所述的方法，其中所述随后分析包括为密集特征约束搜索的范围。

32、如权利要求26所述的方法，进一步包括丢弃与其他特征之间的距离大于预定距离的孤立点部分。

33、如权利要求32所述的方法，其中所述丢弃孤立点部分包括把数据转换为三维像素，并且丢弃与三维像素之间的距离大于预定距离的数据。

34、如权利要求26所述的方法，进一步包括：丢弃显著偏离表面大于特定数量的部分。

35、如权利要求34所述的方法，其中所述丢弃包括通过用张量投票来检测所述部分。

36、一种方法，包括：

分析人脸的大量图像来发现关于人脸的稀疏信息；

利用稀疏信息来，使用数据驱动方法，发现密集信息，所述利用包括用张量投票技术约束密集信息搜索的范围。

37、一种人脸处理方法，包括：

利用一般人脸的先前知识，分析人脸的大量图像来发现所述图像间的匹配，所述匹配用于形成稀疏信息；和

利用所述匹配来形成多对的图像；

利用不使用何一般人脸的先前知识的数据驱动方法，分析所述图像对来发现一系列密集特征，所述分析包括从密集特征集中移除孤立点部分。

38、一种用于从人脸的大量2D图像来自动重建3D人脸的方法，包括：

在推导初始照相机位置估计中利用一般人脸的先前知识；

选择图像对并且为每个所述图像对提取稀疏特征点；

优化所述初始照相机位置估计和所述稀疏特征点；

在从所述图像对中提取密集3D点云中使用纯粹的数据驱动方法；

将所述密集3D点云合并到单一3D云里；

从所述单一3D点云移除孤立点来形成一个纯净的3D点云；

调整连接面到该纯净的3D点云，和

将目标人脸的表面细节和色彩信息纹理映射到所述连接面上。

39、一种用于从人脸的大量2D图像来自动重建3D人脸的方法，包括：

在推导初始照相机位置估计中利用一般人脸的先前知识；

选择图像对并且为每个所述图像对提取稀疏特征点；

优化所述初始照相机位置估计和所述稀疏特征点；

在从所述图像对提取密集3D点云中使用纯粹的数据驱动方法；

将所述密集3D点云合并到单一3D云里；

利用一般人脸的先前指示，从所述单一3D点云移除孤立点来形成一个纯净的3D点云；

调整连接面到该纯净的3D点云；和

将目标人脸的表面细节和色彩信息纹理映射到所述连接面上。

Images