CN102136156B - 用于介观几何结构调制的系统和方法 - Google Patents

Abstract

本发明提供了用于介观几何结构调制的系统和方法。一种用于生成物体的三维模型的由计算机实现的方法。该方法包括生成物体的粗略几何结构网格；基于与该粗略几何结构网格相关联的光度一致性和表面一致性来计算该粗略几何结构网格的优化；以及基于该优化来细化该粗略几何结构网格以生成该物体的三维模型。

Description

用于介观几何结构调制的系统和方法

技术领域

本发明涉及计算机图形和计算机视觉的领域，具体而言涉及用于介观几何结构调制(mesoscopic geometry modulation)的系统和方法。

背景技术

近来，对于三维(3D)脸部模型的需求越来越大。电影行业越来越依赖于计算机图形(CG)来将人类演员放置在物理上不可行的情形中。在一些情形中，演员完全被相应的虚拟对应物所替换，因为所需要的镜头可能使演员遭到危险。

为了无缝地集成演员或其CG表示，必须匹配从其他物体投射的光影。使用粗略脸部模型的传统方案是不够的，因为人类眼睛已被训练来研读脸部，因此即使是细微的瑕疵也会立即被发现。另外，诸如皱纹形成之类的次级效应对于动画制作者来说或者通过物理仿真的方式创建起来是尤其困难和烦冗的，但这些次级效应对于自然的脸部外观是必需的。

当前，唯一实际的选项是利用3D捕捉来获取脸部的模型。所获取的模型可以直接被集成到电影中，或者可用于控制其他脸部。此外，电影行业不是仅有的需要逼真的脸部模型的行业。计算机游戏对于虚拟人物有需求。另外，医学对于这种模型感兴趣。

3D捕捉的传统方案可被分类成深度估计技术或法线估计技术。诸如毛孔和皱纹之类的介观皮肤细节的深度变化在微米范围内。大多数深度估计技术用当前的硬件是无法实现这种水平的细节的。激光扫描能够恢复这些尺度上的深度变化，但是此技术因为皮肤的半透明性和/或获取过程所需的时间而产生不充分的结果。作为一种变通方案，改为扫描脸部的石膏模具。这些深度估计技术中的每一个都有各种缺陷，其中包括获得演员脸部的石膏模具的繁重过程。

法线估计技术区分从物体的表面发散的漫射法线(diffuse normal)和镜面法线(specular normal)。与漫射法线相比，镜面法线所编码的细节要高得多。可以基于在对象的表面处反射的光来估计漫射法线和镜面法线。每条法线反射来自不同方向的光。给定光的方向，可以估计法线。取决于入射光的方向，存在两条对立的研究线。第一条研究线使用已知位置和已知方向处的单个光源。然而，为了对可能法线的整个空间采样，必须移动光。从而，该系统只适合于静态场景。第二条研究线在对象的四周都放置光源。这里的问题是区分反射的光源自哪个光源。

传统的法线估计技术依赖于极化来分离漫射部分和镜面部分，从而具有多种缺点。首先，最先进的实现方式对于一次扫描要求多达13个帧。为了能够捕捉表演，这些传统的技术实现非常昂贵的高速相机。被捕捉的对象在捕捉过程期间仍有可能略微移动；从而，必须应用精密的图像配准技术来将所捕捉的帧重新对齐。另外，短曝光时间和对极化的使用大大增加了所需的照明量，从而导致非常高的能量消耗和发热问题。最后，光的极化将传统方案限于从有限的一组视点捕捉高分辨率镜面法线地图。

从以上可见，现有技术中需要用于诸如高分辨率脸部模型之类的高分辨率模型的捕捉的改进技术。

发明内容

本发明的实施例提供了将介观细节添加到通过诸如立体重建之类的重建技术恢复的低频几何结构的技术。在某些实施例中，介观皮肤细节存在于空间频率域中的某些频带内。本发明的实施例应用一个或多个带通滤波器来从对象中提取一种或多种不同类型的细节。这些特征随后被用于调制低频几何结构。

本发明的一个实施例提供了用于生成物体的三维模型的由计算机实现的方法。该方法包括利用诸如立体重建之类的重建方法生成物体的粗略几何结构网格；基于与该粗略几何结构网格相关联的光度一致性和表面一致性来优化该粗略几何结构网格；通过向该物体的图像应用滤波器来确定与该物体相关联的第一组介观细节，其中第一组介观细节中包括的介观细节在该物体的图像中是可检测的并且在生成该物体的粗略几何结构网格时是不可重建的；以及利用第一组介观细节来细化该粗略几何结构网格以生成该物体的三维模型。

本发明的另一实施例提供了一种用于生成物体的三维模型的由计算机实现的方法。该方法包括生成物体的粗略几何结构网格；基于与该粗略几何结构网格相关联的光度一致性和表面一致性来计算该粗略几何结构网格的优化；以及基于该优化来细化该粗略几何结构网格。

在使用立体重建来恢复低频几何结构的实施例中，细节是从用于立体重建的那些图像中恢复的，这是本技术与法线估计相比的关键优点之一。然后，从每个相机的一个图像重建脸部模型。结果在视觉上接近当前最先进的法线估计方案产生的结果，但是成本低得多。本发明的实施例从而为较小的公司或私人提供了低预算的替代方案。

附图说明

为了能够详细理解以上记载的本发明的特征，通过参考实施例可以对以上简要总结的本发明进行更具体的描述，实施例中的一些在附图中图示。然而，要注意，附图只图示了本发明的典型实施例，因此不应被认为限制了其范围，因为本发明可涵盖其他具有相同效果的实施例。

图1是被配置为实现本发明的一个或多个方面的系统的框图。

图2是根据本发明一个实施例在捕捉和重建对象时恢复介观细节的方法步骤的流程图。

图3A是图示出根据本发明一个实施例利用两个相机来捕捉对象的概念图。

图3B是根据本发明一个实施例用于执行立体重建的方法步骤的流程图。

图4A是根据本发明一个实施例的介观细节的概念图示。

图4B是根据本发明一个实施例的粗略几何结构(coarse geometry)的概念图示。

图4C是根据本发明一个实施例在带有视差位移(disparitydisplacement)的情况下被应用到粗略几何结构的介观细节的概念图示。

图4D是根据本发明一个实施例在带有法线位移的情况下被应用到粗略几何结构的介观细节的概念图示。

具体实施方式

本发明的实施例提供了将介观细节添加到通过诸如立体重建之类的重建技术恢复的低频几何结构的技术。在某些实施例中，介观皮肤细节存在于空间频率域中的某些频带内。本发明的实施例应用一个或多个带通滤波器来从对象中提取一种或多种不同类型的细节。这些特征随后被用于调制低频几何结构。

本发明的一个实施例提供了用于生成物体的三维模型的由计算机实现的方法。该方法包括利用诸如立体重建之类的重建方法生成物体的粗略几何结构网格；基于与该粗略几何结构网格相关联的光度一致性和表面一致性来优化该粗略几何结构网格；通过向该物体的图像应用滤波器来确定与该物体相关联的第一组介观细节，其中第一组介观细节中包括的介观细节在该物体的图像中是可检测的并且在生成该物体的粗略几何结构网格时是不可重建的；以及利用第一组介观细节来细化该粗略几何结构网格以生成该物体的三维模型。

本发明的另一实施例提供了一种用于生成物体的三维模型的由计算机实现的方法。该方法包括生成物体的粗略几何结构网格；基于与该粗略几何结构网格相关联的光度一致性和表面一致性来计算该粗略几何结构网格的优化；以及基于该优化来细化该粗略几何结构网格。

在使用立体重建来恢复低频几何结构的实施例中，细节是从用于立体重建的那些图像中恢复的，这是本技术与法线估计相比的关键优点之一。然后，从每个相机的一个图像重建脸部模型。结果在视觉上接近当前最先进的法线估计方案产生的结果，但是成本低得多。本发明的实施例从而为较小的公司或私人提供了低预算的替代方案。

皮肤是包括多种成分的复杂结构。在一些实施例中，可在以下三个不同尺度上考虑皮肤：微观尺度、介观尺度和宏观尺度。微观尺度中的皮肤特征在相机捕捉的图像中是不可感知的，而宏观尺度则太粗略以至于不适合于细节特征。在介观尺度上，特征可被分类成两个群组。第一群组是基于颜色变化的。斑点、雀斑和痣是介观尺度特征的第一群组的示例。第二群组是基于几何变化的。毛孔、细纹和脸部汗毛属于此群组。在一些实施例中，第一和第二群组中的每个特征位于图像的空间频谱的特定范围中。

从而，根据本发明的实施例，基于图像的空间频率内容，可从图像中提取介观特征。在一些实施例中，介观特征是在物体的图像中可察觉、但在由于对物体执行诸如立体重建之类的重建而产生的粗略几何结构中则不可测量的那些特征。在一些实施例中，粗略几何结构可包括物体的比介观特征更大尺度的特征。例如，可从图像中提取毛孔信息。毛孔以一种有非常有规律的方式覆盖脸部并且很适合作为用于图像配准的特征。此外，毛孔通常是各向同性的(即，沿着每条轴是对称的)。在一个实施例中，可利用适当选择的带通滤波器来对图像进行滤波。可利用拉普拉斯滤波器和非极大抑制算法来对结果进一步滤波以找到介观细节的位置。作为最后一步，本发明的实施例可以按照拉普拉斯的响应对特征候选者进行加权。诸如丘疹之类的其他各向同性特征可以按类似的方式来提取，而诸如皱纹之类的各向异性特征则可能需要不同的滤波器。

系统概述

图1是被配置为实现本发明的一个或多个方面的系统100的框图。系统100可以是计算机工作站、个人计算机、视频游戏控制台、个人数字助理、渲染引擎、移动电话或任何其他适用于实现本发明的一个或多个实施例的设备。

如图所示，系统100包括中央处理单元(CPU)102和系统存储器104，它们经由总线路径通信，总线路径可包括存储器桥105。CPU 102包括一个或多个处理核心，并且在操作中CPU 102是系统100的主处理器，控制和协调其他系统组件的操作。系统存储器104存储供CPU 102使用的软件应用和数据。CPU 102运行软件应用并且可选地运行操作系统。存储器桥105(其例如可以是Northbridge芯片)经由总线或其他通信路径(例如HyperTransport链路)连接到I/O(输入/输出)桥107。I/O桥107(其例如可以是Southbridge芯片)从一个或多个用户输入设备108(例如键盘、鼠标、操纵杆、数化板、触摸板、触摸屏、静止或视频相机、运动传感器和/或麦克风)接收用户输入并经由存储器桥105将输入转发给CPU102。

显示处理器112经由总线或其他通信路径(例如PCI Express、Accelerated Graphics Port或者HyperTransport链路)耦合到存储器桥105；在一个实施例中，显示处理器112是包括至少一个图形处理单元(GPU)和图形存储器的图形子系统。图形存储器包括用于存储输出图像的每个像素的像素数据的显示存储器(例如帧缓冲器)。图形存储器可与GPU集成在同一设备中、作为单独的设备与GPU相连和/或在系统存储器104内实现。

显示处理器112周期性地递送像素给显示设备110(例如屏幕或传统的基于CRT、等离子、OLED、SED或LCD的监视器或电视机)。此外，显示处理器112可将像素输出到适合于在摄影胶片上再现计算机生成的图像的胶片记录器。显示处理器112可向显示设备110提供模拟或数字信号。

系统盘114也连接到I/O桥107并且可被配置为存储供CPU 102和显示处理器112使用的内容和应用和数据。系统盘114为应用和数据提供非易失性存储并且可包括固定或可移除的硬盘驱动器、闪存设备以及CD-ROM、DVD-ROM、Blu-ray、HD-DVD或其他磁的、光的或固态的存储设备。

交换机116在I/O桥107和诸如网络适配器118和各种附加卡120和121之类的其他组件之间提供连接。网络适配器118使得系统100可以经由电子通信网络与其他系统通信，并且可包括经由局域网和广域网(例如因特网)的有线或无线通信。

包括USB或其他端口连接、胶片记录设备等等在内的其他组件(未示出)也可连接到I/O桥107。例如，音频处理器可用于根据由CPU 102、系统存储器104或系统盘114提供的指令和/或数据生成模拟或数字音频输出。互连图1中的各种组件的通信路径可利用诸如PCI(外围组件互连)、PCT Express(PCI-E)、AGP(加速图形端口)、HyperTransport或任何其他(一个或多个)总线或点对点通信协议之类的任何适当协议来实现，并且不同设备之间的连接可使用不同的协议，这是本领域中已知的。

在一个实施例中，显示处理器112包含针对图形和视频处理进行了优化的电路(包括例如视频输出电路)并且构成图形处理单元(GPU)。在另一实施例中，显示处理器112包含针对通用处理进行了优化的电路。在又一实施例中，显示处理器112可与诸如存储器桥105、CPU 102和/或I/O桥107之类的一个或多个其他系统元件集成以形成片上系统(Soc)。在其他实施例中，显示处理器112被省略，并且CPU 102运行的软件执行显示处理器112的功能。

像素数据可以被直接从CPU 102提供给显示处理器112。在本发明的一些实施例中，表示场景的指令和/或数据经由网络适配器118或系统盘114被提供到渲染集群(render farm)或一组服务器计算机，其中每一个类似于系统100。该渲染集群利用所提供的指令和/或数据来生成该场景的一个或多个渲染的图像。这些渲染的图像可以以数字格式被存储在计算机可读介质上并且可选地被返回给系统100以供显示。类似地，经显示处理器112处理的立体图像对可被输出到其他系统以供显示、存储在系统盘114中或者以数字格式被存储在计算机可读介质上。

或者，CPU 102向显示处理器112提供限定所期望的输出图像的数据和/或指令，显示处理器112根据这些数据和/或指令生成一个或多个输出图像的像素数据，其中包括表征和/或调整立体图像对之间的偏移。限定所期望的输出图像的数据和/或指令可被存储在系统存储器104中或显示处理器112内的图形存储器中。在一实施例中，显示处理器112包括3D渲染能力，用于根据限定场景的几何结构、光影、纹理、运动和/或相机参数的指令生成输出图像的像素数据。显示处理器112还可包括能够执行描影器(shader)程序、色调映射程序等等的一个或多个可编程执行单元。

将认识到，这里示出的系统是例示性的，变化和修改是可能的。包括桥的数目和布置在内的连接拓扑可根据需要被修改。例如，在一些实施例中，系统存储器104直接而不是通过桥连接到CPU 102，并且其他设备经由存储器桥105和CPU 102与系统存储器104通信。在其他替代拓扑中，显示处理器112连接到I/O桥107或直接连接到CPU 102，而不是连接到存储器桥105。在还有一些实施例中，I/O桥107和存储器桥105可被集成到单个芯片中。这里示出的特定组件是可选的；例如，可以支持任意数目的附加卡或外围设备。在一些实施例中，去除了交换机116，并且网络适配器118和附加卡120、121直接连接到I/O桥107。

根据本发明的实施例，可基于图像的空间频率内容从图像中提取介观特征。本发明的某些实施例可利用存储在系统存储器104中并由CPU 102和/或显示处理器112执行的软件来实现。其他实施例可实现为显示处理器112执行的一个或多个描影器程序。还有一些实施例可利用包括在显示处理器112内的固定功能硬件来实现。其他实施例可实现为硬件和软件的组合。

介观几何结构调制

图2是根据本发明一个实施例在捕捉和重建对象时恢复介观细节的方法步骤的流程图。本领域的技术人员将会理解，虽然方法200是结合图1的系统来描述的，但是被配置为按任何顺序执行这些方法步骤的任何系统都在本发明的实施例的范围内。

如图所示，方法200开始于步骤202，在该步骤中处理器确定对象的粗略几何结构。在一个实施例中，对象是人类头部，并且人类头部的粗略几何结构包括头部的大体形状，提供了诸如鼻子、耳朵、眼睛、嘴巴等等之类的主要特征的形状。在粗略几何结构中不包括介观细节(例如毛孔、瑕疵、毛发等等)。例如，粗略几何结构可提供对象的塑料状和/或“蜡状”的几何结构。

在一个实施例中，粗略几何结构是利用(多视图)立体重建来确定的，如图3B所述。在其他实施例中，可以实现任何其他技术上可行的用于确定粗略几何结构的技术。

立体重建包括找出对象的两个图像之间的对应关系。一旦确定了两个图像之间的对应像素和/或亚像素位置，就可以很容易实现重建。图像配准在过去几十年来一直是热门研究领域，不仅用于立体重建，而且用于光流分析、医学成像及其他。在此期间，提出了许多不同的技术。

图3A是图示出根据本发明一个实施例利用两个相机304、306来捕捉对象302的概念图。如图所示，相机304从左侧捕捉对象302；而相机306从右侧捕捉对象302。在一些实施例中，相机304、306的图像可以同时被捕捉以减轻时间上的不连续。根据由此产生的图像，可以实现立体重建以生成对象302的粗略几何结构。

图3B是根据本发明一个实施例用于执行立体重建的方法步骤的流程图。本领域的技术人员将会理解，虽然方法300是结合图1和3A的系统来描述的，但是被配置为按任何顺序执行这些方法步骤的任何系统都在本发明的实施例的范围内。

如图所示，方法300开始于步骤310，在该步骤中处理器矫正图像。立体重建包括找出一个图像中的点和另一图像中的点之间的对应关系。例如，对于图像I中的给定的点p，立体重建包括找出图像J中的对应点q。本发明的实施例利用经校准的设置来操作；从而，搜索范围可被约束到一个维度。此约束被称为对极约束(epipolar constraint)，其规定图像I中的点p在图像J中的对应点q必须位于对极线上，反之亦然。当这些线对应于图像中的相同行时(这是通过矫正来实现的)，匹配变得尤其简单。

在步骤312，处理器执行立体匹配。在一个实施例中，可使用基于块的匹配算法(也称为基于面片的或基于区域的匹配算法)。经由误差函数ε为所有可能的对应关系q_i计算匹配质量，并且选择具有最低误差的对应关系。常用的误差函数包括距离平方之和(SSD)、绝对差之和(SAD)或互相关。在立体匹配算法中可实现额外的改进，例如添加约束、双向匹配以及亚像素匹配。此外，本发明的一些实施例可包括确保对应关系具有低误差和良好的定位的匹配质量度量。

在步骤314，处理器执行优化。在一些实施例中，立体匹配仅提供了视差地图的粗略初始估计。此地图还可包括整片的离群值，尤其在不连续处或仅相机之一可见的区域处。可执行一个或多个额外的处理步骤来优化视差地图，包括面片填充和不连续重定位。

在一个实施例中，优化被定义为利用光度一致性和表面一致性对视差d的迭代细化。优化既对视差地图执行并且随后也对表面执行。这两个优化都可以实现为迭代的过程。在一些实施例中，优化保留了体积并且迅速收敛到期望的解答。由于收敛在开始时接近于指数的，所以本发明的实施例在到达收敛前终止优化，以在质量和计算工作量之间找到平衡。如下所述，这对于视差金字塔的低分辨率层尤其有价值，因为下一个较高的级别反正也会细化视差，因此一些实施例只需要消除严重误差。

1.视差地图优化

在一个实施例中，视差值在每次迭代中以d_p和d_s的线性组合的形式被更新，其中d_p是在改进的光度一致性的方向上调整，而d_s是在改进的表面一致性的方向上的调整。

计算d_p-给定图像I中的当前像素p及其在图像J中的匹配q，本发明的实施例计算p与q-1、q和q+1的正规化互相关(NCC)，其中偏移表示q的左邻居和右邻居。各个NCC被标记为ξ_-1、ξ₀、ξ₊₁，并且d_p被计算为：

$d_p=p-q+\left\{\begin{array}{cc}-0.5& {\mathrm{\&xi;}}_{-1}<{\mathrm{\&xi;}}_0,{\mathrm{\&xi;}}_{+1}\\ 0.5\frac{({\mathrm{\&xi;}}_{-1}-{\mathrm{\&xi;}}_{+1})}{{\mathrm{\&xi;}}_{-1}+{\mathrm{\&xi;}}_{+1}-2{\mathrm{\&xi;}}_0}& {\mathrm{\&xi;}}_0<{\mathrm{\&xi;}}_{-1},{\mathrm{\&xi;}}_{+1}\\ +0.5& {\mathrm{\&xi;}}_{+1}<{\mathrm{\&xi;}}_{-1},{\mathrm{\&xi;}}_0\end{array}\right.$ (等式1)。

计算d_s-已经为人类脸部设计了表面一致性的公式表示，其中视差值平滑变化，只有少量的深度不连续。一些实施例使用各向异性内核，这些内核适应于局部梯度以避免在边界上平滑化。然而，对于人类脸部，高梯度的区域大多数是由于相机对的不同透视缩短(foreshotening)造成的，因而在这些区域内不应减弱平滑。本发明的实施例采用了二阶属性，但却是在二维域上的各向异性公式表示内使用它们的。等式可被离散化为：

$d_s=\frac{w_x(d_{x-1,y}+d_{x+1,y})+w_y(d_{x,y-1}+d_{x,y+1})}{2(w_x+w_y)}$ (等式2)，

其中w_x＝exp(-(|d_x-1，y-d_x，y|-|d_x+1，y-d_x，y|)²)。这些权重使得谐波等式为各向异性的，从而减轻了深度不连续处的平滑。

计算d′-在一个实施例中，d′被定义为d′＝(w_pd_p+w_sd_s)/(w_s+w_p)，其中w_s是用户指定的控制平滑度的加权标量，并且w_p是

$w_p=\left\{\begin{array}{cc}{\mathrm{\&xi;}}_0-{\mathrm{\&xi;}}_{-1}& {\mathrm{\&xi;}}_{-1}<{\mathrm{\&xi;}}_0,{\mathrm{\&xi;}}_{+1}\\ 0.5({\mathrm{\&xi;}}_{-1}+{\mathrm{\&xi;}}_{+1}-2{\mathrm{\&xi;}}_0)& {\mathrm{\&xi;}}_0<{\mathrm{\&xi;}}_{-1},{\mathrm{\&xi;}}_{+1}\\ {\mathrm{\&xi;}}_0-{\mathrm{\&xi;}}_{+1}& {\mathrm{\&xi;}}_{+1}<{\mathrm{\&xi;}}_{-1},{\mathrm{\&xi;}}_0\end{array}\right.$ (等式3)。

这向图像的有纹理区域中的光度项赋予了更高的权重，在这些区域中图像数据关于特征定位是最有信息量的。

2.表面优化

表面优化与视差地图优化的不同之处在于实施例在连续的3空间中进行优化。为了保持计算易操控，本发明的实施例在X处将优化限于沿着法线方向n并且定义了优化分辨率δ(通常为0.1mm)。于是其结果是离散的一维优化，并且实施例通过在所有点上迭代并以X_p和X_s的线性组合的形式计算X的更新来以类似于视差地图优化的方式进行，其中X_p是改进的光度一致性的方向上的调整，并且X_s是改进的表面一致性的方向上的调整。

计算X_p-实施例生成点X_-δ＝X-δn和X_+δ＝X+δn。实施例将具有X的透视缩短程度最低的视图的相机定义为参考视图。然后，实施例通过取以参考图像中的投影为中心的x乘x的面片(例如x可等于3)与所有其他图像中的对应面片之间的NCC来测量某一点的光度一致性误差。给定X_-δ、X₀和X_+δ的误差值，实施例以类似于d_p的方式计算δ_p。

计算X_s-表面一致性估计X_s是用已知技术利用平均曲率流来计算的。

计算X′-计算X′＝(w_pX_p+w_sX_s)/(w_p+w_s)，其中w_p和w_s在一些实施例中与视差地图优化计算中的相同。

在步骤316，处理器执行规则化(regularization)和整顺(fairing)。仅一个相机可见的区域可能不被步骤314中执行的优化技术所恢复，因为这些技术依赖于来自两个相机的相互信息。通过执行规则化和整顺可以克服这些缺陷。在一些实施例中，规则化将信息传播到不能被匹配的区域中，而整顺则在保留必需特征的同时减弱噪声。

此外，为了加速计算并且相对于噪声更健壮，本发明的一些实施例利用“图像金字塔”在多个尺度上执行重建。图像金字塔可包括预定数目的层，其中每一层是下一个更低层的重采样的版本。最底层是原始图像。本发明的一些实施例以2为因数对图像进行重采样。为了避免混叠，高斯形式的低通滤波器可被应用到图像。令Δ_I表示图像I的图像金字塔。该图像金字塔包括|Δ_I|-1层，其中层0包括原始图像。为了表达对层的依赖性，本发明的实施例使用上标。另外，引入使个体层相关的两个操作符。提升操作符↑将一个像素从层l提升到下一个较高层(l+1)，而细化操作符↓则使像素沿着相反的方向：

↑(p^l)＝s^-1p^l

↓(p^l)＝sp^l

其中s是重采样因数。给定两个图像金字塔(D_I和D_J)，表1中的以下伪代码定义了用于找出图像J中最佳地对应于图像I中的点p的点q的算法：

表1

在步骤318，处理器执行三角测量以重建对象的粗略几何结构。任何技术上可行的方案都可被实现来执行步骤318，包括计算两束光线的交点或执行最小二乘计算。

再一次，如上所述，图3B中所示的涉及立体重建的方法300仅提供了一种用于确定对象的粗略几何结构的技术(即图2中的步骤202)。用于确定对象的粗略几何结构的任何其他技术也在本发明的实施例的范围内。

返回参考图2，在步骤204，处理器应用带通滤波器以提取介观细节。如上所述，介观细节对所捕捉的图像的高空间频率内容作出贡献。应用带通滤波器以提取介观细节的技术是基于观测到的以下现象的：图像空间中的明暗与对象的几何结构相关联。基于观测到的这个现象，本发明的实施例提出了试探法来从所捕捉的图像中提取介观细节。

根据各种实施例，每个不同的介观细节可与一个不同的频率带相关联。例如，毛孔可与第一频率带相关联，并且脸部汗毛可与第二频率带相关联。其他频率带可与诸如斑点、雀斑、痣和/或细纹等等之类的其他介观细节相关联。一个单独的带通滤波器可被应用到图像以提取与特定的介观特征(例如毛孔)相关联的细节。

此外，在一些实施例中，可以基于有关图像的分辨率的知识、对象与相机的距离和/或介观特征的大小(例如平均毛孔大小)，来经验地确定特定的介观特征的频率带。或者，在其他实施例中，可以利用检测算法为每个图像自动地计算特定的介观特征的频率带或范围。

如上所述，可利用带通滤波器从图像中提取介观皮肤细节，例如：

δ＝s(I*f_u)

其中fu是带通滤波器并且s是控制高频特征的浮凸强度的比例因数。例如，当应用与第一介观特征(例如毛孔)相关联的第一带通滤波器时可应用第一比例因数，并且当应用与第二介观特征(例如脸部汗毛)相关联的第二带通滤波器时可使用第二比例因数。基于比例因数的相对强度或弱度，可以强调或减弱特定特征的浮凸强度。例如，对于第一介观特征应用较大的比例因数使得该特征在所得到的重建中更显著。

在步骤206，处理器判定是否应当提取任何特征。如果处理器判定应当从图像中提取至少一个特征，则方法300返回到如上所述的步骤204。再一次，根据本发明的实施例，每个单独的介观特征落在不同的空间频率带中。从而，步骤206和204之间的反馈环使得本发明的实施例可以在单个重建中捕捉两种或更多种不同类型的介观细节。如果在步骤206中处理器判定不再从图像中提取更多特征，则方法200进行到步骤208。

在步骤208，处理器将(一个或多个)介观细节添加到粗略几何结构。在一个实施例中，可以实现法线位移技术来将(一个或多个)介观细节添加到粗略几何结构，如图4A-4D中所述。在其他实施例中，可以实现任何其他技术可行的技术。

图4A是根据本发明一个实施例的介观细节402的概念图示。在图4A所示的示例中，介观细节402表示皮肤上的毛孔。例如，介观细节402的相对间距表示毛孔的间距，并且相对深度表示毛孔的深度。再一次，如图2中所述，这些介观细节是从图像空间中的空间频率得出的。在一些实施例中，介观细节的间距对应于这些特征在对象中的物理间距。然而，介观特征的深度不是物理上精确的。

图4B是根据本发明一个实施例的粗略几何结构404的概念图示。可能利用图3B所述的立体重建技术确定了粗略几何结构404。在其他实施例中，可能利用任何技术上可行的技术来确定粗略几何结构404。例如，粗略几何结构404可表示鼻尖。

图4C是根据本发明一个实施例在带有视差位移的情况下被应用到粗略几何结构404的介观细节402的概念图示。如图所示，图4C所示的介观细节的相对间距对应于图4A中的介观细节402的间距。然而，如图中还示出的，毛孔在图4C中径直向下延伸，无论粗略几何结构上该特定表面位置处的表面法线如何。

图4D是根据本发明一个实施例在带有法线位移的情况下被应用到粗略几何结构404的介观细节402的概念图示。如图所示，图4D所示的介观细节的相对间距对应于图4A中的介观细节402的间距。此外，图4d所示的介观细节在粗略几何结构上的每个特定表面位置处与表面法线排齐。

介观几何结构的建模

以上描述的表面优化技术的结果是一个表面几何结构，其在皮肤毛孔和细纹处是平滑的，因为在这种特征上的视差变化太小以至于检测不到。该结果是平坦的并且在脸部的合成视图中缺乏逼真感。另一方面，视觉检查则表明了图像中毛孔和细纹的存在。以下公开的技术使用图像纹理来浮凸所恢复的3D几何结构。该技术是定性的并且所恢复的几何结构在度量上是不正确的。然而，利用细尺度特征对介观几何结构的调制确实产生了合成脸部的感知质量的重大改善。

对于此介观优化，我们只对太小以至于不能被重建算法(例如在步骤202中实现)所恢复的特征感兴趣。本发明的实施例首先利用高斯N的投影来为所有点X计算高通滤波后的值μ：

$\mathrm{\&mu;}\left(X\right)=\frac{{\mathrm{\&Sigma;}}_{c\&Element;v}{\mathrm{\&alpha;}}_c(I_c\left(x\right)-[N_{{\mathrm{\&Sigma;}}_c}\&CircleTimes;I_c\left]\left(x\right)\right)}{{\mathrm{\&Sigma;}}_{c\&Element;v}{\mathrm{\&alpha;}}_v}$ (等式4)

其中v表示可见相机的集合，并且加权项α是透视缩短。在一些实施例中，依赖于匹配窗口m来选择方差。在其他实施例中，可以例如通过测量介观特征的大小来经验地确定方差。

介观值μ随后被用于在邻域R上计算的X_u＝X+δ_μn，其中：

${\mathrm{\&delta;}}_{\mathrm{\&mu;}}=-\mathrm{\&eta;}\frac{{\mathrm{\&Sigma;}}_{i\&Element;R}{w}_i(1-\frac{|\&rang;X-X_i,n\&lang;|}{\left|\right|X-X_i\left|\right|})(\mathrm{\&mu;}\left(X_i\right)-\mathrm{\&mu;}\left(X\right))}{{\mathrm{\&Sigma;}}_{i\&Element;R}{w}_i}$ (等式5)，

其中权重是利用诸如w_i＝exp(-|X-X_i|)之类的径向m基函数来计算的，并且η是浮凸强度。3D点的更新现在使用所有三个经调整的点X_p、X_s和X_u来计算X′＝(w_pX_p+w_sX_s+w_μX_μ))/(w_p+w_s+w_μ)。权重w_p和w_s与如上所述的表面优化计算中的相同，并且w_μ被定义为

$w_{\mathrm{\&mu;}}=\mathrm{\&rho;}\frac{3{\mathrm{\&xi;}}_0}{\mathrm{\&delta;}({\mathrm{\&xi;}}_{-\mathrm{\&delta;}}+{\mathrm{\&xi;}}_0+{\mathrm{\&xi;}}_{+\mathrm{\&delta;}})}$ (等式6)，

其中ρ是控制介观项的影响的用户指定项。描述此技术的伪代码在以下的表2中提供。以上所述的视差地图优化计算和表面优化计算是类似的并且比表2中提出的算法复杂度更低，因为介观项在这些优化中不存在。表2中的函数利用法线n来计算X的位置更新X′。在一个示例中，参数可具有以下值：分辨率δ＝0.05(以mm为单位)，表面平滑度λ＝0.03，介观权重ρ＝0.07并且浮凸强度η＝0.2。

表2

从而，本发明的实施例提供了用于在主要目标是视觉真实性而不是物理正确性的情形中进行高分辨率扫描的替代技术。本发明的实施例利用用于立体重建的那些数据来进行操作，所述数据对于每个视点包括单个图像。从而，实现本发明的实施例所需的设置是相对不昂贵的。然而，结果的质量对于计算机游戏以及电影来说是足够的。

在一些实施例中，可向这里描述的技术添加额外的改进以进一步改善所捕捉的3D模型的质量。如上所述，不同的频率带与不同的细节相关联。从而，不是只利用一个空间频率带来对表面进行调制，而是可以使用多个频率带来传达某些结构。通过使用更精密的滤波器而不只是带通滤波器可以实现同样的效果。此外，在一些实施例中，掠射角处的法线估计可用于估计介观特征的浮凸方向。如果细节包含足够的几何变化，则法线在某个点包围掠射角。不必估计法线，只需要估计法线的变化来识别几何细节。此变化随后可用于分离几何和纹理细节以及浮凸方向。另一个选项可以是在从明暗恢复形状方案之后利用机器学习技术来学习特征及其浮凸方向。

总之，介观几何结构调制产生了在视觉上接近当前最先进的法线估计方案产生的结果的结果，但成本低得多。任何能够捕捉粗略几何结构和高分辨率图像的系统都可用于通过添加精细细节来改善粗略几何结构。然而，由于重建的介观细节是基于图像空间中的空间频率变化而不是实际几何特征的，所以介观细节在物理上不是精确的。然而，结果在视觉上仍是令人满意的。对于人类观察者来说，应用本发明的实施例的结果与简单地使用粗略重建(其看起来是蜡状的、不像人类的)相比看起来要逼真得多。

此外，正如本领域的技术人员应当清楚的，本发明的实施例可被应用到任何对象，而不只是人类脸部。只要为对象的介观特征确定了频率带(预先确定、解析地得出或者经验地计算)，本发明的实施例就可用于生成包括介观特征的3D模型。例如，利用这里描述的技术可以捕捉叶子的细线和皱褶。

本发明的实施例的一个优点在于能够从用于立体重建的那两个图像产生看起来真实的高质量脸部扫描。另一个优点在于这些技术为视觉真实性是主要关注点的应用提供了低成本选项。还有一个优点在于本发明的实施例易于在GPU上的描影程序中实现。

本发明的各种实施例可实现为用于结合计算机系统使用的程序产品。该程序产品的(一个或多个)程序限定了实施例的功能(包括这里描述的方法)并且可被包含在多种计算机可读存储介质上。例示性的计算机可读存储介质包括但不限于：(i)其上永久存储着信息的非可写存储介质(例如，计算机内的只读存储器设备，比如CD-ROM驱动器可读的CD-ROM盘、闪存、ROM芯片或任何类型的固态非易失性半导体存储器)；以及(ii)其上存储着可更改的信息的可写存储介质(例如，盘驱动器内的软盘或硬盘驱动器或任何类型的固态随机访问半导体存储器)。

以上已经参考特定实施例描述了本发明并且记载了具体细节以帮助更透彻地理解本发明。然而，本领域的技术人员将会理解，在不脱离本发明的更宽精神和范围的情况下可对其进行各种修改和改变。因此，以上描述和附图应当被认为是例示性的而不是限制性的。

本申请是2010年1月18日提交的序列号为12/689,170的美国专利申请的部分继续案，并且还要求2010年3月4日提交的序列号为61/310,667的美国临时专利申请的优先权。特此通过引用将这些相关申请中的每一个并入在此。

Claims (20)

1.一种在没有深度估计并且没有几何法线估计的情况下基于粗略几何结构调制进行介观几何结构调制的方法，该方法包括：

提供多个滤波器，包括针对在物体的图像中示出的多种不同类型的介观细节中的每种类型，被配置为基于相应的空间频率范围检测相应类型的介观细节的相应滤波器，其中每种类型的介观细节在所述物体的图像中是可检测的并且在生成所述物体的粗略几何结构重建时是不可检测的；

向所述物体的图像应用所述多个滤波器中的每一个以获得多个滤波结果中的相应滤波结果，以便基于所述多个滤波结果来确定所述多个滤波器中的至少一个滤波器，所述多个滤波器在被应用到所述物体的图像时表示包含所述物体的图像中的至少一种相应类型的介观细节的组的存在；以及

在没有对第一组介观细节的任何深度估计和直接几何法线估计的情况下通过利用与所述至少一个滤波器中的每一个相对应的各组介观细节调制所述粗略几何结构来生成所述物体的三维模型。

2.如权利要求1所述的方法，其中所述三维模型是通过应用为所述物体生成的，其中所述应用被配置为在生成所述物体的三维模型时单独引起比从以下各项选择的每个个体估计更低的处理成本：(i)深度估计和(ii)几何法线估计。

3.如权利要求2所述的方法，还包括通过基于所述物体的两个图像执行立体重建来确定所述粗略几何结构。

4.如权利要求3所述的方法，其中执行立体重建包括：

矫正所述物体的两个图像；

向所述物体的两个图像应用高通滤波器以提取高空间频率特征；以及

基于所述高空间频率特征来执行立体匹配。

5.如权利要求4所述的方法，其中利用所述各组介观细节调制所述粗略几何结构包括执行估计法线位移操作，包括：

为各组介观细节中的每个介观细节计算表面法线；以及

沿着所计算的表面法线调制所述粗略几何结构来引入介观表面变化。

6.如权利要求5所述的方法，其中利用各组介观细节调制所述粗略几何结构包括通过第一比例因数来确定所述介观细节的比例。

7.如权利要求6所述的方法，其中每个空间频率范围是不同的。

8.如权利要求7所述的方法，还包括：

当调制所述粗略几何结构时，通过相应的比例因数来确定每组介观细节的比例。

9.如权利要求8所述的方法，其中每个滤波器的空间频率范围在各个实例中是基于以下各项中的每一项来计算的：与所述物体的图像相关联的分辨率、所述物体与用于捕捉所述物体的图像的相机之间的距离、以及各组介观细节中包括的介观细节的大小。

10.如权利要求9所述的方法，其中所述物体包括人类头部，并且所述类型的介观细节分别包括斑点、雀斑、痣、毛孔、细纹或脸部汗毛。

11.一种用于在没有深度估计并且没有几何法线估计的情况下基于粗略几何结构调制进行介观几何结构调制的系统，该系统包括：

用于提供多个滤波器的装置，包括针对在物体的图像中示出的多种不同类型的介观细节中的每种类型，被配置为基于相应的空间频率范围检测相应类型的介观细节的相应滤波器，其中每种类型的介观细节在所述物体的图像中是可检测的并且在生成所述物体的粗略几何结构重建时是不可检测的；

用于向所述物体的图像应用所述多个滤波器中的每一个以获得多个滤波结果中的相应滤波结果，以便基于所述多个滤波结果来确定所述多个滤波器中的至少一个滤波器的装置，所述多个滤波器在被应用到所述物体的图像时表示包含所述物体的图像中的至少一种相应类型的介观细节的组的存在；以及

用于在没有对第一组介观细节的任何深度估计和直接几何法线估计的情况下通过利用与所述至少一个滤波器中的每一个相对应的各组介观细节调制所述粗略几何结构来生成所述物体的三维模型的装置。

12.如权利要求11所述的系统，其中所述三维模型是通过应用为所述物体生成的，其中所述应用被配置为在生成所述物体的三维模型时单独引起比从以下各项选择的每个个体估计更低的处理成本：(i)深度估计和(ii)几何法线估计。

13.如权利要求12所述的系统，还包括用于通过基于所述物体的两个图像执行立体重建来确定所述粗略几何结构的装置。

14.如权利要求13所述的系统，其中用于执行立体重建的装置包括：

用于矫正所述物体的两个图像的装置；

用于向所述物体的两个图像应用高通滤波器以提取高空间频率特征的装置；以及

用于基于所述高空间频率特征来执行立体匹配的装置。

15.如权利要求14所述的系统，其中用于利用所述各组介观细节调制所述粗略几何结构的装置包括用于执行估计法线位移操作的装置，包括：

用于为各组介观细节中的每个介观细节计算表面法线的装置；以及

用于沿着所计算的表面法线调制所述粗略几何结构来引入介观表面变化。

16.如权利要求15所述的系统，其中用于利用各组介观细节调制所述粗略几何结构的装置包括用于通过第一比例因数来确定所述介观细节的比例的装置。

17.如权利要求16所述的系统，其中每个空间频率范围是不同的。

18.如权利要求17所述的系统，还包括：

用于当调制所述粗略几何结构时，通过相应的比例因数来确定每组介观细节的比例的装置。

19.如权利要求18所述的系统，其中每个滤波器的空间频率范围在各个实例中是基于以下各项中的每一项来计算的：与所述物体的图像相关联的分辨率、所述物体与用于捕捉所述物体的图像的相机之间的距离、以及各组介观细节中包括的介观细节的大小。

20.如权利要求19所述的系统，其中所述物体包括人类头部，并且所述类型的介观细节分别包括斑点、雀斑、痣、毛孔、细纹或脸部汗毛。