CN105374065A - 用于在渲染图像中使用的可重新照明纹理 - Google Patents

Abstract

可重新照明的自由视点渲染允许基于来自多个照相机视点的场景的多视图的场景的新视图被渲染和重新照明。可将来自多个照相机视点的图像值分离成漫射图像分量和镜面反射图像分量，使得通过使用分离的漫反射图像分量可以确定镜面反射场景的可重新照明纹理的本征颜色分量。而且，通过基于初始表面法线场的保守分量构建高度映射，然后基于所构建的高度映射确定细化的表面法线，可以对场景中几何的表面法线进行细化。

Description

用于在渲染图像中使用的可重新照明纹理

技术领域

本公开涉及用于在渲染图像中使用的可重新照明纹理。

背景技术

可以从照相机的视点捕捉场景的图像。在一些情况下，可以有捕捉场景的不同图像的一个以上的照相机。场景的每一个图像表示来自相应的照相机的视点的场景的视图。但是，将存在场景的一些视点会不对应照相机视点的任何一个。图像可以是一帧视频序列。诸如自由视点视频渲染(FVVR)的技术允许基于来自多个照相机视点的场景的一组多个视图生成表示场景的新视图的图像。优选校准照相机且彼此同步以促进推断场景的中间图像。

基于场景的不同图像，例如使用多视图立体(MVS)可构建场景几何的模型，并且可形成可以应用于该模型的纹理(texture)。该纹理可以通过投射地使具有原始图像的场景几何纹理化并混合所投射的图像而形成。然后具有该纹理的模型可用于从可以与照相机视点之一相同或不同的渲染视点来渲染场景。除从渲染视点重新构建“真实世界”场景外，真实世界场景的内容可以与电脑生成的或真实世界的其它场景内容一起被渲染。

术语“几何”用于本领域中，且在本文中指场景中计算机生成的对象表面的表示，从而该几何允许对场景中对象的形状、大小和位置建模。该几何可被纹理化，从而将纹理(例如限定颜色和其它表面细节)应用于几何以便表示场景中对象的外观。从真实场景的多个图像重建的几何在本文中可被称为“代理(proxy)”或“几何代理(geometricproxy)”。几何通常是三角形网格，尽管其它的表示(诸如点云)是可能的。

当生成新的场景视点时，特别是当将内容集成到与所捕捉的那些不同的周围环境中时，可能需要考虑若干事宜。例如，对场景重新照明可能是困难的。从由照相机捕捉的图像提取的纹理(例如视频序列帧)具有隐含的真实世界照明信息，使得照明伪影(artefacts)存在(即“烤入(baked-in)”)于纹理中。

解决如何对新视点的纹理重新照明的问题的一种方法是当照相机捕捉场景的不同视图时控制场景的照明。例如，漫射(diffuse)照明可用于最初的视频捕捉，以避免产生过量的阴影区域和镜面反射(specularities)，它们会损害使用所提取的纹理渲染的场景的似真性(plausibility)。照明中变化的影响可通过估计纹理的材料属性(例如本征颜色(反照率(albedo))和精细细节(表面法线))来重现，以用于随后使用常规的计算机图形技术来重新照明(relighting)。这可以使用主动照明(或“光级(light-stage)”)布置来解决，其中在各种校准的照明条件下捕捉场景的图像，同时使纹理的材料属性(诸如本征颜色，或“反照率”，和表面的精细细节)被适配到图像。然而，该方法需要昂贵的设备，并且通常限于静态场景。用任意的照明布置对场景重新照明是相当地更加挑战的。

发明内容

提供本发明内容从而以简化形式介绍在下文的具体实施方式中进一步描述的构思的选择。本发明内容不意图识别所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。

提供了一种确定在场景的一个或多个图像中可见的对象表面的表面法线估计的方法，其中，该对象表示为从场景的一个或多个图像构建的几何，该方法包括：获得对象表面的表面法线估计，该表面法线估计表示第一表面法线场；基于第一表面法线场的保守分量来构建对象的所述表面的高度映射；使用该高度映射来确定对象表面的细化表面法线估计，该细化表面法线估计表示对象的所述表面的保守表面法线场；以及存储细化表面法线估计用于在渲染对象的图像中的后续使用。

提供一种图像处理系统，其被配置为确定在场景的一个或多个图像中可见的对象表面的表面法线估计，其中该图像处理系统被配置为获得表示对象的几何，其中该几何是从场景的一个或多个图像而构建的，该图像处理系统包括：第一表面法线逻辑，被配置成获得对象表面的表面法线估计，该表面法线估计表示第一表面法线场；高度映射构建逻辑，被配置为基于第一表面法线场的保守分量来构建对象的所述表面的高度映射；第二表面法线逻辑，被配置为使用该高度映射来确定对象表面的细化表面法线估计，该细化表面法线估计表示对象的所述表面的保守表面法线场；以及存储，被配置为存储细化表面法线估计用于在渲染对象的图像中的后续使用。

可以提供计算机可读代码，其被适配为当该代码在计算机上运行时以执行本文描述的任何方法的步骤。此外，可以提供用于产生被配置以执行本文描述的任何方法的处理块(block)的计算机可读代码。计算机可读代码可被编码在计算机可读存储介质上。

上述特征可以视情况组合，且正如对本领域技术人员显而易见的，上述特征可以与本文描述的示例的任何方面组合。

附图说明

现在参照附图详细描述示例，附图中：

图1表示其中布置多个照相机捕捉场景的不同图像的布置；

图2是图像处理系统的示意图；

图3是确定可重新照明纹理的本征颜色分量和一组表面法线用于在任意照明条件下从渲染视点渲染图像的方法的流程图；

图4示出图3所示流程图的步骤之一的更详细的视图；

图5示出来自两个照相机视点的场景的两个视图；并且示出从渲染视点的场景的经渲染的图像；

图6示出将原始图像分离成颜色估计和阴影估计的两个示例；

图7示出第一表面法线估计的分量和细化表面法线估计的分量的示例；

图8示出其中可以实现图像处理系统的计算机系统。

附图示出各种示例。本领域技术人员将意识到附图中所图示的要素边界(例如框(box)、框的组或其它形状)表示边界的一个示例。可以在一些示例中，一个要素可被设计为多个要素或者多个要素可被设计为一个要素。适当的情况下共同附图标记被贯穿附图用于指示类似的特征。

具体实施方式

现仅通过示例的方式描述实施例。本文详细描述的示例涉及自由视点渲染，但确定可重新照明的纹理的相同原理可适用于其它示例，例如其中仅有一个照相机(而不是如自由视点渲染中的多个照相机)可移动以从不同角度捕捉场景的多个视图，和/或其中渲染视点与照相机视点相同的示例。

自由视点渲染允许生成图像以基于来自多个照相机视点的场景的一组多个图像来提供场景的新的视图。作为一个示例，所生成的图像可以是所生成的视频序列内的帧。自由视点视频渲染(FVVR)是参照使用一组照相机捕捉的视频数据而随时间变化的场景的新视图的合成。大多数标准FVVR系统不支持场景的重新照明。然而，本文描述的示例当从新的视点渲染场景时允许场景被重新照明并且在任意照明条件下观察。例如，这可以用于对演员的表现重新照明，用于无缝合成任意的真实世界和/或计算机生成的周围环境，其可以具有与其中演员的图像被捕捉的那些不同的照明条件。例如，在图像表示一帧视频序列的地方，本文描述的示例涉及“可重新照明的FVVR”。场景的外观可表示为多个参数的函数，该参数包括：(i)场景中对象的本征颜色(其可被称为“反照率”)，(ii)场景中对象表面的表面法线，(iii)场景中表面的镜面反射，以及(iv)场景照明(lighting)。在本文描述的方法中，场景的外观分解为这四个参数的估计，且颜色估计(即反照率估计)和表面法线可被用于后续在任意的照明条件下从渲染视点渲染场景的图像。将场景的外观分离成四个参数并不是一个简单的问题，特别是如果其中捕捉场景图像的场景照明是未知的。例如，确定具有明亮的本征颜色但照明不足的表面与良好照明但有较暗本征颜色的表面之间的差异，这并不是不重要的。也就是说，经常存在阴影(shading)和反照率之间的模糊性。

当场景包括由场景照明引起的场景中对象表面上的镜面反射分量时，阴影和反照率之间的模糊性特别难以解决。本文描述的一些示例允许原始图像的镜面反射分量与漫射图像分量分离开。术语“漫射(diffuse)”在本文中使用并且可被解释为“不光滑的(matte)”或“非镜面反射的”的含义。然后漫射图像分量(没有镜面反射分量)可用来解决阴影和反照率之间的模糊性。通过将镜面反射分量与漫射分量分离开，基于漫射照明模型(例如朗伯(Lambertian)光照模型)适于解决阴影和反照率之间的模糊性的方法可用于具有显著镜面反射分量的场景，即用于镜面反射分量是不可忽略的场景。

另外，本文描述的一些示例允许表面法线被细化使得它们更好地表示物理表面。这是基于对象的物理表面的表面法线表示保守表面法线场的认识、通过强制执行表面法线场的保守主义而实现的。

此外，本文描述的一些示例提供了用于处理场景中投射阴影(castshadow)的方法。这允许当确定场景中样本位置的辐照(irradiance)估计时局部闭塞(localocclusion)被考虑在内。这是通过忽略局部闭塞确定初始辐照估计、然后使用该初始辐照估计与场景几何的知识来确定场景的依赖角度的辐射(radiance)估计而实现的。然后这种辐射估计可与场景几何的知识一起使用，以确定场景内样本位置的局部辐照估计。

图1示出为场景的一部分的对象(例如，人102)。图1中示出八个照相机104₁至104₈，它们从相应照相机视点捕捉场景的不同图像。然而，用于捕捉场景图像的系统不限于使用八个照相机，且在其它示例中可使用不同数目的照相机(例如，少于八个或多于八个的照相机)来捕捉场景的图像。在图1所示的示例中，场景包括考虑到相对于简单(plain，例如单色)背景的所有八个照相机104的人102。由照相机104捕捉的图像可以是视频序列帧，但在其它示例中，照相机捕捉场景的图像用于在单个时间点渲染图像中使用，也即，经渲染的图像可能不是一个视频序列帧。在该示例中，参照共同的坐标系来校准照相机，且以同步定时捕捉由每个照相机104所捕捉的视频帧。此外，尽管不是必要的，如果所有照相机具有相同的操作参数，例如相同的像素数，相同的格式协议等，则可以简化图像处理系统的实现方式，从而使得可以组合表示场景视图的图像数据而无需将由一个或多个照相机捕捉的数据转换成不同格式的进一步步骤。八个照相机104提供场景的八个不同的照相机视点。然而，使用FVVR，可从可能与任何照相机视点不同的渲染视点来渲染场景。例如，图1示出了不同于所有八个照相机视点的渲染视点。如果照相机同步，则所有照相机会同时捕捉场景的每个视图。在其它示例中，可能使用不同步的照相机，但组合场景的不同视图会变得更困难，因为时间以及空间成为组合场景的视图要考虑的变量。

图5示出了从照相机104₁的视点获得的场景的第一图像502。场景包括简单背景下的人102。图5还示出了从照相机104₂的视点获得的场景的第二图像504。图5还示出了来自已经根据本文描述的方法从渲染视点渲染的场景的新视图506。可以看出，渲染视点位于照相机104₁和104₂的照相机视点之间。

图2示出了图像处理系统200(例如，在图像是视频序列帧的情况下的视频处理系统)，其包括处理块202和存储228。处理块202包括：场景分析逻辑204、颜色校准逻辑205、镜面反射分离逻辑206、镜面反射辐射估计逻辑208、投射纹理逻辑210、场景照明估计逻辑212、阴影估计逻辑214、第一表面法线逻辑216、高度映射构建逻辑218、第二表面法线逻辑220和镜面反射颜色估计逻辑222。场景照明估计逻辑212包括附加阴影处理逻辑213和投射阴影处理逻辑215。投射纹理逻辑210、场景照明估计逻辑212和阴影估计逻辑214的组合可被认为是确定逻辑224的本征颜色分量，因为它们起着(除其它功能外)确定纹理的本征颜色分量的作用。此外，第一表面法线逻辑216、高度映射构建逻辑218和第二表面法线逻辑220的组合可被认为是表面法线估计逻辑226，因为它们起着确定场景几何的表面的表面法线估计的作用。应注意，在一些示例中，图2中分离地被表示的逻辑块204至226的一些可被组合，从而使得它们的功能不在分离的块中实现。逻辑块204至226可以例如在硬件中的处理块202上实现。例如，如果逻辑块在硬件中实现，其可以形成为晶体管和适于执行逻辑块的期望功能的其它硬件组件的特定布置。与此相反，逻辑块204至226可以通过执行软件来实现，从而该软件配置硬件(例如，通用硬件诸如CPU)来实现如本文描述的逻辑块204至226的功能。该软件可以包括一组计算机指令，其可被存储在存储器中并且可被提供给处理块202以在其上执行，其中处理块202可在处理单元(诸如中央处理单元(CPU)或图形处理单元(GPU))上实现。处理块202被配置成接收表示来自照相机104的场景图像的数据。例如，照相机104之一可以在与图像处理系统200相同的设备中实现或不实现。处理块202被配置为处理场景图像(例如，使用逻辑块204至226)以确定可重新照明纹理的本征颜色分量ρ(x)和一组表面法线n_r(x)，用于在任意照明条件下从渲染视点渲染图像。存储228可作为存储器来实现，用于存储可重新照明纹理的本征颜色分量和表面法线集合。

参照图3所示的流程图描述图像处理系统200的操作。在本文详细描述的示例中，离线执行图3所示的方法步骤，即在从渲染视点渲染场景之前。在其它示例中，可以在运行时执行图3中所示的方法步骤，即随着场景被渲染时，但是这需要例如在移动设备上通常不可用的大量处理资源用于渲染。响应于由照相机104捕捉的场景图像，可以执行图3中所示的方法步骤。如下文更详细地描述的，基于场景的不同图像来构建场景几何的模型(或“代理”)，且形成可适用于该模型的可重新照明纹理的本征颜色分量。然后可以例如在存储228中存储场景的可重新照明纹理的本征颜色分量和一组表面法线。随后，在渲染时间，可以从存储器中重新得到可重新照明纹理的本征颜色分量(或“反照率”)和该组表面法线，且可从渲染视点渲染场景。表面法线用于使用适于所渲染场景的照明条件对纹理重新照明，该照明条件可以不同于由照相机104捕捉图像时场景的照明条件。所估计的表面法线补偿从MVS重建中缺失的高频率几何。因为在本文详细描述的示例中，许多处理是前载的(即在渲染场景前被执行)，因此减少了渲染期间执行的处理。场景渲染之前执行离线步骤(即预处理步骤)以确定表示场景的可重新照明纹理的本征颜色分量和表面法线可以在具有大量可用的资源(例如处理能力和内存)的计算机中实现。预处理步骤可能需要大量的时间来完成，例如使得每帧可能需要大约数十分钟(例如20分钟)来处理(包括MVS重建阶段)。从渲染视点渲染场景可以在执行预处理步骤的同一设备或不同设备上实施。例如，可将预处理步骤的输出(即可重新照明纹理的本征颜色分量和该组表面法线)提供给渲染设备，诸如用于在任意照明条件下从任意渲染视点渲染图像的移动设备。来自预处理步骤的输出可用于渲染场景的多个图像，其中每个图像可以从不同的渲染视点并用不同的照明条件来渲染。当图像是视频序列帧时，该视频被渲染，该视频可以被实时输出，同时每秒处理多个帧(例如，20个帧)。渲染设备的处理资源可能是有限的；这特别是在移动设备上实现渲染器(renderer)的情况下，处理能力和内存容量会明显受限。由于在预处理步骤中执行了大量的处理，因此减少了渲染时执行的处理，这可以允许视频被渲染并实时输出(例如，每秒至少约20帧)，甚至在渲染设备(诸如可具有有限可用资源的移动设备)上。

在步骤S302中，在处理块202接收来自照相机104的场景的一个或多个图像。特别是，在场景分析逻辑204接收场景的图像。表示场景图像的数据可从照相机104经由任何合适的链路(例如有线或无线链路)提供至处理块202。如上所述，这可能是照相机104之一实现在与图像处理系统200相同的设备(例如，移动设备)中的情况。因此，在一些示例中，该方法可以包括从相应的至少一个照相机视点捕捉场景的至少一个图像，但在其它示例中，在图像处理系统200实现的相同的设备中照相机实际上没有捕捉图像。

在步骤S304中，场景分析逻辑204分析场景的图像，以构建表示场景中对象的几何，从而确定场景的模型。存在构建几何的许多方法，如本领域技术人员知晓的，例如使用多视图立体(MVS)技术可以构建场景几何的3D几何代理。这些方法通常在本领域中被称为“基于图像的重建”。

在步骤S306中，场景分析逻辑204将来自不同照相机视点的图像投射到几何上。用于将图像投射到几何上的方法是本领域已知的。应理解的是场景的每个图像将经常包括针对图像可以被投射到其上的场景几何的一些但不是全部的对象的表面的数据。例如，人102的前方的图像可以不包括针对在场景的模型中投射到人102的背侧上的任何数据。然而，优选地场景的模型的所有表面是考虑到至少一个照相机104以便来自不同照相机104的场景的视图的组合可以被用于将视图投射到场景的模型的整体上。

因此可以看出，在步骤S304和S306中，场景分析逻辑204可以执行MVS重建和纹理投射。作为一个例子，使用宽基线捕捉系统有利于使用可见外壳(hull)以产生粗糙(coarse)上限到场景几何，其随后可以通过使从表面细节提取的特征位置三角化而细化。这可能是投射的图像当被投射到场景几何时相互没有精确对准的情况。这可能例如是由于几何构建中略有不精确性。诸如这些的不精确性可能有害于以下描述的镜面反射去除过程，例如这些不精确性可能会导致出现“重影(ghosting)”伪影。因此，步骤S306可以包括翘曲(warping)至少一个图像，从而使得投射的图像彼此更好地对准。例如，光流技术是本领域技术人员已知的可用于翘曲一个或多个图像的技术。也就是说，在一个例子中，基于光流的投射纹理对准可用于减轻由粗糙MVS重建引入的误差，使得重影伪影被去除(或至少被减少)用于更准确的结果。

本文所描述的图像、几何模型和纹理可以每一个都用空间上不同的单元x阵列(例如，2D阵列)来表示，它们可以每个具有与其相关联的一个或多个值。作为术语的问题，这些空间上不同的单元可以指具有不同的术语。即，意图被观察的图像(在显示空间中)的空间上不同的单元在本文中被称为“像素”；纹理(在纹理空间中)的空间上不同的单元在本文中被称为“纹理像素(texels)”；以及模型(在3D模型空间中)的空间上不同的单元在本文中被称为“片段(fragments)”，其中每个片段对应于施加到场景几何的表面的纹理的“样本位置”。

此外，在步骤S307中，颜色校准逻辑205执行图像的颜色校准以更好地匹配图像之间的颜色，用于所合成的纹理的更好的一致性。应注意，用来捕捉图像的照相机104彼此之间可能没有完美地校准。因此，图像的图像值(例如颜色和强度)可能取决于已捕捉图像的照相机。可使用的颜色校准过程是基于这样的假设：即图像值由漫射分量控制使得图像值不强烈地依赖于视角。如果这个假设是无效的，则可能不执行该颜色校准过程。因此，使用该假设，投射到样本位置上的图像值应相同(或至少大致相同)。如果投射到同一样本位置的图像值之间存在差异，则颜色校准过程可用于减少投射的图像之间的差异。例如，图像的颜色校准可以包括：比较在纹理的样本位置投射的图像的图像值x_i，并找到每一投射的图像的尺度参数a_i和偏置参数b_i，使得不同图像i的校准图像值(a_ix_i+b_i)之间的差异最小化。对于所有样本位置，图像的尺度参数和偏置参数相同。可能没有完美的解决方案，但这是可以找到并相应地用于校准图像的对于图像的尺度参数和偏置参数最适合的匹配。这可有助于减少不同图像之间的差异，由此可有助于减少在图像的漫射分量和镜面反射分量的分离中的误差。例如诸如这个的颜色校准过程特别有用，如果使用不同类型的照相机被用于捕捉不同的图像，和/或如果用来捕捉图像的照相机的质量不高，例如，如果移动设备(诸如智能手机或平板电脑)的照相机被用来捕捉一个或多个图像。在这些情况下，很可能是最初的图像彼此没有地很好地校准，使得该颜色校准过程可能特别有用。

将场景几何和投射的图像值(即投射到纹理的样本位置上的每个图像的值)的指示提供至镜面反射分离逻辑206。

在步骤S308中，镜面反射分离逻辑206基于来自一组多个图像在样本位置处的图像值的最小值来确定在纹理的多个样本位置的每个处的漫射图像分量值。这可以在不同的示例中以不同的方式来实现。例如，对于在其处确定漫射图像分量值的每个样本位置，从其找到最小值的该组图像可以包括其中样本位置可见的一些或全部图像。可以独立地形成针对每个样本位置的该组图像。然而，如果图像的视点方向显著不同于在样本位置处的表面法线，则从该组样本位置中排除图像可能是有利的。这是因为，如果使用了场景中表面的扫视视图，则图像可能被“涂抹(semeard)”穿过表面，即在若干样本位置模糊不清。涂抹的投射会损害镜面反射去除过程，因此优选将这些图像从找到最小图像值的该组图像中排除。例如，样本位置的该组图像可仅包括其中样本位置处的表面法线和图像的照相机视点的观察方向之间的角度小于阈值角度的那些图像，其中为给出一些示例，阈值角度可以是30度、45度或60度。

在一些示例中，可针对几何表面上的纹理的每个样本位置来确定仅一个漫射图像分量值。在其它示例中，诸如下文更详细描述的那些，针对具有样本位置的可见性的每个图像在样本位置处来确定漫射图像分量值。

应注意，镜面反射场景呈现出本征图像估计方法的问题，其常使用仅考虑漫射照明的朗伯光照模型。然而，许多真实世界的场景具有不可忽略的强烈的镜面反射分量。本文详细描述的方法将图像的镜面反射分量与漫射分量分离，使得漫射分量可用于本征纹理估计方法。镜面反射分量依赖于视图，而漫射分量就其性质而言不依赖于视角。随后可将分离的镜面反射和漫射(或“不光滑的”)分量分离地处理。在一些示例中，如下文描述的，镜面反射分量可用于镜面反射反照率估计过程中。

处于特定样本位置x和观察方向ω₀的镜面反射表面的外观可被认为是漫射图像分量和镜面反射图像分量的总和。例如，如下所述，投射的图像值可以形成可通过下式给出的纹理T(x，ω₀)：

T(x，ω₀)＝ρ(x)I(x)+σ(x)J(x，ω₀)(1)

其中I(x)是总的非反射的入射能量，即在样本位置x的辐照，ρ(x)是样本位置x的漫反照率，σ(x)是样本位置x的镜面反射反照率，并且J(x，ω₀)是来自方向ω₀上样本位置x的反射光的强度。我们可以说，等式1右手侧的第一项表示样本位置x的漫射图像分量值C^d(x)，而等式1右手侧的第二项表示方向ω₀上样本位置x的镜面反射图像分量值C^s(x，ω₀)。

在其中确定针对每个图像的漫射图像分量值(假设精确的颜色校准)的示例中，对于特定的图像(其可称为“参考图像”)，基于来自包括该特定图像和具有样本位置的可见性的至少一个其它图像的一组图像的样本位置处的图像值的最小值，可以确定每个样本位置的漫射图像分量值。例如，参考图像可以由参考照相机视点捕捉，并且它可以与从参考照相机视点的最近邻的照相机视点捕捉的图像进行比较。使用最近邻的照相机视点，是因为它们与参考图像可能具有几何上相同样本位置的可见性，并且还因为这很可能减少不同照相机视点将具有场景中几何表面的扫视视图(如上所述，其可能导致图像被涂抹穿过表面)的程度。例如，参考图像C_r(x)可被认为是漫射和镜面反射图像分量值的和，即参考图像的最近邻的两个是C_a(x)和C_b(x)。在步骤S308中，通过寻找每一样本位置x的图像值C_r(x)，C_a(x)和C_b(x)的最小值，可以找到参考图像的漫射图像分量值。也就是：

$C_r^d\left(x\right)=\min \left(C_r\right(x),C_a(x),C_b(x\left)\right)---\left(2\right)$

以这种方式，可以恢复参考图像的漫射图像分量值，条件是所有三个照相机视图中的镜面反射高光(highlighting)不重合。假定所有三个照相机视图中的镜面反射高光不重合，并且在实践中，这很少是重要问题，特别对于具有高频表面细节的模型而言。对于每个图像(例如由照相机104捕捉的8个图像的每一个)，可以重复这种方法，从而针对每个图像确定漫射图像分量。

在步骤S310中，镜面反射分离逻辑206通过从纹理的样本位置处的图像值减去针对该图像的漫射图像分量值来确定针对每个图像的镜面反射图像分量值。因此，针对参考图像的镜面反射图像分量值由 $C_r^s\left(x\right)=C_r\left(x\right)-C_r^d\left(x\right)$ 给出。

图像的漫射图像分量C^d(x)从镜面反射分离逻辑206输出并提供至本征颜色分量确定逻辑224的投射纹理逻辑210。本征颜色确定逻辑224使用漫射图像分量值以确定如下所述的可重新照明纹理的本征颜色分量(即反照率)。图像的镜面反射图像分量C^s(x)从镜面反射分离逻辑206输出并提供至镜面反射反射辐射估计逻辑208。

在步骤S312中，投射纹理逻辑使用来自每个图像的漫射图像分量值对几何投射地纹理化。漫射图像已经被投射到几何上(在步骤S306中)，使得它们具有在纹理的样本位置处的图像值，并且在步骤S312中，将投射的漫射图像分量组合以形成纹理T(x)。组合图像值以形成纹理T(x)的技术是本领域已知的。纹理T(x)从投射纹理逻辑210提供至场景照明估计逻辑212和阴影估计逻辑214。

在步骤S314中，场景照明估计逻辑212使用纹理T(x)(其从图像的漫射图像分量值形成)，以确定场景的照明估计。然后在步骤S316中，阴影估计逻辑214使用照明估计以将纹理(其由图像的漫射图像分量值形成)分离成可重新照明纹理的本征颜色分量ρ(x)和针对纹理的每个样本位置的表面阴影估计S(x)。其中步骤S314和S316被执行的方式可能在不同的实现方式中变化。下面提供了可以执行这些步骤的一种方法的细节。

首先，解释对于下文描述的示例有用的一些理论。下面的等式3给出对象表面上样本位置x处的辐照I(x)(阴影)，根据朗伯外观模型：

I(x)＝∫_ΩB(x，ω)R(ω)dΩ(3)

其中T(x)＝ρ(x)I(x)(4)

B(x，ω)＝V(x，ω)max(0，ω^Tn(x))(5)

且其中R(ω)是辐射函数，B(x，ω)是描述样本位置局部闭塞和前缩(foreshortening)的函数，V(x，ω)是在样本位置x和观察方向ω的二元(binary)可见性遮罩(mask)，并且max(0，^Tn(x))解释了接收的能量对入射角的依赖。n(x)是在样本位置x的表面法线。积分是在球Ω的表面上方。T(x)是x处的外观，且ρ(x)是样本位置x处的反照率。

本文描述的示例中对两种类型的阴影进行区别对待：附加阴影和投射阴影。由于样本位置处的表面法线与照明方向之间的点积，“附加阴影”存在于几何上的样本位置处，但“附加阴影”并不将局部闭塞考虑在内。由于其和光源之间的另一部分几何，“投射阴影”存在于几何的样本位置处。ρ(x)的准确估计使用并发地估计的场景辐射估计R(x)。这在两个阶段中被解决。首先，将纹理T(x)分段成相似外观的区域，并且通过忽略等式5中的可见性术语V(x，ω)和直接处理全局的辐照估计，基于初始分段，附加阴影处理逻辑213获得粗糙的反照率估计ρ_c(x)。在第二阶段中，投射阴影处理逻辑215使用反照率估计ρ_c(x)以在考虑可见性的情况下初始化完整的辐射估计。

因此，在第一阶段，忽略可见性，获得用于全局的辐照的下述等式：

I_G(n)＝∫_Ωmax(0，ω^Tn)R(ω)dΩ(6)

对样本位置x的依赖已经被去除，使得全局的辐照函数I_G(n)作为球体的函数，由表面法线在表面上的每个样本位置处采样。I_G(n)是R(ω)与夹紧余弦内核max(0，ω^Tn)的卷积。现已将估计表面上每个样本位置x的辐照的问题简化为寻找这个全局的辐照函数之一。

在一个示例中，首先将纹理T(x)在几何的网状相切空间中分段为若干个相似外观的区域，为每个区域指定初始反照率估计。应对具有类似表面法线的几何表面的点类似地照明，并且这一概念可用来执行纹理片段的本征颜色分量的反照率平衡。对纹理T(x)分段和为每个片段指定反照率用于后续细化是初始化反照率的有效方式。“反照率”在本文中也可被称为“本征颜色分量”。用于将纹理分段成类似的外观区域的方法是本领域技术人员已知的。对于分段U中的每个片段u，附加阴影处理逻辑213通过平均化片段中的纹理值来找到初始反照率估计a′_u。也就是说，片段u的初始反照率估计a′_u由下式给出：

$\begin{array}{cc}{a^{\′}}_u=\frac{1}{\left|u\right|}{\mathrm{\Σ}}_{x\∈u}T\left(x\right)& \∀u\∈U\end{array}---\left(7\right)$

使用阴影与表面法线方向强相关的事实来解决针对每个片段辐照和阴影之间的模糊性，并且辐照穿过表面缓慢变化。以这种方式，可以从单个帧来恢复粗糙的基于片段的反照率估计ρ_c。解决静态场景反照率平衡的问题的全局最优且闭合形式的方案是通过估计全局的辐照函数来实现，随后对其细化(通过投射阴影处理逻辑215)以将局部闭塞考虑在内。

在单色照明的情况下，片段反照率的初始估计a′_u是最终反照率a_u的缩放版，从而k_ua_u＝a′_u。寻找片段反照率a_u的正确比例的问题等同于确定乘数k_u。这可以针对一般场景照明情况下的每个颜色通道而被重复。

初始的每个片段阴影估计S_u(x)通过下式给出：

$S_u\left(x\right)=\frac{T\left(x\right)}{{a^{\′}}_u}---\left(8\right)$

利用低频阴影可视为辐照函数的样本的事实，S_u(x)可以沿着由MVS场景重建提供的粗糙表面法线n_c(x)被投射，以给出在该样本位置处的全局的辐照函数I_G(n_c)的估计I′_u(n_c)，从而：

I_G(n_c(x))≈k_uI′_u(n_c(x))＝k_uS_u(x)(9)

通过适当选择k_u使局部辐照估计I′_u之间重叠的平方误差总和最小化。对于两种材料i，j∈U，使Q_i，j为给予I′_i和I′_j之间的重叠的二元支持函数。平方误差总和由下式给出：

E＝Σ_iΣ_j＞i[k_ig_ij-k_jg_ji]²(11)

其中

可通过寻找对应于矩阵G的零空间的全局最优k来避免等式10的迭代细化，定义为如下：

$\frac{\∂E}{\∂k_{i_0}}=2{\mathrm{\Σ}}_{i\≠i_0}(k_{i_0}{g}_{i_{0}i}-k_i{g}_{{\mathrm{ii}}_0})g_{i_{0}i}=0---\left(13\right)$

其中k是非零向量，且从而Gk＝0。作为示例，奇异分量分析(其可被称为“SVD”)可以适用于G，其中k是具有为零的对应的奇异值的右奇异向量。对k缩放，使得要素处在范围0＜k_i≤1。这种方法找到了单一步骤中成本函数的全局最优值且不受到慢收敛或局部最小值的影响。

这些乘数适用于初始反照率估计，以提供全局平衡的粗糙反照率ρ_c(x)。应注意，这种方法适用于光滑网格的使用，因为它依赖于每个片段照明估计之间的重叠。例如，它赋予人类演员以良好的效果，但对有角的人造物体却会降级(degrade)。

由附加阴影处理逻辑213执行的以上描述的方法说明了场景中“附加”阴影(即由于样本位置处的表面法线与照明方向之间的点积，几何上的样本位置在阴影中)的原因，但没有将局部闭塞考虑在内，所以不去除“投射”阴影(即由于其与光源之间的几何的另一部分，几何上的样本位置在阴影中)。现描述一种联合估计投射阴影与辐射的方法。

投射阴影处理逻辑215确定针对场景的局部辐照估计。由附加阴影处理逻辑213所确定的场景的全局辐照估计是表面法线的函数。注意，可通过将二阶球谐函数拟合到到全局辐照估计来对全局辐照估计进行去噪。投射阴影处理逻辑215使用场景的全局辐照估计与场景的几何来确定场景中相应样本位置的局部辐照估计。为了做到这一点，基于在相应样本位置处的全局辐照估计和表面法线，进行相应样本位置处的初始辐照估计。这些初始辐照估计不考虑场景中的局部闭塞。然后投射阴影处理逻辑215可以使用场景几何以考虑到场景中的局部闭塞，以便确定样本位置处的局部辐照估计，如下所述。

例如，初始辐照估计可以基于由附加阴影处理逻辑213所确定的全局平衡粗糙反照率ρ_c(x)而获得。特别是，I(x)表示表面上样本位置x的辐照(总入射辐射)。这从T和ρ_c粗糙估计为I(x)≈T(x)/ρ_c(x)。这一估计将用于找到全局辐射函数R(ω)，然后将其用于用投射阴影来更新I(x)。投射阴影处理逻辑215还获得可见性指示，其依赖视角而指示场景中样本位置的可见性。使用所获得的初始辐照估计和所获得的可见性指示，投射阴影处理逻辑215计算针对场景的角度依赖性辐射估计。然后投射阴影处理逻辑215可以使用该辐射估计和可见性指示一起来确定样本位置处的局部辐照估计。具备场景几何的知识允许可见性指示被确定，并且正是增加了额外信息的这种知识，允许初始辐照估计通过从初始辐照估计计算辐射估计、然后从该辐射估计计算局部辐照估计而被细化。局部辐照估计I(x)可用于根据等式确定纹理T(x)的本征颜色估计ρ_s(x)。下文提供了对投射阴影处理逻辑215的操作更详细的说明。

为了估计该辐射函数，找到了一种闭合形式的最小二乘解。使用上面所描述的确定的反照率估计来初始化该步骤，并且不限于动态场景或具有恒定反照率的场景。作为球体上的函数，以上等式3中的R(ω)和B(x，ω)可以以球谐函数基础{Y_k}的形式来表示：

$I\left(x\right)={\∫}_{\mathrm{\Ω}}\left({\mathrm{\Σ}}_{k=1}^{\mathrm{\∞}}{b}_{x,k}{Y}_k\right)\left({\mathrm{\Σ}}_{k=1}^{\mathrm{\∞}}{r}_k{Y}_k\right)d\mathrm{\Ω}---\left(16\right)$

其中并且通过球谐函数基础的规格正交性(orthonormality)，等式16简化为：

$I\left(x\right)={\mathrm{\Σ}}_{k=1}^{\mathrm{\∞}}{b}_{x,k}{r}_k---\left(17\right)$

其可以通过直至第K项的部分和估计为

给出I(x)和b_x，k，有待确定系数r_k。样本位置x的初始辐照估计I(x)可用于形成每个样本位置处的初始辐照值的向量I_E。对于表面上点M的大集合，使得M＞＞K，这可表示为待被最小化的能量泛函E(R_SH)：

$E\left(R_{SH}\right)={\left|B_{SH}{R}_{SH}-I_E\right|}_2^2---\left(18\right)$

其中R_SH是球谐照明系数r_k的向量，并且B_SH是可见性系数b_x，k的矩阵。可以用线性最小二乘来最小化能量泛函。该最小的由下式给出：

$R_{SH}^{*}={\left(B_{SH}^T{B}_{SH}\right)}^{-1}{B}_{SH}^T{I}_E---\left(19\right)$

通过在每一顶点位置x处将可见性映射渲染在极投影(polarprojection)中来估计网格顶点处的B(x，ω)。这被投射至球谐基础函数上以获得系数b_x，k。

提供了可以与可见性一起使用以考虑投射阴影的辐射估计。辐射估计的准确度依赖于场景中的闭塞水平；其中该场景是完全凸出的情况下，超过二阶的可靠的球谐(SH)重建无法找到，并且对于投射阴影去除是确实是不需要的。对于具有中度局部闭塞的场景，可以可靠地获得直至第四阶的辐射的SH重建。

由于照明重建的动机是模拟投射阴影，一个示例中使用重建达第14阶的球谐函数。虽然这些重建物理上不可靠，但它们产生针对表面的闭塞区域处的局部辐照的准确结果。使用达至少第10阶的球谐函数可能是有益的，因为这提供了投射阴影的准确重建。然而，超出约第16阶球谐函数可能鼓励过度拟合(类似于吉伯斯现象)，因此在优选的示例中，使用重建达第K阶的球谐函数，其中10≤K≤16。因此放松了辐射估计对所有样本位置x应该是正的的约束，条件是从其获得的局部辐照估计针对所有x是正的。

来自不准确的反照率估计的辐照中的任何颜色偏差可能通过将辐照中的最亮的点设定为白色，并适当地重新平衡颜色通道而去除。已经估计场景照明，可以细化反照率估计。每个顶点的局部辐照由给出，并且被插在每个三角形中以找到用于纹理的每一纹理像素的辐照。获得一种改进的反照率(即纹理的本征颜色分量)。

然而，场景几何的粗糙度可以使用上述方法来完全地防止高频率T准确分解成反照率和阴影。出于这个原因，引入一种快速的基于双边滤波器的本征图像方法以从ρ_s(x)去除高频阴影效果，只留下反照率。使用自适应FIR滤波器用于本征图像提取，而不是明确地最小化能量泛函，简化了方法并且对于应用到纹理是有效的。

使用能量泛函，最小化时，其给出图像T的鲁棒的局部分解成辐照(阴影)I和反照率(反射率)ρ(如下面的等式20所示)。使用经修改的双边滤波器内核(kernel)使该能量泛函被有效地最小化。

E(ρ，I)＝∑_x∈p(ρ(x)-∑_y∈N(x)w(x，y)ρ(y))²+∑_x∈p(T(x)/I(x)-ρ(x))²(20)

其中：

$w(x,y)=Norm\left({\cos }^{-1}\right(\hat{T}{\left(x\right)}^T\hat{T}\left(y\right)),{\mathrm{\σ}}_{i1}^2)\×Norm\left(luma\right(T\left(x\right))-luma(T\left(y\right)),{\mathrm{\σ}}_{i2}^2)---\left(21\right)$

以及luma(c)＝[0.2990.5870.114]^T[c_Rc_Gc_B](22)

当适用于向量时如在等式21中，该^运算符用来表示矢量的归一化(normalised)版本。因此函数是在样本位置x和y处纹理的颜色的方向中具有单位长度的向量之间的点积的反余弦。两个归一化向量的点积的反余弦表示这两个向量之间的角度，并应注意，颜色相似度是两种颜色之间的RGB空间中角度上的高斯，如果我们想像那些颜色作为向量。N(x)是像素x的局部邻域，其将成为FIR再形成中的内核域。P是一组像素位置，其中N(x)是子集。Norm(x，σ²)是x与方差σ²的正态分布。c_R、c_G和c_B分别是像素c的红色、绿色和蓝色分量。等式20有两个部分。第一部分在被最小化时“拉平”相似反照率的区域，其中相似度由等式20中的加权函数来限定。等式20的第二部分执行下述关系T(x)＝ρ(x)I(x)。

通过仅迭代地最小化的第一部分，并且每次迭代后将I更新为I(x)＝T(x)/ρ(x)(其是在本文详细描述的示例中所使用的方法)，根据以下等式，可以获得类似的结果：

argmin_ρE(ρ)＝∑_x∈p(ρ(x)-∑_y∈N(x)w(x，y)ρ(y))²(23)

以下等式24给出最小化等式23的更新步骤。这已通过实验被显示是快速会聚。在通过这种方法提取的本征纹理中，由于阴影频率相对高，因此仅单个应用被需要。ρ的本征颜色分量保持在迭代之间，这相当于执行同时保持ρ的每个像素的颜色量级。

ρ_n+1(x)＝Σ_y∈N(x)w(x，y)ρ_n(y)(24)

该FIR形成可以写为经修改的双边滤波器，如下面的等式25中所示。除了常规的亮度术语外，这从等式21引入了色度相似性术语。

方差和适应于局部区域，并且u确保过滤器的权重和为统一。

$\begin{array}{c}{\mathrm{\ρ}}_{n+1}\left(x\right)=\frac{1}{u}\∫{\mathrm{\ρ}}_n\left(y\right)Norm\left({\cos }^{-1}\right(\hat{T}{\left(x\right)}^T\hat{T}\left(y\right)),{\mathrm{\σ}}_{i1}^2)\×Norm\left(luma\right(T\left(x\right))-\\ luma\left(T\left(y\right)\right),{\mathrm{\σ}}_{i2}^2)Norm\left(\right||x-y|{|}_2,{\mathrm{\σ}}_w^2)dy\end{array}---\left(25\right)$

可检测到的收敛速率和阴影特征比例取决于等式25中内核尺寸的选择。与大型内核相关联的高方差和导致具有相似反照率的分离区域之间的“渗色(bleeding)”。较大内核也耗费长的时间来卷积(convolve)图像。作为一个例子，可以使用15×15的内核。

代替用原始纹理T初始化，在纹理的情况下，全局阴影针对其已经被去除的反照率估计ρ_s被替代使用。这会产生最终的阴影纹理I_f和最终的本征反照率纹理ρ_f。

图6示出了原始图像分离成本征颜色估计和阴影估计的两个示例。在第一个示例中，原始图像602₁被分离成本征颜色估计604₁和阴影估计606₁。在第二个示例中，原始图像602₂被分离成本征颜色估计604₂和阴影估计606₂。在这两个示例中，从图6可认识到，场景的原始图像被分离成本征颜色估计(604₁或604₂)，同时由所捕捉的图像的特定场景照明引起的照明效果被分离出成为阴影估计(606₁或606₂)。通过将本征颜色与阴影分离，通过对本征颜色估计应用不同的照明效果，可以对场景重新照明。为了将不同的照明效果正确地应用到本征颜色估计，确定场景几何的表面法线，如下所述。

所以，跟随步骤S316，在每个样本位置x的图像值T(x)已经被分离成本征颜色分量估计ρ(x)和表面阴影估计S(x)，使得T(x)＝ρ(x)S(x)。可将纹理的本征颜色分量ρ(x)存储在存储228中，并且随后可以用于在任意照明条件下从渲染视点渲染场景的图像。

将表面阴影估计S(x)提供至表面法线估计逻辑226。特别地，将表面阴影估计S(x)提供至第一表面法线逻辑216。在步骤S318中，使用针对样本位置所确定的照明估计I(x)和所确定的表面阴影估计S(x)，表面法线估计逻辑226确定样本位置处的表面法线估计。参考图4中的流程图在下面更详细地描述步骤S318的表面法线确定。针对样本位置所确定的表面法线估计(图2中示出为n_r(x))可以与可重新照明的纹理的本征颜色分量一起存储在存储228中。可重新照明的纹理的本征颜色分量与表面法线估计的组合允许场景在可以不同于捕捉场景的原始图像的照明条件的照明条件下被渲染。

如上所述，镜面反射分离逻辑206将漫射图像分量值与镜面反射图像分量值分离，使得漫射图像分量值可用于确定本征颜色分量估计ρ(x)和表面法线估计n_r(x)。在一些示例中，不使用镜面反射图像分量值。然而，在其它示例中，执行可选的步骤S320，其中使用镜面反射图像分量值C^s(x)确定镜面反射颜色估计ρ_spec(x)。为了做到这一点，镜面反射辐射估计逻辑208使用图像的所确定的镜面反射图像分量值来确定辐射估计。

例如，在可获得先前知识的情况下，几何的表面区域是镜面反射的(诸如使用手动预分段)，镜面反射图像可被用来提供高质量的辐射估计，以帮助反照率估计。用于给定样本位置x和视角方向ω₀的光源ω_ls方向由下式给出：

${\mathrm{\ω}}_{ls}=2\left(n_c^T{\mathrm{\ω}}_0\right)n_c-{\mathrm{\ω}}_0---\left(26\right)$

对于镜面反射图像中的每个点，存在镜面反射高光，可以得到辐射函数R(x)的样本。当粗糙表面法线n_c不准确时，它们的起源点周围会有一定量的样本散射。在采样点x使用反射光线的方向重新恢复的辐射样本，作为此稀疏样本集合被网状化并线性地内插以产生完全的辐射估计R′。该照明重建可以与如上所述由场景照明估计逻辑212估计的辐射估计结合使用。以这种方式，辐射估计R′可以与漫射图像分量值一起使用，以确定可重新照明纹理的本征颜色分量。此外，辐射估计R′可被传递到使用其来估计可重新照明纹理的本征颜色分量(即镜面反射反照率ρ_spec(x))的镜面反射颜色估计逻辑222。镜面反射颜色分量ρ_spec(x)可以与本征颜色分量ρ(x)一起存储在存储228中，用于随后渲染场景的图像，尽管应当注意镜面反射反照率ρ_spec(x)被存储在存储228内与漫射反照率ρ(x)分离的纹理中。当确定镜面反射反照率ρ_spec(x)时，镜面反射颜色估计逻辑222可使用表面法线n_r(x)。

在步骤S322中，由阴影估计逻辑214提供的本征颜色分量ρ(x)、由表面法线估计逻辑226提供的表面法线估计n_r(x)和任选地由镜面反射颜色估计逻辑222提供的镜面反射颜色估计ρ_spec(x)被存储在存储228中，随后用于在任意照明条件下从渲染视点渲染场景的图像。

参考图4所示的流程图，提供了步骤S318中表面法线估计逻辑226确定表面法线估计的方式的细节。应注意，对象“表面”的表面法线指的是对象的“可见表面”，其可以包括或不包括对象的整个表面，因为它可能是或不是这种情况，即对象的整个表面在一个或多个照相机104的视野中。然而，应注意，当使用MVS时，将有对于至少一个照相机104为不可见的非常少的几何。

在两个阶段中执行表面法线估计。在第一步骤中，在几何中对象表面上样本位置x获得一些表面法线估计。在一些示例中，可以将这些初始表面法线估计提供至表面法线估计逻辑226，但在本文详细描述的示例中，这些表面法线估计由第一表面法线逻辑216确定。特别地，第一表面法线逻辑216使用所确定的照明估计I(x)和所确定的表面阴影估计S(x)来确定初始表面法线估计n_i(x)。第一表面法线逻辑216还可以使用从为场景构建的几何中预测的场景中的对象的粗糙表面法线n_c(x)。

第一表面法线逻辑216使用每个纹理像素的方法，通过优化针对纹理S(x)的表面阴影估计，以在辐照I(x)最大增加的方向上拟合表面法线n_i(x)。缺乏对邻近纹理像素的依赖意味着这可以例如使用OpenGL着色语言(GLSL)片段着色器并行有效地完成。

例如，第一表面法线逻辑216可以通过找到最小化误差度量E(n(x))的表面法线来确定样本位置x的表面法线估计n_i(x)，该误差度量包括在针对样本位置所确定的表面阴影估计S(x)和针对表面法线方向所确定的照明估计之间I(n)的差异测量。误差度量还包括正则(regularization)项A(n，n_c)，其是针对样本位置的表面法线n(x)和针对从几何预测的样本位置的粗糙表面法线n_c(x)之间的差的函数。也就是说，第一表面法线逻辑216最小化E(n(x))，以使用全局辐照度I(n)来确定n(x)，其中E(n(x))通过以下等式给出：

E(n(x))＝||S(x)-I(n)||₁+A(n，n_c)(27)

L1范数(norm)用在等式27中，因为它在噪声存在时是鲁棒的。当拟合表面法线时，MVS重建会给出可能的表面法线的良好指示。即，所拟合法线n(x)从粗糙法线n_c(x)的大偏离(deviation)是不可能的并且因此使用正则项A(n，n_c)对其惩罚。正则项A(n，n_c)可例如通过下式来定义：

$A(n,n_c)=\left\{\begin{array}{cc}\mathrm{\λ}{\left({\cos }^{-1}\right(n^T{n}_c\left)\right)}^2& n^T{n}_c>0\\ \mathrm{\∞}& otherwise\end{array}\right.---\left(28\right)$

其中λ是可以实验地确定的参数。作为示例，可使用λ＝0.025的值。

由第一表面法线逻辑216确定的表面法线被视为“初始”表面法线n_i(x)。这些表面法线估计n_i(x)表示第一表面法线场N_i。由于初始表面法线n_i(x)彼此独立地被确定，因此不能保证它们将实际上表示物理表面。即，在确定分离的表面法线估计n_i(x)中的错误和/或含糊有可能使第一表面法线场N_i成为非保守场。例如，当将表面法线拟合至阴影纹理时，该表面法线仅能在照明估计I(x)的梯度方向上拟合，保持横向分量不变。例如，图7示出从上方照亮的场景中针对对象所确定的初始表面法线n_i(x)的表示702₀。702₀下的三个表示示出表面法线n_i(x)的x，y和z分量，其中x轴是水平的，y轴是垂直的，z轴是从纸页出去，以使得照明与y轴对准。特别地，表示702x示出表面法线n_i(x)的x分量，表示702y示出面表面法线n_i(x)的y分量，以及表示702_Z示出表面法线n_i(x)的z分量。可以看出，初始表面法线估计包含在x和z方向即垂直于照明方向的较少细节，但包含y方向即平行于照明方向的较多细节。此外，初始表面法线估计可包括离开由下面的低频几何限定的平均法线的一些漂移。

应注意的是，物理表面与保守表面法线场相关联。然而，第一表面法线场N_i可包括非保守分量和保守分量。也就是说，第一表面法线场N_i不被约束为保守的，但它确实有保守分量。第一表面法线场N_i的保守分量可表示物理表面，因此如果第一表面法线场N_i的保守分量可被确定，则这可提供表面的表面法线的更真实的估计。

将由第一表面法线逻辑216确定的初始表面法线n_i(x)提供给高度映射构建逻辑218。在步骤S404中，高度映射构建逻辑218基于第一表面法线场N_i的保守分量构建场景中对象表面的高度映射。如果在所有点的场的旋度(curl)为零，则该场是保守的。第一表面法线场N_i的发散可用于构建高度映射，使得高度映射是基于第一表面法线场N_i的保守分量而构建。取第一表面法线场N_i的发散会去除非保守分量，因为任何向量场(例如)的旋度的发散都为零，无论场F如何。

表面法线估计逻辑226确定表示保守的表面法线场N_r的细化表面法线估计n_r(x)。保守的向量场可以表示为标量场的梯度。因此，真实世界的表面法线长应是高度映射H的可代替表示，使得：

$\▿H=-N_r---\left(29\right)$

由于第一表面法线场N_i的发散不包括该第一表面法线场N_i的非保守分量，因此可使用下面的等式：

$\▿.(\▿H)=-\▿.N_i---\left(30\right)$

然后可以使用泊松方程版本来构建高度映射。例如，基于相邻的样本位置的高度和基于第一表面法线场N_i的发散，可使用迭代松弛法来确定每个样本位置的高度。该“相邻的”样本位置例如可以是从当前样本位置水平方向和垂直方向上的最近邻。

例如，在迭代松弛法的第i次迭代中，对象表面上样本位置(x，y)的高度H_i(x，y)可由下式给出：

$H_i(x,y)=\frac{1}{4}\{H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)-{\mathrm{\δ}}^2\▿\·N_i\}---\left(31\right)$

其中δ是相邻的样本位置之间的间隔。

为了防止表面法线中的低频偏移影响结果，若干次迭代后终止松弛法，使得松弛法在会聚之前终止。对于每次迭代，样本位置处的高度值考虑了距离样本位置更远的邻居。可以预定迭代的次数，并提供一些示例，可以是3个或4个。备选地，高度映射构建逻辑218可以控制迭代次数，例如基于已处理过的先前图像的评估以及表面法线中的低频偏差是否在影响结果。

将高度映射提供给第二表面法线逻辑220。在步骤S406中，第二表面法线逻辑220使用高度映射H确定对象表面上样本位置处的表面法线估计n_r(x)。如上所述，细化的表面法线估计n_r(x)表示场景中对象表面的保守表面法线场。如上所述，可以确定高度映射H的梯度，从而根据上面给出的等式29确定细化的表面法线估计n_r(x)。以这种方式，细化的表面法线估计n_r(x)描述了可表示物理表面的保守的表面法线场N_r。

初始表面法线估计n_r(x)彼此独立地被确定。然而，使用如上所述的泊松方程带来相邻表面法线估计之间的相关性。以这种方式，垂直于照明方向的表面法线方向的模糊性可至少部分地被解决，产生更好地描述物理表面的细化表面法线估计n_r(x)。这通过在表面法线场中执行保守主义来实现。

例如，图7示出确定用于由7020表示的相同对象的细化表面法线n_r(x)的表示704₀，其从上方被照亮。704₀下的三个表示示出表面法线n_r(x)的x、y和z分量。特别地，表示704_x示出表面法线n_r(x)的x分量，表示704_y示出表面法线n_r(x)的y分量，以及表示704_z示出表面法线n_r(x)的z分量。可以看出，细化表面法线估计n_r(x)比初始表面法线估计n_i(x)包含更多细节，特别是在x和z方向，即垂直于照明方向。

如上所述，将细化表面法线估计n_r(x)提供给存储228用于在其中存储，随后要被用于在任意照明条件下例如从渲染视点来渲染场景的图像。

图像处理系统200可以在计算机系统(诸如图8所示的那个)中实现，图8中包括GPU802、CPU804、存储器806和其它设备808，诸如显示器810、扬声器812、照相机814和小键盘816。该计算机系统的组件经由通信总线818可以彼此通讯。处理块202可作为图8所示GPU802的一部分被实现(例如在硬件中)。备选地，通信，处理块可在CPU804上实现。如果处理块的功能在软件中实现，那么该软件可以在存储器806中被存储为计算机程序代码，并且可在计算机系统中的处理单元(例如，在GPU802或CPU804上)上被执行，从而配置处理单元的硬件以执行本文所述的处理块202的功能。注意，存储228可以是存储器806的一部分。

通常，以上描述的任何功能、方法、技术或组件可以使用软件、固件、硬件(例如固定逻辑电路)或这些实现方式的任何组合在模块来实现。术语“模块”、“功能”、“组件”、“块(block)”和“逻辑”在本文中用于通常表示软件、固件、硬件或其任何组合。

在软件实现方式的情况下，当在处理器(例如，一个或多个CPU)上执行时，模块、功能、块、组件或逻辑表示执行指定任务的程序代码。在一个示例中，该方法可以通过配置有存储在计算机可读介质上以机器可读形式的计算机程序产品的软件的计算机来执行。计算机可读介质的一个这样的配置是信号承载介质，因此其被配置为传送指令(例如，作为载波)到计算设备，诸如经由网络。计算机可读介质还可以被配置为计算机可读存储介质，因而不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪存存储器、硬盘存储器以及可使用磁的、光的、和存储指令或其它数据的其它技术以及可通过机器范围的其它存储器设备。

当该程序在计算机上运行且计算机程序可以在计算机可读介质上体现时，该软件可以是包括用于配置计算机以执行所描述方法的组成部分的计算机程序代码形式，或者包括适于执行本文所描述任何方法的所有步骤的计算机程序代码装置的计算机程序形式。该程序代码可被存储在一个或多个计算机可读介质中。本文所描述的技术的特征是与平台无关的，这意味着这些技术可在具有各种处理器的各种计算平台上实现。

本领域的技术人员还将认识到，所有的或部分的功能、技术或方法可以通过专用电路、专用集成电路、可编程逻辑阵列、现场可编程门阵列等来实现。例如，模块、功能、组件、块或逻辑(例如处理块202中的逻辑块204至226)可包括电路形式的硬件。这种电路可以包括晶体管和/或制造过程中可用的其它硬件元件。以举例的方式，这类晶体管和/或其它元件可被用于形成电路或实现和/或包含存储器的结构(诸如寄存器、触发器或锁存器)，逻辑运算符(诸如布尔运算)，数学运算符(诸如加法器、乘法器或移位器)，以及连接线。这样的元件可以提供为定制电路或标准单元库、宏或抽象的其它水平。这样的元件可以以特定布置互连。模块、功能、组件或逻辑可以包括固定功能的电路和可以被编程以执行一种或多种功能的电路；这样的编程可以由固件或软件更新或控制机制来提供。在示例中，硬件逻辑具有实现固定功能操作、状态机或过程的电路。

还意图包括软件，其“描述”或者定义实现如上所述的模块、功能、块、组件或逻辑的硬件配置，诸如HDL(硬件描述语言)软件，用于设计集成电路，或者用于配置可编程芯片以实现期望的功能。即，可以提供一种计算机可读存储介质，具有编码在其上的计算机可读程序代码，用于生成被配置以执行本文所述的任何方法的处理快，或用于生成包含本文描述的任何装置的处理块。

术语“处理器”和“计算机”在本文中用于指具有处理能力以使其能够执行指令的任何设备或其部分，或能够实现全部或部分功能或方法的专用电路，或它们的任何组合。

虽然已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，所附权利要求中限定的主题不必限于上面描述的特定特征或动作。相反，上面描述的特定特征和动作作为实现权利要求的示例形式被公开。应理解，上面描述的益处和优点可以涉及一个示例或者可以涉及数个示例。

本文给出的任何范围或值可以被扩展或者改变而不失去所追求的效果，这对本领域技术人员是显而易见的。本文描述的方法的步骤可以任何合适的顺序或适当情况下同时实现。上面描述的任何示例的方面可以与描述的任何其它示例的方面进行组合，以形成另外的示例而不失去所追求的效果。

如上所述，在一些示例中，提供了一种确定针对包括镜面反射分量的场景可重新照明纹理的本征颜色分量的方法，其中，场景的多个图像从相应的多个照相机视点捕捉并被投射到场景中表示对象的几何上，该方法包括：

基于从一组多个图像的样本位置处的最小图像值，确定纹理的多个样本位置的每一个处的漫射图像分量值；

利用漫射图像分量值以确定可重新照明纹理的本征颜色分量；以及

存储可重新照明纹理的本征颜色分量，用于后续在任意照明条件下从渲染视点来渲染场景的图像。

该方法可以进一步包括：接收已从相应的多个照相机视点捕捉的场景的多个图像；分析(例如通过场景分析逻辑)场景的图像以构建表示场景的对象的几何；以及将图像投射(例如通过场景分析逻辑)至几何上。所述将图像投射至几何上可以包括翘曲(例如通过场景分析逻辑)至少一个图像，使得所投射的图像彼此更好地对准。此外，该方法可以进一步包括：执行所投射的图像的颜色校准(例如通过场景分析逻辑)，从而减少所投射的图像之间的差异。所述执行所投射的图像的颜色校准可以包括：比较纹理的样本位置处的所投射图像的图像值x_i，并找到针对每个所投射图像的尺度参数a_i和偏移参数b_i，使得针对不同图像i的颜色校准图像值之间的差异(a_ix_i+b_i)最小化。

确定针对多个样本位置的每一个处的漫射图像分量值，所述组的多个图像可包括在其中样本位置是可见的一些或所有图像。所述组的多个图像可仅包括那些图像，即对于那些图像，样本位置处的表面法线和照相机视点的观察方向之间的角度为小于阈值角度的图像。

可以针对每个图像确定漫射图像分量值(例如通过镜面反射分离逻辑)。此外，对于特定图像，基于来自包括特定图像的一组图像的样本位置处的最小图像值和具有样本位置的可见性的至少另一个图像，可以确定(例如通过镜面反射分离逻辑)每个样本位置处的漫射图像分量值。所述特定图像可以从特定的照相机视点捕捉，并且所述至少另一个图像可以包括从特定照相机视点的最近邻的照相机视点捕捉的多个图像。该方法可以进一步包括：针对每个图像，通过从纹理的样本位置处的图像值减去针对该图像的漫射图像分量值来确定(例如通过镜面反射分离逻辑)镜面反射图像分量值。该方法可以进一步包括：使用所确定的图像的镜面反射图像分量值来确定辐射估计(例如通过辐射估计逻辑)。例如，所确定的辐射估计可以是：(i)与漫射图像分量值一起使用以确定可重新照明纹理的本征颜色分量，和/或(ii)用于估计可重新照明纹理的镜面反射颜色分量。

使用漫射图像分量值以确定可重新照明纹理的本征颜色分量的步骤可以包括：使用漫射图像分量值(例如，通过场景照明估计逻辑)以确定场景的照明估计；以及使用所确定的照明估计(例如，通过阴影估计逻辑)将漫射图像分量值分离成可重新照明纹理的颜色分量以及针对纹理的每一样本位置的表面阴影估计。此外，该方法可以进一步包括：使用针对相应样本位置所确定的照明估计和所确定的表面阴影估计来确定该样本位置处的表面法线估计(例如，通过表面法线估计逻辑)。

此外，可以提供一种图像处理系统，其被配置为确定针对包括镜面反射分量的场景的可重新照明纹理的本征颜色分量，其中该图像处理系统被配置为使用从相应的多个照相机视点捕捉的并被投射到表示场景中对象的几何上的场景的多个图像，该图像处理系统包括：

镜面反射分离逻辑，被配置为基于来自一组多个图像的样本位置处的最小图像值来确定纹理的多个样本位置的每一个处的漫射图像分量值；

本征颜色分量确定逻辑，被配置为使用漫射图像分量值以确定可重新照明纹理的本征颜色分量；以及

存储，被配置为存储可重新照明纹理的本征颜色分量，用于后续在任意照明条件下从渲染视点来渲染场景的图像。

此外，如上所述，在一些示例中，提供了确定针对图像处理系统中场景的局部辐照估计的方法，该方法包括：

获得针对场景中一个或多个表面上的样本位置的初始辐照估计，该初始辐照估计是基于针对场景的全局辐照估计；

获得指示场景中依赖于视角的样本位置的可见性的可见性指示；

使用所获得的初始辐照估计和所获得的可见性指示计算针对场景的角度依赖性辐射估计；以及

使用该辐照估计和该可见性指示来确定样本位置处的局部辐照估计。

该方法可以进一步包括使用局部辐照估计来确定针对纹理的本征颜色估计。全局辐照估计可取决于表面法线，并且所述获得针对场景中一个或多个表面上样本位置的初始辐照估计可包括使用样本位置的表面法线通过对全局辐照估计进行采样来确定初始辐照估计。

针对场景的全局辐照估计可以由以下来确定：分析(例如通过场景分析逻辑)场景的至少一个视图以估计描述场景中一个或多个表面的场景几何并且将初始纹理分段成多种材料，该初始纹理可被分离成本征颜色估计和对应的阴影估计；确定(例如，通过附加阴影处理逻辑)每种材料的初始粗糙本征颜色估计；确定(例如，通过附加阴影处理逻辑)一个或多个比例因子，用于缩放相应的一个或多个初始粗糙本征颜色估计，该比例因子是基于针对材料确定的材料辐照估计和与材料的初始粗糙本征颜色估计的缩放版对应的阴影估计之间的差异而确定的；以及使用所确定的比例因子确定(例如，通过场景照明估计逻辑)全局辐照估计作为表面法线的函数。

对于每种材料，通过找到该材料的初始纹理中的平均值可以确定(例如，通过附加阴影处理逻辑)初始粗糙本征颜色估计。所述使用所确定的比例因子确定全局辐照估计(例如，通过场景照明估计逻辑)可包括：使用所确定的比例因子缩放一个或多个初始粗糙本征颜色估计；以及使用缩放的粗糙本征颜色估计来确定全局辐照估计作为表面法线的函数。所述使用缩放的粗糙本征颜色估计(例如，通过场景照明估计逻辑)来确定全局辐照估计可包括：组合缩放的粗糙本征颜色估计以形成全局粗糙本征颜色估计；以及使用全局粗糙本征颜色估计来确定全局辐照估计作为表面法线的函数。该方法还可以包括将二阶球谐函数拟合到全局辐照估计(例如，通过场景照明估计逻辑)，从而对全局辐照估计进行去噪。

所述确定一个或多个比例因子(例如，通过场景照明估计逻辑)可包括：确定材料辐照估计的重叠区域中不同材料的材料辐照估计之间的差异的测量，所述差异的测量依赖于比例因子，其中，对于特定比例因子，材料的材料辐照估计匹配于用该特定比例因子缩放的初始粗糙本征颜色估计的版本对应的阴影估计；并且确定比例因子以便最小化差异的测量。

所述获得可见性指示(例如，通过投射阴影处理逻辑)可包括：基于通过分析场景的至少一个视图而确定的描述场景中一个或多个表面的所估计的场景几何，来确定可见性指示。投射阴影处理逻辑还可以被配置为使用局部辐照估计来确定纹理的本征颜色估计。

可见性指示可以是针对样本位置x和针对达到第K阶球谐函数的第K阶球谐函数的球谐函数系数b_x，k的形式。

所述计算场景的角度依赖性辐射估计(例如，通过投射阴影处理逻辑)可以包括确定针对达到第K阶球谐函数的第K阶球谐函数的球谐函数系数r_k，其中该辐射估计根据以下等式计算：

R^*＝(B^TB)^-1B^TI_E

其中R^*是针对辐射估计的球谐函数系数r_k的向量，B是针对可见性指示的球谐函数系数b_x，k的矩阵，并且I_E是针对样本位置x的所获得的初始辐照估计的向量。

样本位置x处的局部辐照估计I(x)可以根据以下等式来确定(例如，通过投射阴影处理逻辑)

$I\left(x\right)={\Σ}_{k=1}^K{b}_{x,k}{r}_k$

其中b_x，k是针对样本位置x处可见性指示的第k阶球谐函数系数，并且其中r_k是针对辐照估计的第k阶球谐函数系数。K可以在10≤K≤16的范围内，并且在一个特定的示例中K＝14。

此外，可以提供一种图像处理系统，其包括被配置为确定场景的局部辐照估计的场景照明估计逻辑，其中该场景照明估计逻辑被配置为：(i)获得针对场景中一个或多个表面上样本位置的初始辐照估计，其中初始辐照估计是基于针对场景的全局辐照估计，以及(ii)获得指示场景中依赖于视角的样本位置的可见性指示，其中该场景照明估计逻辑包括：

投射阴影处理逻辑，被配置为(i)使用所获得的初始辐照估计和所获得的可见性指示来计算针对场景的角度依赖性辐射估计，以及(ii)使用该辐射估计和该可见性指示来确定样本位置处的局部辐照估计。

Claims (20)

1.一种确定在场景的一个或多个图像中可见的对象的表面的表面法线估计的方法，其中所述对象由从所述场景的所述一个或多个图像构建的几何表示，所述方法包括：

获得所述对象的所述表面的表面法线估计，所述表面法线估计表示第一表面法线场；

基于所述第一表面法线场的保守分量构建所述对象的所述表面的高度映射；

使用所述高度映射来确定所述对象的所述表面的细化表面法线估计，所述细化表面法线估计表示所述对象的所述表面的保守表面法线场；以及

存储所述细化表面法线估计以用于在渲染所述对象的图像中的后续使用。

2.根据权利要求1所述的方法，其中所述获得所述对象的所述表面的表面法线估计包括：

确定所述场景的照明估计；

确定所述对象的所述表面的表面阴影估计；以及

使用所述对象的所述表面的所确定的照明估计和所确定的表面阴影估计来确定所述对象的所述表面的所述表面法线估计。

3.根据权利要求2所述的方法，其中所述确定所述表面法线估计还使用从构建自所述场景的所述一个或多个图像的所述几何而预测的所述对象的粗糙表面法线。

4.根据权利要求3所述的方法，其中所述确定所述表面法线估计包括：对于多个样本位置中的每个样本位置，找到最小化包括所述样本位置的所确定的表面阴影估计和所述表面法线的方向的所确定的照明估计之间的差异的测量的误差量度的所述表面法线，其中所述误差量度还包括正则项，所述正则项是所述样本位置的所述表面法线与从构建自所述场景的所述一个或多个图像的所述几何而预测的所述样本位置的粗糙表面法线之间的差异的函数。

5.根据前述任一项权利要求所述的方法，还包括分析所述场景的所述一个或多个图像以构建表示所述对象的所述几何。

6.根据前述任一项权利要求所述的方法，其中所述第一表面法线场是包括非保守分量和所述保守分量的非保守场。

7.根据前述任一项权利要求所述的方法，其中所述第一表面法线场的发散在所述构建所述对象的所述表面的高度映射中被使用，使得基于所述第一表面法线场的所述保守分量来构建所述高度映射。

8.根据前述任一项权利要求所述的方法，其中使用泊松方程版本来构建所述高度映射。

9.根据权利要求8所述的方法，其中基于相邻的样本位置的高度以及基于所述第一表面法线场的发散，使用迭代松弛法来确定多个样本位置中的每个样本位置处的高度。

10.根据权利要求9所述的方法，其中在所述迭代松弛法的第i次迭代中，在针对所述对象的所述表面的纹理的样本位置(x，y)处的高度H_i(x，y)由下式给出：

$H_i(x,y)=\frac{1}{4}\{H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)+H_{i-1}(x+\mathrm{\δ},y)-{\mathrm{\δ}}^2\▿\·N_i\},$ 其中δ是相邻的样本位置之间的间隔，并且N_i是所述第一表面法线场。

11.根据权利要求9或10所述的方法，其中所述松弛法在若干次迭代后终止，使得所述松弛法在会聚之前终止。

12.根据前述任一项权利要求所述的方法，其中所述使用所述高度映射来确定所述对象的所述表面的细化表面法线估计包括确定所述高度映射的梯度。

13.根据权利要求12所述的方法，其中所述细化表面法线估计N_r使用所述高度映射H根据等式而被确定。

14.根据前述任一项权利要求所述的方法，其中从一个或多个照相机视点捕捉所述场景的所述一个或多个图像，并且其中存储的细化表面法线估计以用于在任意照明条件下从渲染视点渲染所述对象的图像中的后续使用。

15.根据权利要求14所述的方法，其中所述细化表面法线估计与可重新照明纹理的本征颜色分量一起存储以用于在任意照明条件下从渲染视点渲染所述对象的图像中的后续使用。

16.一种图像处理系统，所述图像处理系统被配置为确定在场景的一个或多个图像中可见的对象的表面的表面法线估计，其中所述图像处理系统被配置为获得表示所述对象的几何，其中所述几何是从所述场景的所述一个或多个图像构建的，所述图像处理系统包括：

第一表面法线逻辑，被配置为获得所述对象的所述表面的表面法线估计，所述表面法线估计表示第一表面法线场；

高度映射构建逻辑，被配置为基于所述第一表面法线场的保守分量来构建所述对象的所述表面的高度映射；

第二表面法线逻辑，被配置为使用所述高度映射来确定所述对象的所述表面的细化表面法线估计，所述细化表面法线估计表示所述对象的所述表面的保守表面法线场；以及

存储，被配置为存储所述细化表面法线估计以用于在渲染所述对象的图像中的后续使用。

17.根据权利要求16所述的图像处理系统，其中所述图像处理系统还包括：

场景照明估计逻辑，被配置为确定所述场景的照明估计；以及

阴影估计逻辑，被配置为确定所述对象的所述表面的表面阴影估计；

其中所述第一表面法线逻辑被配置为通过使用所述对象的所述表面的所确定的照明估计和所确定的表面阴影估计来确定所述对象的所述表面的所述表面法线估计而获得所述对象的所述表面的所述表面法线估计。

18.根据权利要求17所述的图像处理系统，其中所述第一表面法线逻辑被配置为还使用从构建自所述场景的所述一个或多个图像的几何而预测的所述对象的粗糙表面法线来确定所述表面法线估计。

19.根据权利要求16至18中任一项所述的图像处理系统，还包括场景分析逻辑，被配置为分析所述场景的所述一个或多个图像以构建表示所述对象的所述几何。

20.根据权利要求16至19中任一项所述的图像处理系统，其中所述高度映射构建逻辑被配置为使用所述第一表面法线场的发散来构建所述对象的所述表面的所述高度映射，以由此基于所述第一表面法线场的所述保守分量来构建所述高度映射。