CN109564701A - 用于改善数字图像中光泽表示的计算机系统和方法 - Google Patents

Abstract

一种用于表示包括多个目标像素的数字目标图像中的静态对象的计算机实现的图像处理方法(1000)、系统和计算机程序产品。静态对象具有表面反射特性不同的表面元素。该方法包括：接收(1100)静态对象的多个数字源图像，其中多个源图像各自表示在恒定视角和不同的照射角度下的一个或多个静态对象；通过当拟合到所述源图像的相应源像素的反射光强度值时在不同照射角度下为所述一个或多个表面元素的每个目标像素从最佳拟合函数计算一组漫射系数来计算(1200)所述一个或多个表面元素的目标像素的漫射分量；通过使用计算出的漫射系数生成(1300)一个或多个表面元素的目标像素的法向量，其中法向量描述一个或多个表面元素的空间方向；确定(1400)一个或多个表面元素的目标像素的光泽系数，作为相应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离；通过根据相应的法向量和确定的光泽系数重叠计算机图形反射模型，生成(1500)一个或多个表面元素的目标像素的光泽分量。

Description

用于改善数字图像中光泽表示的计算机系统和方法

技术领域

本发明一般涉及电子数据处理，更具体地，涉及用于数字图像处理的方法、计算机程序产品和系统。

背景技术

模拟以及数字世界中的摄影允许表示物理对象及其视觉外观。然而，包括数码摄影在内的摄影有一些缺点。摄影无法将光与表面的动态相互作用可视化，因为它是一种捕获材料和对象的光反射的静态方法。例如，这对于任何类型的表面结构的表示或记录可能是不利的，无论是艺术作品、取证对象、皮肤病学、考古学还是高质量产品可视化(例如，用于促销产品)。克服这些缺点的现有技术方法是反射变换成像(RTI-参见M·马奇(M.Mudge)等人，基于图像的经验信息采集，科学可靠性，以及自然科学和文化遗产的长期数字保存，欧洲图形学(2008年)；M.Mudge等人，用于博物馆的稳健的基于摄影的数字成像技术的原理和实践，第11届VAST虚拟现实、考古和文化遗产国际研讨会，(第111-137页)(2010))。

RTI是一组计算摄影方法，其捕获对象的表面形状和颜色，并且能够基于数学模型从任何方向对对象进行交互式重新照射。多项式纹理映射(PTM)描述了现有技术方法(参见T·马尔兹本德(T.Malzbender)、D·格尔布(D.Gelb)和H·沃尔特(H.Wolters)，多项式纹理映射，第28届计算机图形和交互技术年会议程(第519-528页)(2001))。在第一步中，光的反射是由多个照片图像捕获的，其中对象由来自不同位置(在不同照射角度下)的光源照射。例如，光源可以是闪光灯(或LED灯)，其与数码相机同步以在记录数字(源)图像时照亮静态对象。在第二步中，对于每个像素位置，将二阶多项式与所测量的反射相匹配。但是，PTM具有所应用的数学模型的局限性。二阶多项式能够再现反射使用(无光泽)表面的反射，也称为朗伯表面，但光泽的再现是不可能的。

发明内容

因此，需要一种改进现有技术方法的方法，其中光泽的再现能够用于具有光泽表面元素的对象的照相表示。

朗伯表面以这样的方式散射入射光，使得表观亮度不依赖于观察者的视点。虽然表面的辐射度取决于法线和照射光源之间的角度，但遵循朗伯余弦定律，它不依赖于法线和观察者之间的角度：它具有均匀的反射(例如，像无光泽表面一样)。实际上，光泽表面具有镜面反射的成分。镜面反射意味着光只反射在一个方向上，由反射定律(也称为斯内尔定律)定义，镜子显示出完美的镜面反射(参见M·博恩(M.Born)和E·沃尔德(E.Wold)，光学原理，电磁传播理论，光干涉和衍射，第6版，培格曼出版社(1989))。需要克服用于再现由单个或多个材料制成的对象的PTM二阶多项式的限制。对象表面元素与光相互作用，并且在大多数情况下，漫射和光泽材料构成对象并赋予其特征性外观。换句话说，同一个对象可以具有由漫射材料制成的表面元素，并且还可以具有由光泽材料制成的表面元素。

通过图像处理方法、由计算机系统执行以执行图像处理方法的相应计算机程序产品以及根据独立权利要求的计算机系统，解决了上述技术问题。

在一个实施例中，提供了一种用于渲染包括多个目标像素的数字目标图像中的一个或多个静态对象表示(即，一个或多个静态对象的表示)的图像处理计算机系统。数字目标图像是由计算机系统通过处理多个源图像执行的图像处理方法的结果。一个或多个静态对象具有表面反射特性不同的表面元素。静态对象是现实世界的物理对象，其可见表面元素可以由具有不同反射特性的不同材料(例如，玻璃、木材、石头等)组成。

该系统具有接口组件以接收一个或多个静态对象的多个数字源图像，其中多个源图像各自在恒定视角和不同照射角度下表示一个或多个静态对象。例如，数码相机可以位于固定位置。相机在恒定视角下指向静止对象。静态对象由光源(有利地是定向光源)照射。对于每个源图像，光源被移动到不同的位置，使得每个源图像在不同的照射角度下被记录。

该系统还具有图像生成器组件，以执行到达改进的目标图像所需的计算步骤。计算任务由系统的一个或多个处理器组件执行。在第一步骤中，图像生成器通过当拟合到源图像的相应源像素的反射光强度值时在不同照射角度下为一个或多个表面元素的每个目标像素从最佳拟合函数计算一组漫射系数来计算一个或多个表面元素的目标像素的漫射分量。在PTM方法中，该步骤使用二阶多项式作为最佳拟合函数来执行。然而，可以替代地使用任何其他适当的数学最佳拟合函数，例如，从以下组中选择的代数或几何最佳拟合函数：高阶多项式函数、圆锥截面函数、三角函数、高斯函数、洛伦兹函数函数、沃伊特(Voigt)函数或本领域技术人员已知的任何其他潜在的最佳拟合函数。

在第二步骤中，图像生成器通过使用计算的漫射系数为一个或多个表面元素的目标像素生成法向量。法向量描述一个或多个表面元素的空间方向。换句话说，图像生成器针对相应的特定表面元素的每个像素确定与每个相应像素中的表面元素的平面正交的方向向量(法向量)。

在第三步骤中，图像生成器将一个或多个表面元素的目标像素的光泽系数确定为相应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离(即，值差)。换句话说，特定像素位置的特定反射光强度值与相应的最佳拟合函数值之间的距离表示从源图像导出的漫射分量的模型对于特定像素位置是不准确的。距最佳拟合函数值的距离可以看作是在特定像素位置处出现的光泽度的指示符。

在第四步骤中，图像处理通过根据相应的法向量和确定的光泽系数覆盖计算机图形阴影和反射模型来生成一个或多个表面元素的目标像素的光泽分量。这样的反射模型是在计算机图形领域中已知的并且可以使用各种反射模型来计算光泽度。反射模型的示例包括冯氏(Phong)反射模型、库克-托伦斯(Cook-Torrance)模型、沃德(Ward)各向异性模型和高斯模型。

在该步骤之后，图像处理方法提供用于渲染特定目标图像的信息。应注意，可以针对任何照射角度渲染目标图像，因为漫射和光泽分量是针对连续照射角度提供目标图像的像素值的模型，但是原始源图像仅针对多个离散照射角度提供像素值，在这些离散照射角度下记录各个源图像。

该系统通常具有渲染组件，该渲染组件被配置为针对恒定视角和第一照射角度使用计算的漫射分量和光泽分量来渲染目标图像。例如，该解决方案可以用公知的图形库、openGL或WebGL(由美国比佛顿镇的科纳斯组织(Khronos Group)提供)来实现，以在任何web浏览器中渲染RTI图像。基于Web的解决方案可以打开各种新应用程序以及协作工作的可能性。

渲染组件还可以针对恒定视角和第二(或另外)照射角度使用计算的漫射分量和光泽分量重新渲染目标图像。也就是说，可以针对与漫射/光泽分量模型相关联的连续照射角度的任何照射角度来可视化目标图像。

在一个实施例中，移动计算设备(例如，智能电话或平板电脑)可用于实现和运行先前公开的图像处理系统。移动设备可以包括一个或多个方向传感器(例如，重力传感器、加速度传感器、陀螺仪等)。例如，移动设备的用户现在可以移动(倾斜或侧倾)移动设备，使得方向传感器提供反映移动设备的当前方向的传感器数据。然后，移动设备可以从来自一个或多个方向传感器的第一和第二传感器数据导出第一和第二照射角度，其中第一和第二传感器数据分别与移动计算设备的第一和第二方向相关联。换句话说，倾斜显示器的用户可以响应于他的移动而开始生成方向传感器数据，然后将其移动用作用于针对映射到传感器数据的各个照射角度重新渲染目标图像的触发器。

在一个实施例中，该系统还包括材料检测组件，其被配置为识别与一个或多个表面元素相关联的一种或多种不同材料，其中通过类似的反射特性确定材料的类似视觉外观。

在一个实施例中，提供了一种用于表示数字目标图像中的一个或多个静态对象的计算机实现的图像处理方法。该方法包括以下步骤：接收一个或多个静态对象的多个数字源图像，其中多个源图像各自在恒定视角和不同照射角度下表示一个或多个静态对象；通过当拟合到源图像的相应源像素的反射光强度值时在不同照射角度下为一个或多个表面元素的每个目标像素从最佳拟合函数计算一组漫射系数来计算一个或多个表面元素的目标像素的漫射分量；通过使用计算的漫射系数生成一个或多个表面元素的目标像素的法向量，其中法向量描述一个或多个表面元素的空间方向；确定一个或多个表面元素的目标像素的光泽系数，作为相应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离；通过根据相应的法向量和确定的光泽系数重叠计算机图形反射模型，生成一个或多个表面元素的目标像素的光泽分量。

该方法为目标图像的目标像素提供漫射和光泽分量，然后可以基于原始源图像针对由最佳拟合函数值支持的照射角度范围内的任意照射角度将其组合成特定目标图像。

该方法可以进一步包括可选步骤：针对恒定视角和第一照射角度使用所计算的漫射分量和光泽分量渲染目标图像。

该方法可以进一步包括可选步骤：针对恒定视角和第二照射角度使用计算的漫射分量和光泽分量重新渲染目标图像。因此，渲染和重新渲染可以由具有一个或多个方向传感器的移动计算设备执行。第一和第二照射角度可以从来自一个或多个方向传感器的第一和第二传感器数据导出，其中第一和第二传感器数据分别与移动计算设备的第一和第二方向相关联。

可以针对至少一个另外的恒定视角迭代地重复该方法。例如，多个源图像可以包括与第一恒定视角相关联的第一组源图像和与第二或另外的视角相关联的第二组源图像。在该实施例中，通过从针对第一视角渲染的目标图像切换到针对第二(或另外)视角渲染的目标图像，可以虚拟地围绕静态对象移动。

在一个实施例中，仅对具有超过预定阈值的光泽系数的目标像素执行生成光泽分量。换句话说，预定阈值用作过滤器以消除可能由原始源图像中的错误导致的光泽分量。来自低于预定阈值的各个最佳拟合函数值的光反射强度的距离可以被感知为可以通过阈值过滤器函数来抑制的这种误差。

在一个实施例中，该方法还包括接收反射模型的修改的反射参数，其中修改的参数表示表面元素的表面反射特性。例如，用户可以输入这样的修改的反射参数以进一步关于光泽效果来改善目标图像。在一些情况下，与静态对象的真实世界情况相比，目标图像可能变得不太真实，但是人类观察者可能感觉到它更美观。

在一个实施例中，该方法还包括识别与一个或多个表面元素相关联的一种或多种不同材料，其中通过类似的反射特性确定材料的类似视觉外观。换句话说，图像处理方法可以识别目标图像中表现出类似反射特性的表面元素，并将这些表面元素分类为类似材料。

在一个实施例中，一种计算机程序产品包括指令集，当加载到计算设备的存储器中并由计算设备的至少一个处理器执行时，该指令集执行上述计算机实现的图像处理方法的步骤。

通过所附权利要求中具体描述的元件和组合，将实现和获得本发明的其他方面。应该理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对所描述的本发明的限制。

附图说明

图1是表示根据本发明实施例的用于根据从数码相机接收的多个源图像生成数字目标图像的图像处理计算机系统的简化方框图；

图2是根据本发明的一个实施例的用于表示数字目标图像中的一个或多个静态对象的计算机实现的图像处理方法的简化流程图；

图3A示出了漫射表面反射场景的最佳拟合函数；

图3B示出了光泽表面反射场景的最佳拟合函数；

图4是根据本发明的一个实施例的用于从源图像识别材料过滤阈值的直方图；

图5示出了应用了不同材料过滤阈值的三个图像；

图6示出了根据本发明的一个实施例的具有用于表示像素的光泽度贡献的过滤阈值标度的图像；以及

图7是示出可以与这里描述的技术一起使用的通用计算机设备和通用移动计算机设备的示例的图。

具体实施方式

图1示出了根据本发明实施例的图像处理计算机系统100的简化框图。在图2的上下文中解释了图1，图2是根据本发明的一个实施例的用于表示数字目标图像中的一个或多个静态对象的计算机实现的图像处理方法1000的简化流程图。以下部分描述使用参考图1和图2的参考数字。术语“源”和“目标”是指处理之前和之后的像素/图像。

计算机系统与数码相机210通信耦合。相机210位于可以在恒定视角α(从相机逃脱的虚线之间的角度)下拍摄一个或多个静态对象201、202的数字图像的位置处。在它们不移动的意义上，对象是静态的。在该示例中，两个静态对象201、202具有表面元素a、b、c、d、e。一些表面元素可具有不同的表面反射特性。例如，表面元素b、e可以是木质部件，表面元素a、c可以是玻璃板，表面元素d可以是铝制圆筒。这些材料中的每一种都具有完全不同的反射特性。静态对象由光源220照射。光源220可以具有变化的位置，如圆圈的虚线段所示，表示与各个照射角度β相关联的各种光源位置。也可以使用允许光源在不同照射角度下照射静态对象的任何其他几何形状。在该示例中，光源在圆弧段上的每个位置对应于特定的照射角度β。在当前位置，光源220在照射角度β₁下将光发射到静止对象201的表面元素。在视角α₁下，相机在相应的像素处接收反射光。在这种情况下，入射角β₁等于反射角α₁。例如，光源可以在虚线圆段上从左向右移动，具有适合于相机210在相应的照射角度下拍摄静态对象的图像的挡块。例如，光源可以是与相机210通信耦合的远程闪光灯，使得静态对象的照射与相机的曝光时间同步。换句话说，在拍摄特定源图像的曝光时间期间，光源保持在固定位置。例如，相机可以拍摄10到100个图像，其中每个图像在不同的照射角度下被记录。

然后，系统100的接口组件110接收(1100)多个记录的相机图像，作为(静态对象201、202的)多个数字源图像211。多个源图像211各自表示在恒定视角α下和不同的照射角度β(不同的光源位置)下的静态对象。如图所示，图像具有表示表面元素a、b、c、d和e的源像素的像素子集。

接口组件110还可以为用户10提供标准输入/输出装置(例如，显示装置和数据输入装置)以与系统100交互。

计算机系统100还具有用于生成适合于渲染包括多个目标像素的数字目标图像141的图像数据的图像生成器130。图像生成器130包括两个主要函数：漫射分量和归一化向量函数131以及光泽分量函数132。

漫射分量和归一化向量函数131通过当拟合到源图像的相应源像素的反射光强度值时在不同照射角度下为一个或多个表面元素a、b、c、d和e的每个目标像素从最佳拟合函数(反射模型)计算一组漫射系数来计算一个或多个表面元素的目标像素的漫射分量。可以使用任何适当的数学最佳拟合函数，例如代数或几何最佳拟合函数，例如二阶或更高阶多项式函数、二次截面函数、三角函数、高斯函数、洛伦兹函数或Voigt函数。例如，要估计表面元素的漫射分量，可以使用以下二维函数(f无光泽)：

或

由n个参数(漫射系数)定义其中坐标对(x，y)表示源图像/目标图像中的单个像素，并且l_u，l_v是描述光方向(照射角度)的归一化向量的坐标，T·马尔兹本德(T.Malzbender)、D·格尔布(D.Gelb)和H·沃尔特(H.Wolters)，多项式纹理映射，第28届计算机图形学和交互技术年会议程(第519-528页)，(2001)。使用二维反射模型允许在从源图像生成目标图像时显著减少计算机系统100的计算负担，因为与三维模型相比，计算工作量较低。在存储器和计算能力方面，对任意3-D光方向的最佳拟合函数进行插值是非常昂贵的。当假设光源始终与静态对象的距离相同时，可以还原到二维反射模型。也就是说，光源沿着圆移动，静态对象位于圆的中心。如果光源移动的圆圈与采集的对象相比足够大，则该假设成立。实验表明，有利地，圆半径大约是对象尺寸的两倍或更多倍。

为了估计无光泽表面元素的漫射特性，仅使用拟合参数，并且获得(1300)指示各个像素位置处的表面元素的方向的法向量的坐标作为漫射分量计算的副产物。

更详细地，通过使用计算的漫射系数可以为一个或多个表面元素a、b、c、d、e的目标像素生成(1300)法向量NV，其中法向量NV描述一个或多个表面元素的空间方向。可以通过以下方式从最佳拟合函数中提取法向量。给定最佳拟合函数f(x，y，l_u，l_v)，设置：

对于每个像素(x，y)获得两个值l_u0和l_v0。两个获得的值用于使用公式计算相应的法向量(参见T.Malzbender、D.Gelb和H.Wolters，多项式纹理映射)：

然后，光泽分量函数132可以将一个或多个表面元素的目标像素的光泽系数确定(1400)为对应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离，并且通过根据相应的法向量和确定的光泽系数重叠计算机图形反射模型，生成一个或多个表面元素a、b、c、d、e的目标像素的光泽分量GC。

对于每个像素，获得一组n个系数。针对每个目标像素计算f_无光泽最佳拟合函数值与所有照射角度的像素强度之间的距离。为此，定义了函数

或

其中N和M是归一化因子，和

(7)I((l_u，l_v)，x，y)

是由光源(lu，lv)定义的图像中像素(x，y)的强度。此函数在所有像素上的值介于0和1之间，并用作光泽系数。f_G(x，y)系数在0和1之间变化。

使用强度平均值的值进行特定切割：

或强度的方差：

其中N_p是归一化因子。

可选渲染组件140可以针对恒定视角α和第一照射角度使用计算的漫射分量DC和光泽分量GC渲染(1600)目标图像141。可以通过适当的呈现装置(例如，显示设备)通过接口110将渲染的图像可视化到系统100的用户10。虽然接口110被示为单个组件，但是它可以提供用于不同目的的多个接口，其中需要与外部实体的通信。或者，渲染组件140还可以在与系统100通信耦合的另一系统中实现。渲染组件还可以针对恒定视角α和第二照射角度使用计算的漫射分量和光泽分量重新渲染(1700)目标图像141。这包括针对任意照射角度重新渲染目标图像，因为最佳拟合函数为最佳拟合函数范围内的任何照射角度提供连续的值。

如果所接收的源图像包括由图像生成器130相应地处理的另一视角的图像子集，则渲染组件140还可以切换到针对该另一视角渲染目标图像。在一个实施例中，包括一个或多个方向传感器的移动计算设备(例如，智能电话、平板电脑等)可以用于运行系统100。在这种情况下，用户10可以使用移动设备的用户接口功能与系统100交互。例如，移动设备的倾斜角度可以由方向传感器确定，并且第一和第二或另外的照射角度可以从来自一个或多个方向传感器的第一和第二或另外的传感器数据导出。当用户通过相应地移动移动设备为渲染组件140生成相应的照射角度输入时，可以触发目标图像的自动重新渲染。因此，不需要移动设备的倾斜角度对应于实际照射角度。例如，用户可以将移动设备保持在水平位置并且上下移动设备的边缘。然后可以将相应的传感器数据变换成照射角度，该照射角度对应于静态对象处于垂直位置并且光源在水平平面中围绕对象移动的情况。

可选的材料检测组件150可以识别与一个或多个表面元素a、b、c、d、e相关联的一种或多种不同的材料，其中通过类似的反射特性确定材料的类似视觉外观。在图4至6的上下文中讨论了详细示例。

图3A示出了针对特定像素的漫射表面反射情形的最佳拟合函数310。在该示例中，静态对象的五个源图像被记录在五个不同的照射角度下的五个不同的光源位置处(由光方向表示β1至β5示出)。由相机检测的由静态对象反射的光的强度由子弹311至315示出。表示给定像素处的反射静态对象的漫射特性的最佳拟合函数310被拟合到测量强度值311到315中。在这种情况下，测量的强度值311到315与最佳拟合函数的距离是无关紧要的，并且可以认为是在预期的误差容限内。作为结论，系统认识到由源图像中的给定像素表示的表面元素是无光泽表面元素，其反射特性可以通过最佳拟合函数310形式的漫射模型很好地建模。

图3B示出了用于光泽表面反射场景的最佳拟合函数320。在该示例中，在十四个不同的照射角度下，在十四个不同的光源位置处记录静态对象的十四个源图像。由相机检测到的静态对象反射的光的强度由特定像素的子弹321至334示出。表示特定像素处的反射静态对象的漫射特性的最佳拟合函数320被拟合到测量强度值321到334中。在这种情形下，测量强度值321-327和329-334到拟合函数的距离无关紧要，并且可以认为是在预期的误差容限内。然而，强度值328与最佳拟合函数320具有显著距离d1，其指示对于相应的照射角度，静态对象的反射表面元素满足反射条件。换句话说，在该照射角度下，入射角等于反射角(参见图1，β₁，α₁)，如果表面元素具有反射表面而不是无光泽表面，则导致反射光强度的显著增加。作为结论，系统认识到由十四个源图像中的特定像素表示的表面元素是光泽表面元素，其反射特性不能通过最佳拟合函数320形式的漫射模型适当地建模。对于强度值328，照射角(入射角)等于反射角(与相机的视角相关)的信息可以由图像生成器的法向量函数用于确定与反射表面元素相关联的用于确定反射表面元素的空间方向的法向量，如前所述。

图4是根据本发明的一个实施例的用于从源图像识别材料过滤阈值401、402的直方图400。直方图400可以由材料检测组件通过以下列方式分析源图像的像素来生成。对于每个像素，材料检测组件确定平均亮度值(平均L值)。等式(8)表明平均值是归一化的。Np不仅仅是点的数量，而是点的数量乘以特定像素的L的最大值。例如，如果像素值是“1，5，6，7，8”，则Np是8*5＝40，并且平均值是0.675。或者，可以使用最大值的固定值。例如，像素值可以固定在1和10之间。在像素值是“1，5，6，7，8”的情况下，Np可以是10*8并且平均值可以是0.3375。

例如，在光源提供白光的情况下，可以使用原始RGB信号的任何颜色通道，因为假设亮度值独立于颜色通道。通过在所有源图像上将特定像素的L值相加并将该和除以归一化因子来确定平均值。然后，计数具有相同平均L值的像素数。然后将该计数输入相应平均L值的直方图中。在该示例中，可以在直方图400中识别三个峰值410、420、430。每个峰值表示出现在源图像上的表面元素的特定反射特性。也就是说，静态对象的各个表面元素具有指示不同材料的不同表面特性。然后，材料检测组件可以从直方图400确定材料过滤阈值401、402作为直方图的最小值。例如，低于或等于第一材料过滤阈值401(第一过滤范围)的平均L值涉及与峰值410相关联的材料。高于第一材料过滤阈值401且低于或等于第二材料过滤阈值402(第二过滤范围)的平均L值涉及与峰值420相关联的材料。高于第二材料过滤阈值402(第三过滤范围)的平均L值涉及与峰值430相关联的材料。尽管材料检测组件在没有平均L值和相应材料类型之间的附加对应映射的情况下无法确定各种类型的材料，但是它可以基于所确定的过滤范围在不同材料之间进行区分。

图5示出了应用了不同材料过滤阈值的三个图像A、B、C。图像A示出了将第一过滤范围应用于马赛克图像的结果，其中马赛克的不同元素包括具有不同反射特性的不同材料。在该示例中，由材料检测组件执行的过滤功能将具有第一过滤范围内的平均L值的所有像素的像素值设置为白色(WHITE)。具有在第一过滤范围之外的平均L值的像素被设置为黑色(BLACK)。可以替代地使用任何其他颜色对(或灰度)。换句话说，白色像素表示具有对应的第一材料类型的马赛克元素的位置。

图像B显示了应用第二过滤范围后的结果。也就是说，由对应于第二过滤范围内的平均L值的材料制成的马赛克元素被显示为白色像素，而具有超出第二过滤范围的平均L值的像素被显示为黑色像素。

图像C显示了应用第三过滤范围后的结果。也就是说，由对应于第三过滤范围内的平均L值的材料制成的马赛克元素显示为白色像素，而具有在第三过滤范围外的平均L值的像素显示为黑色像素。

在一个实施例中，每个过滤范围可以被映射到相应材料的对应可视化颜色。也就是说，在当前场景中，将使用三种不同颜色(例如，黑色、白色、灰色或红色、绿色、蓝色或任何其他组合)来可视化单个图像内的三种材料。例如，在该实施例中，用户可以在单个图像中获得在马赛克内使用了多少不同材料的概述。然后，当选择任何一种材料时(例如，通过点击相应的马赛克元素)，可以将图像A、B和C中所示的先前实施例激活为向下钻取选项。然后，材料检测组件可以将选择用作输入，以激活所选材料的相应二进制过滤器功能，并可视化图像中所选材料的所有出现。

图6示出了根据本发明的一个实施例的具有用于表示像素的光泽度贡献的过滤阈值标度620的图像610。过滤阈值标度620示出了表示马赛克图像610中的每个像素的光泽量的参数f_G(x，y)的连续分布。在该示例中，选择阈值，其指示具有低于所选择的阈值的平均L值的像素被视为属于图像610的光泽部分。在示例图像610中，所有像素具有高于图4的阈值402的平均L值。因此，对于这样的像素，计算光泽系数的结果不等于零。图6示出了如何由渲染组件可视化光泽像素。

图7是示出可以与这里描述的技术一起使用的通用计算机设备900和通用移动计算机设备950的示例的图。计算设备900旨在表示各种形式的数字计算机，例如膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。通用计算机设备可以实现图1的计算机系统100。计算设备950旨在表示各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。例如，计算设备950可以是智能手机或平板计算机，其用于基于如先前公开的方向传感器值关于照射角度生成用于渲染组件的输入。这里示出的组件、它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文档中描述和/或要求保护的发明的实现。

计算设备900包括处理器902、存储器904、存储设备906、连接到存储器904和高速扩展端口910的高速接口908以及连接到低速总线914的低速接口912和存储设备906。组件902、904、906、908、910和912中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器902可以处理用于在计算设备900内执行的指令，包括存储在存储器904中或存储设备906上的指令，以在外部输入/输出设备(例如，高速耦合的显示器916)上显示GUI的图形信息。在其他实现中，可以适当地使用多个处理器和/或多个总线以及多个存储器和各种类型的存储器。而且，可以连接多个计算设备900，每个设备提供必要操作的部分(例如，作为服务器库、一组刀片服务器或多处理器系统)。

存储器904存储计算设备900内的信息。在一个实现中，存储器904是一个或多个易失性存储器单元。在另一实现中，存储器904是一个或多个非易失性存储器单元。存储器904还可以是另一种形式的计算机可读介质，例如磁盘或光盘。

存储设备906能够为计算设备900提供大容量存储。在一个实现中，存储设备906可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或设备阵列，包括存储区域网络中的设备或其他配置。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，这些指令在被执行时执行一个或多个方法，例如上面描述的那些方法。信息载体是计算机或机器可读介质，例如存储器904、存储设备906或处理器902上的存储器。

高速控制器908管理计算设备900的带宽密集型操作，而低速控制器912管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实现中，高速控制器908耦合到存储器904、显示器916(例如，通过图形处理器或加速器)，并耦合到高速扩展端口910，高速扩展端口910可以接受各种扩展卡(未示出)。在该实现中，低速控制器912耦合到存储设备906和低速扩展端口914。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备，例如键盘、指示设备、扫描仪或诸如交换机或路由器的网络设备，例如，通过网络适配器。

计算设备900可以以多种不同的形式实现，如图中所示。例如，它可以实现为标准服务器920，或者在一组这样的服务器中实现多次。它还可以实现为机架服务器系统924的一部分。此外，它可以在诸如膝上型计算机922的个人计算机中实现。或者，来自计算设备900的组件可以与移动设备中的其他组件组合(这些设备中的每一个可以包含计算设备900、950中的一个或多个，并且整个系统可以由彼此通信的多个计算设备900、950组成。

计算设备950包括处理器952、存储器964、诸如显示器954的输入/输出设备、通信接口966和收发器968以及其他组件。设备950还可以设置有存储设备，例如微驱动器或其他设备，以提供额外的存储。组件950、952、964、954、966和968中的每一个使用各种总线互连，并且若干组件可以适当地安装在公共主板上或以其他方式安装。

处理器952可以执行计算设备950内的指令，包括存储在存储器964中的指令。处理器可以实现为芯片的芯片组，其包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于设备950的其他组件的协调，诸如用户接口的控制、设备950运行的应用和设备950的无线通信。

处理器952可以通过控制接口958与耦合到显示器954的显示器接口956与用户通信。显示器954可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器，或其他适当的显示技术。显示器接口956可以包括用于驱动显示器954以向用户渲染图形和其他信息的适当电路。控制接口958可以从用户接收命令并将它们转换以提交给处理器952。此外，可以提供与处理器952通信的外部接口962，以便实现设备950与其他设备的近区域通信。外部接口962可以例如在一些实现中提供有线通信，或者在其他实现中提供无线通信，并且还可以使用多个接口。

存储器964存储计算设备950内的信息。存储器964可以实现为计算机可读介质、易失性存储器单元或非易失性存储器单元中的一个或多个。还可以提供扩展存储器984并通过扩展接口982连接到设备950，扩展接口982可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器984可以为设备950提供额外的存储空间，或者还可以存储设备950的应用程序或其他信息。具体地，扩展存储器984可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器984可以用作设备950的安全模块，并且可以用允许安全使用设备950的指令编程。此外，可以通过SIMM卡提供安全应用程序以及附加信息，例如以不可黑客的方式将识别信息放在SIMM卡上。

存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实现中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含的指令在执行时执行一种或多种方法，例如上述方法。信息载体是计算机或机器可读介质，例如存储器964、扩展存储器984或处理器952上的存储器，其可以例如通过收发器968或外部接口962接收。

设备950可以通过通信接口966无线通信，通信接口966可以在必要时包括数字信号处理电路。通信接口966可以提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器968发生。此外，可以发生短程通信，例如使用蓝牙、WiFi或其他这样的收发器(未示出)。另外，GPS(全球定位系统)接收器模块980可以向设备950提供附加的导航和位置相关的无线数据，其可以由在设备950上运行的应用适当地使用。

设备950还可以使用音频编解码器960进行可听地通信，音频编解码器960可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器960同样可以为用户生成可听声音，例如通过扬声器，例如在设备950的手机中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备950上操作的应用程序生成的声音。

计算设备950可以以多种不同的形式实现，如图中所示。例如，它可以实现为蜂窝电话980。它还可以实现为智能电话982、个人数字助理或其他类似移动设备的一部分。

这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，该可编程系统包括至少一个可编程处理器，其可以是特殊的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其传输数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言来实现，和/或在汇编/机器语言。如这里所使用的，术语“机器可读介质”“计算机可读介质”是指用于以下的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))。向可编程处理器提供机器指令和/或数据，包括将机器指令作为机器可读信号接收的机器可读介质。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)、键盘以及用户可以通过其向计算机提供输入的指示设备(例如，鼠标或轨迹球)的计算机上实现。其他类型的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

这里描述的系统和技术可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该浏览器与这里描述的系统和技术的实现交互)、或者这种后端、中间件或前端组件的任何组合的计算设备中实现。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。

计算设备可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系由于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而生成。例如，客户端可以提供用于渲染目标图像的可选渲染器，而系统100的其他组件(参见图1)可以在服务器上实现。

已经描述了许多实施例。然而，应该理解，在不脱离本发明的精神和范围的情况下，可以进行各种修改。

另外，图中描绘的逻辑流程不需要所示的特定顺序或顺序次序来实现期望的结果。另外，可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统或从所述系统中移除。因此，其他实施例在以下权利要求的范围内。

Claims (15)

1.一种用于表示包括多个目标像素的数字目标图像中的一个或多个静态对象的计算机实现的图像处理方法(1000)，所述一个或多个静态对象具有表面反射特性不同的表面元素，所述方法包括：

接收(1100)所述一个或多个静态对象的多个称为源图像的数字图像，其中所述多个源图像各自在恒定视角和不同照射角度下表示所述一个或多个静态对象；

通过当拟合到所述源图像的相应源像素的反射光强度值时在不同照射角度下为所述一个或多个表面元素的每个目标像素从最佳拟合函数计算一组漫射系数来计算(1200)所述一个或多个表面元素的目标像素的漫射分量；

通过使用计算的漫射系数生成(1300)所述一个或多个表面元素的目标像素的法向量，其中所述法向量描述所述一个或多个表面元素的空间方向；

确定(1400)所述一个或多个表面元素的目标像素的光泽系数，作为相应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离；以及

通过根据相应的法向量和所确定的光泽系数重叠计算机图形反射模型，生成(1500)所述一个或多个表面元素的目标像素的光泽分量。

2.根据权利要求1所述的方法，还包括：

针对所述恒定视角和第一照射角度使用计算的漫射分量和光泽分量渲染(1600)所述目标图像。

3.根据权利要求2所述的方法，还包括：

针对所述恒定视角和第二照射角度使用计算的漫射分量和光泽分量重新渲染(1700)所述目标图像。

4.根据权利要求3所述的方法，其中，渲染(1600)和重新渲染(1700)由具有一个或多个方向传感器的移动计算设备执行，并且所述第一和第二照射角度由来自所述一个或多个方向传感器的第一和第二传感器数据导出，其中所述第一和第二传感器数据分别与所述移动计算设备的第一和第二方向相关联。

5.根据前述权利要求中任一项所述的方法，其中，针对至少一个另外的恒定视角迭代地重复所述方法(1810)。

6.根据前述权利要求中任一项所述的方法，其中，仅对具有超过预定阈值的光泽系数的目标像素执行生成光泽分量。

7.根据前述权利要求中任一项所述的方法，还包括：

接收所述反射模型的修改的反射参数，其中所述修改的参数反映所述表面元素的表面反射特性。

8.根据前述权利要求中任一项所述的方法，其中，所述反射模型选自以下组中的任何一个：冯氏反射模型、库克-托伦斯模型、沃德各向异性模型和高斯模型。

9.根据前述权利要求中任一项所述的方法，其中，所述最佳拟合函数是从以下组中选择的代数或几何最佳拟合函数：二阶或更高阶多项式函数、圆锥截面函数、三角函数、高斯函数、洛伦兹函数、沃伊特函数。

10.根据前述权利要求中任一项所述的方法，还包括：

识别与所述一个或多个表面元素相关联的一种或多种不同材料，其中通过类似的反射特性确定材料的类似视觉外观。

11.一种计算机程序产品，当被加载到计算设备的存储器中并由所述计算设备的至少一个处理器执行时，执行根据前述权利要求中任一项所述的计算机实现的方法的步骤。

12.一种用于表示包括多个目标像素的数字目标图像(141)中的一个或多个静态对象的图像处理计算机系统(100)，所述一个或多个静态对象(201，202)具有表面反射特性不同的表面元素(a，b，c，d，e)，所述系统包括：

接口组件(110)，所述接口组件被配置为接收所述一个或多个静态对象(201，202)的多个(211)数字源图像，其中所述多个源图像(211)各自在恒定视角(α)和不同照射角度(β)下表示所述一个或多个静态对象；

图像生成器(130)组件，所述图像生成器组件被配置为：

通过当拟合到所述源图像的相应源像素的反射光强度值时在不同照射角度下为所述一个或多个表面元素(a，b，c，d，e)的每个目标像素从最佳拟合函数计算一组漫射系数来计算(1200)所述一个或多个表面元素的目标像素的漫射分量(DC)；

通过使用计算的漫射系数生成所述一个或多个表面元素(a，b，c，d，e)的目标像素的法向量(NV)，其中所述法向量(NV)描述所述一个或多个表面元素的空间方；

确定所述一个或多个表面元素的目标像素的光泽系数，作为相应的最佳拟合函数值与不同照射角度的相应源像素的反射光强度值之间的距离；

通过根据相应的法向量和确定的光泽系数重叠计算机图形反射模型，生成所述一个或多个表面元素(a，b，c，d，e)的目标像素的光泽分量(GC)；以及

渲染组件(140)，所述渲染组件被配置为针对所述恒定视角(α)和第一照射角度使用计算的漫射分量(DC)和光泽分量(GC)渲染所述目标图像(141)。

13.根据权利要求12所述的系统，其中，所述渲染组件(140)还被配置为：

针对所述恒定视角和第二照射角度使用计算的漫射分量和光泽分量重新渲染所述目标图像。

14.一种移动计算设备，包括根据权利要求13所述的系统，并且还包括一个或多个方向传感器，其中所述第一和第二照射角度由来自所述一个或多个方向传感器的第一和第二传感器数据导出，其中所述第一和第二传感器数据分别与所述移动计算设备的第一和第二方向相关联。

15.根据权利要求11至14中任一项所述的系统，还包括：

材料检测组件，所述材料检测组件被配置为识别与所述一个或多个表面元素相关联的一种或多种不同材料，其中材料的类似视觉外观通过类似的反射特性确定。