CN105701793A - 用于数字化真实材料外观的方法及装置 - Google Patents

Abstract

本发明涉及一种数字数据处理方法，其用于确定能表示由结构的反射面的图像数据所描绘的光学信号向三维表面几何形状上映射的数据，包括：获取第一图像数据，其描述了反射面的第一类型光的反射图像；获取第二图像数据，其描述了反射面的第二类型光的反射图像；获取第三图像数据，其描述了反射面的第三类型光的反射图像；其中，第一类型光、第二类型光和第三类型光构成三种不同的光类型；e)获取表面几何数据，其描述了反射面的三维表面的几何形状；和f)基于第一图像数据、第二图像数据、第三图像数据和表面几何数据确定反射面映射数据，其描述了由第一图像数据、第二图像数据和第三图像数据所描绘的反射与三维表面几何形状之间的映射。

Description

用于数字化真实材料外观的方法及装置

技术领域

本发明涉及一种数据确定方法，该数据表示了由某结构的反射面的图像数据描述的光学信号向该反射面的三维表面几何形状上的映射，并涉及一种用于获取能表示从某结构的反射面接收到的光学信号的数据的装置，该装置包括被配置为运行用于执行上述方法的程序的计算机。

背景技术

当测量反射面的光学属性并确定所产生的空间变化式双向反射率函数时，一个问题是：需要改进对光泽度性质的测量。仅使用在装置上具有固定位置的点光源来照射样本从而确定该样本的反射特性的做法可能会导致空间信息的损失，例如在样本发生各向异性反射的情况下。这样的现有技术方法例如披露在Schwarz,C等人在欧洲制图学术研讨会议程(西班牙萨拉戈萨)中关于材料外观建模的“问题及采集”中发表的“圆顶II：并行化BTF采集系统”，刊载于2013年6月《欧洲制图协会》第25-31页。另一种现有技术方法披露在US8,872,811B1中，其教导将测量装置的传感器位置插入进来以弥补可能的取样不足。然而，这涉及到由此在测量数据正确性方面上得到的一些不确定性，并可能由于额外数据的产生而导致增加的计算工作量。

因此，本发明的目的在于提供这样的方法和装置，即：当针对特定结构来确定空间变化式双向反射率函数时，能够在将数据量保持在可承受水平的同时提供改进的光泽度测量。

本目的可通过所附的任意独立权利要求的主题来实现。本发明的其他特征及方面将在下文中公开，并包含在从属权利要求的主题中。只要在技术上合理、可行，就可以根据本发明将不同的特征加以组合。例如，一个实施例的某特征可以与具有相同或相似功能的另一实施例的另一特征进行交换。例如，可将能对一个实施例的其他功能加以补充的另一实施例的某特征添加到该实施例中。

发明内容

为了达到上述目的，在第一方面，本发明提供一种数字数据处理方法，其用于确定能表示由某结构的反射面的图像数据所描绘的光学信号向该反射面的三维表面几何形状上映射的数据。所述结构可以是任何种类的(三维)结构，例如有实体的(具体说是，有形的)结构。例如，所述结构是织物结构和/或塑料结构和/或皮革结构和/或金属结构和/或着色结构中的至少一种。反射面是所述结构的以测量光照射并对测量光进行反射的外表面(例如，带纹理的表面)。所述方法包括如下特征(以下各步骤)，这些特征构建为例如可由计算机来运行。

在(例如第一)示例性步骤中，所述方法获取第一图像数据，其描述(例如定义)了来自所述结构的反射面的第一类型光的反射图像(第一图像)。作为示例，第一类型光是宽带点式光，其例如从白光发光二极管(LED)或等效光源发出。

在(例如第二)示例性步骤中，所述方法获取第二图像数据，其描述(例如定义)了来自所述结构的反射面的第二类型光的反射图像(第二图像)。作为示例，第二类型光是光谱(非白色)点式光，其例如从彩色(非白色)LED、装有彩色滤光片的白色LED或等效光源发出。

在(例如第三)示例性步骤中，所述方法获取第三图像数据，其描述(例如定义)了来自所述结构的反射面的第三类型光的反射的图像(第三图像)。作为示例，第三类型光是宽带线型光，其从例如荧光管或LED线型阵列的线光源发出。线光源例如在一个维度上是细长的，并且在其他维度上具有有限(较小)的厚度。例如，线光源包含仅一个荧光管，或者是包含仅一行LED的线型阵列。备选地，线光源可呈现为显示器(例如平板显示器、液晶显示器)，其被编程为显示具有预定几何形状的线型图形化特征(例如，在显示参考系的行方向和/或列方向上由预定数目的像素构成的相对较细的线状)，特别是预定亮度下的线型图形化特征。以作为线光源的方式使用显示器提供的优点是：通过适当控制显示器显示线型光，能够根据需要采用线光源的几何形状。此外，显示器提供的优点是，如果对其适当控制，不仅能产生白色，如果需要，还能产生光谱(有色，即非白色)的光。在一个例子中，线光源设置在对所述结构进行支承的支承部下方，这样做在检测系统至少部分地设置在从线光源的位置观察时的所述结构的另一侧上时，允许用第三类型光对所述结构进行的传输测量。

根据上文，显然第一类型光、第二类型光和第三类型光构成了三种不同类型的光。具体而言，这三种类型的光分别构成了光的不同类型。因此，本发明方法使用至少三种不同类型的光来照射反射面。同样落入本发明方法框架内的是，还可以使用多于三种不同类型的光，例如四种或五种不同类型的光。将包括线型光在内的三种类型的光相结合以衍生反射率信号的做法提供的优点是：改进光泽度测量，所述光泽度测量对由点光源(例如上述的宽带和光谱LED)产生的反射信号在空间上的采样不足极为敏感。这种采样不足通常发生的诱因是：点光源相对于所述结构以及相对于检测器所定义的一贯固定的位置。本发明人意外地发现，通过将只使用点光源的光泽度测量与从扩展光源(例如线光源)接收到的反射信号相结合，可以大大改进所述光泽度测量，从而当将处理时间和计算资源(包括电子数据存储空间)等方面考虑进来时，能够在保持可接受的水平的待处理数据量的同时，避免采样不足的影响。

在(例如第四)示例性步骤中，所述方法获取表面几何数据，其描述(例如定义)了反射面的表面几何形状。在一个实施例中，表面几何形状定义为反射面个体元素之间的(相对)高度(高度间隔和/或垂直间隔)。在另一实施例中，所述表面几何形状并非定义为每个此种元素的高度信息，而是定义为对表面元素的方向作出定义的信息。所述方向可定义在全局坐标系中，或定义为反射面上的元素之间的相对关系。在另一实施例中，表面几何形状作为三维空间中的巨大的点集合。在另一实施例中，表面几何形状作为由顶点和的跨越于各顶点之间的平面三角形或者四边形构成的三角形或四边形网格。在另一实施例中，表面几何形状作为高度场、点式云或网格连同以不同的(例如更高的)分辨率存储的方向的组合。

在(例如第五)示例性步骤中，可使用第四种光源的结构光图案来确定次表面对所述结构的表面以下的光进行散射(这种效应也称为半透明)的次表面的参数。次表面的散射原理是发生在所述结构内部的反射(reflexion)现象。因此，本发明中涉及反射光学现象的任何术语都包含半透明现象。然而，在发明中，涉及反射光学现象的任何术语可选择性地理解为专门指代发生在所述结构的外表面上的反射。在一个例子中，可以将由彼此间相距一定距离的单点构成的图案投影到所述结构的表面上。在由这种间距点照射的反射面上的各个图像中，对表面下散射光的测量可从表面的非照射部分中提取，并且可将模型与所提取的测量值进行拟合。

根据所述方法的第一实施例，表面几何数据描述了(例如定义了)反射面的高度场。表面几何数据例如基于第四图像数据来获取(具体说是，来自于第四图像数据)，所述第四图像数据描述了从所述结构的反射面反射的第四类型光的反射图像(第四图像)。第四类型光是一种不同于第一类型光、第二类型光和第三类型光的光型。在一个例子中，第四类型光是结构光，例如是从诸如投影仪(光投影仪)的结构光源发出的光。结构光是一种展现出某种图案(例如视觉图案)的光，即以特定(特别是，二维的)图案发射的光。因此，由第四图像数据所描绘的图像也称为结构光图像。这种图像描述了反射面的地形，例如浮雕。高度场描述了反射面各元素的高度(例如，相对高度)。例如，高度场描述了那些元素中至少一项相对于那些元素中其他项中的至少一项的高度(即，在第三维度(例如垂直方向)上的间距/距离/坐标差异。通过根据现有技术的方法来生成点式云，该高度场能够从结构光图像中重构(Salvi,J.等人于“PatternRecognition43”no.8(2010)第2666-2680页做出概述：“表面轮廓的最新式结构光图案”)，并且要考虑用于检测结构光的反射所采用的检测系统的几何校准。高度场的分辨率取决于用于检测第四类型光的反射信号的空间采样。高度场允许通过几何计算来确定反射面各元素的取向。

根据第一方面的方法的第二实施例，表面几何数据描述了(例如定义了)反射面的法线场。在这种情况下，表面几何数据例如基于第一图像数据、第二图像数据和第三图像数据中的至少一项来获取。法线场描述了反射面各元素的取向。例如，每个元素的取向定义为其表面法线的方向。法线场是包含了有关所需表面法线的信息的数据集。在假设法反射面为漫反射表面并针对每个表面元素所确定的亮度确定了每个表面元素的取向的情形下，可基于(例如，从)第一图像、第二图像和第三图像，来得到法线场。针对非漫反射面，还可通过结合取自第一、第二和第三图像数据的光泽信息来改善法线场。这可使用非线性优化方法来完成。

总之，表面几何数据描述了(例如定义了)上述高度场和上述法线场中的至少一项。

在(例如第六)示例性步骤中，所述方法基于第一图像数据、第二图像数据、第三图像数据和表面几何数据来确定反射面映射数据，所述反射面映射数据描述了(例如定义了)由第一图像数据、第二图像数据和第三图像数据所描绘的反射与反射面的三维表面几何形状之间的映射。例如，将光学信号(具体说是，反射信号)映射到三维表面几何上。映射的建立例如通过将由第一图像数据、图像数据和第三图像数据所描绘的各图像投影由表面几何数据所描绘的表面几何形状上。三维几何形状例如由表面几何数据中所包含的能够确定表面元素(例如，反射面的高度场和法线场中的至少一项)的取向的信息来描述(例如，做出定义)。

由第一图像数据、第二图像数据、第三图像数据以及第四图像数据(如果适用的话)所描绘的图像例如是由检测系统生成的数字图像，所述检测系统包括至少一个检测单元，例如用于检测第一类型光、第二类型光和第三类型光以及第四类型光(如果适用的话)的反射信号的至少一个数字相机(在其他例子中为多个数码相机，例如三个数码相机)。因此，检测系统在第一类型光、第二类型光和第三类型光以及第四类型光(如果适用的话)的光谱范围内尤为灵敏。

在第二方面中，本发明涉及一种确定能描绘(例如，定义或表示)所述结构的反射面的空间变化式双向反射率分布的数据的方法，该方法包括如下被制定为可由计算机运行的步骤：

1、执行上述(根据第一方面的)用于确定能表示映射的数据的数字数据处理方法。

2、获取描绘了双向反射率分布函数(BRDF)模型的反射函数数据。该反射函数数据例如包括表示BRDF模型的数学表达式的代码。

3、基于反射面映射数据和反射率函数数据，确定描述了反射面的空间变化式双向反射率分布的反射率分布数据。这例如通过将BRDF模型拟合于第一图像数据、第二图像数据和第三图像数据中(同时考虑到表面几何数据，例如每表面位置)所包含的反射率信息来完成。针对拟合过程，使用非线性优化算法。所得的SVBRDF(空间变化式双向反射率分布函数)参数(其定义了反射面的空间变化式双向反射率分布)存储在非易失性电子存储设备中包含反射率分布数据的数字文件中。

在第三方面中，本发明涉及一种对某结构的反射面的数字图像表示进行离线渲染(即，对预先渲染的数字图像表示的显示，其特别是在视觉上可辨认并因此可供人读取)的方法，所述方法包括如下被制定为可由计算机运行的步骤：

1、执行上述(根据第二方面的)用于确定能描绘所述结构的反射面的空间变化式双向反射率分布的数据的方法。

2、基于反射率分布数据，确定(例如合成)能描述(例如定义)反射面图像(数字图像)的表面表示数据。例如，针对特定观察角度(可实际观察到该表面的仰角和方位角)来确定表面表示数据。

3、例如，根据第三方面的方法包括：在例如显示设备(例如标准监视器)上或通过投影机和屏幕(投影仪屏幕，例如帆布屏幕)来离线渲染(例如，显示)表面表示数据的信息内容(即，表示反射面的数字图像)。

在第四方面中，本发明涉及一种用于确定能描述(例如，定义或表示)某结构的反射面的阴影外观(具体说是，描述了对阴影外观进行定义的模型和参数)的数据(例如模型和参数)的方法，该方法包括如下被制定为可由计算机运行的步骤：

1、执行上述(根据第二个方面的)用于确定所述结构的反射面的反射率分布的方法。

2、基于反射面映射数据，以及第一图像数据、第二图像数据和第三图像数据中的至少一项，确定描绘了(例如定义了)反射面的阴影的外观的阴影外观数据。可以将包含于阴影外观数据中用于表征阴影外观的阴影外观参数存储在数字文件中，供后续使用。具体而言，阴影外观参数可连同空间变化式双向反射率分布参数一起存储在单个文件中。

在第五方面中，本发明涉及一种对某结构的反射面的数字图像表示进行实时渲染(即，对数字图像表示的显示，其以联网方式生成，特别是在视觉上可辨认并因此可供人读取)的方法，该方法包括如下被制定为可由计算机运行的步骤：

1、执行上述(根据第二个方面的)用于确定所述结构的反射面的反射率分布的方法。

2、基于反射率分布数据，并可选地基于阴影外观数据，确定描述了(例如定义了)反射面的图像的表面表示数据。

3、例如，根据第五方面的方法包括：例如在显示设备(例如标准监视器)上或通过投影机和屏幕(投影仪屏幕，例如帆布屏幕)来联网(即实时)渲染(例如显示)表面表示数据的信息内容(即表示反射面的数据图像)。

在第六方面中，本发明涉及例如在一种用于确定表面属性(例如，由样本结构的反射面反射率所描绘(例如定义)的光泽、磨砂(haze)、图像清晰度和亮度中的至少一项)的方法的框架中，将根据第二方面的方法的输出作为进一步电子数据处理的输入。这种方法将利用根据第二方面的方法的输出，例如用于与针对样本采取的测量(例如，该测量是在针对样本各自的表面属性的质量控制框架上完成的)进行比较。这种方法制定为可由计算机运行。

在第七方面中，本发明涉及一种计算机程序，当该计算机程序运行于计算机上或加载到计算机上时其会促使计算机执行根据上述任一方面所述的方法。

在第八方面中，本发明涉及一种用于存储上述计算机程序的非暂时性计算机可读存储介质。

下面描述本发明第九方面，其涉及一种可用于实施根据第一到第六方面所述的方法的装置。对方法特征的描述也适用于该装置的类似特征。

在第九方面的第一实施例中，本发明涉及用于获取能表示从某结构的反射面接收的光学信号的数据的装置，该装置包括：

a)至少一个第一光源，其配置为将第一类型光发射到所述反射面上；

b)至少一个第二光源，其配置为将第二类型光发射到所述反射面上；

c)至少一个第三光源，其配置为将第三类型光发射到所述反射面上；备选或附加的是，所述结构能透射第三类型光，并且第三光源配置为将第四类型光发射穿过所述结构(使得第四类型光穿透所述反射面，例如穿透所述反射面到达检测系统)；

d)正如上文对根据第一方面的方法进行的说明那样，第一类型光、第二类型光和第三类型光构成三种不同类型的光；

e)用于支承所述结构的支承部(例如，上面放置了所述结构的转盘，以通过第一类型光、第二类型光、第三类型以及第四类型光(如果适用的话)来照射所述结构)；

f)检测系统，其配置为：

检测来自所述反射面的第一类型光的第一反射信号，并将所述第一反射信号转换为能描述所述结构的反射面图像的第一图像数据；

检测来自所述反射面的第二类型光的第二反射信号，并将所述第二反射信号转换为能描述所述结构的反射面图像的第二图像数据；以及

检测来自所述反射面的第三类型光的第三反射信号或透射信号，并将所述第三反射信号转换为能描述所述结构的反射面图像的第三图像数据，或将所述透射信号转换为能描述所述结构的图像的第三图像数据；

g)可操作地连接于检测系统的计算机，其配置为运行根据第七方法所述的计算机程序和/或包括根据第八方面所述的存储介质。

因此，所公开的装置使用至少三种不同类型的光源来照射所述反射面。还可以使得所公开的装置包括三种以上不同类型的光源，例如四或五种不同类型的光源，其配置为发射相应数量的不同类型的光。

在一个例子中，检测系统是根据第一方面的方法的行文中所描述的检测系统。

在第九方面的第二实施例中，所述装置包括：

至少一个第四光源，其配置为将第四类型光发射到所述反射面上；

其中，检测系统配置为检测来自所述结构的第四类型光的第四反射信号或透射信号，并将所述第四反射信号或透射信号转换为能描述所述结构的反射面的高度场的表面几何数据；

其中，所述至少一个第一光源是宽带点光源，所述至少一个第二光源是光谱点光源，所述第三光源是宽带线光源，所述第四光源是结构光光源。所述结构光光源例如是根据第一方面的方法的行文中所描述的那种结构光光源。

在第九方面的第三实施例中，检测系统以及第一光源、第二光源、第三光源和第四光源(只要装置包括第九方面的第二实施例的其他特征的话)设置在支持部上方的半球中，并且被配置用于发射第一类型光、第二类型光、第三类型光和第四类型光(只要装置包括上述所要求的其他特征的话)中的至少一项的至少一个其他光源设置在支承部下方的半球中。例如，第一光源、第二光源、第三光源、第四光源(只要该装置包括第九方面第二实施例的其他特征的话)以及检测系统固定于保持部上(例如固定于至少部分呈球形(例如，圆顶形)的结构上)，所述保持部设置在上述支承部上方，并因此位于支承部上方的半球中。此外，这样的结构可设置在支承部下方，以使得上述类型光源也可以从下方(即从支承部下方的半球)照射所述结构，从而允许对所述结构的透射率(例如透明度)或半透明度进行测量。

定义

在本发明的框架内，计算机程序单元可通过硬件和/或软件(这包括固件、驻留软件、微代码等)来实施。在本发明的框架内，计算机程序单元可采取通过计算机可用、例如计算机可读的数据存储介质来实施的计算机程序产品的形式，该计算机可读的数据存储介质包括计算机可用、例如是计算机可读的程序指令、“代码”或“计算机程序”，这些指令、代码或程序实现在该数据存储介质中用于在指令执行系统上使用或与指令执行系统结合。这种系统可以是计算机；计算机可以是包括用于执行根据本发明的计算机程序单元和/或程序的装置的数据处理设备，例如包括执行计算机程序单元的数字电子处理器(中央处理单元或CPU)以及可选地包括用于存储执行计算机程序单元所使用的和/或产生的数据的易失性存储器(例如，随机存取存储器或RAM)的数据处理设备。在本发明的框架内，计算机可用、例如计算机可读的数据存储介质可以是任何数据存储介质，其可以包含、存储、传送、传播或传输那些指令执行系统、装置或设备上使用或与之结合使用的程序。计算机可用、例如计算机可读的数据存储介质例如可以是，但不限于电子、磁、光、电磁、红外或半导体系统、仪器或设备，或者是诸如互联网的传播介质。计算机可用或计算机可读的数据存储介质甚至可以是例如可打印所述程序的纸或其他合适介质，因为程序可以通过电的方式而获取，例如通过光学扫描该纸或其他合适介质，然后再编译、解码或以适当方式另行处理。数据存储介质例如是非易失数据存储介质。本文所述的计算机程序产品以及任何软件和/或硬件形成用于执行本发明的示例性实施例中的功能的各种装置。计算机和/或数据处理设备例如包括具有可输出引导信息的装置的引导信息设备。引导信息可例如通过视觉指示装置(如监视器和/或灯)可视地输出给用户，和/或通过听觉指示装置(如扬声器和/或数字语音输出装置)可听地输出给用户，和/或通过触觉指示装置(如振动元件或振动元件)可触摸地输出给用户。

根据本发明的方法例如是一种数据处理方法。所述数据处理方法例如使用诸如计算机的技术手段来执行。所述数据处理方法例如由计算机执行或在计算机上执行。为了处理数据，例如是为了以电的方式和/或光的方式处理数据，该计算机例如还包括处理器和存储器。所描述的计算步骤例如通过计算机来执行。确定步骤或计算步骤以及获取步骤例如是在该技术性的数据处理方法框架内(例如，在程序框架内)对数据进行确定的步骤。计算机可例如是任何种类的数据处理装置，例如电子数据处理装置。计算机可以是那些通常被认为是例如台式个人计算机PC、笔记本、上网本等的装置，但计算机也可以是任何可编程装置，例如移动电话或嵌入式处理器。计算机可例如包括“子计算机”系统(网络)，其中每个子计算机代表其本身的计算机。计算机例如包括接口，以接收或输出数据和/或执行模数转换。该数据例如是可表示物理特性的数据和/或可从技术信号生成的数据。计算机例如可操作地连接到根据第九方面所述的装置，尤其是为了能够从检测系统接收能表示第一类型光、第二类型光、第三类型光的反射以及光的类型是数字信号(第一、第二、第三和第四图像数据)，以及能够根据第一方面至第六方面所述的方法至少基于所接收的图像数据来进行进一步的数据处理。数字信号例如通过对检测系统在检测到反射时所生成的电信号进行模数转换(通过已知手段)来生成。

表述“获取数据”例如(在数据处理方法的框架内)包含数据是由数据处理方法或程序确定的情况。确定数据例如包括：测量物理量，以及将所测量的值转换成例如数字数据和/或通过计算机来计算该数据，例如在本发明的方法范围内计算该数据。“获取数据”的含义还例如包含这样的情况，即通过数据处理方法或程序从例如另一程序、前一方法步骤或数据存储介质中接收或检索数据，进而例如用于通过数据处理方法或程序进行进一步处理。因此，“获取数据”还可例如表示等待接收数据和/或正在接收数据。所接收的数据可例如经由接口来输入。“获取数据”还可指代数据处理方法或程序为了从数据源(主动)或经由接口(例如，从另一计算机或网络)接收或检索数据所执行的步骤，所述数据源例如为数据存储介质(例如，ROM、RAM、数据库、硬盘等)。数据可通过在获取步骤之前执行附加步骤的方式来实现“就绪”状态。根据附加步骤来生成数据，以用于获取。例如，对数据(例如，通过分析装置)进行探测或捕获。数据也可以通过执行将数据存储于数据存储介质(例如，ROM、RAM、CD和/或硬盘驱动器)的附加步骤的方式来提供，从而使数据在根据本发明的方法或程序的框架内就绪。因此，“获取数据”还可涉及操控设备以获得和/或提供待获取的数据。

附图说明

下面，参考附图对根据本发明的各方面及其实施例进行说明，本发明不被以下所描述的并示出于附图中的特征所限制，其中：

图1显示了根据第九方面的第二实施例的装置的第一视图；

图2显示了根据第九方面的第二实施例的装置的第二视图；

图3显示了根据第九反面的第三实施例的装置的视图；

图4显示了该根据第九方面的第三实施例的第一个示例的装置的视图；

图5显示了根据第九方面的第三实施例的第二个示例的装置的视图；

图6显示了根据第一方面的第一实施例的方法的流程图；和

图7显示了根据第一方面的第二实施例的方法的流程图。

具体实施方式

如图1所示，根据第九方面的第二实施例的装置包括以白光LED1a实现的多个第一光源、以装有可变色滤光片2(即，可针对发出的颜色进行调节的彩色滤光片2)的白光LED1b实现的多个第二光源和以线光源3实现的第三光源。投影仪9被提供作为用结构光来照射结构7的第四光源。线光源是连接在至少一个臂部4(在本示例中为双臂部4)上的白色LED的线型阵列(一条线)。由传统电机(例如，步进电机)来驱动至少一个臂部4，以便在扁平结构7的位置上方移动，从而以表示类似连续运动的离散步长来照射反射面(结构7的上表面面对第一、第二、第三和第四光源)。由此，可以用第三类型的光来连续地照射反射面。检测系统包括被配置为产生单色(灰度)图像信息的三个数码相机5，这允许通过分析图像对比度来检测亮度值。结构7设置在以转盘6实现的支承结构上，该转盘可由包含在底座部分8中的步进电机驱动来转动。

如图2所示，LED1a,1b、彩色滤光片2、相机5和投影仪9设置在实现为穹顶状的圆顶10(即，半球壳)的保持部上。圆顶10具有开口以便光源能将光照射到结构7和相机5上，进而检测来自结构7的反射信号。圆顶10设置在结构7上方，用于对结构7进行反射测量。

如图3所示，根据第九方面的第三实施例的装置不仅仅包括在图1和图2行文中描述的那些特征。除此之外，该装置还包括由结构7下方的圆顶11实现的第二保持部。转盘6由固定在转盘6的支承部上的至少一个电机(例如，步进电机)12(在本示例中为三个步进电机12来驱动)。

在图4所示的第九方面的第三实施例的第一个示例中，第二圆顶11设有点光源1c，其可以是被配置为从下方以点式光来照射结构7的白光LED或彩色(光谱)LED或两者的混合。此外，第三光源3设置为可在结构7下方移动。第二圆顶11还可配备第一圆顶10所设有的其他特征(例如，设有颜色滤光片2(其例如取代了彩色LED1c)的白光LED1b、投影仪9及可能添加的相机5)。相机5设置在第一圆顶10中，并且当从LED1c的位置观察结构7时位于结构7的另一侧位置上。第三光源3可以提供两次，一次在结构7上方的上半球中，而一次则位于结构7下方的下半球中。然而，依然落入本发明的框架内的是，第三光源仅提供一次，并且设置为使得它可通过下半球和上半球而自由移动(转动)。在这种情况下，必须相应地设置例如通过至少一个驱动部来控制的支承部(转盘6)，其中该驱动部位于第三光源3的旋转轴线上并至少部分地通过至少一个臂部4来引导，以便能够连接并驱动转盘6。当从LED1c的位置观察结构7时位于结构7的另一侧位置上的相机5再次允许对结构7进行透明度和/或半透明度测量。

图5示出了第九方面的第三实施例中的第二个示例。取代了第二圆顶结构11，平面第三光源1d设置在下半球中，并在从相机5的位置观察结构7时处于结构7的另一侧上，从而也允许对结构7进行半透明度和透明度测量。平面光源1d实现为标准的LCD显示器，其如果经由适当控制就既能够提供第一光源和第二光源的功能，又能够提供下半球中的第三光源。这避免了提供作为LED阵列或荧光管的线光源3以及相关的驱动和保持机构。线光源3可由显示器通过在预定像素位置显示直线形明亮图像来提供。当从下方照射结构7时像素位置可以改变，从而模拟线光源3在下方沿着结构7的位置的移动。与图1至图4的布置相比，使用例如显示器的显示设备来取代其他用于线光源3的备选项的做法提供了更大的灵活性，并允许装置构造的简化。代替显示器，可控彩色发光二极管的大型二维(平面)阵列(其能够发射白光和光谱光)可作为平面的第三光源1d。

图6的流程图示出了根据第一方面的第一实施例的方法。步骤101包括获取描述了至少一个点式光单色图像的第一图像数据，步骤102包括获取描述了至少一个点式光光谱图像的第二图像数据，步骤103包括获取描述了至少一个线型光单色图像的第三图像数据，以及步骤104包括获取描述了至少一个结构光式图像的第四图像数据。

在对原图像采用高动态范围(HDR)组合及辐射性校正之后，接收由某种材料制成的结构7的反射面的一组经校准图像。它们可以在根据第九方面的装置中划分为不同的照明条件。一方面，存在使用点光源1a,1b,1c,1d、线光源3,1d在不同位置捕捉的材料的单色图像，或者存在由投影仪9发出的图案所照亮的材料的单色图像。另一方面，存在几个使用彩色滤光片(滤光轮系统)2产生的彩色图像或光谱图像。此外，在另一示例中，可获取该装置的几何校准数据，其包含针对每张图像来设置部件的详细信息。在步骤110中获取几何校准数据。

在步骤107中，根据在步骤104中获取的结构光式图像来重构材料的高度场。首先，利用现有技术的标准方法生成点式云，Salvi,J.等人于“PatternRecognition43”no.8(2010)第2666-2680页做出的概述：“表面轮廓的最新式结构光图案”，采用了用图案图像和相机的几何校准。然后，生成针对材料基准平面上的每一像素的高度值，这形成了在步骤106中被作为表面几何数据获取的高度场。针对这一点，将点式云的所有的点p垂直地投影到基准平面，并测量它们到平面的距离(其高度)。这产生一组投影坐标p’和相应的高度h。针对基准平面上的每个像素(x,y)，收集一组点附近的k值P＝{p’_i}，利用对相应高度h_i的滤波来生成针对(x,y)的高度值：

$h_{x,y}=\frac{1}{{\mathrm{\Σ}}_{p_i^{\′}\∈P}F\left(\right||p_i^{\′}-(x,y)\left|{|}_2\right)}{\mathrm{\Σ}}_{p_i^{\′}\∈P}F\left(\right||p_i^{\′}-(x,y)\left|{|}_2\right)h_i---\left(1\right)$

其中，F是滤波器内核。例如，高斯正态分布函数，而‖-‖₂是欧氏距离。

在高度场重构之后，在步骤105中将所有其他图像投影于高度场，以便在公共坐标系统中将所有图像对齐，这意味着所有投影后图像的相同像素会对应于材料表面上的相同位置。由此，确定出反射面映射数据(特别是，根据第一方面的方法的行文中所述的映射)。

然后，将投影的图像提供用于SVBRDF拟合，SVBRDF拟合包含在步骤109中，在该步骤中，将针对材料基准平面上的每个像素(x,y)来查找一组用于给定BRDF模型的参数。在步骤112中，确定这些参数的映射，然后将其存储在例如数字(电子)文件中，并且可将这些参数的映射馈送给图像生成过程：即，步骤113中所涉及的实时渲染、步骤114所涉及的离线渲染或者根据第六方面的方法中所采用的其他处理(在步骤115中针对材料的光学属性的质量控制进行比较性测量)。当确定反射率分布数据时，步骤109的处理能够消除该装置的固定照明几何形状以及结构7(特别是反射面)的特定几何形状的影响。

针对实时渲染，对材料内的自阴影的描绘也可以通过在步骤108中查找阴影模型的每像素参数来从投影图像中提取，其中实时阴影模型在步骤111中存储在数字文件中第二映射图中。

SVBRDF拟合

步骤109中的SVBRDF拟合过程大致可分为两个阶段。在第一阶段，准备数据，在第二阶段中，通过拟合过程找到每像素的BRDF模型参数。BRDF拟合过程不同于先前公布的拟合过程，因为它将BRDF4D“形状”的拟合与模型的“颜色”分量拟合加以区分，以应对稀疏的颜色信息。

第一阶段开始于从可获取的颜色样本中计算单色信息。这需要有关捕捉系统(检测系统)的光谱响应的知识。在光谱样本的情况下，这涉及到计算所有图像光谱与单色成像部分的光谱系统响应的卷积。在三色彩色图像的情况下，基于对应于三色彩色空间的光谱响应、单色成像部分的光谱系统响应以及一些练习数据来计算1×3矩阵。然后，通过将矩阵左乘于彩色图像的所有彩色矢量(像素)来计算单色图像。

第二步，选择一组像素用于BRDF参数的对接拟合。在最简单的情况下，这每次能够仅由单个像素构成。然而，也可以使用聚类技术依据像素的外观对像素进行分组。这有助于稳定拟合，从这以后拟合阶段可获取更多数据。

在进一步(最后)步骤中，准备阶段包括提取与所选择的像素相对应的数据值。针对这一点，各像素的像素值均提取自图像，并且几何校准和高度场则用于计算光源和传感器相对于单个像素的位置。

然后，将这个数据馈送给进行实际BRDF拟合(双向反射率分布函数参数的拟合)的第二阶段。这包括单色BRDF的拟合，随后，接着是对该单色BRDF“着色”。这个过程的结果是：每像素一组参数(其包括表面法向量)、模型的镜面参数以及BRDF模型的色彩值。

单色BRDF拟合

单色BRDF模型的拟合可以看作为能量最小化问题，其中试图以如下这种方式来找到一组用于BRDF模型的参数：即，采用BRDF模型对测量材料的仿真可以将测得值与采用一定距离测量所导致的最小误差相匹配。然而，当试图以简明的方式解决这个问题时，遇到的难题是：所得到的能量函数可能具有很多个局部极小值，此处很容易使所有实际适用的算法不能进行下去。为此，需要对BRDF模型参数进行良好的初始化，从而尽量接近最优结果地开始优化。此外，在一个时刻强制性地将优化器限制在参数空间中的某些下降方向上。

公开方法中包括的方案开始于对表面法线和漫反射率(针对单色BRDF的弥漫“颜色”)的封闭形式的初始化。对于极为消光的材料而言，这使用著名的光度立体技术来完成，该技术公布在由Woodham，RoberJ于第22届SPIE(国际光学工程学会)会议记录0155《图像理解系统和工业应用I》136(1979年1月9日)第136-143页发表的“光度立体：一种根据图像强度来确定表面取向是反射映射技术”。就更多的镜面材料而言，则针对样本的所有旋转角度来搜索由线光源照明所产生的最大测量值。假设存在完美的镜面材料，则法线向量可根据反射定律来计算。用户可选择合适的算法。通过将镜面颜色设置为零并将镜面参数设置为一些平均值(取决于所使用的模型)，来获得每像素参数的完整初始化。

在此初始化之后，将参数和数据馈送到仅由漫反射参数和镜面参数构成的主优化循环中，随后仅是法向量的优化。此后，进行收敛检查。如果在最后步骤中获得的误差减小到低于给定的(例如，预定的或用户指定的)阈值，则终止该算法。否则，循环再次启动。

拟合步骤

尽管对每像素参数的参数子集的优化加以约束，但镜面参数和漫反射参数的优化以及法向量的优化仍以相同方式进行。采用优化循环，其中第一步骤是从给定的一组每像素参数中合成测量值。这本质上是测量装置对于虚拟材料的仿真。从技术上讲，这通过解析每个像素的渲染方程和每个所考虑的照明条件来完成。渲染方程例如披露在Kajiya，JamesT.于美国计算机学会1986年《ACMSIGGRAPH(美国计算机学会计算机图形图像特别兴趣小组)计算机图形学》第20卷No.4第143-150页发表的“渲染方程”。为此，根据校准来构建虚拟场景，并且传感器方向上的出射辐射计算如下：

$L_o(x,{\mathrm{\ω}}_o)=L_e(x,{\mathrm{\ω}}_o)+{\∫}_{{\mathrm{\ω}}_i\∈\mathrm{\Ω}}\mathrm{\ρ}(p_x,{\mathrm{\ω}}_o,{\mathrm{\ω}}_i)L_i(x,{\mathrm{\ω}}_i)(n_x\·{\mathrm{\ω}}_i){\mathrm{d\ω}}_i---\left(2\right)$

其中，x是表面上的位置，ω_o是出射方向，L_e是由表面发出的辐射，Ω是点x上方的局部半球，ω_i是入射光的方向，n_x是x处的局部表面法线，ρ是选定的BRDF模型，而ρ_x是一组像素参数。方程(2)是递归的，这是因为以方向ω_i所能看到的场景中的点x’处的入射辐射L_i(x,ω_i)等于出射辐射L_o(x’,-ω_i)。

为了简化合成过程，该方法仅考虑递归的第一层阶，即仅假设是直接照明。虚拟材料被假定为场景中的唯一反射面，并且光源是唯一的发光面。当光源还被发散为一组n个点光源时，渲染方程将减少到：

$L_o(x,{\mathrm{\ω}}_0)={\mathrm{\Σ}}_{j=1}^n\mathrm{\ρ}(p_x,{\mathrm{\ω}}_0,{\mathrm{\ω}}_{ij})L_{ij}(x,{\mathrm{\ω}}_{ij})(n_x\·{\mathrm{\ω}}_{ij})---\left(3\right)$

其中，L_ij是第j个点光源发射的辐射，而ω_ij是朝它的方向。

计算辐射值之后，将计算的辐射值与测得的辐射值进行比较，并计算误差值。误差函数可例如是相对误差或L1误差。

此后，针对收敛对优化进行检查。如果在上一个迭代与当前迭代之间的误差值的减少低于阈值，或者如果达到了给定的迭代总次数，那么终止该算法。否则，根据一组旧的参数来计算一组新的参数，以减少误差函数。这使用例如梯度下降的标准方法来完成，并且可能需要额外的正向合成评估和误差评估，以便在数值上计算误差函数的梯度。在参数改进之后，开始下一次迭代。

彩色拟合

根据本发明方法的整个算法的最后部分是确定单色BRDF的颜色。第一步骤是计算来自单色镜面部分的镜面颜色。针对介电材料，这通过将单色值复制到所有颜色通道内来完成，这是因为这些材料具有白色高光。针对金属或其他导体，可以采用不同的策略，例如结合有关材料类别的现有知识。

此后，将镜面部分从所有测得值中删除，以便以仅包含漫反射颜色信息的颜色值来收尾。为此，仅结合BRDF模型的镜面部分来计算例如上一步骤中的前向合成。然后，从测得的颜色值中减去由此产生的经合成的镜面颜色。

在进一步(最后)步骤中，将这些颜色值输入给漫反射颜色拟合。这作为针对每个颜色通道的线性最小平方问题来计算。在最简单的情况下，误差函数可制定为：

$E_i\left(d_i\right)={\mathrm{\Σ}}_{j=1}^N{w}_j\left|\right|d_i-m_{i,j}|{|}_2^2---\left(4\right)$

其中，N是彩色样本的数目，d_i是通道i的漫反射颜色值，m_i,j是测得的通道i的镜面自由漫反射值，而w_j是样本j的权重。该权重可基于多重考虑来计算，例如样本相对于镜面高亮的角距离，或测得颜色的饱和度。当对XYZ颜色空间(而不是光谱)中的颜色进行拟合时，公知的ΔE*的线性近似式可用于拟合感觉上较接近的颜色。此外，可以用RANSAC算法来去除孤立点。

阴影拟合

在类似步骤114中的光线追踪的离线渲染方法中，在步骤108中，通过重构高度场能够在材料内部产生正确的自阴影。然而，在步骤113所包含的实时渲染应用中，这种方法并不直接适用。当然，可以使用例如阴影映射这类技术，但由此产生的阴影相当粗糙和不自然。

为了产生实时自阴影，本发明方法针对材料表面上的每一个位置制定第二函数，其描述了衰减与入射光方向的关系。自阴影通过将投影光点输入图像的各自像素的值与使用相同像素的最终BRDF参数通过前向合成而产生的合成值的比较来进行推导。每光照方向的两个值的均值比或均值差可用来表达自阴影效应。

为了对依赖于光照方向的阴影值进行建模，可以使用光滑半球函数，例如Sloan，Peter-Pike等人在美国计算机学会2002年《ACM交易图形学(TOG)》第21卷No.34第527-536页发表的“动态低频照明环境下用于实时渲染的预计算辐射传输”中披露的球面谐波函数，或者Malzbender，Tom等人在美国计算机学会2001年第28届计算机图形和交互技术年会上于第519-528页发表的多项式纹理映射。然而，由于本发明方法通过点光源获得非常规则的半球采样，并且由于本发明者发现当推算掠射角时上述方法会显示出人工痕迹，因此使得本发明方法采用了不同的策略：在步骤111中每个像素存储小的二维表格，其包括例如4×4个将光照半球的二维投影参数化的条目。此表格的条目通过在角空间中对样本过滤来进行计算。在重构时刻，进行二维线性插值法。这种方法针对掠射照明角度(大入射角度)具有恒定的外推法，并且尽管与现有技术相比每像素仅消耗略微多一点的内存，但在采样点之间具有堪比现有技术方法的插值。对于细节级别的渲染，可以预先计算在空间上降低采样版本的表格。

图7显示了根据第一方面的方法的第二实施例，其按照第六方面进行使用。在步骤206中，不使用高度场，而是需要将法线场作为几何形状数据，并且在步骤205中通过将由第一图像数据、第二图像数据以及第三图像数据所绘制的图像投影到法线场上来确定反射面映射数据。图7所示的剩余步骤，具有与图6所示的剩余步骤相同的称谓，包含与上文参照图6示出并描述的对应步骤相同的数据处理功能。

Claims (15)

1.一种数字数据处理方法，其用于确定能表示由结构(7)的反射面的图像数据所描绘的光学信号向所述反射面的三维表面几何形状上映射的数据，所述方法包括以下被制定为由计算机执行的步骤：

a)获取(101)第一图像数据，所述第一图像数据描述了来自所述反射面的第一类型光的反射图像；

b)获取(102)第二图像数据，所述第二图像数据描述了来自所述反射面的第二类型光的反射图像；

c)获取(103)第三图像数据，所述第三图像数据描述了来自所述反射面的第三类型光的反射图像；

d)其中，所述第一类型光、第二类型光和第三类型光构成三种不同的光类型；

e)获取(106,206)表面几何数据，所述表面几何数据描述了所述反射面的三维表面的几何形状；和

f)基于所述第一图像数据、第二图像数据、第三图像数据和表面几何数据，确定(105,205)反射面映射数据，所述反射面映射数据描述了由所述第一图像数据、第二图像数据和第三图像数据所描绘的反射与所述反射面的三维表面几何形状之间的映射。

2.根据权利要求1所述的方法，其中，所述第一类型光是宽带点式源，所述第二类型光是光谱点光式源，并且所述第三类型光是宽带线型光。

3.根据权利要求1或2所述的方法，其中，所述表面几何数据描述了所述反射面的高度场。

4.根据权利要求3所述的方法，包括：

获取(104)第四图像数据，所述第四图像数据描述了来自所述反射面的第四类型光的反射，其中所述第四类型光是不同于所述第一类型光、第二类型光和第三类型光的光类型，其中所述第四类型光例如是结构光，

其中，基于所述第四图像数据来获取(106,206)所述表面几何数据。

5.根据权利要求1所述方法，其中，所述表面几何数据描述了所述反射面的高度场和法线场中的至少一项。

6.根据权利要求5所述的方法，其中，所述表面几何数据描述了所述反射面的法线场，并且所述表面几何数据基于所述第一图像数据、第二图像数据和第三图像数据中的至少一项来获取(106,206)。

7.一种用于确定描述了结构(7)的反射面的空间变化式双向反射率分布的数据的方法，所述方法包括以下指定为由计算机执行的步骤：

执行根据前述权利要求中任一项所述的方法；

获取描述了双向反射率分布函数模型的反射率函数数据；和

基于所述反射面映射数据和反射率函数数据，确定描述了所述反射面的空间变化式双向反射率分布的反射率分布数据。

8.一种离线渲染结构(7)的反射面的数字图像表示的方法，所述方法包括以下指定为由计算机执行的步骤：

执行根据权利要求7所述的方法；

基于所述反射率分布数据，以及所述第一图象数据、第二图像数据和第三图像数据中的至少一项，确定描述了所述反射面的图像的表面表示数据；和

在显示设备上离线渲染(114)所述表面表示数据的信息内容。

9.一种用于确定描述了结构(7)的反射面的阴影外观的数据的方法，所述方法包括以下制定为由计算机执行的步骤：

执行根据权利要求7所述的方法；和

基于所述反射面映射数据，以及所述第一图像数据、第二图像数据和第三图像数据中的至少一项，确定(108)用于描述模型的阴影外观数据以及用于定义所述反射面的阴影外观的参数。

10.一种实时渲染一结构的反射面数字图像表示的方法，所述方法包括以下制定为由计算机执行的步骤：

执行根据权利要求7至9中任一项所述的方法；

基于所述反射率分布数据，确定用于描述所述反射面的图像的表面表示数据；以及

在显示设备上实时渲染(113)所述表面表示数据的信息内容。

11.一种计算机程序，当其计算机上运行时或加载到计算机上时能促使计算机执行根据上述权利要求任一项所述的方法。

12.一种用于存储根据权利要求11所述的计算机程序的非暂时性计算机可读存储介质。

13.一种用于获取能表示从一结构(7)的反射面接收到的光学信号的数据的装置，其包括：

a)至少一个第一光源(1a)，其配置为将第一类型光发射到所述反射面上；

b)至少一个第二光源(1b,2)，其配置为将第二类型光发射到所述反射面上；

c)至少一个第三光源(3)，其配置为将第三类型光发射到所述反射面上，或者其中，所述结构能透射所述第三类型光，并且所述第三光源(1d,3)配置为将第四类型光发射穿过所述结构(7)；

d)其中，所述第一类型光、第二类型光和第三类型光构成三种不同的光类型；

e)用于支承所述结构(7)的支承部(6)；

f)检测系统(5)，其配置为

检测来自所述反射面的第一类型光的第一反射信号，并将所述第一反射信号转换为能描述所述结构(7)的反射面图像的第一图像数据；

检测来自所述反射面的第二类型光的第二反射信号，并将所述第二反射信号转换为能描述所述结构(7)的反射面图像的第二图像数据；以及

检测来自所述反射面的第三类型光的第三反射信号或透射信号，并将所述第三反射信号转换为能描述所述结构(7)的反射面图像的第三图像数据，或将所述透射信号转换为能描述所述结构(7)的图像的第三图像数据；

g)可操作地连接于检测系统(5)的计算机，其配置为运行根据权利要求12所述的计算机程序，和/或包括根据权利要求13所述的存储介质。

14.根据权利要求13所述的装置，其包括：

至少一个第四光源(9)，其配置为将第四类型光发射到所述反射面上；

其中，所述检测系统(5)配置成检测来自所述结构(7)的所述第四类型光的第四反射信号或透射信号，并将所述第四反射信号或透射信号转换为能描述所述结构(7)的高度场的表面几何数据；

其中，所述至少一个第一光源(1a)是宽带点光源，所述至少一个第二光源(1b,2)是光谱点光源，所述第三光源(1d,3)是宽带线光源，所述第四光源(9)是结构光光源。

15.根据权利要求13或14所述的装置，其中，所述检测系统(5)和所述第一光源(1a)、所述第二光源(1b,2)、所述第三光源(1d,3)和所述第四光源(9)-只要所述装置包括了权利要求14所述的其他特征-设置在所述支持部(6)上方的半球中，并且被配置成用于发射所述第一类型光、所述第二类型光、所述第三类型光和所述第四类型光-只要所述装置包括了权利要求14所述的其他特征-中的至少一项的至少一个其他光源设置在所述支承部(6)下方的半球中。