CN103003663B - 使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像 - Google Patents

Abstract

描述了一种针对通常金属表面、以及尤其是弹道证据的镜面反射性质的方法和三维图像获取系统，通过确定和求解包括散射项和镜面反射项的多组非线性方程式来确定表面法向向量场N(x,y)，并且利用N(x,y)来确定三维表面形态Z(x,y)，从而使用光度立体视觉。

Description

使用非线性光度立体视觉方法获取工具印痕的三维表面形态图像

技术领域

本发明涉及使用非线性光度立体视觉（photometricstereo）方法获取的高度镜面反射物体的表面形态图像的领域。

背景技术

弹道比较测试依赖于形成在弹道证据（ballisticpieceofevidence（BPOE））（诸如子弹或弹壳）的表面上的条痕（striation）和印记（impression）。这些条痕具有代表枪械的独特标志的独特特征。通过比较两个BPOE的条痕或印记特征，有可能推断出它们是否从相同的枪械中发射。

当获取物体上某一区域的三维表面形态图像（即，立体映射（map）Z(x,y)）时，其中Z是在位置(x,y)处的表面的局部高度，使用包括传感器（或照相机）和光源的光学系统。照亮研究中的物体并且获取被照亮表面的表面形态图像。

在弹道学领域，研究中的物体常常是非平面的并且很可能是镜面反射的。这意味着从相对于局部表面法线N的角度θ入射的大部分光将被反射在指向-θ方向的小圆锥中。因此，如果将光源沿着传感器的光轴放置，因为对于用于表面形态捕捉的许多光学方法事实是这样，仅入射光中的极微小的部分被反射回传感器中用于显示重要斜面的表面形态的部分，导致局部无效的测量。

存在一种测量物体的表面形态的完全不同的方法。根据该方法，称为光度立体视觉，获取表面的一组发光度（或高能亮度）图像，其中该组中每个图像具有不同的照明条件。如果假设表面的反射率恒定且光源的照明强度相同，并且如果表面是纯散射性的（或朗伯型的（Lambertian）），则三个光源足以恢复表面法线场N(x,y)。表面的表面形态Z(x,y)通过法线场的积分获得。

但是，表面的发光度图像受到噪声影响，并且由于颜色和/或反照率的局部变化，表面反射率可能不是恒定的。通常的解决方案是使用更多数量的光源，以便过定义（overdefine）线性方程系统。然后通过误差最小化过程（诸如卡方（chisquare）误差最小化方案）获得表面法线场N(x,y)。如果光源的数量足够大，人们甚至可以不测量光源的强度，或者甚至光源位置，并且通过拟合过程、主成分分析或者对于本领域技术人员已知的其它方法获得这个信息。

很少表面是真正散射性的，并且如果表面是平滑的或者有光泽的，则应用上述过程导致在表面形态的精确度方面获得非常差的结果。但是，当观察方向远离对于特定光源的镜面反射方向时，在一定程度上可能仍然保持表面上的光反射的朗伯（Lambert）模型。再次，当面对这种有光泽的或者平滑的材料时，通常的解决方案是通过使用不止三个光源来过定义问题，并且对于所形成图像组的每个像素确定是否任何光源都产生朝向由非朗伯型贡献支配的照相机的反射。如果发现这种条件，则在所考虑的像素的表面法线N的计算中忽略这个光源的贡献。

但是，当考虑弹道证据（BPOE）时，这些方法都不适用，因为表面是金属的，这导致光反射的散射贡献，若有的话，那是比镜面反射贡献更小的量级。因此，存在改进通常用于金属表面的捕获以及特别用于BPOE的光度立体视觉的需要。

发明内容

这里描述了一种用于应对通常金属表面、特别是弹道证据的镜面反射性质的方法和三维图像获取系统，通过确定和求解包括散射项和镜面反射项的多组非线性方程式来确定表面法向向量场N(x,y)，并且利用N(x,y)来确定三维表面形态Z(x,y)，从而使用光度立体视觉。

根据第一宽泛方面，提供了一种用于确定物体的镜面表面的三维表面形态Z(x,y)的方法，该方法包括：从多个局部轴线方向相继地照射物体的表面；使用具有与物体表面的总平面大体上垂直的传感轴线的传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场（FOV）的一组发光度图像；利用发光度图像来提供并求解包括散射项（diffusiveterm）和镜面反射项（specularterm）的多组非线性方程式，从而确定表面法向向量场N(x,y)；以及利用表面法向向量场N(x,y)来确定三维表面形态Z(x,y)。

根据第二宽泛方面，提供了一种用于确定物体的镜面表面的三维表面形态Z(x,y)的系统，该系统包括：用于获取二维发光度图像的传感器，该传感器具有大体上垂直于物体的总平面的传感轴线；设置在多个局部轴线方向处的一组K个有效光源；以及计算机可读介质，程序代码存储在计算机可读介质上并且可由处理器执行，用于：使K个有效光源从多个局部轴线方向相继地照射物体的表面；使传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场（FOV）的一组发光度图像；利用发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，从而确定表面法向向量场N(x,y)；以及利用表面法向向量场N(x,y)来确定三维表面形态Z(x,y)。

根据另一个宽泛的方面，提供了一种计算机可读介质，该计算机可读介质上已经被编码：光控制模块的程序代码，该光控制模块的程序代码可由一处理器执行，以使K个有效光源从多个局部轴线方向相继地照射物体的表面；传感器控制模块的程序代码，该传感器控制模块的程序代码可由一处理器执行，以使传感器在物体表面的每个相继的照射处获取物体表面的至少一个图像，从而产生具有相同视场（FOV）的一组发光度图像；以及表面形态生成模块的程序代码，该表面形态生成模块的程序代码可由一处理器执行，以利用发光度图像来提供和求解包括散射项和镜面反射项的多组非线性方程式，从而确定表面法向向量场N(x,y)，并且利用表面法向向量场N(x,y)来确定三维表面形态Z(x,y)。

在本说明书中，词语“三维表面形态”用来指起伏表面Z(x,y)，其中Z是在垂直于传感轴线的平面中在相对于传感轴线的位置(x,y)处的表面的局部高度。术语“二维发光度图像”应该理解为由光学照相机捕获的发光度（或者高能亮度）的映射R(x,y)。它与在照相机的方向上由表面发出的光强度的映射成正比。以常用的语言，这被称为摄影图像。贯穿本文，可以理解发光度图像是单通道的或者是单色的。因此，不会记录颜色信息并且图像的位深度（bitdepth）指单通道的位深度。或者通过组合来自于不同颜色通道的信息或者通过仅仅考虑一个这种通道，也可以使用从彩色照相机获得的单色图像。还可以理解，照相机具有线性辐射响应，或者相反，照相机的辐射响应是已知的，使得捕获的图像可被线性化。术语“有效光源”应该理解为包括物理光源的总数以及当应用物理光源和/或观察中的物体的连续旋转时所使用的光源的有效总数两者。

附图说明

本发明的进一步的特征和优点通过下文中的结合附图的详细描述将变得显而易见，附图中：

图1示出了用于利用非线性光度立体视觉方法获取三维表面形态的系统的示例性实施例；

图2是示出用于获取三维表面形态的非线性光度立体视觉方法的示例性实施例的流程图；

图3是示出用于获取具有多个灰度级的图像的方法的示例性实施例的流程图；

图4是示出用于计算有效蔽光框（mask）的方法的示例性实施例的流程图；

图5是示出用于计算组合图像和组合有效蔽光框的方法的示例性实施例的流程图；

图6是示出在非线性光度立体视觉方法中用于计算的各种向量的示意图；

图7是示出多步反射的示意图；

图8是用于图1的计算机系统的示例性实施例的框图；以及

图9是示出用于多标高水平的一组光源的示例性实施例的示意图。

应注意到在所有附图中，相同的特征用相同的标号识别。

具体实施方式

显示出工具印痕特征的一些物体不是平的。例如，用过的弹壳在底火（primer）的中心部分（对于中心发火的弹径）或者在弹壳头部的外部区域（对于边缘发火的弹径）中表现出大且深的凹陷。这个凹陷通常具有比对于弹道识别有用的条痕或者印记的通常深度更深的量级。许多中心发火弹径的用过的弹壳还表现出在普通的底火平面上方伸展的区域。这些区域被称为回流并且在它们的外部边界上常常表现出剪切标记的枪械特征条痕。而且，由于子弹是大体上圆柱形的物体，它们的表面法线的局部值在垂直于圆柱轴线的方向上连续变化。

即使将图像传感器放置在研究中的物体的上方，它的光轴（或者传感轴线）大体上垂直于物体的总平面，并且具有同轴的光源，也可能发生相关的弹道印痕落在远非垂直于光轴的局部表面区域上。如果研究中的物体的材料是高度镜面反射的（也就是说，其如同镜子反射大部分的进入光，具有相等的入射角和反射角），如同通常对于金属以及特别地对于弹道证据（BPOE）那样，照耀这些局部陡峭的区域的非常少的入射光将被反射回传感器，导致无效的表面形态测量。

图1示出用于利用非线性光度立体视觉方法获取三维表面形态的系统的示例性实施例。该系统通常包括传感器102和一组K个局部光源106。如所示，图像捕获装置102和发光装置106是分离的，但其中一个光源的轴线可以与传感轴线共线。在这个结构中，图像捕获装置102放置在研究中的物体108的上方，其光轴（或者传感轴线）104大体上垂直于物体108的总平面。在本实例中，使用具有对应于传感器102的光轴104的Z轴的坐标系统。X和Y轴是定义了垂直于Z轴的平面的一对相互正交的轴。物体表面上的位置和捕获图像上的位置同样地表示为(x,y)并且应该不区分地描述物理点和在图像上的映射点。在不影响这个方法的普遍性的情况下，可以使用其它的坐标系统。

物体被从多个局部轴线方向106照亮。而且，那些局部光源106一次照亮一个，并且对于该组中的每个光源106，至少一个发光度图像被光学传感器102捕获。具有处理器114以及应用程序112和存储器116的计算机系统110操作性地连接到传感器102和光源106，用于控制和处理操作。应用程序112包括可由处理器114执行的程序代码，如在下文中更详细地描述的。

图2是示出用于确定物体的一区域的三维表面形态Z(x,y)的示例性的方法的流程图。该方法的第一步骤是利用参考平面的校准步骤202，这将在下文中更详细地解释。校准涉及确定光源的相对强度和它们在照相机的视场上方的各个强度图形。一旦完成校准，则参考平面被物体替代204。一组K个光源被相继地点亮206，其中对于该组中的每个光源，至少一个发光度图像被照相机捕获208。一旦获取了该组的所有图像，则通过求解来计算表面法线场N(x,y)，对于FOV的每个像素，过定义方程式组210：

I_i=A*散射项(N,L_i)+B*镜面反射项(N,L_i,C)；

其产生NPX（每行像素数）*NPY（每列像素数）组独立的非线性方程式，其中i从1到K，L_i是从表面指向第i个光源的单位向量，以及C是从表面指向照相机的单位向量。然后在视场上对表面法线场N(x,y)积分，以计算表面形态Z(x,y)212。系数A和B是未知的，并且将是方程的解的结果的一部分，N的三个分量也一样。在一个实施例中，步骤208被顺序地执行，以实现更高位深度的图像，如图3的流程图中所示。首先定义一组M个照相机积分时间（integrationtime）（或者照相机快门速度）302。这些积分时间应该足够不同，以产生明显不同的捕获图像。取决于由照相机捕获的图像的位深度和所得到图像的目标位深度，积分时间的数量M可以低至2以及高至10，但是更大的M也是可能的。照相机被顺序地设定到每个积分时间304，并且对于每个积分时间，捕获和存储一个图像306。对于每个捕获和存储的图像，计算和存储有效蔽光框308。如果像素的强度在照相机的线性捕获范围之外，则表明像素是无效的。一旦捕获了M个图像并且计算出M个蔽光框，则计算所得到的图像310，被称为组合或者合成或者高动态范围（（highdynamicrange）HDR）图像。

图4示出用于为每个通过给定的积分时间捕获的发光度图像计算有效蔽光框308的示例性方法。首先定义一对强度阈值402，一个阈值用于高像素强度TH，一个阈值用于低像素强度TL。对于每个图像伴随的有效蔽光框的像素有效值如下计算404：如果图像中对应的像素强度值大于TH或者小于TL，则将蔽光框的像素值设定为0，否则设定为1。用于TL的典型值通常非常低并且说明在照相机捕获的图像中的可能的最低值和/或照相机的预期的暗电流噪声水平。TL的值也可以稍高，以避免散粒噪声支配的信号。用于TH的典型值取决于由照相机捕获的图像中的单个通道的原始位深度。对于8位图像的情况，图像中的最大灰度级是255。使用TH值来保存像素强度和积分时间之间的线性条件。因此它被设定为小于255的值，以避免像素饱和，并且要足够高，以保持合理的动态范围。

图5示出了用于计算组合图像和它的伴随的组合图像有效蔽光框310的实施例。对于每个像素位置x,y，我们首先获得对于FOV中的每个像素(x,y)的一组M个适当的线性化像素强度I_i(x,y)502以及M个有效蔽光框值Mask_i(x,y)504。用以下方程式计算组合图像强度的临时值506：

$T(x,y)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{Mas}{k}_i(x,y)*I_i(x,y)*\frac{{\mathrm{ST}}_M}{{\mathrm{ST}}_i}$

其中，ST_i是该组的第i个积分时间，并且ST_M被假定为该组的最大积分时间。最后，如下计算组合的高位深度图像和它的伴随的有效蔽光框508：

如果

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{Mask}}_i(x,y)>0$

则

$C(x,y)=\frac{T(x,y)}{{\mathrm{\Σ}}_{i=1}^m{\mathrm{Mask}}_i(x,y)}$

并且

CMask(x,y)=1

否则

C(x,y)=0

并且

CMask(x,y)=0

其中，C(x,y)是组合图像，并且CMask(x,y)是它的伴随的有效蔽光框。从一组M个图像中组合HDR图像的其它方法对于本领域技术人员是已知的。

组合图像的这个定义依赖于被记录的强度与曝光时间的线性。通过改变光源强度和/或传感器的增益，可获得类似的结果。但是，线性条件更难以实现。如果适当地设定组合图像的构成参数（照相机积分时间的数量和它们的值），则组合图像的几乎每个像素都应该有效。

在替换的实施例中，具有高位深度能力的数字黑白照相机可用于发出高位深度图像，其将构成对这个过程的便利的替代，并且在一些情况下，通过降低为获得适当深度的图像所需的照相机积分时间的数量而使它更快速。

返回参考图2，一旦获得了该组的K个组合图像C_i(x,y)，可能与一组K个有效蔽光框CMask_i(x,y)一起，则可以解出导致表面法线场N(x,y)的计算的该组非线性方程式210。该组的各个方程式的通用公式如下：

I_i(x,y)=A(x,y)*散射项_i+B(x,y)*镜面反射项_i

系数A和B是未知的，并且将是方程的解的结果的一部分。I_i(x,y)是该组的组合图像，或者图像的记录强度，或者由下文描述的Calmap(x,y)值校正的组合或记录图像。散射项是在散射材料上的光反射的规则朗伯模型，并且仅仅取决于表面法线和进入光的方向之间的角度的余弦。它可以以点积的形式表示，其简化为：

散射项_i(x,y)=N·L=NxLx_i+NyLy_i+NzLz_i，

其中，N·L表示点积，并且Lx_i、Ly_i和Lz_i是第i个光源的正规笛卡尔坐标，其中笛卡尔系的原点在照相机FOV的中心。Nx、Ny和Nz是在位置(x,y)处的表面法线单位向量的笛卡尔分量。散射项的其它公式也是可能的。

方程式的非线性表现在镜面反射项，根据用于光反射的模型，该项可以以不同的方式书写。但是在所有情况下，该项取决于局部表面法线单位向量N和指向第i个光源的方向的单位向量L_i之间的角度。在完全镜面反射表面的情况下，比如镜子，从光源i发出的光只有在N和L_i之间的角度使得镜面反射方向S指向照相机（即镜面反射波瓣无限窄）时才到达照相机。对于具有等于或大于光波长的粗糙度参数的真实的有光泽的材料，镜面反射发生在波瓣内，该波瓣的宽度取决于局部表面特征。

在一个实施例中，非线性项可利用冯模型（Phongmodel）而模型化。冯镜面反射模型使用具有散射项的余弦函数的模拟并将镜面反射波瓣描述为S_i和C之间的角度的α次方的余弦。α越大，镜面反射波瓣越窄。向量C指向照相机，并且因此在当前的坐标系中等于[0,0,1]，而向量S以N和L的形式表示为：

S_i=2(N·L)N-L

考虑到上文中C的定义，该组的第i个方程式于是表示为：

I_i(x,y)=A(x,y)*(NxLx_i+NyLy_i+NzLz_i)+B(x,y)*[2(NxLx_i+NyLy_i+NzLz_i)Nz–Lz]^α

在这个方面，镜面反射波瓣宽度参数α是未知的，并且将通过方程组的求解而给出，如A、B和N一样。

在另一个实施例中，托伦斯（Torrence）和斯派若（Sparrow）模型用于非线性项（也称为库克-托伦斯（Cook-Torrence）模型）。托伦斯和斯派若提出了金属表面上的光反射模型。根据这个模型，金属表面的每个元件（或者通常镜面反射表面）被再分成多个微小平面，该多个微小平面的平均方向与元件的表面对应，但是个体上围绕这个值成随机正态分布。数学上，镜面反射波瓣以N和表示局部表面法线的单位向量H之间的点积的形式描述，这将导致镜面反射准确地朝向照相机。由于当前的坐标系的中心位于照相机FOV的中心且其Z轴指向照相机，并且由于物理定律规定这个向量恰好位于L和C（指向照相机的单位向量）之间，因此对于非常远离物体表面设置的照相机而言，这个单位向量是：

H_i=[Lx_i,Ly_i,Lz_i+1]/||[Lx_i,Ly_i,Lz_i+1]||,

其中符号||||表示范数算子（normoperator）。由于照相机位于[0,0,1]，因此我们可以写出：

I_i(x,y)==A(x,y)*(NxLx_i+NyLy_i+NzLz_i)+

B(x,y)**Exp[-[ArcCos(NxHx_i+NyHy_i+NzHz_i)]²/σ²]

Exp是指数函数，ArcCos是反余弦函数，并且σ是指数函数的宽度。σ越小，镜面反射波瓣越窄。原则上，B(x,y)也应该包含防止镜面反射项发散的取决于入射角和反射角的几何因素。但是，如果我们保持L_i单位向量的倾斜角（光轴和从FOV中心及光源的方向之间的角度，也称为天顶角）足够远离π/2（即，远离切向入射），则可以忽略这些因素。在这个方面，镜面反射波瓣宽度参数σ是未知的，并且通过方程式组的求解给出，如A、B和N一样。

在另一个实施例中，贝克曼-斯皮奇基诺（Beckmann-Spizzichino）模型用于非线性项。根据这个模型，镜面反射项是两个贡献之和：可通过托伦斯-斯派若类型的模型描述的镜面反射波瓣，以及描述以完全镜面反射方式反射的残余光能量的镜面反射尖峰（specularspike）。镜面反射项因此可重新写为：

镜面反射项=B1(x,y)*镜面反射波瓣+

B2(x,y)*镜面反射尖峰

镜面反射尖峰项形式上写为δ(N,L)，如果N=H则其等于1，否则等于0。但是，由于传感器光学系统具有有限的数值孔径，因此镜面反射尖峰项可以写为例如N和H的非常窄的指数函数。

对镜面反射和/或散射表面的光反射进行模型化的其它方法对于本领域技术人员是已知的。

可以理解，在先前描述的模型中，项Nx、Ny、Nz全部也取决于FOV内的位置(x,y)。如果照相机和/或光源没有设置成非常远离物体表面，则单位向量L_i、H_i和C可能也取决于物体表面上的位置(x,y)。本领域技术人员理解那些引入几何校正的对上文中的方程式的修改。图6示出了向量N、C、S、H和L中的每一个的位置。

蓬和托伦斯-斯派若模型包含多达五个自由参数（表面法线N的三个笛卡尔坐标[具有N被正规化的附加约束]、两个系数A和B以及镜面反射波瓣的宽度），并且贝克曼-斯皮奇基诺模型附加有至少两个或更多的参数来说明镜面反射尖峰。假定光源的数量K和因此在求解的组中的方程式的数量足够高，人们可以选择解出所有这些参数。替换地，测量研究中的物体材料的反射率函数并且固定方程式中的系数和/或波瓣宽度和/或尖峰宽度值以及解出自由参数减少的组是可能的。这些参数值也可通过实际测量以外的其它方法固定。

图2的步骤202指的是参考平面的校准。完成该步骤以校准光源。这个步骤的三个目的是：获得具有相同倾斜角的光源之间的相对强度校准、获得具有不同倾斜角的光源之间的相对强度校准、以及获得在由特定的光源照耀的FOV中的像素之间的相对强度校准。

在一个实施例中，可如下完成校准。首先，将一平坦校准表面放置在照相机的FOV中并且放置在光学传感器的焦距处。以顺序的方式照耀K个光源，并且从每个光源获取至少一个发光度图像。从每个图像中移除暗电流和/或来自图像的最低值贡献。执行这个步骤的一个可能方法包括获取没有光的图像，并且从该组K个图像中的每个图像中减去这个图像。所形成的每个图像然后除以与该图像关联的光源的倾斜角的余弦（这确保来自不同水平的光源被校准，假定校准表面是朗伯型的），并且记录所形成的图像C_i(x,y)。替换地，具有已知反射函数的其它表面可以与对光源的倾斜角的适当校正一起使用。对于K个所形成的图像的组中的每个图像，记录像素值的均值。而且，使这些均值除以该组的最大值并且记录这组被正规化的均值为MeanN_i。K个校准映射的组定义为：

CalMap_i(x,y)=MeanN_i/C_i(x,y)

代替使用每个校准图像的平均像素值，人们可以考虑这些图像的最大值或中间值或其它特征值，并且以一组被正规化的最大值或中间值或其它特征来结束，以计算项CalMap_i(x,y)。

如果没有记录校准图像，则对于每个像素，将校准映射设定为“1”。当用校准图像工作时，在所有前面的（或者下文中的）方程式中，人们应该将记录的像素强度I_i(x,y)替换为：

IC_i(x,y)=I_i(x,y)×CalMap_i(x,y)

在校准过程的第二步骤中，捕获的图像除以光源的倾斜角的余弦，假设至少对于所使用的该组倾斜角，校准表面是朗伯型的。替换地，具有不同但已知的反射函数的表面可以用于校正除法器。另一个可行的步骤可通过另一种方法或者装置保证，所有K个光源具有相等的强度，或者不同但已知的强度。在那种情况下，仅仅需要执行前面提到的过程中的最后步骤，并且使用的方程式是：

CalMap_i(x,y)=Mean_i/C_i(x,y)

Mean_i是第i个校准图像的均值。但是在光源足够远离表面使得人们可以认为光源在表面上产生恒定的光图案的情况下，这个步骤是可选的。

如图6中所示，物体表面上的朝向照相机的光反射的数学描述隐含地假定了单步反射。但是，考虑镜面反射材料的高反射率以及用过的弹壳底火区域的固有的凸出形状，物体表面上的多步反射可以从源传递光强度到照相机。这在图7中示出。镜面反射表面被源1和源2相继地照耀，并且用照相机观察结果。当源1被照耀时，在对应于表面点P1的照相机像素上预期高强度，因为局部表面方向在指向照相机的通常方向的镜面反射波瓣内反射来自源1的光。当源2被照耀时，我们不应该预期在对应于点P1的照相机像素上记录到任何光，因为在这个点处光应该被反射远离照相机。但是，从源2到达点P2的光朝向点P1反射，具有接近最佳镜面反射角的入射角，导致被记录在对应于点P1的照相机像素上的显著的强度。

当用所收集的来自源1和源2的强度求解对于点P1的局部表面法向向量时，拟合算法将很可能试图满足不相容的信息，因为其物理模型没有考虑多重反射。这通常导致低估表面的局部斜率。注意到，图7中示出的表面的比例是相对任意的。只要几何光学模型保持，也就是说，如果凹陷的比例对于可见光大于几微米，则将发生所描述的效果。对于更小的细节，多重反射可以仍然发生，但是需要涉及光的波性质的复杂得多的描述。因此，对于依赖于镜面反射材料的工具印痕和弹道印痕，多重反射通常可能发生。

没有容易的方法来解决这个问题，因为它使原本局部的数学描述变成整体描述，该整体描述使数值求解复杂到不实际的水平。这种问题通常被迭代地求解，因为需要表面形状的一些先验知识来估计多重反射贡献，但是由于问题的非线性性质，不保证收敛。

这里提出的方法包括：对于特定的像素从源中移除该贡献，如果我们相信对于这个源在这个位置处记录的强度由于多重反射而显著恶化的话。感应恶化强度的多重反射的识别得到描述反射过程的函数是按方位角单调的观念的支持。换句话说，如果我们考虑这样一组光源，所有光源相对于系统的光轴都表现出大体上相同的倾斜角，但是围绕这个轴或多或少均匀地分布（也就是说它们具有不同的方位角），则记录强度对源的方位角的曲线应该显示单个最大值，并且对于最靠近由光轴和表面的局部法线N限定的平面的源发生这个最大值。

实际上，人们将以下列方法分析对于特定像素的记录强度的组。首先，利用光源相对于光轴的可比较倾斜角将强度重新分组为子集，并且根据源的方位角对强度排序。对于特定的子集，如果强度对方位角的曲线仅仅显示一个最大值，则所有强度被保留用于拟合过程。相反，如果发现多个最大值，则识别最大概率的最优的最大值。这可通过将最大值的位置和形状与在强度的其它子集中发现的那些比较而完成。最优的最大值对于所有倾斜角子集应该更均匀地重复。一旦发现正确的最大值，则与其它最大值关联的所有强度都被从将拟合的数据组中移除。

类似地，对于给定的方位角，反射函数相对于倾斜角也是单调的，并且当N和光轴之间的角度是L（光源方向）和光轴的角度的一半时，反射函数是最大值。但是，对于小值的倾斜角（即，对于靠近光轴设置的光源），方位角不太重要。并且，由于反射函数是非线性的并且对于给定的N随L快速变化，所以，在单反射方案中，记录来自于低倾斜角子集和高倾斜角子集两者的高强度是不可能的。因此，第二准则用于低倾斜角子集（即，大体上小于15度）的源。如果对于给定像素来自最高倾斜角子集的所记录的最大值超过来自最低倾斜角子集的最大值的k倍，则来自最低倾斜角的所有强度被从将拟合的数据组中移除。K的值典型地小于1，并且它的精确的最优值取决于两个子集之间的倾斜角差异。

上文中描述的针对多步反射的两种技术通常在非线性拟合过程之前对照相机FOV的每个像素进行。可以使用识别多重反射支配的记录强度的其它方法，如本领域技术人员所认识到的。

图8是用于在图1的计算机系统110的处理器114上运行的应用程序112的示例性实施例的框图。光控制单元802控制光源106，使得它们顺序地照亮，一次一个。照相机控制单元804控制传感器102，以在适当的时间并根据先前确定的积分时间获取图像，如上文所解释的。每个获取的图像在图像接收单元806处接收并且传输到图像生成器808。

图像生成器808使用所获取的图像来求解包括散射项和镜面反射项的一组非线性方程式，以获得三维表面形态Z(x,y)。如上文中所述，这通过对于K个图像的每个像素求解K个方程式的过定义组而完成，该K个方程式的过定义组链接第i个图像的捕获或校准发光度I_i与散射项和镜面反射项之和，其取决于局部表面法线、发光方向和/或观察方向。计算出的表面单位法线N的映射被积分，以获得表面的表面形态Z(x,y)。用户接口810连接到处理器114。用户接口可以包括用于与计算机系统相互作用的键盘、显示器和任何其它已知的用户接口元件。例如，显示器可以用于输入和输出，如果屏幕是触摸屏的话。本领域技术人员很容易理解各种其它的实施例。

存储器116可以被设置并且可以被处理器114访问，以接收和存储数据。存储器可以是主存储器（比如高速随机存取存储器（RAM））或者辅助存储单元（比如硬盘、软盘或者磁带驱动器）。存储器可以是任何其它类型的计算机可读介质（比如只读存储器（ROM））或者光学存储介质（比如可视光盘和压缩盘）。注意存储器116可在计算机系统110的外部。

处理器114可以访问存储器116，以检索数据。处理器114可以是可对数据执行操作的任何装置。实例是中央处理器（CPU）、前端处理器、微处理器、图形处理单元（GPU/VPU）、物理处理单元（PPU）、数字信号处理器和网络处理器。应用程序可以联接到处理器114并且被配置成执行如上文更详细解释的各种任务。应该理解，图8中示出的模块可以设置在联接到处理器114的单个应用程序中或者设置在两个或更多个应用程序的组合中。

在一些实施例中，处理器114被配置成控制传感器，以当光源打开并且以恒定的强度照耀时，用定义的积分时间中的每一个获取至少一个图像。对于该组的每个图像的每个像素，如果它的所记录的强度低于预先定义的阈值，则图像生成器808将确定这个像素是否有效。对于FOV的每个像素位置，图像生成器808将加上与它的积分时间的倒数相乘的该组的有效像素的强度值并且使结果除以这个位置处的有效像素的数量，以获得组合的位深度增强图像。

在一些实施例中，一组K个光源被再分成J个子集，这些子集中的每个以所定义的倾斜角为特征。J可以是二或者大于二。图9示出了对于光源的一个示例性实施例。

在一些实施例中，从Q个物理光源和研究中的物体围绕传感器的光轴的一系列P个旋转中获得K个有效的光源。将捕获图像与没有旋转的该组图像重新对准的方法对于本领域技术人员是已知的。旋转可以应用于整个传感器或者仅仅应用于设定的灯上，而不影响该方法的一般性。如果仅仅设定的灯旋转，则所有K个有效的光源需要校准映射。如果物体旋转（或者传感器与设定的光源一起旋转），则仅仅Q个物理光源需要校准映射,但是应该在重新对准过程之前应用于图像。

虽然在框图中示出了作为通过不同的数据信号连接相互通信的离散元件的组，但是本领域技术人员将理解，通过硬件和软件元件的组合提供优选的实施例，其中一些元件通过硬件或软件系统的给定功能或者操作实现，并且示出的许多数据路径通过在计算机应用程序或操作系统内的数据通信实现。示出的结构因此提供教导当前的优选实施例的效率。

应该注意到，本发明可以作为方法执行，可以以系统、计算机可读介质或者电或电磁信号实施。上文中所述的本发明的实施例意图仅仅是示例性的。因此，本发明的范围仅由所附权利要求的范围限制。

Claims (16)

1.一种用于确定物体的镜面反射表面的三维表面形态Z(x,y)的方法，所述方法包括：

从多个局部轴线位置相继地照射所述物体的表面；

利用传感器在所述物体的表面的每个相继的照射处获取所述物体的表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像，所述传感器具有大体上垂直于所述物体的表面的总平面的传感轴线；

利用所述发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，以确定表面法向向量场N(x,y)；以及

利用所述表面法向向量场N(x,y)确定所述三维表面形态Z(x,y)；

其中，所述方法还包括：

在相继地照射所述物体的表面之前，校准参考平面并且用所述物体替换所述参考平面。

2.根据权利要求1所述的方法，其中，校准所述参考平面包括：

在所述传感器的焦距处在所述传感器的视场中设置参考表面；

从所述多个局部轴线方向相继地照射所述参考表面；

在每个相继的照射处获取至少一个校准发光度图像；

对于所述校准发光度图像，计算一组特征值C_i(x,y)；

确定最大特征值；

通过最大值正规化所述一组特征值，以获得一组正规化特征M_i；以及

从被除以所述正规化特征M_i的所述校准发光度图像的倒数获得一组校准映射；其中对于源i，校准发光度图像通过用第i个校准映射乘以捕获图像而获得。

3.根据权利要求1至2中任一项所述的方法，还包括利用所述表面法向向量场N(x,y)来观察具有渲染引擎的所述物体。

4.根据权利要求1至2中任一项所述的方法，其中，相继地照射所述物体的表面包括利用Q个物理光源和所述物体的或者所述物理光源的围绕所述传感器的所述传感轴线的一系列P个旋转来获得K个局部轴线方向，K>Q。

5.根据权利要求1至2中任一项所述的方法，其中，获取至少一个图像包括：

定义一组M个不同的照相机积分时间；

用所定义的积分时间中的每一个获取一个图像，从而获取M个图像；

对于每一个图像计算有效蔽光框；以及

利用用所述积分时间中的每一个获取的所述一个图像和对应的有效蔽光框，计算具有比所获取的图像更高的位深度的组合图像，以及计算组合有效蔽光框。

6.根据权利要求5所述的方法，其中，对于每一个图像计算所述有效蔽光框包括：

设定高强度阈值TH和设定低强度阈值TL；以及

对于所述一个图像中的每个像素设定mask(x,y)值为TH和TL的函数。

7.根据权利要求5所述的方法，其中，计算所述组合图像和所述组合有效蔽光框包括：

从所述M个图像获得一组M个像素强度I_i(x,y)；

从对于每个图像的有效蔽光框获得M个有效蔽光框值Mask_i(x,y)；

计算对于组合图像强度的临时值；以及

计算合成高位深度图像和伴随的合成有效蔽光框。

8.根据权利要求1至2中任一项所述的方法，其中，利用所述发光度图像来求解一组非线性方程式包括对于所述发光度图像的每个像素求解一组方程式，所述一组方程式链接第i个图像的捕获或校准发光度I_i与所述散射项和所述镜面反射项之和，其取决于局部表面法线、发光方向和/或观察方向。

9.根据权利要求1至2中任一项所述的方法，还包括从所述一组发光度图像中去除偏离所述物体的镜面反射表面的多步反射的效果。

10.一种用于确定物体的镜面反射表面的三维表面形态Z(x,y)的系统，所述系统包括：

传感器，用于获取二维发光度图像，所述传感器具有大体上垂直于所述物体的总平面的传感轴线；

一组K个有效光源，设置在多个局部轴线方向处；以及

所述系统还用于执行以下操作：

使所述K个有效光源从所述多个局部轴线方向相继地照射所述物体的表面；

使所述传感器在所述物体的表面的每个相继的照射处获取所述物体的表面的至少一个图像，从而产生具有相同视场(FOV)的一组发光度图像；

利用所述发光度图像来提供并求解包括散射项和镜面反射项的多组非线性方程式，以确定表面法向向量场N(x,y)；以及

利用所述表面法向向量场N(x,y)确定所述三维表面形态Z(x,y)；

其中，在相继地照射所述物体的表面之前，校准参考平面并且用所述物体替换所述参考平面。

11.根据权利要求10所述的系统，其中，所述校准参考平面还进一步包括：

使所述K个有效光源从所述多个局部轴线方向相继地照射参考平面；

使所述传感器在每个相继的照射处获取至少一个校准发光度图像；

对于所述校准发光度图像计算一组特征值C_i(x,y)；

确定最大特征值；

通过最大值正规化所述一组特征值，以获得一组正规化特征M_i；以及

从被除以所述正规化特征M_i的所述校准发光度图像的倒数获得一组校准映射；其中对于源i，校准发光度图像通过用第i个校准映射乘以捕获图像而获得。

12.根据权利要求10至11中任一项所述的系统，其中，所述K个有效光源包括能够旋转到对应于所述多个局部轴线方向的位置的Q个物理光源。

13.根据权利要求10至11中任一项所述的系统，还包括用于旋转所述物体到多个局部轴线方向的支架，以与用于所述K个有效光源的多个局部轴线方向对应。

14.根据权利要求10至11中任一项所述的系统，其中，所述K个有效光源以具有不同倾斜角的多个子集提供。

15.根据权利要求10至11中任一项所述的系统，其中，利用所述发光度图像来求解一组非线性方程式包括对所述发光度图像的每个像素求解一组方程式，所述一组方程式链接第i个图像的捕获或校准发光度I_i与所述散射项和所述镜面反射项之和，其取决于局部表面法线、发光方向和/或观察方向。

16.根据权利要求10至11中任一项所述的系统，其中，利用所述发光度图像来提供和求解多组非线性方程式还包括用以去除所述物体的镜面反射表面上的多步反射的效果。