CN104221053B - 形状反射器和表面轮廓映射 - Google Patents

Abstract

本发明公开了通过检查从反射物体反射的一个或多个捕获的图像来确定反射物体的一个或多个层的三维表面形状。弯曲表面对被表面形状改变的失真图像进行反射。通过分析一个或多个所捕获的失真反射像的图像来估计导致失真的表面的形状。将捕获的失真图像与具有已知几何特性的参考无失真图像进行比较。从部件组装用以捕获和处理此类图像的系统，所述部件包括用于捕获反射像的图像捕获组件诸如数字相机，以及将部件相对于彼此取向的定位组件。利用一个或多个所捕获的图像中包含的偏振、亮度、色度值或它们的组合来独立地估计反射物体的多个表面层。

Description

形状反射器和表面轮廓映射

技术领域

本发明整体涉及对物体的三维表面形状进行估计。更具体地，描述了由物体反射的光图案的一个或多个所捕获的摄影图像来迅速确定物体的一个或多个表面层的表面轮廓的方法、软件、硬件和系统。

背景技术

可以利用光学轮廓曲线仪对制造部件诸如平板显示器表面的三维形状进行准确测量。光学轮廓曲线仪能够测量由制造部件的表面反射的光产生的激光，如图1中现有技术光学测量系统100所示。激光器102能够将光以小角度引导到待测量测试制造部件的表面112上。激光轮廓曲线仪通常能够利用从点“r”反射的光的“主射束”测量形状，而不是利用从点“q”反射的光的“侧射束”，因此能够优选充分无光泽的漫反射表面。相机104可定位成捕获镜面反射的主射束106、或漫反射的主射束108和镜面反射的侧射束110的组合。利用激光轮廓曲线仪的测量过程可能较慢，因为可能要改变激光器的位置/取向和/或相机的位置/取向，以测量从被测量制造部件反射的每个点。此外，控制调节和测量的专用设备可能较昂贵。为了利用高空间分辨率测量反射表面，可以使用数以万计的点并可能需要大量时间来测量单个制造部件。因此，需要一种低成本的快速测量方法和系统来以高度分辨率估计反射制造部件的一个或多个层的形状，并且其适于高容量制造测试、组装和质量控制操作。

发明内容

本发明描述了一种用于对物体的两个反射表面层的三维表面形状进行估计的方法。通过图像捕获设备捕获物体的反射像来执行该方法。物体的反射像至少包括第一反射像图案和第二反射像图案，其中每个反射像图案是从两个反射表面层中的对应的一个反射表面层反射的。在所描述的实施例中，第一反射像图案穿过第一偏振介质，第二反射像图案穿过第二偏振介质，其中第一偏振介质的特征在于具有第一偏振取向，并且其中第二偏振介质的特征在于具有第二偏振取向，第一偏振取向和第二偏振取向彼此不同。该方法还至少包括如下步骤：从第一反射像图案获得第一组二维反射像点；从第二反射像图案获得第二组二维反射像点；以及通过比较第一组二维反射像点和第二组二维反射像点来生成物体的两个反射表面层中的每一个的三维表面形状的估计。

在另一个实施例中，描述了一种装置。该装置包括图像捕获设备，其用于从制造部件捕获第一反射像图案和第二反射像图案，由图像捕获设备捕获的每个反射像图案穿过对应的偏振介质，每个偏振介质都具有不同的偏振取向；以及处理单元，其耦合到图像捕获设备并被配置为处理所捕获的反射像图案，并通过比较与第一反射像和第二反射像相关联的信息来评估制造部件的多个反射表面中的至少两个的几何特性。

在另一个实施例中，描述了一种非暂态计算机可读介质，其用于对编码成计算机程序代码的物体的至少两个反射表面层的三维表面形状进行估计。该非暂态计算机可读介质包括用于捕获从第一反射表面层和与所述第一反射表面层相邻的第二反射表面层反射的反射像图案的计算机程序代码。此外，该非暂态计算机可读介质包括用于利用所捕获的反射像图案中的像素的亮度值和色度值的组合，将所捕获的反射像图案分成用于第一反射表面层的第一反射像图案和用于第二反射表面层的第二反射像图案的计算机程序代码。该非暂态计算机可读介质还包括用于通过将第一反射像图案和第二反射像图案分别与参考图像图案比较来生成第一反射表面层和第二反射表面层的三维表面形状的估计的针对计算机程序代码的计算机代码。

附图说明

通过参考下面结合附图进行的描述可以充分理解本发明及其优点。

图1示出了现有技术的光学测量系统。

图2示出了弯曲反射表面接收的反射像的失真。

图3A示出了用于图像捕获和定位以测量制造部件的反射表面形状的系统。

图3B示出了图像图案生成板。

图3C示出了图3A的图像捕获和定位组件的横截面的选择元件。

图4示出了用于测量反射的二维数学模型。

图5A示出了针对固定图像捕获位置的多个候选反射表面取向。

图5B示出了连接反射表面估计上的两个相邻点。

图6示出了将多个候选反射表面取向连接到已知的起始点表面。

图7和图8示出了用于测量反射的另外的数学模型。

图9示出了从制造部件的两个相邻表面进行两个重叠反射的图像捕获。

图10示出了图9的图像捕获的放大部分。

图11示出了通过具有不同偏振取向的偏振滤光器对两个相邻表面进行的两次图像捕获。

图12示出了图3A的图像捕获和定位系统的元件。

图13示出了由反射像图案的图像捕获生成的用于制造部件的两个相邻表面的两个三维表面估计。

图14概述了用于生成反射物体的表面估计的代表性方法。

图15概述了用于利用通过偏振滤光器的图像捕获针对两个相邻表面生成表面估计的代表性方法。

图16概述了用于利用单次图像捕获为两个相邻表面生成表面估计的代表性方法。

具体实施方式

本发明整体涉及对物体的三维表面形状进行估计。更具体地，描述了从物体反射的光图案的一个或多个所捕获的摄影图像迅速确定物体一个或多个表面层的表面轮廓的方法、软件、硬件和系统。

以下描述中示出了许多具体细节，以便于充分理解本发明。然而，对于本领域的技术人员显而易见的是，本发明可能在不具有这些具体细节中的一些或全部的情况下实施。在其他情况下，可能未详细地描述一些熟知的工序，以避免对本发明造成不必要的混淆。

可以通过处理一个或多个所捕获的从反射物体反射的图像来估计反射物体的三维表面形状。平坦的镜面反射表面例如理想的镜子提供无失真的反射像，而弯曲的反射表面则产生被表面形状改变的失真图像。即使小的表面不平度也可能产生反射像中很大的失真。通过分析一个或多个所捕获的失真反射像，能够估计导致失真的表面的三维形状。可以将捕获的失真图像与已知一组几何特性的参考无失真图像比较。例如，可以向反射物体上照射预定的图案化图像，并将预定的图案图像与从反射物体反射的图案图像的失真版本进行比较。可以由若干部件组装出捕获并处理此类反射的失真图像的系统，所述部件包括处理图像的处理单元、向反射物体上发送图像图案的图案产生组件、捕获反射像的数字相机、在捕获图像之前过滤反射像的偏振滤光器，以及要在其上相对于彼此对部件进行取向的定位设备。

本文公开了一种系统，其用于快速确定反射物体的一个或多个层的几何特性例如三维表面形状，反射物体诸如是与包括减反射涂层在内的盖玻璃层压在一起的LCD显示器。系统的实施例可以使用数字相机捕获从反射物体的表面层反射的图像图案(如点阵列)。可以利用不同的反射图案、不同的光谱、物体和/或数字相机的不同取向，以及通过偏振滤光器捕获的图像的不同偏振取向来捕获多幅图像。可以在处理设备中处理捕获的图像以计算反射物体的反射层的形状，并生成示出了层的表面变形的三维表面估计和表面等高线图。对于包含若干可分辨点的图像，可以将失真反射像中的点关联到原始反射像中的对应点，并等效地关联到反射物体表面上的点。利用反射定律，能够在可分辨像点处确定反射表面的取向，可分辨像点取决于反射表面和数字相机之间的距离。对于变化较平缓的表面，可以利用在附近像点处确定的表面取向的估计来迭代地构造三维表面估计。可以由制造工程师使用表面估计和等高线图通过一系列测量实验迅速迭代和优化制造过程。该系统还可以为质量工程师提供低成本系统，以高容量检验制造部件。本发明所公开的系统和方法与现有技术的激光和电荷耦合设备系统和方法相比，工作速度大大加快且成本更低。

图2示出了在从反射表面202反射之后由相机204捕获的图像图案206的失真200。捕获的反射像208示出了图像图案206的失真版本。可以将反射像中的失真与反射表面202的形状相关联。镜面反射像能够比投射到漫反射表面上的图像更易于展现表面不平度，因为在反射像中，随着相机204和反射表面202之间的距离增加，表面上相邻点之间的表面取向差异被放大。可以使用捕获的二维反射像208来估计反射表面202的三维形状。当表面202包括多个相邻的反射层时，反射像208可包括反射像的叠加，每个反射像都来自不同的反射层中的一个。在代表性实施例中，如本文进一步所述，可以利用光特性，诸如亮度，色度值和/或光偏振，将用于每个反射像的图像分开。

图3A示出了用于捕获从制造部件的一个或多个反射表面层反射的一个或多个图像的系统300的实施例。该系统300包括图像捕获和定位组件304，可在图像捕获和定位组件上安装以及定位系统300的各个部件。可以在定位组件306中安装制造部件(未示出)，该定位组件306可置于图像捕获和定位组件304中。可以利用照明组件308中安装的灯来照射图像图案面板310，从而将图像图案照射到制造部件上。图像图案面板310可以比待测制造部件更大，并且能够容纳各式各样的制造部件。图像图案面板上的图像图案可以包括足够多的不同点以提供高分辨率，用于测量制造部件的三维几何形状。可以安装图像捕获设备302(如数字相机)以捕获来自制造部件的反射表面的反射像。图像图案面板310中的开口能够提供入口，图像捕获设备302能够通过该入口捕获反射像图案。可以由定位组件304/306将图像捕获设备302、图像图案面板310和制造部件相对于彼此在空间上取向。在代表性实施例中，可以调节图像捕获设备302以面朝反射制造部件来捕获反射像。根据反射制造部件的尺寸和形状，可以选择附接到图像捕获设备302的透镜以捕获反射像的优选部分。并非仅调节相机302的透镜来改变视场，图像捕获和定位组件304也是可调节的，允许制造部件定位组件306中安装的反射制造部件和图像捕获设备302之间有不同的距离。反射制造部件上的图像图案可以包括多个亮区和暗区，使得图像捕获设备302能够捕获反射的亮区。本发明的优选实施例能够利用黑暗背景上规则网格中布置的光点阵列。也可以使用其他图案图像。在一个优选的实施例中，图像捕获设备302中的图像传感器、图像图案面板310和安装于制造部件定位组件306中的制造部件可以是大致共面的，这样能够简化用于处理所捕获反射像的计算，以确定制造部件的三维表面。

图3B示出了可以置于光源前方以在反射制造部件上产生图像图案的图像图案面板310。图像图案面板310可包括透明板312，例如透明丙烯板，在透明丙烯板上可以安装图案化膜314，该图案化膜包括可形成图像图案316的透明区和不透明区。可以利用不同图案的膜314产生不同的图像图案316。或者，可以利用不透明和透明区的任意组合，诸如通过钻孔的金属板或不透明塑料面板来形成图像图案面板310。图3B所示的图像图案面板310的优势是重量轻，容易组装并且能够通过替换具有不同图像图案的膜来提供不同的图像图案。当明亮的光源安装于图像图案面板310后方的照明组件308中时，可以产生具有高信(高亮度点区)噪(低亮度背景区)比的图像图案316。利用“高SNR”图像，本文描述的方法能够提供准确的结果，包括具有减反射涂层的表面，其能够降低从待测制造部件表面反射的图像的亮度。

图3C示出了图3A中所示的图像捕获和定位系统300的选择部件的横截面320。照明组件308可包括安装于图像捕获设备302后方的一组光板，诸如LED光板或荧光灯。图像图案面板310可“过滤”从照明组件308发射的光，从而在待测制造部件324的反射表面326上产生图像图案328。在代表性实施例中，图像图案328可包括具有大致均匀形状和光值(亮度/色度)的多个圆点。用于投射的图像图案328的分量的形状和颜色的均匀性能够辅助处理捕获的反射像。可以由图像捕获设备302捕获来自反射表面326的反射像。可以将图像捕获设备上安装的偏振滤光器旋转到不同位置，以过滤所接收的反射像，以便区分具有不同偏振的反射像。在一个实施例中，制造部件324的反射表面326之一能够反射具有偏振的图像图案328，而第二反射表面326能够反射不具有偏振的图像图案328。针对偏振滤光器322使用不同的偏振，图像捕获设备302能够捕获包括来自两个反射表面的反射像图案组合的图像或来自两个表面之一的仅一个反射像图案(如可以在图像被捕获之前，由图像捕获设备302前方的偏振滤光器322过滤掉偏振的反射像图案)。

图4示出了源自点p_k(其可以表示图像图案328的透明点)并朝向被示为曲线f(x)的反射表面行进的光线。(在此用黑体表示矢量。)光线可从曲线f(x)上的点q_k反射，其中光线的入射角可等于相对于q_k处的曲线f(x)正切的反射角。光线可穿过定位于点c处的相机204(图像捕获设备302)中的图像捕获平面402的点r_k。相机204可以指向由垂直于图像捕获平面402的单位矢量e_c定义的方向。反射的光线能够沿着方向-e_k从点q_k行进到点c。(注意，单位矢量e_c和e_k通常可以是重合的。)在一个实施例中，布置成一条线的多个点p₁，p₂，……，p_N可以被投射在曲线f(x)上，从而获得在图像平面上接收的一组点r₁，r₂，……，r_N。可以利用该组接收点r₁，r₂，……，r_N，利用被传输点p₁，p₂，……，p_N的知识，重构曲线f(x)。

可以通过比较物体上参考特征的实际距离与参考特征的捕获图像中的尺度，确定图像捕获平面402和相机位置c之间的距离d。在一个实施例中，参考特征可以是刻划于图像捕获和定位组件304的一部分上或制造部件定位组件306上或制造部件(未示出)上的一对可分辨标记。在另一个实施例中，参考特征可以是投射到被定位在制造部件定位组件306中的参考平坦物体上的一对可分辨标记。对于物体上两个可分辨标记之间的实际距离B和从参考特征到相机位置c的实测距离D，距离d＝(bD)/B。校准图3A中所示的系统可调节相机以将定位组件上(或置于定位组件中的参考物体上)的一个或多个参考标记定位到被查看相机图像中的优选位置，如在光学取景器中或电子显示器上。校准还可以包括确定相机位置c和图像平面之间的距离d。在图3A中所示的系统300中，图像捕获设备302、图像图案面板310和安装在制造部件定位组件306中的待测制造部件可以是大致共面的，由此简化了校准过程。

通常，一组像点{p_k}能够获得图像捕获平面402上的一组捕获点{r_k}。函数f(x)(或者更一般地，三维表面)的向内弯曲(内凹)的部分能够导致该组像点{p_k}中相邻的像点在捕获的图像中聚合，而向外弯曲(外凸)的部分能够导致相邻像点发散。对于表面的将图案P反射到相机中的区域R，使g(P)表示捕获的图像图案。为了确定表面区域R的形状，映射g(·)可以是内射函数，即，g(·)可以是函数(不能将一个点p_k映射到多个像点r_k)，g(·)可以是一对一映射的(不能将两个不同的点p_k映射到单个像点r_k)。如果每个像点r_k可以链接到唯一的源点p_k(如通过利用不同颜色的源点，或者通过在不同时间使源点突然亮起/熄灭)，然后可以唯一地确定区域R的形状。如本文进一步简述的，也可以通过从一个或多个不同的像点开始迭代地构造表面估计来确定区域R的形状。

如图5A中所示，沿光线506进入图像捕获设备504并源自图像平面502上的点p的每条光线可被具有不同位置和取向的多个候选表面508中的任何一个反射。所捕获图像中的单个点r可源自从点q₁处的曲线f₁(x)，或从点q₂处的曲线f₂(x)，或点q₃处的曲线f₃(x)反射的光。由于入射角必须等于任何反射点处的反射角，因此能够沿着进入图像捕获设备504的方向-e在每个可能的相交反射点处确定候选表面取向508。(图5A中的单位矢量e对应于图4中的单位矢量e_k。)对于源自图像平面502上的点p的光线以及在距离位置c处的图像捕获设备504的距离l处与光线506相交的函数f(x)，由方程(1)给出反射点q处表面f(x)的单位正切t和单位法线n：

$t=-\frac{u+e}{\left|\right|u+e\left|\right|},n=\frac{u-e}{\left|\right|u-e\left|\right|},---\left(1\right)$

其中反射点q＝c+le，并且u被定义为p-q方向上的单位矢量。捕获图像中的每个点r可源自多个表面中的任何一个，每个表面都位于距位置c处的图像捕获设备402的不同距离处。为了解决这种模糊性，可以使用针对捕获图像中点r附近的点所确定的关于表面取向的信息。如图5B中所示，从第一个接收的像点r_s开始，(为此已经确定了可能发生于对应反射点q_s处的表面取向)，可以确定函数f(x)，将反射点q_s连接到对应于所捕获图像中相邻点r_t的反射点q_t。显然，众多不同的函数可连接两个点。在一个优选的实施例中，如接下来将要详细描述的，可以使用在每个反射点处与表面正切且在其间具有最小曲率的平滑函数。

图6示出了具有已知表面取向的第一反射点(起始点601在t＝t_k处)，其能够连接到多个第二反射点(在t＝t_k+1处)中的任何一个，每个都反射点均具有不同的表面取向。连接两个反射点的路径p(t)在那些反射点处，即在t＝t_k和t＝t_k+1处与对应的表面取向正切。在一个实施例中，选择p(t)为连接两个反射点的三次多项式函数。在一个优选的实施例中，选择路径p(t)以使曲率函数最小化。在图6中，示出了具有最小曲率的三次多项式路径p(t)，其将起始点601连接到终点602。为了确定哪个终点602获得具有最低C的路径p(t)，可以迭代地求解值x_k+1＝γ。对于每个γ，可以由方程(2)给出在起始点601(t＝t_k)和终点(t＝t_k+1)都具有正确斜率的t_k和t_k+1之间的三次多项式路径p(t)

$p\left(t\right)=x_{k}a\left(t\right)+{\stackrel{\·}{x}}_k\mathrm{\α}\left(t\right)+\mathrm{\γ}b\left(t\right)+g\left(\mathrm{\γ}\right)\mathrm{\β}\left(t\right)---\left(2\right)$

其中g(γ)＝f(γ，t_k+1)，并且其中基础多项式a(t)、b(t)、α(t)和β(t)可以由方程(3)、(4)、(5)和(6)给出

$a\left(t\right)=\frac{2}{d^3}{(t-d/2)}^3-\frac{3}{2d}(t-d/2)+\frac{1}{2}---\left(3\right)$

$\mathrm{\α}\left(t\right)=\frac{t}{d^2}{(t-d)}^2---\left(4\right)$

$b\left(t\right)=\frac{2}{d^3}{(d/2-t)}^3-\frac{3}{2d}(d/2-t)+\frac{1}{2}---\left(5\right)$

$\mathrm{\β}\left(t\right)=\frac{t^2}{d^2}(t-d)---\left(6\right)$

其中d＝t_k+1-t_k。曲率函数C是u＝a+γb+g(γ)c的2-范数，其中

$a=x_k\frac{6}{d^2}\left[\begin{array}{c}-1\\ 1\end{array}\right]+{\stackrel{\·}{x}}_k\frac{2}{d}\left[\begin{array}{c}-2\\ 1\end{array}\right]---\left(7\right)$

$b=\frac{6}{d^2}\left[\begin{array}{c}1\\ -1\end{array}\right]---\left(8\right)$

$c=\frac{2}{d}\left[\begin{array}{c}-1\\ 2\end{array}\right]---\left(9\right)$

函数g(γ)的非线性通常很弱，因此方程(10)中定义的迭代

${\mathrm{\&gamma;}}_{i+1}={\mathrm{\&gamma;}}_i-\frac{<(a+g({\mathrm{\&gamma;}}_i\left)c\right),b>}{<b,b>}---\left(10\right)$

可在几个步骤内在优选的数值精确度水平内针对x_k+1收敛到一个值。在此，符号<a，b>表示矢量a和b之间的点积。通过选择具有最小曲率的平滑三次多项式路径p(t)，在缺少信息的情况下，使得起始点和终点之间的斜率变化最小化。

图7应用上文结合图6所述的概念以扩展曲线，该曲线可开始于点q_{k- 1}，并可结束于点q_k。对于沿方向-e_k在点c处进入相机中的光线，能够为可沿光线出现的每个可能反射点确定斜率。假定已确定了点q_k-1(以及必要的在q_k-1处的斜率)，希望找到沿光线的点q_k＝c+l_ke_k(即，确定反射点q_k和相机点c之间的距离l_k)。考虑定义为分别垂直于和相切于进入相机点c中的光线的单位矢量u和v。具体地，使v＝-e_k且u＝Re_k，其中是90度逆时针旋转矩阵。使用旋转的(u，v)坐标系，使x为u方向上的距离，y是v方向上从点q_k-1到点q_k的距离。因为距离l_k可以由l_k＝<e_k，q_k-1-c>-y给出，所以可以通过求解距离y确定l_k。求解点q_k与图6中确定终点602的位置所描述的相同(其中，图7中旋转轴线u和v分别对应于图6中的轴t和x)。可以利用方程(1)确定与在不同y值与光线相交的曲线垂直的法向矢量n。可以由方程(11)确定旋转坐标系中点q_k处曲线的对应斜率

$\frac{dy}{dx}=-\frac{<n,u>}{<n,v>}---\left(11\right)$

距离y的值和方程(11)中的斜率对应于用于方程(10)迭代的值γ和g(γ)。因此，能够使用上文所述的迭代法来确定点q_k的解。

可以通过模拟图像捕获来检查用于确定表面上的点的估计的上述方法的精确度。在最简单的情况下，考虑图8中所示的反射表面f(x)，即一条线。将n和t分别定义为线f(x)的单位法线矢量和单位切向矢量，使x为线上的未必是反射点的点。(注意，入射角和反射角被示为在点x处不相等，在反射点q处相等。)可以由方程(12)给出针对源自点p的光的线f(x)上的反射点q＝x+γt。

$\mathrm{\&gamma;}=\frac{<n,c-x><t,p-x>+<n,p-x><t,c-x>}{<n,c-x>+<n,p-x>}---\left(12\right)$

如果反射表面f(x)是曲线而非一条线，那么可以迭代点x_i的序列使得由点x_i的序列极限定义反射点。给定反射表面f(x)和一组点p_k，利用这些构造，能够产生在位于点c处的相机的图像平面上捕获的每个所得像点r_k。因此能够模拟捕获反射的图像。为了测试上述表面估计方法的精确度，可以从已知反射表面f(x)开始，使用光线跟踪来计算模拟捕获图像的一组点，从模拟的捕获图像构造反射表面g(x)的估计，并计算初始反射表面f(x)和构造的反射表面g(x)之间的误差差值f(x)-g(x)。

图9示出了从制造部件的两个不同相邻反射表面层捕获的两个叠加反射像图案的图像捕获900。制造部件可包括第一反射表面，如安装于用于“平板计算机”的LCD显示器顶部的保护性盖玻璃，以及第二反射表面，如与第一反射表面相邻的LCD显示器。第一反射表面能够产生第一表面反射像图案902，而第二反射表面能够产生第二表面反射像图案904。在图9中所示的代表性制造部件中，第一反射表面可基本覆盖制造部件的整个表面，而第二反射表面可覆盖第一反射表面下方的制造部件表面的较小部分。在制造部件既包括第一反射表面又包括第二反射表面的区域中，可产生两个不同的反射像图案902/904，而在仅具有第一反射表面的区域中，如图9中所示，仅可产生第一表面反射像图案902。两个反射表面中的每一个都可以具有不同的三维形状，并且第一表面反射像图案902和第二表面反射像图案904可以在制造部件的至少特定区域上是不重叠的。可以由图像捕获设备302捕获两个反射像图案902/904(如两组点)，如从保护性盖玻璃反射的一个图像图案902，从LCD显示器反射的一个图像图案904。

相邻反射表面中的每一个可以不同方式修改图像图案，包括由于反射表面的各个三维形状导致的方向性，由于存在/不存在应用于反射表面的减反射涂层以及应用于反射表面的减反射涂层的量所导致的光强度和光色度值，以及由于反射表面的特性而导致的光偏振。图10示出了图9的图像捕获900的放大截面1000。在制造部件的周边处，图像图案从第一反射表面反射，获得第一组“第一表面”反射像点1002，其位置、光强度和光色度值与制造部件中心部分中反射的第二组“第二表面”反射像点1004不同。第一反射表面上的减反射涂层可衰减反射点的光强(亮度)以及过滤选择光频，从而获得不同颜色的反射点。第二反射表面，如在LCD显示器上，可反射更宽范围的光频，从而获得来自第二表面的反射像点1004，这比来自包括减反射涂层的第一反射表面的反射像点1002获得的更明亮(更高亮度值)。第二表面反射像点1004可能看起来比“彩色的”第一表面反射像点1002“更白”。

在代表性实施例中，第二反射表面可使从其表面反射的光发生偏振，从而获得由具有特定偏振的反射像点构成的反射像图案。根据偏振滤光器322的取向(反射像图案能够通过其以被图像捕获设备302所捕获)，如图11中所示，可以捕获或者可以过滤掉偏振的反射像图案。在代表性实施例中，对于在第一位置(如在标称0度)取向的偏振滤光器322，来自第一反射表面和第二反射表面的反射像图案可以穿过偏振滤光器322并被图像捕获设备302所捕获。利用在第二位置(如在标称90度)取向的偏振滤光器322，来自第一反射表面的非偏振反射像图案可以穿过偏振滤光器322，而来自第二反射表面的偏振反射像图案可被偏振滤光器322阻挡。如图11中所示，针对偏振滤光器322的一个位置捕获的图像可仅包括第一表面反射像图案1102，而针对偏振滤光器322的第二位置的图像捕获可包括与第二表面反射像图案1104叠加的第一表面反射像图案1102。偏振滤光器322能够方便地将偏振的反射像图案与非偏振的反射像图案分开。处理单元能够组合来自两次图像捕获的信息以产生针对每个独立反射表面的图像图案，由该图像图案可构造针对两个独立反射表面的独立三维表面估计。在一个实施例中，针对第一反射像图案的亮度值可能与针对第二反射像图案的亮度值显著不同(如来自具有减反射涂层的反射表面的反射像图案可能具有更低的亮度值)。除了或独立于利用偏振滤光器322产生独立图像之外，处理单元还能够基于测量的亮度值(如通过阈值水平)和/或利用测量的色度值(不同颜色)将图像图案分开。也可以使用来自包括减反射涂层的反射表面的反射像图案的测量色度和亮度值来测量包括减反射涂层的整个反射表面上的减反射涂层的变化。

图12示出了图3A中所示的图像捕获和定位系统300的元件。如图所示，图像捕获设备302可包括安装于透镜前方的偏振滤光器322，透镜连接到偏振器取向调节1202机构。可以将照明组件308定位于图像捕获设备附近和/或后方，以照射图像图案面板，从而将图像图案发送至制造部件。

如上所述，可以利用图像反射的二维图像捕获来估计反射物体的三维表面。该图像可包括规则图案，诸如点阵列。可以通过处理捕获的图像来确定点的位置。每个像点可对应于数字捕获图像中的像素群集(像素化的反射点)。需注意，为了定位点，可以将捕获的图像简化为单色图像，该单色图像可以是从图像捕获设备302产生的所捕获彩色图像中的一个或多个颜色(红、绿、蓝)信道导出的。在具有Bayer像素阵列的数字静态相机中，绿色信道可提供最多的信息，从而可以是优选的。(或者，也可以使用组合了来自所有像素的信息的亮度值。)利用数字阵列，每个数字表示所捕获图像中的绿色信道的值，可以通过对每个像素进行低通滤波来产生平滑化的图像。例如，可以利用其周围(最近邻)像素的值为每个像素的值求平均值。根据阈值，可以将滤波图像中的像素的每个值转换为二元值(即仅黑或白)，获得二元像素化反射点。低通滤波(平滑滤波)操作能够确保在阈值操作之后所述点不会分成多个像素群集。或者，可以排除低通滤波操作，并且直接从捕获的单色图像产生二元像素化图像(可能针对对应于单个反射点的每个像素群集获得多个不同的“白色”像素)。可以通过将每个“白色”像素扩展成3×3(或某种其他图案)的“白色”像素来转换所得的二元像素化图像，从而将每个像素“膨胀”成更大的像素群集。利用任一种方法，所得的二元像素化图像优选地包含对应于每个捕获的反射点的“白色”像素的不同的、未分开的群集。

可以从二元像素化图像确定针对每个点的二维几何位置，作为每个“白色”像素群集的质心。识别每个群集中所有像素的一种方法可以是向图像中的每个“白色”像素分配整数。可以通过逐个对图像像素进行加工来这样做。如果新像素是白色的，并且没有白色的相邻像素，可以为像素分配新的整数。如果新的白色像素具有已经标记的相邻白色像素，可以为新的像素分配向其标记的白色邻居分配的整数中的最小值。在第一通之后，同一群集的一些像素可能已经分配了不同的整数，但可以通过第二通来固定这种多重赋值。识别了包括每个群集的像素之后，可以计算像素群集的质心。接下来，能够确定对应于每个像素群集质心的产生点。可以通过从一个或多个参考点支化来确定这种对应关系，可以基于从图像中其余点捕获的不同颜色(如参考点可以是蓝色的而非白色的)来唯一地识别(在单色和二元转换之前)参考点。可以通过在沿已确定分支的方向定义(在可能时)的环形区域中搜索，将相邻质心连接到现有的已识别质心。利用计算的质心和它们间的关系，可估计如上所述使图像图案“失真”的反射物体的表面形状。

表面形状估计的精确度可以取决于图像图案中的点之间的间距。分布更密集的点能够提供关于表面形状的更多信息；然而，反射物体的一些区域上的表面的曲率可能导致图像中的相邻像点在反射像中非常接近。可以通过改变点网格的密度(或每个点的尺寸)来改进表面的特定区域中的精确度以确保可分辨(但仍然密集分布)点。此外，还可以改变图像捕获设备的位置或反射物体的取向，以提供不同的视角。还可以通过改变相机镜头的焦距来改变视场的放大率，以捕获镜面反射物体的特定区域。然后可以从利用不同图像图案、不同空间取向或不同视场或它们的任意组合捕获的多幅图像，组装出镜面反射表面的复合估计。

图13示出了基于如上所述的制造部件的图像捕获，用于两个相邻反射表面的两个三维表面估计。制造部件最外层的三维表面形状估计，即第一表面形状估计1302，和与最外层相邻的内层三维表面形状的估计，即第二表面形状估计1304，都可以从利用图3A中所示且上文所述的图像捕获和定位系统300的一个或多个图像捕获产生。可以利用像点的密网格，如在图13中所示的代表性表面形状估计1302/1304中使用的超过15，000个点来实现反射表面的几何形状的高分辨率水平。与利用机械或激光光学测量系统捕获相当数量的点可能需要的时间相比，处理单元进行的图像捕获和处理可以在数秒而非数分钟/小时之内完成。在代表性实施例中，第一表面形状估计1302可以对应于保护性盖玻璃表面的形状，而第二表面形状估计1304可以对应于安装于保护性盖玻璃表面下方的LCD显示器表面的形状。

在代表性实施例中，可以将三维表面形状估计与漏光的图像捕获进行对比，在LCD显示器表面从平整表面有变化时在LCD显示器表面中可能发生漏光，并允许来自背光的光“泄漏”通过。在LCD显示器“打开”时，均匀的“暗电平”可能是优选的，可以在制造过程期间，例如在制造部件的外壳中安装LCD显示器期间，改变LCD显示器的三维机械形状。可以使用一个或多个三维表面形状估计，通过将具有高度空间准确度的三维表面形状相关到实现LCD显示器特性所需的质量水平，诸如限制可能影响LCD显示器背景暗电平的漏光来改善制造过程。利用快速图像捕获和处理系统，可以为工厂测试开发一个或多个通过/失败标准，其能够改善制造部件的质量，确保制造的部件能够在指定公差内实现均匀的几何特性。

在一些实施例中，安装于照明组件308中的光源可包括具有不同光谱特性的不同类型的灯，如红外灯或紫外灯，以“看”透制造部件的一个或多个反射表面的涂层或层。类似地，可以使用不同的滤波器取代或补充偏振滤光器322，以通过在捕获前对光进行滤波来改变捕获的图像。也可以使用所捕获图像的不同处理算法来将从制造部件的多个反射层接收的重叠图像图案分开。也可以对投射的图像图案“预翘曲”到“不均匀图案”，以考虑制造部件上的不平坦的反射表面。也可以使用制造部件在测试时的不同位置和/或取向将在一个或多个图像中一起捕获的来自不同反射表面的反射像图案分开。本文描述的共面系统可以更强健，校准更简单，并且能够在制造过程中实现。

图14概述了估计物体反射表面形状的方法1400。在步骤1402中，图像图案生成设备(诸如荧光灯)能够向具有一个或多个反射表面的反射物体传输二维图像图案。图像图案可以是规则的点阵列或具有可清晰分辨的点的其他形状。优选地，该图像使用具有锐利边缘的亮区和暗区阵列。例如，图像可包括在黑暗背景上分散的多个光点，每个点都是可清晰分辨的。本文描述的方法可以使用许多不同的图像图案，并且该方法不限于所述的示例性图像图案。

在步骤1404中，图像捕获设备捕获图像图案反射的二维图像。在一个实施例中，图像捕获设备是可产生数字像素化图像的数字静态相机。反射像能够包含图像图案的一个或多个叠加的失真版本，其中失真可以是由反射物体，如具有分层反射表面的制造部件的反射表面的形状变化而导致的。在步骤1406中，可以从捕获的像素化二维反射像产生二元像素化图像。优选地，二元像素化图像包括像素群集的阵列，每个像素群集对应于所接收的反射像中的各个可识别点。在步骤1408中，可以利用二元像素化图像识别并定位一组二维像点。优选地，二元像素化图像中的每个像素群集产生唯一的二维像点。在一个优选的实施例中，二维像点是像素群集的质心。

在步骤1410中，计算一组三维方向矢量，每个矢量针对一个二维像点。每个三维矢量可表示对于相应二维像点，光线从镜面反射物体的表面上的反射点行进至图像捕获设备的图像平面的方向。在步骤1412中，可以针对将每个点相关到其相邻点的每个二维像点确定邻接信息。在步骤1414中，可以沿其对应的三维方向矢量为每个二维像点计算一组三维表面估计。该组三维表面估计的每个元素可表示反射物体的可将二维像点反射到图像捕获设备中的表面的不同位置和取向。在步骤1416中，可以从表面的一个或多个参考点开始来迭代地构造反射物体的三维表面估计。对于每个三维表面估计，可以选择用于二维像点的一组三维表面估计的元素，使得将三维表面估计连接到先前估计的三维表面估计的曲线的曲率函数最小化。在一个优选的实施例中，曲线包括三次多项式函数。在步骤1418中，可以相对于参考平面对三维表面估计进行取向。在步骤1420中，可以由取向的三维表面估计来产生表面等高线图。

图15示出了用于针对制造部件的两个反射表面来产生三维表面估计的另一代表性方法1500。在步骤1502中，将二维图像图案投射到制造部件上。在步骤1504中，由图像捕获设备捕获至少两个不同的二维反射像。可以利用置于图像捕获设备前方的偏振滤光器的不同偏振位置来捕获两个不同的二维反射像中的每一个。在步骤1506中，将两个不同的二维反射像与参考图像图案比较，以确定表面形状与预定三维表面形状之间的变化。在步骤1508中，针对制造部件中两个不同的相邻反射表面中的每一个来产生三维表面估计。在代表性实施例中，反射表面之一对具有偏振的二维图像图案进行反射。在代表性实施例中，利用定位成阻挡来自反射表面之一的偏振反射二维图像图案的偏振滤光器来捕获二维反射像之一。在此代表性实施例中，两个不同的相邻反射表面中的另一个不会对反射的二维图像诱发偏振。

图16示出了用于针对制造部件的两个相邻反射表面来产生三维表面估计的另一代表性方法。在步骤1602中，将二维图像图案投射到制造部件上。在步骤1604中，捕获二维反射像，其包括来自两个相邻反射表面中的每一个的反射像图案。捕获的二维图像图案包括两个叠加的图像图案，每个图像图案都是从两个相邻的反射表面之一反射的。在步骤1606中，将捕获的二维反射像基于光特性值分成两个不同的反射像。处理二维图像图案以将二维图像图案分成独立的图像图案，每个图像图案针对两个不同的相邻反射表面中的一个。在代表性实施例中，所述处理包括基于亮度值和/或色度值的分开。在代表性实施例中，使用亮度值的阈值将两个图像图案分开。在步骤1608中，将两个独立的二维图像与参考图像图案比较。在步骤1610中，利用两个独立的图像图案来产生两个不同的三维表面估计，每个三维表面估计针对两个不同的相邻反射表面中的一个。

可由软件、硬件或硬件与软件的组合来实现所述实施例的各个方面。所述实施例也可以编码为非暂态计算机可读介质上的计算机程序代码编码。非暂态计算机可读介质为可存储数据的任何数据存储设备，该数据其后可由计算机系统读取。非暂态计算机可读介质的例子包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带和光学数据存储设备。计算机程序代码还可分布在网络耦合的计算机系统中，使得计算机程序代码以分布式方式来存储和执行。

可单独地或以任何组合方式来使用所述实施例的各方面、实施例、具体实施或特征。在上述描述中，为了进行解释，使用了特定的命名以提供对所述实施例的彻底理解。然而，对于本领域的技术人员而言显而易见的是，实践所述实施例不需要这些具体细节。因此，出于说明和描述的目的呈现了对本文所述的具体实施例的上述描述。它们并非意在穷举或将实施例限制于公开的精确形式。对于本领域的普通技术人员而言显而易见的是，根据上述教导内容可作出许多修改和变型。

所述实施例的优点很多。不同的方面、实施例或具体实施可以实现以下优点中的一者或多者。根据书面说明书，本发明实施例的多个特征和优点将显而易见，因此所附权利要求旨在涵盖本发明的所有此类特征和优点。此外，由于本领域的技术人员可易于想到多种修改和更改，因此不应将实施例限制于说明和描述的确切构造和操作。因此，所有适当的修改和等效处理均可视为在本发明的范围之内。

Claims (30)

1.一种用于对物体的两个反射表面层的三维表面形状进行估计的方法，

所述方法包括：

当从物体的第一反射表面反射的第一反射像图案被偏振滤光器阻挡时由图像捕获设备捕获从物体的第二反射表面反射的第二反射像图案，其中第一反射表面邻接第二反射表面；

当第二反射像图案被所述偏振滤光器阻挡时由图像捕获设备捕获第一反射像图案，其中第一反射像图案与第二反射像图案不同；

分别从所述第一反射像图案和所述第二反射像图案获得第一组二维反射像点和第二组二维反射像点；

针对第一组二维反射像点和第二组二维反射像点来计算一组三维方向矢量；针对沿其对应三维方向矢量的每个二维反射像点来计算一组三维表面估计，其中所述一组三维表面估计中的每个元素表示所述物体的表面的不同位置；以及

使将所述三维表面形状的估计连接到先前生成的三维表面形状估计的曲线的曲率函数最小化。

2.根据权利要求1所述的方法，所述第一反射像图案和第二反射像图案各自包括与所述物体的所述两个反射表面层的形状相关的信息。

3.根据权利要求1所述的方法，其中，所述偏振滤光器能够通过未偏振的第一反射像和阻挡偏振的第二反射像。

4.根据权利要求1所述的方法，还包括：

确定所述图像捕获设备与所述物体之间的距离。

5.根据权利要求1所述的方法，还包括：旋转所述偏振滤光器到不同的位置以便区分第一反射像图案和第二反射像图案的偏振。

6.根据权利要求1所述的方法，还包括：在图像捕获设备捕获第一反射像图案之后旋转偏振滤光器。

7.根据权利要求1所述的方法，其中，第一反射像图案和第二反射像图案各自包括多个圆点。

8.根据权利要求7所述的方法，其中所述多个圆点具有大致均匀形状和亮度值。

9.根据权利要求1所述的方法，其中获取第一组二维反射像点和第二组二维反射像点包括在一个或多个像图案被所述偏振滤光器阻挡后对第一反射像图案和第二反射像图案进行像素化。

10.根据权利要求9所述的方法，其中，第一反射像图案对应于第一亮度值，第一亮度值与对应于第二反射像图案的第二亮度值不同。

11.一种用于对具有多个反射表面的制造部件的三维表面形状进行估计的装置，所述装置包括：

偏振滤光器；

图像捕获设备，其配置为

当从制造部件的第一反射表面反射的第一反射像图案被偏振滤光器阻挡时捕获从制造部件的第二反射表面反射的第二反射像图案，其中第一反射表面邻接第二反射表面；

当第二反射像图案被所述偏振滤光器阻挡时捕获第一反射像图案，其中第一反射像图案与第二反射像图案不同；以及

处理单元，其耦合到所述图像捕获设备并被配置为

分别从所述第一反射像图案和所述第二反射像图案生成第一组二维反射像点和第二组二维反射像点，

针对每个二维反射像点计算一组三维方向矢量，以及

针对沿其对应三维方向矢量的每个二维反射像点来计算一组三维表面估计，以及使将所述三维表面形状的估计连接到先前生成的三维表面形状估计的曲线的曲率函数最小化。

12.根据权利要求11所述的装置，其中所述偏振滤光器安装到所述图像捕获设备。

13.根据权利要求12所述的装置，其中第一反射像图案对应于第一亮度值，第一亮度值与对应于第二反射像图案的第二亮度值不同。

14.根据权利要求13所述的装置，其中获取第一组二维反射像点和第二组二维反射像点包括在一个或多个像图案被所述偏振滤光器阻挡后对第一反射像图案和第二反射像图案进行像素化。

15.根据权利要求14所述的装置，其中所述偏振滤光器被配置为在所述图像捕获设备捕获第一反射像图案和第二反射像图案之间的时刻旋转。

16.一种用于对物体的至少两个反射表面层的三维表面形状进行估计的装置，所述装置包括：

用于当从物体的第一反射表面反射的第一反射像图案被偏振滤光器阻挡时由图像捕获设备捕获从物体的第二反射表面反射的第二反射像图案的装置，其中第一反射表面邻接第二反射表面；

用于当第二反射像图案被所述偏振滤光器阻挡时由图像捕获设备捕获第一反射像图案的装置，其中第一反射像图案与第二反射像图案不同；

用于分别从所述第一反射像图案和所述第二反射像图案获得第一组二维反射像点和第二组二维反射像点的装置；

用于针对每个二维反射像点计算一组三维方向矢量的装置；

用于针对沿其对应三维方向矢量的每个二维反射像点来计算一组三维表面估计的装置，其中所述一组三维表面估计中的每个元素表示所述物体的表面的不同位置和取向；以及

用于使将所述三维表面形状的估计连接到先前估计的三维表面形状估计的曲线的曲率函数最小化的装置。

17.根据权利要求16所述的装置，还包括：

用于根据三维表面形状的估计生成表面等高线图的装置。

18.根据权利要求17所述的装置，还包括：

用于旋转所述偏振滤光器到不同的位置以便区分第一反射像图案和第二反射像图案的偏振的装置。

19.根据权利要求18所述的装置，还包括用于在图像捕获设备捕获第一反射像图案之后旋转偏振滤光器的装置。

20.根据权利要求19所述的装置，其中第一反射像图案对应于第一亮度值，第一亮度值与对应于第二反射像图案的第二亮度值不同。

21.一种用于对物体的两个反射表面层的三维表面形状进行估计的系统，

所述系统包括：

偏振滤光器；

图像捕获设备，其被配置为

当从物体的第一反射表面反射的第一反射像图案被偏振滤光器阻挡时捕获从物体的第二反射表面反射的第二反射像图案，其中第一反射表面邻接第二反射表面；以及

当第二反射像图案被所述偏振滤光器阻挡时捕获第一反射像图案，其中第一反射像图案与第二反射像图案不同；以及

图像像素化器，其被配置为根据第一反射像图案和第二反射像图案生成第一组二维反射像点和第二组反射像点；以及

处理单元，其被配置为

确定每个二维反射像点的邻接信息，所述邻接信息将每个二维反射像点相关到相邻点，

针对每个二维反射像点计算三维方向，

基于所述二维反射像点计算所述物体的第一反射表面和第二反射表面的每一个的三维表面形状的估计，以及

使将所述三维表面形状的估计连接到先前估计的三维表面形状估计的曲线的曲率函数最小化。

22.根据权利要求21所述的系统，其中第一反射像图案和第二反射像图案各自包括与所述物体的所述两个反射表面层的形状相关的信息。

23.根据权利要求21所述的系统，其中，所述偏振滤光器在所述图像捕获设备捕获第一反射像图案和第二反射像图案之间的时刻旋转。

24.根据权利要求21所述的系统，其中，生成第一组二维反射像点和第二组二维反射像点包括在一个或多个像图案被所述偏振滤光器阻挡后对第一反射像图案和第二反射像图案进行像素化。

25.根据权利要求21所述的系统，其中，其中第一反射像图案对应于第一亮度值，第一亮度值与对应于第二反射像图案的第二亮度值不同。

26.根据权利要求21所述的系统，其中，第一反射像图案包括第一颜色，第一颜色与包括在第二反射像图案中的第二颜色不同。

27.根据权利要求21所述的系统，其中，所述偏振滤光器安装到所述图像捕获设备。

28.根据权利要求21所述的系统，其中，所述处理单元被进一步配置为：根据所述三维表面形状的估计生成表面等高线图。

29.根据权利要求21所述的系统，其中，第一反射像图案和第二反射像图案各自包括多个圆点。

30.根据权利要求21所述的系统，其中，所述曲线包括三次多项式函数。