CN114867984A - 三维形状计测装置、三维形状计测方法及程序 - Google Patents

Abstract

在具有照明单元、拍摄单元和计测单元的三维形状计测装置中，所述拍摄单元取得所述拍摄单元的拍摄方向或所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同且所述计测对象的规定部位处的包含所述照明光的反射光的强度和波长中的任意方在内的反射形态不同的多个图像，所述计测单元基于所述拍摄单元取得的所述多个图像，计测所述规定部位的三维形状。

Description

三维形状计测装置、三维形状计测方法及程序

技术领域

本发明涉及三维形状的测定装置、三维形状计测方法及程序。

背景技术

以往，在对安装于印刷基板的部件的焊料接合状态进行检查的技术领域等中，已知有基于所谓的彩色高光方式的三维形状的计测方法。彩色高光方式是指如下方法：以互不相同的入射角向基板照射多种颜色(波长)的光，在焊料表面显现与其法线方向对应的颜色特征(从照相机观察时处于正反射方向的光源的颜色)的状态下进行拍摄，由此将焊料表面的三维形状捕捉为二维的色相信息。

例如，在专利文献1中公开了一种将基于上述彩色高光方式的镜面物体的三维形状计测和基于所谓的相移法的漫反射物体的三维形状计测组合的基板检查装置。此外，相移法是通过分析将图案光投影到物体表面时的图案的变形来复原物体表面的三维形状的方法之一。

现有技术文献

专利文献

专利文献1：日本特开2016-11857号公报

发明内容

发明所要解决的课题

然而，在上述的基于彩色高光方式的三维形状的计测中，关于计测对象的表面的倾斜为何种程度，作为二维的色相信息能够以某种程度的精度进行计测，但关于该倾斜的“方向”，存在无法以二维进行判别的问题。即，以印刷基板的检查来说，难以根据二维的色相信息高精度地判定焊料表面的倾斜是相对于电极隆起(所谓的润湿隆起)还是相对于电极变低(所谓的不润湿的状态)。

本发明是鉴于上述那样的实际情况而完成的，其目的在于提供一种在三维形状计测中高精度地判别计测对象所包含的倾斜的方向的技术。

用于解决课题的手段

为了实现上述目的，本发明采用以下的结构。

本发明的三维形状计测装置的特征在于，所述三维形状计测装置具有：照明单元，其对计测对象照射照明光；拍摄单元，其对所述计测对象进行拍摄；以及计测单元，其基于从由所述拍摄单元拍摄到的图像得到的所述照明光的反射光的波长的差异，对所述计测对象的三维形状进行计测，所述拍摄单元取得所述拍摄单元的拍摄方向或所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像，并且所述多个图像是所述计测对象的规定部位处的包含所述反射光的强度和波长中的任意方在内的反射形态不同的多个图像，所述计测单元基于所述拍摄单元取得的所述多个图像，对所述规定部位的三维形状进行计测。

另外，在此所说的“计测”也包括通过计算进行测定的情况(以下相同)。另外，这里所说的“照明单元”与该单元的本来的用途无关，广泛地包括能够照射对计测对象进行照明的光的光源。通过这样的结构，与根据单一的图像对所述计测对象的三维形状进行计测的情况相比，能够高精度地对计测对象的三维形状进行计测。

另外，也可以是，所述规定部位是所述计测对象中包含倾斜的部位，所述计测单元基于构成所述反射光的所述反射形态分别不同的多个图像的各像素中的规定特征量在各图像间的差异，对所述规定部位的倾斜的方向进行计测。

另外，这里所说的“倾斜”不仅是指相对于水平面以直线定义的倾斜，还包括由曲线定义的广义的含义的倾斜。另外，包含该倾斜而成的斜面也理解为包括不仅包含平面还包含曲面的广义含义的斜面的意思。以下，在本说明书中理解为同样的含义。

若是这样的结构，则能够对计测对象所包含的倾斜的方向进行计测，因此能够高精度地计测该倾斜部分的三维形状。此外，作为规定特征量，能够例示各像素的亮度等。

另外，也可以是，所述拍摄单元从以所述计测对象为中心的一个圆周上的多个不同的位置拍摄所述计测对象，由此取得所述拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。若为这样的结构，则能够在所述照明单元包围所述计测对象的周围，对所述计测对象整体照射照明光的状态下，取得所述计测对象的规定部位处的所述反射光的反射形态不同的多个图像。

另外，若在所述圆周上设置多个拍摄单元，从多个方向同时拍摄被照射了所述照明光的计测对象，则能够缩短用于取得所述多个图像的时间。

另外，也可以是，所述照明单元从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射所述照明光，由此所述拍摄单元取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。根据这样的结构，即使仅在所述计测对象的正上方设置一个拍摄单元，也能够取得所述计测对象的规定部位处的所述反射光的反射形态不同的多个图像。因此，能够简化拍摄单元的结构。

另外，也可以是，所述照明单元配置为能够在以所述计测对象为中心的圆周方向上移动，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射照明光，由此所述拍摄单元取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

根据这样的结构，能够从圆周上的期望的位置向所述计测对象照射所述照明光，无论计测对象的规定部位的朝向以及形状如何，都能够从最适合于三维形状的计测的方向照射照明光。

另外，也可以是，所述照明单元以所述计测对象为中心配置成圆环状，构成为能够按将所述圆环分割为多个部分而形成的多个范围的每个范围调整所述照明光的发光强度，所述拍摄单元通过取得从所述多个范围中的至少一个范围对所述计测对象照射了所述照明光时的图像和从其他范围对所述计测对象照射了所述照明光时的图像，由此取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

另外，这里所说的“发光强度”也包括强度为0、即不发光的情况，发光强度的调整也包括发光的开启/关闭(ON/OFF)。如果是这样的结构，则只要以覆盖所述计测对象的周围的方式配置所述照明单元来划分区域即可，因此与以能够移动的方式配置照明单元相比，能够简化装置结构。

另外，也可以是，所述三维形状装置还具有投影单元，所述投影单元对所述计测对象投影规定的图案光，所述拍摄单元还取得被投影了所述图案光的所述计测对象的图案投影图像，所述计测单元基于所述计测对象的规定部位处的所述反射光的所述反射形态不同的多个图像以及所述图案投影图像，计测所述规定部位的三维形状。

如果是这样的结构，则即使在所述规定部位存在不是镜面结构的结构的情况下，也能够通过相移法计测该结构的三维形状。另外，通过与基于所述多个图像的三维形状的计测组合，能够提高计测的精度。

另外，也可以是，所述照明单元从铅垂方向到水平方向之间的多个不同的角度分别对所述计测对象照射波长不同的照明光，所述计测单元根据所述拍摄单元所取得的至少一个图像中的、所述波长不同的照明光各自的反射光的所述反射形态，计测所述规定部位的倾斜的程度。如果是这样的结构，则能够通过所谓的彩色高光方式来计测所述规定部位的倾斜的程度，因此通过倾斜的程度(包括有无)和倾斜的方向的计测，能够进行高精度的三维计测。

另外，也可以是，所述三维形状计测装置还具有图像显示单元，所述图像显示单元显示根据所述拍摄单元取得的所述多个图像制作的合成图像，所述合成图像是实施了以不同的颜色和/或纹样至少对所述规定部位处的所述倾斜的方向的差异进行区分显示的图像处理的图像。另外，所述合成图像也可以是实施了以不同的颜色和/或纹样对所述规定部位的所述倾斜的程度和方向的差异进行区分显示的图像处理的图像。

以往，例如在使用了彩色高光方式的三维形状计测装置中，已知有将该照明光的反射形态显示为图像的技术，由此用户能够在视觉上识别计测对象的倾斜的程度的差异。然而，根据该技术，也无法识别计测对象的倾斜的方向，因此例如在基于该图像进行计测装置的示教、检查基准的设定等时，进行了更安全的(即，严格的)参数设定。

另一方面，根据具有上述那样的图像显示单元的三维形状计测装置的结构，用户通过参照图像，能够在视觉上识别所述计测对象中的倾斜的方向。即，对于具有倾斜的部位，能够用更多的要素进行识别，能够按该识别出的每个要素设定参数。由此，还能够以更高的精度调整三维形状计测装置的设定(例如检查基准)。

另外，所述合成图像也可以是对作为合成的基础的各图像中的表示所述计测对象的同一部位的像素的规定特征量的值进行比较，从该值最大的图像中挑选所述像素而合成的图像。

另外，本发明的三维形状的计测方法具有如下步骤：照射步骤，对计测对象照射照明光；拍摄步骤，取得所述照明光的照射方向或拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像，并且所述多个图像是所述计测对象的规定部位处的包含所述照明光的反射光的强度和波长中的任意方在内的反射形态不同的多个图像；以及计测步骤，基于在所述拍摄步骤中取得的所述多个图像，对所述规定部位的三维形状进行计测。

另外，也可以是，所述规定部位是所述计测对象中包含倾斜的部位，在所述计测步骤中，基于构成所述反射光的所述反射形态分别不同的多个图像的各像素中的规定特征量在各图像间的差异，对所述规定部位的倾斜的方向进行计测。

另外，也可以是，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射所述照明光，在所述拍摄步骤中，取得所述反射光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

另外，也可以是，在所述拍摄步骤中，从以所述计测对象为中心的一个圆周上的多个不同的位置拍摄所述计测对象，由此取得所述拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

另外，也可以是，所述计测方法还具有对所述计测对象投影规定的图案光的投影步骤，在所述拍摄步骤中，还取得被投影了所述图案光的所述计测对象的图案投影图像，在所述计测步骤中，基于所述计测对象的规定部位处的所述反射光的所述反射形态不同的多个图像以及所述图案投影图像，对所述规定部位的三维形状进行计测。

另外，也可以是，在所述照明步骤中，从铅垂方向至水平方向之间的多个不同的角度分别对所述计测对象照射波长不同的照明光，在所述计测步骤中，根据在所述拍摄步骤中取得的至少一个图像中的、所述波长不同的照明光各自的反射光的所述反射形态，对所述规定部位的倾斜的程度进行计测。

也可以是，还具有合成图像显示步骤，显示将在所述拍摄步骤中取得的所述多个图像合成而制作的合成图像，所述合成图像是实施了以不同的颜色和/或纹样至少对所述规定部位的所述倾斜的方向的差异进行区分显示的图像处理的图像。另外，所述合成图像也可以是实施了以不同的颜色和/或纹样对所述规定部位的所述倾斜的程度和方向的差异进行区分显示的图像处理的图像。另外，所述合成图像也可以是对作为合成的基础的各图像中的表示所述计测对象的同一部位的像素的规定特征量的值进行比较，从该值最大的图像中挑选所述像素而合成的图像。

另外，本发明也能够理解为用于使三维形状计测装置执行上述的方法的程序、非暂时性地记录了这样的程序的计算机可读取的记录介质。

另外，上述各个结构以及处理只要不产生技术上的矛盾就能够相互组合而构成本发明。

发明效果

根据本发明，能够提供在三维形状计测中高精度地判别计测对象所包含的倾斜的方向的技术。

附图说明

[图1]图1是表示本发明的应用例的三维形状计测装置的结构的示意图。

[图2]图2是表示本发明的应用例的三维形状计测装置的三维形状计测处理的流程的流程图。

[图3]图3是表示实施方式1的基板检查装置的硬件结构的示意图。

[图4]图4是说明实施方式1的信息处理装置的功能的框图。

[图5]图5是说明实施方式1的照明装置的结构的平面图。

[图6]图6的(A)是说明作为计测对象的基板的焊接部的侧视图。图6的(B)是基板的焊接部的第一彩色高光图像。图6的(C)是基板的焊接部的第二彩色高光图像。图6的(D)是基板的焊接部的第三彩色高光图像。图6的(E)是基板的焊接部的彩色高光合成图像。

[图7]图7是表示实施方式1的基板检查装置的基板检查处理的流程的流程图。

[图8]图8是表示实施方式1的变形例的检查单元的概略结构的示意图。

[图9]图9是表示实施方式2的基板检查装置的硬件结构的示意图。

[图10]图10是表示实施方式2的基板检查装置的基板检查处理的流程的流程图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

<应用例>

(应用例的结构)

本发明例如能够应用于图1所示那样的三维形状计测装置。图1是表示本应用例的三维形状计测装置9的概略结构的概略示意图。三维形状计测装置9是对计测对象O的三维形状进行测定的装置，如图1所示，作为主要结构，具有作为照明单元的照明装置91、作为拍摄单元的照相机92、作为计测单元的信息处理装置93(例如计算机)。

照明装置91构成为能够对计测对象照射多个不同波长的光，在本应用例中具备红色光源911R、绿色光源911G、蓝色光源911B这3个不同的光源。红色光源911R、绿色光源911G、蓝色光源911B分别配置在不同的高度(图中的Z轴方向)，由此，光相对于计测对象O的入射角分别不同。另外，以下也将从照明装置91照射的来自各光源的光统称为RGB照明光。照明装置91构成为从图中绕Z轴的不同位置对计测对象O照射RGB照明光。

照相机92是拍摄被照射了RGB照明光的状态的计测对象O并输出数字图像的拍摄单元。另外，以下，将由拍摄单元拍摄到的图像也表述为观测图像。照相机92例如构成为具有光学系统和图像传感器。

信息处理装置93具有照明装置91、照相机92及输送机构的控制、对从照相机92取入的图像的处理、三维形状计测等功能，相当于本发明中的计测单元。信息处理装置93能够由具备CPU(Central Processing Unit)、RAM(Random Access Memory)、非易失性的存储装置(例如，硬盘驱动器、闪存等)、输入装置(例如，键盘、鼠标、触摸面板等)、显示装置(例如，液晶显示器等)的计算机构成。

另外，照明装置91以及照相机92的结构只要能够通过照相机92拍摄计测对象O中具有倾斜的部位OP处的RGB照明光的反射形态不同的多个图像，则能够自由地构成。例如，也可以将照相机92配置在计测对象O的正上方，将照明装置91配置为绕以计测对象O为中心的图中Z轴的环状，并且分割为多个区域，能够按每个区域调整各光源的发光的开启/关闭(ON/OFF)。

这样，如果在从一个区域照射RGB照明光时，在将其他区域的光源的发光设为关闭(或者减弱发光强度)的状态下利用照相机92拍摄计测对象O，并切换发光的区域再进行拍摄，则能够拍摄计测对象O中具有倾斜的部位OP处的RGB照明光的反射形态不同的多个图像。

另外，也可以不将照明装置91设为环状，而是设置移动机构使照明装置91能够在绕图中Z轴的圆周方向上移动。此时，通过使照明装置91移动至期望的位置而对计测对象O照射RGB照明光，在各个位置利用照相机92进行拍摄，从而能够拍摄计测对象O中具有倾斜的部位OP处的RGB照明光的反射形态不同的多个图像。

另外，也可以不将照相机92配置在计测对象O的正上方，而是朝向计测对象O的中心倾斜地配置，设置移动机构使照相机92能够在绕图中Z轴的圆周方向上移动。另外，也可以不设置移动机构而在绕图中Z轴的圆周方向的不同位置配置多个照相机92。

在具有以上那样的结构的三维形状计测装置9中进行计测对象O的三维形状的测定时，通过照相机92拍摄多个从照明装置91被照射了RGB照明光的状态的计测对象O的图像，信息处理装置93通过彩色高光方式等方法对拍摄到的图像进行图像处理，由此对计测对象O的三维形状进行计测。

(控制装置的功能)

接着，对与信息处理装置93的三维形状计测有关的功能进行说明。信息处理装置93具有图像取得部931、特征量提取部932、特征量比较部933、合成数据制作部934和三维形状计测部935，作为与三维形状计测有关的功能模块。

图像取得部931是从照相机92取入在三维形状计测中使用的多个观测图像的功能，例如，取得向计测对象O照射的RGB照明光的朝向以计测对象O为中心在圆周上相差180度的形态的两张图像。在本应用例中，将一方的观测图像称为观测图像a，将另一方的图像称为观测图像b。

特征量提取部932从所取得的各观测图像中提取该观测图像的各像素所具有的特征量(例如亮度值)。在本应用例中，将从观测图像a提取的特征量数据作为特征量数据a，将从观测图像b提取的特征量数据作为特征量数据b进行说明。

特征量比较部933将由特征量提取部932提取的特征量数据a与特征量数据b进行比较。更具体而言，在各观测图像中对表示计测对象O的同一部位的像素彼此的特征量的值进行比较，确定其值较大的像素是观测图像a和观测图像b中的哪一个图像的像素。在此，在特征量为亮度的情况下，确定更明亮的、即更多的光入射到照相机92的一方的图像。而且，在计测对象O中存在具有倾斜的部位的情况下，从与该倾斜对置的方向照射RGB照明光时的图像的像素变得更明亮，因此能够据此确定该倾斜的朝向。

合成数据制作部934根据观测图像a和观测图像b制作三维形状计测用的合成数据。具体而言，根据观测图像a和观测图像b，将由特征量比较部933确定的特征量的值大的一方的像素彼此与是哪个图像的像素的信息相关联地合成，制作三维形状的轮廓数据。由此，能够得到确定了计测对象O中具有倾斜的部位的朝向的三维形状计测用的轮廓数据。

三维形状计测部935基于由合成数据制作部934制作的合成数据对计测对象O的三维形状进行计测。

(三维形状计测处理的流程)

接着，参照图2，对本应用例中的三维形状计测的步骤进行说明。首先，信息处理装置93控制照明装置91，从以计测对象O为中心的圆周上的第一方向对计测对象O照射RGB照明光(步骤S901)。接着，信息处理装置93控制照相机92，拍摄被从第一方向照射了RGB照明光的状态的计测对象O，取得第一图像(步骤S902)。

接着，信息处理装置93控制照明装置91，从隔着计测对象O与所述第一方向对置的第二方向对计测对象O照射RGB照明光(步骤S903)。接着，信息处理装置93控制照相机92，拍摄被从第二方向照射了RGB照明光的状态的计测对象O，取得第二图像(步骤S904)。

接着，信息处理装置93从所取得的第一图像以及第二图像提取各图像的像素所具有的特征量(步骤S905)，比较该提取出的特征量，使用具有更大的特征量的像素来制作三维形状计测用的合成数据(S906)。然后，基于所制作的合成数据，对计测对象O的三维形状进行计测(步骤S907)，结束一系列的处理。此外，也可以将计测结果显示于未图示的显示装置。

通过以上那样的本应用例的三维形状计测装置9的结构，在计测对象O中存在具有倾斜的部位OP的情况下，除了该倾斜的程度之外，还能够基于确定了倾斜的方向的三维形状轮廓数据，进行高精度的三维形状的计测。

<实施方式1>

接着，对作为用于实施本发明的方式的其他例子的基板检查装置1进行说明。但是，该实施方式所记载的结构部件的尺寸、材质、形状、其相对配置等只要没有特别记载，就不意味着将本发明的范围仅限定于此。

(基板检查装置的硬件结构)

参照图3，对本发明的实施方式的基板检查装置的整体结构进行说明。图3是表示基板检查装置的硬件结构的示意图。该基板检查装置1用于表面安装生产线上的基板外观检查(例如，回流后的焊料接合状态的检查等)。

基板检查装置1具备工作台10、计测单元11、控制装置12、信息处理装置13、显示装置14作为主要结构。计测单元11具有照相机110、照明装置111和图案投影装置(投影仪)112。

工作台10是用于保持基板K并使作为检查对象的部件KB、焊料KH与照相机110的计测位置对位的机构。如图3所示，在与工作台10平行地取X轴和Y轴、与工作台10垂直地取Z轴的情况下，工作台10至少能够进行X方向和Y方向这2个轴的平移。照相机110以光轴与Z轴平行的方式配置，从铅垂上方拍摄工作台10上的基板K。由照相机110拍摄到的图像数据被取入到信息处理装置13。

照明装置111(111R、111G、111B)是对基板K照射不同颜色(波长)的照明光的照明单元。图3是示意性地表示照明装置111的XZ截面的图，实际上，照明装置111呈圆环状或圆顶形状，以能够从全方位(绕Z轴的所有方向)照明相同颜色的光。投影仪112是对基板K投影具有规定图案的图案光的图案投影单元。投影仪112通过设置于照明装置111的中腹的开口投射图案光。投影仪112的数量可以是一个，也可以设置多个投影仪112。在本实施方式中，在不同的方位(对角的位置)配置有2个投影仪112。照明装置111和投影仪112均是在利用照相机110拍摄基板K时使用的照明系统，照明装置111用于计测焊料等镜面物体的表面形状，投影仪112用于计测部件等漫反射物体的表面形状。

控制装置12是控制基板检查装置1的动作的控制单元，负责工作台10的移动控制、照明装置111的点亮及调光控制、投影仪112的点亮控制、图案变更、照相机110的拍摄控制等。

信息处理装置13是具有如下功能的装置：使用从照相机110取入的图像数据，取得与部件KB、焊料KH有关的各种计测值，或者检查部件KB的焊料接合的状态。显示装置14是显示由信息处理装置13得到的计测值、检查结果的装置。信息处理装置13例如能够由具有CPU、RAM、非易失性的存储装置、输入装置的通用的计算机构成。另外，在图3中，用不同的框表示了控制装置12、信息处理装置13和显示装置14，但它们既可以由分体的装置构成，也可以由单一的装置构成。

(功能结构)

图4是表示与信息处理装置13提供的检查处理有关的功能模块的结构的框图。这些功能模块通过信息处理装置13的CPU读入并执行辅助存储装置中保存的程序来实现。但是，也可以由ASIC、FPGA等电路构成全部或者一部分的功能。

图像取得部131是从照相机110取入图像数据的功能模块。焊料形状计测部132是根据二维的图像数据来复原焊料等镜面物体部分的三维形状的功能模块，部件形状计测部133是根据二维的图像数据来复原部件等漫反射物体部分的三维形状的功能模块。稍后将描述在各个复原处理中使用的图像数据和复原算法。

检查部134是基于由焊料形状计测部132和部件形状计测部133得到的三维形状数据，计测与焊料KH、部件KB的形状有关的各种指标，使用这些计测值来检查焊料接合的状态的功能模块。检查程序存储部135是保存定义了检查部134中的检查的项目、条件等的检查程序的功能模块。在检查程序中，例如定义有检查对象的焊盘的位置以及尺寸、部件的尺寸、计测的指标的种类、每个指标的判定基准值(用于判定合格品和不合格品的阈值、值域)等。输出处理部136是将由检查部134得到的计测值、检查结果、部件KB、焊料KH的三维形状等向显示装置14等进行外部输出的功能模块。

以下，在分别说明了焊料KH(镜面物体)的三维形状的复原方法和部件KB(漫反射物体)的三维形状的复原方法之后，说明信息处理装置13的检查处理的流程。

(焊料的三维形状计测)

在计测焊料KH的三维形状时，使用通过所谓的彩色高光方式得到的图像。彩色高光方式是指如下方法：以互不相同的入射角向基板照射多种颜色(即波长)的光，在焊料表面显现与其法线方向对应的颜色特征(即，从照相机观察处于正反射方向的光源的颜色)的状态下进行拍摄，由此将焊料表面的三维形状捕捉为二维的色相信息。能够从图像中仅提取出现R、G、B的光源色的区域，基于R、G、B的各区域的形状、宽度、顺序来复原焊料三维形状。此外，三维形状的复原能够使用公知的方法，因此在此省略详细的说明。

首先，参照图5，说明在彩色高光方式中使用的照明装置111的结构。图5是示意性地表示照明装置111的各光源111R、111G、111B的配置关系的平面概略图。照明装置111具有将红色光源111R、绿色光源111G、蓝色光源111B这3个圆环状的光源以照相机110的光轴为中心配置成同心圆状的构造。各光源111R、111G、111B以相对于基板K的入射角按照红色光、绿色光、蓝色光的顺序变大的方式调整仰角以及朝向。这样的照明装置111例如能够通过在圆顶形状的扩散板的外侧将R、G、B各色的LED排列成圆环状而形成。

另外，如图5所示，照明装置111被四等分，分为第一照明区域111a、第二照明区域111b、第三照明区域111c、第四照明区域111d这4个区域。而且，红色光源111R、绿色光源111G、蓝色光源111B能够按各个区域调节发光的强度(包括ON/OFF，以下相同)。这样，通过将照明装置111分为4个区域，能够通过发光的区域的组合而从8个方向对基板K照射照明光。具体而言，是仅点亮4个区域中的1个区域的情况下的4个方向和点亮相邻的2个区域的情况下的4个方向。此外，关于点亮的区域的组合数，包括全点亮的情况在内为13。

当在使照明装置111点亮的状态下，利用照相机110对基板K进行拍摄时，在作为镜面物体的焊料KH的部分出现与其法线方向(倾斜角)对应的颜色特征。例如，在焊料KH的倾斜随着远离部件电极而变缓的情况下，在焊料KH的区域出现B→G→R这样的色相的变化。R、G、B各颜色的区域的形状、宽度、出现的顺序等依赖于焊料KH的表面形状而变化。

参照图6，对在点亮了本实施方式的照明装置111的状态下利用照相机110拍摄基板时能够取得的焊料部分的图像进行说明。图6的(A)是从侧面观察基板K上的部件KB的电极部分和与其接合的焊料部分(以下，称为焊接部)的图。如图6的(A)所示，该事例的焊料KH相对于从部件KB延伸的电极未充分融合，接触面积变少(即，为不润湿的状态)。

图6的(B)是在照明装置111的整个区域点亮照明进行拍摄的情况下的焊接部的图像。在图6的(B)中，示出了R、G、B的各颜色的区域。根据图6的(B)所示的图像，能够推测在焊料与电极的接合部存在倾斜(所定义的斜面)，但无法判别该斜面朝向哪个方向(即，是润湿隆起还是不润湿的状态)。此外，在部件KB主体、电极的表面，漫反射为支配性的，所以不是出现R、G、B那样的光源颜色，而是出现与用白色光照明时相同的物体自身的颜色。

在此，本实施方式的照明装置111能够按分为4个的每个区域进行光源的ON/OFF，因此，如果仅使照明装置111中的图6的焊料KH端部侧的区域(第二照明区域111b以及第四照明区域111d)点亮来拍摄焊接部，则能够取得图6的(C)那样的图像(以下，称为第一彩色高光图像)。

另外，如果仅使照明装置111中的图6的部件KB侧的区域(第一照明区域111a以及第三照明区域111c)点亮来拍摄焊接部，则能够取得图6的(D)那样的图像(以下，称为第二彩色高光图像)。

然后，信息处理装置13从第一彩色高光图像以及第二彩色高光图像的数据中提取各像素所具有的亮度值，对亮度值更大的像素进行合成，由此制作合成数据。另外，关于该合成数据的性质以及合成数据制作的处理，由于与在应用例中说明的内容相同，因此省略详细的说明。总之，通过使用该合成数据，能够判别焊料KH与电极的接合部的斜面的方向。

图6的(E)表示基于这样制作的合成数据而制作的合成图像(以下，称为彩色高光合成图像)的例子。在彩色高光合成图像中，采用了第一彩色高光图像的R、G、B区域的像素的部位直接以红色(R)、绿色(G)、蓝色(B)来显示，采用了第二彩色高光图像的R、G、B区域的像素的部位以品红色(M)、黄色(Y)、青色(C)来表现。另外，合成图像中的颜色的选择是完全任意的，并不限于这6个颜色，但通过使用虽然是不同的颜色系统但类似的颜色，能够直观地掌握倾斜的程度相同的情况和作为基础的图像不同(即倾斜的朝向不同)的情况。

如果这样的彩色高光合成图像例如能够由显示装置14显示，则用户能够观察彩色高光合成图像，而容易地掌握焊接部的状态。

(部件的三维形状计测)

另一方面，在作为漫反射物体的部件KB的三维形状的计测中，利用相移法。相移法是通过分析将图案光投影到物体表面时的图案的变形来复原物体表面的三维形状的方法之一。具体而言，在使用投影仪112将规定的图案(例如，亮度呈正弦波状变化的条纹状图案)投影到基板的状态下利用照相机110进行拍摄。于是，在基板K的表面出现与其凹凸对应的图案的变形(另外，在焊料KH的部分，镜面反射为支配性的，因此几乎无法观测图案)。通过一边改变图案光的亮度变化的相位一边多次重复该处理，获得具有不同亮度特征的多个图像(以下称为图案分析图像)。各图像的同一像素的亮度应该以与条纹状图案的变化相同的周期变化，因此通过对各像素的亮度的变化应用正弦波，可知各像素的相位。然后，通过求出相对于规定的基准位置(工作台表面、基板表面等)的相位的相位差，能够计算出距该基准位置的距离(即，高度)。

(检查处理的流程)

接着，使用图7，对在基板检查装置1中进行的检查处理的流程进行说明。图7是表示检查处理的流程的流程图。

首先，控制装置12按照检查程序来控制工作台10，使检查对象的部件KB以及焊料KH移动到计测位置(照相机110的视野)(步骤S101)。然后，控制装置12点亮照明装置111的一部分区域(步骤S102)，在照射了红色光、绿色光、蓝色光的状态下利用照相机110进行拍摄(步骤S103)。所得到的图像数据(第一彩色高光图像)通过图像取得部131被取入到信息处理装置13。

在照明装置111熄灭后，控制装置12进一步点亮与照明装置111的之前的发光区域对置的区域(步骤S104)，在照射了高光照明光的状态下进行照相机110的拍摄(步骤S105)。在此得到的图像数据(第二彩色高光图像)通过图像取得部131被取入到信息处理装置13。

接着，控制装置12从投影仪112投影图案光(步骤S106)，利用照相机110进行拍摄(步骤S107)。在利用相移法的情况下，一边改变图案光的相位一边执行多次步骤S106及S107的处理。所得到的多张图像数据由图像取得部131取入到信息处理装置13。另外，在本实施方式中，先执行基于照明装置111的拍摄，但也可以先执行基于投影仪112的拍摄。另外，在照相机110的视野外存在其他检查对象的情况下，也可以反复执行步骤S101～S107的处理。

以后，成为由信息处理装置13进行的处理。焊料形状计测部132从在步骤S103和步骤S105中得到的图像提取各像素的亮度值来制作上述的合成数据，基于该合成数据来复原焊料KH(和部件KB的电极)的三维形状(步骤S108)。复原后的三维形状的数据例如以将焊料KH区域内的各像素的高度(Z位置)用像素值表现的图像数据(称为高度图)的形式保存。另一方面，部件形状计测部133根据在步骤S107中得到的图案图像，通过相移法复原部件KB的三维形状(步骤S109)。关于部件KB的三维形状数据，也以高度图的形式保存。通过将这些高度图合成，能够得到表示作为镜面物体的焊料KH和作为漫反射物体的部件KB双方的高度信息的整体高度图。

然后，检查部134根据整体高度图和检查程序的阈值，实施基板K的检查(步骤S110)。当检查结束时，显示装置14显示视觉上表现了检查的结果以及在步骤S108中制作的合成数据的彩色高光合成图像(步骤S111)，结束一系列的处理。

根据以上所述的本实施方式的基板检查装置，由于对作为镜面物体的焊料的三维形状和作为漫反射物体的部件电极分别通过适合于它们的方法来复原，因此能够针对焊料和部件电极双方得到精度高的三维形状数据。另外，在复原焊料的三维形状时，通过使用多个彩色高光图像来制作合成数据，从而确定具有倾斜的部位的该倾斜面的朝向来复原三维形状，因此能够高精度地复原焊料的斜面的形状。

(变形例)

另外，在上述实施方式1中，照明装置111形成为以Z轴为中心的圆环状，但不一定必须是这样的结构。图8是表示本实施方式的变形例的计测单元21的概略结构的说明图。本变形例的计测单元21具备照明装置211以及作为使投影仪212移动的单元的移动机构25。此外，在本变形例中，对与实施方式1相同的结构使用相同的附图标号，省略详细的说明。

本变形例中的移动机构25具备：中空圆筒状的旋转机构251，其被由控制装置12控制的马达(未图示)驱动；以及基准板252，其组装于旋转机构251并支承照明装置211。旋转机构251由壳体251a和旋转体251b构成，壳体251a的上部固定于装置框架26。此外，图8是为了容易掌握移动机构25的内部构造而成为局部剖视图，实际的照相机110配置在旋转机构251的中空内，从侧面无法视觉辨认。

旋转机构251构成为例如通过齿轮传递马达的旋转，由此旋转体251b以沿Z轴方向延伸的旋转轴为中心在360度的范围内旋转。当该旋转体251b旋转时，组装于旋转机构251的基准板252也旋转，由此，卡定于基准板252的照明装置211以及投影仪212在以圆筒状的旋转机构251的旋转轴为中心的圆周上旋转移动。即，在与旋转机构251的旋转轴同轴上配置有基板K的情况下，照明装置211以及投影仪212以基板K为中心在由XY轴定义的平面上旋转移动。本变形例的其他硬件结构、处理等与实施方式1相同，因此省略图示以及说明。

通过这样的结构，能够将照明装置211以及投影仪212配置在以基板K为中心的圆周的任意位置，进行照明光的照射、图案的投影，因此能够取得多个彩色高光图像以及图案投影图像。另外，无论基板K的部件以及焊料的朝向如何，都能够为了三维形状的计测而从最佳的方向照射照明光、图案。

<实施方式2>

接着，对第二实施方式进行说明。图9是本实施方式的基板检查装置3的概略结构图。如图9所示，基板检查装置3大致具备检查单元31、控制装置32、信息处理装置33、显示装置34。基板检查装置3与实施方式1的基板检查装置1相比，在照相机的台数和配置位置、以及没有投影仪这一点上不同。即，关于其他的控制装置32、信息处理装置33、显示装置34的结构，由于与实施方式1的基板检查装置1大致相同，因此省略详细的说明。

检查单元31构成为包括工作台30、照相机310a、310b、照明装置311、移动机构35以及装置框架36。移动机构35是具备旋转机构351(壳体351a、旋转体351b)、基准板352的结构，由于是与上述的实施方式1的变形例的移动机构相同的结构，因此省略详细的说明。对于工作台30、装置框架36也是同样的。

照相机310a、310b在移动机构35的基准板352上分别以拍摄基板K的方式配置在基准板352的对角的位置。另外，照明装置311是对基板K照射不同波长的照明光的照明单元，实际上，照明装置111呈圆环状或圆顶形状，以能够从全方位(绕Z轴的所有方向)照明相同波长的光。此外，本实施方式的照明装置311并不具有被分割的区域，RGB照明光的照射作为整体一并进行。

即，在实施方式1中，将照相机固定于计测对象的铅垂上方，改变RGB照明光的照射的方向而进行多次拍摄，由此取得RGB照明光的反射形态不同的多个图像，但在本实施方式中，通过取得多个拍摄的方向不同的图像来取得RGB照明光的反射形态不同的多个图像。

接着，使用图10说明由基板检查装置3进行的检查处理的流程。图10是表示检查处理的流程的流程图。

首先，控制装置32按照检查程序来控制工作台30，使作为检查对象的部件以及焊料移动到计测位置(步骤S201)。然后，控制装置32点亮照明装置311(步骤S202)，在照射了红色光、绿色光、蓝色光的状态下，控制移动机构35使2台照相机310a、310b移动到适当的位置(步骤S203)。然后，利用2台照相机同时进行拍摄(步骤S204)。所得到的多个图像数据(彩色高光图像)被取入到信息处理装置33。

然后，信息处理装置33从多个彩色高光图像提取特征量来制作合成数据(步骤S205)，基于该合成数据执行检查(步骤S206)。然后，将检查的结果、根据合成数据制作的合成图像等显示于显示装置(步骤S207)，结束一系列的处理。另外，根据多个彩色高光图像制作合成数据的处理与实施方式1相同，因此省略说明。

根据本实施方式的检查装置3，能够一次完成用于制作合成数据的彩色高光图像的拍摄，因此能够缩短检查所花费的时间。

此外，在本实施方式的基板检查装置3中，构成为不具备投影仪，但也可以具备投影仪来取得图案投影图像。

<其他>

上述各实施方式只不过是例示性地说明本发明，本发明并不限定于上述的具体的方式。本发明能够在其技术思想的范围内进行各种变形。例如，在上述的各实施方式中，以通过彩色高光方式对计测对象中的倾斜的程度进行计测的装置为前提，但为了计测倾斜的方向，不需要照射波长不同的多个照明光。因此，例如，通过取得仅从以计测对象为中心而对置的方向的一方照射了期望的波长的光而得到的图像、和仅从另一方照射了同样的照明光而得到的图像，对它们的特征量进行比较，从而能够对计测对象中的倾斜的方向进行计测。

具体而言，例如也可以从投影仪向计测对象照射不包含图案的光，基于照射该光而得到的多个图像对计测对象的倾斜的方向进行计测。即，能够将从投影仪对计测对象照射的不包含图案的光作为本发明的“照明光”。在这样的情况下，能够将投影仪构成为兼作用于基于相移法的计测的图案光的投影单元和用于计测对象的倾斜方向计测的照明单元。另外，当然也可以对它们组合彩色高光图像，一并计测倾斜的程度。

另外，在上述的实施方式1中，基于彩色高光图像来计测镜面物体的三维形状，基于图案投影图像来计测漫射物体的三维形状，但未必需要这样，也可以在基于各图像制作了用于对计测对象整体的形状进行计测的2个轮廓数据的基础上，合成这些数据。

另外，在实施方式1中，也可以是不具备投影仪的装置结构。通过仅利用彩色高光方式进行计测对象的三维形状的计测，能够简化装置结构，能够缩短用于检查的时间。另外，也可以是除了投影仪和彩色高光用的光源之外还设置有照明单元的装置结构。

另外，如上所述用于照明装置的光源所使用的波长也不限定于R、G、B，能够采用任意波长的光。另外，在上述实施方式中，显示装置所显示的图像也与照明光相应地以红色(R)、绿色(G)、蓝色(B)、品红色(M)、黄色(Y)、青色(C)进行区分显示，但并不限定于此。例如，也能够将本发明应用于不基于彩色高光方式的计测装置，在该情况下，上述的颜色区分没有意义，因此也可以进行基于不同的颜色和/或纹样的区分显示。

<附记>

本发明的一个方式是一种三维形状计测装置，其特征在于，具有：照明单元(91)，其对计测对象(O)照射照明光；拍摄单元(92)，其对所述计测对象进行拍摄；以及计测单元(93)，其基于从由所述拍摄单元拍摄到的图像得到的所述照明光的反射光的波长的差异，对所述计测对象的三维形状进行计测，所述拍摄单元取得所述拍摄单元的拍摄方向或所述照明光的照射方向的相对于所述计测对象的绕铅垂轴的角度不同且所述计测对象的规定部位处的包含所述反射光的强度和波长中的任意方在内的反射形态不同的多个图像，所述计测单元基于所述拍摄单元取得的所述多个图像，对所述规定部位的三维形状进行计测。

另外，本发明的另一方式是一种三维形状的计测方法，具有：照射步骤(S901、S903)，对计测对象照射照明光；拍摄步骤(S902、S904)，取得所述照明光的照射方向或拍摄方向的、相对于所述计测对象的绕铅垂轴的角度不同且所述计测对象的规定部位处的包含所述照明光的反射光的强度和波长中的任意方在内的反射形态不同的多个图像；以及计测步骤(S907)，基于在所述拍摄步骤中取得的所述多个图像，计测所述规定部位的三维形状。

标号说明

1、3：基板检查装置；9：三维形状计测装置；10、30：工作台；11、31：检查单元；110、310、92：照相机；111、211、311、91：照明装置；12、32：控制装置；13、33、93：信息处理装置；14、34：显示装置；25、35：移动机构；K：基板；O：测定对象物。

Claims (21)

1.一种三维形状计测装置，其特征在于，所述三维形状计测装置具有：

照明单元，其对计测对象照射照明光；

拍摄单元，其对所述计测对象进行拍摄；以及

计测单元，其基于从由所述拍摄单元拍摄到的图像得到的所述照明光的反射光的波长的差异，对所述计测对象的三维形状进行计测，

所述拍摄单元取得所述拍摄单元的拍摄方向或所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像，并且所述多个图像是所述计测对象的规定部位处的包含所述反射光的强度和波长中的任意方在内的反射形态不同的多个图像，

所述计测单元基于所述拍摄单元取得的所述多个图像，对所述规定部位的三维形状进行计测。

2.根据权利要求1所述的三维形状计测装置，其特征在于，

所述规定部位是所述计测对象中包含倾斜的部位，

所述计测单元基于构成所述反射光的所述反射形态分别不同的多个图像的各像素中的规定特征量在各图像间的差异，对所述规定部位的倾斜的方向进行计测。

3.根据权利要求1或2所述的三维形状计测装置，其特征在于，

所述拍摄单元从以所述计测对象为中心的一个圆周上的多个不同的位置拍摄所述计测对象，由此取得所述拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

4.根据权利要求1或2所述的三维形状计测装置，其特征在于，

所述照明单元从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射所述照明光，

由此所述拍摄单元取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

5.根据权利要求4所述的三维形状计测装置，其特征在于，

所述照明单元配置为能够在以所述计测对象为中心的圆周方向上移动，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射照明光，

由此所述拍摄单元取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

6.根据权利要求4所述的三维形状计测装置，其特征在于，

所述照明单元以所述计测对象为中心配置成圆环状，构成为能够按将所述圆环分割为多个部分而形成的多个范围的每个范围调整所述照明光的发光强度，

所述拍摄单元取得从所述多个范围中的至少一个范围对所述计测对象照射所述照明光时的图像和从其他范围对所述计测对象照射所述照明光时的图像，由此取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

7.根据权利要求1至6中的任一项所述的三维形状计测装置，其特征在于，

所述三维形状计测装置还具有投影单元，所述投影单元对所述计测对象投影规定的图案光，

所述拍摄单元还取得被投影了所述图案光的所述计测对象的图案投影图像，

所述计测单元基于所述计测对象的规定部位处的所述反射光的所述反射形态不同的多个图像以及所述图案投影图像，对所述规定部位的三维形状进行计测。

8.根据权利要求2所述的三维形状计测装置，其特征在于，

所述照明单元从铅垂方向至水平方向之间的多个不同的角度分别对所述计测对象照射波长不同的照明光，

所述计测单元根据所述拍摄单元所取得的至少一个图像中的、所述波长不同的照明光各自的反射光的所述反射形态，对所述规定部位的倾斜程度进行计测。

9.根据权利要求2所述的三维形状计测装置，其特征在于，

所述三维形状计测装置还具有图像显示单元，所述图像显示单元显示根据所述拍摄单元取得的所述多个图像制作的合成图像，

所述合成图像是实施了以不同的颜色和/或纹样至少对所述规定部位处的所述倾斜的方向的差异进行区分显示的图像处理的图像。

10.根据权利要求8所述的三维形状计测装置，其特征在于，

所述三维形状计测装置还具有图像显示单元，所述图像显示单元显示根据所述拍摄单元取得的所述多个图像制作的合成图像，

所述合成图像是实施了以不同的颜色和/或纹样对所述规定部位的所述倾斜的程度和方向的差异进行区分显示的图像处理的图像。

11.根据权利要求9或10所述的三维形状计测装置，其特征在于，

所述合成图像是对作为合成的基础的各图像中的表示所述计测对象的同一部位的像素的规定特征量的值进行比较，从该值最大的图像中挑选所述像素而合成的图像。

12.一种三维形状计测方法，其具有如下步骤：

照射步骤，对计测对象照射照明光；

拍摄步骤，取得所述照明光的照射方向或拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像，并且所述多个图像是所述计测对象的规定部位处的包含所述照明光的反射光的强度和波长中的任意方在内的反射形态不同的多个图像；以及

计测步骤，基于在所述拍摄步骤中取得的所述多个图像，对所述规定部位的三维形状进行计测。

13.根据权利要求12所述的三维形状计测方法，其特征在于，

所述规定部位是所述计测对象中包含倾斜的部位，

在所述计测步骤中，基于构成所述反射光的所述反射形态分别不同的多个图像的各像素中的规定特征量在各图像间的差异，对所述规定部位的倾斜的方向进行计测。

14.根据权利要求12或13所述的三维形状计测方法，其特征在于，

在所述照射步骤中，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象照射所述照明光，

在所述拍摄步骤中，取得所述照明光的照射方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

15.根据权利要求12或13所述的三维形状计测方法，其特征在于，

在所述拍摄步骤中，从以所述计测对象为中心的一个圆周上的多个不同的位置拍摄所述计测对象，由此取得所述拍摄方向相对于所述计测对象的绕铅垂轴的角度不同的多个图像。

16.根据权利要求12至15中的任一项所述的三维形状计测方法，其特征在于，

所述三维形状计测方法还具有对所述计测对象投影规定的图案光的投影步骤，

在所述拍摄步骤中，还取得被投影了所述图案光的所述计测对象的图案投影图像，

在所述计测步骤中，基于所述计测对象的规定部位处的所述反射光的所述反射形态不同的多个图像以及所述图案投影图像，对所述规定部位的三维形状进行计测。

17.根据权利要求13所述的三维形状计测方法，其特征在于，

在所述照射步骤中，从铅垂方向至水平方向之间的多个不同的角度分别对所述计测对象照射波长不同的照明光，

在所述计测步骤中，根据在所述拍摄步骤中取得的至少一个图像中的、所述波长不同的照明光各自的反射光的所述反射形态，对所述规定部位的倾斜的程度进行计测。

18.根据权利要求13所述的三维形状计测方法，其特征在于，

所述三维形状计测方法还具有合成图像显示步骤：显示将在所述拍摄步骤中取得的所述多个图像合成而制作的合成图像，

所述合成图像是实施了以不同的颜色和/或纹样至少对所述规定部位的所述倾斜的方向的差异进行区分显示的图像处理的图像。

19.根据权利要求17所述的三维形状计测方法，其特征在于，

所述三维形状计测方法还具有合成图像显示步骤：显示将在所述拍摄步骤中取得的所述多个图像合成而制作的合成图像，

所述合成图像是实施了以不同的颜色和/或纹样对所述规定部位的所述倾斜的程度和方向的差异进行区分显示的图像处理的图像。

20.根据权利要求18或19所述的三维形状计测方法，其特征在于，

所述合成图像是对作为合成的基础的各图像中的表示所述计测对象的同一部位的像素的规定特征量的值进行比较，从该值最大的图像中挑选所述像素而合成的图像。

21.一种程序，该程序用于使三维形状计测装置执行权利要求12至20中的任一项所述的三维形状计测方法的各步骤。

Images