CN114867985A - 三维形状计测装置、三维形状计测方法及程序 - Google Patents

Abstract

三维形状计测装置具有：投影单元，其针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；拍摄单元，其对所述计测对象进行拍摄；以及计测单元，其基于由所述拍摄单元拍摄到的图像，对所述计测对象的三维形状进行计测，所述拍摄单元取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位处的包含所述图案光的强度在内的反射形态，所述计测单元基于构成所述多个图案投影图像的各像素的规定特征量在各图像间的差异，对所述倾斜的方向进行计测。

Description

三维形状计测装置、三维形状计测方法及程序

技术领域

本发明涉及三维形状的测定装置、三维形状计测方法及程序。

背景技术

以往，在对安装于印刷基板的部件的焊料接合状态进行检查的技术领域等中，已知有基于所谓的相移法的三维形状的计测方法。相移法是改变相位而取得(拍摄)多个将图案光投影到物体表面的状态的图像，通过分析该多个图像中的图案的变形来复原物体表面的三维形状的方法之一。在使用这样的相移法来计测印刷基板的情况下，存在如下问题：照射到焊料那样的镜面性高的构件的光发生正反射，对计测精度造成不良影响。

对此，例如在专利文献1中公开了对上述相移法组合了基于所谓的彩色高光方式的镜面物体的三维形状计测的基板检查装置。此外，彩色高光方式是指如下方法：以互不相同的入射角向基板照射多个颜色(波长)的光，在焊料表面显现与其法线方向对应的颜色特征(从照相机观察时处于正反射方向的光源的颜色)的状态下进行拍摄，由此将焊料表面的三维形状捕捉为二维的色相信息。由此，通过对印刷基板的镜面部分进行基于彩色高光的计测，对树脂等漫反射物体进行基于相移法的计测，能够提高三维形状计测的精度。

现有技术文献

专利文献

专利文献1：日本特开2016-11857号公报

发明内容

发明所要解决的课题

然而，根据上述专利文献1所记载的检查装置，也存在难以判别计测对象的表面的倾斜的“方向”的问题。即，若以印刷基板的检查来说，则是难以高精度地判定焊料表面的倾斜是相对于电极堆积(所谓的润湿隆起)还是相对于电极变低(所谓的不润湿的状态)。

本发明是鉴于上述那样的实际情况而完成的，其目的在于提供一种在三维形状计测中高精度地判别计测对象所包含的倾斜的方向的技术。

用于解决课题的手段

为了实现上述目的，本发明采用以下的结构。

本发明的三维形状计测装置的特征在于，所述三维形状计测装置具有：投影单元，其针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；拍摄单元，其对所述计测对象进行拍摄；以及计测单元，其基于由所述拍摄单元拍摄到的图像对所述计测对象的三维形状进行计测，所述拍摄单元取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位处的包含所述图案光的强度在内的反射形态，所述计测单元基于构成所述多个图案投影图像的各像素的规定特征量在各图像间的差异，计测所述倾斜的方向。

另外，在此所说的“计测”也包括通过计算进行测定的情况(以下相同)。另外，“图案”是指例如亮度的变化示出周期性的条纹花样，能够使相位随时间变化的图案。另外，这里所说的“倾斜”不仅是指相对于水平面以直线定义的倾斜，还包括以曲线定义的广义的含义的倾斜。另外，包含该倾斜而成的斜面也理解为包含不仅包含平面还包含曲面的广义含义的斜面的意思。以下，在本说明书中理解为同样的含义。

另外，“包含图案光的强度在内的反射形态不同的多个图案投影图像”不是指同一图案从同一方向照射的仅图案的相位不同的多个图像，而是表示由于从多个不同的方向照射图案光而图案光的反射形态不同的多个图像。

若是这样的结构，则能够对计测对象所包含的倾斜的方向进行计测，因此能够高精度地计测该倾斜部分的三维形状。此外，作为规定特征量，例如能够设为各像素的亮度。

另外，也可以是，所述投影单元在以所述计测对象为中心的一个圆周上，至少从以所述计测对象为中心而对置的多个不同的位置对所述计测对象投影所述图案光，由此从所述多个方向投影图案光。若为此种构成，则可抑制在计测对象中产生未照射到图案光的影子的部分。

另外，也可以是，所述投影单元配置为能够在以所述计测对象为中心的圆周方向上转动，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象投影图案光，由此从所述多个方向投影图案光。

根据这样的结构，能够从圆周上的期望的位置向所述计测对象照射图案光，能够与计测对象的规定部位的朝向以及形状无关地从最佳的方向照射图案光。另外，也可以是，在以所述计测对象为中心的一个圆周上的多个不同的位置配置有多个所述投影单元，多个所述投影单元分别向所述计测对象投影图案光，由此从所述多个方向投影图案光。

另外，也可以是，所述三维形状计测装置还具有照明单元，所述照明单元从铅垂方向至水平方向之间的多个不同的角度对所述计测对象分别照射不同波长的照明光，所述拍摄单元还取得被照射了所述照明光的所述计测对象的照明光照射图像，所述计测单元还根据所述照明光照射图像中的包含所述照明光的强度和波长中的任意方在内的反射形态对所述倾斜的程度进行计测。

如果是这样的结构，则能够进行基于彩色高光方式的三维形状计测，能够高精度地对计测对象所包含的倾斜的程度进行计测。另外，通过组合基于彩色高光方式的三维形状计测和相移法，能够提高计测的精度。

另外，也可以是，所述三维形状计测装置还具有图像显示单元，所述图像显示单元显示根据由拍摄单元取得的照明光照射图像和所述多个图案投影图像而制作的特殊图像，所述特殊图像是将根据所述照明光照射图像得到的所述倾斜的有无及程度以及基于构成所述多个图案投影图像的各像素的特征量之差而得到的所述倾斜的方向通过不同的颜色和/或纹样以能够识别的方式区分显示的图像。

根据这样的结构，用户通过确认二维的图像，能够识别所述三维计测装置计测出的所述计测对象的三维形状。另外，通过将所述图像与实际的计测对象进行比较，也能够调整三维计测装置的设定。

另外，本发明的三维形状的计测方法具有如下步骤：投影步骤，针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；拍摄步骤，对所述计测对象进行拍摄；以及计测步骤，基于在所述拍摄步骤中拍摄的图像对所述计测对象的三维形状进行计测，在所述拍摄步骤中，取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位处的包含所述图案光的强度在内的反射形态，在所述计测步骤中，基于构成所述多个图案投影图像的各像素的规定特征量在各图像间的差异，计测所述倾斜的方向。

另外，也可以是，在所述投影步骤中，至少从以所述计测对象为中心而对置的多个不同的位置对所述计测对象投影所述图案光，由此从所述多个方向投影图案光。

另外，也可以是，所述三维形状计测方法还具有照明步骤，从铅垂方向到水平方向之间的多个不同的角度对所述计测对象分别照射波长不同的照明光，在所述拍摄步骤中，还取得被照射了所述照明光的所述计测对象的照明光照射图像，在所述计测步骤中，还根据所述照明光照射图像中的包含所述照明光的强度和波长中的任意方在内的反射形态，计测所述倾斜的程度。

另外，也可以是，所述三维形状计测方法还具有图像显示步骤，显示根据在所述拍摄步骤中取得的所述照明光照射图像以及所述多个图案投影图像而制作的特殊图像，所述特殊图像是将根据所述照明光照射图像得到的所述倾斜的有无及程度以及基于构成所述多个图案投影图像的各像素的特征量之差而得到的所述倾斜的方向通过不同的颜色和/或纹样以能够识别的方式区分显示的图像。

另外，本发明也能够理解为用于使三维形状计测装置执行上述的方法的程序、非暂时性地记录了这样的程序的计算机可读取的记录介质。

另外，上述的各个结构以及处理只要不产生技术上的矛盾就能够相互组合而构成本发明。

发明效果

根据本发明，能够提供在三维形状计测中高精度地判别计测对象所包含的倾斜的方向的技术。

附图说明

[图1]图1是表示本发明的应用例的三维形状计测装置的结构的示意图。

[图2]图2是表示本发明的应用例的三维形状计测装置的三维形状计测处理的流程的流程图。

[图3]图3是表示实施方式1的基板检查装置的硬件结构的示意图。

[图4]图4是说明实施方式1的信息处理装置的功能的框图。

[图5]图5是说明实施方式1的照明装置的结构的平面图。

[图6]图6的(A)是说明作为计测对象的基板的焊接部的侧视图。图6的(B)是说明基板的焊接部的彩色高光图像的图。图6的(C)是说明基板的焊接部的彩色高光校正图像的图。

[图7]图7是表示实施方式1的基板检查装置的基板检查处理的流程的流程图。

具体实施方式

以下，参照附图对本发明的实施例进行说明。

<应用例>

(应用例的结构)

本发明例如能够应用于图1所示那样的三维形状计测装置。图1是表示本应用例的三维形状计测装置9的结构的示意图。三维形状计测装置9是对计测对象O的三维形状进行测定的装置，如图1所示，作为主要的结构，具有作为投影单元的投影仪91a以及91b、作为拍摄单元的照相机92、作为测定单元的信息处理装置93(例如计算机)。计测对象O包含具有倾斜的立体部位OP。

投影仪91a以及91b是对计测对象投影图案的单元。在此，图案是指例如亮度的变化示出周期性的条纹图案，能够使相位随时间变化。在本应用例中，将从投影仪91a投影的图案设为图案a，将从投影仪91b投影的图案设为图案b。投影仪91a、91b分别以相对于计测对象O具有一定的倾斜角的方式配置。

照相机92是对被投影了图案的状态的计测对象O进行拍摄并输出数字图像的单元。另外，以下，将由拍摄单元拍摄到的图像也表述为观测图像。照相机92例如构成为具有光学系统和图像传感器。如图1所示，照相机92以从计测对象O的正上方拍摄计测对象O的方式配置。此外，投影仪91a和投影仪91b配置在以照相机92为中心沿圆周方向相互对置的位置。

信息处理装置93具有对投影仪91a、91b、照相机92以及输送机构的控制、对从照相机92取入的图像的处理、三维形状计测等功能，相当于本发明中的计测单元。信息处理装置93能够由具备CPU(Central Processing Unit)、RAM(Random Access Memory)、非易失性的存储装置(例如硬盘驱动器、闪存等)、输入装置(例如键盘、鼠标、触摸面板等)、显示装置(例如液晶显示器等)的计算机构成。

在具有以上的结构的三维形状计测装置9中进行计测对象物O的三维形状的计测时，一边改变从各投影仪向计测对象O投影的图案的相位，一边通过照相机92拍摄多张图像，信息处理装置93例如通过相移法等对拍摄到的图像进行处理，由此对计测对象O的三维形状进行计测。

(信息处理装置的功能)

接着，对与信息处理装置93的三维形状计测有关的功能进行说明。信息处理装置93包括图像取得部931、高度数据计算部932、特征量提取部933、特征量比较部934、合成数据制作部935和三维形状计测部936作为与三维形状计测有关的功能模块。

图像取得部931具有从照相机92取入在三维形状计测中使用的多个观测图像的功能，例如，通过投影仪91a的投影图案、投影仪91b的投影图案分别取得投影到测定对象物O的图案的相位各相差1/4π的4张图像。在本应用例中，将投影仪91a的投影图案称为图案a，将对其进行拍摄而得到的观测图像称为观测图像a。另外，将投影仪91b的投影图案称为图案b，将对其进行拍摄而得到的观测图像称为观测图像b。

高度数据计算部932是基于所取得的多个观测图像来计算测定对象物O的高度数据的功能。例如，基于所取得的4张观测图像间的表示测定对象物O的表面上的一点的位置的像素的二维的相位差，分别在观测图像a、观测图像b中求出该点的高度。在本应用例中，将根据观测图像a计算出的高度数据设为高度数据a，将根据观测图像b计算出的高度数据设为高度数据b来进行说明。

特征量提取部933从所取得的各观测图像中提取该观测图像的各像素所具有的特征量(例如亮度值)。在本应用例中，将从观测图像a提取的特征量数据设为特征量数据a，将从观测图像b提取的特征量数据设为特征量数据b进行说明。

特征量比较部934将由特征量提取部933提取的特征量数据a与特征量数据b进行比较。更具体而言，在各观测图像中对表示计测对象O的同一部位的像素彼此的特征量的值进行比较，确定其值较大的像素是观测图像a和观测图像b中的哪一个图像的像素。在此，在特征量为亮度的情况下，确定更明亮的、即更多的光入射到照相机92的一方的图像。而且，在计测对象O中存在具有倾斜的部位的情况下，从与该倾斜对置的方向照射图案光的一侧的图像的像素变得更明亮，因此能够从此处确定该倾斜的朝向。特征量比较部934生成像这样与倾斜的朝向的确定相关的数据(以下称为倾斜方向数据)。

合成数据制作部935根据高度数据a、b以及倾斜方向数据，制作三维形状计测用的合成数据。具体而言，通过以规定的方法连接高度数据a、b的轮廓、取平均等方法进行合成而生成合成高度数据，对其进行基于倾斜方向数据的校正，制作三维形状的轮廓数据。由此，能够得到在计测对象O中确定了具有倾斜的部位的朝向的三维形状计测用的轮廓数据。

三维形状计测部936基于由合成数据制作部935制作的轮廓数据对计测对象O的三维形状进行计测。

(三维形状计测处理的流程)

接着，参照图2，对本应用例中的三维形状计测的步骤进行说明。首先，信息处理装置93控制投影仪91a，从以计测对象O为中心的圆周上的第一方向对计测对象O投影图案a(步骤S901)。接着，信息处理装置93控制照相机92，拍摄从第一方向被照射了图案a光的状态的计测对象O，取得观测图像a(步骤S902)。

接着，信息处理装置93控制投影仪91b，从隔着计测对象O与所述第一方向对置的第二方向对计测对象O投影图案b(步骤S903)。接着，信息处理装置93控制照相机92，拍摄从第二方向被投影了图案b的状态的计测对象O，取得观测图像b(步骤S904)。

接下来，信息处理装置93从所取得的观测图像a和b分别计算高度数据a和b(步骤S905)，并且提取各图像的像素所具有的特征量(步骤S906)。随后，信息处理装置93比较提取出的特征量，使用具有更大的特征量的像素来制作倾斜方向数据(步骤S907)。然后，根据所得到的高度数据a、b以及倾斜方向，生成计测对象O的三维形状计测用的合成数据(步骤S908)，基于该合成数据进行包含倾斜部位OP的计测对象O的三维形状计测(步骤S909)，结束一系列的处理。此外，也可以将计测结果显示于未图示的显示装置。另外，特征量的提取不一定需要根据用于计算高度数据a、b的观测图像a、b来进行，也可以另外取得用于提取特征量的图像数据。

通过以上那样的本应用例的三维形状计测装置9的结构，在计测对象O中存在具有倾斜的部位OP的情况下，能够基于确定了倾斜的方向的三维形状轮廓数据，进行高精度的三维形状的计测。

<实施方式1>

接着，对作为用于实施本发明的方式的其他例子的基板检查装置1进行说明。但是，该实施方式所记载的构成部件的尺寸、材质、形状、其相对配置等只要没有特别记载，就不意味着将本发明的范围仅限定于此。

(基板检查装置的硬件结构)

参照图3，对本发明的实施方式的基板检查装置的整体结构进行说明。图3是表示基板检查装置的硬件结构的示意图。该基板检查装置1用于表面安装生产线上的基板外观检查(例如回流后的焊料接合状态的检查等)。

基板检查装置1具备工作台10、计测单元11、控制装置12、信息处理装置13、显示装置14作为主要结构。计测单元11包括照相机110、照明装置111和图案投影装置(投影仪)112。

工作台10是用于保持基板K并使作为检查对象的部件KB、焊料KH与照相机110的计测位置对位的机构。如图3所示，在与工作台10平行地取X轴和Y轴、与工作台10垂直地取Z轴的情况下，工作台10至少能够进行X方向和Y方向这2个轴的平移。照相机110以光轴与Z轴平行的方式配置，从铅垂上方拍摄工作台10上的基板K。由照相机110拍摄到的图像数据被取入到信息处理装置13。

照明装置111(111R、111G、111B)是对基板K照射不同颜色(波长)的照明光的照明单元。图3是示意性地表示照明装置111的XZ截面的图，实际上，照明装置111呈圆环状或圆顶形状，以便能够从全方位(绕Z轴的所有方向)对相同颜色的光进行照明。投影仪112a、112b是对基板K投影具有规定图案的图案光的图案投影单元。投影仪112通过设置于照明装置111的中腹的开口而投射图案光。在本实施方式中，隔着基板K在对角的位置配置有2个投影仪112，但也可以设置更多的投影仪。照明装置111和投影仪112均是在利用照相机110拍摄基板K时使用的照明系统，照明装置111用于计测焊料等镜面物体的表面形状，投影仪112用于计测部件等漫反射物体的表面形状。

控制装置12是控制基板检查装置1的动作的控制单元，负责工作台10的移动控制、照明装置111的点亮及调光控制、投影仪112a、112b的点亮控制或图案变更、照相机110的拍摄控制等。

信息处理装置13是具有如下功能的装置：使用从照相机110取入的图像数据，取得与部件KB、焊料KH相关的各种计测值，或者检查部件KB的焊料接合的状态。显示装置14是显示由信息处理装置13得到的计测值、检查结果的装置。信息处理装置13例如能够由具有CPU、RAM、非易失性的存储装置、输入装置的通用的计算机构成。另外，在图3中，用不同的框表示了控制装置12、信息处理装置13和显示装置14，但它们既可以由分体的装置构成，也可以由单一的装置构成。

(功能结构)

图4是表示与信息处理装置13提供的检查处理相关的功能模块的结构的框图。这些功能模块通过信息处理装置13的CPU读入并执行保存在辅助存储装置中的程序来实现。但是，也可以由ASIC、FPGA等电路构成全部或者一部分的功能。

图像取得部131是从照相机110取入图像数据的功能模块。焊料形状计测部132是根据二维的图像数据来复原焊料等镜面物体部分的三维形状的功能模块，部件形状计测部133是根据二维的图像数据来复原部件等漫反射物体部分的三维形状的功能模块。稍后将描述在各个复原处理中使用的图像数据和复原算法。

检查部134是基于由焊料形状计测部132和部件形状计测部133得到的三维形状数据，计测与焊料KH、部件KB的形状相关的各种指标，使用这些计测值来检查焊料接合的状态的功能模块。检查程序存储部135是保存定义了检查部134中的检查的项目、条件等的检查程序的功能模块。在检查程序中，例如定义有检查对象的焊盘的位置以及尺寸、部件的尺寸、计测的指标的种类、每个指标的判定基准值(用于判定合格品和不合格品的阈值、值域)等。输出处理部136是将由检查部134得到的计测值、检查结果、部件KB、焊料KH的三维形状等向显示装置14等进行外部输出的功能模块。

以下，在分别说明了焊料KH(镜面物体)的三维形状的复原方法和部件KB(漫反射物体)的三维形状的复原方法之后，说明信息处理装置13的检查处理的流程。

(焊料的三维形状计测)

在计测焊料KH的三维形状时，使用通过所谓的彩色高光方法获得的图像。彩色高光方式是指如下方法：以互不相同的入射角向基板照射多个颜色(即，波长)的光，在焊料表面显现与其法线方向对应的颜色特征(即，从照相机观察处于正反射方向的光源的颜色)的状态下进行拍摄，由此将焊料表面的三维形状捕捉为二维的色相信息。能够从图像中仅提取呈现R、G、B的光源色的区域，基于R、G、B的各区域的形状、宽度、顺序来复原焊料三维形状。此外，三维形状的复原能够使用公知的方法，因此在此省略详细的说明。

首先，参照图5，说明在彩色高光方式中使用的照明装置111的结构。图5是示意性地表示照明装置111的各光源111R、111G、111B的配置关系的平面概略图。照明装置111具有将红色光源111R、绿色光源111G、蓝色光源111B这3个圆环状的光源以照相机110的光轴为中心配置成同心圆状的构造。各光源111R、111G、111B以相对于基板K的入射角按照红色光、绿色光、蓝色光的顺序变大的方式调整仰角以及朝向。这样的照明装置111例如能够通过在圆顶形状的扩散板的外侧将R、G、B各色的LED排列成圆环状而形成。

在使照明装置111点亮的状态下，当利用照相机110对基板K进行拍摄时，在作为镜面物体的焊料KH的部分出现与其法线方向(倾斜角)对应的颜色特征。例如，在焊料KH的倾斜随着远离部件电极而变缓的情况下，在焊料KH的区域出现B→G→R这样的色相的变化。R、G、B各颜色的区域的形状、宽度、出现的顺序等依赖于焊料KH的表面形状而变化。

参照图6，对在点亮了本实施方式的照明装置111的状态下利用照相机110拍摄基板时能够取得的焊料部分的图像进行说明。图6的(A)是从侧面观察基板K上的部件KB的电极部分和与其接合的焊料部分(以下称为焊接部)的图。如图6的(A)所示，该事例的焊料KH相对于从部件KB延伸的电极未充分融合，接触面积变少(即，为不润湿的状态)。

图6的(B)是点亮照明装置111并利用照相机110进行了拍摄的情况下的焊接部的图像(以下称为彩色高光图像)。在图6的(B)中，示出了R、G、B的各颜色的区域。根据图6的(B)所示的图像，能够推测在焊料与电极的接合部存在倾斜(所定义的斜面)，但无法判别该斜面朝向哪个方向(即，是润湿隆起还是不润湿的状态)。此外，在部件KB主体、电极的表面，漫反射为支配性的，因此不是出现R、G、B那样的光源颜色，而是出现与用白色光照明时相同的物体自身的颜色。

(部件的三维形状计测)

另一方面，在作为漫反射物体的部件KB的三维形状的计测中，利用相移法。相移法是通过分析将图案光投影到物体表面时的图案的变形来复原物体表面的三维形状的方法之一。具体而言，使用投影仪112a、112b，在将规定图案(例如，亮度以正弦波状变化的条纹状图案)投影到基板的状态下利用照相机110进行拍摄。于是，在基板K的表面出现与其凹凸对应的图案的变形。通过一边改变图案光的亮度变化的相位一边多次重复该处理，可以获得亮度特征不同的多个图像(以下称为图案分析图像)。各图像的同一像素的亮度应该以与条纹状图案的变化相同的周期变化，因此通过对各像素的亮度的变化应用正弦波，可知各像素的相位。然后，通过求出相对于规定的基准位置(工作台表面、基板表面等)的相位的相位差，能够计算出距该基准位置的距离(即，高度)。此外，将由投影仪112a投影的图案称为图案a，将由投影仪112b投影的图案称为图案b，将拍摄各个图案而得到的图像称为观测图像a、观测图像b。

在此，在本实施方式中，信息处理装置13取得观测图像a和观测图像b，投影仪112a、112b隔着基板K设置在对角的位置，因此观测图像a和观测图像b为从正相反的方向投影了图案而得到的图像。由此，与应用例的情况同样地，通过从观测图像a和观测图像b提取特征量数据并进行比较，能够求出确定焊接部等具有倾斜的部位的倾斜的方向的倾斜方向确定数据。另外，由于倾斜方向确定数据能够通过与应用例相同的方法而生成，因此省略详细的说明。

而且，通过利用倾斜方向确定数据对从上述的彩色高光图像得到的轮廓数据进行校正，能够判别焊料KH与电极的接合部的斜面的方向。

图6的(C)表示基于这样制作的合成数据而制作的特殊图像(以下称为彩色高光校正图像)的例子。在彩色高光校正图像中，用与原来的彩色高光图像相同的红色(R)、绿色(G)、蓝色(B)来显示基本的方向(更多的面所朝向的方向)的倾斜，用品红色(M)、黄色(Y)、青色(C)来表现与基本的方向相反朝向的倾斜。另外，这里的颜色的选择是完全任意的，并不限于这6种颜色，但通过使用虽是不同的颜色系统但类似的颜色，能够直观地掌握倾斜的程度相同的情况和倾斜的朝向不同的情况。

如果这样的彩色高光校正图像例如能够在显示装置14中显示，则用户能够观察彩色高光校正图像而容易地掌握焊接部的状态。

(检查处理的流程)

接着，使用图7，对在基板检查装置1中进行的检查处理的流程进行说明。图7是表示检查处理的流程的流程图。

首先，控制装置12按照检查程序来控制工作台10，使作为检查对象的部件KB以及焊料KH移动到计测位置(照相机110的视野)(步骤S101)。然后，控制装置12点亮照明装置111(步骤S102)，在照射了红色光、绿色光、蓝色光的状态下执行照相机110的拍摄处理(步骤S103)。所得到的图像数据(彩色高光图像)通过图像取得部131被取入到信息处理装置13。

接着，控制装置12从投影仪112a投影图案光(步骤S104)，利用照相机110进行拍摄(步骤S105)。进而，从投影仪112b投影图案光(步骤S106)，由照相机110进行拍摄(步骤S107)。在利用相移法的情况下，一边改变图案光的相位一边多次执行步骤S104至S107的处理。所得到的多张图像的数据由图像取得部131取入到信息处理装置13。另外，在本实施方式中，先执行基于照明装置111的拍摄，但也可以先执行基于投影仪112的拍摄。另外，在照相机110的视野外存在其他检查对象的情况下，也可以反复执行步骤S101～S107的处理。

以后，成为由信息处理装置13进行的处理。部件形状计测部133根据在步骤S105、步骤S107中得到的观测图像a、b，通过相移法复原部件KB的三维形状(步骤S108)。复原出的三维形状的数据例如以将各像素的高度(Z位置)用像素值表现的图像数据(称为高度图)的形式保存。

焊料形状计测部132根据在步骤S103中得到的彩色高光图像，复原焊料KH(以及部件KB的电极)的三维形状(步骤S109)。进而，焊料形状计测部132从拍摄图案光得到的观测图像a、b提取亮度值，生成倾斜方向确定数据(步骤S110)。复原出的三维形状的数据例如以将焊料KH区域内的各像素的高度(Z位置)用像素值表现的高度图的形式保存。

然后，通过合成这些高度图和倾斜方向确定数据，能够得到表示作为镜面物体的焊料KH和作为漫反射物体的部件KB双方的高度信息的整体的高度图。在此，对整体的高度图实施了基于确定了斜面的方向的校正。

然后，检查部134根据整体的高度图和检查程序的阈值，实施基板K的检查(步骤S111)。当检查结束时，显示装置14显示视觉上表现了检查的结果以及在步骤S108中制作的合成数据的彩色高光合成图像(步骤S112)，结束一系列的处理。

根据以上所述的本实施方式的基板检查装置，由于对作为镜面物体的焊料的三维形状和作为漫反射物体的部件电极分别以适合它们的方法来复原，因此能够针对焊料和部件电极双方得到精度高的三维形状数据。另外，在焊料的三维形状的复原时，通过基于从多个方向投影图案而得到的倾斜方向确定数据进行校正，确定具有倾斜的场所的该倾斜面的朝向而复原三维形状，因此能够高精度地复原焊料的斜面的形状。

<其他>

上述实施方式只不过是例示性地说明本发明，本发明并不限定于上述的具体的方式。本发明能够在其技术思想的范围内进行各种变形。例如，在上述的实施方式1中，基于彩色高光图像来计测镜面物体的三维形状，基于图案投影图像来计测漫反射物体的三维形状，但未必一定要这样，也可以在基于各图像制作用于对计测对象整体的形状进行计测的2个轮廓数据的基础上，合成这些数据。另外，在实施方式1中，投影仪被固定，但也可以构成为能够使投影仪绕铅垂轴旋转。另外，在这样的情况下，能够将投影仪的数量设为一个。

另外，在上述实施方式中，彩色高光校正图像能够通过颜色区分来识别倾斜的程度和方向，但并不限于颜色，例如也可以设为根据阴影线等纹样的不同而能够识别地显示它们的图像，还可以设为组合了颜色的不同和纹样的不同的图像。

<附记>

本发明的一个方式是一种三维形状计测装置，其特征在于，具有：投影单元(91a、91b)，其针对计测对象(O)从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；拍摄单元(92)，其对所述计测对象进行拍摄；以及计测单元(93)，其基于由所述拍摄单元拍摄到的图像，对所述计测对象的三维形状进行计测，

所述拍摄单元取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位的包含所述图案光的强度在内的反射形态，

所述计测单元基于构成所述多个图案投影图像的各像素中的规定特征量在各图像间的差异，计测所述倾斜的方向。

另外，本发明的另一方式是一种三维形状的计测方法，其特征在于，具有：投影步骤(S901、S903)，针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；拍摄步骤(S902、S904)，对所述计测对象进行拍摄；以及计测步骤(S909)，基于由所述拍摄单元拍摄到的图像，对所述计测对象的三维形状进行计测，在所述拍摄步骤中，取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位的包含所述图案光的强度在内的反射形态，在所述计测步骤中，基于构成所述多个图案投影图像的各像素中的规定特征量在各图像间的差异，计测所述倾斜的方向。

标号说明

1：基板检查装置；9：三维形状计测装置；10：工作台；11：检查单元；110、92：照相机；111、91：照明装置；12：控制装置；13、93：信息处理装置；14：显示装置；K：基板；O：计测对象物。

Claims (11)

1.一种三维形状计测装置，其特征在于，所述三维形状计测装置具有：

投影单元，其针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；

拍摄单元，其对所述计测对象进行拍摄；以及

计测单元，其基于由所述拍摄单元拍摄到的图像对所述计测对象的三维形状进行计测，

所述拍摄单元取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位处的包含所述图案光的强度在内的反射形态，

所述计测单元基于构成所述多个图案投影图像的各像素的规定特征量在各图像间的差异，计测所述倾斜的方向。

2.根据权利要求1所述的三维形状计测装置，其特征在于，

所述投影单元在以所述计测对象为中心的一个圆周上，至少从以所述计测对象为中心而对置的多个不同的位置对所述计测对象投影所述图案光，由此从所述多个方向投影图案光。

3.根据权利要求1或2所述的三维形状计测装置，其特征在于，

所述投影单元配置为能够在以所述计测对象为中心的圆周方向上转动，从以所述计测对象为中心的一个圆周上的多个不同的位置对所述计测对象投影图案光，由此从所述多个方向投影图案光。

4.根据权利要求1或2所述的三维形状计测装置，其特征在于，

在以所述计测对象为中心的一个圆周上的多个不同的位置配置有多个所述投影单元，多个所述投影单元分别向所述计测对象投影图案光，由此从所述多个方向投影图案光。

5.根据权利要求1至4中的任一项所述的三维形状计测装置，其特征在于，

所述三维形状计测装置还具有照明单元，所述照明单元从铅垂方向至水平方向之间的多个不同的角度对所述计测对象分别照射不同波长的照明光，

所述拍摄单元还取得被照射了所述照明光的所述计测对象的照明光照射图像，

所述计测单元还根据所述照明光照射图像中的包含所述照明光的强度和波长中的任意方在内的反射形态对所述倾斜的程度进行计测。

6.根据权利要求5所述的三维形状计测装置，其特征在于，

所述三维形状计测装置还具有图像显示单元，所述图像显示单元显示根据由所述拍摄单元取得的所述照明光照射图像和所述多个图案投影图像而制作的特殊图像，

所述特殊图像是将根据所述照明光照射图像得到的所述倾斜的有无及程度以及基于构成所述多个图案投影图像的各像素的特征量之差而得到的所述倾斜的方向通过不同的颜色和/或纹样以能够识别的方式区分显示的图像。

7.一种三维形状计测方法，其特征在于，所述三维形状计测方法具有如下步骤：

投影步骤，针对计测对象从相对于所述计测对象的绕铅垂轴的角度不同的多个方向投影图案光；

拍摄步骤，对所述计测对象进行拍摄；以及

计测步骤，基于在所述拍摄步骤中拍摄的图像对所述计测对象的三维形状进行计测，

在所述拍摄步骤中，取得反射形态不同的多个图案投影图像，所述多个图案投影图像是从所述多个方向投影图案光而得到的多个图像，所述反射形态是所述计测对象中具有倾斜的部位处的包含所述图案光的强度在内的反射形态，

在所述计测步骤中，基于构成所述多个图案投影图像的各像素的规定特征量在各图像间的差异，计测所述倾斜的方向。

8.根据权利要求7所述的三维形状计测方法，其特征在于，

在所述投影步骤中，至少从以所述计测对象为中心而对置的多个不同的位置对所述计测对象投影所述图案光，由此从所述多个方向投影图案光。

9.根据权利要求7或8所述的三维形状计测方法，其特征在于，

所述三维形状计测方法还具有照明步骤，从铅垂方向至水平方向之间的多个不同的角度对所述计测对象分别照射不同波长的照明光，

在所述拍摄步骤中，还取得被照射了所述照明光的所述计测对象的照明光照射图像，

在所述计测步骤中，还根据所述照明光照射图像中的包含所述照明光的强度和波长中的任意方在内的反射形态，对所述倾斜的程度进行计测。

10.根据权利要求9所述的三维形状计测方法，其特征在于，

所述三维形状计测方法还具有图像显示步骤：显示根据在所述拍摄步骤中取得的所述照明光照射图像以及所述多个图案投影图像而制作的特殊图像，

所述特殊图像是将根据所述照明光照射图像得到的所述倾斜的有无及程度以及基于构成所述多个图案投影图像的各像素的特征量之差而得到的所述倾斜的方向通过不同的颜色和/或纹样以能够识别的方式区分显示的图像。

11.一种程序，该程序用于使三维形状计测装置执行权利要求7至10中的任一项所述的三维形状计测方法的各步骤。

Images