CN105372259A - 测量装置、基板检查装置以及其控制方法 - Google Patents

Abstract

本发明是无论焊锡表面的光泽度(镜面度)高低，能够高精度测量焊锡表面的三维形状的技术。测量装置具有：图像取得部，取得第一图像和第二图像，所述第一图像是在以互不相同的入射角照射多种颜色的光，焊锡的表面显现与该倾斜角对应的颜色信息的状态下拍摄的，所述第二图像是在投射图案光，焊锡的表面显现与该焊锡的高度对应的图案相位信息的状态下拍摄的；颜色可靠度计算部，针对焊锡的表面上的各点，求出所述第一图像的颜色信息的可靠度；相位可靠度计算部，针对焊锡的表面上的各点求出所述第二图像的相位信息的可靠度；焊锡形状测量部，通过使用颜色信息和相位信息中可靠度高的信息，求出焊锡的表面上的各点的三维信息，生成焊锡的三维形状。

Description

测量装置、基板检查装置以及其控制方法

技术领域

本发明涉及一种检查在印刷基板上安装的部件的焊点的状态的技术，特别是涉及一种测量焊锡的三维形状的技术。

背景技术

在印刷基板的表面安装流水线上，广泛地使用一种检测回流焊后的焊点优劣的基板检查装置(也称为“外观检查装置”)。基板检查装置根据拍摄基板得到的图像，测量与焊锡的形状相关的各种指数，基于该测量值，检查与电极或者焊盘(焊垫)相对应的焊锡的接合状态。此时，由于必需使用作为二维信息的图像来检查焊锡的三维形状，所以从现有技术中提出了各种各样的处理方法。

已知其中有一种彩色亮度照明法。彩色亮度照明法是指，通过将多种颜色的光以互不相同的入射角照射至基板，在与其倾斜角相对应的颜色信息(从摄像头观察，沿着正反射方向的光源的颜色)显现于焊锡表面的状态下进行拍摄，来将焊锡表面的三维形状提取为二维的色调信息的方法。已知，这种方法在通常的焊锡检查中，在提取焊脚的形状方面极其有效。另外，还提出了根据图像的颜色信息求出焊锡表面的倾斜角(梯度)，通过将梯度积分，恢复焊锡表面的三维形状的方法(例如，参照专利文献1、2)。但是，在最近的表面安装中，出现了使用助焊剂较多的焊锡的倾向，产生因助焊剂的影响而导致焊锡表面的光泽度(镜面度)局部下降的问题。在焊锡表面的光泽度下降的部分，通过照明光的扩散反射或者漫反射，有时观测到与扩散光(白色光)接近的颜色，有时观测到与实际倾斜角不同的颜色。在使用局部包含如这样错误颜色信息的图像的情况下，会导致误认为焊锡表面的倾斜角(梯度)，三维形状的恢复精度下降。

另一方面，还已知一种称为相移法的方法(例如，参照专利文献2、3、4)。相移法是指，通过解析当将图案光投射至物体表面时的图案变形(相位的变化)，来恢复物体表面三维形状的方法。但是，这种方法虽然对扩散物体(部件、电极、焊锡膏等)或者光泽度较低的焊锡有效，但在焊锡表面的光泽度较高的情况下，难以恰当解析图案光的相位，存在焊锡表面的三维形状(高度信息)的测量误差变大的问题。

这样，现有技术中提出的方法各自具有优点和缺点，没有无论对光泽度(镜面度)较高的焊锡还是较低的焊锡都能够准确地测量的方法。

此外，在专利文献2中，提出了一种将彩色亮度照明法与相移法的优点相互组合起来的方法。但是，该方法只不过是将通过彩色亮度照明法恢复的焊锡表面的三维形状，定位于通过相移法得到的高度，在因助焊剂的影响等导致焊锡表面光泽度下降的情况下，无法防止三维形状的恢复精度下降。

专利文献1：JP特开2010-71844号公报

专利文献2：JP特表2013-543591号公报

专利文献3：JP特开2012-145484号公报

专利文献4：JP特开2013-221861号公报

发明内容

本发明鉴于上述实际情况，其目的在于，提供一种测量焊锡表面的三维形状的技术，无论焊锡表面的光泽度(镜面度)高低，或者，即使在焊锡表面上光泽度(镜面度)较高的部分与较低的部分混在一起的情况下，该技术也能够高精度地进行测量。

用于达成上述目的的本发明采用如下的结构，该结构通过不同的方法，取得焊锡的颜色信息和相位信息，使用颜色信息与相位信息中的可靠度较高的一种信息，生成焊锡的三维形状。

具体地，本发明的测量装置是一种测量焊锡的三维形状的测量装置，具有：图像取得部，取得第一图像和第二图像，所述第一图像，是在以互不相同的入射角照射多种颜色的光，从而在焊锡的表面显现与其倾斜角相对应的颜色信息的状态下拍摄的，所述第二图像，是在投射图案光，从而在焊锡的表面显现与该焊锡的高度相对应的图案的相位信息的状态下拍摄的；颜色可靠度计算部，针对焊锡的表面上的各点，求出所述第一图像的颜色信息的可靠度；相位可靠度计算部，针对焊锡的表面上的各点，求出所述第二图像的相位信息的可靠度；焊锡形状测量部，通过使用所述第一图像的颜色信息和所述第二图像的相位信息中可靠度高的一种信息，求出焊锡的表面上的各点的三维信息，来生成焊锡的三维形状。

在本发明中，使用通过不同的照明法拍摄的两种图像(第一图像、第二图像)。在第一图像中，将焊锡的表面的倾斜角表现为颜色信息，在第二图像中，将焊锡的表面的高度表现为相位信息。虽然能够仅利用任一种信息生成焊锡的三维形状，但是在本发明中，分别求出颜色信息的可靠度和相位信息的可靠度，利用可靠度更高的一种信息来生成焊锡的三维形状。第一图像的照明法在原理上是焊锡的光泽度越高，精度越高；第二图像的照明法在原理上是焊锡的光泽度越低，精度越高。因此，若如本发明这样，优先地利用两个方法中可靠度较高的一者(精度高的一者)，则无论焊锡表面光泽度(镜面度)高低，都能够高精度测量焊锡表面的三维形状，进一步，即使在焊锡表面中光泽度(镜面度)较高的部分和较低的部分混在一起，也能够高精度地测量焊锡表面的三维形状。

本发明也可以还具有：结果输出部，在显示装置上显示出表示由所述焊锡形状测量部得到的焊锡的三维形状的图像。通过观察如这样的显示图像，用户能够准确且直观地把握测量对象的焊锡的三维形状。该显示图像能够用于焊脚形状的检查、基板检查装置的教学(检查程序、判断基准等设定)等。

所述颜色可靠度计算部，也可以基于所述第一图像的像素的彩度或者亮度，求出与该像素相对应的焊锡的表面上的点的颜色信息的可靠度。这是因为，在第一图像的照明法中，焊锡的表面的光泽度越高(越接近镜面反射)，观测到的颜色的彩度或者亮度越高。因此，能够以保持与彩度或者亮度的高度正相关的方式，来设定颜色信息的可靠度。可靠度可以是连续值，也可以是二值或者多值。

所述第二图像也可以是改变图案光的相位而拍摄的多个图像，所述相位可靠度计算部，基于所述多个图像之间的同一个像素的亮度的变化量，求出与该像素相对应的焊锡的表面上的点的相位信息的可靠度。这是因为，在第二图像的照明法中，焊锡的表面的光泽度越低(越接近扩散反射)，图案光的相位的变化越清楚地显现，同一个像素的亮度的变化量变得越大。因此，能够以保持与同一像素的亮度的变化量正相关的方式，来设定相位信息的可靠度。可靠度可以是连续值，也可以是二值或者多值。

本发明也可以还具有：颜色信息解析部，通过进行将所述第一图像分割为各个色调的区域的多值化处理，生成由各像素值表示互不相同的倾斜角范围的多值图像；相位信息解析部，根据所述第二图像的相位信息，求出与各像素相对应的焊锡的表面的高度信息；所述焊锡形状测量部进行如下处理：在所述多值图像的像素中，针对相位信息的可靠度比颜色信息高的像素的像素值，基于倾斜角进行修正，所述倾斜角，是根据由所述相位信息解析部求出的该像素和该像素附近像素的高度信息而计算出的，使用所述修正后的多值图像，生成焊锡的三维形状。通过将第一图像进行多值化处理，消除噪声。因此，通过基于多值图像来拼凑倾斜角(梯度)等，能够简单且高精度地恢复焊锡的三维形状。但是，当因助焊剂的影响等导致焊锡表面的一部分中包含光泽度下降的部分时，该部分的颜色信息有可能不准确(示出错误的倾斜角)，会降低三维形状的恢复精度。因此，因光泽度低，导致颜色信息的可靠度地，相反地，针对相位信息的可靠度变高的像素，基于根据相位信息计算出的倾斜角，来修正多值图像的颜色。通过这样，能够利用相位信息来增补光泽度低的部分的颜色信息(倾斜角信息)，即使光泽度较高的部分与较低的部分混在一起，也能够准确地恢复焊锡表面整体的三维形状。

优选地，本发明还具有：颜色信息解析部，通过进行将所述第一图像分割为各个色调的区域的多值化处理，生成由各像素值表示互不相同的倾斜角范围的多值图像，相位信息解析部，根据所述第二图像的相位信息，求出与各像素相对应的焊锡的表面的高度信息；所述焊锡形状测量部进行如下处理：在由所述相位信息解析部求出的各像素的高度信息中，针对颜色信息的可靠度比相位信息的更高的像素的高度信息，基于根据所述多值图像得到的该像素的倾斜角的信息来进行修正，使用进行了所述修正后的各像素的高度信息，生成焊锡的三维形状。若使用第二图像的相位信息，则能够求出焊锡的表面的高度信息。但是，在焊锡表面的光泽度较低的情况下，高度信息的精度可能很高，但是光泽度较高的部分的相位信息有可能不准确，降低三维形状的恢复精度。因此，针对因为光泽度较高而相位信息的可靠度下降的像素，基于根据可靠度较高的颜色信息得到的倾斜角信息，进行高度的修正。通过这样，能够利用颜色信息完成光泽度较高的部分的相位信息(高度信息)，即使光泽度较高的部分与较低的部分混在一起，也能够准确地恢复焊锡表面整体的三维形状。

此外，本发明能够理解为具有上述手段至功能的至少一部分的测量装置。另外，本发明也能够理解为使用由该测量装置得到的焊锡的三维形状，来检查焊锡的接合状态的基板检查装置。另外，本发明也能够理解为测量装置或者基板检查装置的控制方法、用于使计算机执行该方法的各步骤的计算机程序、非临时地存储该程序的计算机可读取的存储媒体。只要各个上述结构以及处理不产生技术上的矛盾，就能够相互组合来构成本发明。

若采用本发明，则无论焊锡表面的光泽度(镜面度)的高低，或者，即使在焊锡表面中光泽度(镜面度)较高的部分与较低的部分混在一起的情况下，也能够高精度地测量焊锡表面的三维形状。

附图说明

图1是示出基板检查装置的硬件结构的示意图。

图2是与检查处理相关的功能的框图。

图3A～图3C是照射R、G、B(红、绿、蓝)的光来拍摄得到的CH图像的例子。

图4是投射图案光来拍摄的相位图像的例子。

图5是示出检查处理的流程的流程图。

图6是示出焊锡形状测量的处理的流程的流程图。

图7是用于示意地说明焊锡形状测量的步骤的图像的例子。

其中，附图标记说明如下：

1：基板检查装置，10：载物台，11：测量单元，12：控制装置，13：信息处理装置，14：显示装置，20：图像取得部，21：颜色信息解析部，22：颜色可靠度计算部，23：相位信息解析部，24：相位可靠度计算部，25：焊锡形状测量部，26：检查部，27：检查程序存储部，28：结果输出部，110：摄像头，111：照明装置，111B：蓝色光源，111G：绿色光源，111R：红色光源，112：投影装置，RL：红色光，BL：蓝色光，GL：绿色光，PL：图案光

具体实施方式

以下，参照附图，例示地详细说明用于实施本发明的优选的方式。但是，在以下的实施方式中记载的构成部件的尺寸、材质、形状、其相对配置等，只要没有特别地记载，就不是将本发明的范围仅限定于此的意思。

<第一实施方式>

(基板检查装置的结构)

参照图1，针对如下的基板检查装置的整体结构进行说明，该基板检查装置具有本发明的实施方式的测量装置。图1是示出基板检查装置的硬件结构的示意图。该基板检查装置1优选地使用于表面安装流水线上的基板外观检查(例如，回流焊后的焊点状态的检查等)。

基板检查装置1具有如下的主要结构：载物台10、测量单元11、控制装置12、信息处理装置13、显示装置14。测量单元11具有：摄像头(图像传感器)110、照明装置111、投影装置(投影仪)112。

载物台10是如下的一种机构，该机构用于保持基板15，并将作为检查对象的部件150或者焊锡151与摄像头110的测量位置进行对位。如图1所示，在取平行于载物台10的方向作为X轴和Y轴，取垂直于载物台10的方向作为Z轴的情况下，载物台10能够沿着至少X方向和Y方向这两条轴进行平移。摄像头110的光轴配置为与Z轴平行，从铅直上方拍摄载物台10上的基板15。将由摄像头110拍摄的图像数据发送至信息处理装置13。

照明装置111(111R、111G、111B)是向基板15照射不同颜色(波长)的照明光RL、GL、BL的照明装置。图1示意地示出照明装置111的XZ剖面，实际上，照明装置111呈圆环状或者圆顶形状，以使得能够从全方位(围绕Z轴的全方向)照射相同颜色的光。投影装置112是向基板15投射图案光PL的图案投影装置，该图案光具有规定的图案。投影装置112通过设于照明装置111的中间的开口，投射图案光PL。投影装置112的数量可以是一个，也可以为了消除图案光PL的死角而设置多个投影装置112。在本实施方式中，在不同的方位(对角的位置)配置两个投影装置112。无论照明装置111还是投影装置112，都是当使用摄像头110拍摄基板15时使用的照明系统，采用照明装置111的目的在于通过彩色亮度照明法测量焊锡的表面形状，采用投影装置112的目的在于通过相移法测量焊锡的表面形状。

控制装置12是控制基板检查装置1的工作的控制装置，负责载物台10的移动控制、照明装置111的点亮控制、投影装置112的点亮控制或者图案变更、摄像头110的拍摄控制等。

信息处理装置13是具有如下功能的装置，该功能是：使用从摄像头110取得的图像数据，取得与部件150、焊锡151相关的各种测量值，针对部件150的电极、基板上的焊盘(焊垫)检查焊点的状态。显示装置14是显示由信息处理装置13得到的测量值、检查结果的装置。例如，信息处理装置13能够由具有CPU(中央运算处理装置)、存储器、辅助存储装置(硬盘驱动器等)、输入装置(键盘、鼠标、触摸面板等)的通用计算机构成。此外，在图1中，控制装置12、信息处理装置13、显示装置14是使用分别的方框表示的，它们可以由分别的装置构成，也可以由单独一个装置构成。

(功能结构)

图2是示出与信息处理装置13提供的焊锡形状测量以及检查处理相关的功能的结构的框图。与焊锡形状测量处理相关的功能包括：图像取得部20、颜色信息解析部21、颜色可靠度计算部22、相位信息解析部23、相位可靠度计算部24、焊锡形状测量部25等，与检查处理相关的功能包括：检查部26、检查程序存储部27、结果输出部28等。这些功能是通过信息处理装置13的CPU读入并执行辅助存储装置中保存的程序来实现的。但是，也可以使用ASIC或者FPGA等电路构成全部或者一部分功能。

图像取得部20实现从摄像头110取得图像数据的功能。颜色信息解析都21实现通过彩色亮度照明法，根据拍摄到的图像解析颜色信息的功能；颜色可靠度计算部22实现求出该图像的颜色信息的可靠度的功能。另外，相位信息解析部23实现通过相移法，根据拍摄到的图像解析图案的相位信息的功能；相位可靠度计算部24实现求出该图像的相位信息的可靠度的功能。焊锡形状测量部25实现基于由颜色信息解析部21得到的颜色信息和由相位信息解析部23得到的相位信息，生成焊锡的三维形状的功能。针对它们的功能的详细情况在后文描述。

检查部26实现如下的功能：基于由焊锡形状测量部25得到的焊锡表面的三维形状数据，测量(计算)与焊脚的形状相关的各种指数，使用这些测量值来检查焊点的状态。检查程序存储部27实现保存如下的检查程序的功能，该检查程序定义了检查部26的检查的项目、条件等。例如，在检查程序中定义了检查对象的焊盘的位置以及尺寸、部件的尺寸、测量的指数的种类、每个指数的判断基准值(用于判断良品(合格产品)和不良品(不合格产品)的阈值或者值域)等。结果输出部28实现如下的功能：将由焊锡形状测量部25得到的焊锡的三维形状、由检查部26得到的测量值、检查结果输出至画面。

(测量与焊锡表面的倾斜角相对应的颜色信息)

在本实施方式中，为了测量焊锡表面的倾斜角，使用所谓的彩色亮度照明法。在彩色亮度照明法中，在将多种颜色(波长)的光以互不相同的入射角照射至基板，使得与其倾斜角相对应的颜色信息(从摄像头观察，沿着正反射方向的光源的颜色)显现于焊锡表面的状态下，进行拍摄，来将焊锡表面的三维形状提取为二维的色调信息。

参照图1，说明用于彩色亮度照明法的照明装置111的结构。照明装置111具有如下的构造：以摄像头110的光轴为中心，将红色光源111R、绿色光源111G、蓝色光源111B这3个圆环状的光源配置为同心圆状。以相对于基板的入射角按照红色光RL、绿色光GL、蓝色光BL的顺序变大的方式，来调整各光源111R、111G、111B的仰角以及方向。例如，能够通过在圆顶形状的扩散板的外侧，将R、G、B各颜色的LED排列为圆环状，来形成这样的照明装置111。

在图3A～图3C中，示出在点亮照明装置111的状态下，使用摄像头110进行拍摄的情况下得到的图像数据(以下，称为彩色亮度(CH)图像)的例子。此外，图3A是焊脚(filletweldleg)良好的状态，图3B是焊锡较少的状态，图3C示出焊锡过多的状态；各图的下半部分示出从与基板平行的方向观察焊锡的图来作为参考。

如这些图所示，在CH图像中，在作为镜面物体的焊锡31的部分上，显现出与其法线方向(倾斜角)相对应的颜色信息。例如，在图3A的情况下，由于距离部件电极30越远，焊锡31的倾斜变得越平缓，所以在焊锡31的区域出现B→G→R这样的色调变化。另外，根据图1可知，由于在相对于摄像头110的光轴的正反射方向接近90度的部分(蓝色光源111B的下方的部分)和接近0度的部分(配置摄像头110的开口的部分)没有光源，所以焊锡31的倾斜在接近于垂直的部分和接近于水平的部分显现出黑色。如图3A～图3C所示，R、G、B、黑的各颜色的区域的形状、宽度、显现的顺序等根据焊锡31的表面形状而变化。另外，由于在部件主体或者电极30的表面上，扩散反射占据主导地位，所以不仅显现如R、G、B这样的光源颜色，而显现与当使用白色光进行照明时相同的物体本身的颜色。因此，能够通过仅从CH图像中提取焊锡的区域，基于R、G、B、黑的各区域的形状、宽度、顺序，来解决逆问题，恢复焊锡31的三维形状。

(测量与焊锡表面的高度相对应的相位信息)

在本实施方式中，为了测量(测距)焊锡表面的高度，使用所谓的相移法。

相移法是指，通过解析将图案光投射至物体表面时的图案的变形，测量物体表面的三维信息(高度信息)的方法之一。具体地，在使用投影装置112，将规定的图案(例如亮度呈正弦波状变化的条纹图案)投射至基板的状态下，使用摄像头110进行拍摄。如图4所示，于是，在物体表面出现与其凹凸相对应的图案的变形。此时，由于在光泽度较高的焊锡表面，镜面反射占据主导地位，所以无法准确地观测图案，但是，由于在因例如助焊剂等的影响导致光泽度下降的部分，扩散反射成分增加，所以能够观测图案。通过一边改变图案光的亮度变化的相位，一边将该处理重复多次(例如4次)，来得到如图4所示的亮度特征不同的多张图像(以下，称为相位图像)。由于各图像的同一个像素的明亮程度(亮度)应该与条纹图案的变化以相同的周期进行变化，所以通过对各像素的明亮程度的变化适用正弦波，来知晓各像素的相位。然后，能够通过求出相对于规定的基准位置(桌子表面、基板表面等)的相位的相位差，计算与该基准位置的距离(高度)。

此外，在本实施方式中使用相移法，但是只要能够得到扩散物体的高度信息即可，也可以使用其他的方法。例如，作为通过将条纹或者格子状的图案光投射于物体上，对该图案的变形进行图像解析，来得到高度信息，这样的方法包括光切法、条纹解析法、空间编码方法等。

(焊锡形状测量以及检查处理)

以下，使用图5、图6、图7，说明使用基板检查装置1进行焊锡形状测量以及检查处理的流程。图5以及图6是示出处理的流程的流程图，图7是用于示意地说明焊锡形状测量的步骤的图像的例子。

首先，控制装置12按照检查程序控制载物台10，将检查对象的焊锡移动至测量位置(摄像头110的视场)(步骤S500)。然后，控制装置12点亮照明装置111(步骤S501)，在照射红色光RL、绿色光GL、蓝色光BL的状态下，使用摄像头110进行拍摄(步骤S502)。使用图像取得部20，将得到的图像数据(图3的CH图像)输入至信息处理装置13。照明装置111熄灭后，控制装置12从投影装置112投射图案光(步骤S503)，使用摄像头110进行拍摄(步骤S504)。在使用相移法的情况下，一边改变图案光的相位，一边多次执行步骤S503以及S504的处理。在本实施方式中，对图案光的相位每次改变90度而执行4次拍摄，取得4张图像数据。使用图像取得部20，将得到的多张图像数据(图4的相位图像)输入至信息处理装置13。此外，在本实施方式中先使用照明装置111进行拍摄，但是也可以先使用投影装置112进行拍摄。另外，在摄像头110的视场外存在其他检查对象的情况下，也可以重复进行步骤S500～S504的处理。

下面，是使用信息处理装置13进行的处理。在图6的流程中示出测量焊锡表面的三维形状的处理(步骤S505)的详细情况。

首先，说明对CH图像的处理。颜色信息解析部21从CH图像提取焊锡区域图像(以下，也称为“第一焊锡区域图像”或者简称为“第一图像”。)(步骤S600)。例如，颜色信息解析部21，根据检查程序取得基板上的焊盘的位置、大小的信息，从而确定CH图像中的焊盘区域，并且从CH图像中识别部件(扩散物体)区域，从焊盘区域提取除了部件区域以外的区域来作为第一焊锡区域图像。图7的附图标记70是第一焊锡区域图像的一个例子。

以下，颜色信息解析部21对第一焊锡区域图像70适用多值化处理(步骤S601)。多值化处理是指，将图像分割(分段)为各个色调的区域的处理。由于从照明装置111仅照射红色光RL、绿色光GL、蓝色光BL，所以若焊锡表面是理想的镜面，则应该如图3所示那样清楚地分为R、G、B各个色调的区域。但是，实际上，由于因焊锡表面的微小的凹凸(微面)等导致的扩散反射成分或者漫反射成分会引发混合色或者噪声，所以R、G、B的色调间的边界常会模糊。多值化处理是用于去除如这样的色调间的混合色或者噪声的前处理。

例如，颜色信息解析部21在将第一焊锡区域图像70转换成HSV颜色空间的图像之后，进行如下的四值化处理：

·明度(V)小于规定值的像素→黑像素，

·色调(H)是0度±60度的像素→R像素，

·色调(H)是120度±60度的像素→B像素，

·色调(H)是240度±60度的像素→G像素，

进一步地，进行膨胀、收缩等噪声消除处理，来生成多值图像71。这样得到的多值图像71，从焊锡表面倾斜平缓的一侧依次由如下的5个区域构成，这5个区域是：黑色区域(倾斜角大致水平的部分)、红色区域(倾斜角小的部分)、绿色区域(倾斜角中等程度的部分)、蓝色区域(倾斜角大的部分)、黑色区域(倾斜角大致垂直的部分)。此外，在第一焊锡区域图像70中包含基板上的焊盘(焊垫)的表面的情况下，分割为还包含焊盘的区域的6个区域。根据摄像头110、焊锡、各光源111R、111G、111B之间的位置关系，在几何学上决定各颜色区域与焊锡表面的倾斜角范围之间的对应关系。

接下来，颜色可靠度计算部22计算各像素的颜色信息的可靠度(步骤S602)。在本实施方式中，将第一焊锡区域图像70转换为HSV颜色空间的图像之后，以如下的方式：

·彩度(S)大于或等于阈值Tl的像素→可靠度＝1(高)，

·彩度(S)小于阈值Tl的像素→可靠度＝0(低)，

从而基于彩度来决定可靠度。这是因为，镜面反射成分越强，则彩度越高。图7的72是颜色信息的可靠度映射图(黑像素表示可靠度＝1(高)，白像素表示可靠度＝0(低))的例子。可知，在焊锡的表面内，可靠度高的部分(光泽度较高的部分)和可靠度低的部分(光泽度较低的部分)混在一起。

以下，说明对相位图像进行的处理。相位信息解析部23分别从4张相位图像提取焊锡区域图像(以下，也称为“第二焊锡区域图像”或者简称为“第二图像”。)(步骤S603)。图7的73是第二焊锡区域图像的一个例子。然后，相位信息解析部23通过解析4张第二焊锡区域图像67的同一像素的亮度变化的相位，来求出各像素的高度(步骤S604)。图7的74是使用像素值表现第二焊锡区域图像67的各像素的高度(Z位置)的高度映射图。

接下来，相位可靠度计算部24计算各像素的相位信息的可靠度(步骤S605)。在本实施方式中，计算4张第二焊锡区域图像73之间的同一像素的亮度的变化量(最小亮度与最大亮度之差)，以如下的方式：

·亮度的变化量大于或等于阈值T2的像素→可靠度＝1(高)，

·亮度的变化量小于阈值T2的像素→可靠度＝0(低)，

来决定相位信息的可靠度。这是因为，图案光越明亮，则亮度的变化量越大。图7的75是相位信息的可靠度映射图(黑像素表示可靠度＝1(高)，白像素表示可靠度＝0(低))的例子。可知，在焊锡的表面内，可靠度高的部分(光泽度较低的部分)和可靠度低的部分(光泽度较高的部分)混在一起。

此外，在本实施方式中，在CH图像的处理之后，说明相位图像的处理，但是就两个处理的顺序而言，哪个在前都可以，也可以并行处理。另外，针对阈值Tl、T2，也可以基于使用样本图像的实验等适当設定。阈值Tl也可以对全部的色调使用相同阈值，也可以根据色调改变阈值。例如，当因助焊剂的影响而发生漫反射时，对于摄像头来说，有容易观测从焊锡的上方入射的光源颜色(在本实施方式的情况下是红色的)的倾向，因此，也可以使对于发红的色调的阈值大于对于其他色调的阈值。

以下，焊锡形状测量部25参照颜色信息的可靠度映射图72和相位信息的可靠度映射图75，比较各像素的颜色信息的可靠度和相位信息的可靠度。假如，在检测到相位信息的可靠度高于颜色信息的可靠度的像素的情况下，焊锡形状测量部25根据高度映射图74，取得该像素及其附近像素(例如相邻像素)的各自的高度信息，计算该像素的高度的变化量(即梯度)，求出倾斜角。如上所述，由于已知倾斜角与色调的对应关系，所以能够将根据高度映射图74求出的倾斜角转换为颜色(R、G、B、黑中的任一者)。然后，焊锡形状测量部25将多值图像71中的该像素的像素值(颜色)替换为根据高度映射图74求出的颜色。通过针对多值图像71的全部像素进行以上的处理，基于相位信息，修正多值图像71的像素中的如下特定像素的值(颜色)(步骤S606)，该特定像素是相位信息的可靠度比颜色信息高的像素。图7的76示出修正后的多值图像。

然后，焊锡形状测量部25据修正后的多值图像76推断各像素(即焊锡表面上的各点)的倾斜角(梯度)，对它们进行拼凑，恢复焊锡的三维形状(步骤S607)。例如，以高度映射图的形式保存如这样地计算出的三维形状的数据(图7的77)。

返回图5的流程，检查部26使用在步骤S505中得到的焊锡的三维形状的数据，实施焊锡的接合状态的检查(步骤S506)。此时，由于基于三维形状数据，能够立体地且准确地提取与部件或者焊盘相对应的焊锡的接合部分的形状等，与现有技术相比，能够进行更高精度的检查。

最后，结果输出部28在显示装置上显示在步骤S505得到的示出焊锡的三维形状的图像、在步骤S506中得到的检查结果(步骤S507)。此时，也可以在显示装置上显示在上述的处理的过程中得到的各种图像、映射图(参照图7)、测量值等。另外，也可以在该显示画面上能进行检查程序的修正(教学引导)。

(本实施方式的优点)

若采用以上所述的本实施方式的结构，则使用通过彩色亮度照明法和相移法这两种不同的照明法来拍摄的两种图像(第一焊锡区域图像、第二焊锡区域图像)，分别求出颜色信息的可靠度和相位信息的可靠度，使用可靠度更高的一种信息来生成焊锡的三维形状。彩色亮度照明法在原理上是焊锡的光泽度越高，精度越高；相移法在原理上是焊锡的光泽度越低，精度越高。因此，若如本实施方式这样，优先地使用两个方法中可靠度较高的一者(精度高的一者)，则无论焊锡表面光泽度(镜面度)高低，都能够高精度地测量焊锡表面的三维形状。

更加详细地，当因助焊剂的影响等导致焊锡表面的一部分中包含光泽度低的部分时，该部分的颜色信息有可能不准确(示出错误的倾斜角)，会降低三维形状的恢复精度。因此，因光泽度低，导致颜色信息的可靠度低，相反，针对相位信息的可靠度变高的像素，基于根据相位信息计算出的倾斜角，修正多值图像的颜色。通过这样，能够使用相位信息来增补光泽度低的部分的颜色信息(倾斜角信息)，即使光泽度高的部分与低的部分混在一起，也能够准确地恢复焊锡表面整体的三维形状。

而且，由于通过不同的照明法得到的信息汇集于焊锡表面高度这一个测量值上，所以还具有容易设计出使用该测量值的检查的逻辑或者判断基准的优点。

<其他的实施方式>

上述的实施方式的说明只不过是例示地说明本发明，本发明不仅限定于上述的具体的方式。本发明在其技术思想的范围内能够进行各种各样的变形。

例如，上述实施方式采用的是基于相位信息，修正根据颜色信息得到的多值图像的结构，相反地，也可以是基于颜色信息，修正根据相位信息得到的高度映射图的结构。在这种情况下，图5以及图6的处理流程是大致相同的，但是也可以以如下的方式改变步骤S606的修正处理的内容。即，焊锡形状测量部25参照颜色信息的可靠度映射图72和相位信息的可靠度映射图75，比较各像素的颜色信息的可靠度和相位信息的可靠度。假如，在检测到颜色信息的可靠度高于相位信息的可靠度的像素的情况下，焊锡形状测量部25根据多值图像71求出该像素以及该像素的附近像素的倾斜角。然后，焊锡形状测量部25基于根据多值图像71得到的倾斜角的信息，修正高度映射图74中的该像素以及该像素的附近像素的高度信息。例如，也可以在高度映射图74中，以可靠度较高的像素的高度为基准，积累倾斜角(梯度)。通过针对高度映射图74的全部像素进行以上的处理，基于颜色信息，修正高度映射图74的像素中的颜色信息的可靠度比相位信息高的像素的值(高度)。该修正后的高度映射图成为焊锡的三维形状的数据。如这样的处理也与上述实施方式相同，无论光泽度高低，都能够准确地恢复焊锡表面整体的三维形状。

另外，在上述实施方式中，作为彩色亮度照明法，使用R、G、B这3种颜色的光源，但是光源颜色的数量也可以比3种颜色多，光源的配置顺序也是任意的。另外，在上述实施方式中，使用相移法作为取得相位信息的方法，但是，在光泽度较低的情况下，只要是有效的方法即可，也可以使用其他的照明法。

另外，在上述实施方式中，将颜色信息的可靠度和相位信息的可靠度都设置为两个值，但是也能够通过多值或者连续值来表现可靠度。另外，作为可靠度使用的指数的求出方法并不仅限于上述实施方式，只要是与焊锡表面的光泽度(镜面度)的高低相关的指数即可，使用哪种指数都可以。

Claims (9)

1.一种测量装置，用于测量焊锡的三维形状，其特征在于，具有：

图像取得部，取得第一图像和第二图像，所述第一图像，是在以互不相同的入射角照射多种颜色的光，从而在焊锡的表面显现与其倾斜角相对应的颜色信息的状态下拍摄的，所述第二图像，是在投射图案光，从而在焊锡的表面显现与该焊锡的高度相对应的图案的相位信息的状态下拍摄的，

颜色可靠度计算部，针对焊锡的表面上的各点，求出所述第一图像的颜色信息的可靠度，

相位可靠度计算部，针对焊锡的表面上的各点，求出所述第二图像的相位信息的可靠度，

焊锡形状测量部，通过使用所述第一图像的颜色信息和所述第二图像的相位信息中可靠度高的一种信息，求出焊锡的表面上的各点的三维信息，来生成焊锡的三维形状。

2.如权利要求1所述的测量装置，其特征在于，还具有：

结果输出部，在显示装置上显示出表示由所述焊锡形状测量部得到的焊锡的三维形状的图像。

3.如权利要求1或者2所述的测量装置，其特征在于，

所述颜色可靠度计算部，基于所述第一图像的像素的彩度或者亮度，求出与该像素相对应的焊锡的表面上的点的颜色信息的可靠度。

4.如权利要求1～3中的任一项所述的测量装置，其特征在于，

所述第二图像是改变图案光的相位而拍摄的多个图像，

所述相位可靠度计算部，基于所述多个图像之间的同一个像素的亮度的变化量，求出与该像素相对应的焊锡的表面上的点的相位信息的可靠度。

5.如权利要求1～4中的任一项所述的测量装置，其特征在于，还具有：

颜色信息解析部，通过进行将所述第一图像分割为各个色调的区域的多值化处理，生成由各像素值表示互不相同的倾斜角范围的多值图像，

相位信息解析部，根据所述第二图像的相位信息，求出与各像素相对应的焊锡的表面的高度信息；

所述焊锡形状测量部进行如下处理：

在所述多值图像的像素中，针对相位信息的可靠度比颜色信息高的像素的像素值，基于倾斜角进行修正，所述倾斜角，是根据由所述相位信息解析部求出的该像素和该像素附近像素的高度信息而计算出的，

使用所述修正后的多值图像，生成焊锡的三维形状。

6.如权利要求1～4中的任一项所述的测量装置，其特征在于，还具有：

颜色信息解析部，通过进行将所述第一图像分割为各个色调的区域的多值化处理，生成由各像素值表示互不相同的倾斜角范围的多值图像，

相位信息解析部，根据所述第二图像的相位信息，求出与各像素相对应的焊锡的表面的高度信息；

所述焊锡形状测量部进行如下处理：

在由所述相位信息解析部求出的各像素的高度信息中，针对颜色信息的可靠度比相位信息的更高的像素的高度信息，基于根据所述多值图像得到的该像素的倾斜角的信息来进行修正，

使用进行了所述修正后的各像素的高度信息，生成焊锡的三维形状。

7.如权利要求1～6中的任一项所述的测量装置，其特征在于，具有：

检查部，使用由所述测量装置取得的焊锡的三维形状的数据，检查与部件或者基板相对应的焊锡的接合状态。

8.一种控制方法，用于控制测量装置，该测量装置用于测量焊锡的三维形状，该控制方法的特征在于，包括：

取得第一图像和第二图像的步骤，所述第一图像，是在以互不相同的入射角照射多种颜色的光，从而在焊锡的表面上显现与其倾斜角对应的颜色信息的状态下拍摄的，所述第二图像，是在投射图案光，从而在焊锡的表面上显现与该焊锡的高度相对应的图案的相位信息的状态下拍摄的，

针对焊锡的表面上的各点，求出所述第一图像的颜色信息的可靠度的步骤，

针对焊锡的表面上的各点，求出所述第二图像的相位信息的可靠度的步骤，

通过使用所述第一图像的颜色信息与所述第二图像的相位信息中可靠度高的一种信息，求出焊锡的表面上的各点的三维信息，生成焊锡的三维形状的步骤。

9.一种程序，其特征在于，

使计算机执行如权利要求8所述的测量装置的控制方法的各步骤。