CN1421688A - 曲面体的表面状态检查方法及基板检查装置 - Google Patents

Abstract

本发明的曲面体表面状态检查方法及基板检查装置，即使是在以具有漫反射性的曲面体作为认识对象的情况下，也能够进行稳定的检查。该基板检查装置具备投光单元(4)，该投光单元的发出R、G、B各彩色光的光源(8、9、10)配置于不同的仰角方向上，示教时对包含钎焊部位在内的图像区域，用存储器(13)存储的调整倍率对R、G、B的各灰度进行调整之后，从该调整处理之后的各灰度中去除分别与白色分量对应的灰度。再对该白色分量去除处理之后的图像进行修正，使得最优势的色分量比去除处理之前更得到强调，并且恢复处理之前的图像亮度，然后在CRT显示单元(20)进行显示。

Description

曲面体的表面状态检查方法及基板检查装置

技术领域

本发明涉及形成于元件安装基板上的如焊锡部位那样表面呈曲面形状的物体(下称“曲面体”)的表面状态的检查技术。

背景技术

申请人在以前开发研究出了利用焊锡部位的镜面反射性，借助于图像处理的方法对基板上的焊锡部位自动进行检查的装置(见专利文献1：日本特公平6一1173号公报)。

图9表示上述专利文献1揭示的基板检查装置的结构以及检查原理。该检查装置是利用有红(R)、绿(G)、蓝(B)的彩色光的3个光源8、9、10以及摄像装置3生成检查对象的图像的装置，各光源8、9、10配置在相对基板具有不同的仰角的方向。另一方面，摄像装置3配置成能够从正上方位置对检查对象的焊锡2进行摄像。

采用上面所述结构，来自光源8、9、10的彩色光线分别在焊锡2的表面上照射对应于该光源的配置方向(仰角方向)的位置。在这里，各色彩色光线的照射位置上的焊锡表面的倾斜都是在能够将该照明光线的镜面反射光引导到摄像装置的方向上倾斜的情况下，如图10所示，对应于R、G、B各色彩色光线的照射位置，生成各色彩分开的二维图像。

上述检查装置中，各光源8、9、10相对于基板面的仰角按照R、G、B的顺序依序变大，同时根据焊锡表面上想要划分检查的倾斜角度范围决定各光源8、9、10的配置方向。从而，如果在各光源8、9、10照明下得到的图像上提取成为优势的色彩，则如图11所示，与从基板面看来仰角最小的平坦面、仰角最大的陡峭面、以及处于其中间的比较平缓的缓倾斜面相对应，各彩色成分可以得到清楚的划分。

这样，就生成与表面的倾斜角度对应的R、G、B各色彩分开的二维图像，因此，预先把形状良好的焊锡的图像的各色彩图案记录下来，将检查对象的图像上的各色彩的图案与上述记录的图案加以比较，就能够判断焊锡表面的状态是否良好。

但是，近年来元件安装基板的制造厂家考虑到环境问题，越来越多采用不含铅的焊锡(无铅焊锡)。但是这种无铅焊锡是组成金属的固化温度之差大的非共晶合金，因此其表面容易形成具有微小凹凸的梨皮状花纹。因此，与以铅和锡为主成分的已有的共晶合金相比，表面漫反射性大。另一方面，这种检查装置考虑工作人员的视觉特性，调整各光源的强度，利用从各光源漫反射的光线混合实施白色照明，因此在对无铅焊锡那样的具有漫反射性的对象物体进行摄像时，会发生因各彩色光线混合而图像偏白色，或各彩色图案之间的界线不清楚的现象。又，上述调整处理中，设置白色漫反射板，并使其板面在水平方向上，对该漫反射面进行摄像，参照图像上的漫反射面上的色彩进行调整，因此接近该漫反射板的设置状态的焊锡料的平坦面上的红色处于特别不容易辨认的状态。

在上述检查装置中，为检查而进行示教时，需要显示模型的焊锡图像，设定工作人员提取各彩色图案用的2值化阈值及判断所提取的彩色图案是否适用的判定基准值等。但是在作为检查对象的无铅焊锡的图像中，一旦如上所述由各色彩的混合生成偏白色的图像或各彩色图案之间的界线变得不清楚，利用目视方法从图像判断最佳2值化阈值就不容易，还存在设定费时间的问题。而且上述光学系统虽然也可以用于目视方式的检查装置，但是一旦各彩色图案之间的边界位置等处的色彩的微妙差异的确认变得困难，判断各检查部位是否良好就费时间。

又，如果作为检查对象的无铅焊锡的漫反射性变大，各色分量之间的灰度的差变小，就难于使检查精度稳定。

本发明着眼于上述存在问题，其目的在于，即使是在以无铅焊锡那样的具有漫反射性的曲面体为检查对象的情况下也能够进行稳定的检查。

发明内容

本发明的第一种的曲面体的表面状态检查方法是执行下述步骤的方法，即，在从对检查对象表面的仰角不同的多个方向照射各不相同的彩色光线的照明状态下，对从所述检查对象表面上的曲面体反射的光线进行摄像的步骤；在上述摄像得到的图像中的包含曲面体像的图像区域，执行对每一像素提取各色彩混合而生成的白色分量的强度的处理，以及执行使各像素中的色彩分量的强度分别衰减的处理的步骤，衰减量为与就该图像提取的白色分量的强度对应的值；对上述衰减处理后的各像素，执行使各色分量的强度改变的处理的步骤，使得与衰减处理之前相比，各像素中的各色分量中强度最大的色彩分量得到强调，且由于上述衰减处理使该像素的各色分量的强度的总和发生的损失得到补偿；以及根据所述各色分量进行强度变更处理之后的图像的各色彩的分布状态，执行上述曲面体的表面状态检查方面的处理的步骤。

在这里，所谓“检查对象表面”是指例如基板的表面，而“曲面体”可以是指形成于基板上的焊锡。

从不同的仰角方向照射的彩色光线，最好是红、绿、蓝三原色光，但是也不限于此，也可以照射三原色以外的彩色光线。

通常显示的彩色图像利用将红(R)、绿(G)、蓝(B)每一色彩的灰度加以组合而形成，在R、G、B以相同的比例混合时呈现白色。因此，生成所述白色分量的“各色彩”可以说是R、G、B各色彩。

作为强度的衰减处理和变更处理的对象的各色分量，可以认为是与从所述多个方向照射的各种色光线对应的分量。因此在对上述曲面体照射三原色的R、G、B各彩色光线的情况下，作为处理对象的色分量也可以认为是R、G、B三种颜色。

色彩分量的强度与射入摄像机等摄像手段的反射光的强度对应，在数字图像中可以用每一像素的灰度表示。还有，在本发明中，最好是色分量的强度越大，则使灰度值越大。

上述白色分量的提取处理、强度的衰减处理、强度的变更处理，都可以对包含检查对象的曲面体像的图像区域内的每一像素执行。

白色分量的提取处理中，在数字浓淡图像中的包含曲面体像的图像区域，提取各色分量共同的规定量的强度作为白色分量。例如可以将各色分量的强度中的最小值作为白色分量提取。也可以将该最小值的规定比例份额的强度作为白色分量提取。

在使各色分量的强度衰减的处理中，利用从各色分量的强度中分别减去作为所述各白色分量提取的值的处理，可以使各色分量的强度各衰减规定量。利用该衰减处理能够去除各色彩的漫反射光混合产生的白色分量，因此可以说衰减处理之后各色分量的强度能够高精度地反映来自曲面体表面的各色彩的镜面反射光的强度。

接着，在变更各色分量的强度的处理中，使上述衰减处理之后变得最大的色分量的强度变得比衰减处理之前的强度更大，并且对各色分量补充规定量的强度，使由于衰减处理造成的、各色分量的强度的总和产生的损失得到补偿，使强度的总和值接近原强度的总和。

例如可以求进行上述衰减处理之前的各色分量的强度总和与衰减处理之后的各色分量的强度总和之比，根据该比值使衰减处理之后的各色分量的强度倍增。或者，也可以将作为所述白色分量去除的强度根据衰减处理之后的强度的比率分配给各色分量进行相加。

还有，在该强度变更处理中，最好是使各色分量的强度的总和恢复到与衰减处理之前相同的值。这样一来，可以使曲面体像的亮度与衰减处理之前相同，因此与未进行处理的曲面体像的周围部分之间亮度无差异，即使观察为了示教或目视检查而显示的图像也不会产生异样感。但是，如果对观察各色彩的分布状态有充分的亮度，与周围的亮度也不产生大的差异，则即使各色分量的强度的总和变为比衰减处理之前低的值也没有妨碍。

利用上述白色分量的提取处理和强度的衰减处理，去除了各种色彩的光线在作为识别对象的曲面上漫反射产生的白色分量，能生成各色彩以与各镜面反射光的强度对应的状态分布的图像。而且，利用强度的变更处理，能够调整由于上述衰减处理而变暗的图像使其达到能够确认色彩的亮度，同时能够进行修正以使与曲面体表面的倾斜角度对应的色分量更加得到强调，因此能够使最具优势的各分量与其他色分量之间具有足够的差值。从而，对于曲面体能够稳定地进行高精度的检查。

本发明的第二种的检查方法是执行下述步骤的方法，即在从对检查对象表面的仰角不同的多个方向照射各不相同的彩色光线的照明状态下，拍摄对所述检查对象表面具有任意倾斜角度的漫反射面来的反射光线的步骤；在上述摄像得到的图像中的漫反射面像中，决定各色分量的强度的调整倍率，以使与所述倾斜角度对应的仰角方向来的光线对应的色分量比其他色分量大的步骤；在与拍摄上述漫反射面时相同的照明状态下拍摄从检查对象面上的曲面体来的反射光的步骤；在上述拍摄得到的图像中的包含曲面体像的图像区域，根据上述调整倍率调整各色分量的强度的步骤；在上述调整处理之后的上述图像区域，执行对每一像素提取各色彩混合生成的白色分量的强度的处理、以及使各像素中的色分量的强度分别衰减与对各像素提取的白色分量的强度对应的值的处理的步骤；对上述衰减处理后的各像素，执行使各色分量的强度改变的处理的步骤，使得与衰减处理之前相比，各像素中的各色分量中强度最大的色彩分量得到强调，且由于上述衰减处理使该像素的各色分量的强度的总和发生的损失得到补偿；以及根据所述各色分量进行强度变更处理之后的图像的各色彩的分布状态，执行上述曲面体的表面状态检查方面的处理的步骤。

上述所谓漫反射面像中的“与倾斜角度对应的仰角方向来的光”是在能够检测具有上述倾斜角度的面的仰角方向上配备的光源来的光线。换句话说可以说是，在将上述漫反射面置换为具有相同的倾斜角度的镜面的情况下，能够将镜面反射光引向摄像装置的方向上配置的光源发射出的光线。

例如在上述图9的结构中，在上述漫反射面的倾斜角度被设定为与焊锡的平坦面对应的角度的情况下，“与倾斜角度对应的仰角方向来的光线”是红光，而在倾斜角度被设定为与焊锡的缓倾斜面对应的角度的情况下，所述光线是绿光，同样，在倾斜角度被设定为与焊锡的陡峭面对应的角度的情况下，上述光线是蓝光。

对上述漫反射面来的反射光进行摄像的步骤和决定各色分量强度的调整倍率的步骤是先于检查执行的步骤。这些步骤最好是一边变更漫反射面的倾斜角度一边反复进行多次。例如一边依序把漫反射面设定于作为各彩色光的检查对象的倾斜角度，一边对每一倾斜角度在各色彩色光线的照明之下进行摄像，在得到的图像中调整对于各色分量的强度的倍率，使与上述漫反射面的倾斜角度对应的色分量比其他色分量大。其后，综合每一倾斜角度的调整结果，决定最终的调整倍率。

对来自检查对象面上的曲面体的反射光进行摄像的步骤以下的各步骤是在检查时进行的步骤。也就是说，在检查中对检查对象的曲面体来的反射光进行摄像，对得到的图像中的曲面体像，首先根据上述调整倍率调整各色分量的强度，然后再执行上述白色分量的提取处理、强度的衰减处理、以及强度的改变处理这几项处理，用处理之后的图像进行与曲面体的表面状态的检查相关的处理。

采用上述方法，对与各光源的配置方向对应的倾斜面的图像，进行调整使在各倾斜面是镜面的情况下为优势的色分量更显著，因此检查对象的曲面体表面的漫反射性能好，即使是在各色分量之间的强度差不容易呈现的情况下，也能够与表面为镜面的曲面体一样，得到与倾斜角度对应的色彩分布。而且由于在执行该调整之后进行白色分量的提取处理、强度的衰减处理、强度的变更处理这几项处理，因此能够得到消除了漫反射光的影响，各色彩的分布状态清晰的图像。

还有，在上述决定强度的调整倍率的步骤中，不限于使用上述漫反射板的方法，也可以对表面形状已知的模型的曲面体进行摄像，设定能够把在该图像上与各光源对应的倾斜面的图案作为与各光源对应的色彩图案显现出来的调整倍率。

又，倍率的调整不限于对数字图像上的色分量的强度的倍率，也可以对模拟图像信号进行设定。例如在将来自摄像装置的模拟图像取入图像处理装置进行处理时，可以调整在图像处理装置一方输入的图像信号的增益。又可以代之以调整摄像装置的输出增益。

即使是在调整图像信号的增益时，最好也一边相应于各色彩的光线的方向依序变更漫射面的倾斜角度一边进行增益调整，以使得在各倾斜角度上与各倾斜角度对应的色分量比其他色分量大。

但是，在调整色分量的强度的方法中，可以只调整与检查对象的曲面体像对应的图像区域，而在调整模拟图像信号的情况下，曲面体以外的部位(例如基板的表面、零件的上表面等)也要同样地被调整。但是对于任何部位都只是进行加强与该表面的倾斜角度对应的色分量的调整，因此如果清楚利用倾斜角度产生什么样的色彩，则确认图像显示就没有什么难处。

在上述第1、第2检查方法中，有关曲面体显示状态的检查的处理中，把上述强度的变更处理后的包含上述曲面体像的图像区域中的各色彩的分布状态与预先设定的模型数据进行比较，可以判断上述曲面体的表面状态是否良好。上述模型数据可以利用这样的方法得到，即预先利用与检查时相同的照明条件、摄像条件进行摄像，对得到的图像进行白色分量的提取处理、强度的衰减处理、强度的变更处理等(在采用第2种方法时，在进行这些处理之前执行根据调整倍率对各色分量的强度进行调整的处理)。

还有，最好是模型数据由利用对各色分量规定的阈值使上述曲面体像2值化而得到的多个色彩图案构成。在这种情况下，在检查中可以利用同样的2值化阈值使经过各种处理后的包含曲面体像的图像区域2值化，将得到的各色彩图案的特征量(面积、重心位置等)与模型数据的特征量进行比较。在该比较中，认定两者之间的差异在容许值范围内时判定作为检查对象的曲面体的表面形状良好。

还有，用于提取上述色彩图案的2值化阈值以及作为比较处理时的判定基准的模型数据的特征量最好是预先记录于存储器内。

采用上述方法，在对具有漫射性的曲面体的表面状态自动进行检查的情况下能够稳定地进行高精度的检查。

另一方面，在目视检查上述曲面体的表面状态的情况下，有关上述检查的处理中可以包含显示上述强度变更处理之后的图像的处理，以及受理表示对于该显示的图像中的上述曲面图像的是否良好的判定结果的数据的输入的处理。采用这样的方法能够对检查员提示各色彩的分布状态相应于曲面体表面的倾斜状态清楚显示的图像，因此能够可靠地判定曲面体的表面状态是否良好，能够与自动检查时一样，稳定地进行高精度检查。

还有，本发明的第1基板检查装置具备：将发射不同色彩的光线的多个光源相对于作为检查对象的基板面在各不相同的仰角方向上配置形成的照明手段、对所述基板的反射光进行摄像用的摄像手段、在使所述照明手段的各光源点亮的状态下取入上述摄像手段生成的图像的图像输入手段；在上述图像输入手段取入的输入图像中的包含焊锡的图像的图像区域中，执行对每一像素提取各色彩混合生成的白色分量的强度的处理，以及执行使各像素的色分量的强度衰减的处理的白色分量衰减手段，衰减量分别为与对该像素提取的白色分量的强度对应的值；对上述衰减处理后的各像素，执行变更各色分量的强度的处理，使得比衰减处理之前更强调各该像素中的色分量中强度最大的色分量，并且补偿因上述衰减处理该像素的各色分量的强度总和发生的损失的强度修正手段；在上述强度修正处理之后的图像中的上述图像区域，将各色彩的分布状态与预先登录的模型数据进行比较，判断上述焊锡的表面状态的判别手段；以及输出上述判别手段的判断结果的输出手段。

上述照明手段中也可以设置例如对于每一色彩具有不同的直径的环状光源。多个光源可以采用例如发射红(R)、绿(G)、蓝(B)各种色彩的光线的三种光源，但是并不限于此，也可以包含发射三原色以外的彩色光的光源或白色照明用的光源。

摄像手段可以利用能够生成各种色彩的图像信号的CCD摄像机构成。图像输入手段组装于进行以检查为目的的图像处理的装置的主体内，用于生成作为处理对象的图像，可以采用包含用于对上述摄像手段来的图像信号进行放大处理的放大电路和生成处理用的数字图像用的A/D变换电路的结构。

还有，摄像手段不限于生成模拟图像信号的手段，也可以是数字摄像机。在这种情况下，图像输入手段由单独取入每一色彩的数字图像数据用的输入端口构成。

白色分量衰减手段、强度修正手段、判别手段这些手段是上述装置主体内的控制主体，最好是由执行与各手段对应的程序的CPU构成。但是，这些手段并不限于CPU，可以利用ASIC(特定用途IC)等专用元器件构成部分单元。

输出手段可以采用将上述判别手段的判断结果输出到外部装置用的接口电路构成。又可以用显示上述判断结果的显示手段或将上述判断结果存储于规定的存储媒体的信息存储手段作为输出手段。

白色分量衰减手段通过执行上述白色分量的提取处理和强度衰减处理，将输入的图像变换为消除了从检查对象的焊锡表面来的漫反射光的影响的图像。强度修正手段利用执行上述强度变更处理的方法，补偿由于强度衰减处理而失去的图像亮度，同时对上述衰减处理之后的图像进行调整，以更突出最优势的色分量。

判别手段提取强度变更处理之后的图像中的焊锡的图像的上的各色彩图案，将该色彩图案与模型数据进行比较，以此判断焊锡的表面状态是否良好。与模型数据的比较如上所述可以利用将各色彩图案的特征量与模型数据的特征量加以比较的方法进行。

还有，为了进行这种判别处理，最好是在上述基板检查装置设置登录提取上述色彩图案用的2值化阈值和以模型数据的特征量为依据的判定基准值用的存储器。(模型数据本身未必一定要记录于存储器，因为，通过记录2值化阈值及判定基准值，可以认为记录了模型数据。)

还有，在上述基板检查装置中最好是设置用于显示示教处理用的图像的显示手段以及鼠标器、键盘、控制台等输入手段。

上述基板检查装置中，对示教时拍摄、输入的图像也利用白色分量衰减手段及强度修正手段进行处理，在显示手段上显示处理后的图像。从而，能够在上述显示手段上显示的图像上不犹豫地进行指定适合2值化阈值的部位的处理，能够有效地进行检查用的数据的设定及登录处理。

在检查时也根据由于白色分量衰减手段及强度修正手段进行的处理而清晰化的色彩分布进行自动检查，因此能够稳定地进行高精度的检查。

还有，本发明的第2基板检查装置具备：与上述第1装置相同的照明手段、图像输入手段、白色分量衰减手段、强度修正手段等各种手段、显示由上述强度修正手段进行强度变更处理之后的图像的显示手段、以及受理对该显示手段显示的图像中的焊锡的图像判断是否良好的判断结果数据的输入的输入手段。

上述显示手段由利用CRT、LCD等的显示装置、以及使调整处理之后的图像显示于该显示装置用的D/A变换电路和接口等构成。上面所述的第1基板检查装置的显示手段也与此相同。

输入手段也与上述第1基板检查装置的输入手段相同，可以利用鼠标器、键盘、控制器等构成。还有，由输入手段输入的数据可以输出到外部的装置等，或可以存储于规定的记录媒体。

采用上述第2基板检查装置，对于检查对象的焊锡，在显示手段上显示经过利用白色分量衰减手段及强度修正手段进行的处理之后的图像，因此能够根据与焊锡的表面倾斜状态相应清晰化的色彩分布高效率地正确地进行目视检查，稳定地进行高精度的检查。

还有，可以使上述第1、第2基板检查装置具备强度调整手段，该调整手段在利用所述图像输入手段取入的输入图像中的包含焊锡图像的区域，根据预先设定的各色分量的强度的调整倍率调整各色分量的强度。在这种情况下的白色分量衰减手段设定为以上述强度调整手段进行调整处理之后的图像作为处理对象。

还有，上述强度调整手段可以利用将执行该手段用的程序装入设定有上述白色分量衰减手段和强度修正手段的同一计算机的方法实现。而且决定的调整倍率也可以存储于该计算机的存储器中。

或是，强度调整手段也可以采用调整对摄像手段一侧的输出增益或取入图像输入手段进行放大处理时的增益进行调整的手段的结构。

上述各色分量的强度的调整中使用的调整倍率可以对每一色分量作出决定，以使得在上述照明手段的各光源点亮的状态下，上述摄像手段拍摄对上述基板面具有任意倾斜角度的漫反射面时的输入图像中的上述漫反射面中，与上述倾斜角度对应的仰角方向来的光线相应的色分量大于其他色分量。

采用具备上述强度调整手段的基板检查装置，在执行白色分量的提取处理和强度的衰减处理之前，对检查对象的焊锡的图像进行调整处理，以强调与焊锡表面的倾角度对应的色分量，因此在以具有漫反射性的无铅焊锡为检查对象的情况下，能够得到与该焊锡的表面的倾斜状态对应的色彩分布，而且能够消除漫反射光线的影响，使上述色彩的分布状态更加清楚。

附图说明

图1是本发明一实施例的基板检查装置的结构方框图。

图2是表示对光源进行光量调整之后就漫反射板的图像得到的灰度特性的曲线图。

图3是强度调整处理中使用的调整倍率的决定方法的说明图。

图4是表示强度调整处理之后就漫反射板的图像得到的灰度特性的曲线图。

图5是一种白色分量去除处理方法的说明图。

图6是一种强度修正处理方法的说明图。

图7是表示示教时的步骤的流程图。

图8是表示检查时的步骤的流程图。

图9是表示基板检查装置的光学系统的结构以及认识处理的原理的说明图。

图10是表示使用图10的光学系统的认识处理的原理说明图。

图11是表示利用图10的光学系统得到的焊锡图像上的灰度特性的曲线图。

符号说明

1S、1T           基板

2                焊锡

3                摄像单元

4                投光单元

5                控制处理单元

8、9、10         光源

11               CPU

12               图像输入单元

13               存储器

15               图像处理单元

20               CRT显示单元

具体实施形态

图1表示本发明一实施例的基板检查装置的结构。

该基板检查装置处理是对检查对象基板摄取得到的图像，判断上述基板上的焊锡部位等是否良好的装置，由摄像单元3、投光单元4、控制处理单元5、X轴工作台部分6、Y轴工作台部分7等构成。

图中的1T是作为检查对象的基板(下称“被检查基板1T”)。而1S是焊锡焊接状态和元件的安装状态等良好的基准基板，在检查之前进行示教时使用。

上述Y轴工作台部分7具备支持基板1S、1T的输送器24，利用未图示的电动机使该输送器24移动，使上述基板1S、1T沿着Y轴方向(图中为垂直于纸面的方向)移动。上述X轴工作台部分6在Y轴工作台部分7的上方一边支持摄像单元3及投光单元4一边使其在X轴方向(图的左右方向)上移动。

上述投光单元4利用具有不同的直径的3个圆环状光源8、9、10构成。这些光源8、9、10分别发射红色光、绿色光、蓝色光，其中心对着观测位置的正上方配置，从而从上述基板1S、1T的支持面看来，配置在与不同的仰角对应的方向的位置上。

上述摄像单元3是生成彩色图像用的CDD摄像机，其光轴与各光源8、9、10的中心对应，并且沿着铅直方向定位。因此，作为检测对象的基板1S、1T来的反射光射入摄像单元3，变换为三原色的彩色信号R、G、B后输入到控制处理单元5。

控制处理单元5是以CPU11为控制主体的计算机，其构成包含：图像输入单元12、存储器13、摄像控制器14、图像处理单元15、XY工作台控制器16、检查单元17、示教表18、输入单元19、CRT显示单元20、打印机21、收发信单元22、外部存储装置23等。

图像输入单元12具备放大来自摄像单元3的R、G、B各色图像信号的放大电路和将这些图像信号变换为数字信号用的A/D变换电路等。存储器13中设置用于存储各色彩的数据量的浓淡图像数据和将这些浓淡数据2值化处理得到的2值图像等的图像存储区域。为了下面所述的强度调整处理，还在该存储器13存储对于R、G、B的各灰度的调整倍率等。

摄像控制器14具备将摄像单元3和投光单元4连接于CPU11的接口等，根据来自CPU11的命令调整投光单元4的各光源的光量，或进行保持摄像单元3的各色彩的光线的输出的相互平衡等的控制。

XY工作台控制器16包含将上述X轴工作台部分6以及Y轴工作台部分7连接于CPU11的接口等，根据来自CPU11的指令控制X轴工作台部分6以及Y轴工作台部分7的移动动作。

示教表18是用于存储各基板的检查用数据的存储单元。该数据表18存储对于每种基板，汇总检查信息而成的判定文件，所述检查信息包括：检查区域的设定位置和大小、在该检查区域内提取R、G、B个色彩图案所必要的2值化阈值(除了各色分量的2值化阈值外，还包含对于明亮度的2值化阈值)、以及根据提取的色彩图案判断是否良好用的基准值(根据色彩图案的位置、大小等每一特征量进行设定)等。这些判定文件在检查之前用对上述基准基板摄像得到的图像由有关人员进行示教，在检查时由CPU11读出并放置于存储器13等，提供给图像处理单元15和检查单元17等。

图像处理单元15从存储器13存储的R、G、B的各图像数据中以像素单位提取R、G、B的各自的灰度以及根据这些灰度的总和显示的明亮度。还有，图像处理单元15用上述2值化阈值依序将各检查区域的图像数据2值化，提取R、G、B的各色彩图案。

检查单元17从上述示教表18接受提供的判定基准值等，将上述图像处理单元15提取的各色彩图案的特征量与判定基准值进行比较，判断焊锡的形成位置、大小、形状等是否良好，将该判断结果输出到CPU11。CPU11综合各检查区域的判断结果，判断被检查基板1T是否合格。该最终判断结果被输出到CRT显示单元20和打印机21或收发信单元22。

上述输入单元19是用于输入检查用的各种条件和检查信息等的，由键盘、鼠标器等构成。CRT显示单元20(下面简称“显示单元20”)接受CPU11提供的图像数据、检查结果、上述输入单元19来的输入数据等，将其显示于显示画面上。又打印机21接受CPU11提供的检查结果等，将其以预定的形式打印出来。

收发信单元22是用于与零件安装设备、钎焊装置等其他装置之间的数据收发的，例如对于判定为不合格的被检查基板1T，将该识别信息或不良的内容发送到后一级的修正装置，借助于此，可以迅速对不良处所进行修正。外部存储装置23是对软盘、光磁盘等存储媒体读写数据用的装置，用于存储上述检查结果，或从外部取入检查所需要的程序或设定数据。

还有，在上述结构中，图像处理单元15及检查单元17由安装有执行上述各处理用的程序的专用的处理器构成。但是，不一定要设置专用的处理器，也可以赋予进行主控制的CPU以图像处理单元15及检查单元17的功能。

在这一实施例的基板检查装置中，决定各光源8、9、10的配置方向，以利用各R、G、B能检测从基板面观测的仰角在5～15°范围的平坦面、15～22.5°范围的缓倾斜面、22.5～37.5°范围的陡峭斜面。

又，在这一实施例中，利用将从各光源8、9、10来的光线混合的方法，实施白色照明，用白色漫反射板代替基板，调整各光源8、9、10的光量。该调整是利用下述调整方法进行的，即在使漫反射板的板面沿着水平方向设置该漫反射板的状态下进行摄像，调整各光源8、9、10的光量，使图像上的漫反射面的色彩变成与实物为相同的白色。

图2表示在上述光量调整完成的各光源8、9、10的照明之下对漫反射板进行摄像时得到的R、G、B各自的灰度与上述漫反射板的倾斜度(图中表示为从基板面起的仰角)的关系。

上面所述的光量调整通常在将漫反射板设置于水平方向上的状态下进行，因此，在与上述平坦面对应的倾斜角度，与该倾斜角度对应的R的强度与G、B的强度大致相同，其结果是，在图像上不出现红色的图案，而出现白色的图案。又，即使是在缓倾斜面和陡峭面，与这些面的倾斜度对应的色彩也只有微小的优势，其结果是，R、G、B各色彩图案以带白色的状态出现。

在这样设定的光学系统中对无铅焊锡进行观察，则上述漫射板那样显著的状态不会发生，但是由于焊锡表面的漫反射性，对于任何倾斜面，R、G、B各色分量之间的灰度差都变小。这个灰度差的程度因焊锡表面的凹凸状态而各不相同，特别是在漫反射性高的情况下，图像上的白色分量变大，生成总体上偏白的图像。在这种装置中存在着这样的问题，即示教时在显示的图像上进行具有相应于各色图案的颜色的图像区域的指定等，设定2值化阈值，而一旦图像这样发白，要确认适合2值化阈值的图像区域变得困难，示教的效率下降。又存在着这样的问题，也就是一旦各色分量之间的灰度差小，要使检查精度稳定就变得困难。

因此，在这一实施例中，在以无铅焊锡作为检查对象的情况下，实施根据与倾斜角度对应的调整值调整各色分量的处理(下面称这种处理为“强度调整处理”)以及去除由各色分量混合生成的白色分量的处理(以下称这种处理为“脱白处理”)。然后，在示教时，显示利用这些处理调整的图像，受理2值化阈值和判定基准值的设定操作，生成检查信息。与此同时，在检查时也对检查对象的图像实施同样的调整，将上述2值化阈值和判定基准值使用于该调整后的图像，判定焊锡部位是否良好。

下面对强度调整处理以及脱白处理的详细内容加以说明。

在强度调整处理中，利用对每一像素把R、G、B的各灰度分别与各规定的倍率相乘的方法，对图像进行调整。在这里使用的倍率，例如图3所示，可以利用下述方法决定，即，将所述漫反射板30依次设定成与各光源8、9、10的配置方向对应的倾斜角度一边进行摄像，调整在每一倾斜角度得到的图像的灰度以进行决定。又可以利用取入形状已知的焊锡部位的图像，进行调整以使该图像上的各色彩图案与该焊锡的形状对应的方法决定。

在这一实施例的基板检查装置中，利用使用上述漫反射板30的方法，在与平坦面、缓倾斜面、陡峭斜面各面对应的倾斜角度范围(5～15°、15～25.5°、22.5～37.5°各范围)，设定各色分量的调整倍率，以使得在各该角度范围应该具有优势的色分量的灰度比其他色分量的灰度大的时候，对于R的灰度得到1.07的倍率，对于G的灰度得到1.03的倍率，对于B的灰度得到1.00的倍率。图4示出进行了该强度调整处理之后，上述漫反射板得到的灰度的特性，在与平坦面对应的角度范围，R比其他色彩显示出优势，在与缓倾斜面对应的角度范围，G比其他色彩显示出优势，在与陡峭斜面对应的角度范围，B比其他色彩显示出优势。

上述倍率是维持各光源8、9、10的配置方向与根据各色彩的检测范围的关系所必要的设定值，因此只要光源8、9、10的配置关系不发生变更，上述倍率就应该维持。

例如如果只有对R的灰度的倍率变大，则上述图4中的R的灰度的特性曲线就向上方移动，其结果是，R优势的角度范围变大，缓倾斜面侧的一部分上也出现R色彩图案，各光源的配置方向与检测范围的关系失常。

这样设定的调整倍率存储于存储器13等，以后，每一次对含有无铅焊锡的检查区域进行图像处理时，或根据工作人员的指定，对输入的图像数据执行使用上述登录的倍率的强度调整处理。

接着在脱白处理中与上述强度调整处理一样以像素单位调整构成处理对象的图像的R、G、B的各灰度。在这一实施例中，继续执行从各色分量中去除各3色分量混合产生的白色分量的白色分量去除处理、以及使该由于去除该白色分量而降低的图像亮度在维持各分量之间的强度的优劣关系保持不变的条件下恢复去除白色分量之前的亮度的强度修正处理。

图5表示白色分量去除处理的原理。

进行该白色分量去除处理的前提是，上述强度调整处理之后的R、G、B各色分量是在与本来的镜面反射光对应的色分量中加入了伴随各色彩光的漫反射而产生的白色分量的色分量。

也就是说，如果把白色分量去除处理之前的各灰度记为(R_1n、G_1n、B_1n)、白色分量去除处理之后的各灰度记为(R_m、G_m、B_m)、基于本来的镜面反射光的灰度记为(R_S、G_S、B_S)，各色分量中包含的白色分量的强度记为C(以下简称为“白色分量C”)，则如下式(1)所示，白色去除处理之后的各色分量等于本来的色分量。

(R_m，G_m，B_m)

＝(R_in-C，G_in-C，B_in-C)

＝((R_s+C)-C)，((G_s+C)-C)，((B_s+C)-C))         …(1)

＝(R_s，G_s，B_s)

又，白色分量是R、G、B各色分量以相等的比例混合产生的。又，与观测对象的倾斜面的倾斜角度不对应的色分量最好是尽量去除。鉴于这一点，在本实施例中将R、G、B各灰度中的最小值作为上述白色分量C提取出，从R、G、B的各灰度减去该最小的灰度C。

在这里根据作为代表性的色调的计算定义的HSI变换，求处理之后的色分量(R_m、G_m、B_m)显示的色调H_m，则可知如式(2)所示，该色调H_m与白色分量去除之前的色分量(R_1n、G_1n、B_1n)显示的色调H_1n为相同值。 $H_m=\frac{G_m-B_m}{R_m-G_m-{2B}_m}$ $=\frac{(G_{\mathrm{in}}-C)-(B_{\mathrm{in}}-C)}{(R_{\mathrm{in}}-C)+(G_{\mathrm{in}}-C)-2(B_{\mathrm{in}}-C)}----\left(2\right)$ $=\frac{G_{\mathrm{in}}-B_{\mathrm{in}}}{R_{\mathrm{in}}+G_{\mathrm{in}}-{2B}_{\mathrm{in}}}$ $=H_{\mathrm{in}}$

接着在强度的修正处理中，着眼于明亮度由R、G、B的各灰度总和表示这一点，用进行上述白色分量去除处理之前的明亮度L_1n及处理之后的明亮度Lm，如下式(3)所示使处理之后的各色分量(R_m、G_m、B_m)倍增，将该结果决定为最终的调整处理图像的色分量(R_out、G_out、B_out)。

还有，采用利用上述处理求得的最终色分量(R_out、G_out、B_out)，则如式(4)所示，调整处理之后的图像的明亮度L_out与白色分量去除处理之前的图像的明亮度L_1n相等。 $L_{\mathrm{out}}=R_{\mathrm{out}}+G_{\mathrm{out}}+B_{\mathrm{out}}$ $=(R_m+G_m+B_m)\×\frac{R_{\mathrm{in}}+G_{\mathrm{in}}+B_{\mathrm{in}}}{R_m+G_m+B_m}----\left(4\right)$ $=R_{\mathrm{in}}+G_{\mathrm{in}}+B_{\mathrm{in}}$ $=L_{\mathrm{in}}$

这样，利用分两个阶段的处理，可以在维持处理之前的图像的色调以及明亮度不变的同时，去除漫射的各色分量混合生成的白色分量，因此，对于与上述平坦面、缓倾斜面、陡峭斜面这各种面对应的角度范围，可以显示分别使R、G、B的色分量清楚的图像。

还有，在上述强度的修正处理中，根据处理之前的明亮度与处理之后的明亮度之比，使各色分量以均等的比例倍增，但是也可以代之以利用图6所示的方法修正。

在图6的例子中，对于该白色去除处理之后的各色分量中最大的分量(在图示的例子中为R)加上规定值2a，对第2大的分量(在图示的例子中为G)加上对R的相加值的一半的值a。

在这里，如果作为相加值的1单位的a取为在上述白色分量去除处理中去除的白色分量C的值，则如下面的(5)式所示，在白色分量去除处理中去除的3C份额的亮度恢复，和前面的使各色分量倍增的方法一样，可以维持处理之前的图像的亮度。

L_out＝R_out+G_out+B_out

＝(R_m+2a)+(G_m+a)+B_m

＝R_m+G_m+B_m+3a

＝(R_in-C)+(G_in-C)+(B_in-C)+3C    …(5)

＝R_in+G_in+B_in

＝L_in

图7表示上述基板检查装置中的示教时的步骤。还有，在该图7及以下的说明中，各处理的步骤表示为“ST”。

示教时，首先，工作人员对输入单元19进行操作，在登录作为示教对象的基板名称和基板的尺寸等数据之后，将上述基准基板1S设定于Y轴工作台部分7上，在利用上述投光单元4进行的照明下开始进行摄像(ST1)。利用该处理将R、G、B的各图像信号取入图像输入单元12后，实施数字变换处理，将处理对象的彩色浓淡图像数据输入上述存储器13内。又，在这里输入的彩色图像被显示于上述显示单元20。

工作人员将摄像单元3和投光单元4对规定的被检查部位进行定位后进行摄像，对得到的图像用鼠标器等指定检查区域。接受该指定操作之后，CPU11进入ST2，取入上述检查区域的设定位置及大小，暂时存储于存储器13内(ST2)。再在接着的ST3对上述检查区域内的各像素提取各R、G、B的各灰度。

另一方面，工作人员在上述检查区域是包含焊锡部位的区域的情况下，接着上述检查区域的设定操作之后输入表示该意思的识别信息。由于该识别信息的输入，ST4为“YES”，对上述检查区域内的各像素，依序分别执行上述强度调整处理、白色分量去除处理、强度修正处理(ST5～7)。

还有，在这里(未图示)一旦进行上述ST5～7的处理，则在上述显示单元20中，与检查区域对应的显示就变换为上述最终调整处理之后的灰度(R_out、G_out、B_out)形成的图像。接着，工作人员如果一边参照该图像一边输入对于提取表示焊锡部位的各色彩图案最合适的2值化阈值，CPU11就取入该设定值，并与上述检查区域的设定数据(位置和大小)有对应地将其存储于上述存储器13(ST8)。再在ST9根据利用这些2值化阈值提取的各色彩图案计算测量焊锡的面积、形状、位置等，根据这些计算测量值设定上述判定处理用的基准值。

以下同样对基板上的被检查部位依序进行摄像，在进行检查部位的设定之后，执行2值化阈值和判定基准值的设定用的一系列处理。还有，对于焊锡部位以外的被检查部位，由于没有输入上述识别信息，ST4判定为“NO”，ST5～ST7的处理被跳过，照原样使用输入的图像进行设定处理。

这样以后一旦对所有的被检查部位的设定结束，ST10就判定为“YES”，在ST11，根据对各被检查部位在存储器13暂时存储的检查信息,生成判定数据文件，保存于示教表18。还有，在该判定数据文件中，在作为上述焊锡部位的检查区域指定的检查区域中设定识别用的标志。

图8表示基板检查装置的自动检查步骤。还有，在该图中，以ST21以后的符号表示各步骤。又，该图8的步骤是对于1枚基板进行的步骤，根据被检查基板的数目反复进行。

在该检查之前，工作人员利用基板名称等指定被检查基板的1T的种类。CPU11根据该指定从示教表18读出与上述被检查基板1T对应的判定数据文件并置于存储器13内。在该状态下一旦进行检查开始操作，在最初的ST21，检查基板1T被搬入Y轴工作台部分7，摄像开始进行。

接着，CPU11根据上述判定数据文件内的检查区域的设定数据，对最初的被检查部位将摄像单元3和投光单元4定位，生成上述被检查部位的图像，在该图像上设定检查区域。在这里，在对该区域设定有上述识别用的标志的情况下，ST23判定为“YES”，以下依序执行强度调整处理、白色分量去除处理、强度修正处理，对所述检查区域内的图像数据进行调整(ST24～26)。

此后，在ST27，根据上述2值化阈值，将检查区域内的浓淡图像2值化，提取R、G、B各色彩的图案。再在接着的ST28，用提取的各色彩图案，计算测量焊锡的面积、形状、位置等，将该计算测量结果与上述判定基准值进行比较，以此判定焊锡部位是否良好。

下面同样根据判定数据文件内的设定数据，对各被检查部位依序进行摄像，设定检查区域后，根据该区域内的图像数据，判断被检查部位是否良好。还有，对于焊锡部位以外的检查区域，上述ST23的判断为“NO”，跳过ST24～26的处理，原封不动使用输入图像，进行2值化处理和判定处理。

一旦对所有的被检查部位的判定处理结束，ST29判定为“YES”，以后在ST30～32，根据对各被检查部位的判定结果，对被检查基板IT进行合格品或不合格品的判定处理。再在ST33输出该判定结果，结束对上述被检查基板1T的检查。

如上所述，在该实施例的基板检查装置中，在以存在无铅焊锡的基板为对象的情况下，利用强度修正处理进行调整，以使得对于图像上的平坦面、缓倾斜面、陡峭斜面，与各种面对应的色分量比其他色分量大，同时利用脱白处理，去除附在各色分量中的白色，因此能够利用R、G、B各色彩清楚地表现焊锡的各倾斜面。因而在示教时能够从该调整处理之后的图像不犹豫地读取对于设定2值化阈值合适的部分，能够高效率地进行2值化阈值和判定基准值的设定。而且即使是在检查中，也能够将上述2值化阈值和判定基准值使用于进行了同样的调整处理的图像，进行稳定的检查。

在本发明中，在使用在各不同的仰角方向上配置发出不同的彩色光线的多个光源的照明系统，对无铅焊锡那样的具有漫反射性的曲面体的表面状态进行检查的情况下，是在进行处理使图像中的包含曲面体像的图像区域的色彩的分布状态更加清楚的基础上，执行涉及检查的处理，因此能够稳定地进行高精度的检查。

Claims (8)

1.一种曲面体的表面状态检查方法，其特征在于，执行下述步骤，即在从对检查对象表面的仰角不同的多个方向照射各不相同的彩色光线的照明状态下，对从所述检查对象表面上的曲面体反射的光线进行摄像的步骤；

在所述摄像得到的图像中的包含曲面体像的图像区域，执行对每一像素提取各色彩混合而生成的白色分量的强度的处理，以及执行使各像素中的色彩分量的强度分别衰减的处理的步骤，衰减量为与就该图像提取的白色分量的强度对应的值；

对上述衰减处理后的各像素，执行使各色分量的强度改变的处理的步骤，使得与衰减处理之前相比，各像素中的各色分量中强度最大的色彩分量得到强调，且由于上述衰减处理使该像素的各色分量的强度的总和发生的损失得到补偿；以及

根据所述各色分量的强度改变之后的图像的各色彩的分布状态，执行关于所述曲面体的表面状态的检查的处理的步骤。

2.一种曲面体的表面状态检查方法，其特征在于，执行下述步骤，即在从对检查对象表面的仰角不同的多个方向照射各不相同的彩色光线的照明状态下，拍摄对所述检查对象表面具有任意倾斜角度的漫反射面来的反射光线的步骤；

在所述摄像得到的图像中的漫反射面像中，决定各色分量的强度的调整倍率，以使与所述倾斜角度对应的仰角方向来的光线对应的色分量比其他色分量大的步骤；

在与拍摄所述漫反射面时相同的照明状态下拍摄从检查对象面上的曲面体来的反射光的步骤；

在所述拍摄得到的图像中的包含曲面体像的图像区域，根据所述调整倍率调整各色分量的强度的步骤；

在上述摄像得到的图像中的包含曲面体像的图像区域，执行对每一像素提取各色彩混合而生成的白色分量的强度的处理，以及执行使各像素中的色彩分量的强度分别衰减的处理的步骤，衰减量为与就该图像提取的白色分量的强度对应的值；

对上述衰减处理后的各像素，执行使各色分量的强度改变的处理的步骤，使得与衰减处理之前相比，各像素中的各色分量中强度最大的色彩分量得到强调，且由于上述衰减处理使该像素的各色分量的强度的总和发生的损失得到补偿；以及

根据所述强度的变更处理之后的图像的各色彩的分布状态，执行关于所述曲面体的表面状态的检查的处理的步骤。

3.根据权利要求1或2所述的曲面体的表面状态检查方法，其特征在于，

有关所述曲面体的表面状态的检查的处理，包含把所述强度变更处理后的图像中的包含所述曲面体像的图像区域中的各色彩的分布状态与预先设定的模型数据进行比较，判断上述曲面体的表面状态是否良好的处理。

4.根据权利要求1或2所述的曲面体的表面状态检查方法，其特征在于，

有关所述曲面体的表面状态的检查的处理包含：显示上述强度变更处理之后的图像的处理、以及受理表示该显示的图像中的上述曲面体图像是否良好的判定结果的数据的输入的处理。

5.一种基板检查装置，其特征在于，具备

将发射不同色彩的光线的多个光源相对于作为检查对象的基板面在各不相同的仰角方向上配置而成的照明手段；

对来自所述基板的反射光进行摄像用的摄像手段；

取入在使所述照明手段各光源点亮的状态下利用上述摄像手段生成的图像的图像输入手段；

在上述图像输入手段取入的输入图像中的包含焊锡的图像的图像区域中，执行对每一像素提取各色彩混合生成的白色分量的强度的处理、以及使各像素的色分量的强度分别衰减与对各该像素提取的白色分量的强度对应的值的处理的白色分量衰减手段；

对于上述衰减处理后的各像素，执行变更各色分量的强度的处理，使得比衰减处理之前更强调各该像素中的各色分量中强度最大的色分量，并使因上述衰减处理使该像素的各色分量的强度的总和发生的损失得到补偿的强度修正手段；

在上述强度修正处理之后的图像中的上述图像区域，将各色彩的分布状态与预先设定的模型数据进行比较，判断上述焊锡的表面状态的判别手段；以及输出上述判别手段的判断结果的输出手段。

6.一种基板检查装置，其特征在于，具备

将发射不同色彩的光线的多个光源相对于作为检查对象的基板面在各不相同的仰角方向上配置而成的照明手段；

对所述基板的反射光进行摄像用的摄像手段；

取入在使所述照明手段各光源点亮的状态下利用上述摄像手段生成的图像的图像输入手段；

在上述图像输入手段取入的输入图像中的包含焊锡的图像的图像区域中，执行对每一像素提取各色彩混合生成的白色分量的强度的处理、以及使各像素的色分量的强度分别衰减与对各该像素提取的白色分量的强度对应的值的处理的白色分量衰减手段；

对于上述衰减处理后的各像素，执行变更各色分量的强度的处理，使得比衰减处理之前更强调各该像素中的各色分量中强度最大的色分量，并使因上述衰减处理使该像素的各色分量的强度总和发生的损失得到补偿的强度修正手段；

显示所述强度变更处理之后的图像的显示手段；以及

受理对所述显示手段显示的图像中的焊锡的图像显示是否良好的判断结果的数据的输入的输入手段。

7.根据权利要求5或6所述的基板检查装置，其特征在于，

具备在利用所述图像输入手段取入的输入图像中的包含焊锡图像的区域，根据预先设定的各色分量的强度的调整倍率调整各色分量的强度的强度调整手段，

所述白色分量衰减手段以上述强度调整手段进行调整处理之后的图像作为处理对象。

8.根据权利要求7所述的基板检查装置，其特征在于，上述各色分量的强度的调整中使用的调整倍率是对每一色分量决定的倍率，使得在上述照明手段的各光源点亮的状态下，上述摄像手段拍摄对上述基板面具有任意倾斜角度的漫反射面时的输入图像中的上述漫反射面像中，与上述倾斜角度对应的仰角方向来的光线相应的色分量大于其他色分量。

Images