CN100386773C - 图像处理方法、基板检查方法和装置及检查数据制作方法 - Google Patents

Abstract

本发明提供一种图像处理方法、基板检查方法和装置、基板检查用的检查数据制作方法。即使观测对象物体的色调发生了一定程度的变化，也可以高精度地抽出该观测对象物，提高图像处理精度。在拍摄膏状钎焊料印刷前的裸基板得到的标准图像，呈现发出红色的焊垫的图像。拍摄良好地涂覆有膏状钎焊料的基板得到的优良图像中，膏状钎焊料的图像呈现出发蓝色的状态。在自动示教处理中，分别对标准图像和优良图像的每个像素计算出R、G、B的各色调数据，并且对每个对应的像素的组，计算各色调数据的变化量。且抽出蓝色成分的变动量大于等于规定的阈值的像素，将由被抽出的像素构成的图像区域看作熔融后焊接印刷区域，执行检查区域和样品的设定处理。

Description

图像处理方法、基板检查方法和装置及检查数据制作方法

技术领域

本发明涉及一种通过处理由2个以上的颜色数据组合构成的彩色图像，对该图像中的观测对象物施加规定的图像处理的技术。

此外，本发明涉及处理基板的彩色图像并对该图像中的被检查部位进行自动检查的技术、以及制作该自动检查所必要的检查数据的技术。

背景技术

在零件安装基板的一般的制作工序中包含，在印刷配线板上印刷膏状钎焊料的工序、在印刷有膏状钎焊料的位置安装零件的工序、以及加热安装零件后的基板将零件钎焊在基板上的工序。

在上述流程中制作零件安装基板的情况下，希望在每个工序中都检查该工序中的处理是否进行得合适。鉴于此要求，申请人开发了通过处理彩色图像来自动检查被检查部位的基板检查装置。例如，有下述专利文献1中公开的装置。

专利文献1：日本特许第3250335号公报。

在此基板检查装置，生成了作为检查对象的基板的图像(以下称为“处理对象图像”)之后，在此处理对象图像上的各被检查部位设定检查区域，在各检查区域，通过分别按照红(R)、绿(G)、蓝(B)设定的二值化阈值抽出具有与被检查部位相同的色彩的像素。并且，将由被抽出的各象素构成的图像区域视为被检查部位，通过与预先示教的标准值对照其面积和位置来判定被检查部位是否合适。

此外，在这种基板检查装置，为了活用于最后的钎焊工序后的基板的焊脚(fillet)检查，引入称为“色彩最大亮度照明”的照明方式。此照明是将红、绿、蓝的彩色光从不同的仰角方向照射到基板上，红色光源的仰角设置为最大，以下，按绿色光源、蓝色光源的顺序缩小仰角那样地来配设。此外，拍摄基板的照相机，朝向铅锤方向配置光轴，以围绕该光轴的方式被配有各光源。通过这样的结构，按照焊接的倾斜角度将不同色彩的光线入射到照相机，在生成的图像上的焊脚也呈现出R、G、B各色彩图案。

在焊脚检查中，单独抽出检查区域中的R、G、B的各色彩图案，对每个色彩图案判断位置和大小是否合适。由此，可以高精度地判断焊接的倾斜状态是否合适。

在现有的基板检查装置中，通过二值化来进行被检查部位的抽出，但一旦周围环境的亮度发生了变化，基板表面的亮度也发生变化，或在被检查部位产生影子。一旦发生这样的变化，被检查部位的色调发生变化，在被设定了的阈值，有可能不能正确地抽出被检查部位。

此外，在不限定于基板检查的一般的图像处理中，由于照明变动或各个对象物的个体差别等也会发生观测对象物体的色调变动。为此将观测对象物的色彩划定于特定的范围，仅抽出包含在该范围内的色彩的方法将不能充分确保观测对象物的抽出精度。

发明内容

本发明鉴于上述问题而产生的，其目的在于即使观测对象物的色调发生了一定程度的变化，也可以高精度地抽出其观测对象物，提高以检查为首的各种图像处理的精度。

此发明涉及的图像处理方法是将由n个(n≥2，以下相同。)颜色数据的组合构成的彩色图像作为处理对象，从该处理对象图像抽出观测对象物来执行规定的图像处理的方法。作为图像处理，可以计测观测对象物的位置、大小、轮廓形状等，然后将此计测处理结果与规定的阈值相比较来判断是否为合适的观测对象物。此外，对所抽出的观测对象物体的图像数据，求出相对预先所设定的样品的图像数据的类似度，输出该类似度并根据类似度来判断观测对象物是否合适。

此外，作为图像处理，也可以只进行显示观测对象物的抽出结果的处理。例如，有以容易地识别处理对象图像中的观测对象物为目的，通过特定的色彩识别显示被抽出的观测对象物的情况。

作为上述彩色图像，下面以将红(R)、绿(G)、蓝(B)3色的浓淡数据(灰度)作为颜色数据组合而成的图像为例来说明。但是，彩色图像的结构不仅限于此，例如，也可以将R、G、B以外的色彩的浓淡数据作为颜色数据相加的4个以上的颜色数据组合而成的彩色图像作为处理对象。另外，只要能够限定观测对象物的色彩范围，如R和G，G和B那样，也可以将颜色数据限定为2个。

在此发明涉及的图像处理方法中，执行下述的第一、第二、第三步骤。

在第一步骤中，在观测对象物不在拍摄区域内的状态下进行拍摄而生成标准图像。

在第二步骤中，观察上述n个颜色数据中的特定的一个或者比n小的规定数量的颜色数据，对包含于上述观测对象物的处理对象图像上的每个象素，针对于相对上述n个颜色数据的组合的观察中的颜色数据的强弱程度，抽出从上述标准图像上的对应像素看的变化量和变化方向。

在第三步骤中，抽出在上述第二步骤中被抽出的变化量超过规定的标准值、并且被抽出的变化方向与特定的方向对应的像素，将由被抽出的像素构成的图像区域作为上述观测对象物来识别。

上述处理对象图像和标准图像大小相同，优选在各像素之间有一对一的对应关系。这些图像可以通过执行1次由照相机的拍摄处理而生成，也可以将由多次拍摄得到的多张图像合成的图像作为处理对象图像或标准图像来设定。

生成标准图像时的照明或照相机的条件优选设定为与取得处理对象图像时相同。但是由于周围环境的亮度变化等影响，即使照明条件有些变动也没有影响。

在第二步骤中，由于观测对象物的存在，优选观察相对标准图像显著增加的颜色数据或显著减少的颜色数据。例如，放置观测对象物的基座部分的颜色为绿色，观测对象物为红色时，可以观察根据观测对象物增加的R或减少的G，或观察R、G双方。

“相对n个颜色数据的组合的观察中的颜色数据的强弱程度”是表示，对由n个颜色数据决定的颜色，观察中的颜色数据具有何种程度的影响力的概念。例如，相对n个颜色数据的值的总和的观察中的颜色数据的比，可以认为是强弱的程度。例如，将R、G、B的各种颜色数据作为r、g、b，在其中观察了r的情况下，可以作为强弱程度算出[r/(r+g+b)]。

此外，在观察多个颜色数据时，优选求出每个这些颜色数据的上述比，但也不仅限于此，可以求出关于这些颜色数据的值的总和的比。例如，观察r、g、b中的r和g时，可以求出[r/(r+g+b)]和[g/(r+g+b)]，也可以求出[(r+g)/(r+g+b)]。前者的算出方法能够适用于根据观测对象物的存在r、g一同变化，并且可以特定各自变化方向的情况。另一方面，后者的算出方法可以适用于虽然根据观测对象物的存在r、g中的任意一个的强度存在变化，但无法特定变化哪个的情况。

并且，作为强弱程度，可以求出相对没观察的颜色数据的观察中的颜色数据的比。例如，在观察r、g、b中的b的情况下，作为强弱程度可以算出[b/(r+g)]。

在第三步骤中，在观察对象的颜色数据为一个的情况下，优选以正方向或负方向为对象，抽出具有超过标准值的变化量的像素。另一方面，在观察多个颜色数据的情况下，也可以抽出表示这些颜色数据的每个的变化的矢量的合成矢量的朝向对应预先设定的特定的方向，并且，合成矢量的长度超过规定的标准值的像素。但是，也可以对各个正在观察中的颜色数据，将每个正方向或负方向的变化量与个别的标准值相比较，抽出任何一个变化量都超出了标准值的像素。

抽出相对于标准图像在处理对象图像中颜色发生变化了的部分时，只求出了两图像之间的颜色数据的差，不仅各种颜色的差别被抽出，即使是同色系的色彩，其明暗的变化也被抽出了。

对此，根据本发明，因为对于比观测对象物增强的颜色数据或减弱了的颜色数据，抽出相对n个颜色数据的组合的强弱程度的变化，抽出其变化沿特定的方向具有规定的标准值以上的变化量来表示的像素，所以可以高精度地抽出因观测对象物色彩产生了变化的区域。此外，即使因周围的亮度变化的影响，观测对象物的色调有若干变动，由于没有变化到颜色数据的强弱趋势，所以可以获得比以各颜色数据的特定组合为标准进行二值化的情况更高的观测对象物的抽出精度。

接着，此发明涉及的基板检查方法是通过拍摄检查对象的基板，生成由n个颜色数据组合构成的彩色的处理对象图像，从生成的处理对象图像抽出被检查部位来执行规定的检查的方法。被检查部位是，例如，如果是焊接印刷工序后的基板就是膏状钎焊料，如果是焊接工序后的基板就是熔融后的焊接焊脚。此外，如果是安装了零件之后的基板，也可以将零件的主体部作为被检查部位。

在这种基板检查方法中，在检查前执行了第一步骤之后，在每个被检查部位执行第二～第四步骤。

在第一步骤中，拍摄不存在上述被检查部位的基板来生成标准图像。另外，这种没有被检查部位的基板，可以是在成为检查对象的基板的制作工序的前一个工序中制作的基板，也可以是在前2个以上的工序中制作的基板。

在第二步骤中，在对应上述处理对象图像的一个被检查部位的位置设定检查区域。

在第三步骤中，观察上述n个颜色数据中的特定的一个或比n小的规定数量的颜色数据，对每个包含在上述检查区域的像素，针对于相对上述n个颜色数据的组合的观察中的颜色数据的强弱程度，抽出从上述标准图像上的对应像素看的变化量以及变化方向。

在第四步骤中，抽出在上述第三步骤抽出的变化量超过规定的标准值，并且被抽出的变的方向对应特定的方向的像素，将由被抽出的像素构成的图像区域作为对象，执行用于上述检查的图像处理。

第二步骤中的检查区域的设定数据，可以通过后述的检查数据制作方法来预先求得。在第三步骤、第四步骤中，执行与上述的图像处理方法中的第二、第三步骤相同的处理，抽出被检查部位，可以执行用于检查的图像处理。另外，关于标准图像，对每个预先检查区域，求出相对n个颜色数据的组合的观察中的颜色数据的强弱程度，为了第三步骤的处理而进行记录也可。

本发明涉及的基板检查装置，具备拍摄检查对象的基板并生成由组合n个颜色数据而成的彩色图像的图像生成单元，从由上述图像生成单元生成的检查对象的基板的图像抽出被检查部位来执行用于检查的图像处理的图像处理单元，使用由上述图像处理单元产生的处理结果来判断上述基板是否优良的判断单元，以及输出由上述判断单元做出的判断结果的输出单元。

上述图像生成单元中包含例如基板拍摄用照相机、或将从此照相机输出的图像变换为数字的A/D转换电路等。并且，在重叠多张图像来作为处理对象图像时，在图像生成单元包含例如设定有关于图像合成处理的程序的计算机。

在上述图像处理单元包含颜色数据处理单元、存储单元、区域设定单元、第一、第二抽出单元以及被检查部位识别单元。这些单元当中存储单元以外的单元，由例如设定有程序的计算机来构成。存储单元由例如上述计算机的内部存储器或外接存储器构成。

颜色数据处理单元，观察上述n个颜色数据中的特定的一个，或比n小的规定数量的颜色数据，对每个像素，算出相对上述n个颜色数据的组合的观察中的颜色数据的强弱程度。

在存储单元记录有上述图像生成单元拍摄没有安装上述被检查部位的基板而生成的标准图像，或相对此标准图像的上述颜色数据处理单元的处理结果。

区域设定单元在上述图像生成单元生成了检查对象的基板的图像时，在与该图像的被检查部位对应的位置设定检查区域。

第一抽出单元，在让由上述区域设定单元设定的检查区域内的图像在上述颜色数据处理单元处理的同时，使用其处理结果和上述存储单元内的记录信息，对每个上述检查区域内的像素，针对于相对上述n个颜色数据的组合的观察中的颜色数据的强弱程度，抽出从上述标准图像上的对应像素看的变化量和变化方向。

第二抽出单元，抽出由第一抽出单元抽出的变化量超过规定的标准值、并且被抽出的变化的方向与预先设定的特定的方向对应的像素。被检查部位识别单元，将由第二抽出单元所抽出的像素构成的图像区域作为上述被检查部位来识别。

根据上述结构，根据由图像生成单元执行上述基板检查方法的第一部步骤，在存储单元记录了标准图像或相对标准图像的颜色数据处理单元的处理结果。在检查时，由区域设定单元，执行上述基板检查方法涉及的第二步骤的处理，或者执行由颜色数据处理单元和第一抽出单元进行的第三步骤的处理，由第二抽出单元和被检查部位识别单元执行第四步骤。

并且，本发明，由于使用由n个颜色数据的组合而成的彩色图像来自动检查基板，所以也适用于制作检查数据的方法。在本发明的基板检查用的检查数据制作方法中执行以下第一～第五步骤。

首先在第一步骤，拍摄不存在被检查部位的基板来生成标准图像，在第二步骤，拍摄存在被检查部位的基板来生成处理对象图像。

在第三步骤，观察上述n个颜色数据中的特定的一个，或比n小的规定数量的颜色数据，对每个上述处理对象图像上的像素，抽出相对上述n个颜色数据的组合的观察中的颜色数据的强弱程度，相对上述标准图像上的对应像素的变化量和变化的方向。

在第四步骤中，抽出在第三步骤被抽出的变化量超过规定的标准值、并且被抽出的变化的方向与特定的方向相对应的像素，将由被抽出的像素构成的图像区域作为上述被检查部位来识别。

在第五步骤中，设定包含在上述第四步骤被识别的被检查部位的检查区域，该设定数据包含在相对上述被检查部位的检查数据中。

另外，本发明提供一种图像处理方法，将由n个颜色数据的组合构成的彩色图像作为处理对象，从该处理对象图像抽出观测对象物来执行规定的图像处理，其中n≥2，在该图像处理方法中，执行以下步骤：

第一步骤，在上述观测对象物不存在于拍摄对象区域内的状态下，通过拍摄上述观测对象物来生成标准图像；

第二步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从在上述拍摄对象区域内不存在上述观测对象物的状态向存在上述观测对象物的状态转移时产生于该观测对象物所对应位置的变化量比其他颜色数据的变化量大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算包含上述观测对象物的处理对象图像上的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第三步骤，基于上述第二步骤的计算结果，从上述处理对象图像中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域识别为上述观测对象物，

在上述第三步骤中，在对于存在上述观测对象物时比不存在上述观测对象物时增加的颜色数据进行观察的情况下，将比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述观测对象物时比不存在上述观测对象物时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

在上述的图像处理方法中，在上述第二步骤中，当观察中的颜色数据为多个时，分别独立地执行以下计算处理，即计算这些颜色数据的每一个所求出的上述比值相对上述标准图像上的对应像素的上述比值的差值。

本发明还提供这样一种图像处理方法，将由n个颜色数据的组合构成的彩色图像作为处理对象，从该处理对象图像抽出观测对象物来执行规定的图像处理，其中n≥2，在该图像处理方法中，执行以下步骤：

第一步骤，在上述观测对象物不存在于拍摄对象区域内的状态下，通过拍摄上述观测对象物来生成标准图像；

第二步骤，针对上述n个颜色数据，对包含上述观测对象物的处理对象图像上的每个像素执行以下处理，即，关于该颜色数据分别相对各颜色数据的总和或其他n-1个颜色数据的总和的比值，计算包含上述观测对象物的处理对象图像上的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差；

第三步骤，在上述第二步骤的计算结果中，观察以下颜色数据的比值的差值，该颜色数据既是特定的一个颜色数据或比n小的多个颜色数据、又是从在上述拍摄对象区域内不存在上述观测对象物的状态向存在上述观测对象物的状态转移时产生于该观测对象物所对应位置的变化量比其他颜色数据大的颜色数据，并基于该差值，从上述处理对象图像中抽出观察的差值所对应的比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，从而将所抽出的像素构成的图像区域识别为上述观测对象物，

在上述第三步骤中，在对于存在上述观测对象物时比不存在上述观测对象物时增加的颜色数据的比值的差值进行观察的情况下，将观察中的差值所对应的比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述观测对象物时比不存在上述观测对象物时减少的颜色数据的比值的差值进行观察的情况下，将观察中的差值所对应的比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

本发明还提供一种基板检查方法，通过拍摄钎焊料印刷之后的基板或者利用钎焊料焊接之后的基板，生成由n个颜色数据的组合构成的彩色处理对象图像，并针对不同的基板，从所生成的处理对象图像中抽出不同的区域作为被检查部位，即，针对钎焊料印刷之后的基板，抽出膏状钎焊料的印刷区域作为被检查部位，针对利用钎焊料焊接之后的基板，抽出熔融后焊接区域作为被检查部位，然后基于抽出结果来执行规定的检查，其中n≥2，在该基板检查方法中，

在执行了第一步骤之后，对每个被检查部位执行以下第二步骤至第四步骤，其中：

第一步骤，拍摄不存在上述被检查部位的基板而生成标准图像；

第二步骤，在与上述处理对象图像的一个被检查部位对应的位置设定检查区域；

第三步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从在上述检查区域内不存在被检查部位的状态向存在被检查部位的状态转移时产生于该被检查部位所对应位置的变化量比其他颜色数据大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算包含于检查区域中的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第四步骤，基于上述第三步骤的计算结果，从上述检查区域中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域作为抽出对象而执行用于上述检查的图像处理，

在上述第四步骤中，在对于存在被检查部位时比不存在被检查部位时增加的颜色数据进行观察的情况下，将上述比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述被检查部位时比不存在上述被检查部位时减少的颜色数据进行观察的情况下，将上述比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

本发明还提供一种基板检查装置，其具有：

图像生成单元，其通过拍摄钎焊料印刷之后的基板或者利用钎焊料焊接之后的基板，生成由n个颜色数据的组合构成的彩色图像，其中n≥2；

图像处理单元，其针对不同的基板，从由上述图像生成单元生成的检查对象的基板的彩色图像中抽出不同的区域作为被检查部位，即，针对钎焊料印刷之后的基板，抽出膏状钎焊料的印刷区域作为被检查部位，针对利用钎焊料焊接之后的基板，抽出熔融后焊接区域作为被检查部位，并执行用于检查的图像处理：

判断单元，其利用由上述图像处理单元得到的处理结果，判断上述基板是否合格；

输出单元，其输出由上述判断单元得到的判断结果，

上述图像处理单元，包括：

颜色数据处理单元，其观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从不存在被检查部位的状态向存在上述被检查部位的状态转移时产生于该被检查部位所对应位置的变化量比其他颜色数据大的颜色数据，并对每个像素计算观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值；

存储单元，其记录上述图像生成单元拍摄不存在被检查部位的基板而生成的标准图像、或上述颜色数据处理单元对该标准图像的处理结果；

区域设定单元，其在上述图像生成单元生成了检查对象基板的图像时，在与该图像的被检查部位对应的位置设定检查区域：

变化量计算单元，其使上述颜色数据处理单元处理由上述区域设定单元设定的检查区域内的图像，并利用该处理结果以及上述存储单元内的记录信息，关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算上述检查区域内的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

像素抽出单元，其基于上述变化量计算单元的计算结果，从上述检查对象区域中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素；

被检查部位识别单元，其将由上述像素抽出单元抽出的像素构成的图像区域识别为上述被检查部位，

在上述像素抽出单元中，在对于存在上述被检查部位时比不存在上述被检查部位时增加的颜色数据进行观察的情况下，将比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述被检查部位时比不存在上述被检查部位时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

本发明还提供一种基板检查用检查数据制作方法，利用由拍摄钎焊料印刷之后的基板而生成的n个颜色数据的组合构成的彩色图像，制作用于自动检查印刷在上述基板上的膏状钎焊料的检查数据，其中n≥2，在该检查数据制作方法中，执行以下步骤：

第一步骤，拍摄印刷膏状钎焊料之前的基板而生成标准图像；

第二步骤，拍摄印刷有膏状钎焊料的基板而生成处理对象图像；

第三步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从未印刷上述膏状钎焊料的状态向印刷有上述膏状钎焊料的状态转移时产生于该膏状钎焊料所对应位置的变化量比其他颜色数据大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算上述处理对象图像上的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第四步骤，基于上述第三步骤的计算结果，从上述处理对象图像中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域识别为被检查部位；

第五步骤，设定包含上述第四步骤中所识别的被检查部位的检查区域，并将该设定数据包含在对于上述被检查部位的检查数据中，

在上述第四步骤中，在对于印刷有上述膏状钎焊料时比未印刷上述膏状钎焊料时增加的颜色数据进行观察的情况下，将比值在上述正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于印刷有上述膏状钎焊料时比未印刷上述膏状钎焊料时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

根据上述的方法，使用由不存在被检查部位的基板得到的标准图像和由良好地安装有被检查部位的基板得到的处理对象图像，可以以与上述的图像处理方法相同的手段来抽出被检查部位。由此，在标准图像和处理对象图像之间，即使产生由明暗等影响导致的色调差异，也可以不受其影响而高精度地抽出被检查部位，正确地制作检查区域的设定涉及的检查数据。

根据本发明，即使观测对象物的色调在某种程度上具有偏差，由于可以确保观测对象物的抽出精度，所以可以高精度地执行所期望的图像处理。

此外，如果将本发明用于基板检查，即使被检查部位的色调具有偏差，由于可以高精度地抽出被检查部位，所以也可以高精度地进行检查区域的设定数据的制作和检查时的被检查部位的抽出处理，并能提高基板检查装置的性能。

附图说明

图1是本发明的一个实施例涉及的基板检查装置的方框图。

图2是表示图像的色调变化的颜色矢量的概念的说明图。

图3A、B、C是表示标准图像和优良图像的例子和从这些图像中抽出熔融后的焊锡区域的结果的说明图。

图4是表示自动示教(teaching)处理的顺序的流程图。

图5是表示检查区域的设定例的说明图。

图6A、B是表示熔融后的焊锡区域的样品和使用了此样品的检查方法的说明图。

图7是表示焊锡印刷后基板的检查顺序的流程图。

图8是表示相对一个检查区域的判断结果的显示例子的说明图。

图9A、B是表示在对良好的焊脚和焊接缺陷部位进行色彩最大亮度照射时被观测的色彩分布状态的说明图。

图10是表示焊脚检查用的样品的制作方法的说明图。

图11是表示焊脚检查用的样品的制作方法的说明图。

图12是表示焊脚检查用的顺序的流程图。

图13是表示焊脚检查用的其他顺序的流程图。

图14是表示零件检查用的样品的制作方法的说明图。

图15是表示零件检查的顺序的流程图。

具体实施方式

图1是本发明的一个实施例涉及的基板检查装置的方框图。

此基板检查装置具有处理拍摄检查对象的基板1得到的图像，判断上述基板1上的被检查部位是否适当的功能。被检查部位可以根据检查对象的基板的种类来适当地设定。例如，在检查膏状钎焊料印刷后的基板的情况下，可以将膏状钎焊料的印刷部位作为检查对象，在检查零件安装后的基板的情况下，可以将零件主体作为检查对象，在检查钎焊后的基板的情况下，可以将各零件的焊脚作为检查对象。

上述基板检查装置由拍摄部3、投光部4、控制处理部5、X轴工作台部6、Y轴工作台部7等构成。

Y轴工作台部7，具备支承上述基板1的传送带7A，由未图示的马达驱动此传送带7A，使上述基板1沿Y轴方向(与图中的纸面垂直的方向)移动。上述X轴工作台部6，在Y轴工作台部7的上方支承拍摄部3和投光部4的同时，使这些部分在X轴方向(图的左右方向)移动。

上述投光部4是适用于上述色彩最大亮度照明的结构，由具有不同直径的3个圆环状光源8、9、10构成。这些光源8、9、10是分别发出红色(R)、绿色(G)、蓝色(B)各种颜色光线的装置，通过在观测位置的正上方位置对准中心，以从上述基板1来看，位于对应不同仰角的方向的方式来配置。

上述拍摄部3含有彩色图像生成用的CCD照相机，其光轴对应各光源8、9、10的中心并沿铅锤方向定位。由此来自作为观测对象的基板1的反射光入射到拍摄部3，变换为R、G、B的各灰度数据并向控制处理部5输入。

控制处理部5，除了将包含CPU的计算机作为控制部11，还有图像输入部12、存储器13、拍摄控制器14、图像处理部15、照明控制部16、XY工作台控制器17、检查部18、示教表19、输入部20、CRT显示部21、打印机22、收发信部23、外部存储装置24等。

图像输入部12具有放大来自拍摄部3的R、G、B的各图像信号的放大电路，用于将这些图像信号转换为数字信号的A/D转换电路等。在存储器13除了存储R、G、B各自的灰度数据，还存储有后述的色调数据和颜色矢量的计算结果等。

拍摄控制器14具备将拍摄部3连接到控制部11的接口等，进行基于来自控制部11的命令来驱动上述拍摄部3或调整各颜色光线的输出程度等的控制。照明控制部16是用于调整投光部4的各光源的光量的装置。另外，在此实施例中，为了通过混合红、绿、蓝各色光线来实施白色照明，调整各光源8、9、10的光量。

XY工作台控制器17含有将上述X轴工作台部6和Y轴工作台部7连接到控制部11的接口等，基于来自控制部11的指令来控制X轴工作台部6和Y轴工作台部7的移动动作。

示教表19是用于保存基板的检查数据的存储部。在此检查数据中包含相对各被检查部位的检查区域的设定条件(设定位置和区域大小等)、在各检查区域执行的程序种类、被检查部位的样品、用于判断被检查部位是否合适的判断标准值等。另外，此示教表19可以设定在硬盘那样的不挥发性存储器装置内。

在此实施例中使用的检查数据是在检查之前示教的内容，作为每种基板的种类的检查数据文件进行归纳，并保存到上述示教表19中。上述控制部11，在接收到被检查基板1的基板名称的输入后，从上述示教表19读出对应该被检查基板1的检查数据文件并设置到存储器13中。图像处理部15和检查部18基于该被读取的文件内的检查数据执行处理。

图像处理部15，在检查时，对存储在存储器13中的由R、G、B的各灰度组成的彩色图像，执行使用了上述检查数据的图像处理，计测被检查部位的位置或大小等。检查部18通过与记录了计测结果的判断标准值相比较来判断被检查部位是否合适。

控制部11，在检查部18进行判断处理的同时，将其判断结果输出到CRT显示部21(以下仅称为“显示部21”)。此外，对一张基板的检查一结束，则控制部11综合对各被检查部位的判断结果判断被检查基板1是否为优良产品，并将其最终的判断结果输出到显示部21或打印机22、或者收发信部23。

上述输入部20用于输入用于检查的各种条件或检查信息等内容，由键盘或鼠标等构成。

显示部21，从控制部11接到图像数据、检查结果等的供给，并将这些显示在显示画面上。此外，打印机22接到来自控制部11的检查结果等的供给，并将其以预定的形式打印出来。

收发信部23是用于在与其他装置之间进行数据交换传递的装置，例如被判断为不良的被检查基板1，将该识别信息和不良内容发送到后段的修正装置，由此可以快速修正不良处。外部存储装置24是在软磁盘、CD-R、光磁器磁盘等存储介质上读写数据的装置，用于保存上述检查结果，或从外部读入检查所必需的程序或设定数据。

另外，上述结构中，图像处理部15和检查部18是由编入了用于执行上述各处理的程序的专用处理器构成的。但是也不一定必须设置专用的处理器，只要能赋予控制部11图像处理部15和检查部18的功能就可以。

在上述基板检查装置中，在与检查对象相同种类的基板上，生成各被检查部位的品质良好的基板(以下称此基板为“优良基板”)的图像(以下称为“优良图像”)、和上述被检查部位配备的前述优良基板的图像(以下称为“标准图像”)，并使用这些图像自动制作检查数据。以下将此检查数据的自动制作处理称为“自动示教处理”。

另外用于标准图像的制作的基板，即可以是在上述被检查部位配备的工序之前不久的工序结束后的基板，也可以是比被投入该前工序还要早的之前的基板。

此外，此实施例的优良图像和标准图像是分别将成为对象的基板分为多个区域拍摄，通过合成每个时刻拍摄得到的图像而被生成的。在此图像合成处理中，多个拍摄对象区域仅重叠对应上述X、Y工作台部6、7的定位中的误差的宽度地设定，并优选在这些重叠部分重叠各图像的同时进行合成。此外，优选在进入自动示教处理前，以被共通地包含在优良图像和标准图像中的特征图案(例如基板上的丝板印刷图案)的坐标在图像之间一致的方式，进行两图像的对位，确保像素的对应关系的精度。

以下，以执行上述图像合成处理和对位，确保优良图像和标准图像之间的对应关系为前提进行说明。

在此实施例的自动示教处理中，关于上述优良图像和标准图像，分别将各像素的灰度数据r、g、b带入下述式(1)、(2)、(3)来求出色调数据R_OP、G_OP、B_OP。

R_OP＝r/(r+g+b)×100…(1)

G_OP＝g/(r+g+b)×100…(2)

B_OP＝b/(r+g+b)×100…(3)

并且，对优良图像上的各像素，使用下述的式(4)、(5)、(6)分别抽出与标准图像对应的像素相对的色调数据的差V_r、V_g、V_b。另外，各式的R_OP(E)、G_OP(E)、B_OP(E)是对优良图像使用上述式(1)～(3)求得的色调数据，R_OP(F)、G_OP(F)、B_OP(F)是对标准图像求得的色调数据。

V_r＝R_OP(E)-R_OP(F)…(4)

V_g＝G_OP(E)-G_OP(F)…(5)

V_b＝B_OP(E)-B_OP(F)…(6)

每个对应像素的组合被抽出的各色调数据的差V_r、V_g、V_b，被编到3维数组的数据中，对应像素的坐标保存在存储器13中。但是如后述的具体例的检查那样地，可以只用从3个色调数据中选择出来的特定的数据来作为上述的差的计算对象。

图2是使用将上述色调数据R_OP、G_OP、B_OP分别作为轴的虚拟三位空间(以下称为“色调空间”)来表示上述标准图像与优良图像的色调的关系的图。图中的V_F是标准图像上的一点F的色调，三维空间中的坐标成为(R_OP(F)、G_OP(F)、B_OP(F))。此外V_E是位于优良图像上与上述F点相同的坐标的点E的色调，三维空间中的坐标成为R_OP(E)、G_OP(E)、B_OP(E)。另外，点F、E的具体例表示为接下来的图3A，图3B。

在上述式(4)、(5)、(6)求得的V_r、V_g、V_b的数组，在此色调空间中，成为相当于从点V_F向点V_E的矢量V的数组。下面，将此矢量V称作颜色矢量，将V_r、V_g、V_b分别称作颜色矢量V的红色成分、绿色成分、蓝色成分。此颜色矢量V的方向和大小反映了上述F点与E点的色调的差异。

在此实施例的自动示教处理中，根据被检查部位的色彩选择上述颜色矢量V的规定成分，抽出该成分为大于等于规定值的像素。并且，将由被抽出的像素构成的图像区域认定为被检查部位，求出检查区域的设定条件和被检查部位的样品，记录到上述示教表19中。

在检查的时候，生成了检查对象的基板的图像(以下称为“检查对象图像”)后，在此检查对象图像依次设定检查区域，执行被检查部位的抽出处理、计测处理、判断处理等。对此检查对象图像，用与自动示教处理时相同的方法计算出颜色矢量V后，使用与在上述自动示教时所选择的相同的成分抽出被检查部位。

以下，以对经过膏状钎焊料的印刷工序的基板(以下称为“焊接印刷后基板”)进行检查的情况为例，说明关于检查数据的制作和检查的详细内容。另外，在此实施例中，将印刷膏状钎焊料前的印刷配线板(以下称为“裸基板”)的图像作为标准图像来使用。

图3A表示上述裸基板的标准图像，图3B表示焊接印刷后基板的优良图像。在标准图像除了焊垫的图像30，也呈现有未图示的丝板印刷图案等。在优良图像中，上述焊垫的图像30的大部分可置换为膏状钎焊料的图像31。另外，一般的焊垫是以铜作为主要成分，由于表面平坦且镜面反射性高，所以通过色彩最大亮度照明，上述图像30成为带有红色的    。另一方面，膏状钎焊料由于是灰色且漫反射性较高，其图像31成为带有蓝色    。

根据上述的颜色变化，如果在焊垫上的一部分安装有膏状钎焊料，则该部分从红色的色调数据R_OP的优势状态变化为蓝色的色调数据B_OP为优势的状态。因此，在优良图像中的膏状钎焊料上的点E与向标准图像上的点E的对应点F之间求得的颜色矢量V，在红色成分V_r在负方向表示大值的同时，蓝色成分V_b在正方向表示大值。

在此，在本实施例中，观察取得正值的蓝色成分V_b，将此V_b为规定的阈值以上的像素构成的区域作为上述膏状钎焊料的印刷区域(以下称为“焊接印刷基板”)来抽出。

图3C表示了相对对上述图3A，图3B的标准图像和优良图像，对每组对应的像素进行基于上述颜色矢量的算出和蓝色成分V_b的抽出处理，来抽出了焊接印刷区域32的例子。这样，因为实际抽出了膏状钎焊料被印刷的部分，以后，使用该抽出结果，可以确定检查区域的设定条件和用于判断的标准值。

图像中的焊垫和膏状钎焊料的色调，可能根据周围环境的亮度和材质的不同等而发生变化。但是即使有稍许变动，在焊垫的图像30中红色的色调数据R_OP变大，在膏状钎焊料的图像31中蓝色的色调数据B_OP变大的这种倾向不变，所以从这些图像30、31求得的颜色矢量V的蓝色成分V_b在正方向取得大值。因此即使焊接印刷区域的色调有些零乱，也能基于颜色矢量的蓝色成分V_b，高精度地抽出焊接印刷区域，可以高精度地进行检查区域和样品的设定。

此外，在现有的膏状钎焊料的检查中，使用基板的设计数据中的焊垫的设定数据来设定检查区域，近年来，由于安装的零件的种类发生变化，有选择地安装零件，制作来自同一设计的裸基板的多种基板的例子很多见，所以在根据焊垫设计数据的检查区域的设定中，有时不能适用于实际的基板上。

例如，图3的30A，是没有安装零件的焊垫的图像的例子，由于这样的焊垫上也没有印刷膏状钎焊料，所以没有必要设定焊接印刷用的检查区域。在此实施例中，如上所述，在检查区域的设定条件的示教时，抽出实际的焊接印刷区域，由于只在被抽出了的部分可以设定检查区域，所以没有在上述焊垫30A的位置设定不需要的检查区域。因此，不设定不需的要检查区域，就可以高效地进行示教处理。

接下来，使用图4说明自动示教处理的顺序。

首先，在最初的ST1(ST是“步骤”的略称。下同)中，将裸基板搬入上述Y轴工作台部7，由多次的拍摄处理和图像合成处理生产标准图像。此后，将裸基板搬出，接着在ST2中，将焊接印刷后基板的优良基板搬入，通过与ST1相同的处理生成优良图像。

另外，在ST2中，优选将在ST1使用过的基板上印刷了膏状钎焊料的基板作为优良基板来使用。

在ST3中，对上述标准图像和优良图像的各组成像素，分别执行上述式(1)～(3)求出色调数据。接着在ST4中，将优良图像的各构成像素分别与标准图像的对应像素组合，对每个组合执行上述式(6)来计算颜色矢量V的蓝色成分V_b。

在ST5中，抽出上述蓝色成分V_b大于等于阈值P(P＞0)的像素。另外，在此抽出处理中，将蓝色成分V_b大于等于阈值P的像素作为黑像素，其他的像素作为白像素来生成二值图像。

在ST6中，在上述二值图像上的黑像素区域按顺序观察，并将该区域大小小于规定的阈值的内容作为干扰除去。另外，除去该干扰所使用的阈值，基于焊接印刷区域的标准面积来确定。

通过上述的干扰除去处理，剩下了比阈值面积大的区域。下面，将这些区域看作焊接印刷区域，过渡到制作检查数据的处理。

首先，在ST7中，在各焊接印刷区域分别设定外接矩形。并且在ST8中，给每组上述焊接印刷区域和外接矩形设定单独的标签。在ST9中，按照每个标签来决定检查区域的设定条件。

图5表示检查区域的设定方法的一个例子。

图中的32是基于上述蓝色成分V_b被抽出的焊接印刷区域(黑像素区域)，33是在上述ST7设定的外接矩形。在此实施例中，将外接矩形33的各边分别向m像素外侧扩张的区域34作为检查区域来设定。另外，作为m的值，根据零件的安装密度等可以设定为任意的值。

在上述ST9中，对每个焊接区域，通过图5所示的方法设定检查区域34，并将该设定位置和区域大小作为设定条件来设定。接着在ST10中，将决定了的设定条件记录到示教表19。进而在接下来的ST11中，按每个标签，作为对应该标签的焊接印刷区域32的样品，从上述二值图像切出对应的检查区域34内的图像，并记录到示教表19。

并且，在ST12中，按每个上述标准图像的构成像素计算出来的色调数据中，读出对应各检查区域34的内容，将这些内容按每个检查区域34记录到示教表19中。以下，将此记录的色调数据称为“标准色调数据”。

另外，在检查区域34的设定条件、样品、以及标准色调数据中，给全部检查区域34贴标签。

图6A表示在上述ST11制作的样品的一个例子。此外，图6B表示与检查对象图像中的上述样品对应的检查区域内的图像。此图6B的图像也是与图6A的样品相同的二值图像(以下，将此图6B的图像称为“比较对象图像”)。在检查中，执行比较图6A，图6B双方的二值图像的处理。

图7表示上述焊接印刷后基板的检查涉及的顺序。另外，此顺序是从ST21开始的。

在此检查前，控制部11接到检查对象的基板的名称等的输入，从上述示教表19读出相当于该基板的检查数据并设置在存储器13。图7的顺序是对一张基板来执行的，在检查对象的基板搬入到Y轴工作台部7的同时，执行此顺序。

首先在S21中，将被检查基板1搬入Y轴工作台部7，生成检查对象图像。另外，此ST21也与上述示教时的ST1和ST2相同地，执行多次拍摄，进行将每个时刻拍摄得到的图像合成的处理。

如果生成检查对象图像，则在ST22，从上述存储器13读出对应最初的标签的检查区域的设定条件，并基于此条件来设定检查区域。接着，在ST23中计算此检查区域内的各像素的色调数据。接着，在ST24中，使用检查区域内的各像素的色调数据和上述标准色调数据，计算出颜色矢量V的蓝色成分V_b。

在ST25中抽出上述蓝色成分V_b的值大于等于阈值P的像素。另外，在此使用的阈值P，与在上述图4的ST5所使用的阈值相同。

由此抽出处理，从上述检查区域内的图像，将上述焊接印刷区域的构成像素作为黑像素，将其它的像素作为白像素来生成二值像素。此二值像素相当于上述图6B所示的比较对象图像。

在ST26中，对上述比较对象图像的各构成像素中与样品侧的对应像素的值一致的像素的数量进行计数(以下将此计数值称为“一致像素数”)。具体来说，将黑象素时对应像素是黑象素的内容，将白象素时对应像素是白象素的内容，分别作为计数的对象。

此外，通过对比较对象图像中的黑象素计数，计算出上述焊接印刷区域的面积。

在ST27、28中，将上述一致像素数量和面积分别与规定的阈值做比较。在此，如果一致像素数量、面积都大于等于阈值，则进入ST29，判断上述检查区域内的焊接印刷区域为优良。另一方面，如果某一个的值低于阈值，则进入ST30，判断上述焊接印刷区域为不良。

另外，判断方法不仅限于上述，也可以使用一致像素数量、面积的某一个来进行判断。

如果这样对1个检查区域进行判断处理，则在ST31，将其判断结果显示在显示部21。图8是其显示的一个例子，除了显示关于检查对象部位的信息和检查结果，还显示有比较对象图像35。此外，在画面的适当的位置，设有确认按钮40。

另外，在此显示的比较对象图像35中，以可以确认焊接印刷区域和焊垫之间的关系的方式附加有焊垫的轮廓线36。

用户如果用鼠标点击上述确认按钮40来进行确定操作，则经由ST32和ST33返回ST22，对接下来的检查区域进行与上述相同的处理。

以下，同样地，对每个检查区域，执行从计算色调数据开始到显示判断结果为止的一系列处理。如果对所有的检查区域的处理结束了，则进入ST34，归纳到现在的判断结果制作出一张基板涉及的检查结果数据，并将此内容从收发信部23等输出。另外，上述的判断结果的输出，没有必要一定对每个检查区域来进行，也可以在所有的检查都结束了的时刻仅对被判断为不良的部位来进行。

根据上述的自动示教处理和检查的处理，检查对象图像中的焊接印刷区域的色调即使与优良基板上的色调有少许不同，也可以高精度地抽出各焊接印刷区域。由此，通过由现有的二值化阈值来抽出焊接印刷区域的方法，也可以提高焊接印刷区域的抽出精度，能够进行可靠度较高的检查。

另外，用于焊接印刷区域的抽出的颜色矢量V的成分不仅限于蓝色成分V_B，也可以使用红色成分V_r。此时，将红色成分V_r在负方向上具有大于等于规定的阈值的大小的像素，作为焊接印刷区域的构成像素而抽出。

并且也可以使用蓝色成分V_B和红色成分V_r双方，抽出焊接印刷区域的构成像素。

接着，说明焊接后的基板的焊脚检查。

图9A表示对芯片零件的焊脚进行上述色彩最高亮度照明的情况下被观测到的色彩的分布状态。另一方面，图9B表示由于零件脱落而没有形成焊脚，对固化为半球状的焊点进行同样的照明的情况下被观测到的分布状态。另外，图9A，B是为了说明焊点的倾斜状态与被观测的色彩之间的关系，将在图像上承认的色彩的分布反映在焊点侧面图上的图，从侧面看焊脚和焊接点时，不会观测到这些图那样的色彩分布。

在正常地形成了焊脚的情况下，如图9A所示那样，成为沿焊脚的从上端开始到下端的方向，蓝、绿、红的各颜色按顺序分布的状态。特别是图9A的例子中，由于焊脚较尖，所以蓝色区域占的比例较大。

在没有形成焊脚，焊接点固化为半球状的情况下，如图9B所示那样，成为沿从中心部向周边部的方向，按红、绿、蓝的顺序分布各颜色的状态。

在此实施例中，对于图9A所示的优良的焊脚以及图9B所示的不良的焊接部位，分别以图10或图11所示的要领制作样品并记录到示教表19。以下，将优良焊脚的样品称为“优良样品”，不良焊接部位的样品称为“不良样品”。此外将通过焊接工序熔融·固化的焊接区域(包含焊脚、不良部位双方)称为“熔融后焊接区域”。

在图10以及图11中，表示了与上述图9的熔融后焊接区域相对应的标准图像、优良图像以及不良图像。另外，在这些图中，将焊垫、焊接印刷区域的图像用与上述图3的例子相同的标记30、31表示的同时，将零件主体标记为37，零件电极标记为38。此外，将熔融后焊接区域中的各颜色区域，用与图9相同的图案以及红、绿、蓝各文字来表示。

图10的标准图像是拍摄裸基板得到的图像。优良图像以及不良图像是通过拍摄焊接工序后的基板(以下称为“焊接后基板”)而得到的，在优良图像中呈现出上述图9A表示的焊脚的图像，在不良图像中呈现出上述图9B表示的不良焊接的图像。

另一方面，图11的标准图像，通过拍摄结束零件安装工序并搬入焊接工序之前的基板(以下称为“零件安装后基板”)而得到。优良图像和不良图像都与图10的例子相同。

如上述那样，在色彩最高亮度照明下，焊垫的图像30成为红色状态。因此，如图10所示那样，将裸基板的图像作为标准图像，则与熔融后焊接区域中的蓝色区域对应的颜色矢量V成为表示从红色的色调数据R_OP的优势状态向蓝色的色调数据B_OP的优势状态的变化。

此外，焊接印刷区域31的图像如上述那样是灰色的，在3种色调数据中蓝色的色调数据B_OP的最有优势的，但是在熔融后焊接区域的蓝色区域中蓝色的色调数据B_OP的优势更强。因此，如图11所示那样，即使是将零件安装后基板的图像作为标准图像的情况，在与蓝色区域对应的颜色矢量V中，蓝色的色调数据B_OP表现出很大的变化。

另外，零件由于表面是平坦的且通常具有光泽，所以红色光线的镜面反射光容易入射到照相机中，但是蓝色光线却几乎不入射。因此，将裸基板的图像作为标准图像的情况下，在与零件主体37和电极38对应的颜色矢量V中，蓝色成分V_b不会变的很大。此外在熔融后焊接区域的绿色区域、红色区域中，各自的绿色成分V_g、红色成分V_r变大，而蓝色成分V_b变得极小，并且与标准图像相比几乎没有变化。此外，将零件安装后基板的图像作为标准图像时，由于零件主体37和电极38的部分的图像是一样的，所以颜色矢量V也变得极小，蓝色成分V_b没有显著变化。熔融后焊接区域的绿色区域和红色区域也是，与将上述裸基板的图像作为标准图像的情况相同地，蓝色成分V_b不会变大。

由此，即使是将裸基板、零件安装基板的某一个的基板的图像作为标准图像的情况，通过抽出颜色矢量V的蓝色成分V_b在正方向呈现出很大的区域，可以可靠地抽出熔融后焊接区域中的蓝色区域。

鉴于上述内容，在此实施例的焊脚检查中，对优良图像以及不良图像，分别以上述图4为标准的顺序计算出色调数据后，作为上述焊接的蓝色区域，抽出颜色矢量V的蓝色成分V_b大于等于规定的阈值的区域42，将此区域42内的像素作为黑象素来生成二值图像。并且，分别记录将与优良图像相对应的二值图像作为优良样品，和将能够与不良图像相对应的二值图像作为不良样品。

另外，在图10、11中，在优良样品以及不良样品上表示焊垫的轮廓线30a，这是为了容易与上面的图像相比较，在实际的样品上不需要含有轮廓线30a。

此外，在焊接后基板的检查的情况下，使用基板的全体图像一次制作所有的焊接印刷区域的样品，同时决定检查区域的设定条件，在焊脚检查的情况下，预先设定检查区域之后，对每个检查区域生成优良图像和不良图像，可以进行各样品的制作。

另外，焊脚检查的检查区域，是基于与现有相同的焊垫来设定的，提前对相同的基板进行前述膏状钎焊料检查的情况下，通过挪用该检查中的检查区域的设定条件，可以仅对应该安装零件的地方设定检查区域。

下面使用图12说明焊脚检查的详细顺序。

此图12的顺序，也是对一张基板执行的顺序，最初的步骤为ST41。此顺序也是从搬入检查对象的基板开始的，在ST41中，拍摄被搬入的基板来生成检查对象图像。

在ST42～ST45中，执行与上述图7的ST22～ST25大致相同的处理。即，在ST42中，设定检查区域，在ST43中计算该区域内的色调数据。接着在ST44中，使用算出了的色调数据和记录了的标准色调数据计算颜色矢量的蓝色成分V_b。在ST45中，抽出此蓝色成分V_b大于等于阈值Q(Q＞0)的像素。由此处理，将上述熔融后焊接区域中的蓝色区域作为黑像素区域来生成二值比较对象图像。

下面进行上述比较对象图像与各样品的比较处理。在此实施例中，抽出相对各样品的一致像素数和不一致像素数，将此与阈值进行比较。

首先，在ST46中，抽出相对优良样品的一致像素数和不一致像素数。与上述图7相同，一致像素数是取与优良样品的对应像素相同的值的像素数。不一致像素数是取与优良样品的对应像素不同的值的像素的数。

此后，在ST47、48中，将一致像素数和不一致像素数分别与规定的阈值T_A1、T_B1相比较。在此，一致像素数大于等于阈值T_A1，不一致像素数小于等于阈值T_B1，则进入ST49，分别抽出相对不良样品的一致像素数和不一致像素数。

并且，在ST50、51中，将在ST49求得的一致像素数和不一致像素数分别与规定的阈值T_A2、T_B2相比较。在此，如果一致像素数小于阈值T_A2，不一致像素数大于等于阈值T_B2，则进入ST52，判断上述检查区域内的蓝色区域是优良。

另一方面，在ST47、48中的比较处理中，一致像素数低于阈值T_A1，不一致像素数超过了阈值T_B1时，不进行不良样品的判断而进入ST53，判断蓝色区域为不良。此外，即使ST47、48为“是”，在与不良样品比较时，一致像素数超过阈值T_A2，或不一致像素数低于阈值T_B2时，执行ST53的不良判断。

这样，如果对1个检查区域的判断结束了，则在ST54中，在显示部21显示该判断结果。此后，与上述图7的实施例相同地，根据确认操作过渡到对接下来的检查区域的处理(ST55→ST56→ST42)。如果对所有的检查区域的处理都结束了，则进入ST57，制作基板全体的检查结果数据并将其输出，结束处理。

如上述那样，如果抽出蓝色的色调数据在正方向发生很大变化的区域，则根据照明条件的变化等即使产生熔融后焊接区域的色调的凌乱，也可以高精度地抽出蓝色区域。由此，通过将r、g、b的各灰度数据用固定了的二值化阈值来二值化的现有的方法，可以进行高精度的检查。

但是，在实际的基板中，即使是优良状态的焊脚，在其倾斜角度，由于具有某种程度的偏差，不能严密地确定图像上的蓝色区域的位置和大小。此外对于不良凸现，不仅限于图9B所示的完全没有形成焊脚的图像，还存在部分形成焊脚的图像、虽然形成了焊脚但是倾斜角度不合适的图像等等各种各样的形式的不良图像。

在接着的图13表示的实施例中，考虑上述特点，分别设定多个优良样品和不良样品，通过从这些样品中抽出最适合被检查部位的样品，判断被检查部位优良否。

另外，在使用于各样品的制作的优良、不良产品，由可以目测判断焊脚优劣的熟练人员来进行。

图13的顺序是将图12的ST46～ST53的处理置换为图中的虚线范围内的处理(ST61～ST70)而成的。因为其前后的处理与图12相同，所以在各步骤使用与图12相同的标记并简化或省略其说明。

此外，优良样品以及不良样品的总数为N，用计数i表示各样品的识别序号。

在上述ST41生成检查对象图像之后，由ST42～ST45的处理，如果在规定的检查区域生成比较对象图像，则在ST61，在上述计数i设置初始值“1”。接着在ST62中，从示教表19读出第i个样品(优良样品或不良样品)。

在ST63，求出读出的样品与比较对象图像的一致像素数A。另外，此实施例的一致像素数A，相对比较对象图像是在逐个像素扫描样品的同时，每次扫描时求得的一致像素数中的最大值。

在ST64中，将此上述一致像素数A与最大值A_max(初始值为0)做比较。在此一致像素数A比A_max大时，进入ST65，在用A改写最大值A_max的同时将现在的i值保存到变量U中。

以下，将到N为止的i值一个一个的加算(ST66、67)的同时，对每个时刻的i，执行上述ST61～ST65。由这样一系列的处理，最终达到每个样品的一致像素数A中的最大值A_max，得到该最大的一致像素数A_max时的样品的识别序号成为U。

如果与此最终的U值对应的样品是优良样品，则ST68为“是”并进入ST69，判断焊脚为优良。相反，如果与上述U值对应的样品是不良样品，则ST68为“否”并进入ST70，判断焊脚为不良。以下，执行与图12相同的处理(ST54～ST57)。

根据上述图13的顺序，可以用细微的标准来判断焊脚的优劣。并且，存储最大的一致像素数A_max被改写时的样品与比较对象图像的位置偏移量(也可以是相对比较对象图像的样品的扫描次数)，在对应变量U的样品是优良样品时，可以使用上述位置偏移量判断焊脚的形成位置是否合适。

另外，因为优选在焊脚检查中，也对红色区域和绿色区域进行检查，所以对于颜色矢量V的绿色成分V_g和红色成分V_r，用与上述相同的方法单独地抽出各色彩的区域，进行判断处理。

接着，对零件安装后基板的零件检查，也通过使用上述颜色矢量可以高精度地抽出检查对象的零件。

图14表示使用于零件检查的样品的生成例。另外，在此例中，配合之前的各实施例，将1检查区域的大小调整为对应1个焊垫的大小。但不仅限于此，也可以设定包含零件和对应零件的所有的焊垫的大小的检查区域。此外此图14中图像的各部分标有与上述图10、11相同的标记。

在此实施例中，将焊接印刷后的基板的图像设定为标准图像，在优良、不良的各图像中，分别将颜色矢量的红色成分V_r在正方向变大的区域43作为对应零件的区域来抽出。在零件和电极的图像37、38中，由于红色的色调数据R_OP成为优势，所以对应这些的颜色矢量V，表示为向红色的色调数据R_OP的正方向的巨大变化。

在图14表示有1种优良样品和2种不良样品。不良样品的一方使用零件完全脱落了状态的图像来制作，他方使用零件位置偏移到焊垫侧了的状态的图像来制作。此外，可以设定位置偏移量不同的多个不良样品。此外，优良样品不仅限于1种，也可以对应产生容许范围的位置偏移的状态来设定样品。

另外，优良图像和不良图像，通过拍摄在焊垫上的各种状态设置的零件来生成。零件的设置作业，与焊脚检查时相同，由熟练工人来进行。

图15表示使用了上述样品的零件检查的顺序。另外，在此顺序中将ST81作为最初步骤。

此零件检查也与之前的焊接印刷检查和焊脚检查相同地生成表示处理对象的基板全体的检查对象图像(ST81)。此外，关于进行设定检查区域的处理(ST82)和计算色调数据的处理(ST83)，与之前的实施例相同。

接着在ST84中，使用色调数据的计算结果，计算颜色矢量V的红色成分V_r。在ST85中，抽出此红色成分V_r大于等于规定的阈值R(R＞0)的像素。另外，在此抽出处理中，与优良样品和不良样品相同地将被抽出的像素作为黑象素，将其它的像素作为白像素来生成二值图像。

接着在ST86中，通过对上述二值图像中的黑象素数进行计数来求出在图像上呈现的零件的面积。在ST87中，从记录到示教表19的N个样品中，抽出零件面积最接近ST86的计算结果的样品。

在此被抽出的样品如果是优良样品，则ST88为“是”并进入ST89，判断上述零件的安装状态为优良。相反，如果被抽出的样品是不良样品，则ST88为“否”并进入ST90，判断该零件安装不良。

以下，与之前的各实施例相同地，在进行了判断结果的显示(ST91)和接到确认操作(ST92)之后，过渡到对接下来的检查区域的处理。如果对所有的检查区域的处理都结束了，则从ST93进入ST94，将全部检查结果输出从而结束对一张基板的检查。

在上述各实施例中，任何一个，观察通过被检查部位的设置表现巨大变化的色调数据并将其色调数据在正或负方向大于等于规定值的变化区域作为被检查部位抽出。根据这样的抽出方法，在被检查部位的一部分产生影子，或通过周围环境的变化来变化图像的亮度等，即使在被检查部位的色调产生偏差，也可以基于色调数据的变化量，高精度地抽出被检查部位，且可以高精度地执行检查。

并且，根据上述色调数据的变化进行的抽出对象物的方法，不仅限于基板检查，也可以适用于其它的目的。例如，在检测工业制品上产生的缺陷时，通过照明用规定的色彩来表示缺陷部分，使用拍摄没有缺陷的对象物体来得到的标准图像与检查对象物来计算颜色矢量。并且，颜色矢量中，根据上述缺陷的色彩选择1个或多个成分，抽出所选择的成分分别被包含在规定的数值范围内的区域，由此可以高精度地抽出与上述缺陷对应的图像。

Claims (5)

1.一种图像处理方法，将由n个颜色数据的组合构成的彩色图像作为处理对象，从该处理对象图像抽出观测对象物来执行规定的图像处理，其中n≥2，其特征在于，执行以下步骤：

第一步骤，在上述观测对象物不存在于拍摄对象区域内的状态下，通过拍摄上述观测对象物来生成标准图像；

第二步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从在上述拍摄对象区域内不存在上述观测对象物的状态向存在上述观测对象物的状态转移时产生于该观测对象物所对应位置的变化量比其他颜色数据的变化量大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算包含上述观测对象物的处理对象图像上的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第三步骤，基于上述第二步骤的计算结果，从上述处理对象图像中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域识别为上述观测对象物，

在上述第三步骤中，在对于存在上述观测对象物时比不存在上述观测对象物时增加的颜色数据进行观察的情况下，将比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述观测对象物时比不存在上述观测对象物时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

2.如权利要求1所述的图像处理方法，其特征在于，

在上述第二步骤中，当观察中的颜色数据为多个时，分别独立地执行以下计算处理，即计算这些颜色数据的每一个所求出的上述比值相对上述标准图像上的对应像素的上述比值的差值。

3.一种基板检查方法，通过拍摄钎焊料印刷之后的基板或者利用钎焊料焊接之后的基板，生成由n个颜色数据的组合构成的彩色处理对象图像，并针对不同的基板，从所生成的处理对象图像中抽出不同的区域作为被检查部位，即，针对钎焊料印刷之后的基板，抽出膏状钎焊料的印刷区域作为被检查部位，针对利用钎焊料焊接之后的基板，抽出熔融后焊接区域作为被检查部位，然后基于抽出结果来执行规定的检查，其中n≥2，其特征在于，

在执行了第一步骤之后，对每个被检查部位执行以下第二步骤至第四步骤，其中：

第一步骤，拍摄不存在上述被检查部位的基板而生成标准图像；

第二步骤，在与上述处理对象图像的一个被检查部位对应的位置设定检查区域；

第三步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从在上述检查区域内不存在被检查部位的状态向存在被检查部位的状态转移时产生于该被检查部位所对应位置的变化量比其他颜色数据大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算包含于检查区域中的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第四步骤，基于上述第三步骤的计算结果，从上述检查区域中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域作为抽出对象而执行用于上述检查的图像处理，

在上述第四步骤中，在对于存在被检查部位时比不存在被检查部位时增加的颜色数据进行观察的情况下，将上述比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述被检查部位时比不存在上述被检查部位时减少的颜色数据进行观察的情况下，将上述比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

4.一种基板检查装置，其特征在于，具有：

图像生成单元，其通过拍摄钎焊料印刷之后的基板或者利用钎焊料焊接之后的基板，生成由n个颜色数据的组合构成的彩色图像，其中n≥2；

图像处理单元，其针对不同的基板，从由上述图像生成单元生成的检查对象的基板的彩色图像中抽出不同的区域作为被检查部位，即，针对钎焊料印刷之后的基板，抽出膏状钎焊料的印刷区域作为被检查部位，针对利用钎焊料焊接之后的基板，抽出熔融后焊接区域作为被检查部位，并执行用于检查的图像处理：

判断单元，其利用由上述图像处理单元得到的处理结果，判断上述基板是否合格；

输出单元，其输出由上述判断单元得到的判断结果，

上述图像处理单元，包括：

颜色数据处理单元，其观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从不存在被检查部位的状态向存在上述被检查部位的状态转移时产生于该被检查部位所对应位置的变化量比其他颜色数据大的颜色数据，并对每个像素计算观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值；

存储单元，其记录上述图像生成单元拍摄不存在被检查部位的基板而生成的标准图像、或上述颜色数据处理单元对该标准图像的处理结果；

区域设定单元，其在上述图像生成单元生成了检查对象基板的图像时，在与该图像的被检查部位对应的位置设定检查区域；

变化量计算单元，其使上述颜色数据处理单元处理由上述区域设定单元设定的检查区域内的图像，并利用该处理结果以及上述存储单元内的记录信息，关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算上述检查区域内的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

像素抽出单元，其基于上述变化量计算单元的计算结果，从上述检查对象区域中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素；

被检查部位识别单元，其将由上述像素抽出单元抽出的像素构成的图像区域识别为上述被检查部位，

在上述像素抽出单元中，在对于存在上述被检查部位时比不存在上述被检查部位时增加的颜色数据进行观察的情况下，将比值在正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于存在上述被检查部位时比不存在上述被检查部位时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

5.一种基板检查用检查数据制作方法，利用由拍摄钎焊料印刷之后的基板而生成的n个颜色数据的组合构成的彩色图像，制作用于自动检查印刷在上述基板上的膏状钎焊料的检查数据，其中n≥2，其特征在于，执行以下步骤：

第一步骤，拍摄印刷膏状钎焊料之前的基板而生成标准图像；

第二步骤，拍摄印刷有膏状钎焊料的基板而生成处理对象图像；

第三步骤，观察以下颜色数据，该颜色数据既是上述n个颜色数据中的特定的一个颜色数据或比n小的多个颜色数据，又是从未印刷上述膏状钎焊料的状态向印刷有上述膏状钎焊料的状态转移时产生于该膏状钎焊料所对应位置的变化量比其他颜色数据大的颜色数据，并关于观察中的颜色数据相对上述n个颜色数据的总和或未观察的颜色数据的总和的比值，计算上述处理对象图像上的每个像素的上述比值与上述标准图像上的对应像素的上述比值的差值；

第四步骤，基于上述第三步骤的计算结果，从上述处理对象图像中抽出比值在正或负的方向上的变化相对上述标准图像上的对应像素超过规定的基准值的像素，并将所抽出的像素构成的图像区域识别为被检查部位；

第五步骤，设定包含上述第四步骤中所识别的被检查部位的检查区域，并将该设定数据包含在对于上述被检查部位的检查数据中，

在上述第四步骤中，在对于印刷有上述膏状钎焊料时比未印刷上述膏状钎焊料时增加的颜色数据进行观察的情况下，将比值在上述正方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象；在对于印刷有上述膏状钎焊料时比未印刷上述膏状钎焊料时减少的颜色数据进行观察的情况下，将比值在负方向上的变化相对上述标准图像上的对应像素超过上述基准值的像素作为抽出对象。

Images