CN100472205C - 基板检查方法和装置、及其检查逻辑设定方法和装置 - Google Patents

基板检查方法和装置、及其检查逻辑设定方法和装置 Download PDF

Info

Publication number
CN100472205C
CN100472205C CNB2006100083885A CN200610008388A CN100472205C CN 100472205 C CN100472205 C CN 100472205C CN B2006100083885 A CNB2006100083885 A CN B2006100083885A CN 200610008388 A CN200610008388 A CN 200610008388A CN 100472205 C CN100472205 C CN 100472205C
Authority
CN
China
Prior art keywords
color
value
color characteristic
characteristic amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2006100083885A
Other languages
English (en)
Other versions
CN1825100A (zh
Inventor
森谷俊洋
和田洋贵
大西贵子
清水敦
仲岛晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN1825100A publication Critical patent/CN1825100A/zh
Application granted granted Critical
Publication of CN100472205C publication Critical patent/CN100472205C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

基板检查方法和装置、及其检查逻辑设定方法和装置。本发明的课题是提供可以高速地且以较小的存储容量检查IC类部件的错位的技术。作为解决手段,预先存储检查逻辑,该检查逻辑包含规定检查对象部件的部件主体所呈现的颜色的颜色条件、以及判断条件,以不同的入射角对检查对象部件照射多种颜色的光,对其反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分的检查图像,使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的部件主体区域,通过图像处理确定所述部件主体区域的边缘,通过对所述边缘的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。

Description

基板检查方法和装置、及其检查逻辑设定方法和装置
技术领域
本发明涉及检查安装在基板上的IC(integrated circuit,集成电路)类部件的错位的技术,以及用于生成检查中所使用的检查逻辑的技术。
背景技术
以往,提出了用于检查安装了多个电子部件的印刷基板的焊锡安装质量的基板检查装置。在这种印刷基板中,将“焊接电子部件的电极部和焊盘时的焊锡凸起的形状”称作焊脚,但有时因为电子部件的电极部的润湿,看似形成有焊脚,实际上电子部件和焊脚并未接触。从而,为了检查焊接的良否而需要准确地捕捉由自由曲线构成的焊脚的形状。
但是,在现有的基板检查装置中,由于光源使用了单色单一照明,因此难以对焊脚的三维形状进行图像分析。因此,无法判断焊接的良否,并非是作为基板检查装置而经得起实用考验。
为了解决这样的课题,本申请人提出了图16所示的方式的基板检查装置(参照专利文献1)。该方式称为三色光源色彩增强方式(或简称为色彩增强方式),是通过由多种颜色的光源照射检查对象,作为伪彩色图像得到焊脚的三维形状的技术。
印刷基板的自动检查的实用化实质上可以说是在该色彩增强方式技术出现之后。特别是在电子部件小型化的目前,难以通过目视来判别焊脚形状,可以说如果没有色彩增强方式的基板检查装置,就无法实现基板检查。
如图16所示,色彩增强方式的基板检查装置具有:投光部105,其以不同的入射角对基板110上的检查对象107照射三原色光;以及摄像部106,其对来自检查对象107的反射光进行拍摄。该投光部105由具有不同的直径、并且基于来自控制处理部的控制信号而同时照射红色光、绿色光、蓝色光的三个圆环状光源111、112、113构成。各光源111、112、113在检查对象107的正上位置上中心对齐、并且配置在从检查对象107看为不同的仰角所对应的方向上。
在由这种结构的投光部105照射检查对象(焊脚)107时,与检查对象107的表面斜率对应的颜色的光入射到摄像部106中。从而,如图17所示,在电子部件的焊接良好时/部件脱落时/焊锡不足的状态时等,根据焊脚的形状,在摄像图像的色彩图案上呈现出明显的差异。由此,可以容易地对焊脚的三维形状进行图像分析,可以准确地判断电子部件的有无或焊接的良否。另外,例如在由于部件的错位而导致焊接不良的状态下,也可以检测出来。
[专利文献1]日本特开平2-78937号公报
[专利文献2]日本特开平9-145633号公报
但是,关于IC类部件的错位检查,存在如下的特有的问题。另外,这里将在部件主体的相对的两边或部件主体的周围四边的各个边上排列了多个引线的部件称为“IC类部件”。这种部件与所谓的角芯片部件或晶体管部件相比,具有部件主体的面积极大、而且引线的宽度以及引线的排列间隔非常窄的特征。
如图19所示,在角芯片部件100或晶体管部件中,由于引线间隔留有余量,因此可以扩大焊盘(施加焊锡的部分)101的面积。从而,焊锡102在焊盘101上扩散,在良品(部件以正确的位置和/或角度安装)和次品(产生部件错位)中,焊脚的三维形状明显不同。从而,即使通过关注于焊锡部分所呈现的色彩图案的现有的基板检查方法,也可以判断部件错位的有无。
但是,在IC类部件110的情况下,必需与引线间隔相符而使焊盘111成为细长的形状。因此,不论良品还是次品,焊锡112均由于表面张力而呈现出在焊盘111上凸起的形状。从而,在焊脚的形状、即焊锡部分的色彩图案中几乎不出现良品和次品的差异,仅对其进行观察是无法准确地判断部件错位的。
作为解决该问题的一种方法,考虑到了下述方法:通过调查在应该配置部件主体的区域上是否未呈现部件主体以外的颜色(例如,基板的颜色),从而判断部件错位。该方法虽对角芯片部件或晶体管类部件有效,但在IC类部件的检查中存在如下的技术弊端。如上所述,对于IC类部件而言,由于部件主体的面积极大,因此在要精细检查应配置部件主体的所有区域的颜色时,处理时间增加,难以实现实时的基板检查。此外,由于必需要对于应配置部件主体的整个区域的图像进行处理、记录,因此工作存储器以及图像存储装置的容量变得庞大,结果引起装置的成本升高。
另外,在色彩增强方式的基板检查装置中,预先设定表示要关注的区域的颜色的颜色条件,从检查图像中提取满足颜色条件的区域,基于该提取出的区域具有的各种特征量(例如,面积或长度)进行良否的判断。对于部件错位的检查也是相同的。从而,需要在实际的检查之前,设定出检查所使用的颜色条件、用于区分良品和次品的判断条件等。该颜色条件以及判断条件成为检查逻辑的参数。一般将检查逻辑的设定、调节称作训练(teaching)。
为了提高检查精度,重要的是:将颜色条件设定为在良品所示的特征量和次品所示的特征量之间表现出显著且明确的差异。即,可以说颜色条件的训练的好坏直接影响检查精度。
因此,如图18所示,本申请人提出了用于支持色彩增强方式中的颜色条件设定的工具(参照专利文献2)。通过该工具,可以设定多个颜色特征量(红、绿、蓝的各色相比ROP、GOP、BOP以及亮度数据BRT)各自的上限值以及下限值,作为颜色条件。在图18的输入画面中设有用于输入颜色条件的设定值的设定部127和用于显示根据所设定的各颜色条件提取的色彩范围的设定范围显示部128。该设定范围显示部128中显示出表示在预定的亮度下得到的所有色彩的调色图134,在操作者设定各颜条件的上限值、下限值时,在调色图134上显示围住根据所设定的颜色条件而提取出的色彩的确认区域135。此外,如果按下二值化显示按钮129,则按照二值图像显示出基于当前颜色条件的提取结果。通过该工具,操作者可以在观察确认区域135或二值图像的同时,进行颜色条件的追加,直到得到适当的提取结果为止。
但是,即使利用了上述的颜色条件设定支持工具,终究因颜色条件的追加很大程度上依赖于操作者的经验和直觉,而无法避免设定错误的发生。而且,产生如下问题:无论多么优秀的操作者都必需尝试性地重复进行调节,从而变得低效,需要很多的劳力和调节时间。
此外,不仅颜色条件,对于用于判断良否的判断条件,以往也依赖于操作者的直觉和经验,因此变得低效。
在商品寿命缩短变得越来越激烈的制造环境下,强烈希望训练作业的减少、进一步加强训练的自动化。
发明内容
因此,本发明的第一目的在于提供可以高速地并且以较小的存储容量检查IC类部件的错位的技术。
因此,本发明的第二目的在于提供求出高速地并且以较小的存储容量检查IC类部件的错位时所使用的检查逻辑的恰当的参数、即颜色条件、判断条件,并可自动生成检查逻辑的技术。
本发明的第一方式是基板检查方法,通过基板检查装置检查安装在基板上的IC类部件的错位,包括以下步骤:预先存储检查逻辑,该检查逻辑包括规定检查对象部件的部件主体所呈现的颜色的颜色条件、以及判断条件;以不同的入射角对检查对象部件照射多种颜色的光;对其反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分的检查图像;使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的部件主体区域;通过图像处理确定所述部件主体区域的边缘;通过对所述边缘的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
本发明的第二方式是基板检查装置,检查安装在基板上的IC类部件的错位,具有:存储单元,其存储检查逻辑,该检查逻辑包括规定检查对象部件的部件主体所呈现的颜色的颜色条件、以及判断条件;投光单元,其以不同的入射角对检查对象部件照射多种颜色的光;摄像单元,其对上述光的反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分的检查图像;区域提取单元,其使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的部件主体区域;边缘确定单元,其通过图像处理确定所述部件主体区域的边缘;以及判断单元,其通过对所述边缘的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
颜色条件用于规定部件主体所呈现的颜色(的范围),因此使用该颜色条件从检查图像中提取的部件主体区域应与检查图像中的部件主体的外形大致一致,而且部件主体区域的边缘可以看作部件主体的边缘。而且,如果调查该边缘的特征量的值(例如,位置或角度、或位置和角度),则可以高精度地判断部件主体是否以正确的位置和/或角度进行了安装。
根据本发明的第一、第二方式,从检查图像中提取满足颜色条件的部件主体区域,并将该区域的边缘的特征量的值与判断条件进行比较即可,所以可以进行简单且高速的处理。而且,不必处理部件整体的图像,而仅处理包含部件主体的边缘的至少一部分的检查图像即可,所以可以抑制工作存储器或图像存储装置的使用量。
本发明的第三方式是生成在基板检查装置中使用的检查逻辑的方法。具体来说,由信息处理装置来执行以下步骤:根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定部件主体的部分和与部件主体邻接的部分;对于一个或多个颜色特征量,将部件主体的部分的各像素作为对象点,将与部件主体邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布;基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围;以及把所述一个或多个颜色特征量的类型以及值的范围(以下,将颜色特征量的类型及其值的范围称作“颜色范围”)设定为所述颜色条件。
此外,本发明的第四方式是生成在上述基板检查中使用的参数的装置,具有:根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定部件主体的部分和与部件主体邻接的部分的单元;对于一个或多个颜色特征量,将部件主体的部分的各像素作为对象点,将与部件主体邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布的单元;基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围的单元;以及把所述一个或多个颜色特征量的类型以及值的范围(颜色范围)设定为所述颜色条件的单元。
这里,颜色范围的搜索处理中所使用的颜色特征量可以使用构成色彩空间的颜色特征量。此外,不仅可以选择构成单一的色彩空间的颜色特征量,也可以从不同的色彩空间中选择多个颜色特征量。作为色彩空间,例如,可以使用RGB、HSV、HSL、CMY、YCC、CIEXYZ、CIELAB、CIELUV等任意的色彩空间。作为颜色特征量,例如,可以使用蓝、红、绿、蓝绿、品红、黄等颜色的强度、亮度、饱和度、色相、CIEXYZ中的刺激值X、Y、Z、色度x、y、z、CIELAB中的L*、a*、b*、CIELUV中的L*、u(u’)、v(v’)等。
可以预先确定颜色特征量的类型。例如,在预先得知倾向于在部件主体的部分包含很多并且在与部件主体邻接的部分几乎不包含的颜色的情况下,也可以采用与该颜色有关的一个或多个特征量(颜色的强度、亮度等)作为颜色条件所使用的颜色特征量。通过这样构成,可以减轻检查精度的降低并削减处理量。
此外,最好动态地确定颜色条件所使用的颜色特征量。例如,也可以包括以下步骤:生成多个由一个或多个颜色特征量构成的颜色特征量候选;分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选;把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。另外,所采用的颜色特征量候选可以是一个或多个。通过这样构成,可以自动地设定显著地表现出部件主体的部分和与部件主体邻接的部分之间的差异的颜色条件(颜色特征量),实现检查精度的进一步的提高。
在判断条件的生成时,可以包括以下步骤:分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像、和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中,提取满足所述颜色条件的像素区域;通过图像处理确定各像素区域的边缘;求出所述边缘的特征量的值的频数分布;基于所述特征量的值的频数分布,求出将从所述良品图像中提取的像素区域的边缘的特征量的值和从所述次品图像中提取的像素区域的边缘的特征量的值最佳地分离开的特征量的值的范围;把所述特征量的类型以及值的范围设定为所述判断条件。
这里,作为特征量的类型,可以恰当地采用边缘的位置或角度、或者位置和角度两者。是采用边缘的位置、角度还是该两个特征量双方作为判断条件与颜色特征量的情况一样,可以预先确定也可以由系统自动确定。
根据该结构,可以根据训练图像(良品图像以及次品图像)自动地生成可高精度地判断IC类部件的错位的有无的判断条件。这样自动生成的检查逻辑的参数(颜色条件以及判断条件)存储在基板检查装置的存储单元中,提供给IC类部件的错位检查。
本发明的第五方式是基板检查方法,通过基板检查装置检查安装在基板上的IC类部件的错位,包括以下步骤:预先存储检查逻辑,该检查逻辑包括规定排列在检查对象部件的部件主体的边缘上的引线的基端部分所呈现的颜色的颜色条件、以及判断条件;以不同的入射角对检查对象部件照射多种颜色的光;对其反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分以及排列在该边缘上的多个引线的检查图像;使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的多个引线区域;通过图像处理确定连接所述多个引线区域的直线;通过对所述直线的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
本发明的第六方式是基板检查装置,检查安装在基板上的IC类部件的错位,具有:存储单元,其存储检查逻辑,该检查逻辑包括规定排列在检查对象部件的部件主体的边缘上的引线的基端部分所呈现的颜色的颜色条件、以及判断条件;投光单元,其以不同的入射角对检查对象部件照射多种颜色的光;摄像单元,其对上述光的反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分以及排列在该边缘上的多个引线的检查图像;区域提取单元,其使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的多个引线区域;直线确定单元,其通过图像处理确定连接所述多个引线区域的直线;以及判断单元,其通过对所述直线的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
颜色条件用于规定引线的基端部分所呈现的颜色(的范围),使用该条件从检查图像中提取的引线区域应与检查图像中的各个引线的基端部分大致一致。由于各个引线沿着部件主体的边缘排列,所以连接多个引线区域的直线可以看作与部件主体的边缘平行的直线。于是,如果调查该直线的特征量的值(例如,位置或角度、或位置和角度),则可以高精度地判断部件主体是否以正确的位置和/或角度进行了安装。
根据本发明的第五、第六方式,从检查图像中提取满足颜色条件的多个引线区域,并对连接这些区域的直线的特征量的值与判断条件进行比较即可,所以可以进行简单且高速的处理。而且,不必处理部件全体的图像,而对包含部件主体的边缘的至少一部分和该边缘上排列的多个引线的检查图像进行处理即可,所以可以抑制工作存储器或图像存储装置的使用量。
本发明的第七方式是生成在第六方式的基板检查装置中使用的参数的方法。具体来说,包括以下步骤:根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定引线的基端部分和与引线的基端部分邻接的部分;对于一个或多个颜色特征量,将引线的基端部分的各像素作为对象点,将与引线的基端部分邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布;基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围;把所述一个或多个颜色特征量的类型以及值的范围(颜色范围)设定为所述颜色条件。
此外,本发明的第八方式是生成在第六方式的基板检查装置中使用的参数的装置,具有:根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定引线的基端部分和与引线的基端部分邻接的部分的单元;对于一个或多个颜色特征量,将引线的基端部分的各像素作为对象点,将与引线的基端部分邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布的单元;基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围的单元;以及,把所述一个或多个颜色特征量的类型以及值的范围(颜色范围)设定为所述颜色条件的单元。
对于该颜色范围的搜索处理中所使用的颜色特征量也可以采用上述的各种颜色特征量。
可以预先确定颜色特征量的类型。例如,在预先得知倾向于在引线的基端部分包含很多并且在与引线的基端部分邻接的部分几乎不包含的颜色的情况下,也可以采用与该颜色有关的一个或多个特征量(颜色的强度、亮度等)作为颜色条件所使用的颜色特征量。通过这样构成,可以减轻检查精度的降低并削减处理量。
此外,也最好动态地确定颜色条件所使用的颜色特征量。例如,也可以包括以下步骤:生成多个由一个或多个颜色特征量构成的颜色特征量候选;分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选;把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。另外,所采用的颜色特征量候选可以是一个或多个。通过这样构成,自动地设定如显著地呈现引线的基端部分和与引线的基端部分邻接的部分之间的差异的颜色条件(颜色特征量),并可以实现检查精度的进一步的提高。
在判断条件的生成时,也可以包括以下步骤:分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中提取满足所述颜色条件的多个像素区域;通过图像处理确定连接所述多个像素区域的直线;求出所述直线的特征量的值的频数分布;基于所述特征量的值的频数分布,求出将连接从所述良品图像中提取的多个像素区域的直线的特征量的值和连接从所述次品图像中提取的多个像素区域的直线的特征量的值最佳地分离开的特征量的值的范围;把所述特征量的类型以及值的范围设定为所述判断条件。
这里,作为特征量的类型,可以恰当地采用直线的位置或角度,或位置和角度两者。是采用直线的位置、角度还是这两个特征量双方作为判断条件与颜色特征量的情况一样,可以预先确定,也可以由系统来自动地确定。
根据该结构,可以根据训练图像(良品图像以及次品图像)自动地生成可高精度地判断IC类部件的错位的有无的判断条件。这样自动生成的检查逻辑的参数(颜色条件以及判断条件)存储在基板检查装置的存储单元中,提供给IC类部件的错位检查。
根据本发明,可以高速地且以较小的存储容量检查IC类部件的错位。此外,根据本发明,可以自动地生成为了高速地且以较小的存储容量检查IC类部件的错位而使用的检查逻辑,可以实现训练作业的减轻,进而实现训练的自动化。
附图说明
图1是表示本发明的实施方式的基板检查系统的硬件结构的图。
图2是表示基板检查装置的功能结构的图。
图3是表示第一实施方式的基板检查处理的流程的流程图。
图4是表示检查所使用的检查图像的范围的图。
图5是表示第一实施方式的检查图像的二值化处理和边缘确定处理的图。
图6是表示第一实施方式的检查逻辑设定装置的功能结构的图。
图7是表示第一实施方式的检查逻辑设定装置的流程的流程图。
图8是表示部件主体部分的确定处理的图。
图9是表示二维颜色分布图的一例的图。
图10是表示颜色范围的搜索处理的图。
图11是表示分布图的一例的图。
图12是表示第二实施方式的基板检查处理的流程的流程图。
图13是表示第二实施方式的检查图像的二值化处理和边缘确定处理的图。
图14是表示第二实施方式的检查逻辑设定处理的流程的流程图。
图15是表示引线的基端部分的确定处理的图。
图16是表示色彩增强方式的基板检查装置的结构的图。
图17是表示摄像图像中所呈现的色彩图案的一例的图。
图18是表示颜色条件的设定支持工具的图。
图19是表示IC类部件所特有的问题的图。
具体实施方式
以下参照附图示例性地详细说明本发明的优选实施方式。
<第一实施方式>
(基板检查系统的结构)
图1表示本发明的实施方式的基板检查系统的硬件结构。
基板检查系统由执行基板检查处理的基板检查装置1和自动生成在该基板检查装置1的基板检查处理中使用的检查逻辑的检查逻辑设定装置2构成。基板检查装置1和检查逻辑设定装置2可以经由有线或无线的网络、或MO或DVD等的记录介质进行图像或参数等的电子数据的交接。另外,在本实施方式中,基板检查装置1和检查逻辑设定装置2为分体结构,但也可以在基板检查装置主体中并入检查逻辑设定装置的功能而成为一体结构。
(基板检查装置的结构)
基板检查装置1是对基板照射彩色光并对其进行拍摄、使用所拍摄的图像来自动检查基板20上的安装部件21的安装质量(焊接状态等)的装置。基板检查装置1大体具有:X工作台22、Y工作台23、投光部24、摄像部25、以及控制处理部26。
X工作台22以及Y工作台23分别具有基于来自控制处理部26的控制信号而工作的电机(未图示)。通过这些电机的驱动,X工作台22使投光部24以及摄像部25向X轴方向移动,且Y工作台23使支撑基板20的传送器27向Y轴方向移动。
投光部24由三个圆环状光源28、29、30构成,所述三个圆环状光源具有不同的直径,并且基于来自控制处理部26的控制信号,同时照射红色光、绿色光、蓝色光。各光源28、29、30在观测位置的正上位置上中心对齐、并且配置在从观测位置看为不同的仰角所对应的方向上。通过这样的配置,投光部24以不同的入射角对基板20上的安装部件21照射多种颜色的光(在本实施方式中为R、G、B三色)。
摄像部25为彩色照相机,在观测位置的正上位置朝向下方定位。由此,由摄像部25拍摄基板表面的反射光,转换为三原色的颜色信号R、G、B后提供给控制处理部26。
控制处理部26由下述部分构成:A/D转换部33、图像处理部34、检查逻辑存储部35、判断部36、摄像控制器31、XY工作台控制器37、存储器38、控制部(CPU)39、存储部32、输入部40、显示部41、打印机42、以及通信I/F43等。
A/D转换部33是输入来自摄像部25的颜色信号R、G、B并转换为数字信号的电路。每个色相的数字量的浓淡图像数据被传输到存储器38内的图像数据存储区域中。
摄像控制器31是具有连接控制部39和投光部24以及摄像部25的接口等的电路,基于控制部39的输出,进行调节投光部24的各光源28、29、30的光量,或保持摄像部25的各色相光输出的相互平衡等的控制。
XY工作台控制部37是具有连接控制部39和X工作台22以及Y工作台23的接口等的电路,基于控制部39的输出,控制X工作台22以及Y工作台23的驱动。
检查逻辑存储部35是存储基板检查处理所使用的检查逻辑的存储部。通过基板检查装置1可以进行检查焊锡形状的焊脚检查或检查部件的错位的错位检查等的多种检查处理。检查逻辑是针对每种检查类型准备的,由用于规定图像中的检查对象范围(检查区域)的区域条件、用于从检查区域内的图像中提取预定的色彩图案(像素区域)的颜色条件、以及用于判断该色彩图案的良否的判断条件等构成。区域条件是例如“从部件的位置和/或角度正确时的部件主体的边缘位置起在垂直于边缘的方向上±20像素、沿边缘的方向上80像素的范围”这样地规定图像中的检查区域的位置、大小、范围等的条件。颜色条件是例如“像素的亮度在150到250之间,并且红信号的强度在150到180之间”这样地规定所关注的颜色特征量(在本例中,为亮度和红信号的强度)和该颜色特征量的值的范围的条件。判断条件是例如“检测出的边缘的角度为5度或其以下”这样地规定所关注的特征量(在本例中,为边缘的角度)和该特征量的值的范围(在本例中,为上限值)的条件。
图像处理部34是执行如下处理的电路:从对基板20上的部件21进行拍摄而得到的图像中提取由区域条件规定的检查区域的处理、从检查区域的图像(检查图像)中提取满足颜色条件的区域的处理、以及根据所提取的区域计算判断条件所使用的特征量的值的处理。判断部36是执行接收由图像处理部34计算出的特征量的值、根据该特征量的值是否满足判断条件来判断部件的安装状态的良否的处理的电路。
输入部40由输入操作信息或与基板20有关的数据等所需的键盘或鼠标等构成。所输入的数据被提供给控制部39。通信I/F43用于在检查逻辑设定装置2或其它的外部装置等之间进行数据的收发。
控制部(CPU)39是执行各种运算处理或控制处理的电路。存储部32是由硬盘或存储器构成的存储装置,除了存储由控制部39执行的程序之外,还存储基板的CAD(Computer Aided Design,计算机辅助设计)信息、基板检查处理的判断结果等。
在图2中示出基板检查装置1的功能结构。基板检查装置1具有:指示信息受理功能10、基板运入功能11、CAD信息读入功能12、工作台操作功能13、摄像功能14、检查逻辑读入功能15、检查功能16、判断结果写入功能17、以及基板运出功能18。控制部39根据存储在存储部32中的程序来控制上述硬件,从而实现这些功能。此外,在存储部32的内部设置有存储CAD信息的CAD信息存储部32a和存储判断结果的判断结果存储部32b。
(基板检查处理)
接着,叙述上述基板检查装置1中的基板检查处理。在本实施方式中,说明着眼于部件主体的边缘的位置或角度来检查IC类部件的错位的方法。
图3是表示检查处理的流程的流程图。
指示信息受理功能10处于等待状态,直到输入了指示执行基板检查的指示信息(步骤S100;否,步骤S101)。通过输入部40的操作,或通过通信I/F 43从外部设备输入了指示信息时,指示信息受理功能10将指示信息传送给基板运入功能11、CAD信息读入功能12以及检查逻辑读入功能15(步骤S100;是)。在该指示信息中含有成为检查对象的基板的信息(型号等)。
此外,基板运入功能11基于指示信息,从印刷基板运入部将成为检查对象的基板20运入到传送器27上(步骤S102),CAD信息读入功能12从CAD信息存储部32a中读入与基板的型号对应的CAD信息(步骤S103)。在该CAD信息中包含有基板20的尺寸、形状,还包含安装在基板20上的部件的类型、数量、各自的安装位置的信息。
检查逻辑读入功能15根据由所述CAD信息取得的部件的类型,从检查逻辑存储部35中读入IC类部件的错位检查用的检查逻辑(步骤S104)。在检查逻辑中包含区域条件、颜色条件以及判断条件。
接着,工作台操作功能13根据所读入的CAD信息而得到基板20的尺寸、形状、部件的配置等信息,并通过XY工作台控制部37来操作X工作台22以及Y工作台23,使得安装在基板20上的多个部件21依次与观测位置(摄像位置)对齐(步骤S105)。
另一方面,摄像功能14通过摄像控制器31使投光部24的三个光源28、29、30发光,同时向基板20上照射红色、绿色、蓝色的光。此外,摄像功能14通过摄像控制器31控制摄像部25,与工作台22、23的操作同步地对基板20上的部件21进行拍摄(步骤S106)。拍摄到的图像被取入到存储器38中。
接着,检查功能16通过图像处理部34来从摄像图像中提取检查图像(步骤S107)。检查图像是由检查逻辑的区域条件规定的区域。在本实施方式中,如图4所示,检查图像被提取为包含检查对象部件的部件主体90的边缘的至少一部分。即,部件主体90大致为矩形,因此在四周带有边缘,但至少一边的边缘包含在检查图像中即可。此外,不必在检查图像中包含该边缘的整体,而仅出现边缘的一部分就够了。
接着,检查功能16通过图像处理部34,使用颜色条件将检查图像二值化(步骤S108)。这里使用的颜色条件用于规定部件主体所呈现的颜色的范围。换言之,颜色条件可以说是区别(分离)部件主体所呈现的颜色和与部件主体邻接的部分所呈现的颜色的条件。部件主体所呈现的颜色取决于部件主体的材质、表面形状、颜色、表面粗糙度等。例如,在部件主体为树脂封装的情况下,光在部件主体的表面上漫反射,因此在图像中表现出与照射白色光时大致相同的颜色(作为部件主体的本来的颜色的、泛有红色的黑色),在部件主体的表面产生镜面反射的情况下,在图像中呈现出红、绿、蓝三颜色中的任意一种。当然,对于在与部件主体邻接的部分呈现的颜色也相同。从而,根据在部件主体部分或与部件主体邻接的部分呈现的颜色的倾向,选择颜色条件所使用的颜色特征量的类型(色相、亮度等)。本实施方式的颜色条件由红信号的强度的下限和上限、以及亮度的下限和上限的四个值构成。其理由是:本实施方式的检查对象部件为树脂封装,在摄像图像中,在部件主体的部分呈现出亮度低的红色系颜色。另外,这里,红信号的强度以及亮度中的任意一方均取从0到255的256级的值。通过二值化处理,由颜色条件定义的颜色范围内所包含的像素(满足颜色条件的像素)转换为白像素,其余的像素转换为黑像素。
图5表示良品(部件以正确的位置和/或角度安装)和次品(产生部件错位)的检查图像以及它们的二值化结果。通过按照颜色条件进行二值化,可知检查图像中的部件主体90的部分作为白像素区域被提取。这里将提取出的区域称作部件主体区域91。
接着,检查功能16通过图像处理部34来确定部件主体区域91的边缘92(步骤S109)。边缘的确定例如使用Hough变换等现有的图像处理方法即可。这里,所确定的边缘92可以看作是部件主体90的边缘。
而且,检查功能16计算边缘92的位置以及角度,作为边缘92的特征量(步骤S110)。在图5的例子中,作为边缘92的位置,求出从检查图像的左端的边的中点起、在垂直于该边的方向上测出的到边缘92的距离d,作为边缘92的角度,求出相对于检查图像的垂直方向的角度的绝对值|θ|。其计算结果被传送给判断部36。
判断部36对计算出的边缘92的位置及角度与检查逻辑的判断条件进行比较(步骤S111)。该判断条件是规定视为正确位置和/或角度(未产生部件错位的状态)的范围的条件,例如,由边缘的位置或角度的错位量的容许极限(上限值或下限值,或者它们两者)构成。在边缘92的位置以及角度处于判断条件的范围内的情况下(步骤S111;是),判断为以正确的位置和/或角度安装了该部件(良品)(步骤S112),在边缘92的位置或角度超出判断条件的范围的情况下(步骤S111;否),判断为在该部件上产生了错位(次品)(步骤S113)。
判断结果写入功能17将上述判断结果与位置ID(用于确定部件的信息)一起写入到判断结果存储部32b中(步骤S114)。
对基板20上的所有部件进行检查之后,基板运出功能18通过印刷基板运送部来运出基板20,并结束基板检查处理(步骤S115)。
根据以上叙述的基板检查处理,从检查图像中提取满足颜色条件的部件主体区域,并将该区域的边缘的位置和角度与判断条件进行比较即可,所以可以简单且高速地、高精度地进行IC类部件的错位检查。而且,不必处理部件整体的图像,而仅处理其一部分的图像(检查图像)即可,所以也可以抑制工作存储器或图像存储装置的使用量。
另外,在本实施方式中,判断处理使用了边缘的位置和角度两者,但也可以仅利用其中任意一个特征量来进行判断。此外,本实施方式中,仅关注于一个边缘,但如果对所有的边缘实施相同的判断处理,则可以实现判断精度和检查可靠性的提高。
另外,为了实现没有次品漏检、而且过检为容许值以下的高判断精度,需要预先根据检查对象而将检查逻辑的颜色条件以及判断条件设定为最佳的值。特别是在实现上述的错位检查时,需要可以准确地分开部件主体所呈现的颜色和与部件主体邻接的部分所呈现的颜色的颜色条件。在本实施方式中,检查逻辑的生成(训练)通过检查逻辑设定装置2而自动地进行。以下,进行详细说明。
(检查逻辑设定装置的结构)
如图1所示,检查逻辑设定装置2由通用的计算机(信息处理装置)构成,所述计算机具有下述部分作为基本硬件:CPU、存储器、硬盘、I/O控制部、通信I/F、显示部、信息输入部(键盘或鼠标)等。
图6表示第一实施方式的检查逻辑设定装置2的功能结构。检查逻辑设定装置2具有:指示信息受理功能50、训练图像信息读入功能51、部分确定功能52、频数计算功能53、颜色范围搜索功能54、二值化功能55、边缘确定功能56、分布图生成功能57、阈值计算功能58、检查逻辑生成功能59、以及检查逻辑写入功能60。通过把存储在存储器或硬盘中的程序读入到CPU并执行而实现这些功能。
此外,在硬盘内设有存储训练所使用的训练图像信息的训练图像信息DB 61。训练图像信息由通过基板检查装置1拍摄到的IC类部件的图像和表示该图像是良品(以正确的位置和/或角度安装)还是次品(产生错位)的训练信息(训练数据)构成。为了提高训练的可靠性,优选分别对良品和次品准备几十~几千个训练图像信息。
(检查逻辑设定处理)
沿着图7的流程图说明检查逻辑设定处理的流程。
指示信息受理功能50处于等待状态,直到输入了指示检查逻辑的自动生成的指示信息(步骤S200;否,步骤S201)。在从信息输入部输入了指示信息时,指示信息受理功能50向训练图像信息读入功能51传达指示信息(步骤S200;是)。在该指示信息中含有确定成为检查逻辑生成对象的训练图像信息的信息、表示成为检查对象的部件的类型或型号的信息、以及应该检测出的缺陷的类型的信息等。
训练图像信息读入功能51根据指示信息,从训练图像信息DB61中读入与应该作成的检查逻辑对应的训练图像信息(步骤S202)。在训练图像信息中包含多个良品图像和多个次品图像。对这些图像赋予了训练信息。
(1)颜色条件的设定处理
首先,仅使用良品图像进行颜色条件的设定。部分确定功能52通过图像处理,根据良品图像确定“部件主体的部分”(以下称为“对象区域”)和“与部件主体邻接的部分”(以下称为“排除区域”)(步骤S203)。具体来说,如图8所示,部分确定功能52具有由部件主体窗口70、焊盘窗口71、引线窗口72构成的模板,一边放大/缩小模板,或错开各窗口之间的相对位置,一边将各窗口与图像中的部件主体、焊盘、引线对齐。对于窗口的对齐,例如使用模板匹配等方法即可。接着,部分确定功能52将部件主体窗口70的内侧设定为对象区域(参照实线影线部分),将部件主体窗口70的外侧设定为排除区域(参照虚线影线部分)。这里,由于仅使用了良品图像,所以可以进行对象区域、排除区域的高精度的设定。
如上所述,在实际的错位检查中,使用颜色条件来仅提取出部件主体的部分。做成最适合于这样的处理的颜色条件等价于:求出尽可能多地包含对象区域的像素的颜色、并且几乎可以排除掉排除区域的像素的颜色的颜色范围的最佳解。
因此,首先,由频数计算功能53求出对象区域和排除区域的所有像素的颜色特征量的值的频数分布(步骤S204)。此时,对象区域的像素作为“对象点”,排除区域的像素作为“排除点”,以互相可区别的形式进行频数的计算。以下,为了在视觉上说明频数分布,而使用颜色分布图。颜色分布图针对以构成色彩空间的颜色特征量为轴的多维空间内的各点记录像素的频数(个数)。通过颜色分布图,可以掌握对象区域、排除区域各自的像素的颜色分布。另外,这里提到的像素是指图像的最小分辨率。由于在对多个像素集中执行映射处理时发生混色,因此优选针对每个像素进行处理。
一般,色彩空间是由三种或三种以上的颜色特征量构成的多维空间。从而,为了准确地掌握像素的颜色分布,优选对至少两个或两个以上的颜色特征量计算频数。但是,由于在检查所使用的图像中包含的构成要素及其颜色有限,因此如果目的是确定用于分离部件主体的颜色(对象点)及其周边区域的颜色(排除点)的颜色条件,则关于色相只要考虑一种颜色或两种颜色的颜色特征量就足够了。因此,在本实施方式中,选择红色作为倾向于在部件主体的部分包含较多并且在与部件主体邻接的部分几乎不包含的色相,针对亮度和红色强度的每一种组合计算频数。
图9表示二维颜色分布图的一例。图9的横轴是红的强度,纵轴是亮度的值,均以0至255的256级的数值表示。关于红的强度,越接近于0则红信号的强度越弱,即表示在像素中不含有红成分,越接近于255则表示红的强度越强。亮度的值越大则表示明亮度越强。图中的白圈(○)表示对象区域的像素的频数为1或1以上的点,黑三角(▲)表示排除区域的像素的频数为1或1以上的点。另外,白圈和黑三角除了(红的强度、亮度)之外还具有频数(具有该颜色的像素的个数)的数据。此外,对于后面的图10也与图9相同,白圈以及黑三角不表示各个像素,而是保持(红的强度、亮度、频数)的三维数据。
接着,颜色范围搜索功能54基于对象点和排除点各自的频数分布,搜索将对象点的颜色分布和排除点的颜色分布最佳地分开的颜色范围(步骤S205)。在本实施方式中,为了算法的简化,如图10(a)所示,求出强度的下限(RInf)和上限(RSup)、以及亮度的下限(LInf)和上限(LSup)的四个值。这里应该求出的最佳解是构成尽可能多地包含对象点(○)并且几乎不含有排除点(▲)的颜色范围的四个值的组合(RInf、RSup、LInf、LSup)。
具体来说,颜色范围搜索功能54一边改变RInf、RSup、LInf、LSup各个的值,一边对各颜色范围计算频数合计值E(参照式1),求出频数合计值E为最大的颜色范围。频数合计值E是表示颜色范围所包含的对象点的数量(频数)和排除点的数量(频数)之差的指标。图10(b)表示频数合计值E为最大的颜色范围。
[式1]
E = &Sigma; r = RInf RSup &Sigma; l = LInf LSup { S ( r , l ) - R ( r , l ) }
r:红的强度
1:亮度
S(r,1):点(r,1)处的对象点的频数
R(r,1):点(r,1)处的排除点的频数
而且,颜色范围搜索功能54将频数合计值E为最大的颜色范围设定为检查用的颜色条件。这样,根据本实施方式,可以自动地生成将部件主体的部分(对象点)和与部件主体邻接的部分(排除点)适当地分开的颜色特征量和其值的组合,并设定为颜色条件。
另外,在本实施方式中,由亮度的上限值以及下限值和红色的强度的上限值以及下限值的四个颜色参数构成了颜色条件,但也可以关注于其它的颜色特征量而确定参数。作为颜色特征量,例如,可以使用蓝、红、绿、青绿、品红、黄等的颜色的强度、亮度、饱和度、色相、CIEXYZ中的刺激值X、Y、Z、色度x、y、z、CIELAB中的L*、a*、b*、CIELUV中的L*、u(u’)、v(v’)等。此外,构成颜色条件的颜色特征量的数量不限定于2种,可以是1种,也可以组合3种或3种以上。即,可以根据所拍摄的图像中的部件主体及其周边区域所具有的色彩图案的倾向而适当选择颜色条件所采用的颜色参数。此外,还优选为:不是预先确定颜色参数,而是准备多个由一个或多个颜色特征量构成的颜色特征量候选,对各个颜色特征量候选进行上述的频数分布计算处理以及颜色条件计算处理,从中采用最佳的颜色特征量作为颜色条件。此时,对于各颜色特征量候选的频数分布,求出对象点和排除点的分离度(在本实施方式中,最大的频数合计值E相当于分离度。),通过比较互相之间的分离度,确定所采用的颜色特征量候选即可。例如,可以选择分离度最大的一个颜色特征量候选,也可以按照分离度的大小顺序选择多个颜色特征候选。此外,作为搜索颜色范围的方法,除了上述方法之外,也可以使用判别分析、SVM(Support Vector Machine,支持向量机)等公知的方法。
(2)判断条件的设定处理
接着,使用上述颜色条件以及良品图像、次品图像执行自动生成错位检查用的判断条件的处理。
首先,二值化功能55使用上述颜色条件,分别对良品图像、次品图像进行二值化,从而提取满足颜色条件的像素区域(步骤S206)。接着,边缘确定功能56在对于各像素确定白像素区域的边缘之后(步骤S207),计算该边缘的特征量(位置d以及角度θ)(步骤S208)。这些处理与图5中说明的相同。
接着,分布图生成功能57为了掌握良品图像中的边缘的特征量的值的分布倾向和次品图像中的特征量的值的分布倾向的不同,求出边缘的特征量的值的频数分布(步骤S209)。在本实施方式中,采用位置以及角度作为边缘的特征量,关于各个特征量求出频数分布。这里,为了视觉地表示边缘的位置以及角度的频数分布,使用与边缘的位置相关的位置分布图和与边缘的角度相关的角度分布图。图11(a)表示位置分布图的一例,图11(b)表示角度分布图的一例。图11(a)的横轴表示边缘的错位量Δd,图11(b)的横轴表示边缘的角度的绝对值|θ|。错位量Δd如Δd=d—d0这样,是在步骤S208中计算出的边缘的位置d和应该出现边缘的位置(正确位置)d0之间的差分。可根据CAD信息计算出该正确位置d0。观察图11(a)以及(b)时,得知良品图像的特征量分布(白色)和次品图像的特征量分布(黑色)表现出明显的不同。
接着,阈值计算功能58基于分布图的频数分布计算将良品图像中的边缘的特征量的值和次品图像中的边缘的特征量的值最佳地分离开的阈值(步骤S210)。在本实施方式中,计算出边缘的位置d的下限值以及上限值、边缘的角度|θ|的上限值的三个阈值。已经提出了各种将在分布图中出现的多个峰最佳地分离开的方法,这里,可以采用任何方法。例如,可以利用大津的判别分析法,或者也可以根据经验将与良品图像的峰端相隔3σ的点确定为阈值,或在良品图像的峰的端点和次品图像的峰的端点之间设定阈值。这样,分别对于边缘的位置、角度,生成用于判别良品和次品的判断条件。
然后,检查逻辑生成功能59根据上述颜色条件以及判断条件生成检查逻辑(步骤S211)。然后,由检查逻辑写入功能60将该检查逻辑写入到基板检查装置1的检查逻辑存储部35中,并结束检查逻辑设定处理(步骤S212)。
根据以上叙述的本实施方式,由于自动生成为了高速地且以较小的存储容量检查IC类部件的错位而使用的检查逻辑,所以可以大幅地削减训练所需的时间和负荷。
而且,通过上述算法计算最佳的颜色条件以及判断条件,所以可以高精度地进行IC类部件的错位检查。另外,最初提供的训练图像信息的数目越多则颜色条件和判断条件的可靠性越高。
<第二实施方式>
在上述第一实施方式中,着眼于部件主体部分的边缘来检查IC类部件的错位。但是,根据部件的类型,有时在部件主体部分的颜色分布中有偏差或不均,难以确定边缘。例如在部件主体的表面上印刷有字符或记号等的情况、部件主体的表面由于回流焊时的加热而变形的情况下等,均可能发生部件主体部分的颜色不均。因此,在本发明的第二实施方式中,在IC类部件中着眼于多个引线沿着边缘直线排列这一点,不调查部件主体的边缘,而调查连接多个引线的直线(以下称为“引线排列线”)的位置和角度,由此检查部件的错位。
(基板检查处理)
首先,参照图12的流程图说明本实施方式的检查处理的流程。另外,对于与第一实施方式的处理(参照图3)相同的处理,标以同一步骤号并省略说明。
根据指示信息进行成为检查对象的基板的运入以及CAD信息的读入(步骤S100~S103)。根据从该CAD信息中取得的部件的类型进行IC类部件的错位检查用的检查逻辑的读入(步骤S104)。在检查逻辑中包含区域条件、颜色条件以及判断条件。而且,基于CAD信息,将运入基板在适当位置对正,对部件进行拍摄(步骤S105~S106)。
接着,检查功能16通过图像处理部34从摄像图像中提取检查图像(步骤S300)。检查图像是由检查逻辑的区域条件规定的区域。在本实施方式中,如图4所示,检查图像被提取为包含检查对象部件的部件主体90的边缘的至少一部分和排列在该边缘上的多个引线94。有至少两个引线94时,可以进行后述的直线检测,但为了提高处理的可靠性,优选为在检查图像中包含3个或3个以上的引线94。此外,不必在检查图像中包含引线94的全体,只要至少包含引线的基端部分(肩部分)94a就足够了。
接着,检查功能16通过图像处理部34,使用颜色条件对检查图像进行二值化(步骤S301)。这里使用的颜色条件用于规定在引线的基端部分呈现的颜色的范围。换言之,颜色条件可以说用于区别(分离)引线的基端部分所呈现的颜色和与引线的基端部分邻接的部分所呈现的颜色。本实施方式的颜色条件由红信号的强度的下限和上限、以及亮度的下限和上限的四个值构成。这是因为在摄像图像中,在引线的基端部分呈现出亮度高的红色系颜色。在二值化处理中,由颜色条件定义的颜色范围内所包含的像素(满足颜色条件的像素)被转换为白像素,其余的像素被转换为黑像素。
图13表示良品(部件以正确的位置和/或角度安装)和次品(产生了部件错位)的检查图像以及它们的二值化结果。可知通过以颜色条件进行二值化,检查图像中的引线的基端部分94a作为白像素区域而被提取。这里提取出的区域称作引线区域95。
接着,检查功能16通过图像处理部34确定连接多个引线区域95的直线(引线排列线)95(步骤S302)。直线的确定例如可以使用Hough变换等现有的图像处理方法,或使用最小二乘法等的直线检测方法。
这里所确定的引线排列线96可以视为与部件主体90的边缘平行的直线。从而,与第一实施方式相同,计算引线排列线96的位置d以及角度θ(步骤S303),将它们与检查逻辑的判断条件进行比较,从而判断出部件的位置和/或角度是否正确(步骤S111~S113)。把基板上安装的各IC类部件的判断结果与位置ID一起写入到判断结果存储部32b中(步骤S114),基板检查处理结束(步骤S115)。
根据以上叙述的基板检查处理,从检查图像中提取满足颜色条件的多个引线区域,并将连接这些区域的直线的位置和角度与判断条件进行比较即可,所以可以简单且高速地、高精度地进行IC类部件的错位检查。而且,由于不必处理部件整体的图像而仅处理其一部分的图像(检查图像)即可,所以也可以抑制工作存储器或图像存储装置的使用量。此外,在本实施方式中,由于着眼于引线的基端部分所呈现的高亮度的红色,所以即使对于部件主体的颜色存在偏差或不均的IC类部件也可以毫无问题地进行检查。
另外,在本实施方式中,判断处理使用了引线排列线的位置和角度两者,但也可以仅根据任意一方特征量来进行判断。此外,在本实施方式中,仅着眼于一个边缘的引线排列,但如果对多个边缘的引线排列实施相同的判断处理,则可以实现判断精度以及检查可靠性的提高。
(检查逻辑设定处理)
接着,沿着图14的流程图说明本实施方式的逻辑设定处理的流程。对于与第一实施方式的处理(参照图7)相同的处理,标以同一步骤号并省略详细的说明。另外,检查逻辑设定装置的功能结构与第一实施方式的功能结构(图6)大致相同,但不同之处是,具有“直线确定功能”来取代边缘确定功能56。
根据所输入的指示信息,从训练图像信息DB61中读入训练图像信息(步骤S200~S202)。在训练图像信息中包含多个良品图像和多个次品图像。对于这些图像赋予了训练信息
(1)颜色条件的设定处理
首先,仅使用良品图像进行颜色条件的设定。部分确定功能52通过图像处理,在良品图像中确定“引线的基端部分”(以下称为“对象区域”)和“与引线的基端部分邻接的部分”(以下称为“排除区域”)(步骤S400)。具体来说,如图15所示,部分确定功能52具有由部件主体窗口70、焊盘窗口71、引线窗口72构成的模板,一边放大/缩小模板,或错开各窗口之间的相对位置,一边将各窗口与图像中的部件主体、焊盘、引线对齐。窗口的对齐例如可以使用模板匹配等方法。接着,部分确定功能52将引线窗口72的预定区域(例如,从引线窗口72和部件主体窗口70的边界起距离L的范围)设定为对象区域(参照实线影线部分),将部件主体窗口70的内侧设定为排除区域(虚线影线部分)。这里,由于仅使用良品图像,所以可以进行对象区域、排除区域的高精度的设定。
在第二实施方式的错位检查中,使用颜色条件来仅提取出引线的基端部分。作成最适合于这样的处理的颜色条件等价于:求出尽可能多地包含对象区域的像素的颜色并且几乎可以排除掉排除区域的像素的颜色的颜色范围的最佳解。
因此,与第一实施方式相同,求出对象区域和排除区域的所有像素的颜色特征量的值的频数分布(步骤S204),并搜索将对象点的颜色分布和排除点的颜色分布最佳地分开的颜色范围(步骤S205)。由此,自动生成用于提取引线的肩部分的颜色条件。
(2)判断条件的设定处理
接着,使用上述颜色条件以及良品图像、次品图像执行自动生成错位检查用的判断条件的处理。
首先,由二值化功能55使用上述颜色条件分别将良品图像、次品图像二值化,从而提取满足颜色条件的像素区域(步骤S206)。接着,由直线确定功能在对于各图像确定引线排列线之后(步骤S401),计算该引线排列线的特征量(位置以及角度)(步骤S402)。这些处理与用图13说明的处理相同。
接着,分布图生成功能57求出引线排列线的特征量的值的频数分布,以掌握良品图像中的引线排列线的特征量的值的分布倾向和次品图像中的特征量的值的分布倾向之间的差别(步骤S403)。在本实施方式中,采用位置以及角度作为引线排列线的特征量,关于各个特征量求出频数分布。这里,为了视觉上表示引线排列线的位置以及角度的频数分布,使用与引线排列线的位置有关的位置分布图和与引线排列线的角度有关的角度分布图。然后,阈值计算功能58与第一实施方式一样地基于分布图的频数分布,计算用于将良品图像中的引线排列线的特征量的值和次品图像中的引线排列线的特征量的值最佳地分离开的判断条件(步骤S404)。
然后,由检查逻辑生成功能59根据上述颜色条件以及判断条件生成检查逻辑(步骤S211)。然后,由检查逻辑写入功能60将该检查逻辑写入到基板检查装置1的检查逻辑存储部35中,结束检查逻辑设定处理(步骤S212)。
根据以上叙述的本实施方式,由于自动生成为了高速地且以较小的存储容量检查IC类部件所使用的检查逻辑,所以可以大幅地削减训练所需的时间和负荷。
而且,由于通过上述的算法计算出最佳的颜色条件以及判断条件,所以可以高精度地进行IC类部件的错位检查。另外,最初提供的训练图像信息越多则颜色条件和判断条件的可靠性越高。
<变形例>
上述实施方式只不过例示了本发明的一个具体例子。本发明的范围不限于上述实施方式,在其技术思想的范围内可以进行各种的变形。
此外,在上述实施方式的颜色条件中,使用两个颜色特征量作为参数,颜色范围由相应的颜色特征量的最大值、最小值规定,在二维平面上为表示矩形的范围,但颜色范围的确定方法不限于此,也可以是在二维平面上表示圆形、多边形、自由曲线图形等的范围。而且,在使用3个或3个以上的参数的情况下也同样,也可以求出各参数的最大值、最小值并将其组合作为颜色范围,还可以是关于两个或两个以上的参数的组合的颜色范围表现(例如,在三维空间内表示球形的范围等)。此外,作为搜索颜色范围的方法,除了在上述实施方式中所述的方法之外,可以使用判别分析、SVM(Support Vector Machine,支持向量机)等公知的方法。
此外,在上述实施方式中,使用了位置以及角度两者作为边缘或引线排列线的特征量,但也可以仅使用任意一方,也可以使用位置、角度以外的特征量。

Claims (24)

1.一种基板检查方法,通过基板检查装置检查安装在基板上的IC类部件的错位,包括以下步骤:
预先存储检查逻辑,该检查逻辑包括规定检查对象部件的部件主体所呈现的颜色的颜色条件、以及判断条件,
以不同的入射角对检查对象部件照射多种颜色的光,
对其反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分的检查图像,
使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的部件主体区域,
通过图像处理确定所述部件主体区域的边缘,
通过对所述边缘的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
2.一种基板检查装置,检查安装在基板上的IC类部件的错位,具有:
存储单元,其存储检查逻辑,该检查逻辑包括规定检查对象部件的部件主体所呈现的颜色的颜色条件,以及判断条件;
投光单元,其以不同的入射角对检查对象部件照射多种颜色的光;
摄像单元,其对上述光的反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分的检查图像;
区域提取单元,其使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的部件主体区域;
边缘确定单元,其通过图像处理确定所述部件主体区域的边缘;以及
判断单元,其通过对所述边缘的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
3.一种基板检查装置的检查逻辑设定方法,生成在权利要求2所述的基板检查装置的基板检查中使用的检查逻辑,包括以下步骤:
根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定部件主体的部分和与部件主体邻接的部分,
对于一个或多个颜色特征量,将部件主体的部分的各像素作为对象点,将与部件主体邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布,
基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围,
把所述一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。
4.如权利要求3所述的基板检查装置的检查逻辑设定方法,其中,
预先确定了所述颜色特征量的类型。
5.如权利要求3所述的基板检查装置的检查逻辑设定方法,还包括以下步骤:
生成多个由一个或多个颜色特征量构成的颜色特征量候选,
分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选,
把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。
6.如权利要求3~5中的任意一项所述的基板检查装置的检查逻辑设定方法,还包括以下步骤:
分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像、和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中,提取满足所述颜色条件的像素区域,
通过图像处理确定各像素区域的边缘,
求出所述边缘的特征量的值的频数分布,
基于所述特征量的值的频数分布,求出将从所述良品图像中提取的像素区域的边缘的特征量的值和从所述次品图像中提取的像素区域的边缘的特征量的值最佳地分离开的特征量的值的范围,
把所述特征量的类型以及值的范围设定为所述判断条件。
7.如权利要求6所述的基板检查装置的检查逻辑设定方法,其中,
所述特征量的类型是所述边缘的位置或/和角度。
8.一种基板检查装置的检查逻辑设定装置,生成在权利要求2所述的基板检查装置的基板检查中使用的检查逻辑,具有:
根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定部件主体的部分和与部件主体邻接的部分的单元;
对于一个或多个颜色特征量,将部件主体的部分的各像素作为对象点,将与部件主体邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布的单元;
基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围的单元;以及
把所述一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件的单元。
9.如权利要求8所述的基板检查装置的检查逻辑设定装置,其中,
预先确定了所述颜色特征量的类型。
10.如权利要求8所述的基板检查装置的检查逻辑设定装置,还具有:
生成多个由一个或多个颜色特征量构成的颜色特征量候选的单元,
分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选的单元,
把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件的单元。
11.如权利要求8~10中的任意一项所述的基板检查装置的检查逻辑设定装置,具有:
分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中提取满足所述颜色条件的像素区域的单元;
通过图像处理确定各像素区域的边缘的单元;
求出所述边缘的特征量的值的频数分布的单元;
基于所述特征量的值的频数分布,求出将从所述良品图像中提取的像素区域的边缘的特征量的值和从所述次品图像中提取的像素区域的边缘的特征量的值最佳地分离开的特征量的值的范围的单元;以及
把所述特征量的类型以及值的范围设定为所述判断条件的单元。
12.如权利要求11所述的基板检查装置的检查逻辑设定装置,其中,
所述特征量的类型是所述边缘的位置或/和角度。
13.一种基板检查方法,通过基板检查装置检查安装在基板上的IC类部件的错位,包括以下步骤:
预先存储检查逻辑,该检查逻辑包括规定排列在检查对象部件的部件主体的边缘上的引线的基端部分所呈现的颜色的颜色条件,以及判断条件,
以不同的入射角对检查对象部件照射多种颜色的光,
对其反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分以及排列在该边缘上的多个引线的检查图像,
使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的多个引线区域,
通过图像处理确定连接所述多个引线区域的直线,
通过对所述直线的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
14.一种基板检查装置,检查安装在基板上的IC类部件的错位,具有:
存储单元,其存储检查逻辑,该检查逻辑包括规定排列在检查对象部件的部件主体的边缘上的引线的基端部分所呈现的颜色的颜色条件,以及判断条件;
投光单元,其以不同的入射角对检查对象部件照射多种颜色的光;
摄像单元,其对上述光的反射光进行拍摄,从而取得包含所述检查对象部件的部件主体的边缘的至少一部分以及排列在该边缘上的多个引线的检查图像;
区域提取单元,其使用所述颜色条件,通过图像处理,从所述检查图像中提取满足所述颜色条件的多个引线区域;
直线确定单元,其通过图像处理确定连接所述多个引线区域的直线;以及
判断单元,其通过对所述直线的特征量的值和所述判断条件进行比较,来判断所述检查对象部件是否为正确的位置和/或角度。
15.一种基板检查装置的检查逻辑设定方法,生成在权利要求14所述的基板检查装置的基板检查中使用的检查逻辑,该方法包括以下步骤:
根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定引线的基端部分和与引线的基端部分邻接的部分,
对于一个或多个颜色特征量,将引线的基端部分的各像素作为对象点,将与引线的基端部分邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布,
基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围,
把所述一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。
16.如权利要求15所述的基板检查装置的检查逻辑设定方法,其中,
预先确定了所述颜色特征量的类型。
17.如权利要求15所述的基板检查装置的检查逻辑设定方法,还包括以下步骤:
生成多个由一个或多个颜色特征量构成的颜色特征量候选,
分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选,
把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件。
18.如权利要求15~17中的任意一项所述的基板检查装置的检查逻辑设定方法,还包括以下步骤:
分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像、和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中,提取满足所述颜色条件的多个像素区域,
通过图像处理确定连接所述多个像素区域的直线,
求出所述直线的特征量的值的频数分布,
基于所述特征量的值的频数分布,求出将连接从所述良品图像中提取的多个像素区域的直线的特征量的值和连接从所述次品图像中提取的多个像素区域的直线的特征量的值最佳地分离开的特征量的值的范围,
把所述特征量的类型以及值的范围设定为所述判断条件。
19.如权利要求18所述的基板检查装置的检查逻辑设定方法,其中,
所述特征量的类型是所述直线的位置或/和角度。
20.一种基板检查装置的检查逻辑设定装置,生成在权利要求14所述的基板检查装置的基板检查中使用的检查逻辑,具有:
根据对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的图像,通过图像处理确定引线的基端部分和与引线的基端部分邻接的部分的单元;
对于一个或多个颜色特征量,将引线的基端部分的各像素作为对象点,将与引线的基端部分邻接的部分的各像素作为排除点,求出所述多个对象点以及排除点各自的颜色特征量的值的频数分布的单元;
基于所述一个或多个颜色特征量的值的频数分布,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围的单元;以及
把所述一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件的单元。
21.如权利要求20所述的基板检查装置的检查逻辑设定装置,其中,
预先确定了所述颜色特征量的类型。
22.如权利要求20所述的基板检查装置的检查逻辑设定装置,还具有:
生成多个由一个或多个颜色特征量构成的颜色特征量候选的单元,
分别对于所述多个颜色特征量候选,求出将所述对象点的颜色特征量的值和所述排除点的颜色特征量的值最佳地分离开的颜色特征量的值的范围以及分离度,通过比较该分离度来选择作为所述颜色条件采用的颜色特征量候选的单元,
把构成所述选择出的颜色特征量候选的一个或多个颜色特征量的类型以及值的范围设定为所述颜色条件的单元。
23.如权利要求20~22中的任意一项所述的基板检查装置的检查逻辑设定装置,具有:
分别从对以正确的位置和/或角度安装的IC类部件进行拍摄而得到的多个良品图像和对产生了错位的IC类部件进行拍摄而得到的多个次品图像中提取满足所述颜色条件的多个像素区域的单元;
通过图像处理确定连接所述多个像素区域的直线的单元;
求出所述直线的特征量的值的频数分布的单元;
基于所述特征量的值的频数分布,求出将连接从所述良品图像中提取的多个像素区域的直线的特征量的值和连接从所述次品图像中提取的多个像素区域的直线的特征量的值最佳地分离开的特征量的值的范围的单元;以及
把所述特征量的类型以及值的范围设定为所述判断条件的单元。
24.如权利要求23所述的基板检查装置的检查逻辑设定装置,其中,
所述特征量的类型是所述直线的位置或/和角度。
CNB2006100083885A 2005-02-21 2006-02-21 基板检查方法和装置、及其检查逻辑设定方法和装置 Active CN100472205C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005044079 2005-02-21
JP2005044079 2005-02-21
JP2006008676 2006-01-17

Publications (2)

Publication Number Publication Date
CN1825100A CN1825100A (zh) 2006-08-30
CN100472205C true CN100472205C (zh) 2009-03-25

Family

ID=36935869

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100083885A Active CN100472205C (zh) 2005-02-21 2006-02-21 基板检查方法和装置、及其检查逻辑设定方法和装置

Country Status (1)

Country Link
CN (1) CN100472205C (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5538792B2 (ja) * 2009-09-24 2014-07-02 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP6521735B2 (ja) * 2015-05-20 2019-05-29 Juki株式会社 検査装置、検査方法及び検査装置で用いられるプログラム
CN104898040B (zh) * 2015-06-19 2018-01-02 上海斐讯数据通信技术有限公司 印刷电路板的自动化测试方法及系统
CN105181706B (zh) * 2015-09-23 2018-02-13 电子科技大学 一种基板上的贴片电阻不良缺陷检测方法
CN108303640B (zh) * 2016-01-25 2020-06-05 深圳睿晟自动化技术有限公司 一种线路检测的方法和装置
CN106289099B (zh) * 2016-07-28 2018-11-20 汕头大学 一种单目视觉系统及基于该系统的三维尺寸快速测量方法
WO2018042590A1 (ja) * 2016-09-01 2018-03-08 富士機械製造株式会社 部品実装装置および位置認識方法
JP7185388B2 (ja) * 2016-11-21 2022-12-07 日東電工株式会社 検査装置及び検査方法
JP6233824B1 (ja) * 2017-04-25 2017-11-22 合同会社ウイングビジョン 画像検査装置、生産システム、画像検査方法、プログラム及び記憶媒体
CN109387517B (zh) * 2017-08-10 2023-08-29 爱科来株式会社 分析装置和分析方法
JP6767432B2 (ja) * 2018-06-11 2020-10-14 ファナック株式会社 縫い目検査装置
JP7197292B2 (ja) * 2018-07-04 2022-12-27 Juki株式会社 電子部品実装装置、及び電子部品実装方法
JP7166189B2 (ja) * 2019-02-15 2022-11-07 東京エレクトロン株式会社 画像生成装置、検査装置及び画像生成方法
CN114026409A (zh) * 2019-06-28 2022-02-08 日本电产株式会社 外观检查装置及外观检查方法
CN110626077B (zh) * 2019-10-25 2020-09-01 成都知识视觉科技有限公司 针打打印机打印自动对准系统
CN111505020A (zh) * 2020-04-22 2020-08-07 Oppo(重庆)智能科技有限公司 电路板的检测方法、检测装置及计算机可读存储介质
CN112597832B (zh) * 2020-12-10 2022-08-16 上海闻泰信息技术有限公司 矩形件安装偏位判定方法和装置

Also Published As

Publication number Publication date
CN1825100A (zh) 2006-08-30

Similar Documents

Publication Publication Date Title
CN100472205C (zh) 基板检查方法和装置、及其检查逻辑设定方法和装置
US7680320B2 (en) Image processing method, substrate inspection method, substrate inspection apparatus and method of generating substrate inspection data
JP4830501B2 (ja) 基板検査方法および装置、並びに、その検査ロジック設定方法および装置
JP4595705B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
CN103091328B (zh) 对检查结果的目视检验操作进行辅助的系统、装置及方法
JP4736764B2 (ja) 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
TW202001699A (zh) 利用人工智慧的瑕疵檢測系統及其方法
TWI590725B (zh) 印刷電路板外觀的檢查裝置及檢查方法
CN1979137A (zh) 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置
CN103328959A (zh) 基板检查装置、基板检查系统以及基板检查结果的确认用画面的显示方法
CN106908443B (zh) 接头检查装置
CN102169156B (zh) 应用EMScan技术对高密度电子电路故障的检测方法
JP3906780B2 (ja) 部品コード変換テーブルに対するデータ登録方法、基板検査データの作成装置、登録処理用のプログラムおよびその記憶媒体
CN100582755C (zh) 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置
JP2005128016A (ja) 検査システムおよび方法
CN100380114C (zh) 用于检验多色和轮廓图像的cam(计算机辅助制造)参考
JP2007033126A (ja) 基板検査装置並びにそのパラメータ調整方法およびパラメータ調整装置
JP4506395B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
EP3104169B1 (en) Quality management system
US8351709B2 (en) Projection height measuring method, projection height measuring apparatus and program
JP4453503B2 (ja) 基板検査装置および基板検査方法並びに基板検査装置の検査ロジック生成装置および検査ロジック生成方法
JP4507785B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2006078285A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP3363103B2 (ja) 外観検査装置
CN116758088B (zh) 一种bga植球的芯片检测方法及植球系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant