CN102781210B - 基准标记模型模板生成方法 - Google Patents

基准标记模型模板生成方法 Download PDF

Info

Publication number
CN102781210B
CN102781210B CN201210143490.1A CN201210143490A CN102781210B CN 102781210 B CN102781210 B CN 102781210B CN 201210143490 A CN201210143490 A CN 201210143490A CN 102781210 B CN102781210 B CN 102781210B
Authority
CN
China
Prior art keywords
reference mark
mark
template
model template
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210143490.1A
Other languages
English (en)
Other versions
CN102781210A (zh
Inventor
江崎弘健
大池博史
小谷也
小谷一也
星川和美
鬼头秀郎
鬼头秀一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Publication of CN102781210A publication Critical patent/CN102781210A/zh
Application granted granted Critical
Publication of CN102781210B publication Critical patent/CN102781210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基准标记模型模板生成方法,其能不出错地生成电路基材的基准标记的模型模板。通过执行基准标记候补提取工序、标记种类判别工序及模板生成工序而进行模型模板的生成,其中,基准标记候补提取工序通过拍摄装置来拍摄电路基材的基准标记形成预定位置周边,并从由此得到的图像中提取是基准标记的像的可能性高的像即基准标记候补,标记种类判别工序判别提取的基准标记候补为多种预定的基准标记中的哪一种,模板生成工序通过该标记种类判别工序的实施来生成判明了种类的基准标记的模型模板。基准标记候补提取工序是利用使用了类Haar特征的层次型AdaBoost检测器来提取基准标记候补的工序,标记种类判别工序是利用神经网络来判别标记种类的工序。

Description

基准标记模型模板生成方法
技术领域
本发明涉及用以对于电路基材进行规定的作业的针对电路基材的作业机满足近年来日益严格的要求的技术,所述针对电路基材的作业机包括在印刷基板等电路基材上安装电子线路零件的电子线路零件安装机、将用于钎焊电子线路零件的膏状焊料印刷在电路基材上的网版印刷机、将用于粘接电子线路零件的粘接剂涂敷在电路基材上的粘接剂涂敷机、进行电子线路的检查的电子线路检查机等。
背景技术
在下述专利文献1中记载有,通过拍摄装置来拍摄设置在电路基材等对象物上的基准标记,将通过该拍摄取得的图像与预先存储于存储单元的多个模型模板进行比较,由此选择与读取的图像对应的模型模板。通过该选择的模型模板与通过拍摄装置从依次搬入的对象物取得的图像的模板匹配,来识别基准标记,从而检测该基准标记的位置。还记载有如下内容:可以取代将模型模板其本身存储于模板存储器,仅存储模型模板的特征数据,根据该特征数据来生成模型模板;在模型模板的尺寸与实际的图像不同时,将调整了模型模板的尺寸后的模型模板作为模型模板使用;以及在没有适合于模板存储器的模型模板时,将通过拍摄装置取得的图像数据登录作为新的选择数据,将这些图像数据作为模型模板使用。
然而,近年来,电子线路的小型化的要求日益增强,该专利文献对于在拍摄装置的画面中存在多个类似于基准标记的形状时的处置并未记载。
另外,随着电子线路小型化的要求增强而电路基材及电子线路零件的小型化不断发展,将电子线路零件适当地安装于电路基材的情况越来越难。相对于此,在下述专利文献2及3中记载有如下内容:利用拍摄装置来拍摄通过吸嘴从零件供给装置吸附并取出电子线路零件的状况、安装于电路基材的状况,并作为动画来保存,在发生了安装错误时起到查明其原因的作用。然而,在动画数据的保存中需要大容量的存储装置,而且,从大量的动画数据选出对弄清安装错误发生的原因起作用的数据也不容易。
而且,在能够弄清安装错误发生的原因且为了防止其发生而变更控制程序时,进行该新控制程序是否适当的试验之后,适用于生产现场的电子线路零件安装机,不过,在电子线路的生产开始之后,新控制程序的问题变得明显,或因新控制程序的采用而以前存在的问题变得明显。一直以来,在该事实变得明显之后再采取对策,因此会对电子线路的生产带来障碍。
【在先技术文献】
【专利文献】
【专利文献1】日本特开2003-317097号公报
【专利文献2】日本特开2008-098411号公报
【专利文献3】日本特开2008-103426号公报
发明内容
本发明以解决针对电路基材的作业机中的上述问题中的至少一个为课题而作出,以下,例示了几个本申请中被认为能够请求专利权的发明(以下,有时称为“可申请发明”。可申请发明包括权利要求所记载的发明即“本申请发明”,但有时也包括本申请发明的下位概念发明或本申请发明的上位概念或其他概念的发明)的方式,对它们进行说明。各方式与申请项同样地,以分项并对各项附加编号且根据需要而引用其它项的编号的形式进行记载。这只不过是为了容易理解可申请发明,并不是将构成可申请发明的结构要素的组合限定为以下的各项所记载的内容。即,可申请发明应参照附随于各项的记载、实施例的记载、现有技术等来解释,只要按照该解释,在各项的方式中还附加了其他的结构要素的方式、以及从各项的方式删除了结构要素的方式也能成为可申请发明的一方式。
【发明方式】
需要说明的是,在以下的各项中,(1)项相当于申请项1,(2)项相当于申请项2,(4)项相当于申请项3,(5)项相当于申请项4,(6)项相当于申请项5,(7)项相当于申请项6,(8)项相当于申请项7,(9)项相当于申请项8。
(1)一种基准标记模型模板生成方法,其特征在于,包括:
拍摄工序,通过拍摄装置来拍摄电路基材的基准标记形成预定位置及该基准标记形成预定位置的周边;
基准标记候补提取工序,从通过实施所述拍摄工序而得到的图像中提取基准标记候补,该基准标记候补是作为基准标记的像的可能性高的像;
标记种类判别工序,判别所提取出的基准标记候补为多种预定的基准标记中的哪一种;及
模板生成工序,生成通过实施所述标记种类判别工序而判明了种类的基准标记的模型模板;
并且,所述基准标记候补提取工序中,利用使用了类Haar(Haar-like)特征的层次型AdaBoost检测器来提取基准标记候补。
(2)根据(1)项所记载的基准标记模型模板生成方法,其中,包括尺寸计测工序,该尺寸计测工序计测通过实施所述标记种类判别工序而判明了种类的像的尺寸,在所述模板生成工序中,生成所计测出的尺寸的模型模板。
(3)根据(1)项或(2)项所记载的基准标记模型模板生成方法,其中,所述基准标记候补提取工序包括如下工序:在通过所述拍摄工序取得的图像即处理图像内设定预定的大小的扫描窗,在对该扫描窗内的像是否为所述基准标记候补的像的判定中,使该扫描窗沿着预定的路径每次移动预定量而进行1次扫描。
(4)根据(3)项所记载的基准标记模型模板生成方法,其中,所述基准标记候补提取工序包括如下工序:将所述扫描窗设定成适于检测出当初被预定为所述基准标记的基准标记中的最小基准标记的大小,每进行所述1次扫描时即把所述扫描窗扩大设定量。
在预定的基准标记的大小为1种时,只要将扫描窗设定成与该1种大小的基准标记的提取相适合的大小即可,但在预定有多种大小的基准标记时,优选将扫描窗的大小改变成多种,对于各大小的扫描窗进行扫描。
(5)根据(1)项至(4)项中任一项所记载的基准标记模型模板生成方法,其中,所述标记种类判别工序包括利用神经网络来判别基准标记候补的种类的工序。
(6)根据(5)项所记载的基准标记模型模板生成方法,其中,作为所述神经网络,使用如下的神经网络,其具备由N单元×M单元构成的输入层、由在所述基准标记的预定种类数加上1而得到的个数的单元构成的输出层及设置在所述输入层与输出层之间的由多个单元构成的中间层,并且,是使用将所述预定的基准标记的像标准化为N像素×M像素的标记用示教数据及将不是基准标记的像标准化为N像素×M像素的非标记用示教数据进行学习而得到的。
(7)根据(1)项至(6)项中任一项所记载的基准标记模型模板生成方法,其中,包括最终模型模板确定工序,该最终模型模板确定工序中,在通过执行所述基准标记候补提取工序、所述标记种类判别工序及所述模板生成工序而针对一个基准标记形成预定位置生成了多个所述模型模板的情况下,将多个所述模型模板中的一个模型模板确定为最终模型模板。
(8)根据(7)项所记载的基准标记模型模板生成方法,其中,
所述最终模型模板确定工序包括:
通知生成多个模型模板的通知工序,在针对一个基准标记形成预定位置生成了多个所述模型模板的情况下,通知应从多个所述模型模板中选择一个模型模板并指定最终模型模板;及
最终模型模板指定输入工序,对应所述通知工序的执行,操作者进行指定最终模型模板的输入。
(9)根据(7)项或(8)项所记载的基准标记模型模板生成方法,其中,所述最终模型模板确定工序包括自动地将所述多个模型模板中的最符合预定条件的模型模板确定为最终模型模板的工序。
上述预定的条件可以设为例如是最接近基准标记的形成预定位置的像、或是与多种预定的基准标记中的某一个的匹配度最高的像。
(10)根据(1)项至(9)项中任一项所记载的基准标记模型模板生成方法,其中,包括模型模板生成失败通知工序,该模型模板生成失败通知工序中,在通过执行所述基准标记候补提取工序、所述标记种类判别工序及所述模板生成工序而针对一个基准标记形成预定位置连一个所述模型模板也未生成的情况下,通知该状况。
本项的情况是由于存在某些不良情况的可能性高因此操作者探求其原因而采取必要的措施所要求的。
(11)一种基准标记模型模板生成装置,其特征在于,包括:
拍摄装置,拍摄电路基材的基准标记形成预定位置及该基准标记形成预定位置的周边;
基准标记候补提取部,从通过该拍摄装置所拍摄到的图像中提取基准标记候补,该基准标记候补是作为基准标记的像的可能性高的像;
标记种类判别部,判别所提取出的基准标记候补为多种预定的基准标记中的哪一种;及
模板生成部,生成通过该标记种类判别部而判明了种类的基准标记的模型模板;
并且,所述基准标记候补提取部包括使用了类Haar特征的层次型AdaBoost检测器。
所述(2)至(10)项分别记载的特征也能够适用于本项的基准标记模型模板生成装置。
(12)一种电子线路零件安装机中的动画数据保存方法,在电子线路零件安装机中,保存通过所述动画拍摄装置拍摄到的动画,该电子线路零件安装机包括:
零件供给装置,供给电子线路零件;
基材保持装置,保持应安装电子线路零件的电路基材;
安装装置,从所述零件供给装置接受电子线路零件而安装在由所述基材保持装置保持的电路基材上;及
动画拍摄装置,拍摄该安装装置从所述零件供给装置接受电子线路零件的零件接受和将电子线路零件安装在所述电路基材上的零件安装中的至少一方的动画;
所述电子线路零件安装机中的动画数据保存方法的特征在于,包括:
暂时保存工序,暂时保存通过所述动画拍摄装置拍摄到的动画的数据即动画数据;及
正规保存工序,在所述零件接受和所述零件安装中的所述至少一方未正常进行的情况下,正规地保存在所述暂时保存工序中保存的动画的数据。
(13)根据(12)项所记载的电子线路零件安装机中的动画数据保存方法,其中,在所述暂时保存工序中将所述动画数据保存在缓存中,在所述零件接受和所述零件安装中的所述至少一方正常进行的情况下删除保存在所述缓存中的动画数据,在所述至少一方未正常进行的情况下,在正规保存工序中将所述动画数据从所述缓存向数据收集存储器转送。
(14)根据(12)项或(13)项所记载的动画数据保存方法,其中,在所述零件接受和所述零件安装的所述至少一方中,对于满足预定的条件的情况执行所述暂时保存工序,对于不满足预定的条件的情况不执行所述暂时保存工序。
上述“预定的条件”可以是例如如下情况等:(a)电子线路零件的种类(包括形状、尺寸、型式的至少一个)被预定;(b)零件保持用具(至少包括吸嘴)的种类(包括尺寸、型式的至少1个)和识别代码中的至少一方被预定;(c)零件供给用具(包括供料器和料盘中的至少一方)的种类(包括尺寸、型式的至少1个)和识别代码中的至少一方被预定。而且,“预定的条件”既可以基于实际上未正常进行零件接受或零件安装这一事实而自动地或由操作者设定,也可以基于通常未正常进行的可能性高这一事实而自动地或由操作者设定。
(15)一种电路基材作业系统的软件更新方法,为了基于从设置在针对电路基材进行作业的针对电路基材的作业系统上的检测装置供给的信息来控制该电路基材作业系统,对在该电路基材作业系统的计算机即实际运转计算机中使用的软件进行更新,其特征在于,
通过来自所述检测装置的信息和更新前的软件即旧软件而使所述实际运转计算机工作,伴随着该工作,基于来自所述检测装置的信息,使试验用计算机执行要更新的软件即新软件,确认了该新软件没有问题之后,将所述旧软件更新为所述新软件。
试验用计算机对新软件的执行既可以与伴随实际运转计算机的工作的针对电路基材的作业系统的工作并行地进行,也可以与针对电路基材的作业系统的工作分别进行。在前者的情况下,在检测装置上并联连接实际运转计算机和试验用计算机,在后者的情况下,将来自检测装置和控制装置的信息暂时存储于存储装置,基于该存储的信息和新软件来使试验用计算机工作。在前者的情况下,具有能够与电路基材作业系统的工作并行地进行新软件的评价的优点,在后者的情况下,具有如下优点:例如可以在针对电路基材的作业系统的停止中,使用实际运转计算机其本身作为试验用计算机进行新软件的评价,因此能够更可靠地避免软件更新后的问题发生。
在软件中包含有控制计算机的程序和在该程序的执行时使用的数据。而且,上述“确认新软件没有问题”既可以由人进行,也可以使用确认用的软件通过试验用计算机自动地进行。在前者的情况下,例如将试验用计算机的工作结果显示在显示装置上,或记录在记录纸上,人基于该显示或记录进行评价。
(16)根据(15)项所记载的电路基材作业系统的软件更新方法,其中,通过所述实际运转计算机的工作结果与所述试验用计算机的工作结果的比较来确认新软件没有问题。
在试验用计算机对新软件的执行与针对电路基材的作业系统的工作分别进行的情况下,只要将实际运转计算机的工作结果存储于存储装置,或保留表示工作结果的硬拷贝即可。
(33)根据(31)项或(32)项所记载的电路基材作业系统的软件更新方法,其中,所述检测装置包括拍摄装置,所述实际运转计算机包括对通过所述拍摄装置拍摄到的图像的数据进行处理的图像处理部,所述旧软件及所述新软件包括由所述图像处理部使用的图像处理软件。
附图说明
图1是可申请的发明的一实施例装置,是表示实施一实施例方法的装置即电路组装系统的外观的主视图。
图2是将罩除去而表示上述电路组装系统的结构要素即网版印刷机的结构的侧视图。
图3是将上述网版印刷机的基准标记拍摄系统取出表示的俯视图。
图4是表示上述网版印刷机中使用的网版的一例的俯视图。
图5是表示通过上述网版印刷机印刷膏状的焊料的印刷基板的一例的俯视图。
图6是将一部分罩除去而表示上述电路组装系统的结构要素即安装模块的结构的立体图。
图7是将上述安装模块中的安装装置取出表示的立体图。
图8是表示上述安装装置的结构要素即安装头的一例的立体图。
图9是表示上述安装装置的结构要素即安装头的另一例的立体图。
图10是将罩除去而表示上述另一例的安装头的立体图。
图11是表示安装头和选择性地搭载在安装模块上的粘接剂涂敷头的立体图。
图12是表示上述粘接剂涂敷头的主要部分的侧视剖视图。
图13是表示所述网版印刷机的控制装置的框图。
图14是表示所述安装模块的控制装置的框图。
图15是表示通过基准标记拍摄装置拍摄得到的处理图像的一例的图。
图16是表示基准标记模型模板生成程序的一例的流程图。
图17是表示在所述电路组装系统中预定使用的基准标记的图。
图18是概念性地表示所述网版印刷机的图像处理计算机的层次型AdaBoost检测器的图,所述层次型AdaBoost检测器由存储所述基准标记模型模板生成程序的部分和执行该程序的部分构成,作为模型模板生成装置的一部分。
图19是表示向上述层次型AdaBoost检测器的扫描窗设定特征的一例的图。
图20是表示在上述层次型AdaBoost检测器中使用的特征的图。
图21是表示在上述层次型AdaBoost检测器的学习中使用的明色标记用示教数据的图。
图22是表示在上述层次型AdaBoost检测器的学习中使用的暗色标记用示教数据的图。
图23是表示在上述层次型AdaBoost检测器的学习中使用的非标记用示教数据的几个例子的图。
图24是概念性地表示所述网版印刷机的图像处理计算机的、通过存储所述基准标记模型模板生成程序的部分和执行该程序的部分所构成的模型模板生成装置的另一部分的标记类型判别器的图。
图25是表示向上述标记类型判别器的输出层的各单元输出的基准标记的种类的图表。
图26是用于说明上述标记类型判别器的学习的图。
图27是用于说明上述标记类型判别器的学习的另一图。
图28是用于说明上述标记类型判别器的学习的又一图。
图29是表示在上述电路组装系统的安装模块上为了研究零件吸附·安装错误的原因而安装有CCD相机的状态的立体图。
图30是表示上述CCD相机的安装及与安装模块的控制装置连接的图像数据收集控制部的框图。
图31是表示在上述图像数据收集控制部的图像数据收集用计算机的ROM中存储的吸附·安装错误图像收集程序的流程图。
图32是表示与上述吸附·安装错误图像收集程序不同的新吸附·安装错误图像收集程序的流程图。
图33是表示用于对上述新吸附·安装错误图像收集程序的妥当性进行试验的试验用计算机与图30的图像数据收集控制部的图像数据收集用计算机并联连接的状态的框图。
【标号说明】
2:基板供给装置4:网版印刷机6:移位输送机8:粘接剂涂敷机10:零件安装生产线12:粘接剂硬化装置14:回焊炉16:安装模块18:基台20:主计算机26:网版28:印刷基板30:框架32:印刷机基板搬运装置34:基板保持装置36:网版保持装置38:涂刷器装置40:标记拍摄系统42:印刷机控制装置46:网版框48:贯通孔50:基准标记52:焊盘54:基准标记60:网版支承台62:定位装置64:固定装置66:涂刷器头68:涂刷器头移动装置70:涂刷器头升降装置72:移动构件74:移动构件移动装置76:涂刷器移动用电动机78:滚珠丝杠80:螺母82:进给丝杠机构84:涂刷器保持构件86:涂刷器90:基准标记拍摄装置92:拍摄装置移动装置96:X轴方向移动装置98:Y轴方向移动装置100:X轴滑动件102:X滑动件移动装置104:Y轴滑动件106:Y轴滑动件移动装置120:模块主体122:安装模块基板搬运装置124:基板保持装置126:零件供给装置128:安装装置130:基准标记拍摄装置132:零件拍摄装置154、156:基板输送机158:带式供料器(供料器)160a、b:安装头162:头移动装置164:X轴方向移动装置166:Y轴方向移动装置170:直线电动机172:Y轴滑动件174:第一X轴滑动件176:第二X轴滑动件178:X轴滑动件移动装置186(186a、186b):吸嘴188(188a、188b):吸嘴支架190:吸附管192:背景形成板196:头主体200:旋转体202:旋转体旋转装置204:升降装置206:支架旋转装置210:粘接剂涂敷头212:注射器214:活塞218:控制装置220:控制装置222:控制计算机240:驱动电路244:图像处理计算机246:显示器248:控制计算机270:驱动电路272:供料器控制计算机280:图像处理计算机300:处理图像302:印制电路304:扫描窗310:识别器320:标记类型判别器322:输入层324:输出层326:中间层350:托架352:CCD相机354:电子线路零件360:图像数据收集控制部362:步骤电动机364:分频器366:缓存368:图像数据收集用计算机380:外部存储器397:缓存400:试验用计算机402:外部存储器
具体实施方式
以下,参照上述各图,说明可申请发明的一实施例。需要说明的是,可申请发明除了下述实施例之外,能够以上述〔发明内容〕所记载的方式为代表,基于本领域技术人员的知识以实施了各种变更的方式来实施。
图1表示电路组装系统(以下简称为组装系统)的一例。该组装系统包括从上游侧开始排列成1列的基板供给装置2、网版印刷机4、移位输送机6、粘接剂涂敷机8、零件安装生产线10、粘接剂硬化装置12及回焊炉14。零件安装生产线10将多台安装模块16彼此接近排列,安装模块16在基台18上各排列多台且以能够将任意1台向前方拉出的方式排列。粘接剂涂敷机8也可以构成作为专用的装置,但在本实施例中,如后述那样,利用安装模块16的一部分(在图示的例子中为1台)构成。上述基板供给装置2、网版印刷机4、移位输送机6、粘接剂涂敷机8、安装模块16、粘接剂硬化装置12、回焊炉14等分别具备以控制计算机为主体的控制装置,但这些控制计算机相互连接,且与主计算机20连接。
如图2所示,网版印刷机4使用网版26在电路基材的一种即印刷基板28上印刷膏状的焊料,包括作为印刷机主体的框架30、印刷机基板搬运装置32、基板保持装置34、网版保持装置36、涂刷器装置38、以及图3所示的标记拍摄系统40和后述的控制装置218(参照图13)。如图4所示,网版26无松弛地粘贴固定于网版框46,并且沿厚度方向贯通而设有多个印刷用的贯通孔48。在网版26上,多个例如两个基准标记50设置在对角线上分隔的两个部位。
如图5简要表示,在印刷基板28形成有多个焊盘52,多个贯通孔48分别形成在网版26的与焊盘52对应的部位,具有与焊盘52对应的形状、尺寸。在印刷基板28上,多个例如两个基准标记54设置在对角线上分隔的与所述基准标记50对应的位置。
印刷机基板搬运装置32例如由输送机的一种即带式输送机构成,将印刷基板28在其两侧缘部以水平的姿态支承,沿着X轴方向且沿着图2中与纸面垂直的方向搬运。基板保持装置34设置在印刷机基板搬运装置32的搬运路径的中途,保持印刷基板28而使其从带式输送机上升。网版保持装置36设置在框架30的基板保持装置34的上方的部分,通过定位装置62将网版26相对于网版支承台60定位,并通过固定装置64固定而保持为水平的姿态。
涂刷器装置38具备作为作业头的一对涂刷器头66、作为作业头移动装置的涂刷器头移动装置68、以及一对涂刷器头升降装置70。涂刷器头移动装置68具备移动构件72及移动构件移动装置74。移动构件移动装置74具备作为驱动源的涂刷器移动用电动机76、包括滚珠丝杠78及螺母80在内的运动转换机构即进给丝杠机构82。一对涂刷器头66分别具备涂刷器保持构件84及涂刷器86,与一对涂刷器头升降装置70一起设置在移动构件72上,通过涂刷器头升降装置70而升降,两个涂刷器86选择性地与网版26接触、分离,并通过涂刷器头移动装置68,在与所述X轴方向垂直的Y轴方向上沿着网版26移动。
标记拍摄系统40如图3所示,包括基准标记拍摄装置90及拍摄装置移动装置92,如图2所示,设置在网版保持装置36与处于下降位置的基板保持装置34之间的部分上。基准标记拍摄装置90通过CCD相机对拍摄对象进行拍摄,与日本特开2007-38456号公报记载的拍摄装置同样构成,能够拍摄分别设置在印刷基板28和网版26上的基准标记50、54。拍摄装置移动装置92包括X轴方向移动装置96及Y轴方向移动装置98。X轴方向移动装置96包括作为可动构件的X轴滑动件100及X轴滑动件移动装置102,Y轴方向移动装置98包括设置在X轴滑动件100上且作为可动构件的Y轴滑动件104及Y轴滑动件移动装置106。基准标记拍摄装置90设置在Y轴滑动件104上,能够向水平面内的任意的位置移动。
多个安装模块16的每一个可以称为电子线路零件安装机,分担且并行地进行电子线路零件向印刷基板28的安装。粘接剂硬化装置12虽然未图示,但具备硬化装置基板搬运装置、加热装置及控制装置,对印刷基板28进行加热,使涂敷的粘接剂硬化而将电子线路零件固定在印刷基板28上,向回焊炉14搬出。回焊炉14对上述膏状焊料进行加热而使其熔融,将电子线路零件钎焊于印刷基板28的所述焊盘52,由此与形成在印刷基板28上的未图示的引线连接。
关于安装模块16,例如,在日本特开2004-104075公报中详细地进行了记载,下面对于与本可申请发明相关的部分以外的部分进行简单说明。
如图6所示,各安装模块16分别具备作为主体框架的模块主体120、安装模块基板搬运装置122、基板保持装置124、零件供给装置126、安装装置128、基准标记拍摄装置130及零件拍摄装置132。
安装模块基板搬运装置122具备两通道的基板输送机154、156,将印刷基板28沿着与多个安装模块16所排列的X轴方向平行的水平方向搬运。基板保持装置124分别对于两个基板输送机154、156设置,分别具备从下方支承印刷基板28的支承构件及分别夹紧印刷基板28的与搬运方向平行的两侧缘部的夹紧构件,将印刷基板28保持成使安装该电子线路零件的安装面成为水平的姿态。
零件供给装置126设置在安装模块基板搬运装置122的一侧即安装模块16的前表面侧。零件供给装置126例如通过作为零件供给用具的零件供料器的一种即带式供料器(以后,简称为供料器)158来供给电子线路零件,包括多个供料器158和安装有这些供料器158的供料器保持装置(未图示)。供料器保持装置具备多个供料器搭载部,在这些供料器搭载部搭载有可拆装的供料器158。零件供给装置也可以作为通过零件供给用具的一种即料盘供给电子线路零件的装置。
安装装置128具备安装头160和使该安装头160移动的头移动装置162。如图7所示,头移动装置162具备X轴方向移动装置164及Y轴方向移动装置166。Y轴方向移动装置166具备跨零件供给装置126的零件供给部和基板保持装置124而设置在模块主体120上的直线电动机170,使作为可动构件的Y轴滑动件172向Y轴方向的任意的位置移动。X轴方向移动装置164设置在Y轴滑动件172上,相对于Y轴滑动件172沿X轴方向相对移动,并且具备彼此能够沿X轴方向相对移动的第一、第二X轴滑动件174、176和使这些滑动件174、176分别沿X轴方向移动的X轴滑动件移动装置178(在图7中仅图示了使第一X轴滑动件174移动的移动装置)。两个X轴滑动件移动装置分别包括例如作为驱动源的电动旋转电动机的一种即伺服电动机、和包括滚珠丝杠及螺母在内的进给丝杠机构,使X轴滑动件174、176向X轴方向的任意的位置移动。
安装头160以拆装自如的方式搭载于第二X轴滑动件176,通过头移动装置162,可向作为跨零件供给装置126的零件供给部和基板保持装置124的移动区域的、安装作业区域内的任意的位置移动。安装头160通过零件保持用具的一种即吸嘴186(186a、186b)来保持电子线路零件,保持吸嘴186,准备使构成保持用具保持部的吸嘴支架的个数不同的多种安装头160a、160b,根据安装有电子线路零件的印刷基板28的种类而选择性地安装于第二X轴滑动件176。例如,图8所示的安装头160a具备一个吸嘴支架188a,保持有一个吸嘴186a,图9所示的安装头160b具备多个吸嘴支架188b,例如具备3个以上(在图示的例子中为12个),吸嘴186b最多可被保持12个。
在安装头160a中,吸嘴支架188a虽然未图示,不过,以能够沿着轴线方向即铅直方向移动且能够绕自身的轴线旋转的方式设置于头主体,通过设置于头主体的移动装置即升降装置及旋转装置而能升降及旋转。如图10所示,安装头160b是旋转型头,具备:以能够绕铅直的旋转轴线旋转的方式设置于头主体196的旋转体200;使旋转体200向正反两方向旋转任意的角度的旋转体旋转装置202。在以旋转体200的旋转轴线为中心的一圆周上隔开适当的间隔,在图示的安装头160b上隔开等角度的12个位置上,分别以能够沿着与旋转体200的旋转轴线平行的方向相对移动且能够绕自身的轴线旋转的方式设有吸嘴支架188b,分别在从旋转体200突出的突出端部(安装头160安装于第二X轴滑动件176的状态下为下端部)处可拆装地保持有吸嘴186b。
12个吸嘴支架188b通过旋转体200的旋转,而绕旋转体200的旋转轴线回旋,向12个停止位置的1个即零件吸附安装位置依次移动,通过设置在头主体196的与零件吸附安装位置对应的位置上的移动装置即升降装置204而升降。吸嘴支架188b还通过设置于头主体196的支架旋转装置206,绕自身的轴线旋转。需要说明的是,如图7所示,所述基准标记拍摄装置130搭载于第二X轴滑动件176,通过头移动装置162而与安装头160一起移动。
如以上那样构成的安装模块16中,安装头160在第二X轴滑动件176上可拆装,能够更换为任意的安装头160,不过,还可以更换为图11、12所示的粘接剂涂敷头210。如图12所示,粘接剂涂敷头210具备注射器212。在注射器212内以气密且可滑动的方式嵌合有活塞214,通过向注射器212内供给压缩空气而使活塞214下降,粘接剂通过喷出管216每次喷出规定量,涂敷于印刷基板28。粘接剂涂敷头210具备未图示的使注射器212沿着其轴线方向移动的移动装置,即,使注射器212升降的升降装置,使注射器212与电路基板接近、分离。安装模块16取代安装有安装头160而安装有粘接剂涂敷头210,由此成为粘接剂涂敷模块。该粘接剂涂敷模块为所述粘接剂涂敷机8。
根据以上的说明可知,印刷机基板搬运装置32由1通道的基板输送机构成,相对于此,安装模块基板搬运装置122由2通道的基板输送机154、156构成。因此,在两基板搬运装置32、122之间设有所述移位输送机6。移位输送机6包括未图示的可动输送机和可动输送机移位装置,该可动输送机是可动的带式输送机,该可动输送机移位装置使该可动输送机沿Y轴方向移动,且选择性地将其定位在与作为印刷机基板搬运装置32的1通道的基板输送机相连的位置和与安装模块基板搬运装置122的2通道的基板输送机154、156的每一个选择性地相连的位置。
网版印刷机4、粘接剂涂敷机8、安装模块16、粘接剂硬化装置12、回焊炉14等分别具备以控制计算机为主体的控制装置,以与本发明关联较深的网版印刷机4的控制装置218和安装模块16的控制装置220为代表进行说明。
如图13所示,构成上述控制装置218的主体的控制计算机222包括CPU224、ROM226、RAM228、I/O口230及将它们连接的总线232,在I/O口230上经由各驱动电路240连接有所述印刷机基板搬运装置32、基板保持装置34、定位装置62、固定装置64、涂刷器头移动装置68、涂刷器头升降装置70等(严格来说是它们的驱动源即各促动器)。在I/O口230上还连接有所述主计算机20及所述基准标记拍摄装置90。基准标记拍摄装置90还与图像处理计算机244连接,该图像处理计算机244也与I/O口230连接。而且,在I/O口230上还连接有控制计算机222或作为图像处理计算机244的显示装置发挥功能的显示器246。
如图14所示,构成所述安装模块16的控制装置220的主体的控制计算机248包括CPU250、ROM252、RAM254、I/O口256及将它们连接的总线260,在I/O口256上经由各驱动电路270,而连接有以所述直线电动机170为代表的所述X轴滑动件移动装置178、旋转体旋转装置202、升降装置204、支架旋转装置206、安装模块基板搬运装置122及移位输送机6等(严格来说是它们的驱动源即各促动器)。在I/O口256上还连接有在所述主计算机20、所述供料器158上分别设置的供料器控制计算机272、所述基准标记拍摄装置130及零件拍摄装置132。基准标记拍摄装置130及零件拍摄装置132还与图像处理计算机280连接,该图像处理计算机280也与I/O口256连接。图像处理计算机280具备CPU282、ROM284、RAM286、I/O口288及总线290。
在所述ROM226中存储有用于控制网版印刷机4的控制程序,在RAM228中存储有各种控制数据,CPU224使用该控制数据来控制网版印刷机4。通过该控制,利用印刷机基板搬运装置32将印刷基板28向网版印刷机4内的预定的位置搬入,由基板保持装置34保持。保持的印刷基板28的基准标记54和网版26的基准标记50通过基准标记拍摄装置90来拍摄,基于其拍摄结果而取得印刷基板28与网版26的相对位置误差,该相对位置误差通过定位装置62和固定装置64的控制来消除,而且通过基板保持装置34的上升而使印刷基板28与网版26接触,涂刷器头66沿着网版26移动而进行印刷。
另一方面,在所述控制计算机248的ROM252中存储有用于控制所述安装模块16的控制程序,在RAM254中存储有从主计算机20供给的序列表,CPU250按照该序列表,利用RAM254并执行上述控制程序,由此来控制安装模块16。通过该控制,利用基板输送机154、156中的任一者将印刷基板28向安装模块16内的预定的位置搬入,由基板保持装置124保持。保持的印刷基板28的基准标记54通过基准标记拍摄装置130来拍摄,基于其拍摄结果而取得基板保持装置124中的印刷基板28的保持位置误差。另一方面,安装装置128的安装头160向零件供给装置126的规定的供料器158的零件供给部移动,通过规定的吸嘴186取出规定的电子线路零件,在该电子线路零件向基板保持装置124的上方移动的中途,通过零件拍摄装置132来拍摄,由此取得基于吸嘴186的电子线路零件的保持位置误差。并且,为了将所述印刷基板28的保持位置误差和电子线路零件的保持位置误差消除而进行安装头160的旋转轴线位置和旋转位置的校正,然后,向印刷基板28的规定的位置安装电子线路零件。
本实施例在以上的控制中,在基于基准标记拍摄装置90、130的基准标记50、54的检测上具有重要的特征,以下,详细说明该特征。需要说明的是,基准标记50的检测与基准标记54的检测实质上相同,因此以基准标记54的检测为代表进行说明。
基准标记54的检测在所述网版印刷机4、作为所述粘接剂涂敷机8发挥功能的安装模块16及构成零件安装生产线10的安装模块16中进行,不过,这些检测实质上相同,因此省略说明,以下,以网版印刷机4中的基准标记54的检测为代表进行说明。
基准标记54的检测通过利用基准标记拍摄装置90取得的基准标记54的像与预先存储在RAM252中的模型模板的模板匹配来进行。以往,该模型模板的生成在脱机时由操作者进行,不过,在本实施例中,基于通过基准标记拍摄装置90进行拍摄所得到的基准标记54的像的数据,自动地生成模型模板。
以下,关于该模型模板的生成进行说明。该生成能够在控制计算机222、248、图像处理计算机280、主计算机20或与它们连接的个人计算机等中进行,不过,在本实施例中,在网版印刷机4的图像处理计算机244中进行。基准标记拍摄装置90的拍摄数据向图像处理计算机244传送,基于由此产生的图像处理结果,进行模型模板的生成。
若基准标记54设置成从印刷基板28的焊盘52、引线等印制电路或贯通孔充分隔开而孤立的状态,则该基准标记54的检测变得容易。然而,近年来,印刷基板28的小型化的要求进一步增强,而且大多需要允许基板保持装置34对印刷基板28的保持位置存在某种程度的误差,并且增大基准标记拍摄装置90的拍摄面,因此拍摄的图像内存在基准标记54以外的物体的情况变多。因此,在将印刷基板28向网版印刷机4内搬入且由基板保持装置34保持之后,为了生成模型模板,基于所述控制数据中的基准标记54的坐标数据,基准标记拍摄装置90向应与基准标记54正对的位置移动而进行拍摄时,如图15例示那样,在取得的图像(显示在网版印刷机4的显示器246上。以下称为处理图像292)中印制电路302的一部分等基准标记54以外的物体的像与基准标记54的像一起存在。在本实施例中,即使在这种状况下,通过由图16的流程图表示且存储在图像处理计算机244的ROM294中的模型生成程序的、基于CPU295的利用了RAM296的执行,自动地提取或检测基准标记54,基于该检测结果而生成模型模板。
首先,在S1中,如图15所示那样设定扫描窗304。扫描窗304最初在处理图像292的预定的位置(图示的例子中为左上角)上以设定量大于预定的基准标记54中的最小的基准标记这样的大小来设定。然后,在S2中,研究是否进行基准标记候补的提取,即,研究扫描窗304内是否存在像基准标记那样的标记,在提取到的情况下,在S3中进行标记类型的判别。关于所述基准标记候补的提取和标记类型的判别,在后面详细说明。
需要说明的是,作为印刷基板28的基准标记54可以使用各种标记,在此,预定使用图17所示的圆形、四边形、菱形、倒正三角形、正三角形、双正方形左上、双正方形右上及十字形这8种形状的基准标记54。需要说明的是,上述8种形状的基准标记54分别包括在暗色背景中存在的明色标记和在明色背景中存在的暗色标记,预定使用总计16种基准标记,预先登录,将这些被预定使用的基准标记54称为标准标记。
接着基准标记类型的判别之后,在S4中,判定基准标记候补是否为图17所示的标准标记的任一种,若为标准标记,则在S5中,进行与各标记类型对应的图17所示的尺寸的计测。在S6中判定该尺寸计测是否成功,当成功时,在S7中存储标记类型和尺寸,之后,执行S8以后的步骤。相对于此,S2、S4及S6的判定结果为否时(大部分是该情况),绕过S3、S5、S7而执行S8以后的步骤。
在S8中,判定扫描窗304的位置的更新是否结束,即,扫描窗304是否被更新至处理图像292的最后的位置,若判定结果为否,则在S9中将扫描窗304的位置沿着图15中箭头所示的路径变更规定量(例如,向右变更1个像素的量、或向下且向左端变更1条线的量)。若判定结果为是,则在S10中,判定扫描窗304的大小是否达到预定的最大值,若判定结果为否,则在S11中将扫描窗304扩大规定量(在本实施例中为1.1倍),并且向初始位置复位。在S9或S11的执行之后,程序的执行向S2返回。
在上述S10的判定时,若扫描窗304增大至预定的最大的大小,则在S12中,判定是否提取到基准标记候补,若提取到,则在S13中判定提取的基准标记候补是否为多个,若为多个,则在S14中,选择多个基准标记候补中的1个作为基准标记54。该选择既可以由操作者进行,也可以自动进行。在前者的情况下,例如,多个基准标记候补与应选择某一个的内容的指令一起显示在显示器246上,只要按照该指令由操作者选择即可。在后者的情况下,例如在多个基准标记候补中,选择最接近预定位置的基准标记候补(本实施例中为最接近处理图像292的中央的基准标记候补)、形状最不紊乱的基准标记候补等满足预定的条件的基准标记候补作为基准标记54即可。
在S12的判定时未提取到基准标记候补,而判定结果为否时,在S15中向显示器246进行该内容的通知,对应于此在S16中由操作者进行必要的处置。S12的判定结果为否的情况是尽管基准标记拍摄装置90向能拍摄基准标记54的位置移动进行了拍摄也未拍摄到任何一个像基准标记那样的标记的情况,这种情况是预定外的情况,因此由操作者来研究其原因,例如,由基板保持装置34保持的印刷基板28与预定的印刷基板不同、控制数据中的基准标记54的坐标与实际的基准标记54的位置不一致、基准标记拍摄装置90或拍摄装置移动装置92发生故障这些事实的存在,为了消除预定外的情况而采取必要的处置。
此外,说明在所述S2中进行的基准标记候补的提取的详细情况。该提取在本实施例中,使用作为相机等中的“脸检测”的技术而周知的“使用了类Haar(Haar-like)特征的层次型AdaBoost检测器”来进行。层次型AdaBoost检测器如图18所示,将识别器310串联连接多级而成,所述识别器310分别判定所述扫描窗304内的图像是类似基准标记图像(以下,简称为标记图像)的图像还是不类似标记图像的图像(以下,简称为非标记图像),并使标记图像通过,使非标记图像不通过。若使各级识别器310形成为标记图像的通过率为Dr(0<Dr<1)而非标记图像的通过率为Fp(0<Fp<1)的识别器,则第n级识别器310的标记图像、非标记图像的通过率分别为(Dr)n、(Fp)n。因此,例如若将标记图像的通过率Dr设定成充分接近1.0的值且将非标记图像的通过率Fp设定成比较小的值(例如0.5),则能得到使标记图像的大部分通过而使非标记图像的大部分不通过的层次型AdaBoost检测器。
上述识别器310分别是使用了类Haar特征的识别器。类Haar特征是以固有的图案具有白区域和黑区域的矩形的区域,如图19例示那样,在扫描窗304内以固有的图案、位置及大小设定,其特征量f由(1)式表示。
【数学式1】
f = &omega; w &CenterDot; &Sigma; i &Element; R w I ( i ) - &omega; b &CenterDot; &Sigma; j &Element; R b I ( j ) . . . ( 1 )
在此,I(i)、I(j)分别是属于白区域Rw及黑区域Rb的像素的灰度值,ωw、ωb分别是用于以白区域Rw和黑区域Rb的面积恰好相等的方式对各区域的合计值进行加权的系数。
若上述特征量f为阈值以上则函数值为1、若小于阈值则函数值为0的函数被称为弱假说。函数值1表示扫描窗304内的像为标记图像候补,函数值0表示扫描窗304内的像不是标记图像候补。
特征的图案通常选定多个,但在本实施例中,选定了图20所示的(a)~(h)这8种特征。而且,如上所述,在本实施例中,将各8种白色标记和黑色标记预定作为标准标记,在各级识别器310中,若存在扫描窗304内的像是这些总计16种标准标记的任一种的可能性,则判定为是标记候补图像,若不存在是任一个标记的可能性,则判定为是非标记图像。1个特征(图案、大小及扫描窗304内的位置的组合)与阈值这1组对应于1个弱假说,在本实施例中,层次型AdaBoost检测器的各级分别包括多个弱假说,这些多个弱假说的函数值为1的情况多于为0的情况时,在各级中判定为扫描窗304内的图像为标记图像候补。而且,层次型AdaBoost检测器的各级的弱假说的个数越靠上游侧的级越小,将不是标记候补的扫描窗304的图像迅速地排除。
上述层次型AdaBoost检测器为了能适当地提取标记图像候补,而需要使识别器310的级数和各级的弱假说适当,为此,在本实施例中,使用图21所示的8种明色标记用示教数据、图22所示的8种暗色标记用示教数据、图23所例示的非标记用示教数据,通过实验,决定各级的(a)特征的图案、大小及扫描窗304内的位置与(b)阈值的组、和级数。具体而言,在N×N(N为自然数,标准标记越大,越优选大的数)像素的大小的区域内,改变大小和位置并设定各图案的特征,对于各示教用数据进行标记、非标记的判定,寻找将非标记图像判定为标记图像的比例成为第一设定%以下且将标记图像误判定为非标记图像的比例成为比其更小的第二设定%以下的弱假说,所述弱假说的各数的组合产生的判定结果的误判定率分别成为应充分满足的值以下的识别器分别作为暂定的识别器。并且,反复进行多次由所述暂定的识别器构成的暂定层次型AdaBoost检测器进行的检测实验、及在该实验中向误判定的图像的示教数据的追加,实现了检测率和鲁棒性的提高。
需要说明的是,在特征量f的运算中,利用(2)式表示的积分图像,将运算结果存储在计算机的存储区域,反复利用,从而实现了运算所需时间的缩短。
【数学式2】
ii ( x , y ) = &Sigma; x &prime; &le; x , y &prime; &le; y i ( x &prime; , y &prime; ) . . . ( 2 )
另外,作为上述示教数据,使用通过基准标记拍摄装置130拍摄实际的印刷基板28的一部分得到的图像,此时,当基准标记54的大小为多种而不同时,使用标准化为与上述区域相同的N×N像素的大小的图像。
接着,说明所述基准标记候补的类型的判别。该类型判别通过利用了神经网络的标记类型判别器进行,但神经网络自身为公知的技术,因此简化说明。
如图24所示,本实施例的标记类型判别器320是在输入层322与输出层324之间具备中间层326的3层次型神经网络,输入层322通过所述标记图像的提取处理来提取(切出),由标准化为N×N像素的图像所对应的N×N单元构成,输出层324由图25所示的所述16种标准标记加上一种非标准标记之后的17种所对应的17单元构成,中间层326使用了2Q(Q优选为5以上的自然数)个单元。
使上述结构的标记类型判别器320通过多个明色标记示教数据和暗色标记示教数据来学习。作为具体的学习方法,如图26所示,反复学习P次相同的示教数据之后,学习下一个示教数据,每次学习时随机更换进行学习的示教数据的顺序。而且,在学习各个示教数据时,如图27所示,使图像平行移动±Δx、±Δy,或旋转±Δθ,而加入了误差。此外,如图28所示,也同时学习使原图像水平反转、垂直反转及水平·垂直反转后的图像。
对通过上述学习而得到的暂定的标记类型判别器280通过多个测试数据进行了判别实验。在该判别实验中,将Sigmoid函数的斜率U0和中间层的个数2Q改变成多个种类,从学习曲线的收敛情况及平均错误率这双方的观点出发,选定适当的种类。
从以上的说明可知,本实施例的标记类型判别器320结果是具备N×N单元的输入层322、2Q(Q为5以上的自然数)单元的中间层326、以及17单元的输出层324,且Sigmoid函数的斜率为U0的标记类型判别器。该标记类型判别器320并非完全没有错误,不过在通过目视进行确认时,发生了错误的图像仅是即使由人判断也可能会发生错误的图像,可确认足够用于实用。
通过以上说明的基准标记模型模板生成程序的执行而得到的模型模板的数据存储在网版印刷机4的图像处理计算机244自身的RAM252中,并且经由主计算机20或直接向粘接剂涂敷机8及各安装模块16的控制计算机248供给,而存储在这些图像处理计算机280的RAM286中。并且,向粘接剂涂敷机8或各安装模块16搬入印刷基板28,由基板保持装置124保持之后,在所述印刷基板28的保持位置误差的检测中使用。
以上的处理对于最初向网版印刷机4搬入的印刷基板28进行之后,在网版印刷机4的图像处理计算机244中,通过使用了上述生成的模型模板的模板匹配处理的执行,来取得基准标记54的相对于基准标记拍摄装置90的相对位置。
另外,网版26的基准标记50的相对于基准标记拍摄装置90的相对位置也同样地取得。此时,若使基准标记50与基准标记54共通,则也能够将基准标记54的模型模板作为基准标记50的模型模板而利用,但在两基准标记50、54不同时,需要与基准标记54的情况同样地生成基准标记50的模型模板,使用该模型模板而取得基准标记50的相对于基准标记拍摄装置90的相对位置。
无论如何,基于基准标记50、54的相对于基准标记拍摄装置90的相对位置的数据,都能够取得基准标记50、54的相对位置偏移,该相对位置偏移通过定位装置62及固定装置64的控制来消除,然后,使印刷基板28与网版26接触,进行第一次的印刷。在本实施例中,基准标记50、54的模型模板的生成使用应形成为产品的印刷基板28来进行。
但是,这并未不可或缺,也能够在使用模型模板生成专用的印刷基板28而进行了模型模板的生成之后,将应形成为实际的产品的印刷基板28搬入网版印刷机4,进行第一次的位置检测。由于网版印刷机4不具有模型模板的生成功能等理由,在使粘接剂涂敷机8或安装模块16的图像处理计算机280进行模型模板的生成时,该方法特别有效。不过,当印刷机基板搬运装置32、移位输送机6及安装模块基板搬运装置122等能够向反方向搬运印刷基板28时,也能够在使粘接剂涂敷机8或安装模块16的图像处理计算机280进行了模型模板的生成之后,使在该模型模板的生成中使用的印刷基板28向网版印刷机4返回,作为生产用的印刷基板28来使用。
进而言之,在上述实施例中,根据各级包含的多个弱假说的识别结果的多数决定少数,而决定各级识别器310的结论,但这并未不可或缺。例如,也能够在多个弱假说的结论全部为1时,将扫描窗304内的图像决定为标记图像候补。而且,在多个弱假说的各个识别结果上乘以信用度的评价值,通过它们的合计值与阈值的比较,决定各级的结论。
在本实施例的组装系统中,使用如上述那样生成的模型模板,在上述网版印刷机4、粘接剂涂敷机8及安装模块16等中,检测印刷基板28、网版26的基准标记54、50的位置,基于这些基准标记的位置来检测印刷基板28或网版26的距预定位置的位置偏移,消除该位置偏移并进行印刷、粘接剂涂敷及电子线路零件的安装等电子线路生产作业。在网版印刷机4中,解除固定装置64对网版框46的固定之后,通过网版定位装置62进行移动,消除由该网版框46保持的网版26的相对于印刷基板28的相对位置误差,在粘接剂涂敷机8及安装模块16中,通过头移动装置162的控制使粘接剂涂敷头210、安装头160向消除印刷基板28的定位误差的位置移动。
上述电子线路生产作业即印刷、粘接剂涂敷及电子线路零件安装等作业有时未如预定那样进行(简称为发生作业不良),或虽然如预定那样进行但期望进一步提高作业精度或作业效率(简称为改善性能)。为了应对这些情况,在本组装系统中加入了针对作业执行状况的监控及软件的更新的思路。以下,关于该点进行说明。
首先,关于作业状况的监控,以零件安装生产线10为例进行说明。
在构成零件安装生产线10的安装模块16中发生作为作业错误的一种的零件安装错误而需要追究其原因时,如图29所示,在头主体196上安装由托架350保持的CCD相机352。CCD相机352每隔一定微小时间即进行1次拍摄,取得通过这多次的拍摄得到的多个静止图像的集合(可以称为动画)的图像数据,监控吸嘴支架188b对电子线路零件354的、来自供料器158的吸附错误及向印刷基板28的安装错误。大多数情况下,发生零件安装错误的是小型的电子线路零件,因此这里对吸嘴支架188b引起的零件安装错误进行说明,不过,若需要监控具备一个吸嘴186a的吸嘴支架188a产生的零件安装错误,则这种情况下也能够同样地进行监控。
需要说明的是,CCD相机352也能够始终安装于头主体196,监控零件安装作业的状况。然而,在本实施例中,为了避免对于头移动装置162的惯性负载增大的情况,通常将其取下,而根据需要来安装。而且,基于CCD相机352的拍摄虽然也可以在安装模块16的工作中连续进行,不过,在本实施例中,仅在特别容易得到追究零件安装错误发生的原因的有效信息的、从吸嘴支架188b的下降开始到上升结束的期间进行。
即,伴随着CCD相机352的安装,如图30所示,而在所述控制装置220上连接图像数据收集控制部360。图像数据收集控制部360具备将从驱动电路270供给的脉冲信号向所述升降装置204的驱动源即步进电动机362分频的分频器364,每当从该分频器364输出1脉冲时,即每当吸嘴支架188b下降或上升微小量时,使CCD相机352进行1次拍摄,将通过该拍摄取得的图像数据存储在缓存366中。
为此,图像数据收集控制部360具备上述分频器364及缓存366以及图像数据收集用计算机368。图像数据收集用计算机368包括CPU372、ROM374、RAM376及I/O口378,在ROM374中存储有由图31的流程图表示的吸附·安装错误图像数据收集程序,通过CPU372利用RAM376来执行。
首先,在S21(表示步骤21,不过为了简化而仅由S21来表示。其他步骤也同样)中,在进行了将计数值N设定为0等初始设定之后,在S22中,取得在从控制计算机248发送后接着执行的吸附或安装有关的数据,即,若在吸附时,则取得供料器158及吸嘴186的识别代码(不是表示种类的代码,而是各个供料器或吸嘴固有的代码)和表示电子线路零件的种类的数据,若在安装时,则取得吸嘴186的识别代码和表示电子线路零件的种类的数据,存储在RAM376中。然后,反复执行S23而等待从分频器364输出分频脉冲。分频脉冲每当吸嘴支架188b下降或上升微小量时从分频器364输出,对应于此,S23的判定为是,在S24中向CCD相机352输出拍摄指令,并且将计数值N增加1。然后,反复执行S25,等待T1时间的经过,在此期间进行基于CCD相机352的拍摄。接着在S26中,将通过CCD相机352取得的图像数据即1个图像的量的图像数据与计数值N及在S22中取得的吸附或安装有关的数据建立对应而存储于缓存366。在S27中,判定计数值N是否达到设定值N2,不过,当初判定结果为否,程序的执行返回S23。通过反复以上的执行,将以微小时间间隔表示吸附或安装的状况的多个图像的数据收集在缓存366中。
不久,S27的判定结果成为是,在S28中,进行计数值N为N1时的图像数据与成为N2时的图像数据的比较。关于计数值N1和计数值N2,在通过CCD相机352取得的图像中,下降中的吸嘴186与上升中的吸嘴186彼此处于相同位置,并且若在该吸嘴186吸附有电子线路零件354,则选定为与应包含该电子线路零件354的整体的像的时期对应的计数值。因此,在进行电子线路零件354的吸附时,在与计数值N1对应的图像中包含有未吸附电子线路零件354的吸嘴186的像,在与计数值N2对应的图像中应包含吸附有电子线路零件354的吸嘴186的像,并且这两个图像中的吸嘴186的像相同。而且,在进行电子线路零件354的安装时,在与计数值N1对应的图像中包含有吸附电子线路零件354的吸嘴186的像,在与计数值N2对应的图像中应包含未吸附电子线路零件354的吸嘴186的像,并且这两个图像中的吸嘴186的像相同。
因此,若对上述两个图像的数据进行2值化,并求出相互对应的像素彼此的2值化数据之差的总和的绝对值,则在进行电子线路零件354的吸附或安装时,上述总和的绝对值超过设定值,在未进行时,应成为设定值以下。基于该事实,在S28中,进行与计数值N1对应的图像和与计数值N2对应的图像的比较,即,取得两图像的相互对应的像素彼此的2值化数据之差。并且,在S29中,进行上述图像数据是否相互一致的判定,即,进行上述差的绝对值是否为预先设定为比较小的值的阈值以下的判定。进行是否未进行吸附或安装的简易判定,若判定结果为是,则在S30中,将存储于缓存366的图像数据向作为数据收集存储器的外部存储器380转送。在该转送时,在S22中取得的吸附安装关联数据一起传送。需要说明的是,上述“外部存储器380”是指在图像数据收集控制部360的外部设置的大存储容量的存储装置。
相对于此,在S29的判定结果为否时,在S31中,判定吸嘴186对电子线路零件354的吸附姿态是否正常。S29中的简易判定为是否未进行吸附或安装的简易判定,不是判定至吸嘴186对电子线路零件354的吸附姿态是否正常为止,因此基于零件拍摄装置132的拍摄结果,在图像处理计算机280中进行的“吸嘴186对电子线路零件354的吸附姿态是否正常”的判定结果向控制计算机248询问,在电子线路零件354的吸附姿态正常而S31的判定结果为是时,首先在S32中清空缓存366,将暂时存储于此的图像数据消去。然而,在吸嘴186对电子线路零件354的吸附姿态不正常时,不能说是正常进行了吸附,执行S30而将缓存366的图像数据向外部存储器380转送。
如此,在本实施例中,取得吸嘴186对电子线路零件354的吸附及安装的状况作为每微小时间的静止图像的集合(该集合可以称为动画),暂时蓄积于缓存366之后,仅将未正常进行吸附或安装时的图像数据自动地蓄积在外部存储器380。因此,外部存储器380的存储容量可以比较小,而且仅蓄积对查明原因起作用的图像数据,因此具有容易查明原因的优点。而且,在蓄积于外部存储器380的图像数据中,若是吸附时的图像数据,则供料器158及吸嘴186的识别代码与表示电子线路零件的种类的数据被建立了对应,若是安装时的图像数据,则吸嘴186的识别代码与表示电子线路零件的种类的数据被建立了对应,因此原因的查明更加容易。
在本实施例中,在S28中进行的图像处理简易,在吸嘴186对电子线路零件354的吸附姿态是否正常的判定中利用基于图像处理计算机280的图像处理结果。因此,在需要从缓存366向外部存储器380进行图像数据的转送时,提前开始转送,而缓存366的清空在确认到电子线路零件354的吸附姿态正常之后进行,因此具有能够可靠地避免将必要的图像数据清空的优点。
然而,也可以基于通过CCD相机352取得的图像数据,进行至吸嘴186对电子线路零件354的吸附姿态是否正常的判定为止,这种情况下,既可以设置专用的图像处理计算机,也可以向图像处理计算机280供给图像数据进行处理。
需要说明的是,在上述实施例中,拍摄全部的电子线路零件的吸附及安装的状况,不过,在S22中,也可以在取得了与吸附或安装相关的供料器158及吸嘴186的识别代码及表示电子线路零件的种类的数据之后,在S23的执行之前,在图31中由双点划线所示的S22a中,将这些数据作为应预先拍摄的数据,判定是否与RAM376存储的指定数据一致,在与指定数据不一致时,不执行S23以后的步骤而结束1次的吸附·安装错误图像数据收集程序的执行。如此,能够仅在条件与实际发生吸附或安装的错误相同时,或根据过去的实际情况而判定为吸附或安装的错误容易发生时,进行动画数据的收集。
接下来,说明关于软件的更新的思路。该思路能够在组装系统中使用的所有软件的更新时利用,不过,在此,作为一例,说明在上述吸附·安装错误图像数据收集程序中,将是否应将蓄积于缓存366的图像数据向外部存储器380转送的判定的部分变更为利用了与图像处理计算机280的图像处理相同的图像处理的判定的情况。
图像处理计算机280中的图像处理主要目的是取得吸嘴186对电子线路零件354的保持位置误差,在此,在日本特开平8-180191所记载的方法中,取得由吸嘴186保持的电子线路零件354的保持位置误差。根据该方法,是否由吸嘴186保持电子线路零件354自不必说,也能够判定电子线路零件354的保持是否以正常的姿态进行。
在需要更新吸附·安装错误图像数据收集程序时,首先,如图33所示,在所述图像数据收集控制部360的分频器364上,与所述图像数据收集用计算机368并联地连接包含CPU392、ROM394、RAM396、缓存397及I/O口398在内的试验用计算机400。在该试验用计算机400的I/O口398上连接有外部存储器402,并且还连接有所述控制用计算机248的I/O口256。并且,在ROM394中存储有更新程序,即,存储有将图31所示的流程图的S28以后的步骤变更为图32所示的步骤的新吸附·安装错误图像数据收集程序。
以下,仅说明变更部分。若S27的判定结果为是,则在S41中,判定当前执行的吸嘴186的下降动作是否为用于吸附电子线路零件354的动作。该判定基于在S22中取得的与吸附或安装相关的数据来进行。若S41的判定结果为是,则在S42中,与计数值N2建立对应而进行基于存储在缓存存储器397中的图像数据的图像处理,基于该处理结果,在S43中,判定电子线路零件354是否以正常的姿态由吸嘴186保持,若判定结果为是,则在S44中将缓存397清空。另一方面,若判定结果为否,则在S45中,将蓄积在缓存397中的图像数据与在S22中取得的吸附相关的数据建立对应而向外部存储器402转送。
如上述那样,在吸附时,仅在吸嘴186的上升中研究电子线路零件354的保持状态而在吸嘴186的下降中不研究,是因为在安装模块16中,在吸嘴186保持有电子线路零件354的状态下保证不进入吸附动作。然而,在不能保证时,或暂时未保证,为了慎重起见,也可以在吸嘴186的下降中研究是否未保持电子线路零件354。
另一方面,在S41的判定结果为否时,即,在电子线路零件354的安装时,在S46中,与计数值N1建立对应而进行基于存储在缓存存储器397中的图像数据的图像处理,基于该处理结果,在S47中,判定电子线路零件354是否以正常的姿态由吸嘴186保持。该判定在S43中已经进行了1次,因此也可以省略,不过,在吸嘴186的移动中,不一定电子线路零件354不落下,为了慎重起见,进行上述判定。在S47的判定结果为否时,执行S45,将存储在缓存存储器397中的图像数据向外部存储器402转送。
相对于此,若S47的判定结果为是,则在S48中,与计数值N2建立对应而进行基于存储在缓存存储器397中的图像数据的图像处理,基于该处理结果,在S48中判定电子线路零件354是否未由吸嘴186保持。并且,若判定结果为是,将电子线路零件354作为安装于印刷基板28的电子线路零件,执行S44,将缓存397清空。另一方面,若判定结果为否,则将电子线路零件354带回,在S45中,将蓄积在缓存397中的图像数据与在S22中取得的安装相关的数据建立对应而向外部存储器402转送。
因此,在与图像数据收集用计算机368并联地连接有试验用计算机400的状态下,在包含安装模块16的组装系统中进行通常的组装作业,若比较此时的安装模块16所连接的图像数据收集用计算机368与试验用计算机400的工作,则能够试验新吸附·安装错误图像数据收集程序是否按照预定进行工作。尤其是在本实施例中,通过对分别存储在外部存储器380和外部存储器402中的图像数据进行比较,而能够简单地评价新吸附·安装错误图像数据收集程序是否按预定发挥功能。例如,若试验的目的是增加吸附·安装错误图像数据收集的可靠性,则能够确认到因程序的变更而未发生新的问题的而情况和可靠性按预定增加的情况。
在本实施例中,该确认由人进行,不过,也可以将外部存储器380和外部存储器402与存储有进行图像数据的比较的比较程序的计算机连接,通过执行比较程序,而能够自动地进行上述的确认。
需要说明的是,本实施例进行不是用于直接控制安装模块16的工作的新吸附·安装错误图像数据收集程序的试验,不过,也可以试验用于直接控制安装模块16的工作的新控制程序的妥当性。这种情况下,不将新控制程序存储在安装模块16的控制计算机248的ROM252中,而存储在与控制计算机248并联连接的试验用计算机的ROM中,使控制计算机248按照更新前的控制程序工作而控制安装模块16。将伴随该控制而从试验用计算机发出的控制指令存储在外部存储器中,然后,确认该控制指令的妥当性。此时,虽然并非不可或缺,但是若从按照更新前的控制程序而工作的控制计算机248发出的控制指令也存储在外部存储器中,则新控制程序的妥当性的确认更加容易,也能够自动化。
以上,详细地说明了本发明的一实施例,但这只不过是字面上的例示,本发明以前述〔发明内容〕各项所记载的方式为代表,基于本领域技术人员的知识而能够以实施了各种变更的方式来实施。

Claims (8)

1.一种基准标记模型模板生成方法,其特征在于,包括:
拍摄工序,通过拍摄装置来拍摄电路基材的基准标记形成预定位置及该基准标记形成预定位置的周边;
基准标记候补提取工序,从通过实施所述拍摄工序而得到的图像中提取基准标记候补,该基准标记候补是作为基准标记的像的可能性高的像;
标记种类判别工序,判别所提取出的基准标记候补为多种预定的基准标记中的哪一种;及
模板生成工序,生成通过实施所述标记种类判别工序而判明了种类的基准标记的模型模板;
并且,所述基准标记候补提取工序中,利用使用了类Haar特征的层次型AdaBoost检测器来提取基准标记候补,
包括尺寸计测工序,该尺寸计测工序计测通过实施所述标记种类判别工序而判明了种类的像的尺寸,
在所述模板生成工序中,生成所计测出的尺寸的模型模板。
2.根据权利要求1所述的基准标记模型模板生成方法,其中,
所述基准标记候补提取工序包括如下工序:
在通过所述拍摄工序取得的图像即处理图像内设定扫描窗,该扫描窗的大小适于检测出被预定为所述基准标记的基准标记中的最小基准标记,
在对该扫描窗内的像是否为所述基准标记候补的像的判定中,使该扫描窗沿着预定的路径每次移动预定量而进行1次扫描,每进行所述1次扫描时即把所述扫描窗扩大设定量而进行多次扫描。
3.根据权利要求1或2所述的基准标记模型模板生成方法,其中,
所述标记种类判别工序包括利用神经网络来判别基准标记候补的种类的工序。
4.根据权利要求3所述的基准标记模型模板生成方法,其中,
作为所述神经网络,使用如下的神经网络,其具备由N单元×M单元构成的输入层、由在所述基准标记的预定种类数加上1而得到的个数的单元构成的输出层及设置在所述输入层与所述输出层之间的由多个单元构成的中间层,并且,是使用将所述预定的基准标记的像标准化为N像素×M像素的标记用示教数据及将不是基准标记的像标准化为N像素×M像素的非标记用示教数据进行学习而得到的。
5.根据权利要求1或2所述的基准标记模型模板生成方法,其中,
包括最终模型模板确定工序,该最终模型模板确定工序中,在通过执行所述基准标记候补提取工序、所述标记种类判别工序及所述模板生成工序而针对一个基准标记形成预定位置生成了多个所述模型模板的情况下,将多个所述模型模板中的一个模型模板确定为最终模型模板。
6.根据权利要求5所述的基准标记模型模板生成方法,其中,
所述最终模型模板确定工序包括:
通知生成多个模型模板的通知工序,在针对一个基准标记形成预定位置生成了多个所述模型模板的情况下,通知应从多个所述模型模板中选择一个模型模板并指定最终模型模板;及
最终模型模板指定输入工序,对应所述通知工序的执行,操作者进行指定最终模型模板的输入。
7.根据权利要求5所述的基准标记模型模板生成方法,其中,
所述最终模型模板确定工序包括自动地将所述多个模型模板中的最符合预定条件的模型模板确定为最终模型模板的工序。
8.根据权利要求6所述的基准标记模型模板生成方法,其中,
所述最终模型模板确定工序包括自动地将所述多个模型模板中的最符合预定条件的模型模板确定为最终模型模板的工序。
CN201210143490.1A 2011-05-09 2012-05-09 基准标记模型模板生成方法 Active CN102781210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-104472 2011-05-09
JP2011104472A JP5798371B2 (ja) 2011-05-09 2011-05-09 基準マークモデルテンプレート作成方法

Publications (2)

Publication Number Publication Date
CN102781210A CN102781210A (zh) 2012-11-14
CN102781210B true CN102781210B (zh) 2016-10-05

Family

ID=47125905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210143490.1A Active CN102781210B (zh) 2011-05-09 2012-05-09 基准标记模型模板生成方法

Country Status (2)

Country Link
JP (1) JP5798371B2 (zh)
CN (1) CN102781210B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014076755A1 (ja) * 2012-11-13 2014-05-22 富士機械製造株式会社 基板生産状況監視装置
CN108029243B (zh) * 2015-07-06 2020-04-03 株式会社富士 安装装置、拍摄处理方法及拍摄单元
JP6765791B2 (ja) * 2015-08-25 2020-10-07 キヤノン株式会社 パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体
US10380457B2 (en) 2015-11-09 2019-08-13 Fuji Corporation Lead tip position image recognition method and lead tip position image recognition system
CN105353721A (zh) * 2015-11-10 2016-02-24 中国科学院合肥物质科学研究院 一种全自动led贴片机控制系统
CN110771277B (zh) * 2017-06-21 2021-06-01 株式会社富士 对基板作业装置
CN108536658B (zh) * 2018-03-06 2024-01-23 杭州优工品科技有限公司 用于自定义的标签数据生成方法及装置
CN108617164B (zh) * 2018-04-16 2019-08-20 上海望友信息科技有限公司 光学基准点的挑选方法、系统、可读存储介质及电子设备
JP6771674B1 (ja) * 2019-01-09 2020-10-21 三菱電機株式会社 制御装置および制御方法
EP3977835A4 (en) * 2019-05-28 2022-06-15 Fuji Corporation METHOD FOR ASSIGNING CENTERING MARKS, DEVICE FOR ASSIGNING CENTERING MARKS, ASSEMBLY METHOD AND ASSEMBLY SYSTEM
JP7442134B2 (ja) 2020-04-07 2024-03-04 パナソニックIpマネジメント株式会社 部品実装方法及び部品実装システム
CN111707678B (zh) * 2020-07-24 2024-01-26 深圳芯通互联科技有限公司 一种pcb系统检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344928A (zh) * 2007-07-12 2009-01-14 佳能株式会社 用于确定图像区域和对图像进行分类的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134019A (ja) * 1993-11-10 1995-05-23 Kobe Steel Ltd X線半田付け検査における検査位置の特定方法
JP3974445B2 (ja) * 2002-04-19 2007-09-12 Juki株式会社 マーク認識方法および装置
JP2008165496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 画像正規化装置、対象物検出装置、対象物検出システム及びプログラム
JP2010282536A (ja) * 2009-06-08 2010-12-16 Juki Corp 画像処理方法及び画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344928A (zh) * 2007-07-12 2009-01-14 佳能株式会社 用于确定图像区域和对图像进行分类的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于神经网络的基板图像识别软件设计与实现;王福亮等;《机床与液压》;20041231(第10期);第117页至第119页、附图1-7 *

Also Published As

Publication number Publication date
JP2012234488A (ja) 2012-11-29
CN102781210A (zh) 2012-11-14
JP5798371B2 (ja) 2015-10-21

Similar Documents

Publication Publication Date Title
CN102781210B (zh) 基准标记模型模板生成方法
CN101318399B (zh) 丝网印刷装置
JP6037463B2 (ja) インクジェット記録装置及びイジェクタの異常検出方法
CN103221223B (zh) 具有点对齐视觉系统的喷墨打印机
US6754551B1 (en) Jet print apparatus and method for printed circuit board manufacturing
CN104136917B (zh) 用于印刷印刷电路板的喷墨系统
CN101166416B (zh) 安装不良的原因确定方法以及安装基板制造装置
CN107817774A (zh) 一种印制电路板智能制造工艺
CN103917374A (zh) 热转印打印机
CN102371757A (zh) 印刷控制装置、印刷装置以及印刷装置的印刷控制方法
CN102729664B (zh) 不良记录元件检测装置及方法、图像形成装置及方法
CN105629909B (zh) 自动化检测方法
CN104044359A (zh) 大片材纸上图像配准
CN102529319A (zh) 附着材料涂敷装置
CN107443879A (zh) 印刷装置、焊料管理系统以及焊料管理方法
CN105774237B (zh) 旋转对位装置、具有该装置的喷墨打印机以及打印方法
CN107101598A (zh) 一种压电陶瓷银片同心度质量自动检测方法和装置
CN115009794B (zh) 全自动板材传输生产线及其生产控制系统
CN114771107B (zh) 一种智能制造生产线用可识别喷码位置的喷码机系统
CN107155094A (zh) 采用多个摄像机的图像检验方法
CN109080262A (zh) 图像处理装置、印刷装置以及程序
CN108016149A (zh) 印刷装置以及印刷装置的调整方法
CN104999791B (zh) 一种基于视觉的电路板印刷与检测装置
CN103722869B (zh) 丝网印刷装置、丝网印刷不良原因的解析装置及解析方法
CN116061583A (zh) Oled喷墨打印数据处理与控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Aichi Japan vertical city

Patentee after: Fuji Corporation

Address before: Aichi Japan vertical city

Patentee before: Fuji Machinery Manufacturing Co., Ltd.

CP01 Change in the name or title of a patent holder