CN112369135A - 图像处理方法及元件安装机 - Google Patents

Abstract

是容易观察一次拍摄了多个元件的图像的图像处理方法，具有：拍摄处理，将与安装于安装头的多个吸嘴相关的各元件保持状态拍摄为一个图像；图像分割处理，对于通过上述拍摄处理而得到的多个上述元件保持状态的图像数据，分割与预定的元件保持状态相关的区域；方向变换处理，对于通过上述图像分割处理而分割出的分割图像数据，变换上述元件保持状态的方向；及显示处理，显示基于进行了上述方向变换处理后的上述分割图像数据的图像。

Description

图像处理方法及元件安装机

技术领域

本发明涉及与吸附保持于旋转头的多个吸嘴的多个元件相关的图像处理方法及执行该图像处理的元件安装机。

背景技术

在元件安装机中，构成为具备吸嘴的安装头在机内移动，吸附保持从元件供给装置供给的元件，进行元件对于由输送装置输送来的基板的安装。下述专利文献1的元件安装机使用了使在圆周方向上配置的多个吸嘴旋转的旋转头作为安装头。并且，在该旋转头中构成有用于拍摄吸嘴的前端部的侧面相机和利用多个反射镜使多个部位的图像成像于拍摄元件的光学系统。由此，在该第一以往例中，通过同时拍摄多个部位的图像，而作业者能够从监视器一次确认多个状况。

另外，在下述专利文献2中，关于向印刷基板安装元件的安装生产系统，关于各工序的处理记载了使用图像的检查方法。在该检查方法中，例如在按照印刷工序、安装工序及回流焊工序的顺序输送基板的情况下，每当通过各工序时基板由检查装置的相机拍摄，能够进行各工序后的状态检查。此时，验证用图像数据的倍率或方向有时不同，显示于监视器的检查图像的大小和方向会变得零乱。于是，在该第二以往例中，通过验证用图像数据的放大和缩小处理或方向变换处理来对齐检查图像。

现有技术文献

专利文献1：日本特开2017-220544号公报

专利文献2：日本特开2004-361145号公报

发明内容

发明所要解决的课题

在上述第一以往例的元件安装机中，一次显示同时拍摄到的多个吸嘴的图像。此时，由于经由多个反射镜而拍摄，所以关于一部分吸嘴，有时将翻转的图像显示于监视器。另外，在元件安装机中，通过零件相机一次拍摄保持于旋转头的多个元件，进行各元件的状况确认等，但在监视器中会显示各自的方向不同的元件的图像。在这样的同一物体在监视器中以不同的方向显示的情况下，无法凭借如上述第二以往例那样使各图像数据的方向一致的方法来应对。

于是，本发明为了解决上述课题，目的在于提供容易观察一次拍摄了多个元件的图像的图像处理方法及元件安装机。

用于解决课题的手段

本发明的一方案中的图像处理方法具有：拍摄处理，将与安装于安装头的多个吸嘴相关的各元件保持状态拍摄为一个图像；图像分割处理，对于通过上述拍摄处理而得到的多个上述元件保持状态的图像数据，分割与预定的元件保持状态相关的区域；方向变换处理，对于通过上述图像分割处理而分割出的分割图像数据，变换上述元件保持状态的方向；及显示处理，显示基于进行了上述方向变换处理后的上述分割图像数据的图像。

本发明的其他方案中的元件安装机具有：基板输送装置，向机内输送基板；元件供给装置，供给向上述基板安装的元件；元件安装装置，使具备多个吸嘴的安装头在机内移动，利用上述吸嘴进行元件对于上述基板的安装；拍摄装置，将与安装于上述安装头的多个吸嘴相关的各元件保持状态拍摄为一个图像；图像数据处理装置，对通过上述拍摄装置而得到的图像数据针对每个上述吸嘴的元件保持状态图像进行分割，生成对于分割出的各分割图像数据变换了上述元件保持状态的方向的变换图像数据；及显示装置，显示基于由上述图像数据处理装置生成的变换图像数据的图像。

发明效果

根据上述结构，对于拍摄了与多个吸嘴相关的各元件保持状态的一个图像，针对每个吸嘴的元件保持状态以预定的区域进行分割，对于各分割图像数据变换方向，由此成为元件的方向一致的容易观察的图像。

附图说明

图1是示出了元件安装机的一实施方式的外观立体图。

图2是将安装头的一部分简化地示出的从旋转轴方向下侧观察的图。

图3是概念性地示出搭载于安装头的光学系统的图。

图4是简易地示出元件安装机的控制系统的框图。

图5是示出由侧面相机拍摄到的吸嘴的元件保持状态的显示画面的图。

图6是示出由零件相机拍摄到的吸嘴的元件保持状态的显示画面的图。

图7是示出将由零件相机拍摄到的吸嘴的元件保持状态针对每个元件分割后的图像的图。

具体实施方式

接着，参照附图来说明本发明的图像处理方法及元件安装机的一实施方式。图1是透视一部分而示出的元件安装机的外观立体图。本实施方式的元件安装机1是对输送的基板安装元件的所谓的安装机。在元件安装机1在宽度方向侧面形成有较大的开口部，使得能够在相邻的元件安装机之间进行基板的输送，通过与丝网印刷机或其他元件安装机等并列而构成基板制造线。在图1中示出了在基体9上并列搭载有两台元件安装机1的状态。另外，将输送基板的方向即机身宽度方向设为X轴方向，将与其正交的机身前后方向设为Y轴方向，并且将高度方向设为Z轴方向来进行说明。

元件安装机1由用于输送基板的基板输送装置2、供给元件的元件供给装置3、将从该元件供给装置3取出后的元件向基板安装的元件安装装置4等构成。基板输送装置2并列设置有对应于基板的尺寸的相同结构的带式输送机即输送部201、202，基板的输送和元件对于基板的安装作业在两处进行。输送部201、202分别设有夹持机构，能够在机内对输送来的基板进行定位。

元件供给装置3搭载有保持有元件的带式供料器18。在元件安装机1上在主体罩5的前方部分形成有开口部，在此处设置设备台19，多个带式供料器18分别以可拆装的状态安装。接着，元件安装装置4是从带式供料器18取出元件并将其向基板安装的作业装置，成为具备吸嘴21的安装头6(参照图2)能够在水平的XY平面上移动的结构。

在主体罩5的顶棚侧沿着机身的前后方向平行地固定有两个Y轴轨道11，Y轴滑动件12以滑动自如的方式组装于该Y轴轨道11。在Y轴滑动件12上固定有螺母部件13，构成连结于Y轴伺服电动机14的螺纹轴15贯通并螺合螺母部件13的滚珠丝杠机构。另外，在Y轴滑动件12上固定有X轴轨道，搭载于X轴滑动件的安装头6以能够沿着X轴方向滑动自如的方式组装。在该X轴滑动件构成了将X轴伺服电动机的旋转变换为直行运动的滚珠丝杠机构。

在机内移动的安装头6的移动范围中设有零件相机17。在本实施方式中，设于供给元件的元件供给装置3与输送保持基板的基板输送装置2之间。零件相机17从下方拍摄保持于安装头6的元件，能够根据其图像数据来检测元件的破损和保持的元件的保持位置和姿势。安装头6搭载有多个吸嘴21，零件相机17能够一次拍摄吸附保持于此处的全部元件。

图2是将安装头6的一部分简化的图，从旋转轴方向的下侧示出。另外，图3是概念性地示出搭载于该安装头6的光学系统的图。安装头6具有连结于旋转电动机的吸嘴座16，在其圆周方向上以相等间隔安装有多个吸嘴21。该安装头6构成为，通过吸嘴座16旋转的旋转分度，而两个吸嘴21分别配置于作为元件取出位置的P1位置和P2位置，通过将升降用电动机的旋转变换为铅垂方向的直行运动的升降机构而上下移动。

在这样的安装头6中，通过伴随于吸嘴21的升降动作的抽真空而吸附保持元件，另外，通过赋予正压而进行元件对于基板的安装。元件安装机1设有用于关于执行作业的吸嘴21确认吸嘴前端部处的元件的吸附保持状态或安装后的非保持状态等(集中称作“元件保持状态”)的拍摄装置。其一是上述零件相机17，对吸附保持于在上方通过的安装头6的多个元件进行拍摄。

除此以外，在安装头6还设有具备用于从侧面拍摄吸嘴的前端部的侧面相机23和利用多个反射镜使多个部位的图像成像于拍摄元件的光学系统25的拍摄装置。图2及图3表现了与该安装头6的侧面相机23相关的光学系统25。在安装头6中，每当吸嘴座16旋转一定角度时，吸嘴21依次向P1位置或P2位置进行旋转分度。在侧面相机23中，对位于P1位置及P2位置的前后的各两个吸嘴21(21a、21b、21c、21d)进行拍摄。

即，在该拍摄装置中，能够一次拍摄即将在P1位置或P2位置处吸附保持元件之前的吸嘴21a、21c和刚刚吸附保持元件之后的吸嘴21b、21d的吸嘴前端部。于是，光学系统25构成为，如4条线所示，在处于四个部位的吸嘴21(21a、21b、21c、21d)处反射后的光与箭头所示的方向相反地入射，由侧面相机23的拍摄元件接受。

该光学系统25在从侧面相机23开始观察的情况下，通过板状反射镜28从上下方向向横向改变光路，通过三角柱的块状反射镜29向P1侧和P2侧分支。在分离后的两侧，以相同的方式向板状反射镜31、32及接在之后的板状反射镜33、34反射而改变方向，进一步由三角柱的块状反射镜35、36在P1侧和P2侧分别向两个方向分支。并且，在各板反射镜37、38、39、40处反射而光到达吸嘴21a、21b、21c、21d。

接着，图4是示出了元件安装机1的控制系统的框图。在控制装置10中，微处理器(CPU)41、ROM42、RAM43、非易失性存储器44经由总线而连接。CPU41对控制装置整体进行总括控制，在ROM42中保存有CPU41执行的系统程序和控制参数等，在RAM43中保存暂时性的计算数据和图像数据等。非易失性存储器44存储CPU41进行的处理所需的信息，保存有元件安装机1的顺序程序等。

非易失性存储器44除此以外还保存有用于对基板进行基于安装头6的预定的作业的生产作业(生产程序)和用于显示与吸嘴21相关的元件保持状态的图像处理程序等。本实施方式的图像处理程序将由零件相机17、侧面相机23拍摄到的与吸嘴21相关的元件保持状态的图像数据通过预定的图像处理方法进行处理并显示于监视器。

元件安装机1在机身前部设有具备触摸面板式的监视器或按钮式的输入部的操作显示装置7，操作显示装置7连接于控制装置10。另外，作为进行元件安装机1的系统整体的管理的管理装置，具备监视器的通用的计算机50连接于控制装置10。计算机50除了将由控制装置10处理后的图像显示于监视器之外，还可以取得与吸嘴21相关的元件保持状态的图像数据，为了自己进行图像处理而保存有图像处理程序。因此，以下说明的监视器上的显示对应于操作显示装置7及计算机50中的任一个。

接着，对元件安装机1的作用进行说明。在元件安装机1中，通过按照程序的驱动控制，安装头6在XY平面上移动，通过吸嘴21对从元件供给装置3供给来的元件进行吸附保持。此时，在安装头6中，通过吸嘴座16旋转的旋转分度，多个吸嘴21依次向P1位置或P2位置移动，在各位置处吸嘴21下降并且被进行抽真空，吸附保持由带式供料器18输送来的元件。在安装头6上如图2所示那样搭载有20个吸嘴21，通过全部的吸嘴21进行元件的吸附保持。

然后，安装头6从元件供给装置3向基板输送装置2移动，对输送来的基板进行元件的安装。在这样的一系列的动作中，在由元件供给装置3进行元件的取出中，通过侧面相机23拍摄与吸嘴21相关的元件保持状态。并且，在从元件供给装置3为了安装元件而向基板输送装置2移动的中途，通过零件相机17拍摄与吸嘴21相关的元件保持状态。

在图像处理程序中，在由作业者从操作显示装置7或计算机50选择了确认模式的情况下，由侧面相机23或零件相机17拍摄到的元件保持状态的图像显示于监视器。这是因为，虽然也可以设为在通常的生产过程中显示，但一般来说，在生成了生产程序时的测试运行或生产开始时的初品检查等中使用。于是，首先对由侧面相机23拍摄到的图像的图像处理进行说明。图5是示出了由侧面相机23拍摄到的吸嘴21的元件保持状态的显示画面的图。

在安装头6中，在P1位置及P2位置处由吸嘴21依次吸附保持元件80。并且，配合该吸附动作地通过侧面相机23拍摄位于前后的各两个吸嘴21a、21b及吸嘴21c、21d。在侧面相机23中，作为被摄体的4个吸嘴21的前端部分的图像、也就是元件保持状态的图像通过图3所示的光学系统25而作为一个图像被拍摄，如图5所示那样同时显示于一个监视器60。尤其是，在本实施方式中，通过图像处理程序对附图上侧的通常模式实施图像处理，而附图下侧的变换模式的图像显示于监视器60。

在侧面相机23的光学系统25中，像会通过反射镜而翻转。因此，即使例如P1侧的图像如通常模式图像那样上下翻转，到目前为止也在监视器60显示原样的图像。但是，观察通常模式的图像的作业者根据上下翻转的图像61A、61B一边想象一边确认吸嘴21的本来的状态，因此有可能会导致看错或确认失误。于是，在本实施方式的图像处理程序中，进行将元件保持状态的方向变换成作业者想象的吸嘴本来的方向的方向变换处理。

首先，分割由侧面相机23拍摄到的图像数据中的需要方向变换的区域，通过像素值的变换，生成变换模式图像所示的使上下翻转后的图像。在侧面相机23的情况下，图像61A、61B的区域是变换的对象，也预先知道使该图像翻转180°。于是，基于由侧面相机23拍摄到的图像数据，分割出图像61A、61B的区域，通过像素值的变换，生成变换模式图像所示的使上下翻转后的图像61Ax、61Bx。将变换后的图像61Ax、61Bx置换为图像61A、61B，与图像61C、61D一起作为一个变换模式图像而显示于监视器60。

在该变换模式图像中，吸嘴21a、21b、21c、21d的前端全部被统一成朝下，因此作业者能够直观地理解各吸附元件保持状态。另外，显示于监视器60的变换模式图像也可以除了如图5所示那样使吸嘴21a、21b、21c、21d的元件保持状态作为一个图像而显示于监视器60之外，还可以对于不需要方向变换的区域的图像61C、61D也进行分割，而使各吸嘴21的元件保持状态的图像61Ax、61Bx、61C、61D逐个画面地显示于监视器60。

接着，对由零件相机17拍摄到的图像的图像处理进行说明。图6是示出了由零件相机17拍摄到的吸嘴21的元件保持状态的显示画面的图，尤其示出了显示于监视器60的元件80的状态。另外，图7是示出了将由零件相机17拍摄到的吸嘴21的元件保持状态针对每个元件80分割后的图像的图。

吸附保持有元件80的安装头6在向基板安装前通过零件相机17的上方。此时，拍摄保持于吸嘴21的元件80，通过该图像数据来进行元件判定和位置偏差判定。由零件相机17拍摄到的多个元件80如图6所示那样显示于监视器60。但是，作为旋转头的安装头6由于吸嘴21旋转，所以如图6的通常模式所示，元件80的方向会变得零乱。于是，在本实施方式的图像处理程序中，进行使全部元件80的方向一致的方向变换处理。

分割由零件相机17拍摄到的图像数据中的需要方向变换的区域，进一步通过像素值的变换而元件80全部被变更为横向，生成变换模式所示的图像。在通过零件相机17进行了拍摄时，能够根据与各吸嘴21相关的中心位置信息来确定图像内的元件80的位置，此外也能够根据与各吸嘴21相关的回旋角度信息来确定吸附保持的元件80的方向(角度)。于是，基于由零件相机17拍摄到的图像数据，对于全部的元件80进行图6的通常模式的画面上所示的图像63A、63B、63C、63D…的区域的分割。

并且，分割后的图像63A等分别通过像素值的变换而以使全部元件80相对于画面成为横向的方式进行预定的角度旋转，生成使变换后的图像63Ax、63Bx、63Cx、63Dx…成为了一个图像的变换模式图像，并且，以与变换前相同的方式，在监视器60上显示多个元件80在圆周上排列的元件保持状态的图像。由此，在图6所示的变换模式图像中，是针对每个吸嘴21而方向不同的元件80全部被统一成相同的横向的图像，作业者能够直观地理解各吸附元件保持状态。

另外，由零件相机17拍摄到的图像数据有时作为其他显示形态而如图7所示那样与位置偏差信息一起显示。到目前为止，如作为通常模式所示，将拍摄到的状态的图像直接针对每个吸嘴21的区域而分割并显示。但是，元件80的方向会因旋转的吸嘴21而变得零乱，因此难以与元件80的图像对应地理解偏差量的数值。

在此，以吸嘴21的中心为基准，算出吸附保持的元件80的中心位置在图1所示的元件安装机1的X轴方向、Y轴方向及旋转方向上以何种程度产生了误差，并显示其数值。但是，当显示的元件80的图像以朝向各种各样的方向的状态显示时，作业者难以一致地理解数值所意味的方向的偏差量和显示于监视器60的元件80的图像。

于是，在本实施方式的图像处理程序中，进行使全部的元件80的方向一致的方向变换处理。首先，图7所示的通常模式与图6的情况相同地，基于各吸嘴21的信息，对于全部的元件80的各区域进行图像65A、65B、65C、65D…的分割。并且，以通过像素值的变换而元件80成为纵向的方式，对于各分割图像生成旋转了预定的角度的图像65Ax、65Bx、65Cx、65Dx…。然后，图像处理后的图像65Ax、65Bx、65Cx、65Dx…作为依次排列的变换模式图像而显示于监视器60。

由此，在图7所示的变换模式图像中，作为针对每个吸嘴21而方向不同的元件80全部将长度方向统一成Y轴方向的图像而显示，因此作业者能够直观地理解Y轴及X轴方向上的偏差量和旋转方向上的偏差量。尤其是，该方向变换对应于安装元件80的方向即元件安装机1的前后方向即Y轴方向而成为了纵向。因此，作业者容易感觉元件80向基板安装时的偏差量。

然而，在上述实施方式中，虽然以元件80全部相同的方式表现，但安装头6所处理的元件并不只是相同的种类，也可以是不同种类的元件80包含于一个图像的情况。在图6及图7中，分别在变换模式图像中，将全部的元件80的长度方向统一成X轴方向或Y轴方向而显示，但也可以是，通过作业者对操作显示装置7、计算机50进行操作而向控制装置进行指示，能够选择元件80的方向的统一方法。例如，对于各种元件80以在生成用于判断中心的位置偏差或回旋角度的偏差的元件形状数据时设为了基准的方向显示。在该情况下，在一个变换模式图像内，有时根据元件80的种类而分别包括长度方向成为X轴方向的图像、成为Y轴方向的图像。另外，除此以外，也可以通过在元件供给装置3中供给的各种元件80的方向来显示。

虽然对图像处理后的变换模式图像不区分操作显示装置7及计算机50而显示于各监视器60的情况进行了说明，但也可以主要由计算机50显示。此时，图5所示的由侧面相机23拍摄到的通常模式等的分割图像数据保存于控制装置10的RAM43，向计算机50直接发送。并且，在计算机50中，基于通常模式的图像数据而如上述那样生成变换模式的图像，并使其显示于其监视器60。在该情况下，在想要在元件安装机1的操作显示装置7中观察变换模式的图像的情况下，也可以将由计算机50生成的变换模式的图像向控制装置10发送并使其显示。

以上，对本发明的一实施方式进行了说明，但本发明不限定于此，能够在不脱离其主旨的范围内进行各种变更。

例如，在图6的例子中，对于全部的元件80进行了图像63A、63B、63C、63D…的区域的分割，但对于已经以横向显示的元件80的区域也可以不分割图像。在图7的例子中也相同。

另外，例如，在上述实施方式中，作为搭载有多个吸嘴21的安装头6，以旋转头为例进行了说明，但也可以是其他类型的安装头，另外，还可以是设于安装头6的由侧面相机23和光学系统25构成的拍摄装置也不同的结构的安装头。

附图标记说明

1…元件安装机 2…基板输送装置 3…元件供给装置 4…元件安装装置 6…安装头 7…操作显示装置 10…控制装置 16…吸嘴座 17…零件相机 21(21a、21b、21c、21d…)吸嘴 23…侧面相机 25…光学系统 50…计算机 60…监视器。

Claims (10)

1.一种图像处理方法，具有：

拍摄处理，将与安装于安装头的多个吸嘴相关的各元件保持状态作为一个图像进行拍摄；

图像分割处理，对于通过所述拍摄处理而得到的多个所述元件保持状态的图像数据，分割与预定的元件保持状态相关的区域；

方向变换处理，对于通过所述图像分割处理而分割出的分割图像数据，变换所述元件保持状态的方向；及

显示处理，显示基于进行了所述方向变换处理后的所述分割图像数据的图像。

2.根据权利要求1所述的图像处理方法，其中，

在所述显示处理中，置换为通过所述方向变换处理而变换了方向的所述元件保持状态的多个分割图像，并将通过所述拍摄处理而得到的多个所述元件保持状态的图像作为一个图像进行显示。

3.根据权利要求1所述的图像处理方法，其中，

所述图像处理方法具有保存通过所述图像分割处理而针对每个所述吸嘴的元件保持状态图像分割出的分割图像数据的分割数据保存处理，在所述方向变换处理中，对于通过所述分割数据保存处理而保存的多个分割图像数据进行变换。

4.根据权利要求1～3中任一项所述的图像处理方法，其中，

所述元件保持状态是从侧面侧拍摄所述多个吸嘴的前端部而得到的状态，在所述方向变换处理中，通过分割图像数据的方向变换而使所述吸嘴的方向一致。

5.根据权利要求1～3中任一项所述的图像处理方法，其中，

所述元件保持状态是对吸附保持于所述多个所述吸嘴的元件从保持面的相反侧进行拍摄而得到的状态，在所述方向变换处理中，通过分割图像数据的方向变换而使所述元件的方向一致。

6.根据权利要求5所述的图像处理方法，其中，

在所述显示处理中，将通过所述方向变换处理而进行了方向变换后的所述多个分割图像数据沿着纵向横向重新排列并作为一个图像进行显示。

7.一种元件安装机，具有：

基板输送装置，向机内输送基板；

元件供给装置，供给向所述基板安装的元件；

元件安装装置，使具备多个吸嘴的安装头在机内移动，利用所述吸嘴对所述基板安装元件；

拍摄装置，将与安装于所述安装头的多个吸嘴相关的各元件保持状态作为一个图像进行拍摄；

图像数据处理装置，对通过所述拍摄装置而得到的图像数据针对每个所述吸嘴的元件保持状态图像进行分割，生成对于分割出的各分割图像数据变换了所述元件保持状态的方向后的变换图像数据；及

显示装置，显示基于通过所述图像数据处理装置生成的变换图像数据的图像。

8.根据权利要求7所述的元件安装机，其中，

所述拍摄装置经由使用了多个反射镜的光学系统而通过一个相机同时拍摄所述多个吸嘴的前端部侧面。

9.根据权利要求7所述的元件安装机，其中，

所述拍摄装置从下侧拍摄由朝下安装的所述多个吸嘴吸附保持的全部元件。

10.根据权利要求7～9中任一项所述的元件安装机，其中，

所述图像数据处理装置基于与所述吸嘴的位置信息相关联的角度信息而对于所述分割图像数据来变换所述元件保持状态的方向。

Images