CN116349420A - 图像处理装置、安装装置、安装系统、图像处理方法及安装方法 - Google Patents

Abstract

本公开的图像处理装置用于具备安装部的安装装置，上述安装部使具有主体和在主体上形成的一个以上的突出部的元件的突出部插入到在处理对象物上形成的插入部并将元件配置于处理对象物。该图像处理装置根据从侧方对元件照射了光的突出部和从下方对元件照射了光的主体的拍摄图像，检测主体的形状、突出部的位置、突出部的数量及突出部的前端部，获取插入部的信息，并生成包括轮廓形状模型和突出部模型的元件模型，该轮廓形状模型包括主体的形状及方向，该突出部模型包括突出部的位置、数量及前端部的特征。

Description

图像处理装置、安装装置、安装系统、图像处理方法及安装 方法

技术领域

在本说明书中，公开图像处理装置、安装装置、安装系统、图像处理方法及安装方法。

背景技术

以往，作为安装装置，提出有通过反射镜将由吸嘴吸附的电子元件的像导入相机并由相机进行拍摄的装置(例如，参照专利文献1等)。在该装置中，能够提供实现装配头、装置的小型化、降低成本及生产的生产间隔时间的缩短的结构。

现有技术文献

专利文献

专利文献1：日本特开2005-50887号公报

发明内容

发明所要解决的课题

然而，在上述的专利文献1中，针对拾取引脚从主体突出的元件并使该引脚插入到形成在基板上的孔部而安装的处理没有考虑。这样，谋求更恰当地识别具有主体和从主体突出的突出部的元件，更恰当地向基板等处理对象物配置。

本公开是鉴于这样的课题而完成的，主要目的在于提供在安装具有从主体突出的突出部的元件时能够通过更简单的结构更可靠地执行安装处理的图像处理装置、安装装置、安装系统、图像处理方法及安装方法。

用于解决课题的技术方案

在本公开中，为了实现上述的主要目的而采用以下的方案。

本公开的图像处理装置用于具备安装部的安装装置，上述安装部使具有主体和在上述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将上述元件配置于上述处理对象物，上述图像处理装置具备图像控制部，上述图像控制部获取拍摄图像，根据获取到的上述拍摄图像来检测上述主体的形状、上述突出部的位置、上述突出部的数量及上述突出部的前端部，获取上述插入部的信息，生成包括轮廓形状模型和突出部模型的元件模型，上述拍摄图像是在拍摄单元的侧射照明及/或落射照明下进行拍摄而得到的，上述拍摄单元具有能够点亮从侧方对上述元件照射光的上述侧射照明和从下方对上述元件照射光的上述落射照明的照明部及至少具有上述主体与上述突出部之间的距离的景深并从下方拍摄上述元件的拍摄部，上述轮廓形状模型包括上述主体的形状及方向，上述突出部模型包括上述突出部的位置、数量及前端部的特征。

在该图像处理装置中，根据由从侧方对元件照射光的侧射照明及从下方对元件照射光的落射照明的至少一方拍摄到的拍摄图像，来检测主体的形状、突出部的位置、突出部的数量及突出部的前端部，获取插入部的信息，生成包括轮廓形状模型和突出部模型的元件模型，上述轮廓形状模型包括主体的形状及方向，上述突出部模型包括突出部的位置、数量及前端部的特征。在该图像处理装置中，例如，不需要对突出部的前端部照射激光来对该前端部进行对焦而拍摄那样的特别的照明部、拍摄部，通过从侧方的侧射照明和从下方的落射照明能够得到能够更可靠地检测突出部、主体的拍摄图像。在该图像处理装置中，能够使用这样得到的拍摄图像构建成为元件的基准数据的元件模型。而且，安装装置能够使用该元件模型执行具有突出部的元件的识别，执行安装处理。因此，在该图像处理装置中，在安装具有从主体突出的突出部的元件时，能够通过更简单的结构可靠地执行安装处理。

附图说明

图1是表示安装系统10的一个例子的概略说明图。

图2是表示拍摄单元14的一个例子的概略说明图。

图3是表示存储于存储部42的信息的一个例子的说明图。

图4是表示元件模型生成处理程序的一个例子的流程图。

图5是表示通过侧射照明和落射照明得到的拍摄图像的差异的说明图。

图6是表示安装处理程序的一个例子的流程图。

图7是对图像识别处理的概要进行说明的说明图。

图8是加入视差来修正突出部区域A的设定位置的说明图。

图9是突出部的长度及元件31与拍摄部15之间的距离的说明图。

图10是表示使用了插入部模型46的是否能够插入判定的一个例子的说明图。

图11是表示其他安装系统10B的一个例子的说明图。

具体实施方式

以下参照附图对本实施方式进行说明。图1是表示本公开的安装系统10的一个例子的概略说明图。图2是表示拍摄单元14的一个例子的概略说明图。图3是表示存储于存储部42的信息的一个例子的说明图。另外，在本实施方式中，左右方向(X轴)、前后方向(Y轴)及上下方向(Z轴)如图1、图2所示那样。

安装系统10例如是在处理对象物30对元件31进行安装处理的装置，且具备安装装置11和供给装置25。安装装置11具备搬运装置12、拍摄单元14、安装部20、控制装置40。处理对象物30只要具备插入元件31的突出部33的插入部则没有特别限定，但例如，可举出基板、三维形状的基材(立体物)等。

元件31是电子元件，具有主体32和突出部33。突出部33是端子引脚，且在主体32形成有多个。元件31的突出部33插入到处理对象物30的插入部而固定。对于突出部33而言，具有朝向前端变细地形成的锥形面的锥形部34和作为前端面的前端部35形成于其前端侧。锥形部34形成为例如容易向处理对象物30的插入部插入突出部33。该锥形部34根据元件种类，以平面、曲面等适于突出部33的形状的形状适当地形成。此外，元件31在作为突出部33的端子存在极性的情况下，在主体32的下表面形成有对主体32的方向进行规定的标记(参照图3的轮廓形状模型44)。另外，为了方便说明，以下也将突出部33称为“端子”、“引脚”。

搬运装置12是进行处理对象物30的搬入、搬运、安装位置处的固定、搬出的单元。搬运装置12通过隔开间隔设置的1对输送带来搬运处理对象物30。

拍摄单元14是对被安装部20拾取并保持的状态的元件31的下表面侧的图像进行拍摄的装置。拍摄单元14配设于搬运装置12与供给装置25之间。该拍摄单元14具备拍摄部15和照明部16。如图2所示，拍摄部15的拍摄范围是拍摄部15的上方。拍摄部15具有例如CMOS图像传感器、CCD图像传感器等通过受光产生电荷并输出所产生的电荷的拍摄元件。该拍摄部15至少具有主体32与突出部33之间的距离的景深。照明部16是对被安装部20保持的元件31照射光，且能够调整向元件31照射的光的明亮度(光量)、光的波长及光的照射位置等的光源。照明部16至少具备从侧方对元件31照射光的侧射灯17和从下方对元件31照射光的落射灯18。该照明部16构成为能够同时或分别点亮侧射灯17和落射灯18。此外，照明部16构成为能够同时照明距拍摄部15的距离不同的突出部33的前端及主体32的各个被拍摄体。该拍摄单元14构成为在元件31不移动的情况下能够拍摄基于侧射灯17中的侧射照明的主体32及突出部33的图像和基于落射灯18中的落射照明的主体32及突出部33的图像(参照图2)。另外，拍摄单元14也能够使侧射灯17及落射灯18同时点亮而拍摄作为被拍摄体的主体32及突出部33。拍摄单元14在保持了元件31的多关节臂机器人21在拍摄部15的上方停止时或者移动期间拍摄元件31的图像，并将拍摄图像向控制装置40输出。控制装置40能够根据该拍摄图像，执行元件31的形状及部位是否正常的检查、元件31的拾取时的位置、旋转等的偏离量的检测等。

安装部20是使元件31向处理对象物30配置的装置。安装部20具备多关节臂机器人21、拾取部件22、相机23。多关节臂机器人21是连接了以转动轴为中心而转动的第一臂、第二臂的作业机器人。拾取部件22是进行拾取元件31并将其向处理对象物30配置的作业的部件，且可转动地连接于多关节臂机器人21的前端。拾取部件22例如也可以为通过负压而吸附并拾取元件31的吸嘴，也可以为物理地把持并拾取元件31的机械夹头。相机23拍摄下方，例如拍摄载置于供给装置25的元件31，并在识别元件31的姿势等时使用。该相机23固定于多关节臂机器人21的前端。

供给装置25是供给元件31的装置。供给装置25具备供给载置部26、施振部27、元件供给部28。供给载置部26具有载置面，载置姿势不定的元件31，并作为在前后方向上移动的传送带而构成。施振部27对供给载置部26赋予振动，并使供给载置部26上的元件31的姿势变更。元件供给部28是配设于供给载置部26的后方上部(未图示)、收容元件31并向供给载置部26供给的装置。元件供给部28在载置面上的元件不满预定数时向供给载置部26放出元件31，或者定期地向供给载置部26放出元件31。安装部20使用多关节臂机器人21、拾取部件22及相机23，识别在供给载置部26上能够拾取、配置的姿势的元件31并拾取该元件31。

控制装置40具有以CPU41为中心的微处理器，并负责包括搬运装置12、拍摄单元14、安装部20及供给装置25等的装置整体的控制。CPU41兼具执行拍摄单元14的图像处理的图像处理装置中的图像控制部和进行多关节臂机器人21的控制的安装装置中的安装控制部的功能。该控制装置40向搬运装置12、拍摄单元14、安装部20、供给装置25输出控制信号，另一方面，输入来自搬运装置12、拍摄单元14、安装部20、供给装置25的信号。控制装置40除了具备CPU41之外，还具备存储部42、显示装置47、输入装置48。存储部42是存储各种应用程序、各种数据文件的HDD、闪存等大容量的存储介质。显示装置47是显示与安装系统10相关的信息、各种输入画面等的显示器。输入装置48包括供作业者输入的键盘、鼠标等。

在存储部42例如存储有作为将元件31向处理对象物30安装的安装作业的安装条件信息、用于元件31的识别的元件模型43等。安装条件信息包括将元件31向处理对象物30安装的配置位置、配置数等信息。元件模型43是元件31的基准数据，如图3所示，包括元件ID、照明方法、轮廓形状模型44、突出部模型45及插入部模型46等。元件ID是确定元件31的识别信息，预先按元件31的每个种类被赋予。照明方法是确定拍摄了生成元件模型43的拍摄图像时的照明方法的信息，是侧射照明及落射照明中的至少一方。轮廓形状模型44是规定主体32的基准数据。轮廓形状模型44除了规定有主体32的形状、方向(端子的极性)之外还规定有主体32的尺寸等。轮廓形状模型44还包括规定主体32的方向的标记的形状、配置位置等。突出部模型45是规定端子等突出部33的基准数据。突出部模型45包括也包括突出部33的间距等在内的突出部33的位置、数量及前端部的特征等。前端部的特征例如包括前端部35的形状、其尺寸及信号电平等。前端部的形状例如包括圆、正方形、长方形、梯形、其他任意形状等。尺寸包括半径(圆)、宽度/高度(矩形)、宽度1/宽度2/高度(梯形)、宽度/高度等信息。信号电平包括通过预定的照明进行了拍摄时的前端部的信号电平、其周边部的信号电平等。另外，突出部模型45还包括突出部33的尺寸、包含配设于主体32的一个以上的突出部33的突出部区域A的信息等。插入部模型46是对供突出部33插入的在处理对象物上形成30的插入部进行规定的基准数据。插入部模型46包括还包括插入部的间距等在内的插入部的位置、数量、包括插入部的形状的特征、其尺寸等信息。

接下来，对这样构成的本实施方式的安装系统10的动作进行说明，首先对控制装置40生成元件模型43的处理进行说明。图4是表示CPU41执行的元件模型生成处理程序的一个例子的流程图。该程序存储于存储部42，并在利用元件31之前执行。若开始该程序，则首先，CPU41以在拍摄位置保持元件31的方式控制多关节臂机器人21，设定照明部16的照明方法(S110)。CPU41在照明方法中设定初始值为侧射照明、接下来为落射照明。接下来，CPU41以在锥形部34和前端部35产生对比度的方式调节并设定拍摄单元14的照明强度和曝光时间(S120)。接下来，CPU41在所设定的条件下拍摄元件31(S130)，判定是否通过所有照明方法拍摄了元件31(S140)，在没有通过所有照明方法进行拍摄时，执行S110以下的处理。即，变更照明方法而成为落射照明，以在锥形部34和前端部35产生对比度的方式决定照明强度和曝光时间而拍摄元件31。另外，在S110中，也可以还通过使侧射照明及落射照明同时点亮的照明方法来拍摄元件31。在同时照明中，有时能够改善检测效率。

图5是表示通过侧射照明和落射照明得到的拍摄图像的差异的说明图。如图5所示，若通过侧射照明拍摄突出部33，则通过照明的反射得到锥形部34为白色(明部)、前端部35为黑色(暗部)的拍摄图像。另一方面，若通过落射照明拍摄突出部33，则通过照明的反射，得到锥形部34为黑色(暗部)、前端部35为白色(明部)的拍摄图像。在元件31那样的带引脚的电子元件中，在大多数情况下侧射照明对识别突出部33的前端部的图像获取较为有效，但也有时针对一部分元件、校准时落射照明较佳，因此，拍摄单元14构成为能够通过两照明的至少一方来获取拍摄图像。

接下来，CPU41选择适于元件31的图像识别的照明方法及拍摄图像(S150)。CPU41例如也可以选择侧射照明及落射照明的拍摄图像中的容易检测突出部33的前端部35的拍摄图像。CPU41例如也可以选择容易将突出部33的前端部35的边缘部(锥形部34的区域)与主体32区别的拍摄图像。即，CPU41也可以除了锥形部34与前端部35的对比度之外，还加入与主体32的对比度来选择照明方法及拍摄图像。或者，在S150中，作业者也可以选择合适的照明方法及拍摄图像。

接下来，CPU41获取元件信息及插入部信息(S160)。元件信息是元件31的制造公司提供的信息，例如包括主体32的尺寸、形状、方向、突出部33的位置、数量及多个突出部间的间距(距离)等信息。突出部33的位置还包括行/列数、行/列间距等信息。该元件信息不包括突出部33的前端形状等信息。此外，插入部信息是处理对象物30的制造公司提供的信息，例如，包括插入部的位置、数量、形状、尺寸等信息更具体而言孔径、行/列数、引脚数、例外引脚数、列间距、行间距等信息。例外引脚数是指不存在于等间距的引脚列中的引脚数。CPU41也可以在被提供的数据中获取元件信息、插入部信息，也可以从CAD数据提取并获取元件信息、插入部信息，也可以获取作业者从规格明细书输入的数据。

接下来，CPU41使用拍摄图像，生成包括主体32的形状及方向的信息、还包括尺寸的信息的轮廓形状模型44(S170)。在生成轮廓形状模型44时，CPU41也可以使用元件信息。此外，CPU41也将表示主体32的极性、方向的标记等特征提取为轮廓。接下来，CPU41以包围突出部33的前端部35所存在的部分的方式设定突出部区域A(S180，参照后述图7的(C))。CPU41使用突出部33的位置信息，相对于突出部33存在的区域设置预定的余量而设定突出部区域A。对于预定的余量而言，例如能够在经验上求出更加能够抑制突出部33的错误检测的值并决定为该值。接下来，CPU41基于插入部信息，生成包括插入部的位置、数量及孔的尺寸并包括形状等特征的插入部模型46(S190)。

接着，CPU41根据拍摄图像，检测突出部33的位置、数量及前端部，而且分析其特征(S200)，并基于分析出的信息，生成包括突出部33的位置、数量、前端部35的特征的信息、还包括尺寸的信息的突出部模型45(S210)。在生成突出部模型45时，CPU41也可以使用元件信息。此外，CPU41也可以在S200中对检测出的突出部33赋予编号。此外，突出部33的位置也包括行/列数、行/列间距等信息。此外，前端部35的特征也可以还包括前端部35的形状(圆、正方形、长方形、梯形等)及其尺寸、前端部及其周边区域的信号电平等。而且，CPU41使拍摄图像的照明方法、轮廓形状模型44、突出部模型45、插入部模型46与元件ID相对应，生成元件模型43(参照图3)，并使其存储于存储部42，结束该程序。这样，控制装置40能够使用安装系统10生成作为元件31的基本数据及形状模板的元件模型43。

接下来，对使用元件模型43向处理对象物30的插入部插入突出部33而配置元件31的安装处理进行说明。图6是表示CPU41执行的安装处理程序的一个例子的流程图。图7是对元件31的图像识别处理的概要进行说明的说明图，图7的(A)是元件图像51的说明图，图7的(B)是主体52的轮廓形状识别处理，图7的(C)是突出部区域A的设定，图7的(D)是前端部35的识别，图7的(E)是应用了插入部的说明图。安装处理程序存储于存储部42，通过基于作业者的开始指示来执行。

若开始该程序，则首先，CPU41读出并获取安装条件信息及元件模型43(S300)。接下来，CPU41使搬运装置12将处理对象物30搬运至安装位置，并进行固定处理(S310)，且以对供给载置部26供给元件31的方式控制元件供给部28(S320)。接下来，CPU41进行如下的处理：控制多关节臂机器人21，使相机23移动至供给载置部26的上方，相机23拍摄供给载置部26上的元件31，识别可拾取的元件31(S330)。CPU41将供给载置部26上的元件31中的突出部33处于下侧、主体32处于上侧的元件31识别为可拾取的元件。另外，当不存在可拾取的元件31时，驱动施振部27而使元件31的姿势变更。此外，当在供给载置部26上不存在元件31时，驱动元件供给部28，使元件31向供给载置部26上供给。

接下来，元件31驱动多关节臂机器人21及拾取部件22，使拾取部件22拾取元件31，并向拍摄单元14的上部移动(S340)。在安装部20中，预先调整拍摄位置、多关节臂机器人21的控制，以使拾取部件22的中心位置移动至图像中心。接下来，CPU41在包括与元件种类对应的照明方法的拍摄条件下使拍摄单元14从突出部33侧拍摄元件31(S350)。CPU41从元件模型43获取照明方法、拍摄条件。接下来，CPU41从拍摄图像提取元件31的区域(图7的(A))，识别主体32的中心位置及主体32的方向(极性)(S360)。如图7的(A)所示，元件图像51包括作为图像的主体52、突出部53、前端部55等。元件31的区域能够通过轮廓形状模型44的模式匹配来提取。通过检测标记或能够识别方向的形状特征，并进行模式匹配，能够识别主体32的方向(图7的(B))。接下来，CPU41使用检测出的元件31的中心位置，进行视差修正，设定突出部区域A的位置(S370)。

图8是加入视差来修正突出部区域A的设定位置的说明图，图8的(A)是视差修正前的说明图，图8的(B)是视差修正后的说明图。图9是突出部的长度及元件31与拍摄部15之间的距离的说明图。在元件31中，如图9所示，相比于拍摄部15与前端部35之间的距离，拍摄部15与主体32之间的距离更远，因此，如图8所示，若元件31从图像中心偏离，则以可见主体32、突出部33的侧面的方式产生视差。在元件31处于图像中心时没有问题，但在处于图像周边部时，前端部35的位置相对于主体32偏离。若在该状态下设定突出部区域A，则产生无法进行适当的前端部35的检测的情况。CPU41对拍摄图像执行以图像中央为基准的视差修正，将突出部区域A设定在元件图像51上之后检测突出部33的位置。在视差修正中，在将突出部33的前端部35的每一像素的分辨率设为Rp(μm/pixel)、将每预定长度的分辨率变化量即单位分辨率设为Ru(μm/pixel)、将突出部33从主体32起的长度设为PL(mm)时，CPU41执行Rp-Ru×PL的视差修正(图8的(B))。通过进行这样的视差修正，CPU41能够更可靠地识别前端部35。

接下来，CPU41在突出部区域A的内侧的区域中进行推断并识别各突出部33的前端部35的位置和前端部35的中心位置的处理(S380)。CPU41通过使用突出部模型45在突出部区域A内进行模式匹配，能够识别前端部35的位置。突出部模型45包括突出部33的位置、数量的信息，CPU41能够推断大致的前端部35的位置(参照图3)。此外，元件模型43包括前端部35的形状特征，因此，CPU41使用该形状特征，自动生成形状模型，并进行模式匹配。此时，前端部35按每个前端部存在形状、尺寸、信号电平的个体差，因此，CPU41一边使这些参数变动一边进行模式匹配。特别是关于形状，存在如下情况：即便在模型生成时的个体中圆中的匹配分数高的情况下，而在其他个体中长方形的匹配分数更高。因此，CPU41也可以在无法检测到记载于突出部模型45的数量的突出部33的情况下，生成其他形状的形状模型而再次进行模式匹配，提高识别率。CPU41若检测出所有前端部35的位置，则计算出所有前端部35的中心位置。

若检测出前端部35的中心位置，则CPU41根据前端部35的中心位置与插入部的位置关系计算出最优的修正位置(S390)。CPU41根据前端部35的位置的间距与位置的偏差量和与插入部的孔的位置关系而求出修正值。更具体而言，CPU41计测各前端部35的中央位置与插入部的孔之间的距离，将该距离的最大值成为最小的位置作为最优修正值。接下来，CPU41判定该元件31是否能够向插入部插入(S400)。突出部33由于弯曲等而不总是其前端部35始终成为等间距。CPU41计算插入部的孔与突出部33的前端外形之间的距离，在所有突出部33与孔之间的距离为预定的允许阈值以上时判断为元件31能够插入。该允许阈值例如是在经验上求出突出部33不与插入部的内壁干扰的值。

图10是表示使用了插入部模型46的是否能够插入判定的一个例子的说明图。CPU41能够在应用了上述修正值的状态下，如图10所示，一边使插入部模型46的孔径从标准孔径变小一边检测孔与突出部33的前端部35的干扰，基于孔与前端部35干扰时的孔径与标准孔径之差是否超过允许阈值来进行该判定。这样，CPU41至少假定第一尺寸及比第一尺寸小的第二尺寸的插入部来判定突出部33插入到插入部时是否产生干扰。

在S400中，元件31能够插入到插入部时，CPU41进行位置修正，使元件31向处理对象物30的预先决定的配置位置配置(S410)。此时，若CPU41使元件31向处理对象物30配置，则判定结果同样地，突出部33插入到处理对象物30的插入部。另一方面，在S400中，在元件31无法插入到插入部时，CPU41中止该元件31的使用并将其废弃，并且将该意思的消息向作业者报告(S420)。向作业者的报告例如在显示装置47上显示元件31无法插入的意思的消息、图标等。

在S420之后或者在S410之后，CPU41判定是否存在接下来应该配置的元件31(S430)，在存在接下来的元件31时，执行S320以下的处理。即，CPU41根据需要对供给载置部26供给元件31，识别可拾取的元件31，拾取元件31并由拍摄单元14拍摄，反复执行前端部35的识别及判定是否能够插入并配置的处理。另一方面，在S430中，当不存在向该处理对象物30配置的接下来的元件时，CPU41判定是否存在接下来应该配置元件31的处理对象物30(S440)，当存在接下来的处理对象物30时，执行S310以后的处理。即，CPU41使元件31的配置结束了的处理对象物30排出，并搬入接下来的处理对象物30，执行S320以后的处理。另一方面，当在S440中不存在接下来的处理对象物30时，CPU41结束该程序。

此处，明确本实施方式的结构要素与本公开的结构要素的对应关系。本实施方式的CPU41相当于本公开的图像控制部及安装控制部，安装部20相当于安装部，拍摄部15相当于拍摄部，照明部16相当于照明部，供给装置25相当于供给装置。此外，控制装置40相当于图像处理装置，安装装置11相当于安装装置。另外，在本实施方式中，通过说明安装系统10的动作也明确本公开的图像处理方法及安装方法的一个例子。

在以上说明的本实施方式的控制装置40中，根据从侧方对元件31照射了光的突出部33和从下方对元件31照射了光的主体32的拍摄图像，检测主体32的形状、突出部33的位置、突出部33的数量及突出部33的前端部35，获取插入部的信息，生成包括轮廓形状模型44和突出部模型45的元件模型43，轮廓形状模型44包括主体32的形状及方向，突出部模型45包括突出部33的位置、数量及前端部35的特征。在该控制装置40中，例如，不需要对突出部33的前端部35照射激光来对该前端部35进行对焦而拍摄那样的特别的照明部、拍摄部，便能够得到能够通过来自侧方的侧射照明和来自下方的落射照明而更可靠地检测突出部33、主体32的拍摄图像。在该控制装置40中，能够使用这样得到的拍摄图像构建成为元件31的基准数据的元件模型43。而且，安装装置11能够使用该元件模型43执行具有突出部33的元件31的识别，执行安装处理。因此，在该控制装置40中，在安装具有从主体32突出的突出部33的元件31时，能够通过更简单的结构更可靠地执行安装处理。此外，控制装置40能够根据插入部的信息来生成包括插入部模型46的信息的元件模型43，插入部模型46包括插入部的位置、数量及尺寸。

此外，在本实施方式的安装装置11中，根据通过侧射照明及落射照明中的至少一方得到的拍摄图像，检测主体32的形状、突出部33的位置、突出部33的数量及突出部33的前端部35，生成包括主体32的形状及方向的轮廓形状模型44和包括突出部33的位置、数量及前端部35的特征的突出部模型45，根据插入部的信息生成包括插入部的位置、数量及尺寸的插入部模型46，生成包括轮廓形状模型44、突出部模型45、插入部模型46的元件模型43。此外，在该安装装置11中，根据获取到的元件31的拍摄图像，检测主体32的形状、突出部33的位置、突出部33的数量及突出部的前端部35，利用元件模型43使安装部20将该元件31向处理对象物30配置。在该安装装置11中，获取使用在所生成的元件模型43中使用的照明来拍摄由安装部20拾取到的元件31而得到的拍摄图像，根据获取到的拍摄图像，检测主体32的形状、突出部33的位置、突出部33的数量及突出部33的前端部35。而且，该安装装置11利用元件模型43使安装部20将该元件31向处理对象物30配置。因此，在该安装装置11中，在安装具有从主体32突出的突出部33的元件31时，能够通过更简单的结构更可靠地执行安装处理。

此外，CPU41利用元件模型43判定该元件31是否能够配置于处理对象物30。在具有突出部33的元件31中，有时由于突出部33的变形等根据其形状而无法插入到插入部。在该安装装置11中，能够利用元件模型43预先获取元件31能够使用的信息，能够更可靠地执行安装处理。而且，CPU41使用插入部模型46，至少假定第一尺寸及比第一尺寸小的第二尺寸的插入部来判定突出部33插入到插入部时是否产生干扰。在该安装装置11中，通过使插入部的尺寸变更得更小，能够获取元件31是否不与插入部干扰而能够使用的信息。此外，CPU41对拍摄图像进行以图像中央为基准的视差修正，检测突出部33的位置。在至少具有主体32与突出部33之间的距离的景深的拍摄部15中，由于主体32比突出部33的前端部35远，所以在从图像的中央进一步偏离的图像外周侧，更加产生视差。在该安装装置11中，通过修正这样的视差，能够更恰当地检测突出部33的位置，能够更恰当地使用元件模型43。此时，在将突出部33的前端部35的每一像素的分辨率设为Rp、将每预定长度的分辨率变化量即单位分辨率设为Ru、将突出部从主体起的长度设为PL时，CPU41执行Rp-Ru×PL的视差修正。在该安装装置11中，能够考虑到分辨率、突出部的长度而执行更适当的视差修正。

本实施方式的安装系统10具备上述的安装装置11和将元件31以不定方向供给到载置区域的供给装置25，安装部20具有多关节臂机器人21。在该安装系统10中，能够简单地供给具有突出部31的元件，能够使用通用的多关节臂机器人21在处理对象物30插入突出部33而配置元件31。

此外，在安装装置11中，拍摄部15至少具有主体32与突出部33之间的距离的景深，因此，能够在同一图像上拍摄主体32和突出部33。此外，CPU41选择通过侧射照明及落射照明中的至少一方而得到的拍摄图像来作为设定元件模型43的拍摄图像，因此，能够生成更合适的元件模型43。此时，CPU41选择侧射照明的拍摄图像和落射照明的拍摄图像中的容易检测突出部33的前端部35的拍摄图像，因此，通过适当地区分使用侧射照明和落射照明，能够检测元件31具有的突出部33的前端部35。此外，CPU41选择侧射照明的拍摄图像和落射照明的拍摄图像中的突出部33的前端部35的边缘部容易与主体32区别的拍摄图像。在该控制装置40中，通过侧射照明和落射照明的任一个，能够变更前端部35的边缘部的拍摄颜色，通过使该边缘部的拍摄颜色与主体32的颜色不同，能够更可靠地识别突出部33的前端部35。

另外，CPU41生成使包括一个以上的突出部33的突出部区域A包含于突出部模型45的元件模型43。在该控制装置40中，能够以区域为单位，处理突出部33的位置，因此，能够更高效地识别突出部33。此外，CPU41生成包括元件31的方向的轮廓形状模型44，因此，能够构建还包括了元件主体的方向的元件模型43。

此外，安装系统10能够使用具有多关节臂机器人21的安装装置11和将元件31以不定方向载置的供给装置25来执行将端子向插入部插入的安装处理，因此，能够使用通用装置，比较廉价地执行复杂的安装处理。而且，在安装系统10中，若进行微量参数输入，则能够生成元件模型43，因此，能够将作业者的图像处理设定的麻烦抑制为最小限度。此外，对于使用特殊的激光照明、景深小的特殊的拍摄部的专用装置而言，无法在同一图像拍摄突出部33的前端部35和主体32，但对于该安装系统10而言，能够通过一次拍摄来拍摄前端部35和主体32，能够通过一个图像执行前端部35和主体32的方向，因此，能够实现处理时间的缩短。而且，在安装系统10中，针对端子长度存在偏差的元件31，也能够通过一次拍摄，执行前端部35的识别。此外，安装系统10也逐个识别端子，并计测该端子间的距离等，因此，能够进行端子折断、弯曲等不合格的检测和废弃处理，因此，生产现场的作业性更加提高。

另外，本公开没有被上述的实施方式作任何限定，只要属于本公开的技术范围则能够以各种方式实施是不言而喻的。

例如，在上述的实施方式中，安装装置11的控制装置40具有图像处理装置的功能，但没有特别局限于此，也可以与安装装置11分开设置图像处理装置。同样，在上述的实施方式中，CPU41具有图像控制部和安装控制部的功能，但没有特别局限于此。也可以与CPU41分开设置图像控制部。在该安装装置11中，也能够在安装具有从主体突出的突出部的元件时通过更简单的结构更可靠地执行安装处理。

在上述的实施方式中，轮廓形状模型44除了规定有主体32的形状、方向(端子的极性)之外还规定有主体32的尺寸等，但不局限于此，也可以包括其他因素，也可以至少包括主体32的形状及方向。此外，在上述的实施方式中，突出部模型45包括突出部33的位置、数量、前端部的特征、突出部33的尺寸及突出部区域A的信息等，但不局限于此，也可以包括其他因素，也可以至少包括突出部33的位置、数量及前端部35的特征。而且，在上述的实施方式中，插入部模型46包括也包含插入部的间距等在内的插入部的位置、数量、包括插入部的形状在内的特征、其尺寸等信息，但并不局限于此，也可以包括其他因素，也可以至少包括插入部的位置、数量及尺寸。此外，在上述的实施方式中，元件模型43包括轮廓形状模型44、突出部模型45、插入部模型46，但没有特别局限于此，例如，也可以省略插入部模型46。元件模型43适当地包括能够将突出部33插入到插入部的信息即可。

在上述的实施方式中，在进行拍摄图像的视差修正时，使用分辨率Rp、单位分辨率Ru、突出部长度PL执行Rp-Ru×PL的视差修正，但并不局限于此，也可以除这些因素之外还使用其他因素来执行视差修正，或者取代这些因素而使用其他因素来执行视差修正。或者，CPU41也可以省略视差修正。此时，CPU41期望执行不使用突出部区域A而在更大范围内识别前端部35的处理。

在上述的实施方式中，CPU41在元件模型的生成中，使用通过侧射照明拍摄到的拍摄图像和通过落射照明拍摄到的拍摄图像的任一个来生成元件模型，但没有特别局限于此，也可以根据同时点亮侧射照明及落射照明的拍摄图像来生成元件模型。此外，CPU41也可以对侧射照明的拍摄图像进行图像处理，对落射照明的拍摄图像进行图像处理，将两个图像处理结果合成而最终得到一个图像处理结果，由此生成元件模型。CPU41根据元件31选择适当的照明方法、图像处理方法即可。另外，CPU41在使用元件模型对安装部20所拾取的元件31进行图像处理时也能够采用与上述相同的照明方法、图像处理方法。

在上述的实施方式中，对元件31的突出部33为端子引脚的情况进行了说明，但只要是插入到处理对象物30的插入部(孔部)的部位，则没有特别限定于此。

在上述的实施方式中，对安装部20具备多关节臂机器人21的情况进行了说明，但只要是能够将突出部33插入到插入部并将元件31配置于处理对象物30则没有特别局限于此，例如，也可以具有XY机器人的结构。图11是表示其他安装系统10B的一个例子的说明图。该安装系统10B具备安装装置11B和管理装置60。安装装置11B具备：搬运基板30B的搬运装置12B、具备供料器29的供给装置25B、能够执行侧射照明和落射照明的拍摄单元14、安装部20B及控制装置40。安装部20B具备：安装头21B、装配于安装头21B的拾取部件22B及使安装头21B沿XY方向移动的头移动部24。拍摄单元14及控制装置40与上述的实施方式相同。即便在使用这样的安装装置11B的情况下，也能够在安装具有从主体突出的突出部的元件时通过更简单的结构更可靠地执行安装处理。

在上述的实施方式中，将本公开的图像处理装置作为控制装置40进行了说明，但没有特别局限于此，也可以为图像处理方法，也可以使该图像处理方法成为由计算机执行的程序。此外，在上述的实施方式中，将本公开的安装装置作为安装装置11进行了说明，但没有特别局限于此，也可以为安装方法，也可以使该安装方法为由计算机执行的程序。

此处，本公开的图像处理装置、安装装置也可以如以下那样构成。例如，在本公开的图像处理装置中，也可以是，上述图像控制部根据上述插入部的信息来生成还包括插入部模型的元件模型，上述插入部模型包括上述插入部的位置、数量及尺寸。在该图像处理装置中，能够生成包含插入部的信息的元件模型。

本公开的安装装置具备：安装部，使具有主体和在上述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将上述元件配置于上述处理对象物；照明部，能够点亮从侧方对上述元件照射光的侧射照明和从下方对上述元件照射光的落射的照明；拍摄部，至少具有上述主体与上述突出部之间的距离的景深，并从下方拍摄上述元件；及安装控制部，根据利用在由上述的图像处理装置生成的上述元件模型中使用的照明对由上述安装部拾取到的上述元件进行拍摄而得到的拍摄图像，来检测上述主体的形状、上述突出部的位置、上述突出部的数量及上述突出部的前端部，利用由上述图像处理装置生成的上述元件模型使上述安装部向上述处理对象物配置该元件。

在该安装装置中，获取使用在由上述的图像处理装置中生成的元件模型中使用的侧射照明及/或落射照明来拍摄由安装部拾取到的元件而得到的拍摄图像，根据获取到的拍摄图像，检测主体的形状、突出部的位置、突出部的数量及突出部的前端部。而且，该安装装置利用由图像处理装置生成的元件模型使安装部将该元件向处理对象物配置。因此，在该安装装置中，在安装具有从主体突出的突出部的元件时，能够通过更简单的结构更可靠地执行安装处理。此外，在该安装装置中，能够获得与采用了上述的图像处理装置的方式对应的效果。

也可以是，在本公开的安装装置中，上述安装控制部利用上述元件模型来判定该元件是否能够配置于上述处理对象物。在具有突出部的元件中，有时由于突出部的变形等根据其形状而无法插入到插入部。在该安装装置中，能够利用元件模型预先获取元件能够使用的信息，能够更可靠地执行安装处理。

也可以是，在本公开的安装装置中，上述安装控制部利用上述插入部模型，至少假定第一尺寸及比上述第一尺寸小的第二尺寸的上述插入部来判定上述突出部插入到上述插入部插时是否会产生干扰。在该安装装置中，使用多个插入部的尺寸，能够获取元件是否不与插入部干扰而能够使用的信息，能够更可靠地执行安装处理。

也可以是，在本公开的安装装置中，上述安装控制部对上述拍摄图像执行以图像中央为基准的视差修正，并检测上述突出部的位置。在至少具有主体与上述突出部之间的距离的景深的拍摄部中，由于主体比突出部的前端部远，所以在从图像的中央更加偏离的图像外周侧，更加产生视差。在该安装装置中，通过修正这样的视差，能够更恰当地检测突出部的位置，更恰当地使用元件模型。此时，也可以是，在将上述突出部的前端部的每一像素的分辨率设为Rp、将每预定长度的分辨率变化量即单位分辨率设为Ru、将突出部从主体的长度设为PL时，上述安装控制部执行Rp-Ru×PL的上述视差修正。在该安装装置中，能够考虑到分辨率、突出部的长度而执行更适当的视差修正。

本公开的安装系统具备：上述的任一项所述的安装装置；及供给装置，将上述元件以不定方向供给到载置区域，上述安装部具有多关节臂机器人。在该安装系统中，能够简单地供给具有突出部的元件，能够使用比较通用的多关节臂机器人而配置于处理对象物。

本公开的图像处理方法用于具备安装部的安装装置，上述安装部使具有主体和在上述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将上述元件配置于上述处理对象物，上述图像处理方法包括如下步骤：(a)获取拍摄图像，上述拍摄图像是在拍摄单元的侧射照明及/或落射照明下进行拍摄而得到的，上述拍摄单元具有：照明部，能够点亮从侧方对上述元件照射光的上述侧射照明和从下方对上述元件照射光的上述落射照明；及拍摄部，至少具有上述主体与上述突出部之间的距离的景深，并从下方拍摄上述元件；(b)根据获取到的上述拍摄图像，来检测上述主体的形状、上述突出部的位置、上述突出部的数量及上述突出部的前端部；(c)获取上述插入部的信息；(d)基于上述步骤(b)的检测结果和上述步骤(c)中获取到的信息，来生成包括轮廓形状模型、突出部模型及插入部模型的元件模型，上述轮廓形状模型包括上述主体的形状及方向，上述突出部模型包括上述突出部的位置、数量及前端部的特征，上述插入部模型包括上述插入部的位置、数量及尺寸。

在该图像处理方法中，与上述的图像处理装置相同，不需要特别的照明部、拍摄部，能够获得能够通过多个照明模式更可靠地检测出突出部的拍摄图像，能够一次拍摄主体和突出部。因此，在该图像处理方法中，在安装具有从主体突出的突出部的元件时，能够通过更简单的结构更可靠地执行安装处理。另外，在该图像处理方法中，也可以采用上述的图像处理装置的各种方式，此外，也可以追加实现上述的图像处理装置的各功能那样的步骤。

本公开的安装方法由安装装置执行，上述安装装置具备：安装部，使具有主体和在上述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将上述元件配置于上述处理对象物；照明部，能够点亮从侧方对上述元件照射光的侧射照明和从下方对上述元件照射光的落射照明；及拍摄部，至少具有上述主体与上述突出部之间的距离的景深，并从下方拍摄上述元件，上述安装方法包括如下步骤：(e)获取利用在由上述的图像处理方法生成的上述元件模型中使用的照明对由上述安装部拾取到的上述元件进行拍摄而得到的拍摄图像；(f)根据获取到的上述拍摄图像，来检测上述主体的形状、上述突出部的位置、上述突出部的数量及上述突出部的前端部，利用上述元件模型使上述安装部向上述处理对象物配置该元件。

在该安装方法中，根据使用在由上述的任一个图像处理装置生成的元件模型中使用的照明而获取到的拍摄图像，检测主体的形状、突出部的位置、突出部的数量及突出部的前端部。而且，在该安装方法中，利用元件模型使安装部将该元件向处理对象物配置。因此，在该安装方法中，在安装具有从主体突出的突出部的元件时，能够通过更简单的结构更可靠地执行安装处理。此外，能够得到与所采用的图像处理方法的方式对应的效果。另外，在该安装方法中，也可以采用上述的安装装置的各种方式，此外，也可以追加实现上述的安装装置的各功能那样的步骤。

工业实用性

本公开的图像处理装置、安装装置、安装系统及图像处理方法例如能够利用于电子元件的安装领域。

附图标记说明

10、10B...安装系统11、11B...安装装置12、12B...搬运装置13...搬运部14...拍摄单元15...拍摄部16...照明部17...侧射灯18...落射灯20、20B...安装部21...多关节臂机器人21B...安装头22、22B...拾取部件23...相机24...头移动部25、25B...供给装置26...供给载置部27...施振部28...元件供给部29...供料器30...处理对象物30B...基板31...元件32...主体33...突出部34...锥形部35...前端部40...控制装置41...CPU42...存储部43...元件模型44...轮廓形状模型45...突出部模型46...插入部模型47...显示装置48...输入装置51...元件图像52...主体53...突出部55...前端部56...插入部60...管理装置A...突出部区域

Claims (10)

1.一种图像处理装置，用于安装装置，所述安装装置具备安装部，所述安装部使具有主体和在所述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将所述元件配置于所述处理对象物，其中，

所述图像处理装置具备图像控制部，所述图像控制部获取拍摄图像，根据获取到的所述拍摄图像来检测所述主体的形状、所述突出部的位置、所述突出部的数量及所述突出部的前端部，获取所述插入部的信息，生成包括轮廓形状模型和突出部模型的元件模型，其中，所述拍摄图像是在拍摄单元的侧射照明及/或落射照明下进行拍摄而得到的，所述拍摄单元具有能够点亮从侧方对所述元件照射光的所述侧射照明和从下方对所述元件照射光的所述落射照明的照明部及至少具有所述主体与所述突出部之间的距离的景深并从下方拍摄所述元件的拍摄部，所述轮廓形状模型包括所述主体的形状及方向，所述突出部模型包括所述突出部的位置、数量及前端部的特征。

2.根据权利要求1所述的图像处理装置，其中，

所述图像控制部根据所述插入部的信息来生成还包括插入部模型的元件模型，所述插入部模型包括所述插入部的位置、数量及尺寸。

3.一种安装装置，具备：

安装部，使具有主体和在所述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将所述元件配置于所述处理对象物；

照明部，能够点亮从侧方对所述元件照射光的侧射照明和从下方对所述元件照射光的落射照明；

拍摄部，至少具有所述主体与所述突出部之间的距离的景深，并从下方拍摄所述元件；及

安装控制部，根据利用在由权利要求1或2的图像处理装置生成的所述元件模型中使用的照明对由所述安装部拾取的所述元件进行拍摄而得到的拍摄图像，来检测所述主体的形状、所述突出部的位置、所述突出部的数量及所述突出部的前端部，利用由所述图像处理装置生成的所述元件模型使所述安装部向所述处理对象物配置该元件。

4.根据权利要求3所述的安装装置，其中，

所述安装控制部利用所述元件模型来判定该元件是否能够配置于所述处理对象物。

5.根据权利要求3或4所述的安装装置，其中，

所述安装控制部利用所述插入部模型，至少假定第一尺寸及比所述第一尺寸小的第二尺寸的所述插入部来判定所述突出部插入到所述插入部时是否会产生干扰。

6.根据权利要求3～5中任一项所述的安装装置，其中，

所述安装控制部对所述拍摄图像执行以图像中央为基准的视差修正，并检测所述突出部的位置。

7.根据权利要求6所述的安装装置，其中，

在将所述突出部的前端部的每一像素的分辨率设为Rp、将每预定长度的分辨率变化量即单位分辨率设为Ru、将突出部从主体起的长度设为PL时，所述安装控制部执行Rp-Ru×PL的所述视差修正。

8.一种安装系统，具备：

权利要求3～7中任一项所述的安装装置；及

供给装置，将所述元件以不定方向供给到载置区域，

所述安装部具有多关节臂机器人。

9.一种图像处理方法，用于安装装置，所述安装装置具备安装部，所述安装部使具有主体和在所述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将所述元件配置于所述处理对象物，其中，

所述图像处理方法包括如下步骤：

(a)获取拍摄图像，所述拍摄图像是在拍摄单元的侧射照明及/或落射照明下进行拍摄而得到的，所述拍摄单元具有：照明部，能够点亮从侧方对所述元件照射光的所述侧射照明和从下方对所述元件照射光的所述落射照明；及拍摄部，至少具有所述主体与所述突出部之间的距离的景深，并从下方拍摄所述元件；

(b)根据获取到的所述拍摄图像，来检测所述主体的形状、所述突出部的位置、所述突出部的数量及所述突出部的前端部；

(c)获取所述插入部的信息；及

(d)基于所述步骤(b)的检测结果和所述步骤(c)中获取到的信息，来生成包括轮廓形状模型、突出部模型及插入部模型的元件模型，所述轮廓形状模型包括所述主体的形状及方向，所述突出部模型包括所述突出部的位置、数量及前端部的特征，所述插入部模型包括所述插入部的位置、数量及尺寸。

10.一种安装方法，由安装装置执行，所述安装装置具备：安装部，使具有主体和在所述主体上形成的一个以上的突出部的元件的该突出部插入到在处理对象物上形成的插入部并将所述元件配置于所述处理对象物；照明部，能够点亮从侧方对所述元件照射光的侧射照明和从下方对所述元件照射光的落射照明；及拍摄部，至少具有所述主体与所述突出部之间的距离的景深，并从下方拍摄所述元件，其中，

所述安装方法包括如下步骤：

(e)获取利用在由权利要求9所述的图像处理方法生成的所述元件模型中使用的照明对由所述安装部拾取的所述元件进行拍摄而得到的拍摄图像；及

(f)根据获取到的所述拍摄图像，来检测所述主体的形状、所述突出部的位置、所述突出部的数量及所述突出部的前端部，利用所述元件模型使所述安装部向所述处理对象物配置该元件。

Images