CN117280885A - 识别装置以及识别方法 - Google Patents

识别装置以及识别方法 Download PDF

Info

Publication number
CN117280885A
CN117280885A CN202180098155.1A CN202180098155A CN117280885A CN 117280885 A CN117280885 A CN 117280885A CN 202180098155 A CN202180098155 A CN 202180098155A CN 117280885 A CN117280885 A CN 117280885A
Authority
CN
China
Prior art keywords
image
data
imaging
predetermined
predetermined feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098155.1A
Other languages
English (en)
Inventor
绢田实
清水利律
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN117280885A publication Critical patent/CN117280885A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813Controlling of single components prior to mounting, e.g. orientation, component geometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

图像分析部(62)执行如下处理:指示处理(S10~S18),指示测定相机(53)一边使其快门速度在预定的下限速度与预定的上限速度之间变动一边进行电子元件(80)的拍摄;计算处理(S20~S30),比较根据指示处理从测定相机(53)取得的多个拍摄数据中分别包含的各引线(82)的下表面(82a)的图像与作为理想数据的拍摄数据中包含的各引线(82)的下表面(82a)的理想图像,对于多个拍摄数据的各个拍摄数据来分别计算各引线(82)的下表面(82a)的图像相对于理想图像缺失的缺失比例;检测处理(S40),检测通过计算处理计算出的多个缺失比例中的、缺失比例为预定的第一阈值以下的拍摄数据;以及选择处理(S44),选择通过检测处理检测出的拍摄数据的拍摄所使用的快门速度。

Description

识别装置以及识别方法
技术领域
本公开涉及对装配于基板的元件的预定的特征部的状态进行识别的识别装置以及识别方法。
背景技术
在专利文献1中记载有如下识别装置:利用拍摄装置以不同的快门速度多次拍摄引线元件的引线的前端,生成多个拍摄数据,基于这多个拍摄数据的各个拍摄数据来判定是否能够识别引线的前端位置,将与判定为能够识别的拍摄数据相应的拍摄时的快门速度中的、最快的快门速度与最慢的快门速度之间的快门速度决定为最佳快门速度。
现有技术文献
专利文献
专利文献1:国际公开号WO 2018/047252 A1。
发明内容
发明所要解决的课题
然而,所生成的拍摄数据的图像与拍摄时的快门速度相应地,缺失的比例会发生变动。因此,在基于拍摄数据进行图像识别时,在欲提高该图像识别的精度的情况下,作为拍摄数据,要求图像缺失的比例更少的数据。因而,作为生成拍摄数据时的快门速度,要求选择图像缺失的比例为预定的阈值以下的快门速度。
但是,在专利文献1所记载的识别装置中,并未考虑所生成的拍摄数据的图像缺失的比例与拍摄时的快门速度相应地发生变动的情况。
本公开的目的在于提供能够选择所生成的拍摄数据的图像缺失的比例为预定的阈值以下的快门速度的识别装置以及识别方法。
用于解决课题的技术方案
为了实现上述目的,本公开的识别装置对向基板装配的元件的预定的特征部的状态进行识别,识别装置具备:光源,向包括预定的特征部在内的元件照射光;拍摄装置,拍摄接收到光源所照射的光的元件;以及图像分析装置,对由拍摄装置拍摄并从拍摄装置取得的拍摄数据进行图像分析,识别元件的预定的特征部的状态,图像分析装置执行如下处理:指示处理,指示拍摄装置一边使其快门速度在预定的下限速度与预定的上限速度之间变动一边进行元件的拍摄;计算处理,比较根据指示处理从拍摄装置取得的多个拍摄数据中分别包含的预定的特征部的图像与作为理想数据的拍摄数据中包含的预定的特征部的理想图像,对于多个拍摄数据的各个拍摄数据计算预定的特征部的图像相对于理想图像缺失的缺失比例;检测处理,检测通过计算处理计算出的多个缺失比例中的、缺失比例为预定的第一阈值以下的拍摄数据;以及选择处理,选择通过检测处理检测出的拍摄数据的拍摄所使用的快门速度。
发明效果
根据本公开,能够选择所生成的拍摄数据的图像缺失的比例为预定的第一阈值以下的快门速度。
附图说明
图1是表示本公开的一个实施方式所涉及的元件安装机的整体的俯视图。
图2是表示应用了识别装置的元件安装机的控制装置的框图。
图3是表示吸嘴与测定单元的位置关系的示意图。
图4是表示形状测定所得的电子元件的检查面的图。
图5是将以不同的快门速度拍摄到的拍摄数据中的、相当于图4中的区域A的部分放大的图。
图6是表示图2中的图像分析部执行的快门速度选择处理的步骤的流程图。
图7是表示图6的快门速度选择处理的后续步骤的流程图。
具体实施方式
以下,基于附图详细说明本公开的实施方式。图1表示元件安装机1。元件安装机1是用于执行电子元件相对于电路基板70的安装作业的装置。如图1所示,元件安装机1具备基板搬运装置10、元件供给装置20、元件移载装置30、元件相机41、基板相机42、识别装置50以及控制装置60。在以下的说明中,将元件安装机1的水平宽度方向(图1的左右方向)设为X轴方向,将元件安装机1的水平长度方向(图1的上下方向)设为Y轴方向,将与X轴以及Y轴垂直的铅垂方向(图1的前后方向)设为Z轴方向。
基板搬运装置10由带式传送机等构成,将电路基板70向搬运方向依次搬运。基板搬运装置10将电路基板70定位于元件安装机1的机内的预定的位置。并且,基板搬运装置10在执行元件安装机1的安装处理之后,将电路基板70向元件安装机1的机外搬出。
元件供给装置20供给向电路基板70装配的电子元件。元件供给装置20具有在X轴方向上并排配置的多个插槽。供料器21可拆装地分别设置于多个插槽。元件供给装置20通过供料器21输送并移动载带,在位于供料器21的前端侧(图1的上侧)的取出部供给电子元件。
另外,元件供给装置20将例如引线元件等比较大型的电子元件以在托盘22上并排的状态供给。元件供给装置20在沿上下方向划分的收纳搁板23收纳多个托盘22,根据安装处理而抽出预定的托盘22并供给引线元件等电子元件。
元件移载装置30构成为能够在X轴方向以及Y轴方向上移动。元件移载装置30从元件安装机1的长度方向的后部侧(图1的上侧)配置到前部侧的元件供给装置20的上方。元件移载装置30具备头驱动装置31、移动台32以及装配头33。头驱动装置31构成为能够通过直动机构使移动台32在XY轴方向上移动。
装配头33是能够拆装地设于头驱动装置31的移动台32并保持电子元件的保持装置。另外,装配头33支撑能够拆装地设于多个喷嘴保持器的多个吸嘴34(参照图3)。装配头33以能够绕与Z轴平行的R轴旋转且能够升降的方式分别支撑吸嘴34。
吸嘴34各自被控制相对于装配头33的升降位置(Z轴方向位置)、角度、负压的供给状态。吸嘴34通过被供给负压来吸附并保持在供料器21的取出部中供给的电子元件以及由托盘22供给的电子元件。通过这样的结构,本实施方式的装配头33通过吸附来保持电子元件。
元件相机41以及基板相机42是具有CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等拍摄元件的数字式的拍摄装置。元件相机41以及基板相机42基于连接为能够通信的控制装置60的控制信号进行纳入相机视野的范围的拍摄,将通过该拍摄取得的拍摄数据向控制装置60送出。
元件相机41以使光轴成为铅垂方向(Z轴方向)的方式固定于元件安装机1的基台,构成为能够从元件移载装置30的下方进行拍摄。更具体而言,元件相机41构成为能够拍摄保持于吸嘴34的状态下的电子元件的下表面。详细而言,元件相机41的透镜单元被设定为焦点聚焦于距拍摄元件为一定距离的对象物。另外,元件相机41的透镜单元的相机视野被设定为将装配头33所支撑的全部吸嘴34纳入的大小。
基板相机42以使光轴朝向铅垂方向(Z轴方向)下方的方式设于元件移载装置30的移动台32。基板相机42构成为能够拍摄电路基板70。从该基板相机42取得了拍摄数据的控制装置60通过图像处理来识别例如附加于基板的定位标记,从而识别基板搬运装置10对电路基板70的定位状态。并且,控制装置60根据电路基板70的定位状态来修正移动台32的位置,以进行电子元件的装配的方式控制安装处理。
识别装置50测定被设定于电子元件的测定点的三维位置(由三维坐标表示的空间位置)。此外,由于识别装置50构成为包括接下来的控制装置60中包含的图像分析部62,因此关于识别装置50的详细说明见后述。
控制装置60主要由CPU、各种存储器、显示器、控制电路构成。控制装置60基于通过元件相机41以及基板相机42的拍摄而取得的拍摄数据、后述的识别装置50对电子元件的适当与否的判定结果,控制向电路基板70安装电子元件的安装处理。如图2所示,控制装置60经由总线在安装控制部61、图像分析部62以及存储装置66连接有输入输出接口67。在输入输出接口67连接有马达控制电路68以及拍摄控制电路69。
安装控制部61经由马达控制电路68控制装配头33的位置、吸附机构的动作。更详细而言,安装控制部61输入从多个设于元件安装机1的各种传感器输出的信息、各种识别处理的结果。并且,安装控制部61基于存储于存储装置66的控制程序、各种传感器的信息、图像处理、识别处理的结果,向马达控制电路68发送控制信号。由此,控制由装配头33支撑的吸嘴34的位置以及旋转角度。
由于图像分析部62构成后述的识别装置50,因此详细说明识别装置50的结构。存储装置66由硬盘装置等光学驱动装置、或者闪存等构成。在该存储装置66中存储有用于使元件安装机1动作的控制程序、经由总线、通信线缆从元件相机41以及基板相机42转送到控制装置60的拍摄数据、识别装置50的图像处理的临时数据等。输入输出接口67介于CPU、存储装置66与各控制电路68、69之间,调整数据形式的转换、信号强度。
马达控制电路68被用于基于安装控制部61的控制信号对元件移载装置30设置的各轴马达的控制。由此,装配头33在各轴方向上被定位。另外,通过该各轴的马达的控制,预定的吸嘴34的升降位置(Z轴方向位置)以及旋转角度被分度。
拍摄控制电路69基于控制装置60发送的拍摄的控制信号,控制元件相机41、基板相机42以及识别装置50的测定相机53的拍摄。另外,拍摄控制电路69取得元件相机41、基板相机42以及测定相机53的拍摄所得的拍摄数据,并经由输入输出接口67存储于存储装置66。
识别装置50是判定电子元件适当与否的装置。在本实施方式中,识别装置50以构成元件安装机1的一部分的方式被组装。识别装置50将通过吸附而保持于元件移载装置30的吸嘴34的电子元件作为适当与否判定的对象。
在此,作为识别装置50适当与否判定的对象的电子元件是具有元件主体以及多个电极部的电子元件。电子元件的电极部设于元件主体,在电子元件载置于电路基板70上之后,与电路基板70的焊盘电连接。具体而言,电极部是引线元件的引线或者芯片元件的突起状的端子。以下,说明适当与否判定的对象的电子元件80是上述引线元件的情况。
如图3所示,电子元件80具有元件主体81和相当于多个电极部的引线82。在此,将保持于装配头33的电子元件80中的朝向与装配头33侧相反的一侧(铅垂方向的下侧)的元件主体81的外表面以及多个引线82的外表面定义为“检查面”。即,如图3所示,在电子元件80以适当的姿势通过吸附而被保持的状态下、即元件主体81的主体上表面成为被吸嘴34吸附的吸附面81a的状态下,元件主体81的主体下表面81b以及引线82的引线下表面82a是“检查面”。另一方面,在电子元件80被上下相反地保持的状态下、即主体下表面81b成为吸附面的状态下,元件主体81的主体上表面以及引线82的引线上表面成为“检查面”。
识别装置50测定被设定于电子元件80的测定点的三维位置。在本实施方式中,识别装置50通过测定由三维坐标表示的检查面的立体形状(以下,也简称为“立体形状”)来测定各个测定点的三维位置。
识别装置50具有:取得用于测定立体形状的拍摄数据的两个投影仪51、52以及测定相机53;以及构成控制装置60的一部分的图像分析部62(参照图2)。两个投影仪51、52以及测定相机53固定于元件安装机1的基台。两个投影仪51、52是配置于以测定相机53的光轴为中心偏离90°的位置,并向成为立体形状的测定对象的对象物投影预先确定的图案光的装置。
两个投影仪51、52分别通过狭缝或者透过型的液晶等生成预定的图案光,通过投影透镜将该图案光投影到对象物上。在本实施方式中,由投影仪51、52投影的图案光由亮度呈正弦波状变化的条纹状构成。
与元件相机41同样地,测定相机53是具有拍摄元件的数字相机。如图3所示,测定相机53以在图案光的排列方向上与投影仪51(52)分离预定距离Lp的方式配置,拍摄投影到对象物的图案光。测定相机53基于连接为能够通信的控制装置60的控制信号进行拍摄,将通过该拍摄取得的拍摄数据向控制装置60发送。
图像分析部62基于通过测定相机53的拍摄而取得的多个拍摄数据来测定对象物的立体形状。在本实施方式中,图像分析部62使用与各图案光分别相对应的多个拍摄数据,通过相移法测量对象物的立体形状。此外,由于相移法是公知的,因此省略其具体的方法的说明。
图4表示被图像分析部62可视化的电子元件80的立体形状,通过各部位的亮度(图4中的浓淡)来表示该部位的高度(Z坐标)。图5是将相当于图4的电子元件80的立体形状的区域A的部分放大的图。并且,图5的(a)和图5的(b)不同点在于基于以不同的快门速度拍摄所得的拍摄数据而被可视化。在图5的(a)以及图5的(b)中,由单点划线包围的区域82a11~82a14以及82a21~82a24分别是区域A1以及A2中包含的四根引线82的各下表面82a的可视化像存在的区域。即,理想的是,四根引线82的各下表面82a的可视化像遍及区域82a11~82a14以及82a21~82a24内的全部区域而存在。但是,无论是在图5的(a)的区域82a11~82a14中还是在图5的(b)的区域82a21~82a24中,四根引线82的各下表面82a的可视化图像都没有遍及全部区域而存在,而是产生了图像的缺失。但是,图5的(b)的区域82a21~82a24中的图像的缺失比例比图5的(a)的区域82a11~82a14中的图像的缺失比例小。该图像的缺失比例根据拍摄作为基础的拍摄数据时的快门速度而发生变动。并且,由于图像的缺失比例越小,图像识别的精度越高,因此要求选择图像的缺失比例最小的快门速度。
图6以及图7表示图像分析部62、特别是上述CPU执行的快门速度选择处理的步骤。以下,在各处理的步骤的说明中,将步骤标记为“S”。快门速度选择处理在开始元件的安装之前、变更要安装的元件时、或者包括测定相机53的识别装置50发生了经年变化时等适当地被执行。
在图6中,首先,CPU将测定相机53的快门速度设定为初始值(S10)。在本实施方式中,由于指示一边使快门速度在预定的下限速度与预定的上限速度之间多阶段地变动一边进行元件的拍摄,因此初始值例如是预定的下限速度。预定的下限速度可以是能够由测定相机53设定的最慢的快门速度,也可以不是最慢的快门速度而是比其快的快门速度。此外,在处理进入S10之前、即在执行快门速度选择处理之前、或者在刚完成S10的处理后,CPU通过吸嘴34吸附作为测定对象的电子元件80,并将装配头33在各轴方向上定位,从而使电子元件80移动到测定相机53的上方的测定位置。
接着,CPU以所设定的快门速度指示测定相机53拍摄(S12)。根据该指示,测定相机53以所设定的快门速度拍摄电子元件80的检查面,CPU从测定相机53取得所生成的拍摄数据,并在二值化后,保存于上述存储装置66(参照图2)(S14)。从测定相机53取得的拍摄数据各像素每个例如具有0~255中的任一整数值即亮度值。二值化是指将超过预定的阈值的亮度值的像素设为“1”,将预定的阈值以下的亮度值的像素设为“0”的处理。二值化后,将成为“0”的像素判断为缺失的像素,将成为“1”的像素判断为没有缺失的像素。由此,缺失的像素的判断相较于对二值化前的拍摄数据的判断变得更容易。此外,在S14中,二值化对象的拍摄数据是从测定相机53直接取得的拍摄数据,但是实际上是表示基于从测定相机53直接取得的拍摄数据而可视化后的立体形状的数据。这样记载的理由是为了不使说明复杂化。
接着,CPU判断是否结束测定相机53的拍摄(S16)。该判断是通过判断是否将快门速度变更到上述预定的上限速度来进行的。在该判断中,在未将快门速度变更到预定的上限速度的情况下,即,在未结束测定相机53的拍摄的情况下(S16:否),CPU将当前的快门速度变更为增大了预定的步长后的快门速度(S18),并且使处理返回到上述S12。之后,CPU直到快门速度达到规定的上限速度为止持续进行如下处理:一边依次变更快门速度(S18),一边指示测定相机53拍摄(S12),与此相应地将从测定相机53取得的拍摄数据二值化之后,保存于存储装置66(S14)。并且,当快门速度达到预定的上限速度时,CPU判断为结束测定相机53的拍摄(S16:是),使处理进入S20。此外,在上述S18中增大的预定的步长可以从上述预定的下限速度至上述预定的上限速度保持恒定,也可以在中途分为几个阶段而发生变动。
在S20中,CPU从存储装置66读出在上述S14中保存的二值化后的多个拍摄数据中的一个拍摄数据。在接下来的S22中,CPU比较读出的拍摄数据的特征部的图像与作为理想数据的拍摄数据的特征部的图像。这里,作为比较对象的作为理想数据的拍摄数据当然是将作为理想数据的拍摄数据二值化所得的数据。并且,在本实施方式中,特征部是上述检查面中的欲进行高度测定的部分,具体而言,是各引线82的下表面82a。若测定对象的电子元件80及其检查面确定,且测定相机53的上方的电子元件80的测定位置确定,则从测定相机53取得的拍摄数据中的特征部的坐标、大小等确定特征部的信息确定。因而,若将确定拍摄数据中的特征部的信息预先存储在存储装置66中,则在S22中,CPU基于读出的信息确定拍摄数据的特征部,能够容易地比较读出的拍摄数据中的确定出的特征部中包含的图像和作为理想数据的拍摄数据中的确定出的特征部中包含的图像。
接着,CPU计算读出的拍摄数据中的确定出的特征部中包含的图像相对于作为理想数据的拍摄数据中的确定出的特征部中包含的图像缺失的比例(S24)。当前,处理对象的拍摄数据为图5的(a)所示的拍摄数据。但是,在图5的(a)中仅示出了全部拍摄数据中的一部分区域A1中包含的拍摄数据。在图5的(a)中,确定出的特征部为区域82a11~82a14。在图5的(a)中,拍摄数据中包含的浓的部分即图像未缺失的部分相当于二值化后的“1”,薄的部分即图像缺失的部分相当于二值化后的“0”,因此各区域82a11~82a14中的图像的缺失比例被计算为20%~50%之间的值。此外,确定出的特征部不仅遍及区域82a11~82a14,还遍及相当于全部引线82的各下表面82a的整个区域,因此针对全部区域各自计算缺失比例。在这样确定出的特征部遍及拍摄数据内的多个区域的情况下,按每个区域计算缺失比例,因此能够计算多个缺失比例。在计算出多个缺失比例的情况下,在本实施方式中,CPU还计算所计算出的多个缺失比例的平均值。
接着,CPU将计算出的缺失比例保存于存储装置66(S26)。此时,在存在多个计算出的缺失比例的情况下,如上述那样计算出其平均值,在S26中,CPU保存计算出的缺失比例的平均值。另外,与缺失比例建立对应地也一起保存作为该缺失比例的计算基础的拍摄数据的快门速度。
接着,CPU判断是否针对所保存的全部拍摄数据计算出缺失比例(S28)。在该判断中,在尚未计算出缺失比例的拍摄数据还残留于存储装置66的情况下(S28:否),CPU在将读出对象的拍摄数据变更为下一个拍摄数据(S30)之后,使处理返回到上述S20。之后,CPU直到保存于存储装置66的拍摄数据消失为止持续进行如下处理:一边依次变更读出对象的拍摄数据(S30),一边读出拍摄数据(S20),计算基于所读出的拍摄数据而确定出的特征部的缺失比例(S22、S24),将计算出的缺失比例保存于存储装置66(S26)。并且,若在存储装置66内没有未计算缺失比例的拍摄数据(S28:是),则CPU使处理进入图7的S40。
在S40中,CPU检测保存于存储装置66的多个缺失比例中的、最小的缺失比例。图5的(b)示出了以如上所述与图5的(a)不同的快门速度拍摄到的拍摄数据。由于图5的(b)的各区域82a21~82a24中的图像的缺失比例被计算为几%~10%之间的值,因此若拍摄数据中的除了区域82a21~82a24以外的确定出的特征部的图像的缺失比例也存在同样的倾向,则拍摄数据中的确定出的特征部的图像的缺失比例(的平均值)比图5的(a)的关于拍摄数据的缺失比例(的平均值)小。这样,由于根据拍摄数据确定出的特征部的图像的缺失比例发生变动,因此能够检测最小的缺失比例。
接着,CPU判断检测出的最小的缺失比例是否为预定值(“预定的第二阈值”的一个例子)以上(S42)。预定值是指图像分析部62为了基于拍摄数据而进行确定出的特征部的图像分析而能够允许的特征部的图像的缺失比例的最大值。因而,在S42中,即使特征部的图像的缺失比例最小,CPU也判断是否超过用于进行该特征部的图像分析的允许范围。在S42的判断中,在检测出的最小的缺失比例小于预定值的情况下(S42:否),即在特征部的图像的缺失比例的最小值处于用于进行该特征部的图像分析的允许范围内的情况下,CPU选择拍摄了计算出最小缺失比例的拍摄数据时的快门速度(S44)。如上所述,在存储装置66中也与计算出的缺失比例建立对应地保存有快门速度,因此在S44中,CPU读出并选择与检测出的最小的缺失比例建立了对应的快门速度。所选择的快门速度作为开始了元件的安装时的测定相机53的快门速度而存储于存储装置66。在S44的处理后,CPU结束快门速度选择处理。
另一方面,在S42的判断中,在检测出的最小的缺失比例为预定值以上的情况下(S42:是),即在特征部的图像的缺失比例的最小值超过了用于进行该特征部的图像分析的允许范围的情况下,CPU为了对操作者警告这一情况而进行通知(S46)。警告的通知例如通过使识别装置50中包含的上述显示器显示警告文字来进行。此外,也可以通过发出声音来进行警告。另外,也可以通过显示和声音同时进行警告。
接着,CPU对操作者询问是否变更条件并再次实施来自上述S12的处理(S48)。询问方法与上述S46的警告的通知同样,考虑显示于显示器的方法、发出声音的方法、以及进行显示和发声这两者的方法等。对于S48的询问,在操作者拒绝了变更条件后的再次实施的情况下(S48:否),CPU结束快门速度选择处理。另一方面,在操作者同意了变更条件后的再次实施的情况下(S48:是),CPU在根据操作者的指示变更了条件(S50)之后,使处理返回到上述S12(图6)。条件的变更具体而言考虑将上述预定的下限速度以及上述预定的上限速度变更为其他预定值、将在上述S18中增大的预定的步长变更为其他预定值、变更照明强度、照明角度等照明条件等。
如以上说明的那样,本实施方式的识别装置50是对向电路基板70装配的电子元件80的各引线82的下表面82a的状态进行识别的识别装置。识别装置50具备:投影仪51、52,向包含各引线82的下表面82a的电子元件80照射光;测定相机53,拍摄接收到投影仪51、52所照射的光的电子元件80;以及图像分析部62,对由测定相机53拍摄并从测定相机53取得的拍摄数据进行图像分析,识别电子元件80的各引线82的下表面82a的状态。并且,图像分析部62执行如下处理:指示处理(S10~S18),指示测定相机53一边使其快门速度在预定的下限速度与预定的上限速度之间多阶段地变动一边进行电子元件80的拍摄;计算处理(S20~S30),比较根据指示处理从测定相机53取得的多个拍摄数据中分别包含的各引线82的下表面82a的图像与作为理想数据的拍摄数据中包含的各引线82的下表面82a的理想图像,对于多个拍摄数据的各个拍摄数据计算各引线82的下表面82a的图像相对于理想图像缺失的缺失比例;检测处理(S40),检测通过计算处理计算出的多个缺失比例中的、最小缺失比例的拍摄数据;以及选择处理(S44),选择在通过检测处理检测出的拍摄数据的拍摄中已使用的快门速度。
这样,在本实施方式的识别装置50中,能够选择所生成的拍摄数据的图像缺失的比例最小的快门速度。另外,快门速度的选择是自动进行的,因此能够节省操作者自身选择快门速度的麻烦。操作者能够将因此空闲的时间用于做其他事,因此能够进一步有效利用时间。而且,通过自动地选择快门速度,快门速度的选择不会因每个操作者而发生偏差,是稳定的。
顺便说一下,在本实施方式中,电路基板70是“基板”的一个例子。投影仪51、52是“光源”的一个例子。测定相机53是“拍摄装置”的一个例子。电子元件80是“元件”的一个例子。各引线82的下表面82a是“预定的特征部”的一个例子。图像分析部62是“图像分析装置”的一个例子。
此外,在本实施方式中,在上述S40中检测最小的缺失比例,在上述S44中选择拍摄了计算出最小缺失比例的拍摄数据时的快门速度,但是并不局限于此。也可以基于能够允许的缺失比例,预先确定缺失比例的阈值(“预定的第一阈值”的一个例子),选择拍摄了缺失比例为预定的阈值以下的拍摄数据时的快门速度。此时,若在某拍摄数据中计算出为预定的阈值以下,则也可以选择拍摄了该拍摄数据时的快门速度,中止对其余拍摄数据的检测处理。
另外,在本实施方式中,指示一边使快门速度在预定的下限速度与预定的上限速度之间多阶段地变动一边进行元件的拍摄,在结束了全部阶段的拍摄之后,执行检测处理,但是并不局限于此。也可以在以某个快门速度进行了拍摄之后,对该拍摄数据进行上述S22~S26的处理,之后,指示下一个快门速度下的拍摄。此时,也可以在以某个快门速度进行了拍摄之后,计算该拍摄数据的缺失比例,若检测出该缺失比例为预定的阈值以下,则选择拍摄了该拍摄数据时的快门速度,中止其余阶段的快门速度下的拍摄,若检测出该缺失比例比预定的阈值大,则指示下一阶段的快门速度下的拍摄。
此外,本发明并不限定于上述实施方式,在不脱离其主旨的范围内能够进行各种变更。
(1)在上述实施方式中,识别装置50包含在元件安装机1中,但是并不局限于此,识别装置50中的、至少图像分析部62也可以设于元件安装机1的外部。具体而言,例如可考虑在元件安装机1连接PC,由PC执行图像分析部62执行的上述快门速度选择处理(图6以及图7)。
(2)在上述实施方式中,作为识别装置50识别的对象的元件是元件安装机1实际向电路基板70安装的电子元件80,作为识别装置50图像识别的基础的拍摄数据是在安装电子元件80的过程中由测定相机53拍摄到的数据。但是并不局限于此,也可以使用在未组装于安装线的外部的元件数据生成装置所设置的拍摄装置,取得被设于元件数据生成装置的喷嘴吸附的元件的拍摄数据,设于元件数据生成装置内的识别装置(或者连接于元件数据生成装置的其他装置)进行图像分析。
(3)在上述实施方式中,作为计算图像的缺失比例的特征部,采用了电子元件80所具备的各引线82的下表面82a,但是当然并不局限于此。
(4)在上述实施方式中,识别装置50用于图像识别的图像是通过相移法可视化后的三维图像,但是用于三维图像可视化的方法并不局限于相移法。另外,并不局限于三维图像,也可以是二维图像、即从测定相机53取得的拍摄数据本身。
附图标记说明
1、元件安装机;33、装配头;34、吸嘴;50、识别装置;51、52、投影仪;53、测定相机;60、控制装置;61、安装控制部;62、图像分析部;66、存储装置;67、输入输出接口;68、马达控制电路;69、拍摄控制电路;70、电路基板;80、电子元件;82、引线;82a、下表面。

Claims (5)

1.一种识别装置,对向基板装配的元件的预定的特征部的状态进行识别,
所述识别装置具备:
光源,向包括所述预定的特征部的所述元件照射光;
拍摄装置,拍摄接收到所述光源所照射的光的所述元件;以及
图像分析装置,对由所述拍摄装置拍摄并从所述拍摄装置取得的拍摄数据进行图像分析,识别所述元件的所述预定的特征部的状态,
所述图像分析装置执行如下处理:
指示处理,指示所述拍摄装置一边使其快门速度在预定的下限速度与预定的上限速度之间变动一边进行所述元件的拍摄;
计算处理,比较根据所述指示处理从所述拍摄装置取得的多个拍摄数据中分别包含的所述预定的特征部的图像与作为理想数据的拍摄数据中包含的所述预定的特征部的理想图像,对于所述多个拍摄数据的各个拍摄数据来分别计算所述预定的特征部的图像相对于所述理想图像缺失的缺失比例;
检测处理,检测通过所述计算处理计算出的多个缺失比例中的、缺失比例为预定的第一阈值以下的拍摄数据;以及
选择处理,选择通过所述检测处理检测出的拍摄数据的拍摄所使用的快门速度。
2.根据权利要求1所述的识别装置,其中,
所述图像分析装置执行以下的警告通知处理:在对于通过所述检测处理检测出的拍摄数据通过所述计算处理计算出的缺失比例为预定的第二阈值以上的情况下,通知警告。
3.根据权利要求1或2所述的识别装置,其中,
所述图像分析装置执行对从所述拍摄装置取得的所述拍摄数据进行二值化的二值化处理,
在所述计算处理中,比较通过所述二值化处理而二值化后的拍摄数据中包含的所述预定的特征部的图像与二值化后的作为理想数据的拍摄数据中包含的所述预定的特征部的理想图像,计算所述预定的特征部的图像相对于所述理想图像缺失的缺失比例。
4.根据权利要求1~3中任一项所述的识别装置,其中,
所述图像分析装置执行基于从所述拍摄装置取得的所述拍摄数据来生成三维图像的三维图像生成处理,对通过所述三维图像生成处理生成的三维图像进行图像分析,识别所述元件的所述预定的特征部的状态。
5.一种识别方法,对向基板装配的元件的预定的特征部的状态进行识别,
所述识别方法包括以下的图像分析工序:对由拍摄装置拍摄并从所述拍摄装置取得的拍摄数据进行图像分析,识别所述元件的所述预定的特征部的状态,所述拍摄装置对接收到光源所照射的光的所述元件进行拍摄,所述光源对包含所述预定的特征部的所述元件照射光,
在所述图像分析工序中执行如下处理:
指示处理,指示所述拍摄装置一边使其快门速度在预定的下限速度与预定的上限速度之间变动一边进行所述元件的拍摄;
计算处理,比较根据所述指示处理从所述拍摄装置取得的多个拍摄数据中分别包含的所述预定的特征部的图像与作为理想数据的拍摄数据中包含的所述预定的特征部的理想图像,对于所述多个拍摄数据的各个拍摄数据来分别计算所述预定的特征部的图像相对于所述理想图像缺失的缺失比例;
检测处理,检测通过所述计算处理计算出的多个缺失比例中的、缺失比例为预定的第一阈值以下的拍摄数据;以及
选择处理,选择通过所述检测处理检测出的拍摄数据的拍摄所使用的快门速度。
CN202180098155.1A 2021-06-25 2021-06-25 识别装置以及识别方法 Pending CN117280885A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024178 WO2022269912A1 (ja) 2021-06-25 2021-06-25 認識装置及び認識方法

Publications (1)

Publication Number Publication Date
CN117280885A true CN117280885A (zh) 2023-12-22

Family

ID=84543963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098155.1A Pending CN117280885A (zh) 2021-06-25 2021-06-25 识别装置以及识别方法

Country Status (5)

Country Link
US (1) US20240265662A1 (zh)
JP (1) JP7562858B2 (zh)
CN (1) CN117280885A (zh)
DE (1) DE112021007882T5 (zh)
WO (1) WO2022269912A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105209891B (zh) 2013-05-13 2018-04-27 富士机械制造株式会社 元件安装机
EP3512323B1 (en) 2016-09-07 2021-06-16 Fuji Corporation Recognition device
JP6859356B2 (ja) 2016-09-26 2021-04-14 株式会社Fuji 照明条件特定装置及び照明条件特定方法

Also Published As

Publication number Publication date
DE112021007882T5 (de) 2024-04-18
JP7562858B2 (ja) 2024-10-07
WO2022269912A1 (ja) 2022-12-29
JPWO2022269912A1 (zh) 2022-12-29
US20240265662A1 (en) 2024-08-08

Similar Documents

Publication Publication Date Title
JP6684792B2 (ja) 実装装置、撮像処理方法及び撮像ユニット
JP6571116B2 (ja) 検査支援装置
CN108702867B (zh) 安装装置及拍摄处理方法
JP6271514B2 (ja) 生産設備
JPWO2019064428A1 (ja) 部品実装装置、撮影方法、実装順序の決定方法
JP5755502B2 (ja) 位置認識用カメラ及び位置認識装置
JP6475165B2 (ja) 実装装置
JPWO2020003384A1 (ja) 平坦度取得システムおよび実装機
CN117280885A (zh) 识别装置以及识别方法
JP6715714B2 (ja) 検査支援装置および検査支援方法
JP6338169B2 (ja) 認識装置、認識方法、実装装置及び実装方法
JP4901451B2 (ja) 部品実装装置
CN106937525B (zh) 图像生成装置、安装装置及图像生成方法
JP7017723B2 (ja) 検査方法
WO2024111022A1 (ja) 部品外観検査装置及び部品外観検査方法
CN109257922B (zh) 电子部件安装装置及电子部件安装方法
WO2024189795A1 (ja) 部品実装機
WO2022107286A1 (ja) 画像処理装置、実装装置、実装システム、画像処理方法及び実装方法
JP6670410B2 (ja) 検査支援装置および検査支援方法
JP7271738B2 (ja) 撮像ユニット
EP3767938B1 (en) Image-capturing unit and component-mounting device
JPH08167800A (ja) 部品実装装置
JP2022080510A (ja) 部品実装システム及び部品の実装状態判定方法
JP4597003B2 (ja) 部品の画像取得方法及び装置
CN117222861A (zh) 测定装置及基板检查装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination