CN115211245A - 图像处理装置及安装装置、图像处理方法 - Google Patents
图像处理装置及安装装置、图像处理方法 Download PDFInfo
- Publication number
- CN115211245A CN115211245A CN202080097703.4A CN202080097703A CN115211245A CN 115211245 A CN115211245 A CN 115211245A CN 202080097703 A CN202080097703 A CN 202080097703A CN 115211245 A CN115211245 A CN 115211245A
- Authority
- CN
- China
- Prior art keywords
- image
- chamber
- image processing
- component
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/02—Feeding of components
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/04—Mounting of components, e.g. of leadless components
- H05K13/0417—Feeding with belts or tapes
- H05K13/0419—Feeding with belts or tapes tape feeders
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
- H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Supply And Installment Of Electrical Components (AREA)
Abstract
对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理的图像处理装置具备:特征量取得部,使用图像来提取能够包含腔室的底面和腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及判定部,根据基于在腔室内有元件的情况和无元件的情况的各自的特征量而确定的判定用的阈值和从图像取得的特征量来判定腔室内有无元件。
Description
技术领域
本说明书公开图像处理装置及安装装置、图像处理方法。
背景技术
以往,提出了拍摄设置有多个收纳元件的腔室的带的图像且基于从图像取得的特征量来判定腔室内有无元件等的装置(例如,参照专利文献1)。在该装置中,作为特征量而算出各像素的辉度的平均值,对该平均值与基于元件的主体部分的辉度而设定的阈值或基于腔室的辉度而设定的阈值进行比较来判定有无元件。由此,防止由元件的吸附失误引起的重试动作的反复,掌握带的元件用尽。
现有技术文献
专利文献1:日本特开2014-072409号公报
发明内容
发明所要解决的课题
在此,元件的主体部等的辉度根据每个元件种类而不同,因此,在上述的装置中,需要针对每个元件种类设定阈值而处理有时变得繁杂。另外,即使是相同的元件种类,辉度也可能因拍摄条件而变化,所以在与基于主体部分的辉度的阈值或基于腔室的辉度的阈值进行比较的结构中,也有可能因拍摄条件的不同而进行误判定。
本公开的主要目的在于高精度地判定腔室内有无元件。
用于解决课题的手段
本公开为了达成上述的主要目的而采用了以下的手段。
本公开的图像处理装置对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,其主旨在于,上述图像处理装置具备:
特征量取得部,使用上述图像来提取能够包含上述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及
判定部,根据基于在上述腔室内有元件的情况和无元件的情况的各自的上述特征量而确定的判定用的阈值和从上述图像取得的上述特征量来判定上述腔室内有无元件。
本公开的图像处理装置取得表示从图像的预定范围提取出的辉度的不均的值作为特征量,根据基于在腔室内有元件的情况和无元件的情况的各自的特征量而确定的判定用的阈值和从图像取得的特征量来判定腔室内有无元件。在此,若在腔室内有元件,则在预定范围内拍到腔室的底面和元件,因此辉度的不均较大,若无元件,则在预定范围内仅拍到腔室的底面,因此辉度的不均较小。因此,从图像取得的特征量虽然元件种类和拍摄条件等不同,但因腔室内有无元件的不同而出现相同的倾向。因此,即使元件种类或拍摄条件等改变,也能够高精度地判定腔室内有无元件。
附图说明
图1是安装装置10的概略结构图。
图2是供料器20的概略结构图。
图3是示出与安装装置10的控制相关的结构的框图。
图4是示出识别器38的一例的说明图。
图5是示出特征量学习处理的一例的流程图。
图6是示出有元件图像的一例的说明图。
图7是示出无元件图像的一例的说明图。
图8是示出元件的有无与特征量之间的关系的一例的说明图。
图9是示出有无元件判定处理的一例的流程图。
图10是示出使图像标准化的情形的一例的说明图。
具体实施方式
接着,关于用于实施本公开的方式,一边参照附图一边进行说明。图1是安装装置10的概略结构图。图2是供料器20的概略结构图。图3是示出与安装装置10的控制相关的结构的框图。另外,在本实施方式中,图1中的左右方向是X轴方向,前后方向是Y轴方向,上下方向是Z轴方向。
如图1所示,安装装置10具备:供给元件P的供料器20、输送基板S的基板输送装置12、利用吸嘴15吸附元件P并向基板S上安装的头14及使头14在XY方向上移动的移动机构16。另外,安装装置10具备:能够从上方拍摄附设于基板S的各种标记和供料器20等的标记相机18、能够从下方拍摄吸附于吸嘴15的元件P等的零件相机19及掌管安装装置10整体的控制的控制装置30(参照图3)。头14具有一个或多个吸嘴15。吸嘴15通过未图示的Z轴电动机而在上下方向上进行升降。
供料器20具备卷绕有带22的未图示的带盘,相对于安装装置10由未图示的更换装置或作业者以可拆装的方式安装。带22沿着带22的进给方向(长度方向)形成有多个用于收容元件P的凹状的腔室24。另外,带22形成有多个与形成于未图示的链轮的外周的链轮齿卡合的进给孔23。供料器20通过驱动电动机21(参照图3)而使链轮间歇性地旋转,从而将带22每次以预定量向Y方向后方(进给方向)间歇性地送出,而将元件P供给至头14(吸嘴15)能够拾取的元件供给位置。
控制装置30具备未图示的CPU、ROM、RAM、HDD等。如图3所示,控制装置30作为功能块而具备驱动各部分的驱动控制部32及处理由标记相机18和零件相机19拍摄到的图像的图像处理部34。驱动控制部32向供料器20的电动机21、基板输送装置12、头14、移动机构16、标记相机18、零件相机19等输出控制信号。向驱动控制部32输入来自供料器20的控制部的与元件P相关的各种信息、来自标记相机18的图像信号、来自零件相机19的图像信号等。来自标记相机18和零件相机19的图像信号由图像处理部34处理。另外,也可以是,图像信号直接输入至图像处理部34。另外,控制装置30与进行与安装处理相关的信息的管理的管理装置40经由通信网络而以能够双向通信的方式连接,相互进行数据和控制信号的交换。
图像处理部34具备识别器存储部36。识别器存储部36存储有用于判定带22的腔室24内有无元件P的多个识别器38。图4是示出识别器38的一例的说明图。如图所示,在本实施方式中,存储有与带22的种类即带种类和元件P的种类即元件种类建立了对应的多个识别器38。例如,存在与带种类T1和元件种类P1建立了对应的识别器38(1)及与带种类T1和元件种类P2建立了对应的识别器38(2)等。另外,作为带种类T1、T2、T3、…,可举出例如白色的纸带、黑色的压花带、透明的压花带等,因材质、颜色、透光性等的不同而图像内的辉度不同。另外,作为元件种类P1、P2、…,可举出例如方形芯片元件、凸块元件、引脚元件等,因材质、颜色、形状等的不同而图像内的辉度不同。各识别器38的制作例如通过如下的步骤进行:利用标记相机18拍摄带22(腔室24)的图像,并向管理装置40等计算机输出,学习使用该计算机的图像处理功能从图像提取出的特征量。该特征量和学习的详情后述。
管理装置40是通用的计算机,如图3所示,具备管理控制部42、键盘和鼠标等输入设备44、显示器46及HDD、SSD等存储部48。管理控制部42由CPU、ROM、RAM等构成,从输入设备44输入输入信号,输出针对显示器46的图像信号。存储部48存储有基板S的生产计划。基板S的生产计划是确定在安装装置10中将哪个元件P以何种顺序向基板S的安装面的哪个位置安装、制作几张安装有元件P的基板S等的计划。管理装置40以按照生产计划地安装元件P的方式向控制装置30输出指令信号,使安装装置10进行安装处理。
以下是这样构成的安装装置10的动作的说明。在此,说明与腔室24内有无元件的判定相关的处理。先说明制作识别器38时的学习处理后,说明使用了识别器38的有无元件的判定处理。图5是示出特征量学习处理的一例的流程图。该处理由管理装置40的管理控制部42执行,但也可以由其他计算机执行。
在该处理中,管理控制部42取得由标记相机18拍摄已经判明了有无元件P的腔室24而得到的多个图像Ga(S100)。在S100中,例如,取得拍摄未使用的带22等收容有元件P的腔室24而得到的有元件图像和拍摄全部的元件P被供给后的已使用的带22等未收容元件P的腔室24而得到的无元件图像。另外,设为各有元件图像是以相同的带种类及相同的元件种类为对象而拍摄到的,各无元件图像是以与有元件图像相同的带种类为对象而拍摄到的。另外,也可以一边依次取得拍摄到的图像Ga,一边并行地进行以下的处理。
接着,管理控制部42从一个图像Ga设定特征量的提取范围Ar(S105),并从设定的提取范围Ar提取各像素的辉度(S110)。接着,管理控制部42基于提取出的像素的辉度来取得最大辉度、最小辉度、平均辉度、对比度、辉度方差这五个特征量(S115)。对比度例如作为最大辉度与最小辉度之比而取得。辉度方差通过将各像素的辉度与平均辉度的偏差的平方总和除以像素数而取得。另外,管理控制部42也可以取代方差而取得标准偏差。另外,管理控制部42判定本次的图像Ga是否是有元件图像(S120),若判定为是有元件图像,则将S115的各特征量与有元件建立对应(S125),若判定为不是有元件图像而是无元件图像,则将S115的各特征量与无元件建立对应(S130)。
在此,图6是示出有元件图像的一例的说明图,图7是示出无元件图像的一例的说明图,图8是示出元件的有无与特征量之间的关系的一例的说明图。在S105中设定的提取范围Ar例如设为对元件P的矩形状的上表面尺寸在纵横各自的两侧加上了边距α的范围。边距α可以是恒定值,也可以是与元件P的尺寸成比例的值。另外,纵向和横向的边距α不限于相同的值,也可以是不同的值。提取范围Ar的中心位置例如以使与腔室24内的元件P由吸嘴15吸附时的中心位置24c(预定的供给位置)一致的方式确定。由此,即使元件P在腔室24内位置偏移,在图像内也包含元件P的上表面和腔室24的底面。
另外,在图6中,示出在元件P的主体Pb的两端设置有电极Pe的结构。因此,在有元件图像中,因各部分的光的反射的不同而辉度会产生不均,例如,存在电极Pe的辉度最高、主体Pb的辉度第二高、腔室24的底面的辉度最低的倾向。另外,有时也因带种类、元件种类而成为不同的倾向,但通常元件P的上表面和腔室24的底面的辉度不同,因此各像素的辉度容易产生不均。另一方面,如图7所示,在无元件图像中,在图像中仅拍到腔室24的底面,因此各像素的辉度以比较低的辉度成为均匀的辉度分布,存在辉度的不均较小的倾向。在黑色的压花带中,该倾向变得显著,在白色的纸带中也容易出现该倾向。不过,在透明的压花带中,处于带22的下方的供料器20的构成部件的反射光透过,因该构成部件的材质而辉度不同。即,透明的压花带与黑色的压花带、白色的纸带相比,由于干扰的影响而辉度的不均有时变大。
另外,在图8中,横轴取图像Ga的数量(数据数),纵轴取作为特征量之一的辉度方差,将有元件以黑圆图示,将无元件以白圆图示。由于存在在有元件的情况下与无元件的情况相比辉度容易产生不均的倾向,所以辉度方差在有元件的情况下成为比较大的值,在无元件的情况下成为比较小的值。另外,在图8中,出现了基于有无元件的不同的辉度方差的边界,能够基于该边界来确定用于判定有无元件的辉度方差的阈值Sref。
在特征量学习处理的S125、S130中将特征量与元件有无建立对应后,管理控制部42判定是否处理了全部的图像Ga(S135),若判定为存在未处理的图像Ga,则返回S105而进行处理。另一方面,管理控制部42若在S135中判定为处理了全部的图像Ga,则通过使用了与有无元件被建立了对应的特征量的机器学习来制作识别器38(S140)。机器学习通过例如SVM(支持向量机)或AdaBoost等对五个特征量以元件的有无进行分类并决定识别边界,制作基于该识别边界而设定有在有无元件的判定中使用的阈值的识别器38。
并且,管理控制部42将制作的识别器38与带种类和元件种类建立对应地储存于识别器存储部36(S145),并使特征量学习处理结束。另外,也可以是设为管理控制部42将多个识别器38预先存储于存储部48,在需要的情况下能够向图像处理部34发送而使用等。
接着,说明腔室24内有无元件的判定处理。图9是示出有无元件判定处理的一例的流程图。该处理在成为了有无元件的判定定时时由图像处理部34执行。另外,有无元件的判定定时对应于例如吸嘴15对元件P的吸附错误连续发生了预定次数的情况或新的供料器20被安设于安装装置10且送出带22直至收容有元件P的开头的腔室24为止的情况等。
在该处理中,图像处理部34首先判定是否已取得带种类和元件种类(S200)。图像处理部34若判定为不是已取得带种类和元件种类,则取得带种类(S205),并且取得元件种类(S210)。另外,S205、S210的处理例如通过利用未图示的操作面板等取得由作业者输入的带种类和元件种类来进行。或者,也可以取得经由与供料器20的控制部的通信而输入的带种类和元件种类。另外,图像处理部34也可以拍摄在带22中未形成腔室24的平面部分的图像,基于从该图像取得的像素的辉度和针对每个带种类预先取得的基准辉度来判定带种类。例如,图像处理部34能够从图像取得各像素的平均辉度,判定为平均辉度最接近基准辉度的带种类。
接着,图像处理部34取得利用标记相机18拍摄腔室24而得到的图像G(S215),从图像G设定特征量的提取范围Ar(S220)。该提取范围Ar是与特征量学习处理的S105相同的范围。接着,图像处理部34切出所设定的提取范围Ar的图像而变换为特定尺寸且进行平均化处理,从而进行标准化(S225)。图10是示出使图像标准化的情形的一例的说明图。如图所示,提取范围Ar的图像被变换为纵M个像素×横N个像素的特定尺寸的图像。因此,能够使作为处理对象的图像尺寸一致,使针对每个图像提取的像素数恒定。另外,在S225中,通过使用高斯滤波器或移动平均滤波器等滤波器来进行平均化处理,能够去除噪声。
接着,图像处理部34从特定尺寸的图像提取各像素的辉度(S230),基于提取出的像素的辉度来取得五个特征量即最大辉度、最小辉度、平均辉度、对比度及辉度方差(S235)。并且,图像处理部34使用与在S205、S210中取得的带种类和元件种类对应的识别器38,输入取得的各特征量来判定有无元件(S240),输出判定结果(S245),使有无元件判定处理结束。例如,在S205、S210中取得了带种类T2和元件种类P2的情况下,图像处理部34使用识别器38(12)来判定有无元件。
另外,在S245中,有无元件的判定结果向例如驱动控制部32和管理装置40等输出。驱动控制部32在元件P的吸附错误连续发生了预定次数的情况下,若判定为无元件P,则控制供料器20以进给带直到下一腔室24为止,若判定为有元件P,则控制头14以再次吸附元件P。另外,驱动控制部32若在新的供料器20被安设于安装装置10而正在送出带22的情况下判定为有元件P,则使带22的送出结束。另外,驱动控制部32也可以在未图示的操作面板等显示无元件的意思的信息。另外,在供料器20构成为相对于安装装置10由未图示的更换装置拆装的情况下,管理装置40接受无元件P的意思的判定结果,将该供料器20的更换指示向更换装置输出。因此,能够防止在还有元件P的情况下更换装置更换供料器20。
在此,明确本实施方式的构成要素与本公开的构成要素之间的对应关系。本实施方式的图像处理部34相当于本公开的图像处理装置,腔室24相当于腔室,带22相当于带,执行有无元件判定处理的S230、S235的图像处理部34相当于特征量取得部,执行有无元件判定处理的S240的图像处理部34相当于判定部。执行有无元件判定处理的S205的图像处理部34相当于带种类取得部。执行有无元件判定处理的S210的图像处理部34相当于元件种类取得部。另外,供料器20相当于供料器,安装装置10相当于安装装置,标记相机18相当于拍摄装置。另外,本实施方式通过说明图像处理部34的动作而也明确本公开的图像处理方法的一例。
在以上说明的安装装置10中,图像处理部34取得从图像G提取出的辉度的特征量,根据基于在腔室24内有元件P的情况和无元件P的情况的各自的特征量而确定的判定用的阈值和从图像G取得的特征量来判定腔室24内有无元件P。虽然元件种类或拍摄条件等的不同,但取得的特征量因腔室24内有无元件P的不同而出现相同的倾向,因此能够高精度地判定腔室24内有无元件P。
另外,图像处理部34的提取范围Ar被确定为以元件P的供给位置为中心而对元件P的尺寸加上了边距α的范围,图像处理部34从将提取范围Ar变换为特定尺寸且平均化后的图像提取像素的辉度。因此,能够使提取辉度的像素数恒定并抑制噪声的影响,所以能够稳定地取得特征量而更高精度地判定有无元件P。
另外,图像处理部34取得处理对象的带22的种类,使用与带种类对应的识别器38来判定有无元件P,因此能够抑制由带22的材质等的不同引起的特征量的变化的影响。另外,图像处理部34取得处理对象的元件P的种类,使用与元件种类对应的识别器38来判定有无元件P,因此能够抑制由元件P的材质等的不同引起的特征量的变化的影响。
另外,图像处理部34取得辉度方差、最大辉度、最小辉度、辉度平均及对比度这五个特征量。另外,基于以五个特征量为变量而通过机器学习设定了阈值的识别器38和从图像G取得的五个特征量来判定有无元件P,因此能够提高判定精度而防止误判定有无元件P。
另外,在安装装置10中,由于图像处理部34高精度地判定有无元件P,所以能够防止在腔室24内无元件P却反复进行元件P的吸附(拾取),能够适当地判定元件P用尽而成为了带22的更换定时。
另外,本公开不受上述的实施方式的任何限定,只要属于本公开的技术范围就能够以各种方案来实施,这是不言而喻的。
例如,在上述的实施方式中,取得了包括辉度方差在内的五个特征量,但不限于此,取得包括辉度的方差或标准偏差和除了辉度的方差或标准偏差以外的与辉度相关的值在内的多个特征量即可。即,取得包括辉度的方差或标准偏差在内的两个以上的特征量即可。另外,作为表示辉度的不均的值而例示了辉度方差,但也可以使用对比度或辉度平均等其他指标。
在上述的实施方式中,多个识别器38与带种类和元件种类这两方建立了对应,但不限于此,也可以与带种类和元件种类中的任一方建立对应。例如,图像处理部34也可以省略图9中的S210的元件种类的取得,不管元件种类如何,使用与在S205中取得的带种类对应的识别器38来判定有无元件。另外,图像处理部34也可以省略图9中的S205的带种类的取得,不管带种类如何,使用与在S210中取得的元件种类对应的识别器38来判定有无元件。另外,也可以使用与带种类和元件种类均未建立对应的共用的识别器38。在该情况下,图像处理部34省略图9中的S200~S210的处理即可。
另外,根据由带种类和元件种类的不同引起的误判定的可能性和判定频度(使用频度)等,将需要的识别器38存储于识别器存储部36即可。例如,也可以设为关于透明的压花带等误判定的可能性较高的带种类,使用与带种类建立了对应的识别器38,关于误判定的可能性较高的带种类和元件种类的组合等,使用与带种类和元件种类建立了对应的识别器38,关于误判定的可能性较低的带种类、元件种类,使用共用的识别器38等。
在上述的实施方式中,在特征量学习处理中,从图像Ga的提取范围Ar提取像素,但不限于此,也可以从使提取范围Ar标准化为特定尺寸而得到的图像提取像素。另外,在有无元件判定处理中,从使提取范围Ar标准化为特定尺寸而得到的图像提取像素,但不限于此,也可以从提取范围Ar提取像素。
在上述的实施方式中,提取范围Ar的中心位置与元件P由吸嘴15吸附时的中心位置24c一致,但不限于此,在腔室24的范围内设定提取范围Ar即可。另外,提取范围Ar设为了对元件P的尺寸加上了边距α的范围,但只要是比腔室24窄一些的范围等可拍到元件P的上表面和腔室24的底面的范围即可。
在上述的实施方式中,特征量学习处理由图像处理部34以外的管理控制部42等执行,但不限于此,也可以由图像处理部34执行。基于图像处理部34的特征量学习处理在未进行安装处理的情况下执行即可。或者,也可以设为在安装处理中,在利用吸嘴15吸附元件P前利用标记相机18拍摄图像,若元件P被吸附,则将该图像作为有元件图像而学习等。
在上述的实施方式中,将取得的特征量向识别器38输入来判定有无元件P,即,得到识别器38的判定结果(识别结果),但不限于此。例如在如图8那样在辉度方差等一个以上的特征量与元件P的有无之间存在相关且能够设定阈值Sref的情况下,也可以使用取得的特征量和阈值Sref来进行判定。在图8的例子中,若取得的辉度方差为阈值Sref以上则判定为有元件P,若辉度方差小于阈值Sref则判定为无元件P。
在上述的实施方式中,管理控制部42对五个特征量以有无元件P进行分类并决定识别边界,制作基于该识别边界而设定有在有无元件的判定中使用的阈值的识别器38,但不限于此。例如,管理控制部42也可以制作使用识别边界自身来判定有无元件的识别器。而且,管理控制部42也可以制作具有多个判定有无元件的识别边界的识别器。另外,管理控制部42也可以根据由多个特征量构成的多维的坐标系中的坐标的值来设定加权系数,制作通过多个特征量由加权系数加权后的值与阈值或识别边界的关系来判定有无元件的识别器。
在上述的实施方式中,安装装置10所具备的图像处理部34判定有无元件P,但不限于此,也可以是管理装置40的管理控制部42等设置于安装装置10以外的图像处理装置判定有无元件P。
在此,本公开的图像处理装置也可以如以下这样构成。例如,在本公开的图像处理装置中,也可以设为:上述预定范围被确定为以上述带供给上述腔室内的元件时的供给位置为中心而对元件的尺寸加上了预定的边距的范围,上述特征量取得部从将上述图像中的上述预定范围变换为特定尺寸且平均化后的图像提取上述像素的辉度。这样一来,因为从特定尺寸的图像提取辉度,所以能够使针对每个图像提取辉度的像素数恒定。另外,因为从变换为特定尺寸且平均化后的图像提取辉度,所以能够抑制噪声的影响。因此,能够稳定地取得特征量而更高精度地判定腔室内有无元件。
在本公开的图像处理装置中,也可以设为:上述图像处理装置具备取得处理对象的上述带的种类的带种类取得部,上述判定部使用针对上述带的每个种类确定的上述判定用的阈值中的与由上述带种类取得部取得的上述带的种类对应的阈值。这样一来,能够抑制由带的材质等的不同引起的特征量的变化的影响,进一步高精度地判定腔室内有无元件。
在本公开的图像处理装置中,也可以设为:上述图像处理装置具备取得作为供给对象的元件的种类的元件种类取得部,上述判定部使用针对上述元件的每个种类确定的上述判定用的阈值中的与由上述元件种类取得部取得的上述元件的种类对应的阈值。这样一来,能够抑制由元件的材质后形状等的不同引起的特征量的变化的影响,进一步高精度地判定腔室内有无元件。
在本公开的图像处理装置中,也可以设为:上述特征量取得部作为表示辉度的不均的值而取得辉度的方差或标准偏差并且取得包含除了方差及标准偏差以外的与辉度相关的值的多个上述特征量,上述判定部基于以多个上述特征量为变量而通过机器学习确定的上述阈值和从上述图像取得的多个上述特征量来判定上述腔室内有无元件。这样一来,能够提高腔室内有无元件的判定精度,因此能够防止误判定有无元件。
本公开的另一图像处理装置对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,其主旨在于,上述图像处理装置具备:特征量取得部,使用上述图像来提取能够包含上述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及判定部,根据基于在上述腔室内有元件的情况和无元件的情况的各自的上述特征量而制作的判定用的识别器和从上述图像取得的上述特征量来判定上述腔室内有无元件。如上所述,从图像取得的特征量因腔室内有无元件的不同而出现相同的倾向。因此,通过使用基于特征量而制作的识别器,即使元件种类或拍摄条件等改变,也能够高精度地判定腔室内有无元件。
本公开的安装装置安装有进给上述带的供料器且从上述腔室拾取并安装作为供给对象的元件,其主旨在于,上述安装装置具备拍摄上述带的图像的拍摄装置和上述的任一图像处理装置。本公开的安装装置能够利用上述的任一图像处理装置来高精度地判定腔室内有无元件。因此,能够防止虽然在腔室内无元件却反复进行元件的拾取,能够适当地判定在腔室内不再有元件而成为了带的更换定时。
本公开的图像处理方法对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,其主旨在于,上述图像处理方法包含如下的步骤:(a)使用上述图像来提取能够包含上述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及(b)根据基于在上述腔室内有元件的情况和无元件的情况的各自的上述特征量而确定的判定用的阈值和从上述图像取得的上述特征量来判定上述腔室内有无元件。在本公开的图像处理方法中,与上述的图像处理装置相同地,即使元件种类或拍摄条件等改变,也能够高精度地判定腔室内有无元件。另外,在该图像处理方法中,也可以采用上述的图像处理装置的各种方案,也可以追加实现上述的图像处理装置的各功能的步骤。
产业上的可利用性
本发明能够利用于输送收容于带的元件的供给装置和安装被供给的元件的安装装置等。
附图标记说明
10安装装置,12基板输送装置,14头,15吸嘴,16移动机构,18标记相机,19零件相机,20供料器,21电动机,22带,23进给孔,24腔室,24c中心位置,30控制装置,32驱动控制部,34图像处理部,36识别器存储部,38识别器,40管理装置,42管理控制部,44输入设备,46显示器,48存储部,G图像,P元件,Pb主体,Pe电极,S基板。
Claims (8)
1.一种图像处理装置,对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,所述图像处理装置具备:
特征量取得部,使用所述图像来提取能够包含所述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及
判定部,根据基于在所述腔室内有元件的情况和无元件的情况的各自的所述特征量而确定的判定用的阈值和从所述图像取得的所述特征量来判定所述腔室内有无元件。
2.根据权利要求1所述的图像处理装置,其中,
所述预定范围被确定为以所述带供给所述腔室内的元件时的供给位置为中心而对元件的尺寸加上了预定的边距的范围,
所述特征量取得部从将所述图像中的所述预定范围变换为特定尺寸且平均化后的图像提取所述像素的辉度。
3.根据权利要求1或2所述的图像处理装置,其中,
所述图像处理装置具备取得处理对象的所述带的种类的带种类取得部,
所述判定部使用针对所述带的每个种类确定的所述判定用的阈值中的与由所述带种类取得部取得的所述带的种类对应的阈值。
4.根据权利要求1~3中任一项所述的图像处理装置,其中,
所述图像处理装置具备取得作为供给对象的元件的种类的元件种类取得部,
所述判定部使用针对所述元件的每个种类确定的所述判定用的阈值中的与由所述元件种类取得部取得的所述元件的种类对应的阈值。
5.根据权利要求1~4中任一项所述的图像处理装置,其中,
所述特征量取得部作为表示辉度的不均的值而取得辉度的方差或标准偏差并且取得包含除了方差及标准偏差以外的与辉度相关的值的多个所述特征量,
所述判定部基于以多个所述特征量为变量而通过机器学习确定的所述阈值和从所述图像取得的多个所述特征量来判定所述腔室内有无元件。
6.一种图像处理装置,对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,所述图像处理装置具备:
特征量取得部,使用所述图像来提取能够包含所述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及
判定部,根据基于在所述腔室内有元件的情况和无元件的情况的各自的所述特征量而制作的判定用的识别器和从所述图像取得的所述特征量来判定所述腔室内有无元件。
7.一种安装装置,安装有进给所述带的供料器,从所述腔室拾取并安装作为供给对象的元件,所述安装装置具备:
拍摄装置,拍摄所述带的图像;及
权利要求1~6中任一项所述的图像处理装置。
8.一种图像处理方法,对设置有多个收纳作为供给对象的元件的腔室的带的图像进行处理,所述图像处理方法包含如下的步骤:
(a)使用所述图像来提取能够包含所述腔室的底面和该腔室内的元件的预定范围的像素的辉度,取得表示提取出的辉度的不均的值作为特征量;及
(b)根据基于在所述腔室内有元件的情况和无元件的情况的各自的所述特征量而确定的判定用的阈值和从所述图像取得的所述特征量来判定所述腔室内有无元件。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/015873 WO2021205578A1 (ja) | 2020-04-08 | 2020-04-08 | 画像処理装置および実装装置、画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115211245A true CN115211245A (zh) | 2022-10-18 |
Family
ID=78023605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080097703.4A Pending CN115211245A (zh) | 2020-04-08 | 2020-04-08 | 图像处理装置及安装装置、图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230217636A1 (zh) |
EP (1) | EP4135503A4 (zh) |
JP (1) | JP7298017B2 (zh) |
CN (1) | CN115211245A (zh) |
WO (1) | WO2021205578A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100247A1 (ja) * | 2021-11-30 | 2023-06-08 | 株式会社Fuji | 検査装置および検査方法 |
WO2023195173A1 (ja) * | 2022-04-08 | 2023-10-12 | 株式会社Fuji | 部品実装システム及び画像分類方法 |
WO2023248281A1 (ja) * | 2022-06-20 | 2023-12-28 | 株式会社Fuji | 検査装置、実装装置および検査方法 |
WO2024009410A1 (ja) * | 2022-07-05 | 2024-01-11 | 株式会社Fuji | 部品有無判定方法および画像処理システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6903360B2 (en) * | 2002-10-16 | 2005-06-07 | Agilent Technologies, Inc. | Method for detecting missing components at electrical board test using optoelectronic fixture-mounted sensors |
DE102004011327B3 (de) * | 2004-03-09 | 2005-11-10 | S-Y Systems Technologies Europe Gmbh | Vorrichtung und Verfahren zum Bestimmen, ob ein Bauteil fehlt. |
JP5443894B2 (ja) * | 2009-08-21 | 2014-03-19 | Juki株式会社 | 電子部品実装装置及びその吸着位置補正方法 |
JP6021560B2 (ja) | 2012-09-28 | 2016-11-09 | Juki株式会社 | 部品検査方法及び装置 |
JP6413086B2 (ja) * | 2015-01-08 | 2018-10-31 | パナソニックIpマネジメント株式会社 | 電子部品供給装置ならびに電子部品供給装置における部品供給テープの処理方法 |
JP6571184B2 (ja) * | 2015-06-18 | 2019-09-04 | 株式会社Fuji | テープ切断処理装置および処理方法 |
JP2019036015A (ja) * | 2017-08-10 | 2019-03-07 | ヤマハ発動機株式会社 | 表面実装機 |
-
2020
- 2020-04-08 WO PCT/JP2020/015873 patent/WO2021205578A1/ja unknown
- 2020-04-08 US US17/995,633 patent/US20230217636A1/en active Pending
- 2020-04-08 CN CN202080097703.4A patent/CN115211245A/zh active Pending
- 2020-04-08 EP EP20930555.6A patent/EP4135503A4/en active Pending
- 2020-04-08 JP JP2022513778A patent/JP7298017B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2021205578A1 (ja) | 2021-10-14 |
JP7298017B2 (ja) | 2023-06-26 |
JPWO2021205578A1 (zh) | 2021-10-14 |
EP4135503A4 (en) | 2023-06-07 |
US20230217636A1 (en) | 2023-07-06 |
EP4135503A1 (en) | 2023-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115211245A (zh) | 图像处理装置及安装装置、图像处理方法 | |
JP6293899B2 (ja) | 実装装置 | |
US10750648B2 (en) | Component mounting apparatus and suction position setting method | |
US9936620B2 (en) | Component mounting method | |
US7506434B2 (en) | Electronic parts mounting method | |
JP2017139388A (ja) | 実装装置 | |
US10015920B2 (en) | Component mounting method in component mounting system | |
US10932401B2 (en) | Component mounting machine | |
JP4792331B2 (ja) | 電子部品装着装置 | |
WO2017068638A1 (ja) | 画像処理装置および部品実装機 | |
CN114788436B (zh) | 元件安装机 | |
US10356969B2 (en) | Component mounter | |
JP7228075B2 (ja) | 部品装着機 | |
WO2018055757A1 (ja) | 照明条件特定装置及び照明条件特定方法 | |
CN115004877B (zh) | 图像处理装置、安装装置及图像处理方法 | |
CN109644585B (zh) | 元件安装装置及位置识别方法 | |
CN111727672B (zh) | 元件安装机 | |
CN114641683A (zh) | 图像处理装置、元件安装系统及图像处理方法 | |
WO2018055663A1 (ja) | 撮像装置及び実装装置 | |
CN114128418A (zh) | 检查装置 | |
US11219150B2 (en) | Work machine and method for determining polarity | |
CN116896858A (zh) | 图像处理装置、元件安装机以及图像处理方法 | |
JP2023170432A (ja) | 表面実装機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |