CN110291852B - 对基板作业装置及图像处理方法 - Google Patents

对基板作业装置及图像处理方法 Download PDF

Info

Publication number
CN110291852B
CN110291852B CN201780086364.8A CN201780086364A CN110291852B CN 110291852 B CN110291852 B CN 110291852B CN 201780086364 A CN201780086364 A CN 201780086364A CN 110291852 B CN110291852 B CN 110291852B
Authority
CN
China
Prior art keywords
image
processing
substrate
images
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086364.8A
Other languages
English (en)
Other versions
CN110291852A (zh
Inventor
天野雅史
稻浦雄哉
铃木干也
鬼头秀一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Publication of CN110291852A publication Critical patent/CN110291852A/zh
Application granted granted Critical
Publication of CN110291852B publication Critical patent/CN110291852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0815Controlling of component placement on the substrate during or after manufacturing
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • H05K13/081Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0818Setup of monitoring devices prior to starting mounting operations; Teaching of monitoring devices for specific products; Compensation of drifts during operation, e.g. due to temperature shifts

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)

Abstract

对基板作业装置具备:拍摄装置,拍摄基板;存储装置,存储各种信息;及图像处理装置,在对多个基板进行预定作业的情况下,对于最前基板执行最前基板用处理,对于除了最前基板以外的后续基板执行后续基板用处理,其中,上述最前基板用处理是对于由拍摄装置拍摄最前基板而得到的拍摄图像进行用于检测预定作业所需要的预定的检测对象的图像处理,并且取得与检测对象的检测所需要的拍摄图像内的区域相关的区域信息并存储于存储装置的处理,上述后续基板用处理是在由拍摄装置拍摄后续基板而得到的拍摄图像中基于区域信息设定局部的处理区域并对设定的处理区域进行图像处理的处理。

Description

对基板作业装置及图像处理方法
技术领域
本说明书公开了对基板作业装置及图像处理方法。
背景技术
以往,在向基板安装元件等的进行对于基板的作业的对基板作业装置中,为了高精度地取得保持的元件的位置和角度等,提出了进行生成分辨率比拍摄元件而得到的图像高的高分辨率图像的超分辨率处理的方案(参照例如专利文献1)。在该对基板作业装置中,仅对包含元件的特征部分的处理区域进行超分辨率处理而生成高分辨率图像。
现有技术文献
专利文献1:WO2015/049723号公报
发明内容
发明要解决的课题
但是,近年来,伴随着基板和元件的小型化,超分辨率处理的对象也具有微小化的趋势,其中有时若不是通过超分辨率处理生成的高分辨率图像则无法识别出对象。在该情况下,在超分辨率处理之前难以确定包含元件等对象的特征部分的处理区域,而将图像的全部区域作为处理区域进行超分辨率处理等图像处理。这样,图像处理的处理时间不必要地延长,图像处理的效率下降。
本公开的主要目的在于高效地进行对于基板的作业所需要的图像处理。
用于解决课题的手段
本公开为了达成上述主要目的而采用了以下的手段。
本公开的对基板作业装置的主旨在于,具备:拍摄装置,拍摄基板;存储装置,存储各种信息;及图像处理装置,对于作为预定作业的对象的多个上述基板中的最前的基板执行最前基板用处理,对于作为上述预定作业的对象的多个上述基板中的除了上述最前基板以外的后续的基板执行后续基板用处理,其中,上述最前基板用处理是对通过上述拍摄装置拍摄上述最前的基板而得到的最前图像进行用于检测上述预定作业所需要的预定的检测对象的图像处理,并且取得与检测出了上述检测对象的上述最前图像内的区域相关的区域信息并存储于上述存储装置的处理;上述后续基板用处理是在通过上述拍摄装置拍摄上述后续的基板而得到的后续图像中基于存储于上述存储装置的上述区域信息来设定局部的处理区域,并对所设定的上述处理区域进行上述图像处理的处理。
本公开的对基板作业装置对于多个基板中的最前基板执行如下的最前基板用处理,上述最前基板用处理是对拍摄最前基板而得到的最前图像进行用于检测预定作业所需要的预定的检测对象的图像处理,并且取得并存储与检测出了检测对象的最前图像内的区域相关的区域信息的处理。另外,对于多个基板中的除了最前基板以外的后续基板执行如下的后续基板用处理,上述后续基板用处理上在拍摄后续基板而得到的后续图像中基于在最前基板用处理中存储的区域信息来设定局部的处理区域,并对该处理区域进行图像处理的处理。由此,能够基于在最前基板用处理中存储的区域信息而适当地设定后续图像中的局部的处理区域。并且,在后续基板用处理中,不将后续图像整个作为处理区域,而对于局部的处理区域进行图像处理即可,因此能够高效地进行对于多个基板的作业所需要的图像处理。
本公开的图像处理方法是对于拍摄被进行预定作业的基板而得到的图像的图像处理方法,其主旨在于,包括如下的步骤:步骤(a),对拍摄作为上述预定作业的对象的多个上述基板中的最前的基板而得到的最前图像,进行用于检测上述预定作业所需要的预定的检测对象的图像处理;步骤(b),取得与在上述步骤(a)中检测出了上述检测对象的上述最前图像内的区域相关的区域信息;步骤(c),在拍摄作为上述预定作业的对象的多个上述基板中的除了上述最前的基板以外的后续基板而得到的后续图像中,基于在上述步骤(b)中取得的上述区域信息来设定局部的处理区域;步骤(d),对上述后续图像中的在上述步骤(c)设定的处理区域,进行用于检测上述预定作业所需要的预定的检测对象的图像处理。
本公开的图像处理方法与上述对基板作业装置相同地,能够基于在最前基板用处理中存储的区域信息而适当地设定后续图像中的局部的处理区域。领来,在后续基板用处理中,不将后续图像整体作为处理区域,而对局部的处理区域进行图像处理即可,因此能够高效地进行对于多个基板的作业所需要的图像处理。另外,在该图像处理方法中,可以采用上述对基板作业装置的各种方式,或者也可以追加实现上述对基板作业装置的各功能的结构。
附图说明
图1是表示安装系统10的结构的结构图。
图2是表示安装装置11的结构的框图。
图3是表示安装处理程序的一例的流程图。
图4是表示标记检测处理的一例的流程图。
图5是表示对于第一块基板S的图像处理的状况的说明图。
图6是表示对于第二块及之后的基板S的图像处理的状况的说明图。
图7A-7C是表示对处理区域SR进行调整的状况的说明图。
具体实施方式
接着,使用附图对本发明的实施方式进行说明。图1是表示安装系统10的结构的结构图。图2是表示安装装置11的构成的框图。安装系统10例如是执行向基板S安装元件的处理的系统。该安装系统10具备:实施向基板S安装元件的安装处理的安装装置11及对安装系统10的各装置进行管理的管理计算机(PC)50。安装系统10从上游到下游配置有多个安装装置11。在图1中,为了便于说明,仅示出一台安装装置11。另外,安装处理包含将元件配置、安装、插入、接合、粘接到基板上的处理等。另外,在本实施方式中,左右方向(X轴)、前后方向(Y轴)及上下方向(Z轴)如图1所示。
如图1、图2所示,安装装置11具备:基板输送单元12、安装单元13、元件供给单元14、零件相机30及控制装置40。基板输送单元12是进行基板S的搬入、输送、安装位置处的固定、搬出的单元。基板输送单元12具有在图1中的前后隔开间隔地设置并沿着左右方向架设的一对输送带。通过该输送带来输送基板S。
安装单元13从元件供给单元14拾取元件,并向固定于基板输送单元12的基板S上配置。安装单元13具备头移动部20及安装头22。头移动部20具备由导轨引导而在XY方向上进行移动的滑动件及对滑动件进行驱动的电动机。安装头22以可拆下的方式安装于滑动件,通过头移动部20而在XY方向上进行移动。在安装头22的下表面,以可拆下的方式安装有一个以上的吸嘴24。吸嘴24是利用负压拾取元件的拾取部件。安装头22内置有Z轴电动机23,通过该Z轴电动机23而沿着Z轴调整吸嘴24的高度。另外,安装头22具备通过未图示的驱动电动机使吸嘴24旋转(自转)的旋转装置,能够调整保持(吸附)于吸嘴24的元件的角度。
在该安装头22(或滑动件)的下表面侧配置有标记相机25。标记相机25伴随着安装头22的移动而在XY方向上进行移动。该标记相机25拍摄附设于基板S的基准标记M,或从上方拍摄由元件供给单元14供给的元件,并将该图像向控制装置40输出。
元件供给单元14从安装装置11的近前侧供给元件,具备以沿着左右方向(X方向)排列的方式整齐地排列配置并能够通过料带来供给元件的带式供料器15及能够通过托盘来供给元件的托盘供料器16。带式供料器15具备卷绕有以预定间隔收纳有元件的料带的带盘,通过从带盘拉出料带来供给元件。托盘供料器16使用元件整齐地排列的托盘来供给元件。
零件相机30从下方拍摄吸附于安装头22的吸嘴24的元件,并将该图像向控制装置40输出。
如图2所示,控制装置40构成为以CPU41为中心的微处理器,具备存储处理程序的ROM42、存储各种数据的HDD43、作为作业区域使用的RAM44、用于与外部装置之间进行电气信号的收发的输入输出接口45等。这些部件经由总线46而连接。该控制装置40向基板输送单元12、安装单元13、元件供给单元14、零件相机30输出控制信号,并输入来自安装单元13(标记相机25)、元件供给单元14、零件相机30的信号。
管理PC50是对安装系统10的各装置的信息进行管理的计算机。管理PC50具备构成为以CPU为中心的微处理器的控制装置,该控制装置具备存储处理程序的ROM、存储各种数据的HDD、作为作业区域而使用的RAM、用于与外部装置之间进行电气信号的收发的输入输出接口等。该管理PC50具备供作业者输入各种指令的键盘及鼠标等输入装置52、显示各种信息的显示器54。
以下是对这样构成的本实施方式的安装系统10的动作,具体而言对安装装置11的安装处理的说明。图3是表示由控制装置40的CPU41执行的安装处理程序的一例的流程图。该程序被存储于控制装置40的HDD43,根据作业者经由管理PC50的输入装置52等而输入的安装处理的开始指示来执行。另外,安装装置11对同一种类的多块基板S进行安装处理。
当开始执行该程序时,控制装置40的CPU41首先通过基板输送单元12进行基板S的搬入处理(S100),并执行用于检测基板S的基准标记M的后述的标记检测处理(S110)。并且,CPU41将吸附于安装头22的吸嘴24的元件向基板S安装(S120)。CPU41以通过S110的标记检测处理而检测出的基准标记M的位置作为基准,对元件的安装位置进行校正并在S120中向基板S安装元件。CPU41在判定为预定对当前的基板S安装的全部元件的处理结束之前(S130),重复执行S120的处理。CPU41在判定为预定对当前的基板S安装的全部元件的处理结束时,通过基板输送单元12将基板S搬出(S140),并判定预定安装的全部基板S的处理是否结束(S150)。CPU41在判定为全部基板S的处理未结束时,返回S100重复执行处理,在判定为全部基板S的处理结束时,使安装处理程序结束。以下是S110的标记检测处理的说明。作为S110的标记检测处理的一例,CPU41对使用多帧重建型的超分辨率处理的情况进行说明。多帧重建型的超分辨率处理是根据多个图像取得分辨率更高的图像的处理。图4是表示标记检测处理的一例的流程图。图5是表示对于第一块基板S的图像处理的状况的说明图。图6是表示对于第二块及之后的基板S的图像处理的状况的说明图。
在图4的标记检测处理中,控制装置40的CPU41首先判定作为本次的处理对象的基板S是否是同一种类的多块基板S中的最前(第一块)的基板S(S200)。CPU41在判定为是最前基板S时,通过标记相机25拍摄作为最前基板S的第一个图像的图像A(参照图5)(S210)。另外,CPU41利用安装单元13的头移动部20使安装头22略微地移动而使标记相机25对基板S的拍摄位置偏移之后,利用标记相机25拍摄作为最前基板S的第二个图像的图像B(参照图5)(S220)。将图像B的拍摄位置设为以CPU41能够执行多帧的超分辨率处理的方式、例如相对于图像A偏移了1/X像素(另外,1<X、例如X=2)的位置等即可。另外,为了便于图示,图5表示在大于1/X像素地偏移后的拍摄位置拍摄的图像B。另外,标记相机25和基板S的位置相对地偏移即可,可以使基板S移动,也可以使标记相机25(安装头22)移动。接着,CPU41对图像A、B进行图像处理而算出图像A与图像B之间的位置偏差量(S230)。例如,CPU41使用公知的模板匹配或纯相位相关法等算出图像A与图像B之间的位置偏差量。在本实施方式中,CPU41使用纯相位相关法算出位置偏差量。另外,纯相位相关法是如下的公知方法,对作为处理对象的图像(在此为图像A、B)进行傅里叶变换,仅使用傅里叶变换后的数据中的相位成分和振幅成分中的相位成分来取得相关关系。另外,CPU41将在位置偏差量的计算中使用的图像A的傅里叶变换后的数据Da存储于HDD43(S240)。
并且,CPU41基于图像A与图像B之间的位置偏差量而对各图像A、B的整个区域执行超分辨率处理,来得到以图像A为基准的高分辨率图像(S250,参照图5)。接下来,CPU41进行如下的标记检测处理,通过从得到的高分辨率图像提取出颜色(像素值)、形状、像素数等与基准标记M一致的区域等来检测基准标记M(S260)。另外,CPU41根据在S260中检测出的高分辨率图像中的基准标记M的位置坐标进行逆运算,算出图像A中的基准标记位置Ma并存储于HDD43(S270,参照图5),并使标记检测处理结束。例如,CPU41将高分辨率图像中的N像素数的距离逆运算为图像A中的N/X像素数的距离等,由此根据基准标记M的位置坐标来算出基准标记位置Ma。这样,CPU41对于最前(第一块)的基板S拍摄图像A和图像B这两张图像,对于这些图像的整个范围执行超分辨率处理,来检测基准标记M的位置。另外,CPU41存储进行最前基板S的标记检测处理时的、第一张图像A的傅里叶变换后的数据Da和图像A中的基准标记位置Ma。另外,S210~S270的处理相当于最前基板用处理。
另外,CPU41在S200中判定为作为本次的处理对象的基板S不是最前基板S而是第二块及之后的后续基板S时,利用标记相机25拍摄作为后续基板S的第一个图像的图像C(参照图6)(S280)。另外,CPU41利用安装单元13的头移动部20使安装头22略微地移动而使标记相机25对基板S的拍摄位置偏移之后,利用标记相机25拍摄作为后续基板S的第二个图像的图像D(参照图6)(S290)。接着,CPU41对图像C、D进行图像处理而算出图像C与图像D之间的位置偏差量(S300)。CPU41与S210~S230的处理相同地进行S280~S300的处理。
接下来,CPU41从HDD43读出并取得在最前基板S的图像A的标记检测处理中的S240、S270中存储的图像A的傅里叶变换后的数据Da及图像A中的基准标记位置Ma(S310)。并且,CPU41算出最前基板S的第一个图像A与作为本次处理对象的后续基板S的第一个图像C之间的位置偏差量(S320)。在本实施方式中,CPU41使用在S310中读出的图像A的傅里叶变换后的数据Da及在S320中算出位置偏差量时进行了傅里叶变换的图像C的傅里叶变换后的数据,通过纯相位相关法算出图像A、C之间的位置偏差量。在此,图像A、C是对不同的基板S进行拍摄而得到的拍摄图像,但由于拍摄同一种类的基板S,因此形成于基板S的布线图案或孔等相同地呈现于各图像内。但是,因为拍摄图像A、C时的基板S与标记相机25的位置关系并不是完全相同,而是存在偏差,所以呈现于图像内的布线图案或孔的位置也存在偏差。CPU41能够通过根据傅里叶变换后的数据而得到的相位成分检测出这样的偏差。因此,CPU41在S320中基于这些布线图案或孔的位置偏差来算出图像A与图像C之间的位置偏差量。并且,CPU41根据在S310中读出的图像A的基准标记位置Ma及在S320中算出的图像A、C之间的位置偏差量,来决定作为图像C中的基准标记M的大体位置的粗略位置Mrc(S330,参照图6)。另外,CPU41基于在S330中决定的粗略位置Mrc将图像C、D的局部的区域设定为高分辨率处理的处理区域SR(S340,参照图6)。另外,处理区域SR能够以粗略位置Mrc为中心而设为例如基准标记M的标记直径的数倍左右的区域或对标记直径加上预定余量的区域等。
在此,可以是作业者能够由例如管理PC50等对处理区域SR进行调整。另外,作业者可以将不以粗略位置Mrc为中心而相对于粗略位置Mrc偏移的区域设为处理区域SR,也可以对区域的大小进行微调。图7A-7C是对处理区域SR进行调整的状况的说明图。图7A表示以粗略位置Mrc为中心而将纵横的长度分别设定为标记直径D的例如4倍左右的矩形的处理区域SR。图7B表示使中心位置C相对于粗略位置Mrc偏移的矩形的处理区域SR。图7C表示以粗略位置Mrc为中心而分别对纵横的长度进行尺寸调整至标记直径D的例如2倍左右的矩形的处理区域SR。在该图7A-7C中表示在基准标记M的附近存在例如元件或焊料等颜色或形状与基准标记M类似的标记类似部的情况。在该情况下,在图7A的处理区域SR中,处理区域SR内包含标记类似部,因此存在误检测出标记M的可能性。另一方面,在图7B或图7C的处理区域SR中,标记类似部处于处理区域SR之外。因此,在标记类似部处于基准标记M附近的情况下,作业者能够通过如图7B或图7C那样对处理区域SR进行调整,来防止基准标记M的误检测。
当这样设定了处理区域SR时,CPU41基于图像C与图像D之间的位置偏差量对各图像C、D的处理区域SR执行超分辨率处理而得到以图像C的处理区域SR为基准的高分辨率图像(S350)。接下来,CPU41对得到的高分辨率图像进行标记检测处理来检测基准标记M(S360),并使标记检测处理结束。另外,S280~S360的处理相当于后续基板用处理。这样,CPU41对于第二块及之后的基板S,对图像C及图像D这两张图像的处理区域SR执行超分辨率处理,来检测基准标记M。即,因为CPU41不是对图像的整个区域而是仅对局部的处理区域SR执行超分辨率处理,所以能够减轻超分辨率处理的处理负担而迅速地进行标记检测处理。另外,由于CPU41使用进行最前基板S的标记检测处理时的、图像A的傅里叶变换后的数据Da算出图像A、C的位置偏差量,并基于使用算出的位置偏差量和图像A中的基准标记位置Ma而决定的粗略位置Mrc来设定处理区域SR,所以可以通过简易的处理而将包含基准标记M的可能性高的适当区域设定为处理区域SR。因此,能够迅速地进行用于检测基准标记M的超分辨率处理。因此,即使附于基板S的基准标记M极小,安装装置11也能够在不提高标记相机25自身的分辨率的情况下,通过超分辨率处理来适当地检测出基准标记M。
在此,明确本实施方式的构成要素与本公开的对基板作业装置的构成要素之间的对应关系。本实施方式的标记相机25相当于本公开的拍摄装置,HDD43相当于存储装置,控制装置40相当于图像处理装置,安装装置11相当于对基板作业装置。此外,在本实施方式中,通过对安装装置11的动作进行说明,也明确了本公开的图像处理方法的一例。
以上说明的实施方式的安装装置11在对同一种类的多个基板S进行安装作业的情况下,对于第一块的最前基板S执行如下的最前基板用处理,该最前基板用处理使对拍摄最前基板S而得到的图像A、B进行用于检测安装作业所需要的基准标记M的超分辨率处理,并且取得图像A中的基准标记位置Ma并存储于HDD43的处理。另外,安装装置11对于第二块及之后的后续基板S执行如下的后续基板用处理,在拍摄后续基板S所得到的图像C、D中,对于基于基准标记位置Ma而设定的局部的处理区域SR执行超分辨率处理。由此,安装装置11在后续基板用处理中对于局部的处理区域SR进行超分辨率处理即可,能够高效地进行超分辨率处理。另外,安装装置11基于在最前基板用处理中存储的基准标记位置Ma来设定局部的处理区域SR,所以能够更加适当地设定处理区域SR。另外,高分辨率图像的生成使用多个拍摄图像所以处理容易耗时,通过限定于局部的处理区域SR,减少处理时间的效果显著。
另外,在最前基板用处理中,安装装置11基于通过取得图像A、B的相关关系而得到的位置偏差量及图像A、B并通过超分辨率处理来生成高分辨率图像,从高分辨率图像检测出基准标记M,并且取得图像A中的基准标记位置Ma并存储于HDD43。安装装置11在后续基板用处理中基于通过取得图像A与图像C之间的相关关系而得到的位置偏差量及存储于HDD43的基准标记位置Ma来设定图像C中的局部的处理区域SR,基于通过取得图像C、D中的处理区域SR的相关而得到的位置偏差量来生成高分辨率图像,并从高分辨率图像检测出基准标记M。由此,安装装置11能够通过基于在最前基板用处理中使用的图像A及在后续基板用处理中使用的图像C的简易处理,来设定局部的处理区域SR而进行超分辨率处理。
另外,安装装置11在最前基板用处理中使用对图像A、B进行了傅里叶变换的图像数据并通过纯相位相关法来取得各图像的位置偏差量,并将傅里叶变换后的图像A的数据Da存储于HDD43。另外,安装装置11在后续基板用处理中在取得图像A、C的相关关系时使用存储于HDD43的数据Da和对图像C实施了傅里叶变换后的图像数据。由此,安装装置11在后续基板用处理中取得图像A、C的相关关系时使用存储于HDD43的傅里叶变换后的数据Da即可,所以能够高效地进行。
另外,安装装置11通过超分辨率处理来检测附设于基板S的上表面的基准标记M。在此,伴随着近年的基板S和元件的小型化,基准标记M也微小化,因此CPU41为了进行标记检测需要对每个基板S进行超分辨率处理。因此,高效地进行超分辨率处理带来的效果更加显著。
另外,本发明不受上述实施方式的任何限定,只要属于本发明的技术范围,就可以以各种方式加以实施,这是不言而喻的。
例如,在上述实施方式中,对于CPU41在标记检测处理中使用通过多个图像取得分辨率更高的图像的多帧重建型的超分辨率处理的情况进行了说明。但是,CPU41在标记检测处理中也可以使用其他超分辨率处理。例如,CPU41在标记检测处理中也可以使用单帧重建型的超分辨率处理。单帧重建型的超分辨率处理是根据一个图像A(或C)取得高分辨率的图像的处理。作为单帧重建型的超分辨率处理,例如有如下的方式等,根据一个图像A(或C)生成临时的高分辨率图像,根据临时的高分辨率图像生成模仿拍摄时的劣化过程而得到的劣化图像,计算劣化图像和原始的图像A(或C)之间的误差,重复进行对临时的高分辨率图像进行误差量的图像修正的演算过程,由此取得最终的高分辨率图像。另外,CPU41也可以使用学习型超分辨率处理作为标记检测处理。作为学习型超分辨率处理,例如有如下的方式等,CPU41基于将与由标记相机25拍摄的图像相同程度的分辨率图像作为示教数据的、事前的学习结果来推定并取得高分辨率的图像。作为学习型超分辨率处理,CPU41可以使用基于事前的学习结果而从一个图像A(或C)来推定并取得高分辨率图像的单帧学习型超分辨率处理。另外,作为学习型超分辨率处理,CPU41也可以使用基于事前的学习结果而从多个图像A、B(或C、D)取得分辨率更高的图像的多帧学习型超分辨率处理。
在上述实施方式中,将傅里叶变换后的图像A的数据Da存储于HDD43,但不限于此,也可以在每次取得与图像C的相关关系时对图像A进行傅里叶变换。不过,为了高效地进行处理,优选的是预先将数据Da存储于HDD43。
在上述实施方式中,使用作为最前基板S及后续基板S中的第一个图像的图像A、C来设定处理区域SR,但不限于此,也可以使用作为最前基板S及后续基板S中的第二个图像的图像B、D来设定处理区域SR。在这样的情况下,在最前基板用处理中,存储图像B中的基准标记M的位置,并存储傅里叶变换后的图像B的数据即可。
在上述实施方式中,作为图像处理例示了超分辨率处理,但不限于此,只要是对于拍摄基板S而得到的拍摄图像的图像处理,可以是任何处理。另外,不限于用于检测基板S的基准标记的图像处理,也可以检测附设于基板S的除了基准标记M以外的标记或二维代码等其他检测对象。而且,不限于基板S的安装前的图像处理,也可以设为向基板S印刷焊料等的印刷前的图像处理,或者也可以设为在将元件安装于基板S后进行的检查前的图像处理。即,在上述实施方式中,作为对基板作业装置而例示了安装装置11,但只要是对基板S进行预定作业的装置即可,可以设为向基板S进行印刷的印刷装置,也可以设为对基板S进行检查的检查装置。
在上述实施方式中,基于图像A、B(或图像C、D)这两个图像生成了高分辨率图像,但不限于此,也可以基于三个以上的多个图像生成高分辨率图像。
在本公开的对基板作业装置中,也可以是,上述图像处理使用使上述基板及上述拍摄装置的位置相对地偏移而拍摄到的多个图像来生成分辨率比上述多个图像高的高分辨率图像的超分辨率处理。生成这样的高分辨率图像由于使用了多个图像,所以存在处理时间延长的倾向,通过限定于局部的处理区域而缩短处理时间的效果显著。
在本公开的对基板作业装置中,也可以是,上述图像处理装置在上述最前基板用处理中,使用包含第一图像及第二图像在内的上述多个图像作为上述最前图像,基于通过取得上述多个图像的相关关系而得到的图像间的位置偏差量来生成上述高分辨率图像,从上述高分辨率图像中检测出上述预定的检测对象,并且取得上述第一图像中的上述区域信息并存储于上述存储装置,上述图像处理装置在上述后续基板用处理中,取得包含第三图像及第四图像在内的上述多个图像作为上述后续图像,基于通过取得上述第一图像与上述第三图像的相关关系而得到的两图像间的位置偏差量及存储于上述存储装置的上述第一图像中的上述区域信息来设定上述第三图像中的局部的处理区域,基于通过取得上述多个图像中的设定的上述处理区域的相关关系而得到的图像间的位置偏差量来生成上述高分辨率图像,从上述高分辨率图像中检测出上述预定的检测对象。这样一来,能够使用在最前基板用处理中使用的第一图像及在后续基板用处理中使用的第三图像来适当地设定局部的处理区域。
在本公开的对基板作业装置中,也可以是,上述图像处理装置在上述最前基板用处理中,使用对包含上述第一图像及上述第二图像在内的上述多个图像实施预定变换处理而得到的图像数据来取得上述多个图像的相关关系,并预先将上述预定变换处理后的上述第一图像的图像数据存储于上述存储装置,上述图像处理装置在上述后续基板用处理中,在取得上述第一图像与上述第三图像的相关关系时,使用存储于上述存储装置的上述预定变换处理后的上述第一图像的图像数据和对上述第三图像实施预定变换处理而得到的图像数据。这样一来,在后续基板用处理中取得第一图像与第三图像的相关关系时,使用存储于存储装置的预定的变换处理后的第一图像的图像数据即可,而能够在不对第一图像实施预定的变换处理的情况下高效地进行处理。
在本公开的对基板作业装置中,上述预定的检测对象也可以是附设于上述基板的上表面的标记。在此,伴随着近年的基板和元件的小型化,附设于基板的上表面的标记有时是难以从由拍摄装置拍摄到的图像中检测出的微小标记。在该情况下,为了检测标记而对每个基板进行超分辨率处理,高效地进行图像处理带来的效果更加显著。
产业实用性
本发明能够利用于进行对于基板的作业的装置。
附图标记的说明
10安装系统、11安装装置、12基板输送单元、13安装单元、14元件供给单元、15带式供料器、16托盘供料器、20头移动部、22安装头、23Z轴电动机、24吸嘴、25标记相机、30零件相机、40控制装置、41CPU、42ROM、43HDD、44RAM、45输入输出接口(输入输出I/F)、46总线、50管理计算机(管理PC)、52输入装置、54显示器、M基准标记、Mrc粗略位置、S基板、SR处理区域。

Claims (6)

1.一种对基板作业装置,其特征在于,具备:
拍摄装置,拍摄基板;
存储装置,存储各种信息;及
图像处理装置,对于作为预定作业的对象的多个所述基板中的最前的基板执行最前基板用处理,对于作为所述预定作业的对象的多个所述基板中的除了所述最前基板以外的后续的基板执行后续基板用处理,其中,所述最前基板用处理是对通过所述拍摄装置拍摄所述最前的基板而得到的最前图像进行用于检测所述预定作业所需要的预定的检测对象的图像处理,并且取得与检测出了所述检测对象的所述最前图像内的区域相关的区域信息并存储于所述存储装置的处理;所述后续基板用处理是在通过所述拍摄装置拍摄所述后续的基板而得到的后续图像中基于存储于所述存储装置的所述区域信息来设定局部的处理区域,并对所设定的所述处理区域进行所述图像处理的处理。
2.根据权利要求1所述的对基板作业装置,其中,
所述图像处理是使用使所述基板及所述拍摄装置的位置相对地偏移而拍摄到的多个图像来生成分辨率比所述多个图像的分辨率高的高分辨率图像的超分辨率处理。
3.根据权利要求2所述的对基板作业装置,其中,
所述图像处理装置在所述最前基板用处理中,使用包含第一图像及第二图像在内的所述多个图像作为所述最前图像,基于通过取得所述多个图像的相关关系而得到的图像间的位置偏差量来生成所述高分辨率图像,从所述高分辨率图像中检测出所述预定的检测对象,并且取得所述第一图像中的所述区域信息并存储于所述存储装置,
所述图像处理装置在所述后续基板用处理中,取得包含第三图像及第四图像在内的所述多个图像作为所述后续图像,基于通过取得所述第一图像与所述第三图像的相关关系而得到的两图像间的位置偏差量及存储于所述存储装置的所述第一图像中的所述区域信息来设定所述第三图像中的局部的处理区域,基于通过取得所述多个图像中的设定的所述处理区域的相关关系而得到的图像间的位置偏差量来生成所述高分辨率图像,从所述高分辨率图像中检测出所述预定的检测对象。
4.根据权利要求3所述的对基板作业装置,其中,
所述图像处理装置在所述最前基板用处理中,使用对包含所述第一图像及所述第二图像在内的所述多个图像实施预定变换处理而得到的图像数据来取得所述多个图像的相关关系,并预先将所述预定变换处理后的所述第一图像的图像数据存储于所述存储装置,
所述图像处理装置在所述后续基板用处理中,在取得所述第一图像与所述第三图像的相关关系时,使用存储于所述存储装置的所述预定变换处理后的所述第一图像的图像数据和对所述第三图像实施预定变换处理而得到的图像数据。
5.根据权利要求1至4中任一项所述的对基板作业装置,其中,
所述预定的检测对象是附设于所述基板的上表面的标记。
6.一种图像处理方法,是对于拍摄被进行预定作业的基板而得到的图像的图像处理方法,所述图像处理方法的特征在于,包括如下的步骤:
步骤(a),对拍摄作为所述预定作业的对象的多个所述基板中的最前的基板而得到的最前图像,进行用于检测所述预定作业所需要的预定的检测对象的图像处理;
步骤(b),取得与在所述步骤(a)中检测出了所述检测对象的所述最前图像内的区域相关的区域信息;
步骤(c),在拍摄作为所述预定作业的对象的多个所述基板中的除了所述最前的基板以外的后续基板而得到的后续图像中,基于在所述步骤(b)中取得的所述区域信息来设定局部的处理区域;
步骤(d),对所述后续图像中的在所述步骤(c)设定的处理区域,进行用于检测所述预定作业所需要的预定的检测对象的图像处理。
CN201780086364.8A 2017-02-23 2017-02-23 对基板作业装置及图像处理方法 Active CN110291852B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/006938 WO2018154691A1 (ja) 2017-02-23 2017-02-23 対基板作業装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN110291852A CN110291852A (zh) 2019-09-27
CN110291852B true CN110291852B (zh) 2021-01-26

Family

ID=63252493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086364.8A Active CN110291852B (zh) 2017-02-23 2017-02-23 对基板作业装置及图像处理方法

Country Status (5)

Country Link
US (1) US10863661B2 (zh)
EP (1) EP3589105B1 (zh)
JP (1) JP6831446B2 (zh)
CN (1) CN110291852B (zh)
WO (1) WO2018154691A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11874679B2 (en) 2019-01-09 2024-01-16 Mitsubishi Electric Corporation Using an imaging device to correct positioning errors
EP4037452A4 (en) * 2019-09-26 2022-10-05 Fuji Corporation IMAGE PROCESSING DEVICE

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746667A (zh) * 2004-09-06 2006-03-15 欧姆龙株式会社 基板检查方法及基板检查装置
CN1979137A (zh) * 2005-01-11 2007-06-13 欧姆龙株式会社 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置
CN104869801A (zh) * 2014-02-26 2015-08-26 Juki株式会社 电子部件安装装置以及电子部件安装方法
CN105473979A (zh) * 2013-08-22 2016-04-06 富士机械制造株式会社 基板的生产作业方法、基板的拍摄条件决定方法及基板的生产作业装置
CN105531582A (zh) * 2013-09-17 2016-04-27 富士机械制造株式会社 安装检查装置
CN106104195A (zh) * 2014-03-13 2016-11-09 富士机械制造株式会社 图像处理装置及基板生产系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512260B2 (en) * 2004-09-06 2009-03-31 Omron Corporation Substrate inspection method and apparatus
JP2008159890A (ja) * 2006-12-25 2008-07-10 Matsushita Electric Ind Co Ltd マークの位置認識方法および位置認識装置、位置認識プログラム、部品実装装置
JP2013062378A (ja) * 2011-09-13 2013-04-04 Olympus Corp 位置決め装置、および位置決め方法
JP6064168B2 (ja) * 2013-04-15 2017-01-25 パナソニックIpマネジメント株式会社 マークの撮像方法及び部品実装ライン
JP6309962B2 (ja) 2013-10-01 2018-04-11 富士機械製造株式会社 組立機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746667A (zh) * 2004-09-06 2006-03-15 欧姆龙株式会社 基板检查方法及基板检查装置
CN1979137A (zh) * 2005-01-11 2007-06-13 欧姆龙株式会社 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置
CN105473979A (zh) * 2013-08-22 2016-04-06 富士机械制造株式会社 基板的生产作业方法、基板的拍摄条件决定方法及基板的生产作业装置
CN105531582A (zh) * 2013-09-17 2016-04-27 富士机械制造株式会社 安装检查装置
CN104869801A (zh) * 2014-02-26 2015-08-26 Juki株式会社 电子部件安装装置以及电子部件安装方法
CN106104195A (zh) * 2014-03-13 2016-11-09 富士机械制造株式会社 图像处理装置及基板生产系统

Also Published As

Publication number Publication date
JPWO2018154691A1 (ja) 2019-11-07
CN110291852A (zh) 2019-09-27
US10863661B2 (en) 2020-12-08
US20200060052A1 (en) 2020-02-20
JP6831446B2 (ja) 2021-02-17
EP3589105A1 (en) 2020-01-01
EP3589105A4 (en) 2020-02-26
WO2018154691A1 (ja) 2018-08-30
EP3589105B1 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
JP5077322B2 (ja) 部品実装システムおよび実装状態検査方法
US10205859B2 (en) Mounting device, image processing method, and imaging unit
CN110291852B (zh) 对基板作业装置及图像处理方法
JP6472873B2 (ja) 部品検査機及び部品装着機
CN108702867B (zh) 安装装置及拍摄处理方法
CN110771277B (zh) 对基板作业装置
WO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
JP4810586B2 (ja) 実装機
CN111869342B (zh) 元件安装装置
JP6837138B2 (ja) 実装装置、情報処理装置、実装システム、実装方法及び情報処理方法
JP6707403B2 (ja) 実装関連処理装置
JP7423741B2 (ja) 画像処理装置および画像処理方法
JP6510282B2 (ja) 部品実装装置
JP6621639B2 (ja) 基板用の画像処理装置
US11304351B2 (en) Mounting device, information processing device, and mounting method
WO2016110941A1 (ja) 実装関連処理装置、画像処理方法及びそのプログラム
US20220408622A1 (en) Component mounting system
JPWO2018173226A1 (ja) 実装装置及び実装方法
WO2018146766A1 (ja) 実装機およびエラー報知方法
JPWO2019244264A1 (ja) 制御方法、電子部品装着装置、および補正用基板
WO2016174727A1 (ja) 検査装置及び検査方法
JP2018186116A (ja) 対基板作業装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant