CN115461612A - 外观检查装置和外观检查方法 - Google Patents

外观检查装置和外观检查方法 Download PDF

Info

Publication number
CN115461612A
CN115461612A CN202080100051.5A CN202080100051A CN115461612A CN 115461612 A CN115461612 A CN 115461612A CN 202080100051 A CN202080100051 A CN 202080100051A CN 115461612 A CN115461612 A CN 115461612A
Authority
CN
China
Prior art keywords
image
unit
substrate
learning
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100051.5A
Other languages
English (en)
Inventor
池田祐一
中根洋太朗
峯泽彰
冈原浩平
德幸博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN115461612A publication Critical patent/CN115461612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

外观检查装置具备摄像部(101)、重构图像生成部(206)以及图像比较部(207)。摄像部(101)对对象物进行摄像。重构图像生成部(206)将由摄像部(101)进行摄像所得到的图像数据作为输入图像，使用尝试再现图像数据的模型，生成对输入图像进行了重构的图像即重构图像。图像比较部(207)生成作为输入图像与重构图像的差分的差分图像。

Description

外观检查装置和外观检查方法
技术领域
本公开涉及一种通过图像处理对检查对象的外观的异常进行检查的外观检查装置和外观检查方法。
背景技术
在专利文献1中公开了基板外观检查装置，该基板外观检查装置使用焊料面中的部件的引线前端部的图像来对安装于基板的电子部件的浮起、倾斜等安装状态的好坏进行检查，该焊料面是与部件安装于基板的面即部件面相反侧的面，是部件焊接于基板的面。专利文献1所记载的基板外观检查装置具有与基板的焊料面相向地配设的摄像装置。另外，专利文献1所记载的基板外观检查装置具有：变量计算处理单元，基于由摄像装置进行摄像所得到的电子部件的引线的前端部的图像，计算表示前端部的状态的变量；以及好坏判定处理单元，将计算出的变量与基准值进行比较，基于比较结果判定电子部件的安装状态的好坏。
专利文献1：日本特开2003-092500号公报
发明内容
发明要解决的问题
然而，在专利文献1所记载的基板外观检查装置中，为了防止异物附着于摄像装置的透镜，摄像装置被设置成在相对于基板的上方对下方进行摄像。因此，在对焊料面进行摄像的情况下，需要使基板翻转的机构，存在难以对已设的基板输送线引入专利文献1所记载的基板外观检查装置这样的问题。寻求一种无需这样将检查对象的对象物翻转而通过简易的结构根据对对象物进行摄像所得到的图像数据对对象物中的部件的浮起、部件的倾斜、损伤或异物等异常部位的存在进行检查的技术。
本公开是鉴于上述情况而完成的，目的在于得到能够通过与以往相比简易的结构来对检查对象的对象物的异常部位进行检查的外观检查装置。
用于解决问题的方案
为了解决上述问题并达到目的，本公开所涉及的外观检查装置具备摄像部、重构图像生成部以及图像比较部。摄像部对对象物进行摄像。重构图像生成部将由摄像部进行摄像所得到的图像数据作为输入图像，使用尝试再现图像数据的模型，生成对输入图像进行了重构的图像即重构图像。图像比较部生成作为输入图像与重构图像的差分的差分图像。
发明的效果
本公开所涉及的外观检查装置起到能够通过与以往相比简易的结构来对检查对象的对象物的异常部位进行检查这样的效果。
附图说明
图1是示意性地表示基于实施方式1的基板外观检查装置的结构的一例的图。
图2是表示基于实施方式1的基板外观检查装置的载置有基板的基板输送部的结构的一例的顶视图。
图3是示意性地表示基于实施方式1的基板外观检查装置的摄像时的基板输送部上的基板的位置的一例的顶视图。
图4是示意性地表示基于实施方式1的基板外观检查装置的功能结构的一例的框图。
图5是表示基于实施方式1的基板外观检查装置中的初始画面的结构的一例的图。
图6是表示基于实施方式1的基板外观检查装置中的学习画面的结构的一例的图。
图7是表示基于实施方式1的基板外观检查装置中的学习画面的结构的一例的图。
图8是表示基于实施方式1的基板外观检查装置中的检查画面的结构的一例的图。
图9是表示基于实施方式1的基板外观检查装置中的检查画面的结构的一例的图。
图10是表示基于实施方式1的基板外观检查装置中的检查画面的结构的一例的图。
图11是示意性地表示基于实施方式1的基板外观检查装置的运算处理部的硬件结构的一例的框图。
图12是表示基于实施方式1的基板外观检查装置中的摄像方法的处理过程的一例的流程图。
图13是表示基于实施方式1的基板外观检查装置中的学习方法的处理过程的一例的流程图。
图14是表示基于实施方式1的基板外观检查装置中的基板外观检查方法的处理过程的一例的流程图。
图15是表示基于实施方式1的基板外观检查装置中的基板外观检查方法的处理过程的一例的流程图。
(附图标记说明)
100：基板外观检查装置；101：摄像部；102：照明设备；103：照明用电源；104：遮光罩；105：基板输送部；106：基板输送机构；107：基板输送机构台架；108A：第一传感器；108B：第二传感器；109：显示部；110：运算处理部；131：摄像部连接线缆；132：照明用电源控制线缆；133：照明电源线缆；134：传感器连接线缆；135：显示器连接线缆；150：基板；151：电路基板；152：电子部件；160：基板输送托盘；200：传感器输入部；201：摄像控制部；202：照明控制部；203：学习用图像存储部；204：模型生成部；205：已学习模型存储部；206：重构图像生成部；207：图像比较部；208：设定数据存储部；209：判定部；210：画面显示部。
具体实施方式
以下，基于图来详细说明本公开的实施方式所涉及的外观检查装置和外观检查方法。
实施方式1.
在以下的实施方式中，作为外观检查装置，以对基板的外观的异常进行检查的基板外观检查装置为例进行说明。另外，作为外观检查方法，以基板外观检查装置中的基板外观检查方法为例进行说明。图1是示意性地表示基于实施方式1的基板外观检查装置的结构的一例的图。基板外观检查装置100具备摄像部101、照明设备102、照明用电源103、遮光罩104、基板输送部105、第一传感器108A及第二传感器108B、显示部109以及运算处理部110。
摄像部101是对作为对象物的基板150进行摄像的器材。摄像部101的一例是具有透镜和摄像元件的摄像机。摄像部101通过摄像部连接线缆131来与运算处理部110连接。摄像部101将进行摄像所得到的图像数据经由摄像部连接线缆131输出到运算处理部110。摄像部连接线缆131的一例是USB(Universal Serial Bus：通用串行总线)线缆或LAN(LocalArea Network：局域网)线缆。
照明设备102是在对基板150进行摄像时照射用于调整基板150的亮度的光的光源。照明设备102的一例是圆顶型的LED(Light Emitting Diode：发光二极管)照明。
照明用电源103是用于向照明设备102供给电源的装置。在一个例子中，照明用电源103具有根据来自运算处理部110的作为控制照明设备102的点亮的信号的点亮控制信号来控制照明设备102的点亮的控制功能。点亮控制信号是控制照明设备102的点亮或熄灭以及点亮时的亮度的信号。照明用电源103通过照明用电源控制线缆132来与运算处理部110连接。照明用电源103按照经由照明用电源控制线缆132传递的点亮控制信号，控制照明设备102的点亮。照明用电源控制线缆132的一例是USB线缆或RS(Recommended Standard：推荐标准)232C线缆。照明用电源103通过照明电源线缆133来与照明设备102连接。照明用电源103经由照明电源线缆133向照明设备102供给电源，并且传递点亮控制信号。作为照明电源线缆133，一般使用照明设备专用的线缆。
遮光罩104是用于在对基板150进行摄像时防止干扰光的侵入的罩。遮光罩104配置于基板150的摄像位置的上方。
基板输送部105是输送基板150的装置。基板输送部105具有输送基板150的基板输送机构106以及支承基板输送机构106的基板输送机构台架107。基板150搭载于基板输送托盘160，在基板输送机构106的输送路径上被输送。
图2是表示基于实施方式1的基板外观检查装置的载置有基板的基板输送部的结构的一例的顶视图。基板150包括由玻璃环氧材料等构成的电路基板151以及安装于电路基板151上的包括半导体元件和电路元件的电子部件152。电子部件152通过焊料被接合在电路基板151上。此外，电路基板151的一方的面是安装电子部件152的面即部件面，与部件面相反侧的面是将安装的电子部件152用焊料接合于基板150的面即焊料面。如图2所示，基板150以部件面为上侧来载置于基板输送托盘160上。基板输送托盘160是用于将基板150搭载并输送的托盘。基板150对应于电子电路基板。电子部件152对应于部件。
通过将基板输送机构106的输送路径与前后的工序的装置的输送路径连接，能够在与前后的工序的装置之间交接基板输送托盘160。在一个例子中，基板输送机构106具有链条、带式输送机等未图示的输送路径结构部以及对输送路径结构部进行驱动的包括电动机和减速机的未图示的驱动部。输送路径被设置成基板150在摄像部101的下部通过。基板输送机构台架107被设置于地面。
返回到图1，第一传感器108A和第二传感器108B被设置于基板输送机构106的输送路径，探测输送路径上的基板150的位置，将探测结果输出到运算处理部110。具体地说，第一传感器108A和第二传感器108B探测出基板150位于输送路径上的预先决定的不同的位置。在该例子中，第一传感器108A和第二传感器108B被设置于输送路径上的想要对基板150进行摄像的位置。第一传感器108A探测出基板150到达输送路径的位置A上。第二传感器108B探测出基板150到达输送路径的位置B上。在一个例子中，第一传感器108A和第二传感器108B是遮光传感器。设各个第一传感器108A和第二传感器108B被设定为：根据被遮光而探测出基板输送托盘160的到达，将作为表示探测到基板150的信号的1次量的传感器信号输出到运算处理部110。此外，以下，输送路径上的配置第一传感器108A的位置A被称为基板位置A，输送路径上的配置第二传感器108B的位置B被称为基板位置B。
图3是示意性地表示基于实施方式1的基板外观检查装置的摄像时的基板输送部上的基板的位置的一例的顶视图。在图2中，示出了基板输送托盘160来到基板位置A的状态。此时，第一传感器108A被基板输送托盘160覆盖，因此将传感器信号输出到运算处理部110。其结果，由摄像部101对基板150进行摄像。在图3中，示出了基板输送托盘160来到基板位置B的状态。此时，第二传感器108B被基板输送托盘160覆盖，因此将传感器信号输出到运算处理部110。其结果，由摄像部101对基板150进行摄像。
返回到图1，2个第一传感器108A和第二传感器108B通过传感器连接线缆134来与运算处理部110连接。传感器连接线缆134传递作为第一传感器108A和第二传感器108B中的探测结果的传感器信号。传感器连接线缆134的一例是USB线缆、RS232C线缆或数字信号线。
显示部109显示信息。在实施方式1中，显示部109显示运算处理部110的操作画面等。显示部109的一例是液晶显示装置。显示部109通过显示器连接线缆135来与运算处理部110连接。显示器连接线缆135是用于将运算处理部110与显示部109连接的线缆，传递用于画面显示的信号。显示器连接线缆135的一例是VGA(Video Graphics Array：视频图形阵列)线缆或HDMI(注册商标)(High-Definition Multimedia Interface：高清晰度多媒体接口)线缆。
运算处理部110基于来自第一传感器108A和第二传感器108B的传感器信号对摄像部101中的摄像处理进行控制。运算处理部110使用由摄像部101进行摄像所得到的学习用的图像数据，来学习用于重构在基板外观检查处理时使用的输入图像的模型。运算处理部110按照学习得到的模型对输入图像(该输入图像是由摄像部101进行摄像所得到的检查对象的基板150的图像)进行重构来生成重构图像，将重构图像与输入图像进行比较，来判定包括电子部件152的倾斜或浮起在内的安装状态和包括损伤或异物在内的表面状态的异常。
图4是示意性地表示基于实施方式1的基板外观检查装置的功能结构的一例的框图。在图4中，详细示出了运算处理部110的功能结构。另外，以下对与图1中说明的结构要素相同的结构要素附加相同的符号，并省略其说明。运算处理部110具有传感器输入部200、摄像控制部201、照明控制部202、学习用图像存储部203、模型生成部204、已学习模型存储部205、重构图像生成部206、图像比较部207、设定数据存储部208、判定部209以及画面显示部210。
传感器输入部200对第一传感器108A和第二传感器108B进行监视，在确认出到达预先决定的基板位置时，对摄像控制部201输出成为摄像部101中的摄像的触发的信号即触发信号。具体地说，传感器输入部200当从第一传感器108A或第二传感器108B收到传感器信号时，对摄像控制部201输出触发信号。
摄像控制部201收到来自传感器输入部200的触发信号，向照明控制部202输出照明控制信号，该照明控制信号是指示准备点亮照明设备102的信号。由此，照明设备102的点亮状态被控制，摄像部101中的摄像时的照度被调整。另外，摄像控制部201在输出照明控制信号之后，向摄像部101输出对基板150进行摄像的指示，将输入图像(该输入图像是由摄像部101进行摄像所得到的基板150的部件面的图像数据)输出到学习用图像存储部203、重构图像生成部206、图像比较部207以及判定部209。在此，摄像控制部201例如也可以输出通过仿射变换或射影变换等对进行摄像所得到的图像进行加工所得到的结果来作为输入图像。通过输出进行加工所得到的输入图像，能够降低摄像时的基板150的位置和倾斜的偏差的影响。
照明控制部202收到来自摄像控制部201的照明控制信号，向照明用电源103输出对照明设备102的点亮状态进行控制的信号即点亮控制信号。由此，照明用电源103被控制，照明设备102的点亮状态被控制。
学习用图像存储部203在由摄像部101进行摄像所得到的基板150是学习用的基板的情况下，存储来自摄像部101的输入图像来作为学习用图像。学习用图像存储部203能够存储多个输入图像。学习用图像存储部203将学习用图像与基板150的型号名称(typename)相对应地进行存储。在一个例子中，在学习用图像存储部203中，按每个型号名称制作文件夹，并在文件夹内存储与文件夹名对应的型号名称的学习用图像。学习用图像是电子部件152通过焊料正常地安装于电路基板151的正常的基板150的部件面的图像。正常的基板150是具有作为产品被视为正常的外观的、具有电子部件152的搭载状态的基板150，对应于学习用对象物。关于具有作为产品被视为正常的外观的基板150，在一个例子中，由相对于基板150的部件倾斜的角度、部件浮起的高度、损伤或异物的有无或大小等规定。另外，在通过目视来检查基板150是否具有作为产品被视为正常的外观的情况下，也可以通过表示将基板150设为在外观上合格还是不合格的限度的限度样本，来规定具有作为产品被视为正常的外观的基板150。因此，即使在基板150由于部件故障或电路异常等而无法作为产品使用的情况下，如果具有作为产品被视为正常的外观，则也能够设为学习用对象物。学习用图像存储部203的一例是HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)。
模型生成部204使用学习用对象物的图像数据来生成用于生成重构图像的已学习模型，该学习用对象物是具有作为产品被视为正常的外观的对象物。在该例子中，模型生成部204使用学习用对象物(该学习用对象物是具有部件面的基板150中的、具有作为产品被视为正常的外观的具有电子部件152的搭载状态的正常的基板150)的部件面的图像数据，来生成用于生成对图像数据进行了重构的重构图像的已学习模型。也就是说，模型生成部204从学习用图像存储部203获取学习用图像，学习在重构图像生成部206中的重构图像的生成中使用的机器学习模型。在一个例子中，模型生成部204生成以再现学习用对象物的图像数据的方式对学习用对象物的图像数据进行重构来生成重构图像的已学习模型。如果使用已学习模型，则通常得到与输入数据相同的重构图像，而未能通过已学习模型重构成与输入数据相同的的重构图像中的部位被推断为异常部位。已学习模型是将正常的基板150的图像数据用作输入数据来进行学习、生成对输入数据进行了重构的图像即重构图像的模型。在此，模型生成部204按照设定数据存储部208的关于学习条件设定的设定数据中设定的学习方式和试行次数进行学习。作为学习方式，例如使用GAN(Generative AdversarialNetwork：生成式对抗网络)、AE(Auto Encoder：自编码器)等机器学习算法。
在参考文献1(G.E.Hinton and R.R.Salakhutdinov,“Redu cing theDimensionality of Data with Neural Networks”,Science,Vol.313,No.5786,pp.504-507(2006))中，公开了如下的以往型的A E：在编码器侧的网络中进行作为输入数据的学习用图像的降维(di mension reduction)，在解码器侧的网络中根据被降维后的数据以接近输入数据的方式生成作为输出数据的重构图像。在这样的以往型的AE中，通过以使输入数据和输出数据的数据域相同的方式、即以使输出数据接近输入数据的方式进行学习，能够获得输入数据的特征数据来作为被降维后的数据。由此，能够得到能够仅将具有学习得到的特征的输入数据高精度地复原的重构图像生成模型。
另一方面，在如参考文献2(O.Ronneberger,P.Fischer,and T.B rox.“U-Net:Convolutional Networks for Biomedical Image Segmentation”,Medical ImageComputing and Computer-Assiste d Intervention(MICCAI),Springer,LNCS,Vol.9351,pp.234-241(2015))中公开的为了能够生成高分辨率的图像而具有直接连接编码器和解码器的各层的边缘的网络中，如果以使输出数据接近输入数据的方式进行学习，则不会获得输入数据的特征数据来作为被降维后的数据，而是会重视在最浅的层中连接编码器与解码器的边缘。而且，导致学习以单纯地将输入数据直接作为输出数据输出的方式推进。其结果，导致成为不管是否具有与学习用图像相同的特征都得到与输入数据酷似的输出数据的重构图像生成模型。在这样的在输入数据和输出数据的数据域相同的情况下难以学习输入数据的特征的网络中，通过改变输入数据和输出数据的域，能够解决如上所述的问题。例如，通过如输入是计算机图形域且输出是照片域那样作为向不同的域的变换任务进行学习，能够得到能够仅将具有学习得到的特征的输入数据高精度地复原的重构图像生成模型。在参考文献2中实施了从照片域向图像分割域的变换。
在该情况下，输出数据需要是用于作为重构图像使用的数据域，在实施方式1中为照片域。另外，输入数据也需要能够容易地从摄像图像、即照片域生成。例如，存在将作为与预先准备的基准图像的差分图像数据的、差分信号域设为输入数据的方法。在此，作为预先准备的基准图像，能够使用预先准备的未安装电子部件152的基板150的图像、与学习用图像不同的基板图像等。然后，将未安装电子部件152的基板150的图像与对象物的图像的差分设为输入数据。在该情况下，在后述的重构图像生成部206中，也会同样地输入差分图像数据。作为输入数据的其它例，能够使用对摄像图像进行了边缘检测滤波器等的某些滤波后的图像数据等。由此，输入图像的信息量降低，能够高效地进行学习。
已学习模型存储部205具有存储由模型生成部204生成的已学习的机器学习模型即已学习模型的功能。已学习模型存储部205的一例是DRAM(Dynamic Random AccessMemory：动态随机访问存储器)或快闪存储器。关于已学习模型，按基板150的每个型号名称进行存储。
重构图像生成部206使用被存储在已学习模型存储部205中的用于根据基板150的图像数据推断出存在异常的区域即异常部位的已学习模型，生成对于从摄像控制部201获取的作为检查的对象物的基板150的输入图像的重构图像。重构图像是借助已学习模型尝试再现输入图像的图像，但是在输入图像的某区域中大幅偏离学习用图像群的偏差的范围的情况下，该区域的再现失败而生成与输入图像不同的图像。关于重构图像的生成，在一个例子中，通过GAN或AE等机器学习模型来实现。
图像比较部207将由重构图像生成部206生成的重构图像与从摄像控制部201获取的输入图像进行比较来生成差分图像。在一个例子中，在重构图像和输入图像是位图形式的图像数据的情况下，图像比较部207在将重构图像和输入图像变换为灰阶的基础上求出各像素的灰阶的值的差的绝对值，由此得到差分图像。
设定数据存储部208存储包括按各个型号名称的学习条件设定和检查条件设定的设定数据。学习条件设定包括学习方式、试行次数。学习方式是表示在模型生成部204中使用的机器学习模型的学习方式。试行次数是使用了为了生成已学习模型所需的学习用数据的学习的次数。检查条件设定包括网格间隔和异常检测阈值。网格间隔表示在差分图像中规定进行判定的区域的矩形状的网格的平行的一对边之间的距离。异常检测阈值是判断包括基板150中的部件的倾斜或浮起在内的安装状态和包括损伤或异物在内的表面状态是否异常的基准值。在一个例子中，关于异常检测阈值，能够使用在差分图像中设定的网格中的各像素的像素值的统计量的值。统计量的一例是网格中的各像素的像素值的标准偏差或方差。此外，在异常检测阈值的设定中，也可以通过指定位图文件，使得能够按每个网格个别地设定阈值。
判定部209针对由图像比较部207生成的差分图像，使用从设定数据存储部208获取的检查条件设定的设定数据，按照网格间隔使用网格将差分图像分割为多个区域，判定各网格中有无异常，输出判定结果。另外，判定部209生成对输入图像图示了被判定为异常的网格的部位的结果图像。即，结果图像是在差分图像中提取出异常部位的图像。在一个例子中，结果图像是在输入图像中除图示了异常部位的部分以外是透明的图像。在此，判定部209在各网格中的各像素的标准偏差或方差小于检查条件设定中的异常检测阈值的情况下判定为正常，在异常检测阈值以上的情况下判定为异常。
画面显示部210将操作画面显示在显示部109。在一个例子中，画面显示部210将包含从结果图像得到的异常部位的图像显示在显示部109。在实施方式1中，操作画面包括初始画面、学习画面以及检查画面。
图5是表示基于实施方式1的基板外观检查装置中的初始画面的结构的一例的图。初始画面300是在运算处理部110中启动基板外观检查装置100用的应用之后最初显示的画面。画面显示部210在显示了初始画面300的状态下，受理使用者的操作，将显示的画面从初始画面300切换为学习画面400或检查画面500。
初始画面300具有打开学习画面的按钮301、打开检查画面的按钮302以及关闭的按钮303。打开学习画面的按钮301是在由使用者借助输入部进行了点击时将显示在显示部109的画面切换为后述的学习画面的按钮。打开检查画面的按钮302是在由使用者借助输入部进行了点击时将显示在显示部109的画面切换为后述的检查画面的按钮。关闭的按钮303是在由使用者借助输入部进行了点击时关闭初始画面300来使基板外观检查装置100用的应用结束的按钮。
图6和图7是表示基于实施方式1的基板外观检查装置中的学习画面的结构的一例的图。图6是显示了在基板位置A处进行摄像所得到的学习用图像的学习画面400的例子，图7是显示了在基板位置B处进行摄像所得到的学习用图像的学习画面400的例子。
学习画面400是受理与学习有关的操作来对学习用图像和设定数据进行编辑、或者指示执行机器学习模型的学习的画面。学习画面400具有图像显示栏401、型号名称选择栏402、学习用图像选择栏403、学习用图像摄像按钮404、学习用图像读入按钮405、学习用图像删除按钮406、学习条件设定栏410、设定保存按钮411、返回按钮412、学习执行按钮413、学习历史记录显示栏421以及学习日志显示栏422。
图像显示栏401是显示学习用图像的显示区域。关于学习用图像，在学习用图像选择栏403中进行选择。
型号名称选择栏402是选择作为检查对象的基板150的型号名称、或者新输入基板150的型号名称的区域。在一个例子中，型号名称选择栏402由组合框构成。在选择项目中，仅列出此前在学习画面400中输入过的型号名称。
学习用图像选择栏403是显示学习用图像的文件名的一览并受理使用者的选择的区域。在一个例子中，学习用图像选择栏403由列表框构成。
在由使用者在型号名称选择栏402中选择了型号名称的情况下，画面显示部210从学习用图像存储部203的该型号名称的文件夹列出学习用图像，在学习用图像选择栏403中以一览的方式显示所列出的学习用图像的文件名。
学习用图像摄像按钮404是通过使用者的点击来执行摄像部101的摄像处理的按钮。
学习用图像读入按钮405是执行追加要显示在学习用图像选择栏403的学习用图像的文件名的处理的按钮。在一个例子中，当由使用者点击了学习用图像读入按钮405时，画面显示部210打开用于选择学习用图像存储部203所存储的现有的学习用图像的文件的对话框，关于由使用者从对话框选择的文件，将基板位置保管到已学习模型存储部205，并且在学习用图像选择栏403中将所选择的文件名作为项目来追加。
学习用图像删除按钮406是执行删除与在学习用图像选择栏403中选择的文件名对应的学习用图像的处理的按钮。在一个例子中，当由使用者点击了学习用图像删除按钮406时，画面显示部210从学习用图像选择栏403删除在学习用图像选择栏403中处于选择中的学习用图像的文件名，并且从学习用图像存储部203删除与在学习用图像选择栏403中处于选择中的文件名对应的学习用图像的文件。
学习条件设定栏410是能够对学习条件设定的设定项目编辑设定值的表。学习条件设定栏410具有“设定项目”和“设定值”。学习条件设定如上所述那样包括学习方式和试行次数，因此在“设定项目”中输入“学习方式”和“试行次数”。在“设定值”中输入与各自的“设定项目”对应的内容。画面显示部210读入设定数据存储部208的该型号名称的学习条件设定的设定数据，并显示在学习条件设定栏410。此外，在型号名称选择栏402中新输入了型号名称的情况下，画面显示部210在学习用图像存储部203中制作该型号名称的文件夹，清空学习用图像选择栏403，在学习条件设定栏410中显示默认的设定值。
设定保存按钮411是通过使用者的点击来将学习条件设定栏410的设定内容存储到设定数据存储部208的按钮。
返回按钮412是通过使用者的点击来将显示的画面切换为初始画面300的按钮。
学习执行按钮413是通过使用者的点击来按照在学习条件设定栏410中设定的内容指示执行学习处理的按钮。
学习历史记录显示栏421是显示执行了学习处理的历史记录的栏。在一个例子中，学习历史记录显示栏421由列表框构成。在学习历史记录显示栏421中能够显示多个学习处理的执行的历史记录。当从学习历史记录显示栏421选择了一个历史记录的项目时，画面显示部210在图像显示栏401、型号名称选择栏402、学习条件设定栏410以及学习日志显示栏422中显示所选择的历史记录的内容。
学习日志显示栏422是输出执行了学习处理时的任意的日志数据的栏。在一个例子中，学习日志显示栏422由文本框构成。
图8、图9以及图10是表示基于实施方式1的基板外观检查装置中的检查画面的结构的一例的图。图8是显示了在基板位置A处进行摄像所得到的输入图像上叠加结果图像而成的图像的检查画面500的例子，图9是显示了在基板位置B处进行摄像所得到的输入图像上叠加结果图像而成的图像的检查画面500的例子。图10是显示了将图8的输入图像及结果图像与图9的结果图像叠加而成的图像的检查画面500的例子。
检查画面500是受理与检查有关的操作并对与检查有关的设定数据进行编辑、或者指示执行检查、或者显示来自判定部209的判定结果及输入图像、结果图像的画面。检查画面500具有图像显示栏501、型号名称选择栏502、标记显示切换栏503、综合判定栏504、检查条件设定栏510、设定保存按钮511、返回按钮512、检查执行按钮513、检查历史记录选择栏521以及检查日志显示栏522。
图像显示栏501是根据标记显示切换栏503的选择状况而显示来自判定部209的输入图像、在输入图像上叠加结果图像而成的图像、或将基板位置A处的输入图像及结果图像与基板位置B处的结果图像叠加而成的图像即合成结果图像的显示区域。
型号名称选择栏502是选择作为检查对象的基板150的型号名称的栏。在一个例子中，型号名称选择栏502由组合框构成。在选择项目中，仅列出预先在学习画面400中完成了学习的型号名称。
标记显示切换栏503是设定如下切换的栏：是否在显示在图像显示栏501的输入图像中显示异常部位的标记。在一个例子中，标记显示切换栏503由复选框构成。在使异常部位的标记的显示有效的情况下，画面显示部210在图像显示栏501中在输入图像上叠加结果图像来显示。此时，画面显示部210按照在检查历史记录选择栏521中选择的项目的“位置”进行显示。在“位置”表示基板位置A的情况下，将在基板位置A处进行摄像所得到的输入图像与结果图像叠加地显示，在“位置”表示基板位置B的情况下，将在基板位置B处进行摄像所得到的输入图像与结果图像叠加地显示。在“位置”是合成的情况下，将在基板位置A处进行摄像所得到的输入图像及结果图像与基板位置B处的结果图像叠加地显示。此时，也可以不是使用基板位置A处的输入图像，而是使用基板位置B处的输入图像。另外，在使异常部位的标记的显示无效的情况下，画面显示部210在图像显示栏501中仅显示输入图像。
综合判定栏504是显示来自判定部209的判定结果的显示区域。在电子部件152向基板150的安装上没有问题的情况下，在一个例子中，在综合判定栏504中显示为“OK”，在电子部件152向基板150的安装上有问题的情况下，在一个例子中，在综合判定栏504中显示为“NG”。在一个例子中，在差分图像中存在至少一个异常的情况下，能够将判定结果设为“NG”。
检查条件设定栏510是能够对检查条件的设定项目编辑设定值的表。在型号名称选择栏502中选择了型号名称的情况下，画面显示部210读入设定数据存储部208的该型号名称的检查条件设定的设定数据，并显示在检查条件设定栏510。
设定保存按钮511是通过使用者的点击来将检查条件设定栏510的设定内容存储到设定数据存储部208的按钮。
返回按钮512是通过使用者的点击来将显示的画面切换为初始画面300的按钮。
检查执行按钮513是通过使用者的点击来按照在检查条件设定栏510中设定的内容而指示执行检查处理的按钮。
检查历史记录选择栏521是显示执行了检查处理的历史记录的显示区域。在一个例子中，检查历史记录选择栏521由列表框构成。在选择了检查历史记录选择栏521中的历史记录项目时，画面显示部210在图像显示栏501、型号名称选择栏502、检查条件设定栏510以及检查日志显示栏522中显示所选择的历史记录的内容。
检查日志显示栏522是输出执行了检查处理时的任意的日志数据的显示区域。在一个例子中，检查日志显示栏522由文本框构成。
在图8和图9中，在图像显示栏501中显示有在输入图像上叠加结果图像而成的图像。在图8中，具有异常部位531的结果图像与输入图像被叠加而示出在图像显示栏501中。在图9中，具有异常部位531、532的结果图像与输入图像被叠加而示出在图像显示栏501中。异常部位532是在基板位置A处进行摄像所得到的输入图像中未被检测到而仅在基板位置B处进行摄像所得到的输入图像中检测出的异常的例子。除此以外，也可以是将从结果图像得到的异常部位531、532添写在输入图像而成的图像被显示在图像显示栏501中。也就是说，将包括从结果图像得到的存在异常的区域的图像显示在图像显示栏501中即可。另外，图10中示出了将图8的结果与图9的结果合在一起的结果。在图10中，在图像显示栏501中示出了包括图8所示的异常部位531和图9所示的异常部位531、532的合成结果图像。在一个例子中，合成结果图像是将基板位置A处的输入图像及结果图像与基板位置B处的结果图像叠加而成的图像。在该情况下，也可以是将从多个基板位置A、B的全部位置处的多个结果图像得到的异常部位531、532添写在输入图像而成的图像被显示在图像显示栏501中。也就是说，将包括从多个基板位置A、B处的结果图像得到的存在异常的区域的合成结果图像显示在图像显示栏501中即可。
在此，说明上述的运算处理部110的硬件结构。图11是示意性地表示基于实施方式1的基板外观检查装置的运算处理部的硬件结构的一例的框图。运算处理部110由具备执行各种处理的处理器251、存储信息的存储器252以及按照使用者的操作来输入信息的输入部253的计算机构成。处理器251、存储器252以及输入部253通过总线254被连接。
处理器251的例子是CPU(Central Processing Unit，还称为中央处理装置、处理装置、运算装置、微型处理器、微型计算机、DSP(Digital Signal Processor：数字信号处理器))或系统LSI(Large Scale Integration：大规模集成)。存储器252包括RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)或外部存储装置。在RAM中加载由处理器251执行的记载有学习用图像的摄像过程的学习用图像摄像程序、记载有模型的生成过程的模型生成程序以及使用基板150的外观来进行检查的基板外观检查程序，而且临时性地保持由处理器251使用的数据。在ROM中存储有用于作为运算处理部110的计算机的成为基础的控制的程序即BIOS(Basic Input/Output System：基本输入/输出系统)或者UEFI(Unified Extensible Firmware Interface：统一可扩展固件接口)。外部存储装置是HDD或SSD。在外部存储装置中存储有学习用图像摄像程序、模型生成程序及基板外观检查程序、以及包括学习用图像、已学习模型及设定数据的各种数据。此外，学习用图像摄像程序、模型生成程序以及基板外观检查程序也可以被存储在ROM中。此外，基板外观检查程序是外观检查程序的一例。
被存储在ROM和外部存储装置中的程序被加载在RAM。处理器251在RAM中加载学习用图像摄像程序、模型生成程序以及基板外观检查程序来执行各种处理。在实施方式1中，处理器251通过执行学习用图像摄像程序、模型生成程序以及基板外观检查程序，实现上述的传感器输入部200、摄像控制部201、照明控制部202、模型生成部204、重构图像生成部206、图像比较部207、判定部209以及画面显示部210的各处理部的功能。
学习用图像摄像程序、模型生成程序以及基板外观检查程序也可以被存储在能够由计算机读取的存储介质中。运算处理部110也可以将被存储在存储介质中的学习用图像摄像程序、模型生成程序以及基板外观检查程序保存到外部存储装置。存储介质也可以是作为软盘的可移动型存储介质、或者作为半导体存储器的快闪存储器。学习用图像摄像程序、模型生成程序以及基板外观检查程序也可以从其它计算机或服务器装置经由网络被安装到成为运算处理部110的计算机。
输入部253的一例是键盘或鼠标。另外，也可以通过使显示部109与输入部253一体化而成的触摸面板来构成输入部253和显示部109。
此外，运算处理部110除了计算机以外，还可以由微型计算机板、FPGA(Field-Programmable Gate Array：现场可编程门阵列)板等构成。
接着，说明基于实施方式1的基板外观检查装置100中的基板外观检查的方法。以下，依次说明学习用图像的摄像方法、学习方法以及基板外观检查方法。
图12是表示基于实施方式1的基板外观检查装置中的摄像方法的处理过程的一例的流程图。该摄像方法是在图6或图7的学习画面400中由使用者点击了学习用图像摄像按钮404时执行的。在以后的说明中，在学习画面400的型号名称选择栏402中处于选择中的型号名称被称为对象型号名称。
搭载于基板输送托盘160的学习用的基板150在输送路径上通过基板输送机构106被输送。学习用的基板150是具有包括安装的电子部件152的倾斜或浮起在内的安装状态和包括损伤或异物在内的表面状态作为产品被视为正常的外观的基板150。关于安装状态和表面状态的正常或异常，预先根据使用的基板150的用途决定。此时，设基板输送托盘160从设置于输送路径上的第一传感器108A的配置位置向第二传感器108B的配置位置被输送。
首先，传感器输入部200判定是否从第一传感器108A获取到传感器信号(步骤S11)。在没有从第一传感器108A获取到传感器信号的情况(在步骤S11中“否”的情况)下，传感器输入部200直到从第一传感器108A获取到传感器信号为止成为等待状态。另外，在从第一传感器108A获取到传感器信号的情况(在步骤S11中“是”的情况)下，传感器输入部200向摄像控制部201输出触发信号，摄像控制部201对摄像部101指示作为对象物的基板150的摄像(步骤S12)。
具体地说，摄像控制部201当从传感器输入部200被输入了触发信号时，将指示准备点亮照明设备102的照明控制信号输出到照明控制部202。照明控制部202当被输入了照明控制信号时，将对照明设备102的点亮状态进行控制的点亮控制信号输出到照明用电源103。照明用电源103收到点亮控制信号来使照明设备102点亮，对照明设备102进行控制使得成为用点亮控制信号指示的亮度。另外，摄像控制部201对摄像部101指示摄像。由此，由摄像部101对基板位置A处的基板150进行摄像。
之后，摄像控制部201从摄像部101获取作为进行摄像所得到的数据的输入图像(步骤S13)，在学习用图像存储部203中存储输入图像来作为基板位置A处的学习用图像(步骤S14)。此外，摄像控制部201在存储学习用图像时，与在学习画面400中选择的对象型号名称相应的文件夹中存储输入图像来作为学习用图像。此时，学习用图像与基板位置相对应。即，学习用图像与对象型号名称及基板位置相对应地被存储在学习用图像存储部203中。另外，画面显示部210将被存储的学习用图像的文件名追加到学习画面400的学习用图像选择栏403。关于被存储在学习用图像存储部203中的文件名，在一个例子中，能够设为将从“000001”开始的连号与表示基板位置的符号组合而成的文件名。关于表示基板位置的符号，在实施方式1的例子中，在基板位置A的情况下设为“A”，在基板位置B的情况下设为“B”。这样，通过文件夹和文件名，学习用图像被唯一地识别，并且与对象型号名称及基板位置相对应。关于以后的学习用图像的保管，也与文件名的分配方法同样。但是，这是例示，既可以按其它规则制作文件名，也可以将学习用图像与对象型号名称及基板位置相对应。
接着，传感器输入部200判定是否从第二传感器108B获取到传感器信号(步骤S15)。在没有从第二传感器108B获取到传感器信号的情况(在步骤S15中“否”的情况)下，传感器输入部200直到从第二传感器108B获取到传感器信号为止成为等待状态。另外，在从第二传感器108B获取到传感器信号的情况(在步骤S15中“是”的情况)下，传感器输入部200向摄像控制部201输出触发信号，摄像控制部201对摄像部101指示基板150的摄像(步骤S16)。从收到触发信号起至拍摄基板150的图像为止的处理与基板位置A处的摄像的情况同样。
之后，摄像控制部201从摄像部101获取作为进行摄像所得到的数据的输入图像(步骤S17)，在学习用图像存储部203中存储输入图像来作为基板位置B处的学习用图像(步骤S18)。此外，学习用图像与在学习画面400中选择的对象型号名称及基板位置相对应地被存储在学习用图像存储部203中。以上，学习用图像的摄像处理结束。
图13是表示基于实施方式1的基板外观检查装置中的学习方法的处理过程的一例的流程图。学习方法是在图6或图7的学习画面400中由使用者点击了学习执行按钮413时执行的。
首先，模型生成部204从学习用图像存储部203获取基板位置A的学习用图像(步骤S31)。此时，模型生成部204参照学习用图像存储部203的与学习画面400的型号名称选择栏402的对象型号名称相应的文件夹，获取在学习用图像选择栏403中选择的基板位置A的学习用图像。
接着，模型生成部204对获取到的基板位置A的学习用图像进行学习，来生成在重构图像的生成中使用的机器学习模型(步骤S32)。模型生成部204在基板位置A的学习用图像的学习完成时，将所生成的机器学习模型作为基板位置A的已学习模型存储到已学习模型存储部205的与对象型号名称相应的文件夹(步骤S33)。另外，画面显示部210在学习画面400的学习历史记录显示栏421中追加与所执行的学习有关的历史记录数据。如图6和图7所示，在学习历史记录显示栏421的项目名中包括学习完成的日期时间、作为在型号名称选择栏402中选择的对象型号名称的型号名称、表示在学习中使用的学习用图像的基板位置的位置以及表示学习的结果的评价值，因此画面显示部210显示包括这些内容的历史记录数据。在此，位置被设为表示基板位置A的“A”。另外，设想在评价值中示出学习结果的分数，但是作为其它评价值的例子，也能够预先将验证用的图像文件和异常部位的数据准备多个，示出对它们实施了后述的检查方法中的重构图像的生成、图像的比较及判定时的异常部位的一致比例来作为评价值。关于以后的评价值也同样。
之后，模型生成部204从学习用图像存储部203获取基板位置B的学习用图像(步骤S34)。在此，设由使用者在学习画面400的学习用图像选择栏403中选择了基板位置B的学习用图像。模型生成部204参照学习用图像存储部203的与学习画面400的型号名称选择栏402的对象型号名称相应的文件夹，获取在学习用图像选择栏403中选择的基板位置B的学习用图像。
接着，模型生成部204对获取到的基板位置B的学习用图像进行学习，来生成在重构图像的生成中使用的机器学习模型(步骤S35)。模型生成部204在基板位置B的学习用图像的学习完成时，将所生成的机器学习模型作为基板位置B的已学习模型存储到已学习模型存储部205的与对象型号名称相应的文件夹(步骤S36)。另外，画面显示部210在学习画面400的学习历史记录显示栏421中追加与所执行的学习有关的历史记录数据。在此，位置被设为表示基板位置B的“B”。通过以上，学习处理结束。
图14和图15是表示基于实施方式1的基板外观检查装置中的基板外观检查方法的处理过程的一例的流程图。该检查方法是在图8、图9或图10的检查画面500中由使用者点击了检查执行按钮513时执行的。另外，搭载于基板输送托盘160的检查对象的基板150在输送路径上通过基板输送机构106被输送。在此，也设基板输送托盘160从设置于输送路径上的第一传感器108A的配置位置向第二传感器108B的配置位置被输送。在以后的说明中，在检查画面500的型号名称选择栏502中处于选择中的型号名称被称为对象型号名称。
首先，传感器输入部200判定是否从第一传感器108A获取到传感器信号(步骤S51)。在没有从第一传感器108A获取到传感器信号的情况(在步骤S51中“否”的情况)下，传感器输入部200直到从第一传感器108A获取到传感器信号为止成为等待状态。另外，在从第一传感器108A获取到传感器信号的情况(在步骤S51中“是”的情况)下，传感器输入部200向摄像控制部201输出触发信号，摄像控制部201对摄像部101指示在基板位置A处进行基板150的摄像(步骤S52)。基板150的摄像与在图12的步骤S12中说明的过程同样。
之后，摄像控制部201从摄像部101获取作为进行摄像所得到的数据的输入图像(步骤S53)，向重构图像生成部206、图像比较部207以及判定部209输出基板位置A处的输入图像。
接着，重构图像生成部206参照已学习模型存储部205内的与在检查画面500的型号名称选择栏502中选择的对象型号名称对应的文件夹，获取基板位置A的已学习模型(步骤S54)。之后，重构图像生成部206使用获取到的基板位置A的已学习模型，生成对于输入图像的重构图像(步骤S55)。已学习模型是尝试再现学习用对象物的图像数据的模型，是根据图像数据重构出在推断出异常部位531、532时使用的图像的模型。重构图像生成部206将所生成的重构图像输出到图像比较部207。
接着，图像比较部207当被输入了输入图像和重构图像时，将输入图像与重构图像进行比较，生成差分图像(步骤S56)。图像比较部207将所生成的差分图像输出到判定部209。
判定部209当被输入了差分图像时，获取设定数据存储部208内的与在检查画面500的型号名称选择栏502中选择的对象型号名称对应的检查条件设定(步骤S57)。检查条件设定包括网格间隔和异常检测阈值。然后，判定部209按照检查条件设定，针对将差分图像进行分割所得到的各网格判定是否为异常(步骤S58)。在一个例子中，判定部209针对各网格，求出该网格中包含的各像素的像素值的标准偏差或方差，将网格的标准偏差或方差与异常检测阈值进行比较，来判定各网格中有无异常。
判定部209按照检查画面500的标记显示切换栏503的设定内容，将要显示在检查画面500的数据输出到画面显示部210(步骤S59)。具体地说，在检查画面500中标记显示切换栏503的异常部位的标记显示变为无效的情况下，判定部209将输入图像和判定结果传递给画面显示部210。另外，在检查画面500中标记显示切换栏503的异常部位的标记显示为有效的情况下，判定部209生成将差分图像中的除异常部位531、532以外的部分设为透明的结果图像，将输入图像、结果图像以及判定结果传递给画面显示部210。
画面显示部210按照检查画面500的标记显示切换栏503的设定内容，在显示部109中显示判定结果(步骤S60)。具体地说，在检查画面500中标记显示切换栏503的异常部位的标记显示变为无效的情况下，画面显示部210在图像显示栏501中显示输入图像，在综合判定栏504中显示判定结果。另外，在检查画面500中标记显示切换栏503的异常部位的标记显示为有效的情况下，画面显示部210在图像显示栏501中将结果图像叠加在输入图像上来进行显示，在综合判定栏504中显示判定结果。并且，画面显示部210在检查历史记录选择栏521中追加历史记录数据。在一个例子中，画面显示部210将包括检查完成时的日期时间、型号名称、位置以及判定结果的各项目的内容的历史记录数据显示在检查历史记录选择栏521中。此处的位置是表示基板位置A的“A”。
之后，传感器输入部200判定是否从第二传感器108B获取到传感器信号(步骤S61)。在没有从第二传感器108B获取到传感器信号的情况(在步骤S61中“否”的情况)下，传感器输入部200直到从第二传感器108B获取到传感器信号为止成为等待状态。另外，在从第二传感器108B获取到传感器信号的情况(在步骤S61中“是”的情况)下，传感器输入部200向摄像控制部201输出触发信号，摄像控制部201对摄像部101指示在基板位置B处进行基板150的摄像(步骤S62)。基板150的摄像与在图12的步骤S12中说明的过程同样。
之后，摄像控制部201从摄像部101获取作为进行摄像所得到的数据的输入图像(步骤S63)，向重构图像生成部206、图像比较部207以及判定部209输出基板位置B处的输入图像。
接着，重构图像生成部206参照已学习模型存储部205内的与在检查画面500的型号名称选择栏502中选择的对象型号名称对应的文件夹，获取基板位置B的已学习模型(步骤S64)。之后，重构图像生成部206使用获取到的基板位置B的已学习模型，生成对于输入图像的重构图像(步骤S65)。重构图像生成部206将所生成的重构图像输出到图像比较部207。
接着，图像比较部207当被输入了输入图像和重构图像时，将输入图像与重构图像进行比较，生成差分图像(步骤S66)。图像比较部207将所生成的差分图像输出到判定部209。
判定部209当被输入了差分图像时，获取设定数据存储部208内的与在检查画面500的型号名称选择栏502中选择的对象型号名称对应的检查条件设定(步骤S67)。检查条件设定包括网格间隔和异常检测阈值。然后，判定部209按照检查条件设定，针对将差分图像进行分割所得到的各网格判定是否为异常(步骤S68)。判定方法与在步骤S58中说明的方法同样。
判定部209按照检查画面500的标记显示切换栏503的设定内容，将要显示在检查画面500的数据输出到画面显示部210(步骤S69)。此处的处理与在步骤S59中说明的处理同样。
画面显示部210按照检查画面500的标记显示切换栏503的设定内容，在显示部109中显示判定结果(步骤S70)。判定结果的显示方法与在步骤S60中说明的方法同样。并且，画面显示部210在检查历史记录选择栏521中追加历史记录项目数据。在一个例子中，画面显示部210将包括检查完成时的日期时间、型号名称、位置以及判定结果的历史记录数据显示在检查历史记录选择栏521中。此处的位置是表示基板位置B的“B”。
之后，画面显示部210在检查画面500的标记显示切换栏503的异常部位为有效的情况下，生成将基板位置A和基板位置B处的结果图像合成而成的合成结果图像(步骤S71)。在一个例子中，画面显示部210对基板位置A处的输入图像叠加基板位置A和基板位置B处的结果图像来进行显示。画面显示部210在检查历史记录选择栏521中追加与合成结果图像有关的历史记录数据。在一个例子中，画面显示部210将包括检查完成时的日期时间、型号名称、位置以及判定结果的历史记录数据显示在检查历史记录选择栏521中。此处的位置为合成了基板位置A和基板位置B的结果的“合成”。
图10是在输入图像上叠加基板位置A处的结果图像和基板位置B处的结果图像而成的。在基板位置A处，如图8所示那样检测出1处异常部位531。另一方面，在基板位置B处，如图9所示那样检测出2处异常部位531、532。其结果，在将这些合成而成的合成结果图像中，如图10所示，示出了2处异常部位531、532。这样，如果只是对同一个基板150在1处进行摄像，则因包括倾斜或浮起在内的安装状态和包括损伤或异物在内的表面状态的异常引起的差异有时难以表现在图像中。特别是难以检测在摄像部101的摄像方向的轴上发生浮起的部件等。因而，通过使得能够对基板150从多个部位进行摄像并将其结果进行合成来判定，具有能够扩大针对安装状态和表面状态的异常的检测范围这样的效果。此外，作为从多个部位对基板150进行摄像的方法，还考虑单纯地设置多台摄像部101，但是该方法成为设备成本增加的主要原因。如实施方式1那样由第一传感器108A和第二传感器108B检测基板150的位置并由1台摄像部101拍摄多个基板位置处的图像的情况下，具有抑制设备成本的效果。此外，在上述的例子中，示出了在输送路径上配置有2个传感器108A、108B的情况，但是在输送路径上既可以配置1个传感器，也可以配置3个以上的传感器。通过以上内容，处理结束。
在实施方式1中，设置对被输送到输送路径上的不同的位置的基板150进行探测的多个传感器108A、108B，在输送路径的上方设置摄像部101来对到达各个传感器108A、108B的位置的基板150进行摄像。另外，在模型生成部204中，学习对安装有包括浮起或倾斜在内的安装状态和包括损伤或异物在内的表面状态无异常的部件的基板150、即具有作为产品被视为正常的外观的基板150进行摄像所得到的学习用图像，生成用于生成使拍摄检查对象的基板150所得到的输入图像再现的重构图像的模型。重构图像生成部206按照模型根据对检查对象的基板150进行摄像所得到的输入图像生成重构图像，图像比较部207求出作为重构图像与输入图像的差分的差分图像。判定部209使用设置于差分图像的网格中包含的像素的像素值的统计量，判定安装状态和表面状态有无异常，将其结果显示在显示部109中。由此，具有以下效果：无需对基板150的焊料面进行摄像，仅通过对部件面进行摄像就能够对安装于基板150的电子部件152的安装状态或基板150的表面状态的异常进行检查。也就是说，由于不对基板150的焊料面进行摄像，因此在制造包括电子部件152的基板150的基板输送线中，不需要为了检查而设置将基板150翻转的工序。其结果，能够对已设的基板输送线引入基于实施方式1的基板外观检查装置100。
另外，在实施方式1中，判定部209在差分图像中设置网格来进行判定，因此能够以网格为单位来确定存在异常的区域。并且，判定部209使用标准偏差或方差来作为网格中包含的像素的像素值的统计量。由此，能够抑制误检测。另外，由一个摄像部101对到达输送路径上的多个位置的检查对象的基板150进行摄像，使用各个位置的输入图像来进行判定。通过使用在多个位置处进行摄像所得到的基板150的输入图像，对于从某位置的输入图像难以看到安装状态或表面状态的范围，能够用其它位置的输入图像来覆盖，能够提高安装状态或表面状态的异常的检测能力。
并且，通过使用未安装电子部件152的基板150的图像与安装有电子部件152的检查对象的基板150的图像的差分来作为输入图像，输入图像的信息量降低，能够高效地进行用于生成模型的学习。
此外，在上述的说明中，例举了安装有电子部件152的基板150的外观的检查，但是外观检查装置和外观检查方法的对象不限定于基板150。在一个例子中，能够将电子部件152等部件、通过加工来制造的产品、由多个部件组装而成的产品等物体设为检查的对象。另外，作为其它例，能够将涂装后的产品的表面、通过树脂成形来制造的产品的空隙、缺口、裂纹或毛刺的有无等设为检查的对象。在该情况下，通过外观检查装置和外观检查方法检测出物体上的损伤、异物等异常部位。
以上的实施方式所示的结构表示一例，既能够与其它公知的技术相组合，也能够在不脱离主旨的范围内省略、变更结构的一部分。

Claims (11)

1.一种外观检查装置，其特征在于，具备：
摄像部，将对象物进行摄像；
重构图像生成部，将由所述摄像部进行摄像所得到的图像数据作为输入图像，使用尝试再现所述图像数据的模型，生成重构图像，该重构图像是对所述输入图像进行了重构的图像；以及
图像比较部，生成作为所述输入图像与所述重构图像的差分的差分图像。
2.根据权利要求1所述的外观检查装置，其特征在于，
还具备判定部，该判定部将所述差分图像分割为多个区域，基于按每个所述区域计算出的统计量来确定存在异常的区域。
3.根据权利要求2所述的外观检查装置，其特征在于，
所述判定部计算所述区域中包含的像素的像素值的方差或标准偏差来作为所述统计量。
4.根据权利要求2或3所述的外观检查装置，其特征在于，
还具备画面显示部，该画面显示部将所述判定部的结果显示在显示部，
所述判定部生成在所述差分图像中提取出所述存在异常的区域的结果图像，
所述画面显示部将包括从所述结果图像得到的所述存在异常的区域的图像显示在所述显示部。
5.根据权利要求4所述的外观检查装置，其特征在于，
所述摄像部在多个位置处对相同的所述对象物进行摄像，
所述画面显示部将包括从所述多个位置中的全部位置处的所述结果图像得到的所述存在异常的区域的合成结果图像显示在所述显示部。
6.根据权利要求1至5中的任一项所述的外观检查装置，其特征在于，
还具备摄像控制部，该摄像控制部输出对由所述摄像部进行摄像所得到的所述图像数据进行仿射变换或射影变换所得到的图像来作为所述输入图像。
7.根据权利要求1至6中的任一项所述的外观检查装置，其特征在于，
还具备模型生成部，该模型生成部使用所述对象物的图像数据，生成用于生成所述重构图像的所述模型。
8.一种外观检查装置，其特征在于，具备：
摄像部，将对象物进行摄像；以及
模型生成部，使用由所述摄像部进行摄像所得到的所述对象物的图像数据，来生成用于生成重构图像的模型，该重构图像是对所述图像数据进行了重构的图像。
9.根据权利要求7或8所述的外观检查装置，其特征在于，
所述对象物是电子电路基板，
所述模型生成部将未安装部件的所述电子电路基板的图像数据与安装有所述部件的面的所述电子电路基板的图像数据的差分作为输入数据来学习所述模型。
10.根据权利要求9所述的外观检查装置，其特征在于，
所述对象物以安装有所述部件的面朝上的方式在输送路径上被输送，
所述摄像部以对所述输送路径侧进行摄像的方式被配置在所述输送路径的上方。
11.一种外观检查方法，其特征在于，包括以下工序：
摄像部将对象物进行摄像；
运算处理部将由所述摄像部进行摄像所得到的图像数据作为输入图像，使用尝试再现所述图像数据的模型，生成重构图像，该重构图像是对所述输入图像进行了重构的图像；以及
运算处理部生成作为所述输入图像与所述重构图像的差分的差分图像。
CN202080100051.5A 2020-04-28 2020-04-28 外观检查装置和外观检查方法 Pending CN115461612A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018187 WO2021220437A1 (ja) 2020-04-28 2020-04-28 外観検査装置および外観検査方法

Publications (1)

Publication Number Publication Date
CN115461612A true CN115461612A (zh) 2022-12-09

Family

ID=78331862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100051.5A Pending CN115461612A (zh) 2020-04-28 2020-04-28 外观检查装置和外观检查方法

Country Status (4)

Country Link
US (1) US20230196548A1 (zh)
JP (1) JP7270842B2 (zh)
CN (1) CN115461612A (zh)
WO (1) WO2021220437A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375609A (zh) * 2021-05-21 2022-11-22 泰连服务有限公司 自动零件检查系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535848A (ja) * 1991-07-26 1993-02-12 Omron Corp 基板検査システム
JP3749090B2 (ja) * 2000-07-06 2006-02-22 大日本スクリーン製造株式会社 パターン検査装置
JP4131804B2 (ja) * 2002-07-18 2008-08-13 日本電産コパル株式会社 実装部品検査方法
JP4165538B2 (ja) * 2004-07-21 2008-10-15 オムロン株式会社 部品実装検査方法および部品実装検査装置
JP2018005773A (ja) * 2016-07-07 2018-01-11 株式会社リコー 異常判定装置及び異常判定方法
WO2018105028A1 (ja) * 2016-12-06 2018-06-14 三菱電機株式会社 検査装置及び検査方法
CN110678740A (zh) * 2017-05-26 2020-01-10 新东工业株式会社 检查装置以及铸造系统
JP6917781B2 (ja) * 2017-05-31 2021-08-11 株式会社キーエンス 画像検査装置
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
CN111902712B (zh) * 2018-03-29 2023-07-25 三菱电机株式会社 异常检查装置及异常检查方法
CN112334761B (zh) * 2018-06-22 2023-12-15 柯尼卡美能达株式会社 缺陷判别方法、缺陷判别装置及记录介质

Also Published As

Publication number Publication date
JPWO2021220437A1 (zh) 2021-11-04
US20230196548A1 (en) 2023-06-22
JP7270842B2 (ja) 2023-05-10
WO2021220437A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
JP4008291B2 (ja) パターン検査装置、パターン検査方法およびプログラム
KR102252592B1 (ko) 기판 불량 검사 장치 및 방법
JP2005283577A (ja) フィードバックを提供するための検査システム及び方法
JP2010230452A (ja) 欠陥検査方法および欠陥検査システム
JP2007311426A (ja) 画像二値化処理方法、画像処理装置及びコンピュータプログラム
CN115461612A (zh) 外观检查装置和外观检查方法
JPH0792104A (ja) 被検査物の不良個所検査方法
JP6623545B2 (ja) 検査システム、検査方法、プログラムおよび記憶媒体
CN111665264B (zh) 代表色决定方法、检查装置、检查方法以及记录介质
JP2008014831A (ja) エッジ欠陥検出方法、及び検出装置
JP6979860B2 (ja) 画像処理システム
JP2009150656A (ja) パターン検査方法およびパターン検査装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置
WO2024090054A1 (ja) 画像処理方法、プログラム、および、画像処理装置
EP4010873B1 (en) Use of an hdr image in a visual inspection process
JP4889018B2 (ja) 外観検査方法
JP2000162089A (ja) 画面検査方法と装置
JP2004085543A (ja) 外観検査装置及び外観検査方法
JP2022156999A (ja) 検査方法、検査装置
JPH06161378A (ja) 液晶表示装置検査装置
JP4457194B2 (ja) 欠陥検査装置
JP2002259971A (ja) 画像濃淡ムラ検出方法及びこの検査装置
JP2020003452A (ja) 検査装置、検査方法、および、検査装置用のプログラム
Lu et al. Machine vision systems using machine learning for industrial product inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination