CN115908238A - 图像检查方法、不良部位的图像的管理方法和图像检查装置 - Google Patents

图像检查方法、不良部位的图像的管理方法和图像检查装置 Download PDF

Info

Publication number
CN115908238A
CN115908238A CN202211016830.4A CN202211016830A CN115908238A CN 115908238 A CN115908238 A CN 115908238A CN 202211016830 A CN202211016830 A CN 202211016830A CN 115908238 A CN115908238 A CN 115908238A
Authority
CN
China
Prior art keywords
image
defective
images
transfer
good
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211016830.4A
Other languages
English (en)
Inventor
小原晃
杉田信治
笠原启雅
望月葵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN115908238A publication Critical patent/CN115908238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Preparing Plates And Mask In Photomechanical Process (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供图像检查方法、不良部位的图像的管理方法和图像检查装置，使用了图像检查装置(例如X射线检查装置等)的图像检查方法通过将某部件的不良部位的图像转印到其他部件的图像，生成并显示模拟的不良部位的图像和计测值，能够在视觉上和数值上判别良品与不良品的差异。本公开的使用了图像检查装置的图像检查方法具有将不良部位的图像转印到良品的图像中的转印目的地而生成转印图像的转印步骤作为全部步骤中的一部分。

Description

图像检查方法、不良部位的图像的管理方法和图像检查装置
技术领域
本发明涉及用于通过对检查对象物的图像进行检查来判定检查对象物的良否的图像检查方法和图像检查装置。
背景技术
以往，已知在实际的制造工序中无法得到品质管理所需的数量的不良图像的情况下，基于良品图像来生成模拟的不良图像。例如，在模拟地生成初始学习时所需要的不良图像的情况下，能够自动且大量地进行生成的模拟不良图像自动生成装置是公知的。该模拟不良图像自动生成装置从良品输入部输入良品图像作为神经网络的学习数据来进行学习。另外，不良图像从不良图像输入部输入，进行学习。另外，通过不良图像提取部，提取与良品的差分数据，在模拟数据条件设定部中，根据随机数产生部的随机数值，生成多套不良合成位置等的不良生成条件，基于该不良生成条件，模拟不良图像生成部对良品图像合成差分数据，由此，生成多套模拟不良图像，作为神经网络的学习数据而输入(比如，参照专利文献1)。
另外，能够高精度地针对判别良品和不良品的模型执行学习的学习装置也是公知的。该学习装置具备中间图像生成部、中间图像显示部、边界受理部以及教师图像确定部。中间图像生成部根据作为表示良品的图像的良品图像和作为表示不良品的图像的不良品图像，生成多个中间图像。中间图像显示部在良品图像与不良品图像之间配置多个中间图像并显示于显示装置。边界受理部从用户受理中间图像的边界的指定，作为良品图像和不良品图像之间的边界。教师图像确定部基于指定的边界来确定良品图像和不良品图像的图像(例如，参照专利文献2)。此外，能够容易地根据不良品图像生成良品图像的图像处理装置也是公知的(例如，参照专利文献3)。
根据上述专利文献1所公开的内容，基于良品图像的数据和不良图像的数据来生成模拟不良图像，将该模拟不良图像作为神经网络的学习数据进行输入，由此能够提高作为模拟不良图像自动生成装置的检查装置的合格与否判定的精度。但是，不能说能够使用过去蓄积的不良图像高效地生成模拟不良图像或其计测值。
此外，根据上述专利文献2中公开的内容，当基于良品图像和不良品图像生成多个中间图像时，边界受理部从用户受理中间图像的边界的指定作为良品图像和不良品图像之间的边界。然而，如果在指定中间图像的边界时没有充分地获得不良品图像，则必须仅基于良品图像来指定中间图像的边界，可能需要依赖于经验的指定。该依赖于经验的指定有可能使学习装置的检查品质产生偏差，因此不优选。另外，不能说能够使用过去蓄积的不良图像高效地生成新的模拟不良图像。
现有技术文献
专利文献
专利文献1：日本特开2005-156334号公报
专利文献2：日本专利第6780769号公报
专利文献3：日本特开2020-008488号公报
发明内容
发明所要解决的课题
本公开是鉴于上述那样的问题点而完成的，其最终的目的在于提供一种图像检查方法以及图像检查装置，通过将过去取得的不良部位的图像转印到良品图像，能够高效地生成模拟的不良部位的图像，利用于品质管理。
用于解决课题的手段
用于解决上述课题的本公开包含一种图像检查方法，其能够使用图像检查装置判别检查对象物中的良品和不良品，所述图像检查方法具有：图像显示步骤，显示所述良品的图像；不良图像显示步骤，显示与所述良品相同种类的检查对象物中的多个不良部位的图像；选择步骤，选择所述良品的图像中的转印目的地以及所述多个不良部位的图像中的与该转印目的地对应的一个以上的不良部位的图像；以及转印步骤，将在所述选择步骤中选择出的所述多个不良部位的图像中的一个以上的不良部位的图像转印到所述良品的图像中的所述转印目的地，生成转印图像。
根据本公开，在转印步骤中，通过将不良部位的图像转印到良品的图像中的转印目的地，能够高效地生成模拟的不良部位的图像。该模拟的不良部位的图像能够用于判别制造工序中的良品与不良品的差异，由此，容易执行将良品与不良品的差异登记于图像检查装置的示教这样的作业。也能够提供该转印图像作为良品与不良品的差异的判别基准。另外，在转印步骤中转印的不良部位的图像越多，越能够得到更多的模拟的不良部位的图像。
另外，在本公开中，也可以是，所述图像检查方法还具有：转印图像显示步骤，显示所述转印图像；计测步骤，计测所述转印图像中的规定特征量；以及计测结果显示步骤，显示在所述计测步骤中得到的计测结果或者在所述计测步骤中得到的计测结果及其他检查对象物中的所述规定特征量的计测结果。由此，能够在视觉上以及数值上判别良品与不良品的差异，判别基准变得更明确，因此示教变得更容易执行。
另外，在本公开中，也可以是，所述图像检查方法的特征在于，在所述图像显示步骤以及所述不良图像显示步骤中，所述良品的图像以及所述多个不良部位的图像分别被显示为自XYZ这三个方向的断层图像。由此，在不良品为立体的情况下，能够防止因死角而漏看该不良品中的不良部位的风险。
另外，在本公开中，也可以设为如下的图像检查方法：在所述转印步骤中，在所述转印目的地的尺寸与所述不良部位的图像的尺寸不同的情况下，能够调整所述不良部位的图像的尺寸，以使各自的尺寸相同。由此，无论转印目的地的尺寸如何都能够进行转印。
另外，在本公开中，也可以是，图像检查方法的特征在于，在所述计测结果显示步骤中，以直方图显示所述计测结果。通过以直方图显示，能够根据计测值简单地确认不良品的频度。
另外，在本公开中，也可以是，图像检查方法的特征在于，所述检查对象物是搭载有电子元件的电路基板，所述良品的图像中的所述转印目的地是所述电子元件与所述电路基板的连接部，所述良品图像中的所述连接部的XY方向的边界是通过二值化而自动判定的。由此，能够明确地确定转印目的地。
另外，在本公开中，也可以是，图像检查方法的特征在于，所述连接部的Z方向的边界是所述连接部的两端，是通过捕捉所述连接部的两端的位置而自动地设定的。由此，即使在良品是立体的情况下，也能够明确地确定转印目的地。
另外，在本公开中，也可以是上述的图像检查方法中的多个不良部位的图像的管理方法，其中，对在过去的检查中取得的所述多个不良部位的图像进行数据库化，对所述多个不良部位的图像各自关联所述检查对象物的种类、不良的种类以及基于表示不良程度的数值的不良阶段，基于该数值的不良阶段是基于过去在所述计测步骤中计测出的计测结果或者基于过去通过目视判定出的结果而决定的数值。由此，能够掌握与不良部位相关的更详细的信息。也能够提供与该不良部位相关的更详细的信息。
另外，本公开包括一种图像检查装置，其能够判别检查对象物中的良品和不良品，所述图像检查装置具备：数据库，其蓄积所述良品的图像的数据；不良数据库，其蓄积与所述良品相同种类的检查对象物中的多个不良部位的图像的数据；转印部，其向从所述数据库取得的所述良品的图像中的转印目的地转印从所述不良数据库取得的、所述多个不良部位的图像中的与该转印目的地对应的一个以上的不良部位的图像，生成转印图像；以及显示部，其显示从所述数据库取得的所述良品的图像以及从所述不良数据库取得的所述多个不良部位的图像。
根据本公开，能够以简单的装置结构将不良部位的图像转印到良品的图像中的转印目的地。由此，能够判别良品与不良品的差异，另外，由于能够判别良品与不良品的差异，从而易于执行示教。
另外，在本公开中，也可以是，图像检查装置的特征在于，还具备计测所述转印图像中的规定特征量的计测部，所述显示部还显示在所述转印部中得到的所述转印图像、在所述计测部中得到的计测结果以及其他检查对象物中的所述规定特征量的计测结果。由此，能够在视觉上以及数值上判别良品与不良品的差异，判别基准变得更明确，因此示教变得更容易执行。
另外，在本公开中，也可以是，图像检查装置的特征在于，在所述显示部中，所述良品的图像及所述多个不良部位的图像分别被显示为自XYZ三个方向的断层图像。由此，在不良品为立体的情况下，能够防止因死角而漏看该不良品中的不良部位的风险。显示部能够将良品的图像和多个不良部位的图像显示为自XY方向、YZ方向和XZ方向的所有方向的断层图像，因此易于掌握良品和不良部位的整体像。
另外，在本公开中，也可以设为如下的图像检查装置：在所述转印部中，在所述转印目的地的尺寸与所述不良部位的图像的尺寸不同的情况下，能够调整所述不良部位的图像的尺寸，以使各自的尺寸相同。由此，无论转印目的地的尺寸如何都能够进行转印。
另外，在本公开中，也可以是，图像检查装置的特征在于，在所述显示部中，以直方图显示所述计测结果。通过以直方图显示，能够根据计测值简单地确认不良品的频度。另外，如果能够在显示部中同时显示转印图像和直方图，则更容易在视觉上以及数值上判别良品与不良品的差异。
另外，在本公开中，也可以是，图像检查装置的特征在于，所述检查对象物是搭载有电子元件的电路基板，所述良品的图像中的所述转印目的地是所述电子元件与所述电路基板的连接部，所述良品图像中的所述连接部的XY方向的边界是通过二值化而自动地判定的。由此，能够明确地确定转印目的地。
另外，在本公开中，也可以是，图像检查装置的特征在于，所述连接部的Z方向的边界是所述连接部的两端，是通过捕捉所述连接部的两端的位置而自动地设定的。由此，即使在良品是立体的情况下，也能够明确地确定转印目的地。
另外，在本公开中，也可以是，图像检查装置的特征在于，在所述不良数据库中，对在过去的检查中取得的所述多个不良部位的图像进行数据库化，对所述多个不良部位的图像各自关联有所述检查对象物的种类、不良的种类以及基于表示不良程度的数值的不良阶段，基于该数值的不良阶段是基于过去在所述计测部中计测出的计测结果或者基于过去通过目视判定出的结果而决定的数值。由此，能够掌握与不良部位相关的更详细的信息。
另外，用于解决上述课题的手段可以尽可能地相互组合使用。
发明效果
根据本公开，通过将某部件的不良部位的图像转印到良品图像，能够高效地生成模拟的不良部位的图像，利用于品质管理。其结果，能够生成并显示模拟的不良部位的图像和计测值，在视觉上以及数值上判别良品与不良品的差异。另外，能够确保充分的不良部位的图像，容易执行示教。
附图说明
[图1]图1是表示实施例的X射线检查装置的一例的功能框图。
[图2]图2是表示使用了实施例的X射线检查装置的图像检查方法中的多个不良部位的图像的管理方法的一例的说明图。
[图3]图3的(A)是说明在使用了实施例的X射线检查装置的图像检查方法中显示部所显示的内容的一例的流程的第1图。图3的(B)是说明在使用了实施例的X射线检查装置的图像检查方法中显示部所显示的内容的一例的流程的第2图。
[图4]图4的(A)是说明在使用了实施例的X射线检查装置的图像检查方法中显示部所显示的内容的一例的流程的第3图。图4的(B)是说明在使用了实施例的X射线检查装置的图像检查方法中显示部所显示的内容的一例的流程的第4图。
[图5]图5是说明在使用了实施例的X射线检查装置的图像检查方法中显示部所显示的内容的一例的流程的第5图。
[图6]图6是表示使用实施例的X射线检查装置的图像检查方法的步骤的流程图。
标号说明
1：X射线检查装置；10：拍摄部；11：工作台；12：拍摄条件存储部；13：X线发生器；14：X线检测器；20：运算部；21：三维数据生成部；22：数据库；23：不良数据库；24：转印部；25：计测部；30：显示部；40：芯片；50：引脚；51：不良引脚；52：转印引脚；60：计测结果。
具体实施方式
[应用例]
以下，使用一部分附图对本公开的应用例的概要进行说明。本公开能够应用于图1所示那样的X射线检查装置1。另外，本公开通过使用X射线检查装置1，能够应用于图6的流程图所示那样的处理。
图1是表示能够应用本公开的X射线检查装置1的一例的功能框图。如图1所示，X射线检查装置1构成为大致具备拍摄部10、运算部20以及显示部30。拍摄部10构成为具备工作台11、拍摄条件存储部12、X射线产生器13以及X射线检测器14。X射线检查装置1检查的检查对象物(例如焊接有电子部件的电路基板等)被放置在工作台11上，基于从拍摄条件存储部12读出的拍摄条件(例如拍摄距离、亮度等)，由拍摄照相机(省略图示)进行拍摄。另外，放置在工作台11上的检查对象物通过从X射线产生器13产生的X射线被分析立体构造等。X射线检测器14检测从X射线产生器13照射并透过了检查对象物的X射线的强度。
运算部20构成为具备三维数据生成部21、数据库22、不良数据库23、转印部24以及计测部25。三维数据生成部21基于由拍摄照相机拍摄到的检查对象物的图像，生成三维数据。此外，三维数据是指从XYZ的三个方向观察时的断层图像。在此，由于在检查对象物的制造工序中产生不良的频率低之类理由，多数情况下难以从检查对象物取得不良品的三维数据。因此，检查对象物的三维数据大多生成为良品的数据。另外，所生成的三维数据被蓄积在数据库22中。此外，例如在检查对象物为平面构造体的情况下、想要仅取得检查对象物的表面的数据的情况下等，运算部20也可以不具备三维数据生成部21，而具备生成二维数据的结构。不良数据库23蓄积与检查对象物相同种类的部件中的多个不良部位的三维数据。此外，不良数据库23所蓄积的数据也可以是二维数据。
显示部30显示三维数据生成部21所生成的三维数据(以下，为了与不良部位的三维数据明确地区别，将该三维数据称为“良品的图像”)以及不良数据库23所蓄积的不良部位的三维数据(以下，称为“不良部位的图像”)。在不良数据库23中预先将在过去的检查中取得的不良部位的图像数据库化。在显示部30中，通过选择良品的图像的一部分区域以及不良部位的图像，转印部24将良品的图像的一部分区域作为转印目的地，转印不良部位的图像。由此，更新良品的图像，生成包含模拟的不良部位的转印图像。在此，转印是指组合一般的图像处理方法(例如基于二值化的方法)，以不会变得不自然的方式进行图像的剪贴的处理(对于以下的实施例中记载的转印也是同样的)。另外，转印目的地是指被执行图像的剪贴处理的区域(对于以下的实施例中记载的转印目的地也是同样的)。显示部30显示该转印图像，计测部25计测所显示的转印图像。当计测结束时，显示部30显示计测结果(省略图示)。根据该计测结果，能够确认检查对象物中的不良的发生频度。
另外，关于上述的运算部20所执行的运算处理和显示部30所显示的内容，详细内容在以下的实施例中使用图3的(A)、图3的(B)、图4的(A)、图4的(B)、图5进行说明。
图6是表示使用了能够应用本公开的X射线检查装置1的图像检查方法的步骤的流程图。关于流程，在本应用例中仅说明概要，详细内容在以下的实施例中说明。
在使用了本应用例的X射线检查装置1的图像检查方法中，如上所述，首先将三维数据生成部21生成的良品的图像显示于显示部30，接着将从不良数据库23取得的不良部位的图像也显示于显示部30。接着，从显示于显示部30的良品的图像中选择任意的点作为转印目的地，另外，从显示于显示部30的多个不良部位的图像中选择一个以上的不良部位的图像。当确定了转印目的地时，将所选择的不良部位的图像转印到该转印目的地。由此，对良品的图像进行加工，生成包含模拟的不良部位的转印图像。接着，该转印图像显示于显示部30，在计测部25中计测规定特征量。最后，计测结果显示在显示部30上。
如以上那样，根据使用了本应用例的X射线检查装置1的图像检查方法，即使在检查对象物的制造工序中未产生不良而无法从三维数据生成部21取得检查对象物中的不良部位的数据的情况下，也能够通过转印部24生成包含模拟的不良部位的转印图像。进而，通过在计测部25中计测转印图像，能够在视觉上以及数值上判别良品与不良品的差异。作为良品与不良品的差异的判别基准，也能够提供该转印图像。
[实施例]
以下，使用附图(也包括在上述的应用例中暂时说明的附图)对使用了本公开的实施例的X射线检查装置1的图像检查方法进行更详细的说明。另外，本发明的X射线检查装置并不限定于以下的结构。另外，在实施例中，作为图像检查装置的一例，例示X射线检查装置1，但并不限定于此，也可以是其他种类的装置。
＜装置结构＞
在此，返回图1的说明。本实施例的X射线检查装置1具有与在应用例中说明的X射线检查装置1相同的结构，因此对于在应用例中已说明的内容，省略详细的说明。另外，在本说明书中，对相同的构成要素使用相同的附图标号进行说明。
三维数据生成部21能够从数据库22取得过去在数据库22中蓄积的良品的图像。因此，即使在工作台11上没有放置检查对象物，转印部24也能够将不良部位的图像转印到检查对象物的良品的图像上。因此，三维数据生成部21能够作为与X射线检查装置1中的拍摄功能独立的功能而生成转印图像。另外，例如如图2所示，在不良数据库23中，预先对在过去的检查中取得的多个不良部位的图像进行数据库化，针对多个不良部位的图像分别关联有检查对象物的种类、不良的种类、以及基于表示不良程度的数值的不良阶段。而且，将不良部位的图像、部件的种类、不良的种类和基于数值的不良阶段这四个项目作为一个集合而赋予ID。显示部30也可以能够显示该四个项目的信息。另外，通过过滤功能、排序功能，能够检索该四个项目中的一个项目。在检查对象物例如为焊接有电子元件的电路基板的情况下，作为不良的种类，例如可举出不润湿、空隙等(在图2中，作为不良部位的图像，例示焊接部位处的不良引脚51(详细情况在以下进行说明)的图像)。基于数值的不良阶段是基于过去由计测部25计测出的计测结果、或者基于过去通过目视判定出的结果而决定的数值。作为与不良部位的图像相关的详细信息，也能够提供将上述四个项目作为一个集合进行管理的信息。图2所示的管理方法相当于本公开中的不良部位的图像的管理方法。
＜使用X射线检查装置的图像检查方法＞
以下，基于图3的(A)、图3的(B)、图4的(A)、图4的(B)、图5对在使用了本实施例的X射线检查装置1的图像检查方法中显示部30所显示的内容的一例的流程进行说明。显示部30显示的内容基于运算部20执行的运算处理。另外，以下作为一例，设检查对象物为电路基板上的电子元件即芯片40中的多个引脚50。
图3的(A)是三维数据生成部21生成了芯片40的良品的图像时显示部30显示的内容的一例。显示部30针对一个芯片40，将分别从XY方向(俯视时的方向)及YZ方向(侧视时的方向)及XZ方向(主视或后视时的方向)观察时的图像显示为断层图像。为了明确是从哪个方向观察时的图像，也可以对各个图像附加“XY”、“YZ”、“XZ”这样的标记。另外，在为良品的情况下，从XY方向观察时的引脚50呈具有高的正圆度的圆形的形状，从YZ方向及XZ方向观察时的引脚50具有椭圆的形状。另外，在显示部30显示“转印设定”、“转印执行”、“计测”之类的表示针对运算部20的指令的按钮，通过用户按下该按钮，运算部20开始运算处理。
图3的(B)是从不良数据库23取得了多个不良部位(以下，称为“不良引脚51”)的图像时显示部30所显示的内容的一例。多个不良引脚51的图像通过用户按下“转印设定”按钮而列表化显示。关于不良引脚51，也将分别从XY方向、YZ方向、XZ方向观察时的图像作为一个集合显示为断层图像。另外，对于不良引脚51，也可以标注“XY”、“YZ”、“XZ”这样的标记。另外，在本实施例中，不良引脚51是指例如正圆或椭圆的形状被破坏的引脚。
图4的(A)是在选择成为转印目的地的芯片40的图像的一部分和成为转印源的不良引脚51的图像时显示部30显示的内容的一例。在确定转印目的地和转印源时，从图3的(A)中显示的芯片40的图像中选择任意一点，从图3的(B)中显示的多个不良引脚51的图像中选择一个不良引脚51的图像。各个选择部位例如如图4的(A)所示那样用黑点等显示。另外，在从芯片40的图像中选择了任意一点时，基于该一点来确定转印目的地。关于转印目的地的引脚50，具体而言，XY方向的边界通过二值化而自动地判定，或者在手动地进行了区域设定的基础上，针对该区域内的图像通过二值化而自动地判定。Z方向的边界是引脚50的两端，通过捕捉引脚50的两端的位置而自动设定。以自动设定Z方向的边界的方式，捕捉芯片40、引脚50的特征来对芯片40的图像进行图像处理。由此，分别确定成为转印目的地的芯片40的图像的部分和与转印目的地对应地成为转印源的不良引脚51的图像。此外，在芯片40的图像中，也可以以包含多个引脚50的图像的方式选择区域，与这些多个引脚50分别对应地选择多个不良引脚51的图像。在此，转印目的地相当于作为电子元件与电路基板的连接部的引脚50。
图4的(B)是在将不良引脚51的图像转印到芯片40的图像的一部分时显示部30所显示的内容的一例。通过用户按下“转印执行”按钮，转印部24将在图4的(A)中选择的不良引脚51的图像转印到芯片40的图像的一部分。通过该转印，芯片40中的引脚50被置换为不良引脚51(以下，将通过该转印置换后的引脚50称为“转印引脚52”)，生成转印图像。在转印时，转印目的地的图像和转印源的图像各自的尺寸不同的情况较多，因此能够通过放大或缩小成为转印源的不良引脚51的图像的尺寸来进行调整，以使它们的尺寸相同。此外，在图4的(A)中，例如在选择了从XY方向观察时的芯片40的图像的一部分区域的情况下，该区域不仅在XY方向被确定，在YZ方向以及XZ方向上也被确定，因此在图4的(B)中，在生成转印图像时，在XY方向、YZ方向以及XZ方向的所有方向上显示转印引脚52(即，若显示从XY方向观察时的转印引脚52，则也显示与该转印引脚52对应地从YZ方向以及XZ方向观察时的转印引脚52)。转印引脚52例如如图4的(B)所示那样由方框包围地显示。另外，如上所述，也可以在图4的(A)中在多个部位选择芯片40的图像的一部分，与这些多个部位分别对应地选择多个不良引脚51的图像，因此，在该情况下，能够转印多个不良引脚51而得到更多的转印引脚52的图像(即不良部位的图像)。
图5是计测转印图像时显示部30所显示的内容的一例。转印图像具有引脚50和转印引脚52，通过用户按下“计测”按钮，计测部25计测转印图像上的所有引脚50和转印引脚52、以及不是转印图像的其他芯片40上的所有引脚50和转印引脚52中的规定特征量。当执行了计测时，显示部30显示计测结果60。计测结果60例如如图5所示，通过以计测值为横轴、以频度为纵轴的直方图来显示。在该情况下，能够根据新生成的转印图像中的规定特征量的计测值和其他芯片40的图像，显示工序中的计测对象物的规定特征量的计测值的直方图，也能够显示在该时刻显示的转印图像所涉及的芯片40中的全部的引脚50和转印引脚52的计测值的直方图。另外，规定特征量例如是指引脚50以及转印引脚52的表面的真圆度、面积，引脚50以及转印引脚52基于该计测值中的规定阈值而大致分为良品和不良品。
＜流程图＞
在此，返回到图6的说明。以下，使用图6对使用了本实施例的X射线检查装置1的图像检查方法的步骤进行详细说明。在本流程图中，首先，三维数据生成部21生成从XY方向、YZ方向以及XZ方向观察时的芯片40的图像，显示部30将该芯片40的图像显示为断层图像(步骤S101)。在此，步骤S101相当于本公开中的图像显示步骤以及本实施例中的图3的(A)。进而，显示部30将从不良数据库23取得的从XY方向、YZ方向及XZ方向观察时的多个不良引脚51的图像也与芯片40的图像并排显示(步骤S102)。在此，步骤S102相当于本公开中的不良图像显示步骤以及本实施例中的图3的(B)。接着，从显示于显示部30的芯片40的图像中选择任意的点，与该任意的点对应地从多个不良引脚51的图像中选择一个以上的不良引脚51的图像。在从芯片40的图像中选择了任意的点时，基于该任意的点确定XY方向的边界和Z方向的边界，由此确定转印目的地(步骤S103)。在此，步骤S103相当于本公开中的选择步骤以及本实施例中的图4的(A)。如果确定了转印目的地，则将所选择的不良引脚51的图像转印到该转印目的地。由此，芯片40的图像被加工，生成包含作为模拟的不良部位的转印引脚52的转印图像(步骤S104)。在此，步骤S104相当于本公开中的转印步骤以及本实施例中的图4的(B)。显示部30显示转印图像(步骤S105)，计测部25对转印图像及不是转印图像的其他芯片40上的所有引脚50和转印引脚52，计测例如它们的表面的真圆度、面积(步骤S106)。这里，步骤S105相当于本公开中的转印图像显示步骤以及本实施例中的图5。另外，步骤S106相当于本公开中的计测步骤以及本实施例中的图5。步骤S106中的计测结果60例如以直方图显示于显示部30(步骤S107)。在此，步骤S107相当于本公开中的计测结果显示步骤以及本实施例中的图5。
＜附记1＞
一种图像检查方法，其能够使用图像检查装置(1)判别检查对象物(40)中的良品(50)和不良品(51、52)，所述图像检查方法具有：
图像显示步骤(步骤S101)，显示所述良品的图像；
不良图像显示步骤(步骤S102)，显示与所述良品相同种类的检查对象物中的多个不良部位(51)的图像；
选择步骤(步骤S103)，选择所述良品的图像中的转印目的地以及所述多个不良部位的图像中的与该转印目的地对应的一个以上的不良部位的图像；以及
转印步骤(步骤S104)，将在所述选择步骤中选择出的所述多个不良部位的图像中的一个以上的不良部位的图像转印到所述良品的图像中的所述转印目的地，生成转印图像。
＜附记2＞
一种图像检查装置(1)，其能够判别检查对象物(40)中的良品(50)和不良品(51、52)，所述图像检查装置具有：
数据库(22)，其蓄积所述良品的图像的数据；
不良数据库(23)，其蓄积与所述良品相同种类的检查对象物中的多个不良部位(51)的图像的数据；
转印部(24)，其向从所述数据库取得的所述良品的图像中的转印目的地转印从所述不良数据库取得的、所述多个不良部位的图像中的与该转印目的地对应的一个以上的不良部位的图像，生成转印图像；以及
显示部(30)，其显示从所述数据库取得的所述良品的图像和从所述不良数据库取得的所述多个不良部位的图像。

Claims (16)

1.一种图像检查方法，其能够使用图像检查装置判别检查对象物中的良品和不良品，所述图像检查方法具有：
图像显示步骤，显示所述良品的图像；
不良图像显示步骤，显示与所述良品相同种类的检查对象物中的多个不良部位的图像；
选择步骤，选择所述良品的图像中的转印目的地以及所述多个不良部位的图像中的与该转印目的地对应的一个以上的不良部位的图像；以及
转印步骤，将在所述选择步骤中选择出的所述多个不良部位的图像中的一个以上的不良部位的图像转印到所述良品的图像中的所述转印目的地，生成转印图像。
2.根据权利要求1所述的图像检查方法，其特征在于，
所述图像检查方法还具有：
转印图像显示步骤，显示所述转印图像；
计测步骤，计测所述转印图像中的规定特征量；以及
计测结果显示步骤，显示在所述计测步骤中得到的计测结果、或者显示在所述计测步骤中得到的计测结果及其他检查对象物中的所述规定特征量的计测结果。
3.根据权利要求1或2所述的图像检查方法，其特征在于，
在所述图像显示步骤及所述不良图像显示步骤中，所述良品的图像及所述多个不良部位的图像分别被显示为自XYZ三个方向的断层图像。
4.根据权利要求1或2所述的图像检查方法，其特征在于，
在所述转印步骤中，在所述转印目的地的尺寸与所述不良部位的图像的尺寸不同的情况下，能够调整所述不良部位的图像的尺寸，以使各自的尺寸相同。
5.根据权利要求2所述的图像检查方法，其特征在于，
在所述计测结果显示步骤中，以直方图显示所述计测结果。
6.根据权利要求1或2所述的图像检查方法，其特征在于，
所述检查对象物是搭载有电子元件的电路基板，
所述良品的图像中的所述转印目的地是所述电子元件与所述电路基板的连接部，
所述良品的图像中的所述连接部的XY方向的边界是通过二值化而自动判定的。
7.根据权利要求6所述的图像检查方法，其特征在于，
所述连接部的Z方向的边界是所述连接部的两端，是通过捕捉所述连接部的两端的位置而自动设定的。
8.一种不良部位的图像的管理方法，其是权利要求2所述的图像检查方法中的多个不良部位的图像的管理方法，其特征在于，
对在过去的检查中取得的所述多个不良部位的图像进行数据库化，
对所述多个不良部位的图像各自关联所述检查对象物的种类、不良的种类以及基于表示不良程度的数值的不良阶段，基于该数值的不良阶段是基于过去在所述计测步骤中计测出的计测结果或者基于过去通过目视判定出的结果而决定的数值。
9.一种图像检查装置，其能够判别检查对象物中的良品和不良品，所述图像检查装置具备：
数据库，其蓄积所述良品的图像的数据；
不良数据库，其蓄积与所述良品相同种类的检查对象物中的多个不良部位的图像的数据；
转印部，其向从所述数据库取得的所述良品的图像中的转印目的地转印从所述不良数据库取得的、所述多个不良部位的图像中与该转印目的地对应的一个以上的不良部位的图像，生成转印图像；以及
显示部，其显示从所述数据库取得的所述良品的图像以及从所述不良数据库取得的所述多个不良部位的图像。
10.根据权利要求9所述的图像检查装置，其特征在于，
所述图像检查装置还具备计测所述转印图像中的规定特征量的计测部，
所述显示部还显示在所述转印部中得到的所述转印图像、在所述计测部中得到的计测结果以及其他检查对象物中的所述规定特征量的计测结果。
11.根据权利要求9或10所述的图像检查装置，其特征在于，
在所述显示部中，所述良品的图像及所述多个不良部位的图像分别被显示为自XYZ三个方向的断层图像。
12.根据权利要求9或10所述的图像检查装置，其特征在于，
在所述转印部中，在所述转印目的地的尺寸与所述不良部位的图像的尺寸不同的情况下，能够调整所述不良部位的图像的尺寸，以使各自的尺寸相同。
13.根据权利要求10所述的图像检查装置，其特征在于，
在所述显示部中，以直方图显示所述计测结果。
14.根据权利要求9或10所述的图像检查装置，其特征在于，
所述检查对象物是搭载有电子元件的电路基板，
所述良品的图像中的所述转印目的地是所述电子元件与所述电路基板的连接部，
所述良品的图像中的所述连接部的XY方向的边界是通过二值化而自动判定的。
15.根据权利要求14所述的图像检查装置，其特征在于，
所述连接部的Z方向的边界是所述连接部的两端，是通过捕捉所述连接部的两端的位置而自动设定的。
16.根据权利要求10所述的图像检查装置，其特征在于，
在所述不良数据库中，对在过去的检查中取得的所述多个不良部位的图像进行数据库化，
对所述多个不良部位的图像各自关联有所述检查对象物的种类、不良的种类以及基于表示不良程度的数值的不良阶段，基于该数值的不良阶段是基于过去在所述计测部中计测出的计测结果或者基于过去通过目视判定出的结果而决定的数值。
CN202211016830.4A 2021-09-30 2022-08-24 图像检查方法、不良部位的图像的管理方法和图像检查装置 Pending CN115908238A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-161192 2021-09-30
JP2021161192A JP2023050857A (ja) 2021-09-30 2021-09-30 画像検査方法、及び画像検査装置

Publications (1)

Publication Number Publication Date
CN115908238A true CN115908238A (zh) 2023-04-04

Family

ID=85477226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211016830.4A Pending CN115908238A (zh) 2021-09-30 2022-08-24 图像检查方法、不良部位的图像的管理方法和图像检查装置

Country Status (4)

Country Link
JP (1) JP2023050857A (zh)
CN (1) CN115908238A (zh)
DE (1) DE102022208849A1 (zh)
TW (1) TWI822269B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456899B1 (en) * 1999-12-07 2002-09-24 Ut-Battelle, Llc Context-based automated defect classification system using multiple morphological masks
JP2005156334A (ja) 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
US9183624B2 (en) * 2013-06-19 2015-11-10 Kla-Tencor Corp. Detecting defects on a wafer with run time use of design data
JP6780769B2 (ja) 2017-03-23 2020-11-04 日本電気株式会社 学習装置、学習方法および学習プログラム
KR102440695B1 (ko) * 2017-08-11 2022-09-05 삼성전자주식회사 웨이퍼 맵 분석 장치, 이를 이용한 웨이퍼 맵 분석 방법 및 반도체 장치 제조 방법
JP7194348B2 (ja) 2018-07-11 2022-12-22 オムロン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2020035285A1 (en) * 2018-08-15 2020-02-20 Asml Netherlands B.V. Utilize machine learning in selecting high quality averaged sem images from raw images automatically

Also Published As

Publication number Publication date
DE102022208849A1 (de) 2023-03-30
JP2023050857A (ja) 2023-04-11
TW202316107A (zh) 2023-04-16
TWI822269B (zh) 2023-11-11

Similar Documents

Publication Publication Date Title
US6799130B2 (en) Inspection method and its apparatus, inspection system
CN112053318B (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN103502801B (zh) 缺陷分类方法以及缺陷分类系统
US7062081B2 (en) Method and system for analyzing circuit pattern defects
JP4552749B2 (ja) 検査基準設定装置及び方法、並びに、工程検査装置
US20080281548A1 (en) Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
EP3106948A1 (en) Quality management device and method for controlling same
CN106168582B (zh) 检查装置及检查方法
TW200944784A (en) Inspection detecting method
KR20070077103A (ko) 화상 취입 방법 및 검사 방법 및 그 장치
KR102228957B1 (ko) 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
JP2010080969A (ja) 試料の観察方法およびその装置
US7925074B2 (en) Adaptive background propagation method and device therefor
WO2016165828A1 (de) Verfahren zum prüfen eines elektronischen bauteils
CN115908238A (zh) 图像检查方法、不良部位的图像的管理方法和图像检查装置
JPH11258178A (ja) 検査装置および方法
JP2023051102A (ja) 画像検査方法、及び画像検査装置
TWI433246B (zh) 半導體積體電路之缺陷複查裝置
JP2023050842A (ja) 画像検査方法、及び画像検査装置
JP2023050937A (ja) 画像検査方法、及び画像検査装置
CN113034496A (zh) 一种pcb板测试系统
JP2023050697A (ja) 画像検査方法、及び画像検査装置
JP2002031605A (ja) 欠陥確認装置および自動外観検査装置
WO2024116675A1 (ja) 画像処理装置および画像処理方法
Brunelle et al. Line scan vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination