CN113763335A - 检查在印刷电路板贴装的部件的装置、其运转方法 - Google Patents

检查在印刷电路板贴装的部件的装置、其运转方法 Download PDF

Info

Publication number
CN113763335A
CN113763335A CN202110972590.4A CN202110972590A CN113763335A CN 113763335 A CN113763335 A CN 113763335A CN 202110972590 A CN202110972590 A CN 202110972590A CN 113763335 A CN113763335 A CN 113763335A
Authority
CN
China
Prior art keywords
component
information
inspection
similarity
circuit board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110972590.4A
Other languages
English (en)
Other versions
CN113763335B (zh
Inventor
韩承范
菲利普·卢卡斯·派克尼瓦斯基
具大成
林祐永
姜镇万
朴基源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaoying Technology Co ltd
Original Assignee
Gaoying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaoying Technology Co ltd filed Critical Gaoying Technology Co ltd
Priority to CN202110972590.4A priority Critical patent/CN113763335B/zh
Publication of CN113763335A publication Critical patent/CN113763335A/zh
Application granted granted Critical
Publication of CN113763335B publication Critical patent/CN113763335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

检查在印刷电路板贴装的部件的装置可以包括：处理器，其确定在第一印刷电路板贴装的第一部件的外形信息，针对分别利用所述第一部件的外形信息及多个部件的外形信息确定的所述多个部件的外形信息，当与所述第一部件的外形信息的相似度中具有最大值的第一相似度为预先设置的基准相似度以上时，利用具有所述第一相似度的第二部件的检查信息，执行对所述第一部件贴装状态的检查，如果确定为所述第一部件的贴装状态良好，则利用与所述第二部件检查信息匹配的所述第一部件的检查信息，更新所述多个部件的检查信息。

Description

检查在印刷电路板贴装的部件的装置、其运转方法
本申请是原申请的申请日为2018年2月13日，申请号为201880011381.X，发明名称为《检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质》的中国专利申请的分案申请。
技术领域
本公开主张2017年2月13日申请的美国临时专利申请第62/458,166号的优先权的权益。美国临时专利申请第62/458,166号据此作为参照文献包含于本公开。
本公开涉及检查在印刷电路板贴装的部件的装置，更具体而言，涉及一种检查在印刷电路板贴装的部件的贴装状态的装置。
背景技术
一般而言，在印刷电路板的制造工序中，丝网印刷机将焊膏印刷于印刷电路板，贴装机将部件贴装于印刷有焊膏的印刷电路板。
另外，为了检查在印刷电路板贴装的部件的贴装状态，利用了自动光学外观检查装置(AOI:automated optical inspection)。AOI装置利用关于印刷电路板的图像，检查部件是否在印刷电路板上无位置脱离、扭曲、倾斜等地正常贴装。
另一方面，AOI装置为了检查各个部件的贴装状态，要求诸如检查项目、检查基准等的检查信息。不过，最近，在印刷电路板贴装的部件的种类日益多样，部件的集成度增加，相反，用于检查各部件的贴装状态的诸如检查项目、检查基准等的检查信息应由使用者手动输入，为了部件的贴装状态的检查，需要大量时间。另外，在使用者遗漏用于检查特定部件的贴装状态所需的诸如检查项目、检查基准等的检查信息输入的情况下，会无法正常执行对特定部件的贴装状态的检查。
发明内容
(要解决的问题)
本公开可以提供一种部件检查装置，利用关于印刷电路板的信息、多个部件的外形信息及多个部件的检查信息，检查在印刷电路板贴装的部件的贴装状态。
本公开可以提供一种计算机可读记录介质，记录了包含可执行命令的程序，所述命令使得部件检查装置利用关于印刷电路板的信息、多个部件的外形信息及多个部件的检查信息，检查在印刷电路板贴装的部件的贴装状态。
本公开可以提供一种部件检查装置的运转方法，利用关于印刷电路板的信息、多个部件的外形信息及多个部件的检查信息，检查在印刷电路板贴装的部件的贴装状态。
(解决问题的手段)
根据本公开的一个实施例，检查在印刷电路板贴装的部件的装置可以包括：存储器，其存储印刷电路板信息、多个部件的外形信息及用于贴装状态检查的所述多个部件的检查信息；图像传感器，其获得基于所述印刷电路板信息而制作的关于第一印刷电路板的二维图像及三维图像；及处理器，其利用对应于检查在所述第一印刷电路板贴装的第一部件的贴装状态的第一检查区域的所述二维图像的第一部分图像及所述三维图像的第二部分图像，确定所述第一部件的外形信息，针对各个利用所述第一部件的外形信息及所述多个部件的外形信息而确定的所述多个部件的外形信息，判断与所述第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上，当所述第一相似度为所述基准相似度以上时，在所述多个部件的检查信息中，利用与具有所述第一相似度的第二部件的外形信息关联的第二部件的检查信息，执行对所述第一部件贴装状态的检查，通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用与所述第二部件的检查信息匹配的所述第一部件的检查信息，更新所述多个部件的检查信息。
在一个实施例中，所述印刷电路板信息可以包括关于所述印刷电路板的多个部件贴装位置的信息、关于所述印刷电路板的多个焊膏印刷位置的信息及关于所述多个部件与所述多个焊膏接合关系的信息。
在一个实施例中，所述多个部件的外形信息可以包括所述多个部件的高度信息、面积信息、体积信息、位置信息、关于在所述多个部件表面印刷的至少一个文字的信息、多条引线的数量信息、所述多条引线的厚度信息、所述多条引线之间的间隔信息及所述多条引线的位置信息中至少一个。
在一个实施例中，所述多个部件的检查信息可以包括反映对所述多个部件贴装状态的检查中至少一个检查项目的检查项目信息及反映所述至少一个检查项目的检查基准的检查基准信息。
在一个实施例中，所述处理器可以利用基于所述印刷电路板信息确定的第一部件相对于所述第一印刷电路板的贴装位置，确定所述第一检查区域。
在一个实施例中，所述存储器可以存储进行学习而以便导出两个部件外形信息之间的相似度的基于机器学习的模型，所述处理器可以将所述多个部件的外形信息和所述第一部件的外形信息应用于所述基于机器学习的模型，针对所述多个部件的外形信息分别确定与所述第一部件的外形信息的相似度。
在一个实施例中，所述处理器可以从所述二维图像及所述三维图像中，裁剪(crop)对应于所述第一检查区域的所述第一部分图像及所述第二部分图像，利用分别从所述第一部分图像及第二部分图像中提取的特征点，确定所述第一部件的外形信息。
在一个实施例中，所述处理器可以在所述第一相似度不足所述基准相似度的情况下，生成所述第一部件的检查信息，利用所述生成的第一部件的检查信息，执行对所述第一部件贴装状态的检查，通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用所述生成的第一部件的检查信息，更新所述部件的检查信息。
在一个实施例中，所述处理器可以基于所述第一部件的外形信息，确定对所述第一部件的贴装状态检查中的至少一个检查项目，利用所述第二部件检查信息的至少一部分及预先设置的基准中至少一个，确定所述至少一个检查项目的检查基准，基于所述确定的至少一个检查项目及所述确定的至少一个检查项目的检查基准，生成所述第一部件的检查信息。
在一个实施例中，所述处理器通过所述检查，如果确定为所述第一部件的贴装状态不良，则可以调整所述第一部件的检查信息的至少一部分，以便确定所述第一部件的贴装状态为良好，利用所述调整的至少一部分的第一部件的检查信息，更新所述部件的检查信息。
在一个实施例中，所述处理器通过所述检查，如果确定为所述第一部件的贴装状态不良，则可以调整所述第二部件检查信息的至少一部分，以便所述第一部件的贴装状态确定为良好，利用与所述调整的至少一部分的第二部件检查信息匹配的第一部件检查信息，更新所述多个部件的检查信息。
在一个实施例中，所述存储器可以存储以便导出两个部件外形信息之间的相似度而学习的基于机器学习的模型，通过所述检查，如果确定为所述第一部件的贴装状态不良，则所述处理器可以更新所述基于机器学习的模型，以便所述第一相似度不足所述基准相似度。
根据本公开的一个实施例，作为记录用于在计算机上执行的程序的非暂时性计算机可读记录介质，所述程序可以包括可执行命令，所述可执行命令在借助于处理器而运行时，使得所述处理器执行：获得基于印刷电路板信息制作的关于第一印刷电路板的二维图像及三维图像的步骤；利用对应于检查在所述第一印刷电路板贴装的第一部件的贴装状态的第一检查区域的所述二维图像的第一部分图像及所述三维图像的第二部分图像，确定所述第一部件的外形信息的步骤；针对利用所述第一部件的外形信息及所述多个部件的外形信息而确定的所述多个部件的外形信息，分别判断与所述第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上的步骤；当所述第一相似度为所述基准相似度以上时，在所述多个部件的检查信息中，利用与具有所述第一相似度的第二部件的外形信息关联的第二部件的检查信息，执行对所述第一部件贴装状态的检查的步骤；及通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用与所述第二部件的检查信息匹配的所述第一部件的检查信息，更新所述多个部件的检查信息的步骤。
在一个实施例中，所述可执行命令可以使得所述处理器还执行：利用基于所述印刷电路板的信息确定的在所述第一印刷电路板贴装的第一部件的贴装位置，确定用于所述第一部件的贴装状态检查的第一检查区域的步骤。
在一个实施例中，所述可执行命令可以使得所述处理器还执行：在所述第一相似度不足所述基准相似度的情况下，生成对所述第一部件的检查信息的步骤；利用所述生成的第一部件的检查信息，执行对所述第一部件贴装状态的检查的步骤；及通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用所述生成的第一部件的检查信息，更新所述部件的检查信息的步骤。
在一个实施例中，所述可执行命令可以使得所述处理器还执行：通过所述检查，如果确定为所述第一部件的贴装状态不良，则调整所述第二部件检查信息的至少一部分以便所述第一部件的贴装状态确定为良好的步骤；及利用与所述调整至少一部分的第二部件检查信息匹配的第一部件的检查信息，更新所述多个部件的检查信息的步骤。
根据本公开的一个实施例，检查在印刷电路板贴装的部件的装置的运转方法可以包括：获得基于印刷电路板信息制作的关于第一印刷电路板的二维图像及三维图像的步骤；利用对应于检查在所述第一印刷电路板贴装的第一部件的贴装状态的第一检查区域的所述二维图像的第一部分图像及所述三维图像的第二部分图像，确定所述第一部件的外形信息的步骤；针对各个利用所述第一部件的外形信息及所述多个部件的外形信息而确定的所述多个部件的外形信息，判断与所述第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上的步骤；当所述第一相似度为所述基准相似度以上时，在所述多个部件的检查信息中，利用与具有所述第一相似度的第二部件的外形信息关联的第二部件的检查信息，执行对所述第一部件贴装状态的检查的步骤；及通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用与所述第二部件的检查信息匹配的所述第一部件的检查信息，更新所述多个部件的检查信息的步骤。
(发明的效果)
本公开的根据多个实施例的部件检查装置，在对印刷电路板贴装的部件的贴装状态的检查中，可以利用存储的关于多个部件的检查信息中至少一个自动设置。另外，部件检查装置可以在对印刷电路板贴装的部件的贴装状态的检查中，利用基于存储的部件的检查信息中至少一个生成的检查信息。由此，使用者无需逐一输入所有部件的用于贴装状态检查的检查信息，可以防止遗漏输入特定部件的信息而无法正常执行检查的问题。
附图说明
图1是示出根据本公开的多个实施例的部件检查装置的框图。
图2是示出根据本公开的多个实施例的部件检查装置的运转方法的流程图。
图3是示出根据本公开的多个实施例的部件检查装置确定检查区域的方法的流程图。
图4是示出根据本公开的多个实施例的部件检查装置确定检查区域的方法的图。
图5是示出根据本公开的多个实施例的部件检查装置确定部件的外形信息的方法的图。
图6是示出根据本公开的多个实施例的部件检查装置生成第一部件的检查信息的方法的流程图。
图7是示出根据本公开的多个实施例的部件检查装置对第一部件的检查结果，更新多个部件的检查信息的方法的流程图。
图8是示出根据本公开的多个实施例的检查装置对第一部件的检查结果，利用第一部件的检查信息，更新多个部件的信息的方法的流程图。
图9是示出根据本公开的多个实施例的由检查装置生成第一部件的检查信息后，更新基于机器学习的模型的方法的流程图。
具体实施方式
本发明的实施例是为了说明本发明技术思想的目的而示例性提出的。本公开的权利范围不限定于以下揭示的实施例或对这些实施例的具体说明。
只要未不同地定义，本公开中使用的所有技术术语及科学术语具有本公开所属技术领域的普通技术人员一般理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，并非是为了限制本公开的权利范围而选择的。
本发明中使用的诸如“包括的”、“具备的”、“具有的”等表达，只要在包含相应表达的语句或文章中未提及不同，应理解为具有包括其他实施例的可能性的开放型术语(open-ended terms)。
只要未提及不同，本公开中记述的单数型的表达可以包括复数型的意义，这也同样适用于权利要求书中记载的单数型的表达。
本发明使用的“第一”、“第二”等表达，用于相互区分多个构成要素，并非限定相应构成要素的顺序或重要度。
本公开中使用的“基于～”字样的表达，用于记述对包含相应表达的语句或文章中记述的确定、判断的行为或动作施加影响的一个以上因子，该表达不排除对确定、判断的行为或动作施加影响的追加因子。
在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以是以新的其他构成要素为媒介而连接或接入。
下面参照附图，说明本公开的实施例。在附图中，对相同或对应的构成要素，赋予相同的附图标记。另外，在以下实施例的说明中，可以省略重复记述相同或对应的构成要素。但是，即使省略关于构成要素的记述，也并不是说某个实施例中不包括这种构成要素。
图1是示出根据本公开的多个实施例的部件检查装置的框图。
根据本公开的多个实施例，部件检查装置100可以包括存储器110、图像传感器120及处理器130。部件检查装置100中包括的构成要素可以通过总线(图上未示出)电气连接，接收发送信息、控制讯息等。
在一个实施例中，存储器110可以存储与部件检查装置100的至少一个其他构成要素相关的命令或数据。另外，存储器110可以存储软件及/或程序。
例如，存储器110可以包括内置存储器或外置存储器。内置存储器例如可以包括易失性存储器(例：DRAM(动态随机存取存储器)、SRAM(静态随机存取存储器)或SDRAM(同步动态随机存取记忆体)等)、非易失性存储器(例：闪速存储器、硬盘或固态硬盘(SSD))中至少一种。外置存储器可以通过多样接口，与电子装置100在功能上或物理上连接。
在一个实施例中，存储器110可以存储印刷电路板信息、多个部件的外形信息及用于对印刷电路板贴装的多个部件的贴装状态进行检查的多个部件的检查信息。印刷电路板信息、多个部件的外形信息及多个部件的检查信息既可以通过部件检查装置100的通信模块(未示出)接收，也可以通过输入界面(未示出)输入。多个部件的外形信息和多个部件的检查信息可以相互关联地存储于存储器110。例如，特定部件的外形信息可以与特定部件检查信息关联地存储于存储器110。
另外，关于印刷电路板的信息、关于多个部件的外形信息及关于多个部件的检查信息中至少一个也可以存储于与部件检查装置100以有线或无线方式联动的电子装置(例：外部服务器等)的存储器。此时，部件检查装置100为了检查印刷电路板贴装的部件的贴装状态，可以与以有线或无线方式联动的电子装置接收发送印刷电路板信息、多个部件的外形信息及多个部件的检查信息中至少一个。
在一个实施例中，印刷电路板信息可以包括与印刷电路板的制作相关的信息。存储器110可以按印刷电路板种类，存储多样的印刷电路板信息。例如，印刷电路板信息可以包括多个部件相对于印刷电路板的各个贴装位置的第一信息、多个焊膏相对于印刷电路板的印刷位置的第二信息及关于多个部件与多个焊膏的接合关系的第三信息。另外，存储器110可以只存储第一信息及第二信息。此时，处理器130可以利用第一信息及第二信息确定第三信息。
例如，关于多个部件与多个焊膏的接合关系的第三信息，可以是反映特定部件与印刷在印刷电路板上的多个焊膏中的哪个焊膏接合的信息。例如，处理器130可以利用第三信息，判断在印刷电路板贴装的第一部件与第一焊膏至第三焊膏接合。
另外，处理器130也可以利用第一信息至第三信息，判断第一部件的多条引线分别与哪个焊膏接合。例如，处理器130可以利用第一信息至第三信息，判断第一部件的第一引线与第一焊膏接合，第二引线与第二焊膏接合，第三引线与第三焊膏接合。
在一个实施例中，多个部件的外形信息可以包括多个部件的高度信息、面积信息(例：多个部件的上表面面积信息等)、体积信息、位置信息、关于在多个部件表面印刷的至少一个文字的信息、多条引线的数量信息、多条引线的厚度信息、多条引线之间的间隔信息及多条引线的位置信息中至少一个。不过，这只是出于说明的目的，并非限定于此，与可利用多个部件的二维图像或三维图像而测量的多个部件外形相关的多样信息，可以用作多个部件的外形信息。
在一个实施例中，多个部件的检查信息，可以是用于检查多个部件贴装状态的信息。例如，多个部件的检查信息可以包括在对多个部件贴装状态的检查中反映至少一个检查项目的检查项目信息及反映至少一个检查项目的检查基准的检查基准信息。
例如，对特定部件的检查项目信息可以基于特定部件的外形信息确定。例如，在特定部件的外形信息中包含特定部件的高度信息、面积信息、体积信息及多条引线的厚度信息的情况下，在对多个部件各个的贴装状态的检查中，部件的高度、面积、体积及多条引线厚度中至少一个可以确定为用于检查特定部件贴装状态的检查项目，存储为特定部件的检查项目信息。
例如，检查基准信息可以是反映按至少一个检查项目成为判断多个部件的贴装状态是否良好或是否不良的基准的信息。例如，高度及面积确定为检查项目时，检查基准信息可以包括对高度的检查基准及对面积的检查基准。处理器130按各个检查项目，比较测量的特定部件外形信息与各个检查基准，从而可以执行对特定部件贴装状态的检查。对于生成检查基准信息的具体方法，将在后面叙述。
在一个实施例中，图像传感器120可以获得基于存储器110存储的关于印刷电路板的信息制作的关于第一印刷电路板的二维图像及三维图像。例如，第一印刷电路板可以是第一印刷电路板贴装的多个部件的贴装状态被判断为良好的印刷电路板。
例如，关于第一印刷电路板的二维图像，可以利用将多个单色光照明照射于第一印刷电路板后反射的光生成，关于第一印刷电路板的三维图像，可以利用将至少一个格子条纹照明照射于第一印刷电路板后反射的光生成。
在图1中，图示了图像传感器120包含于部件检查装置100的情形，但并非限定于此，图像传感器120也可以作为独立于部件检查装置100的构成，与部件检查装置100以有线或无线方式连接。
在一个实施例中，处理器130可以驱动操作系统或应用程序，控制部件检查装置100至少一个其他构成要素，可以执行各种数据处理及运算。例如，处理器130可以包括中央处理装置等，可以以SoC(system on chip，片上系统)体现。
在一个实施例中，处理器130在执行基于存储器110中存储的关于印刷电路板的信息制作的第一印刷电路板贴装的多个部件贴装状态的检查之前，可以在存储器110存储的多个部件的检查信息中，确定在第一印刷电路板贴装的多个部件的贴装状态检查中使用的至少一个部件的检查信息，或生成至少一个检查信息。
在一个实施例中，处理器130可以通过图像传感器120，获得关于第一印刷电路板的二维图像及三维图像。作为又一示例，处理器130可以通过部件检查装置100的通信电路(未示出)，接收从外部电子装置通过外部电子装置的图像传感器获得的关于第一印刷电路板的二维图像及三维图像。
下面，为了说明的便利，在存储器110存储的多个部件的检查信息中，确定为了检查第一印刷电路板贴装的第一部件贴装状态的用于对第一部件贴装状态检查的第一部件检查信息或生成第一部件检查信息的方法为中心进行说明，但并非限定于此，处理器130可以以相同的方法，针对第一印刷电路板贴装的所有多个部件，确定用于贴装状态检查的多个部件各自的检查信息或生成多个部件各自的检查信息。
在一个实施例中，处理器130可以确定用于对第一印刷电路板贴装的第一部件贴装状态检查的第一检查区域。例如，处理器130可以利用基于存储器110存储的印刷电路板信息确定的第一部件相对于第一印刷电路板的贴装位置，确定第一检查区域。对于确定第一检查区域的具体方法，将在后面叙述。
在一个实施例中，处理器130可以利用对应于确定的第一检查区域的二维图像的第一部分图像及三维图像的第二部分图像，测量第一部件的外形信息。例如，处理器130可以从二维图像及三维图像，裁剪(crop)对应于第一检查区域的第一部分图像及第二部分图像。处理器130可以利用在裁剪的第一部分图像及第二部分图像中分别提取的特征点，确定第一部件的外形信息。例如，处理器130可以利用在第一部分图像及第二部分图像中提取的特征点，测量第一部件的高度、面积、体积、位置及在第一部件印刷的至少一个文字、多条引线的数量、多条引线的厚度、多条引线之间的间隔及多条引线的位置中至少一个，利用测量的结果，确定第一部件的外形信息。
在一个实施例中，处理器130可以利用确定的第一部件的外形信息，更新存储器110存储的多个部件的外形信息。例如，处理器130将第一部件的外形信息附加于存储器110存储的多个部件的外形信息，从而可以更新多个部件的外形信息。由此，更新的多个部件的外形信息可以包括确定的第一部件的外形信息。
在一个实施例中，处理器130可以利用确定的第一部件的外形信息及存储器110存储的多个部件的外形信息，针对多个部件，分别确定与第一部件的相似度。例如，相似度作为代表两个部件在何种程度上类似的值，例如，可以是利用数值代表外形信息间差异的误差分数(error score)。
例如，处理器130可以根据预先设置的确定两个部件之间相似度的算法，针对多个部件分别确定与第一部件的相似度。作为又一示例，处理器130可以利用以便导出两个部件之间相似度而学习的基于机器学习的模型，针对多个部件，分别确定与第一部件的相似度。基于机器学习的模型可以以确定两个部件之间相似度的算法为基础，利用关于部件的图像、关于部件的外形信息等进行学习，以便导出两个部件之间的相似度。例如，基于机器学习的模型可以利用深度学习模式、CNN(convolution neural network，卷积神经网络)等多样的基于机器学习的模型。
在一个实施例中，以便导出两个部件之间相似度而学习的基于机器学习的模型，可以存储于存储器110或与部件检查装置100以无线或有线方式联动的外部电子装置的存储器。处理器130可以将关于多个部件的外形信息和第一部件的外形信息应用于基于机器学习的模型，针对多个部件，分别确定与第一部件的相似度。
例如，基于机器学习的模型比较第一多个部件的外形信息与第一部件的外形信息，从而可以确定第一多个部件的外形信息与第一部件的外形信息的差异。基于机器学习的模型可以基于所确定的差异，针对多个部件分别导出与第一部件的相似度。
例如，基于机器学习的模型可以根据外形信息包含的信息种类而应用互不相同的加权值，应用针对第一多个部件的外形信息与第一部件的外形信息的差异所应用的加权值，针对多个部件分别导出与第一部件的相似度。下面为了说明的便利，假定在外形信息中包括部件的面积信息、在部件表面印刷的至少一个文字信息及多条引线的数量信息，加权值按在部件表面印刷的至少一个文字信息、多条引线的数量信息及部件面积信息顺序升高地应用。此时，就基于机器学习的模型在至少一个文字信息存在差异，而相比多条引线数量信息及部件面积信息相同的情形，部件面积信息有差异且至少一个文字信息及多条引线数量信息相同的情形可以导出更高相似度。如上所述，基于机器学习的模型可以应用针对第一多个部件的外形信息与第一部件的外形信息的差异所应用的加权值，针对多个部件分别导出与第一部件的相似度。
上面说明的基于机器学习的模型针对多个部件分别导出与第一部件相似度的方法，只是出于说明目的，并非限定于此，可以使基于机器学习的模型以多样的方法学习，通过部件的外形信息，针对多个部件分别导出与第一部件的相似度。
在一个实施例中，处理器130可以在针对存储器110存储的多个部件外形信息分别确定的与第一部件外形信息的相似度中，判断具有最大值的第一相似度是否为预先设置的基准相似度以上。具有第一相似度的第二部件外形信息可以是在多个部件外形信息中，判断为与第一部件外形信息最相似的外形信息。处理器130判断第一相似度是否为基准相似度以上，从而可以在对第一部件贴装状态的检查中，利用与具有第一相似度的第二部件外形信息关联的第二部件的检查信息。
例如，基准相似度可以利用相同检查信息可判断能够执行贴装状态检查的最小相似度。部件的外形信息间的相似度为基准相似度以上的情况下，即使利用相同检查信息执行贴装状态检查，基准相似度对部件的贴装状态检查结果也可以与实际部件的贴装状态对应。
在一个实施例中，处理器130在第一相似度为基准相似度以上的情况下，可以在存储器110存储的多个部件检查信息中，利用第二部件的检查信息，执行对第一部件贴装状态的检查。例如，处理器130可以基于第二部件检查信息，确定第一部件贴装状态检查中的至少一个检查项目信息及至少一个检查项目的检查基准。处理器130可以在第一部件的外形信息中，确定对应于所确定的至少一个检查项目的至少一部分信息，并比较所确定的至少一部分信息与至少一个检查项目的检查基准。处理器130可以基于比较结果，检查第一部件的贴装状态。例如，处理器130可以检查第一部件的贴装状态是否为不良或良好。
在一个实施例中，处理器130通过对第一部件贴装状态的检查，如果确定为第一部件的贴装状态良好，则可以与第二部件的检查信息匹配地生成第一部件的检查信息。另外，处理器130可以利用第一部件的检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130将第一部件的检查信息附加于多个部件的检查信息，从而可以更新多个部件的检查信息。由此，更新的多个部件的检查信息可以包括第一部件的检查信息。
另外，处理器130也可以不生成第一部件的检查信息，而使第一部件的外形信息与第二部件的检查信息关联，从而在对第一部件贴装状态的检查中，利用第二部件的检查信息。
在一个实施例中，处理器130通过第一部件贴装状态检查，如果确定为第一部件贴装状态不良，则可以调整第二部件检查信息的至少一部分，以便确定为第一部件贴装状态良好。例如，处理器130可以调整第二部件检查信息包括的检查基准信息，确定在第一部件贴装状态检查的第一部件贴装状态良好。
另外，处理器130通过第一部件贴装状态检查，如果确定为第一部件贴装状态不良，则可以更新基于机器学习的模型，以便第一相似度不足基准相似度。例如，处理器130利用与具有第一相似度的第二部件外形信息关联的第二部件检查信息执行的贴装状态检查结果与实际部件贴装状态相异的情况下，可以判断为基于机器学习的模型未能准确导出两个部件之间的相似度。因此，处理器130可以更新基于机器学习的模型，以便基于机器学习的模型可以更准确地导出部件间的相似度。例如，处理器130可以通过诸如调整根据外形信息所包含信息的种类而应用的互不相同加权值等方法，更新基于机器学习的模型。由此，基于机器学习的模型可以更准确地导出两个部件之间的相似度。
在一个实施例中，处理器130可以利用调整的至少一部分的第二部件检查信息，重新执行对第一部件的贴装状态检查。处理器130通过重新执行的检查，如果确定为第一部件贴装状态良好，则可以生成第一部件的检查信息，以便与调整的至少一部分的第二部件检查信息匹配。另外，处理器130可以利用第一部件的检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130将第一部件的检查信息附加于多个部件的检查信息，从而可以更新多个部件的检查信息。由此，更新的多个部件检查信息可以包括第一部件的检查信息。
在一个实施例中，处理器130在第一相似度不足基准相似度的情况下，为了第一部件贴装状态检查，可以生成第一部件的检查信息。处理器130在第一相似度不足基准相似度的情况下，可以判断为在多个部件的外形信息中不存在与第一部件外形信息相似的外形信息，生成对第一部件的检查信息。对于生成对第一部件的检查信息的具体方法将在后面叙述。
如上所述，本公开多样实施例的部件检查装置100在执行对印刷电路板贴装的多个部件贴装状态的检查之前，可以在存储器110存储的多个部件检查信息中，确定为了对印刷电路板贴装的各个部件进行检查而利用的部件检查信息，或生成用于检查的部件检查信息。由此，可以消除使用者为了执行对印刷电路板贴装的多个部件贴装状态进行检查而需要输入检查所使用的多个部件的外形信息及检查信息中至少一个的不便，可以防止遗漏输入关于特定部件的外形信息及检查信息中至少一个而无法正常执行检查的问题。
图2是示出根据本公开的多个实施例的部件检查装置的运转方法的流程图。
在图2、图3、图6、图7、图8及图9所示的流程图中，进程步骤、方法步骤、算法等虽然是按顺序依次说明的，但这些进程、方法及算法可以被配置为按任意适合的顺序运转。换句话说，本公开的多个实施例中说明的进程、方法及算法的步骤，无需按本公开中记述的顺序执行。另外，虽然说明的是一部分步骤按非同时执行的情形，但在其他实施例中，这种一部分步骤可以同时执行。另外，附图中描写的进程示例并不意味着举例的进程排除对其的不同变化及修订，并不意味着举例的进程或其步骤中任意某一者是本公开的多样实施例中一个以上所必需的，并不意味着举例的进程是优选的。
在210步骤中，部件检查装置100可以获得基于存储器110存储的印刷电路板信息制作的关于第一印刷电路板的二维图像及三维图像。例如，处理器130可以通过图像传感器120，获得二维图像及三维图像。作为又一示例，处理器130也可以通过部件检查装置100的通信模块，获得通过外部电子装置的图像传感器而获得的二维图像及三维图像。
在220步骤中，部件检查装置100可以利用对应于第一检查区域的二维图像的第一部分图像及三维图像的第二部分图像，确定第一部件的外形信息。例如，处理器130可以分别在对应于从二维图像及三维图像中裁剪的第一检查区域的第一部分图像及第二部分图像中提取特征点，利用提取的特征点，确定第一部件的外形信息。
在230步骤中，部件检查装置100可以针对各个利用第一部件的外形信息及存储器110存储的多个部件的外形信息而确定的多个部件的外形信息，分别判断在与第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上。例如，处理器130可以利用以便导出两个部件的外形信息之间相似度而学习的基于机器学习的模型，针对多个部件的外形信息，分别确定与第一部件外形信息的相似度。
在240步骤中，部件检查装置100在第一相似度为基准相似度以上的情况下，可以在存储器110存储的多个部件的检查信息中，利用与具有第一相似度的第二部件外形信息关联的第二部件检查信息，执行对第一部件贴装状态的检查。例如，处理器130在第一部件的外形信息中，确定对应于基于第二部件检查信息确定的至少一个检查项目的至少一部分，并比较所确定的至少一部分与至少一个检查项目的检查基准，从而可以执行对第一部件贴装状态的检查。
在250步骤中，部件检查装置100通过对第一部件贴装状态的检查，如果确定为第一部件贴装状态良好，则可以利用与第二部件检查信息匹配的第一部件检查信息，更新存储器110存储的多个部件的检查信息。由此，更新的多个部件检查信息可以包括第一部件的检查信息。
图3是示出根据本公开的多个实施例的部件检查装置确定检查区域的方法的流程图。
在310步骤中，部件检查装置100可以利用存储器110存储的印刷电路板信息，确定第一部件相对于第一印刷电路板的贴装位置。例如，处理器130可以利用在第一印刷电路板制作中使用的印刷电路板信息，确定包括印刷电路板贴装的第一部件的多个部件贴装位置。
在320步骤中，部件检查装置100可以以第一部件贴装位置为基准，确定具有预先设置大小的第一检查区域。例如，如图4的(a)所示，如果确定第一部件400相对于第一印刷电路板的贴装位置，则处理器130可以以第一部件贴装位置(例如，第一部件中心点的位置)为基准，确定具有预先设置大小的第一检查区域410。
在330步骤中，部件检查装置100可以利用关于第一印刷电路板的二维图像，确定与第一部件接合的多个第一焊膏是否被识别。例如，如图4的(a)所示，第一部件400可以通过多条引线401而与多个第一焊膏402接合。处理器130可以通过第一部件400及多个第一焊膏402的诸如形状、颜色等与外形相关的信息，在二维图像中确定多个第一焊膏是否被识别，其中，第一部件400及多个第一焊膏402的诸如形状、颜色等与外形相关的信息通过二维图像而识别。
在331步骤中，部件检查装置100利用二维图像未识别多个第一焊膏，则可以利用关于第一印刷电路板的三维图像，测量第一部件与多个焊膏的高度信息。例如，处理器130通过二维图像未识别多个第一焊膏，或未识别多个第一焊膏中至少一个焊膏，则可以利用关于第一印刷电路板的三维图像，测量第一部件与多个焊膏的高度信息。
在332步骤中，部件检查装置100可以利用所测量的第一部件与多个第一焊膏的高度信息，识别多个第一焊膏。一般而言，由于部件与接合于部件的焊膏的高度有差异，因而处理器130可以利用所测量的第一部件与多个第一焊膏的高度信息，识别多个第一焊膏。
在340步骤中，部件检查装置100利用二维图像识别了多个第一焊膏，则可以确定在所确定的第一检查区域是否包括多个第一焊膏。例如，为了对第一部件贴装状态的检查，需在第一检查区域包括多个第一焊膏，因而处理器130在最终确定第一检查区域之前，可以确定在第一检查区域是否包括多个第一焊膏。处理器130在第一检查区域包括多个第一焊膏的情况下，可以将具有预先设置大小的第一检查区域，最终确定为用于检查第一部件贴装状态所需的检查区域。
在350步骤中，部件检查装置100在第一检查区域不包括多个第一焊膏的情况下，可以调整第一检查区域的大小，以便包括多个第一焊膏。例如，如图4的(a)所示，在具有预先设置大小的第一检查区域410可以不包括多个第一焊膏402。为了第一部件400贴装状态的检查，需在检查区域也包括多个第一焊膏402，因此，处理器130可以如图4的(b)所示，调整具有预先设置大小的第一检查区域420的大小。处理器130可以将调整大小的第一检查区域420，最终确定为用于检查第一部件贴装状态所需的检查区域。
图5是示出根据本公开的多个实施例的部件检查装置确定部件的外形信息的方法的图。
在一个实施例中，部件检查装置100的处理器130可以确定用于对第一印刷电路板贴装的第一部件贴装状态检查的第一检查区域，从关于第一印刷电路板的二维图像及三维图像中，裁剪与第一检查区域对应的第一部分图像及第二部分图像。
图5的(a)及(b)示出了从二维图像裁剪的第一部分图像，以下从第一部分图像中提取特征点来确定第一部件外形信息的方法为中心进行说明，但并非限定于此，也可以在从三维图像裁剪的第二部分图像中提取特征点来确定第一部件的外形信息。
如图5的(a)所示，处理器130可以从第一部分图像提取与第一部件相关的多个特征点511、512、513、514。处理器130可以利用所提取的多个特征点511、512、513、514，测量第一部件的高度、面积、体积及位置中至少一个。另外，虽然未示出，但处理器130可以利用提取的至少一个特征点，识别在第一部件表面印刷的至少一个文字。
另外，如图5的(b)所示，处理器130可以在第一部分图像中，提取与第一部件的多条引线相关的多个特征点521、522、523。处理器130可以利用所提取的多个特征点521、522、523，测量多条引线的数量、多条引线的厚度、多条引线之间的间隔及多条引线的位置中至少一个。
另外，虽然未示出，但处理器130可以在第一部分图像中，提取与第一部件接合的多个第一焊膏相关的多个特征点。处理器130可以利用所提取的多个特征点，测量多个第一焊膏的高度、面积、体积及位置中至少一个。
在一个实施例中，处理器130可以利用所测量的信息，确定第一部件的外形信息。
图6是示出根据本公开的多个实施例的部件检查装置生成第一部件的检查信息的方法的流程图。
在610步骤中，部件检查装置100可以基于所确定的第一部件的外形信息，确定对第一部件贴装状态的检查中的至少一个检查项目。例如，在多个部件外形信息与第一部件外形信息的相似度中具有最大值的第一相似度不足预先设置的基准相似度的情况下，处理器130可以为了对第一部件贴装状态的检查生成第一部件的检查信息。处理器130可以根据所确定的第一部件的外形信息，确定将在对第一部件贴装状态的检查中进行检查的至少一个检查项目。
在620步骤中，部件检查装置100可以利用与具有第一相似度的第二部件外形信息关联的第二部件检查信息的至少一部分及预先设置的基准中至少一个，按所确定的至少一个检查项目来确定检查基准。例如，预先设置的基准可以为IPC(Institute forInterconnecting and Packaging Electronic Circuits，电子电路互连与封装协会)规格。例如，即使第一相似度不足基准相似度，处理器130也可以利用第二部件检查信息中至少一部分。处理器130可以基于第一部件外形信息与第二部件外形信息之间的差异，在第二部件检查信息中，确定为了确定检查基准而利用的至少一部分。
例如，处理器130可以比较第一部件的外形信息及第二部件的外形信息，在第一部件的外形信息中，确定与第二部件外形信息的差异不足预先设置临界值的至少一部分，利用与所确定的至少一部分相关的第二部件检查信息中至少一部分，用于确定至少一个检查项目的检查基准。另外，处理器130为了确定至少一个检查项目的检查基准，还可以利用根据外形信息包括的信息种类而预先设置的检查基准确定算法。另外，处理器130还可以将多个部件中与第一部件外形信息至少一部分的差异不足预先设置临界值的其他部件的检查信息，也用于生成第一部件的检查信息。
在630步骤中，部件检查装置100可以基于所确定的至少一个检查项目及所确定的至少一个检查项目的检查基准，生成第一部件的检查信息。处理器130通过利用所生成的第一部件检查信息执行的对第一部件贴装状态的检查，确定第一部件贴装状态良好，则可以利用第一部件检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130将第一部件的检查信息附加于多个部件的检查信息，从而可以更新多个部件的检查信息。由此，所更新的多个部件的检查信息可以包括第一部件的检查信息。
图7是示出根据本公开的多个实施例的部件检查装置对第一部件的检查结果，更新多个部件的检查信息的方法的流程图。
在710步骤中，部件检查装置100可以利用与具有第一相似度的第二部件外形信息关联的第二部件检查信息，执行对第一部件贴装状态的检查。例如，处理器130在第一相似度为基准相似度以上的情况下，可以利用第二部件检查信息，执行对第一部件贴装状态的检查。
在720步骤中，部件检查装置100可以通过对第一部件贴装状态的检查，确认第一部件贴装状态是否确定为良好。例如，第一印刷电路板是判定为第一印刷电路板贴装的多个部件贴装状态良好的印刷电路板，因而第一印刷电路板贴装的第一部件的实际贴装状态可以为良好状态。因此，处理器130在利用第二部件检查信息执行的对第一部件贴装状态的检查中，只有确定为第一部件贴装状态良好，才能在对第一部件贴装状态的检查中，判断为第二部件检查信息可用。
在721步骤中，部件检查装置100确定第一部件贴装状态良好，则可以利用与第二部件检查信息匹配的第一部件检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130确定第一部件贴装状态良好，则可以判断为实际第一部件贴装状态与对第一部件贴装状态的检查结果对应，在对第一部件贴装状态的检查中，判断为第二部件检查信息可用。因此，处理器130可以与第二部件检查信息匹配地生成第一部件检查信息，利用第一部件的检查信息，更新多个部件的检查信息。
另外，处理器130也可以不生成第一部件的检查信息，而使第一部件的外形信息与第二部件的检查信息关联，从而在对第一部件贴装状态的检查中，利用第二部件检查信息。
在730步骤中，部件检查装置100确定第一部件贴装状态不良，则可以调整第二部件检查信息的至少一部分，以便确定为第一部件贴装状态良好。例如，处理器130可以调整第二部件检查信息包括的检查基准信息，从而在对第一部件贴装状态的检查中，确定为第一部件贴装状态良好。
在740步骤中，部件检查装置100可以利用调整至少一部分的第二部件检查信息，重新执行对第一部件贴装状态的检查。
在750步骤中，部件检查装置100通过重新执行的检查，确定第一部件贴装状态良好，则可以利用与调整的至少一部分的第二部件检查信息匹配的第一部件检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130可以与调整的至少一部分的第二部件检查信息匹配地生成第一部件检查信息，利用第一部件的检查信息，更新多个部件的检查信息。
图8是示出根据本公开的多个实施例的由检查装置对第一部件的检查结果，利用关于第一部件的检查信息，更新关于多个部件的信息的方法的流程图。
在810步骤中，部件检查装置100可以利用所生成的第一部件的检查信息，执行对第一部件贴装状态的检查。例如，处理器130在第一相似度不足预先设置基准相似度的情况下，如图6中所作的说明，可以在生成第一部件的检查信息后，在存储器110存储的多个部件的检查信息被更新的状态下，重新执行对第一部件贴装状态的检查。
在820步骤中，部件检查装置100可以通过重新执行的对第一部件贴装状态的检查结果，确认是否确定为第一部件贴装状态良好。可以确认是否确定为第一部件贴装状态良好。例如，第一印刷电路板是判定为第一印刷电路板贴装的多个部件贴装状态良好的印刷电路板，因而第一印刷电路板贴装的第一部件的实际贴装状态可以为良好状态。因此，处理器130在利用所生成的第一部件检查信息执行的对第一部件贴装状态的检查中，只有确定为第一部件贴装状态良好，才能判断为第一部件的检查信息正常生成。
在830步骤中，如果确定第一部件贴装状态良好，则可以利用所生成的第一部件的检查信息，更新存储器110存储的多个部件的检查信息。例如，处理器130将所生成的第一部件的检查信息附加于存储器110存储的多个部件的检查信息，从而可以更新多个部件的检查信息。
在840步骤中，部件检查装置100确定第一部件贴装状态不良，则可以调整第一部件检查信息的至少一部分，以便确定为第一部件的贴装状态良好。例如，处理器130可以调整第一部件的检查信息包括的检查基准信息，从而在第一部件贴装状态的检查中，确定为第一部件贴装状态良好。
在850步骤中，部件检查装置100可以利用所调整的第一部件的检查信息，更新多个部件的检查信息。例如，处理器130可以利用所调整的第一部件的检查信息，重新执行对第一部件贴装状态的检查。处理器130通过重新执行的检查，确定第一部件贴装状态良好，则将所调整的第一部件的检查信息附加于多个部件的检查信息，从而可以更新多个部件的检查信息。另外，处理器130通过重新执行的检查，确定第一部件贴装状态不良，则可以对所调整的第一部件的检查信息再次进行调整，以便确定为第一部件贴装状态良好。
图9是示出根据本公开的多个实施例的由检查装置生成关于第一部件的检查信息后，更新基于机器学习的模型的方法的流程图。
在910步骤中，部件检查装置100可以在生成对第一部件的检查信息后，针对存储器110存储的多个部件的更新外形信息，分别确定与第一部件外形信息的相似度。其中，多个部件的更新外形信息可以是利用第一部件外形信息进行更新的多个部件的外形信息。
在920步骤中，部件检查装置100可以针对所分别确定的多个部件的更新外形信息，在与第一部件外形信息的相似度中，确定具有最大值的第一相似度是否为第一基准相似度以上。例如，第一基准相似度可以是判断为可利用相同检查信息执行贴装状态检查的最小相似度。例如，处理器130在第一相似度为第一基准相似度以上的情况下，可以分别判断针对多个部件更新外形信息准确地导出与第一部件外形信息的相似度，不更新基于机器学习的模型。
在930步骤中，部件检查装置100在第一相似度不足第一基准相似度的情况下，可以确定第一相似度是否为第二基准相似度以上。例如，第二基准相似度作为可利用相同检查信息执行贴装状态检查的程度，可以是部件之间的外形信息不相同或相似，但却可以是判断为检查信息的一部分在执行贴装状态检查过程中可用的最小相似度。例如，处理器130在利用第一部件外形信息，更新多个部件的外形信息后，为了分别判断基于机器学习的模型针对多个部件更新外形信息，是否准确地导出了与第一部件外形信息的相似度，可以确定第一相似度是否为第二基准相似度以上。
在940步骤中，部件检查装置100在第一相似度为第二基准相似度以上时，可以更新基于机器学习的模型。即使在多个部件的更新外形信息包括第一部件的外形信息的情况下，当第一相似度不足第一基准相似度而为第二基准相似度以上时，处理器130可以判断基于机器学习的模型未能准确地导出相似度。因此，处理器130可以更新基于机器学习的模型，以便第一相似度导出为第一基准相似度以上。
在950步骤中，部件检查装置100在第一相似度不足第二基准相似度的情况下，可以确定多个部件的更新外形信息中是否包括第一部件的外形信息。例如，即使利用第一部件的外形信息，更新了多个部件的外形信息，但当第一相似度不足第二基准相似度时，处理器130为了利用第一部件的外形信息，判断多个外形信息是否已正常更新，可以确定多个部件的更新外形信息是否包括第一部件的外形信息。
在960步骤中，部件检查装置100在多个部件的更新外形信息中包括第一部件的外形信息时，可以更新基于机器学习的模型。例如，尽管多个部件的更新外形信息包括第一部件的外形信息，但当第一相似度不足第二基准相似度时，处理器130可以判断为基于机器学习的模型未准确地导出相似度。因此，处理器130可以更新基于机器学习的模型，以便第一相似度导出为第一基准相似度以上。
在970步骤中，部件检查装置100在多个部件的更新外形信息中不包括第一部件的外形信息时，可以利用第一部件的外形信息，再次更新多个部件的更新外形信息。例如，处理器130可以利用第一部件的外形信息，附加于多个部件的更新外形信息，从而可以再次更新多个部件的更新外形信息。
所述方法通过特定实施例进行了说明，但所述方法也可以在计算机可读记录介质中，以计算机可读代码体现。计算机可读记录介质包括存储有可借助于计算机系统而读取的数据的所有种类的记录装置。作为计算机可读记录介质的示例，包括ROM(只读存储器)、RAM(随机存取存储器)、CD-ROM(只读光盘驱动器)、磁带、软盘、光数据存储装置等。另外，计算机可读记录介质可以分散于以网络连接的计算机系统，以分散方式存储计算机可读代码并运行。而且，体现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。
以上根据一部分实施例和附图示出的示例，说明了本公开的技术思想，但本公开所属技术领域的技术人员可以理解，在不超出本公开的技术思想及范围的范围内，可以实现多样的置换、变形及变更。另外，这种置换、变形及变更应视为属于附带的权利要求书。

Claims (5)

1.一种部件检查装置，所述装置检查在印刷电路板贴装的部件，包括：
存储器，其存储印刷电路板信息、多个部件的外形信息及用于贴装状态检查的所述多个部件的检查信息；
图像传感器，其获得基于所述印刷电路板信息而制作的关于第一印刷电路板的二维图像及三维图像；及
处理器，
所述处理器，
利用对应于检查在所述第一印刷电路板贴装的第一部件的贴装状态的第一检查区域的所述二维图像的第一部分图像及所述三维图像的第二部分图像，确定所述第一部件的外形信息，
针对各个利用所述第一部件的外形信息及所述多个部件的外形信息而确定的所述多个部件的外形信息，判断与所述第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上，
当所述第一相似度为所述基准相似度以上时，在所述多个部件的检查信息中，生成与具有所述第一相似度的第二部件的外形信息关联的第二部件的检查信息匹配的所述第一部件的检查信息。
2.根据权利要求1所述的部件检查装置，其中，
所述存储器存储以便导出两个部件外形信息之间的相似度而学习的基于机器学习的模型，
所述处理器将所述多个部件的外形信息和所述第一部件的外形信息应用于所述基于机器学习的模型，分别确定所述多个部件的外形信息与所述第一部件的外形信息的相似度。
3.根据权利要求1所述的部件检查装置，其中，
所述处理器，
从所述二维图像及所述三维图像中，裁剪对应于所述第一检查区域的所述第一部分图像及所述第二部分图像，
利用分别从所述第一部分图像及第二部分图像中提取的特征点，确定所述第一部件的外形信息。
4.根据权利要求1所述的部件检查装置，其中，
所述处理器，
在所述第一相似度不足所述基准相似度的情况下，生成所述第一部件的检查信息，
利用所述生成的第一部件的检查信息，执行对所述第一部件贴装状态的检查，
通过所述检查，如果确定为所述第一部件的贴装状态良好，则利用所述生成的第一部件的检查信息，更新所述部件的检查信息。
5.一种部件检查装置的运转方法，作为检查在印刷电路板贴装的部件的装置的运转方法，包括：
获得基于存储于存储器的印刷电路板信息制作的关于第一印刷电路板的二维图像及三维图像的步骤；
利用对应于检查在所述第一印刷电路板贴装的第一部件的贴装状态的第一检查区域的所述二维图像的第一部分图像及所述三维图像的第二部分图像，确定所述第一部件的外形信息的步骤；
针对分别利用所述第一部件的外形信息及存储于所述存储器的多个部件的外形信息而确定的所述多个部件的外形信息，判断与所述第一部件外形信息的相似度中具有最大值的第一相似度是否为预先设置的基准相似度以上的步骤；及
当所述第一相似度为所述基准相似度以上时，在存储于所述存储器的多个部件的检查信息中，生成与具有所述第一相似度的第二部件的外形信息关联的第二部件的检查信息匹配的所述第一部件的检查信息的步骤。
CN202110972590.4A 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法 Active CN113763335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972590.4A CN113763335B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762458166P 2017-02-13 2017-02-13
US62/458,166 2017-02-13
CN202110972590.4A CN113763335B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法
CN201880011381.XA CN110291855B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质
PCT/KR2018/001902 WO2018147712A1 (ko) 2017-02-13 2018-02-13 인쇄 회로 기판에 실장된 부품을 검사하는 장치, 그 동작 방법 및 컴퓨터 판독 가능한 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880011381.XA Division CN110291855B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质

Publications (2)

Publication Number Publication Date
CN113763335A true CN113763335A (zh) 2021-12-07
CN113763335B CN113763335B (zh) 2024-01-26

Family

ID=63106895

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880011381.XA Active CN110291855B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质
CN202110972590.4A Active CN113763335B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880011381.XA Active CN110291855B (zh) 2017-02-13 2018-02-13 检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质

Country Status (5)

Country Link
US (2) US10997714B2 (zh)
EP (1) EP3582599B1 (zh)
KR (2) KR102317464B1 (zh)
CN (2) CN110291855B (zh)
WO (1) WO2018147712A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766253A (zh) * 2019-03-15 2020-10-13 鸿富锦精密电子（成都）有限公司 锡膏印刷品质检测方法、数据处理装置及计算机存储介质
KR20210038143A (ko) * 2019-09-30 2021-04-07 (주)쎄미시스코 인공지능(ai) 기반 대상물 검사 시스템 및 방법
CN112801328B (zh) * 2019-11-14 2023-10-31 富联精密电子(天津)有限公司 产品印刷参数设定装置、方法及计算机可读存储介质
CN113739695A (zh) * 2020-05-27 2021-12-03 云米互联科技(广东)有限公司 基于图像的射频连接器检测方法、检测装置及存储介质
KR102366032B1 (ko) * 2021-03-25 2022-02-23 데이터크러쉬 주식회사 머신러닝에 기반하여 자동 증강된 회로 기판 이미지를 학습함으로써 회로 기판 불량 여부를 판별하는 방법 및 이를 이용한 컴퓨팅 장치
KR102489375B1 (ko) 2021-08-09 2023-01-18 국민대학교산학협력단 배터리 검사 장치 및 그의 동작 방법
WO2024072172A1 (ko) * 2022-09-30 2024-04-04 주식회사 고영테크놀러지 스크린 프린터의 최적의 세척 주기를 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953447A (en) * 1996-02-28 1999-09-14 Daewoo Electronics Co., Ltd. Method for recognizing a printed circuit board fiducial mark in order to decide origin point in chip mounter
US20060257015A1 (en) * 2005-03-17 2006-11-16 Omron Corporation Board inspection apparatus and method and apparatus for setting inspection logic thereof
CN101936918A (zh) * 2010-09-02 2011-01-05 东信和平智能卡股份有限公司 Bga芯片视觉检测系统及其检测方法
CN102087702A (zh) * 2009-12-04 2011-06-08 索尼公司 图像处理设备、图像处理方法和程序
CN104915947A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 图像处理装置、系统、图像处理方法及图像处理程序
CN105074439A (zh) * 2013-01-11 2015-11-18 名古屋电机工业株式会社 利用印刷检查装置的不良原因的估计(分类)方法
CN106023182A (zh) * 2016-05-13 2016-10-12 广州视源电子科技股份有限公司 印制电路板图像匹配方法和系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991435A (en) * 1992-06-30 1999-11-23 Matsushita Electric Industrial Co., Ltd. Inspecting apparatus of mounting state of component or printing state of cream solder in mounting line of electronic component
US7181058B2 (en) * 1999-12-13 2007-02-20 Gsi Group, Inc. Method and system for inspecting electronic components mounted on printed circuit boards
US7019826B2 (en) * 2003-03-20 2006-03-28 Agilent Technologies, Inc. Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection
JP2004340832A (ja) * 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd 回路基板の外観検査方法及び回路基板の外観検査装置
CN100582755C (zh) * 2005-03-17 2010-01-20 欧姆龙株式会社 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置
JP2008045883A (ja) * 2006-08-10 2008-02-28 I-Pulse Co Ltd 検査方法および検査装置
US20100165094A1 (en) 2006-08-10 2010-07-01 I-Pulse Kabushiki Kaisha Inspecting apparatus, and inspecting method
JP2008157749A (ja) * 2006-12-23 2008-07-10 Shigeki Kobayashi 検査装置
JP2009168582A (ja) 2008-01-15 2009-07-30 Saki Corp:Kk 外観検査装置
JP2011182014A (ja) * 2010-02-26 2011-09-15 Casio Computer Co Ltd 撮像装置、撮像処理方法及びプログラム
JP5765651B2 (ja) * 2011-02-01 2015-08-19 Ｊｕｋｉオートメーションシステムズ株式会社 ３次元測定装置
CN103808276A (zh) * 2012-11-06 2014-05-21 株式会社高永科技 基板检查装置系统及基板检查方法
KR101522877B1 (ko) * 2012-11-06 2015-05-26 주식회사 고영테크놀러지 기판 검사장치 시스템 및 기판 검사 방법
CN105264329B (zh) * 2013-06-03 2017-12-12 雅马哈发动机株式会社 检查装置以及检查方法
KR101622628B1 (ko) 2014-12-16 2016-05-20 주식회사 고영테크놀러지 부품이 실장된 기판 검사방법 및 검사장치
KR101678771B1 (ko) * 2015-03-09 2016-11-22 충북대학교 산학협력단 Ｓｍｔ 불량 판별 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953447A (en) * 1996-02-28 1999-09-14 Daewoo Electronics Co., Ltd. Method for recognizing a printed circuit board fiducial mark in order to decide origin point in chip mounter
US20060257015A1 (en) * 2005-03-17 2006-11-16 Omron Corporation Board inspection apparatus and method and apparatus for setting inspection logic thereof
CN102087702A (zh) * 2009-12-04 2011-06-08 索尼公司 图像处理设备、图像处理方法和程序
CN101936918A (zh) * 2010-09-02 2011-01-05 东信和平智能卡股份有限公司 Bga芯片视觉检测系统及其检测方法
CN105074439A (zh) * 2013-01-11 2015-11-18 名古屋电机工业株式会社 利用印刷检查装置的不良原因的估计(分类)方法
CN104915947A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 图像处理装置、系统、图像处理方法及图像处理程序
CN106023182A (zh) * 2016-05-13 2016-10-12 广州视源电子科技股份有限公司 印制电路板图像匹配方法和系统

Also Published As

Publication number Publication date
CN110291855A (zh) 2019-09-27
EP3582599B1 (en) 2022-03-30
EP3582599A4 (en) 2020-01-15
US20190362482A1 (en) 2019-11-28
CN110291855B (zh) 2021-09-14
CN113763335B (zh) 2024-01-26
WO2018147712A1 (ko) 2018-08-16
US11481893B2 (en) 2022-10-25
KR20210095975A (ko) 2021-08-03
KR102285760B1 (ko) 2021-08-05
KR102317464B1 (ko) 2021-10-28
KR20190105093A (ko) 2019-09-11
US10997714B2 (en) 2021-05-04
EP3582599A1 (en) 2019-12-18
US20210295490A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN110291855B (zh) 检查在印刷电路板贴装的部件的装置、其运转方法及计算机可读记录介质
CN111986178B (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN111742214B (zh) 基板检查装置及丝网印刷机的缺陷类型确定方法
US7406191B2 (en) Inspection data producing method and board inspection apparatus using the method
CN110967350B (zh) 基于图像识别的芯片测试方法、装置及电子设备
US20200357106A1 (en) Method for detecting defects, electronic device, and computer readable medium
JP2014060249A (ja) ダイボンダ、および、ダイの位置認識方法
CN113030121B (zh) 用于电路板元器件的自动光学检测方法、系统、及设备
US20220067907A1 (en) Image processing method and image processing apparatus
CN113538428A (zh) 木材缺陷检测方法、设备、介质及计算机程序产品
CN105930845B (zh) 部件信息的示教方法及其装置
KR20220026439A (ko) 인쇄회로기판의 부품 미실장 검출 방법 및 그 장치
CN107613291A (zh) 摄像头的测试方法、摄像头测试治具及移动终端
KR20210133090A (ko) 제품의 불량과 연관된 정보를 제공하기 위한 전자 장치 및 그 동작 방법
CN116298785A (zh) 一种电子信号测试方法、装置、电子设备及存储介质
US20230093969A1 (en) Method of detecting printing defects, computer device, and storage medium
US20230153986A1 (en) Grading cosmetic appearance of a test object
KR102582008B1 (ko) 검사 장치 및 그 제어 방법
JP2020134424A (ja) 分光検査方法、画像処理装置、及びロボットシステム
CN112585672A (zh) 自动检查和零件登记
JP4744234B2 (ja) 部品の位置決め方法及び装置
CN114813746B (zh) 基于机器视觉的弯针检测的方法、系统、存储介质及设备
CN110199229B (zh) 控制单元及温度判定方法
JP7204504B2 (ja) 対象物確認装置
US20230316496A1 (en) Grading cosmetic appearance of a test object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant