CN115131264A - 依据元件识别数据使用图形特征二次检测的系统及方法 - Google Patents

Abstract

本发明公开一种依据元件识别数据使用图形特征二次检测的系统及方法，其通过取得表面粘着装置焊接在目标电路板上的电子元件的元件识别数据后，依据元件识别数据取得未通过光学检测的目标元件的标准图像特征，并产生目标元件的检测图像的检测图像特征，及依据检测图像特征与标准图像特征使用检测模型判断目标元件是否通过检测的技术手段，可以在印刷电路板上使用替代电子元件时有效判断替代电子元件的焊接状况，并达成提高光学检测的准确率并减少人力成本的技术功效。

Description

依据元件识别数据使用图形特征二次检测的系统及方法

技术领域

本发明涉及一种光学检测系统及其方法，特别涉及一种依据元件识别数据使用图形特征二次检测的系统及方法。

背景技术

工业4.0(Industry 4.0)，又称为第四次工业革命，其并不是单单创造新的工业技术，而是着重于将现有的工业技术、销售流程与产品体验统合，通过人工智能技术建立具有适应性、资源效率和人因工程学的智能工厂，并在商业流程及价值流程中整合客户以及商业伙伴，以提供完善的售后服务，进而建构出一个有感知意识的新型智能工业世界。

随着工业4.0的浪潮袭卷全球，制造业者无不以智能制造优化生产转型，提升竞争力。智能制造是架构在感测技术、网络技术、自动化技术、与人工智能的基础上，通过感知、人机互动、决策、执行、与回馈的过程，来实现产品设计与制造、企业管理与服务的智能化。

而电子组装业薄利多销、产品价格竞争激烈的特性，让业者追求对原物料及生产工具更有效的管控与最佳化，促使工厂生产资源效益最大化。举例来说，目前在电子组装业里经常使用的各种技术中的一种即是表面粘着技术(Surface-Mount Technology,SMT)，也就是由表面粘着装置(通常也被称为贴片机或粘着机)通过钎焊将电阻、电容、晶体管、集成电路等电子元件与印刷电路板(Printed circuit Board,PCB)形成电气连接，使得电子元件贴装于印刷电路板上。借由使用表面粘着技术可以增加组装印刷电路板的整体速度。

另一方面，由于电子元件的微小化及密度增加，电子元件在印刷电路板上的焊接不良的可能性因而随之提高，所以，在使用表面粘着技术制造印刷电路板的过程中，焊接状况的侦测已经变成必要的一环。其中，自动光学检测(Automated Optical Inspection,AOI)为侦测焊接状况的代表性手法，其运用机器视觉装置取得待检测物品的表面状态，再以计算机图像处理技术来检测焊接生产中常遇到的瑕疵，作为改良传统上以人力使用光学仪器进行检测的缺点。

更详细的，在如“图1”所示的产线上，当印刷电路板110抵达贴片机(表面粘着装置130)时，贴片机会在印刷电路板110的表面焊接电子元件，在通过贴片机的印刷电路板110抵达光学检测装置150时，光学检测装置150会通过摄影镜头扫描印刷电路板110，撷取印刷电路板110的测试图像，并通过图像处理技术比对测试图像中的印刷电路板110上的电子元件与数据库中的对应电子元件的合格参数，借以检测印刷电路板110上是否存在异物或焊接不良等缺陷，之后，光学检测装置150可以输出印刷电路板110的测试图像，如此，通过显示装置(图中未示出)显示测试图像或自动在测试图像上标记，便可以把印刷电路板110上的缺陷显示或标示出来，提供维修人员修整。

但实际上，贴片机在将电子元件焊接在印刷电路板上时，若有电子元件缺料，则贴片机可能会在印刷电路板上焊接可以替代的其他电子元件，此时，由于印刷电路板并未更换，光学检测装置在检测印刷电路板时，将会继续使用缺料的电子元件的参数对替换后的电子元件进行检测，如此，印刷电路板上替换后的电子元件往往无法通过光学检测。

综上所述，可知现有技术中长期以来一直存在表面粘着装置使用替代电子元件时光学检测装置将无法有效判断替代电子元件的焊接状况的问题，因此有必要提出改进的技术手段，来解决此问题。

发明内容

有鉴于现有技术存在表面粘着装置使用替代电子元件时光学检测装置将无法有效判断替代电子元件的焊接状况的问题，本发明遂公开一种依据元件识别数据使用图形特征二次检测的系统及方法，其中：

本发明所公开的依据元件识别数据使用图形特征二次检测的系统，至少包含：模型建立模块，用以使用图形特征识别算法产生检测模型；数据载入模块，用以取得目标电路板上的电子元件的元件识别数据；图像载入模块，用以取得目标元件的检测图像，目标元件为电子元件中未通过光学检测的任何电子元件；特征取得模块，用以依据目标元件的元件识别数据取得目标元件的标准图像特征，以及用以产生检测图像的检测图像特征；元件检测模块，用以依据检测图像特征与标准图像特征使用检测模型判断目标元件是否通过检测。

本发明所公开的依据元件识别数据使用图形特征二次检测的方法，其步骤至少包括：使用图形特征识别算法产生检测模型；取得目标电路板上的电子元件的元件识别数据；取得目标元件的检测图像，目标元件为电子元件中未通过光学检测的电子元件；依据目标元件的元件识别数据取得目标元件的标准图像特征；产生检测图像的检测图像特征；依据检测图像特征与标准图像特征使用检测模型判断目标元件是否通过检测。

本发明所公开的系统与方法如上，与现有技术之间的差异在于本发明通过取得表面粘着装置焊接在目标电路板上的电子元件的元件识别数据后，依据元件识别数据取得未通过光学检测的目标元件的标准图像特征，并产生目标元件的检测图像的检测图像特征，以及依据检测图像特征与标准图像特征使用检测模型判断目标元件是否通过检测，借以解决现有技术所存在的问题，并可以达成提高光学检测的准确率并减少人力成本的技术功效。

附图说明

图1为现有技术的产线示意图。

图2为本发明所提出的依据元件识别数据使用图形特征二次检测的系统架构图。

图3A为本发明所提出的依据元件识别数据使用图形特征二次检测的方法流程图。

图3B为本发明所提出的取得检测图像的方法流程图。

图3C为本发明所提出的产生标准图像特征的方法流程图。

附图标记说明：

110 印刷电路板

130 表面粘着装置

150 光学检测装置

200 二次检测装置

210 模型建立模块

220 数据载入模块

230 图像载入模块

250 特征取得模块

260 元件检测模块

具体实施方式

以下将配合图式及实施例来详细说明本发明的特征与实施方式，内容足以使任何本领域技术人员能够轻易地充分理解本发明解决技术问题所应用的技术手段并据以实施，借此实现本发明可达成的功效。

本发明可以取得被焊接在电路板上的电子元件的元件识别数据，借以依据未通过光学检测的电子元件的元件识别数据取得未通过光学检测的电子元件的标准图像特征，并依据标准图像特征与未通过光学检测的电子元件的检测图像特征对未通过光学检测的电子元件进行第二次检测。

本发明所提出的标准图像特征与检测图像特征是使用卷积神经网络(Convolutional Neural Network,CNN)分别对未通过光学检测的电子元件的标准图像及检测图像计算所产生的数据，通常以向量的方式表示。其中，检测图像为包含未通过光学检测的电子元件的图像，标准图像为包含相同电子元件且可通过光学检测的图像。另外，本发明所提出的卷积神经网络包含但不限于Alexnet、VGG等。

以下先以“图2”本发明所提出的依据元件识别数据使用图形特征二次检测的系统架构图来说明本发明的系统运作。如“图2”所示，本发明的系统应用在二次检测装置200中，含有模型建立模块210、数据载入模块220、图像载入模块230、特征取得模块250、元件检测模块260。

模型建立模块210负责使用图形特征识别算法产生检测模型。本发明所提出的图形特征识别算法包含但不限于Triplet loss/Contrastive loss/Margin loss、PairwiseRanking loss等损失函数(或损失公式)，也就是说，模型建立模块210可以通过呼叫上述损失函数(或损失公式)产生检测模型。

举例来说，模型建立模块210可以取得一定数量的某个电子元件的标准图像及同一电子元件通过光学检测的样本图像(在本发明中被称为“正样本图像”)，并可以取得同一电子元件未通过光学检测的样本图像(在本发明中被称为“负样本图像”)，接着，模型建立模块210可以使用卷积神经网络计算标准图像、正样本图像与负样本图像的图像特征(如直接使用卷积神经网络计算或呼叫特征取得模块250计算)，并可以使用所计算出的标准图像的图像特征、正样本图像的图像特征及负样本图像的图像特征(在本发明中也分别被称为“标准图像特征”、“正样本图像特征”、“负样本图像特征”)对图形特征识别算法进行训练(如持续将标准图像特征、正样本图像特征、负样本图像特征输入到Triplet loss损失函数，使得模型建立模块210不断调整Triplet loss损失函数的margin常数)，直到图形特征识别算法判断标准图像特征与正样本图像特征间的欧式距离(欧基里德距离)小于阈值且标准图像特征与负样本图像特征间的欧式距离大于同一阈值时，便可以完成检测模型的建立。其中，上述阈值通常是能够在上述训练过程中确定的数值。

数据载入模块220负责读取目标电路板上的多个电子元件的元件识别数据。本发明所提出的目标电路板即为通过贴片机(表面粘着装置130)与光学检测装置150检测的印刷电路板110；元件识别数据与电子元件具有一对一的对应关系，能够表示相对应的电子元件，可以由任意数量的文字、数字、字母、符号任意排列而成。

数据载入模块220可以连线到在目标电路板上焊接电子元件的贴片机(表面粘着装置130)，并由贴片机下载焊接在目标电路板上的所有电子元件的元件信息；数据载入模块220也可以连线到特定的中继装置(图中未示出)，例如服务器等，并由中继装置下载贴片机焊接在目标电路板上的所有电子元件的元件信息。其中，元件信息包含元件识别数据以及安装位置数据，本发明所提出的安装位置数据可以表示电子元件在目标电路板上的位置。

图像载入模块230负责读取目标元件的元件识别数据及检测图像。在本发明中，目标元件为目标电路板上的所有电子元件中未通过光学检测的任何电子元件。

图像载入模块230可以接收对目标电路板进行自动光学检测的光学检测装置150所输出的测试记录，并可以由所接收到的测试记录中读出目标元件的元件识别数据与检测图像；图像载入模块230也可以连线到接收并储存光学检测装置150所输出的测试记录的中继装置(图中未示出)，并由中继装置下载测试记录所包含的目标元件的元件识别数据与检测图像。其中，光学检测装置150所输出的测试记录可以包含目标电路板的测试图像及未通过光学检测的目标元件的元件识别数据，其中，测试图像为光学检测装置所输出的涵盖整个目标电路板的图像。另外，测试记录还可以包含目标元件的测试位置信息或检测图像，上述的测试位置信息可以表示目标元件在测试图像中的位置及大小，例如，目标元件的对角在测试图像中的坐标，又如，目标元件特定顶点在测试图像中的坐标及长度与宽度。

在部分的实施例中，若测试记录没有包含检测图像，图像载入模块230还可以在接收到光学检测装置150所输出的测试记录后，由测试记录中读出目标元件的元件识别数据与测试位置信息，并可以依据测试位置信息，由测试记录所包含的测试图像中撷取出目标元件的检测图像。

图像载入模块230也可以建立对应所取得的目标元件的元件识别数据与检测图像的数据表，借以提供特征取得模块250使用，但本发明并不以此为限。其中，图像载入模块230所建立的数据表中的每一笔数据包含一个元件识别数据与相对应的电子元件的检测图像。

特征取得模块250负责依据图像载入模块230所取得的目标元件的元件识别数据取得目标元件的标准图像特征。举例来说，特征取得模块250可以由图像载入模块230所建立的数据表中读出目标元件的元件识别数据，并可以由预先建立的图像数据中读取与所读出的元件识别数据对应的目标元件的标准图像特征。

在部分的实施例中，若预先建立的图像数据中没有包含目标元件的标准图像特征，而只包含目标元件的标准图像，特征取得模块250也可以依据目标元件的元件识别数据读取目标元件的标准图像，并可以使用卷积神经网络对所读出的标准图像进行计算以产生目标元件的标准图像特征。

特征取得模块250也负责产生图像载入模块230所取得的检测图像的检测图像特征。例如，特征取得模块250可以由图像载入模块230所建立的数据表中读出目标元件的检测图像，并可以使用卷积神经网络对所读出的检测图像进行计算以产生目标元件的检测图像特征。

元件检测模块260负责依据特征取得模块250所取得的检测图像特征与标准图像特征使用模型建立模块210所建立的检测模型判断目标元件是否通过检测。

接着以一个实施例来解说本发明的运作系统与方法，并请参照“图3A”本发明所提出的依据元件识别数据使用图形特征二次检测的方法流程图。在本实施例中，假设本发明应用在二次检测装置200上。其中，二次检测装置200设置在产线中，二次检测装置200的作业顺序排列于光学检测装置150之后。

首先，在二次检测装置200开始检测印刷电路板上的电子元件前，模型建立模块210可以先使用图形特征识别算法产生检测模型(步骤310)。在本实施例中，假设开发人员可以预先挑选一定数量的各个电子元件的标准图像、正样本图像及负样本图像，并可以将所挑选出的各个电子元件的标准图像、正样本图像及负样本图像提供给模型建立模块210，使得模型建立模块210可以通过特征取得模块250取得标准图像的标准图像特征、正样本图像的正样本图像特征、及负样本图像的样本图像特征，接着，模型建立模块210可以使用Triplet loss损失函数比对在特征空间中标准图像特征与正样本图像特征的欧式距离及标准图像特征与负样本图像特征的欧式距离，并持续调整margin常数，如此不断重复，直到Triplet loss损失函数所计算出的标准图像特征与正样本图像特征的欧式距离小于阈值(假设为1.1)，且标准图像特征与负样本图像特征的欧式距离大于阈值，即可以完成检测模型的建立。

在模型建立模块210产生检测模型后，二次检测装置200即可以在产线中被使用。在产线上，印刷电路板110将先抵达贴片机(表面粘着装置130)而被贴片机依据预先设定的装设信息将多个电子元件焊接在印刷电路板110上，之后，数据载入模块220可以取得贴片机焊接在目标电路板上的电子元件的元件识别数据(步骤320)。在本实施例中，假设数据载入模块220可以连线到贴片机，并可以接收贴片机焊接在目标电路板上的电子元件的元件识别数据。

在印刷电路板110通过贴片机后，印刷电路板110将抵达光学检测装置150，光学检测装置150可以通过自动光学检测对被焊接于印刷电路板110上的电子元件进行测试并产生相对应的测试记录。

在印刷电路板110通过光学检测装置150后，若印刷电路板110上有任何电子元件没有通过光学检测装置150所进行的光学检测，则光学检测装置150所产生的测试记录将可以包含印刷电路板110的测试图像及印刷电路板110上未通过光学检测的目标元件的元件识别数据。

在印刷电路板110通过光学检测装置150后，图像载入模块230可以由光学检测装置150所输出的测试记录中取得未通过光学检测的目标元件的检测图像(步骤330)。在本实施例中，假设光学检测装置150所输出的测试记录中已包含目标元件的检测图像，图像载入模块230可以由测试记录中读出目标元件的元件识别数据与检测图像；而若光学检测装置150所输出的测试记录中未包含目标元件的检测图像，则图像载入模块230可以如“图3B”的流程所示，先读取光学检测装置150所输出的测试记录(步骤331)，并由测试记录中读出目标元件的元件识别数据与测试位置信息，以及依据所读出的测试位置数据由测试记录所包含的测试图像中撷取出检测图像(步骤335)。另外，图像载入模块230也可以将所读出的元件识别数据与所取得的检测图像做为一笔数据写入数据表中。

在图像载入模块230取得目标元件的检测图像后，特征取得模块250可以依据目标元件的元件识别数据取得目标元件的标准图像特征(步骤350)。在本实施例中，若开发人员已预先建立目标元件的元件识别数据与标准图像特征的对应表，则特征取得模块250可以直接由对应表中读取与元件识别数据对应的标准图像特征；而若开发人员仅预先储存目标元件的标准图像，则特征取得模块250可以如“图3C”的流程所示，在由图像载入模块230所建立的对应目标元件的元件识别数据与标准图像的数据表中取得目标元件的元件识别数据(步骤340、351)后，先依据所取得的元件识别数据读取目标元件的标准图像(步骤353)，并使用卷积神经网络对所读取出的标准图像进行计算以产生标准图像特征(步骤355)。

同样在图像载入模块230取得目标元件的检测图像后，特征取得模块250也可以产生图像载入模块230所取得的检测图像的检测图像特征(步骤360)。与上述相似的，特征取得模块250可以使用卷积神经网络对检测图像进行计算以产生检测图像特征。

在特征取得模块250取得标准图像特征并产生检测图像特征后，元件检测模块260可以依据特征取得模块250所取得的标准图像特征及所产生的检测图像特征使用模型建立模块210所产生的检测模型判断目标元件是否通过检测(步骤370)。在本实施例中，检测模型可以计算标准图像特征与检测图像特征的欧式距离，并依据欧式距离是否小于阈值判断目标元件是否通过检测。

如此，当贴片机(表面粘着装置130)在印刷电路板110上焊接替代电子元件而导致光学检测装置150判断替代的电子元件没有通过光学检测时，通过本发明便可以更精确的判断没有通过光学检测之替代的电子元件是否通过检测。

综上所述，可知本发明与现有技术之间的差异在于具有取得表面粘着装置焊接在目标电路板上的电子元件的元件识别数据后，依据元件识别数据取得未通过光学检测的目标元件的标准图像特征，并产生目标元件的检测图像的检测图像特征，以及依据检测图像特征与标准图像特征使用检测模型判断目标元件是否通过检测的技术手段，借由此技术手段可以来解决现有技术所存在表面粘着装置使用替代电子元件时光学检测装置将无法有效判断替代电子元件的焊接状况的问题，进而达成提高光学检测的准确率并减少人力成本的技术功效。

此外，本发明的依据元件识别数据使用图形特征二次检测的方法，可实现于硬件、软件或硬件与软件的组合中，也可在计算机系统中以集中方式实现或以不同元件散布于若干互连的计算机系统的分散方式实现。

虽然本发明所公开的实施方式如上，然而所述的内容并非用以直接限定本发明的专利保护范围。任何本领域技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的实施的形式上及细节上作些许的更动润饰，均属于本发明的专利保护范围。本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种依据元件识别数据使用图形特征二次检测的方法，应用于二次检测装置，该方法至少包含下列步骤：

使用图形特征识别算法产生检测模型；

取得目标电路板上的多个电子元件的元件识别数据；

取得目标元件的检测图像，该目标元件为该些电子元件中未通过光学检测的任一电子元件；

依据该目标元件的元件识别数据取得该目标元件的标准图像特征；

产生该检测图像的检测图像特征；以及

依据该检测图像特征与该标准图像特征使用该检测模型判断该目标元件是否通过检测。

2.根据权利要求1所述的依据元件识别数据使用图形特征二次检测的方法，其中取得该目标元件的该检测图像的步骤还包含依据光学检测装置所输出的测试记录中所包含的该目标元件的测试位置信息，由该测试记录所包含的测试图像中撷取出该检测图像的步骤。

3.根据权利要求1所述的依据元件识别数据使用图形特征二次检测的方法，其中该方法于取得该目标元件的该检测图像的步骤后还包含建立对应该目标元件的元件识别数据及该检测图像的数据表的步骤，且依据该目标元件的元件识别数据取得该目标元件的该标准图像特征的步骤为由该数据表中读出该目标元件的元件识别数据，并依据该目标元件的元件识别数据读取预先建立的标准图像，并使用卷积神经网络对该标准图像计算以产生该标准图像特征。

4.根据权利要求1所述的依据元件识别数据使用图形特征二次检测的方法，其中产生该检测图像的该检测图像特征的步骤为使用卷积神经网络对该检测图像计算以产生该检测图像特征。

5.根据权利要求1所述的依据元件识别数据使用图形特征二次检测的方法，其中使用该图形特征识别算法产生该检测模型的步骤为取得通过光学检测的正样本图像以及未通过光学检测的负样本图像，并提取该正样本图像与该负样本图像的图像特征，以及使用该标准图像特征、该正样本图像特征及该负样本图像特征对该图形特征识别算法进行训练，直到该标准图像特征与该正样本图像特征间的欧式距离小于阈值且该标准图像特征与该负样本图像特征间的欧式距离大于该阈值，借以产生该检测模型。

6.一种依据元件识别数据使用图形特征二次检测的系统，应用于二次检测装置，该系统至少包含：

模型建立模块，用以使用图形特征识别算法产生检测模型；

数据载入模块，用以取得目标电路板上的多个电子元件的元件识别数据；

图像载入模块，用以取得目标元件的检测图像，该目标元件为该些电子元件中未通过光学检测的任一电子元件；

特征取得模块，用以依据该目标元件的元件识别数据取得该目标元件的标准图像特征，以及用以产生该检测图像的检测图像特征；以及

元件检测模块，用以依据该检测图像特征与该标准图像特征使用该检测模型判断该目标元件是否通过检测。

7.根据权利要求6所述的依据元件识别数据使用图形特征二次检测的系统，其中该图像载入模块还用以依据光学检测装置所输出的测试记录中所包含的该目标元件的测试位置信息，由该测试记录所包含的测试图像中撷取出该检测图像。

8.根据权利要求6所述的依据元件识别数据使用图形特征二次检测的系统，其中该图像载入模块还用以建立对应该目标元件的元件识别数据以及该检测图像的数据表，且该特征取得模块还用以由该数据表中读出该目标元件的元件识别数据，并依据该目标元件的元件识别数据读取预先建立的标准图像，以及使用卷积神经网络对该标准图像计算以产生该标准图像特征。

9.根据权利要求6所述的依据元件识别数据使用图形特征二次检测的系统，其中该特征取得模块使用卷积神经网络对该检测图像计算以产生该检测图像特征。

10.根据权利要求6所述的依据元件识别数据使用图形特征二次检测的系统，其中该模型建立模块是取得通过光学检测的正样本图像以及未通过光学检测的负样本图像，并提取该正样本图像与该负样本图像的图像特征，以及使用该标准图像特征、该正样本图像特征及该负样本图像特征对该图形特征识别算法进行训练，直到该标准图像特征与该正样本图像特征间的欧式距离小于阈值且该标准图像特征与该负样本图像特征间的欧式距离大于该阈值，借以产生该检测模型。

Images