CN113591965A - 一种aoi检测图像处理方法、装置、存储介质及计算机设备 - Google Patents
一种aoi检测图像处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN113591965A CN113591965A CN202110844523.4A CN202110844523A CN113591965A CN 113591965 A CN113591965 A CN 113591965A CN 202110844523 A CN202110844523 A CN 202110844523A CN 113591965 A CN113591965 A CN 113591965A
- Authority
- CN
- China
- Prior art keywords
- aoi detection
- aoi
- detection image
- marking
- pins
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000007547 defect Effects 0.000 claims abstract description 94
- 238000013136 deep learning model Methods 0.000 claims abstract description 36
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 25
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 19
- 238000007689 inspection Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011324 bead Substances 0.000 claims description 8
- 229910000679 solder Inorganic materials 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000003466 welding Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000005476 soldering Methods 0.000 description 2
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供的AOI检测图像处理方法、装置、存储介质及装置，获取电路板中元器件的AOI检测图像，将AOI检测图像输入训练好的深度学习模型中进行学习，识别AOI检测图像的缺陷类型；其中的深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。可以实现AOI检测图像的准确复检，避免了人工复检的误判，提升了缺陷识别的准确率，通过对AOI检测图像的缺陷类型进行细化分类于标注方式相结合，提供了更多的特征参数供深度学习使用，提高了人工智能图像识别的准确率，大大降低了人工复判的工作强度。
Description
技术领域
本发明涉及AOI图像处理技术领域，具体涉及一种电路板图像处理方法、装置、存储介质及计算机设备。
背景技术
目前，传统AOI(Automated Optical Inspection，自动光学检测)设备的判断程序主要是基于人工提取的特征自定义一个标准，汇总成标准库，然后将检测图片与标准库对比，误判率普遍较高，一次直通率几乎为零。同时，PCBA(Printed Circuit BoardAssembly)行业也存在着元器件种类多种多样、缺陷种类繁多、缺陷图片匮乏等困扰。
随着电子元器件微型化、智能化，焊料无铅化，周遭环境复杂干扰造成人眼和人耳更难观察和判定，且人工复判与个人主观经验直接相关，易受环境、情绪、工作时长、身体状况等影响，稳定性较难保证。因此，亟需解决现有技术中AOI检测图像识别的准确率低，不能满足工业领域的应用要求的问题。
发明内容
针对现有技术中AOI检测图像识别的准确率低，不能满足工业领域的应用要求的问题，本发明提供一种AOI检测图像处理方法、装置、存储介质及计算机设备。
第一方面，本发明实施例提供一种AOI检测图像处理方法，包括：
获取电路板中元器件的AOI检测图像；
将所述AOI检测图像输入训练好的深度学习模型中进行学习，识别所述AOI检测图像的缺陷类型；
所述深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。
在一些实施方式中，所述电路板中元器件的AOI检测图像是将AOI设备检测电路板得到的电路板图像按照元器件分割得到的图像。
在一些实施方式中，所述电路板是表面贴装技术生产线生产的电路板。
在一些实施方式中，所述深度学习模型的训练过程，包括：
获取存在预设缺陷类型的多个元器件的已有AOI检测图像；
对所述已有AOI检测图像中进行标注，标注对象至少包括元器件的本体及引脚；
将标注的本体及引脚输入深度学习模型中进行训练，得到能够基于元器件的本体及引脚识别缺陷类型的深度学习模型。
在一些实施方式中，所述预设缺陷类型至少包括少锡、立碑、偏移、短路、引脚起翘、极性反、多贴、侧贴、错贴、翻贴、漏贴、破损、断锡、虚焊、冷焊、有异物、锡珠中的一种。
在一些实施方式中，所述标注对象，还包括：元器件的焊点及焊盘位置。
在一些实施方式中，对所述AOI检测图像进行标注的范围，包括标注对象及其周围的4至6个像素的图像区域。
第二方面，本发明实施例提供一种AOI检测图像处理装置，包括：
获取模块，用于获取电路板中元器件的AOI检测图像；
识别模块，用于将所述AOI检测图像输入训练好的深度学习模型中进行学习，识别所述AOI检测图像的缺陷类型；所述深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。
第三方面，本发明实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的AOI检测图像处理方法。
第四方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的AOI检测图像处理方法。
与现有技术相比，本发明的一个或多个实施例至少能够带来如下有益效果：
本发明实施例提供的AOI检测图像处理方法，获取电路板中元器件的AOI检测图像，将AOI检测图像输入训练好的深度学习模型中进行学习，识别AOI检测图像的缺陷类型；其中的深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。可以实现AOI检测图像的准确复检，避免了人工复检的误判，提升了缺陷识别的准确率，通过对AOI检测图像的缺陷类型进行细化分类于标注方式相结合，提供了更多的特征参数供深度学习使用，提高了人工智能图像识别的准确率，大大降低了人工复判的工作强度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的一种AOI检测图像处理方法流程图；
图2是本发明实施例提供的深度学习模型的训练过程流程图；
图3是相关技术中的标注方式示意图；
图4是本发明实施例提供的标注方式示意图；
图5至图21是本发明实施例提供的标记方式示意图；
图22是本发明实施例提供的AOI检测图像处理装置框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1示出了一种AOI检测图像处理方法流程图，如图1所示，本实施例提供一种AOI检测图像处理方法，包括步骤S110～步骤S130：
步骤S110、获取电路板中元器件的AOI检测图像。
步骤S120、将AOI检测图像输入训练好的深度学习模型中进行学习，识别AOI检测图像的缺陷类型。
在一些实施方式中，电路板中元器件的AOI检测图像是将AOI设备检测电路板得到的电路板图像按照元器件分割得到的图像。优选地，电路板是表面贴装技术(SurfaceMounted Technology，SMT)生产线生产的电路板，例如空调用PCBA(Printed CircuitBoard Assembly)板。
在实际应用中，利用AOI设备对表面贴装技术生产线生产的电路板进行图像检测，电路板流入AOI设备后停止，AOI设备按照预设程序对电路板进行拍照，对所得的图像进行裁剪，得到电路板中每个元器件的图像，AOI设备根据预设算法判断各图像中哪些是NG图像，哪些是OK图像，并输出NG图像，将NG图像作为待处理的存在缺陷的AOI检测图像，执行本实施例的方法。
本实施例的AOI检测图像处理方法可在计算机设备中实现，可使用LabelImg软件对AOI检测图像进行标注，电路板中元器件的AOI检测图像是AOI设备离线采集到的，AOI设备与计算机设备通过HTTP协议进行数据互连，实现对AOI检测图像的自动复判。
上述深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。根据存在多种预设缺陷类型的多个元器件的已有AOI检测图像进行深度学习，能够确定每个已有AOI检测图像对应的缺陷类型，以在识别过程中直接利用此模型，基于AOI检测图像识别出其对应的缺陷类型，例如，可以通过提取元器件的AOI检测图像中的特征信息(本体及引脚)，当与任意预设缺陷类型对应的AOI检测图像的特征信息(本体及引脚)匹配时，则确定当前AOI检测图像存在该预设缺陷类型，通过将元器件的本体及引脚作为特征信息进行模型训练，进而进行缺陷类型识别，能够明显提升识别准确率，降低误判的概率。
在对AOI设备输出的存在缺陷的AOI检测图像进行复检时，可以利用训练好的如图2所示，深度学习模型的训练过程，包括：
步骤S210、获取存在预设缺陷类型的多个元器件的已有AOI检测图像。
相关技术中，AOI检测图像的缺陷类型仅有11种，但结构复杂的电路板中元器件越多，缺陷类型越多，以IC类元器件来说，其引脚多达64个，对应的焊接缺陷也比较多，采用相关技术中的OK/NG二分类方式进行缺陷识别模型的训练，训练所得模型的缺陷识别准确率低于90％，无法满足工业应用需求。
本实施例中，上述预设缺陷类型至少包括少锡、立碑、偏移、短路、引脚起翘、极性反、多贴、侧贴、错贴、翻贴、漏贴、破损、断锡、虚焊、冷焊、有异物、锡珠中的一种，这些缺陷类型基于模型训练情况以及表面贴装技术生产线生产的电路板(如空调用PCBA板)的焊接特点确定。相关技术中的缺陷类型与本实施例的预设缺陷类型对比如表1所示，应当理解的是，表1中的预设缺陷类型与相关技术中的缺陷类型在前11行所示的缺陷类型是等同的缺陷类型，预设缺陷类型中后6行所示的缺陷类型是本实施例新增的可识别的缺陷类型。
表1相关技术中的缺陷类型与本实施例的预设缺陷类型对比
其中，相关技术中的缺陷类型可以由AOI设备检测识别出。而本实施例的预设缺陷类型不仅涵盖了AOI设备能够检测识别的AOI设备定义的11个缺陷类型，还能够额外识别出6种，并且本实施例的方法进行图像识别所用的深度学习模型是基于对已有缺陷AOI检测图像标注的元器件的本体及引脚进行训练得到的，因此，能够准确地识别出AOI检测图像的缺陷类型。
下面对上述预设缺陷类型进行表2所示的说明：
表2预设缺陷类型说明
步骤S220、对已有AOI检测图像中进行标注，标注对象至少包括元器件的本体及引脚。
IC类元器件通常拥有多达64个元器件引脚，为了提供了更多的特征参数进行模型的深度学习，提高人工智能识别AOI检测图像缺陷类型的准确率，按照前述17种预设缺陷类型进行AOI检测图像的标注，对IC类元器件的本体位置及所有引脚位置进行标注。
相关技术中的标注方式是元器件位置+缺陷类型，如图3所示，缺陷位置是指其中矩形文本框所标记的数字加字符组合，也就是1_1Q1，缺陷代码是指矩形文本框所标记的文字，也就是错件，以此明确该元器件的缺陷类型。然而，这样以整体的元器件来进行缺陷的标记后，以标记后的元器件图像作为特征信息进行模型训练，得到的模型识别缺陷类型的准确率较低。
本实施例中，通过对元器件本体进行标注，可识别元器件类型；对所有引脚进行标注，可以为深度学习模型的训练提供更多有效的特征信息，应当理解的是，深度学习模型的训练过程中，对各引脚的焊接状态进行标注时，正常和有缺陷的引脚都应标注，以提供更多的特征信息。
在一些情形中，标注对象还包括：元器件的焊点及焊盘位置，也就是，标注区域需要覆盖元器件本体、引脚、焊点及焊盘位置。实际应用中，对AOI检测图像进行标注的范围，包括标注对象及其周围的4至6个像素的图像区域，也就是，将标注的范围控制在标注对象边界的4至6个像素以内，以保证标注对象的完整标注，标注采用标注框进行，例如矩形框，标注框中应包含完整标注对象，不能有漏点，本实施例中的标注方式如图4所示，图中为三极管的标注方式示例，标注出了元器件类型+元器件各个引脚的焊接状态。
在实际应用中，通过本实施例的标注方式对各种元器件本体及引脚等进行标注，以标记出缺陷类型，具体如下：
(1)少锡：标注元器件本体与所有引脚的焊接状态。以图5所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(若合格，则标注pin；若少锡，则标注少锡)，中间的标注框所标记的是电阻本体，其余两个标注框所标记的是电阻本体两端的引脚。
(2)多贴：标注元器件本体与所有引脚的焊接状态。以图6所示的电阻为例：分别标注两个电阻本体以及在焊盘上的电阻两端引脚的焊接状态(合格标注pin，若多贴则标注多贴)。
(3)翻贴：标注元器件本体与所有引脚的焊接状态。以图7所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(若翻贴，则标注翻贴)。
(4)极性反：标注元器件本体与所有引脚(的焊接状态)。以图8所示的二极管为例：标注二极管本体以及二极管两端引脚的焊接状态(两端焊盘标注极性反)。
(5)立碑：标注元器件本体与所有引脚的焊接状态。以图9所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(无引脚焊盘标注漏贴，有引脚焊盘标注立碑)。
(6)破损标注元器件本体与所有引脚的焊接状态。以图10所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(合格则标注pin，破损端标注破损)。
(7)短路：标注元器件本体与所有引脚的焊接状态。以图11所示的IC类元器件为例：标注IC类元器件本体以及本体四周各引脚的焊接状态(合格则标注pin，短路则标注短路)。
(8)引脚起翘：标注元器件本体与所有引脚的焊接状态。以图12的IC为例：标注IC本体以及本体四周各引脚的焊接状态(合格则标注pin，引脚起翘则标注引脚起翘)。
(9)漏贴：标注空焊盘。以图13所示的电阻为例：标注空焊盘为漏贴。
(10)错贴：标注元器件本体与焊盘封装焊接状态。以图14所示的电阻为例：标注错贴元器件本体以及电阻两个焊盘封装的焊接状态(空焊盘则标注漏贴，贴错的焊盘则标注错贴)。图中的焊盘封装是chip，即两端分别有一个方形的焊盘，而三极管是sot封装，即一端是两个方形焊盘，另一端是一个方形焊盘位于另一端两个方形焊盘中间位置，也就是说这个焊盘应该贴的元器件并不是三极管，贴片机贴错了元器件，所以是错贴。
(11)虚焊：标注元器件本体与所有引脚的焊接状态。以图15所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(合格标pin，虚焊标虚焊)。
(12)冷焊：标注元器件本体与所有引脚的焊接状态。以图16所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(灰色锡膏标注冷焊)。
(13)有异物：标注元器件本体与所有引脚焊接状态。以图17所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(合格标注pin，有其他东西标注有异物)。
(14)侧贴：标注元器件本体与所有引脚的焊接状态。以图18所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(元器件本体侧立标注侧贴)。
(15)断锡：标注元器件本体与所有引脚焊接状态。以图19所示的IC为例：标注IC本体以及本体四周各引脚的焊接状态(合格则标注pin，断锡则标注断锡)。
(16)偏移：标注元器件本体与所有引脚的焊接状态。以图20所示的电阻为例：标注电阻本体以及电阻两端引脚的焊接状态(空焊盘则标注漏贴，偏移则标注偏移)。
(17)锡珠：标注元器件本体、所有引脚焊接状态和锡珠。以图21所示的弹簧为例：标注弹簧本体、弹簧两端引脚的焊接状态以及锡珠本身。
本实施例中，训练模型时可使用LabelImg软件对AOI检测图像进行标注，训练模型可在计算机设备中实现，应当理解的是，训练模型与缺陷类型识别所用计算机设备可以是相同或者不同的计算机设备，也就是说，可以预先在一台计算机设备上进行标注并训练深度学习模型，然后将训练好的深度学习模型存储于另一计算机设备中，执行本实施例的方法，也可以在同一计算机设备中实现标注并训练深度学习模型，以及执行本实施例的方法。此处不做唯一限定。
步骤S230、将标注的本体及引脚输入深度学习模型中进行训练，得到能够基于元器件的本体及引脚识别缺陷类型的深度学习模型。
在实际应用中，深度学习模型可以包括但不限于卷积神经网络，例如，将AOI检测图像中标注元器件本体及引脚后作为深度学习样本，与缺陷类型一起输入卷积神经网络进行训练，能够得到通过将待处理的AOI检测图像进行标记本体及引脚，通过训练好的卷积神经网络识别对应缺陷类型。
基于上述预设缺陷类型以及训练的深度学习模型，进行AOI检测图像识别的效果比常规分类识别方式准确率提升了10％，准确率对比如表3：
表3准确率对比表
| 图片识别 | 常规图片处理方式 | 多分类归类标记方式 |
| 整体准确率 | 88.15％ | 99.58％ |
通过本实施例的方法，可以实现AOI检测图像的准确复检，避免了人工复检的误判，提升了缺陷识别的准确率，通过对AOI检测图像的缺陷类型进行细化分类于标注方式相结合，提供了更多的特征参数供深度学习使用，提高了人工智能图像识别的准确率，大大降低了人工复判的工作强度。通过对AOI图片缺陷类型进行拓展，由传统的11种缺陷类型拓展为17种，进一步对IC类元器件进行缺陷位置及引脚标注，使得深度学习前期的数据更细化，特征参数更多元化，进一步提升了图像识别的准确率，达到99％的准确率。
实施例二
图22示出了一种AOI检测图像处理装置框图，如图22所示，本实施例提供一种AOI检测图像处理装置，包括：
获取模块301，用于获取电路板中元器件的AOI检测图像。
识别模块302，用于将AOI检测图像输入训练好的深度学习模型中进行学习，识别AOI检测图像的缺陷类型。深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。
可以理解的是，获取模块301可用于执行实施例一中的步骤S110，识别模块302可用于执行实施例一中的步骤S120。
在一些实施方式中，该AOI检测图像处理装置，还可以包括：
训练模块303，用于获取存在预设缺陷类型的多个元器件的已有AOI检测图像，对已有AOI检测图像中进行标注，标注对象至少包括元器件的本体及引脚，将标注的本体及引脚输入深度学习模型中进行训练，得到能够基于元器件的本体及引脚识别缺陷类型的深度学习模型。也就是，训练模块303可用于执行实施例一中的步骤S210～步骤S230。
上述预设缺陷类型至少包括少锡、立碑、偏移、短路、引脚起翘、极性反、多贴、侧贴、错贴、翻贴、漏贴、破损、断锡、虚焊、冷焊、有异物、锡珠中的一种。
本领域的技术人员应当明白，上述各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何限定的硬件和软件结合。
实施例三
本实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的AOI检测图像处理方法。
本实施例中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。方法的内容详见实施例一，此次不再赘述。
实施例四
本实施例提供一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，计算机程序被处理器执行时实现实施例一的AOI检测图像处理方法。
本实施例中，处理器可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例中的方法。在处理器上运行的计算机程序被执行时所实现的方法可参照本发明前述实施例提供的方法的具体实施例，此处不再赘述。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种AOI检测图像处理方法，其特征在于，包括：
获取电路板中元器件的AOI检测图像；
将所述AOI检测图像输入训练好的深度学习模型中进行学习，识别所述AOI检测图像的缺陷类型；
所述深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。
2.根据权利要求1所述的AOI检测图像处理方法，其特征在于，所述电路板中元器件的AOI检测图像是将AOI设备检测电路板得到的电路板图像按照元器件分割得到的图像。
3.根据权利要求1或2所述的AOI检测图像处理方法，其特征在于，所述电路板是表面贴装技术生产线生产的电路板。
4.根据权利要求1所述的AOI检测图像处理方法，其特征在于，所述深度学习模型的训练过程，包括：
获取存在预设缺陷类型的多个元器件的已有AOI检测图像；
对所述已有AOI检测图像中进行标注，标注对象至少包括元器件的本体及引脚；
将标注的本体及引脚输入深度学习模型中进行训练，得到能够基于元器件的本体及引脚识别缺陷类型的深度学习模型。
5.根据权利要求1所述的AOI检测图像处理方法，其特征在于，所述预设缺陷类型至少包括少锡、立碑、偏移、短路、引脚起翘、极性反、多贴、侧贴、错贴、翻贴、漏贴、破损、断锡、虚焊、冷焊、有异物、锡珠中的一种。
6.根据权利要求1所述的AOI检测图像处理方法，其特征在于，所述标注对象，还包括：元器件的焊点及焊盘位置。
7.根据权利要求1或6所述的AOI检测图像处理方法，其特征在于，对所述AOI检测图像进行标注的范围，包括标注对象及其周围的4至6个像素的图像区域。
8.一种AOI检测图像处理装置，其特征在于，包括：
获取模块，用于获取电路板中元器件的AOI检测图像；
识别模块，用于将所述AOI检测图像输入训练好的深度学习模型中进行学习，识别所述AOI检测图像的缺陷类型；所述深度学习模型是针对存在预设缺陷类型的多个元器件的已有AOI检测图像进行标注后训练得到，标注对象至少包括元器件的本体及引脚。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至7中任一项所述的AOI检测图像处理方法。
10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的AOI检测图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110844523.4A CN113591965A (zh) | 2021-07-26 | 2021-07-26 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110844523.4A CN113591965A (zh) | 2021-07-26 | 2021-07-26 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113591965A true CN113591965A (zh) | 2021-11-02 |
Family
ID=78249980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110844523.4A Pending CN113591965A (zh) | 2021-07-26 | 2021-07-26 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591965A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299036A (zh) * | 2021-12-30 | 2022-04-08 | 中国电信股份有限公司 | 电子元件的检测方法及装置、存储介质、电子设备 |
| CN115035101A (zh) * | 2022-07-22 | 2022-09-09 | 苏州康代智能科技股份有限公司 | 半导体芯片载板的缺陷验证方法、检测方法及aoi设备 |
| CN115100095A (zh) * | 2021-12-29 | 2022-09-23 | 苏州真目人工智能科技有限公司 | 一种基于非监督算法的pcb板检测方法 |
| CN115713499A (zh) * | 2022-11-08 | 2023-02-24 | 哈尔滨工业大学 | 一种贴片元件贴装后质量检测方法 |
| CN117612176A (zh) * | 2023-10-26 | 2024-02-27 | 粤港澳大湾区(广东)国创中心 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
| CN117647531A (zh) * | 2023-12-27 | 2024-03-05 | 惠州学院 | 一种基于深度学习的aoi检测方法与系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092427A1 (zh) * | 2015-12-04 | 2017-06-08 | 广州视源电子科技股份有限公司 | 一种电子元件定位方法及装置 |
| CN109829914A (zh) * | 2019-02-26 | 2019-05-31 | 视睿（杭州）信息科技有限公司 | 检测产品缺陷的方法和装置 |
| CN110378227A (zh) * | 2019-06-17 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 修正样本标注数据的方法、装置、设备及存储介质 |
| CN110530875A (zh) * | 2019-08-29 | 2019-12-03 | 珠海博达创意科技有限公司 | 一种基于深度学习的fpcb外观缺陷自动检测算法 |
| CN110865087A (zh) * | 2019-11-27 | 2020-03-06 | 科士恩科技(上海)有限公司 | 一种基于人工智能的pcba质量检测方法 |
| CN110929729A (zh) * | 2020-02-18 | 2020-03-27 | 北京海天瑞声科技股份有限公司 | 图像标注方法、图像标注装置及计算机存储介质 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112730460A (zh) * | 2020-12-08 | 2021-04-30 | 北京航天云路有限公司 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
-
2021
- 2021-07-26 CN CN202110844523.4A patent/CN113591965A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092427A1 (zh) * | 2015-12-04 | 2017-06-08 | 广州视源电子科技股份有限公司 | 一种电子元件定位方法及装置 |
| CN109829914A (zh) * | 2019-02-26 | 2019-05-31 | 视睿（杭州）信息科技有限公司 | 检测产品缺陷的方法和装置 |
| CN110378227A (zh) * | 2019-06-17 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 修正样本标注数据的方法、装置、设备及存储介质 |
| CN110530875A (zh) * | 2019-08-29 | 2019-12-03 | 珠海博达创意科技有限公司 | 一种基于深度学习的fpcb外观缺陷自动检测算法 |
| CN110865087A (zh) * | 2019-11-27 | 2020-03-06 | 科士恩科技(上海)有限公司 | 一种基于人工智能的pcba质量检测方法 |
| CN110929729A (zh) * | 2020-02-18 | 2020-03-27 | 北京海天瑞声科技股份有限公司 | 图像标注方法、图像标注装置及计算机存储介质 |
| CN111862067A (zh) * | 2020-07-28 | 2020-10-30 | 中山佳维电子有限公司 | 一种焊接缺陷检测方法、装置、电子设备以及存储介质 |
| CN112730460A (zh) * | 2020-12-08 | 2021-04-30 | 北京航天云路有限公司 | 一种通信ic芯片焊接缺陷与密集型虚焊检测技术 |
Non-Patent Citations (1)
| Title |
|---|
| 杨露菁，吉文阳，郝卓楠，李翀伦，吴俊锋: "智能图像处理及应用", 31 March 2019, 中国铁道出版社, pages: 111 - 112 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100095A (zh) * | 2021-12-29 | 2022-09-23 | 苏州真目人工智能科技有限公司 | 一种基于非监督算法的pcb板检测方法 |
| CN115100095B (zh) * | 2021-12-29 | 2023-08-22 | 苏州真目人工智能科技有限公司 | 一种基于非监督算法的pcb板检测方法 |
| CN114299036A (zh) * | 2021-12-30 | 2022-04-08 | 中国电信股份有限公司 | 电子元件的检测方法及装置、存储介质、电子设备 |
| CN115035101A (zh) * | 2022-07-22 | 2022-09-09 | 苏州康代智能科技股份有限公司 | 半导体芯片载板的缺陷验证方法、检测方法及aoi设备 |
| CN115713499A (zh) * | 2022-11-08 | 2023-02-24 | 哈尔滨工业大学 | 一种贴片元件贴装后质量检测方法 |
| CN115713499B (zh) * | 2022-11-08 | 2023-07-14 | 哈尔滨工业大学 | 一种贴片元件贴装后质量检测方法 |
| CN117612176A (zh) * | 2023-10-26 | 2024-02-27 | 粤港澳大湾区(广东)国创中心 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
| CN117647531A (zh) * | 2023-12-27 | 2024-03-05 | 惠州学院 | 一种基于深度学习的aoi检测方法与系统 |
| CN117647531B (zh) * | 2023-12-27 | 2024-04-26 | 惠州学院 | 一种基于深度学习的aoi检测方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591965A (zh) | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 | |
| CN110070536B (zh) | 一种基于深度学习的pcb板元器件检测方法 | |
| WO2018068415A1 (zh) | 元件错件检测方法和系统 | |
| CN113344931B (zh) | 一种插件视觉检测识别方法、可读存储介质及设备 | |
| CN111899241B (zh) | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 | |
| CN104867144B (zh) | 基于混合高斯模型的ic元件焊点缺陷检测方法 | |
| TWI833010B (zh) | 影像辨識裝置、影像辨識方法及其電腦程式產品 | |
| CN105005997A (zh) | 一种基于行列直线聚类的多类型bga芯片视觉识别方法 | |
| JP4909691B2 (ja) | 電子部品の実装状態検査方法、電子部品の実装状態検査装置及び電子機器の製造方法 | |
| Mahalingam et al. | Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis | |
| CN109918523B (zh) | 一种基于yolo9000算法的电路板元器件检测方法 | |
| US20210027105A1 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
| CN112115948A (zh) | 一种基于深度学习的芯片表面字符识别方法 | |
| CN113506243A (zh) | Pcb焊接缺陷检测方法、装置及存储介质 | |
| CN112435222A (zh) | 一种电路板检测方法、装置及计算机可读存储介质 | |
| CN112304952A (zh) | 影像辨识装置、影像辨识方法及其计算机程序产品 | |
| CN111681235A (zh) | 一种基于学习机制的ic焊点缺陷检测方法 | |
| CN113344929A (zh) | 一种焊点视觉检测识别方法、可读存储介质及设备 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN116228741A (zh) | 一种pcba元器件缺陷检测方法及装置 | |
| CN115063357A (zh) | 表面缺陷的检测方法、系统、电子设备及存储介质 | |
| CN113724218B (zh) | 图像识别芯片焊接缺陷的方法、装置及存储介质 | |
| Jiang et al. | Machine vision and background remover-based approach for PCB solder joints inspection | |
| US11455490B2 (en) | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |