CN115588007B - Pcb载板的针孔缺陷检测方法、系统、设备及存储介质 - Google Patents

Pcb载板的针孔缺陷检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115588007B
CN115588007B CN202211466335.3A CN202211466335A CN115588007B CN 115588007 B CN115588007 B CN 115588007B CN 202211466335 A CN202211466335 A CN 202211466335A CN 115588007 B CN115588007 B CN 115588007B
Authority
CN
China
Prior art keywords
defect
pinhole
image
pinhole defect
stitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211466335.3A
Other languages
English (en)
Other versions
CN115588007A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202211466335.3A priority Critical patent/CN115588007B/zh
Publication of CN115588007A publication Critical patent/CN115588007A/zh
Application granted granted Critical
Publication of CN115588007B publication Critical patent/CN115588007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了PCB载板的针孔缺陷检测方法、系统、设备及存储介质，涉及缺陷检测技术领域，所述方法步骤为：（1）将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2；（2）通过缺陷筛选模型M1输出针孔缺陷框Bbox1，或者通过针脚筛选模型M2输出针脚定位框Bbox2；（3）对针孔缺陷框Bbox1，或者对针脚定位框Bbox2进行像素处理和轮廓提取处理；（4）基于轮廓提取处理结果进行几何信息和位置信息计算，并且基于几何信息和位置信息计算结果进行针孔缺陷判定。本发明基于深度学习和图像处理技术，实现了针孔缺陷的准确检测，解决了现有针孔缺陷检测容易出现漏检、过检的问题。

Description

PCB载板的针孔缺陷检测方法、系统、设备及存储介质
技术领域
本发明涉及缺陷检测技术领域，具体而言，涉及PCB载板的针孔缺陷检测方法、系统、设备及存储介质。
背景技术
PCB（Printed Circuit Board，印刷电路板）载板生产制造复杂且繁琐，制造过程中容易引入各种各样的产品缺陷，并且产品缺陷的类型多种多样，在颜色种类、形状大小、颜色深浅上表现不一。
在实际产线质量把控过程中，出于整体产品良率考虑，需要评估产品缺陷的严重性，判断产品缺陷所属的缺陷类型，缺陷类型包括可允收的产品缺陷和不可允收的产品缺陷，对于不可允收的产品缺陷，则需要对PCB载板进行报废，对于可允收的产品缺陷，则可以将PCB载板流到后道制程处理，所以对PCB载板进行精确的缺陷检测，并且结合缺陷检测结果准确评估缺陷严重程度，对于工厂成本控制至关重要。
目前，很多PCB载板生产厂商已经引入了AOI（Automatic Optical Inspection，自动光学检测）、ADC（Automatic Defect Classification，自动缺陷分类）等智能化缺陷检测系统，这些系统能够通过对存在缺陷的历史PCB载板的特征学习，对线上生产的PCB载板进行缺陷实时检测，但是只能单纯的检测到缺陷的位置，不能直接评估出缺陷的严重程度；特别是针对于针孔位置的缺陷，由于针孔缺陷位置的特殊性以及复杂性，因此无法准确地对针孔缺陷以及针孔缺陷严重程度进行判定，导致针孔缺陷检测出现漏检、过检的问题。
发明内容
为了解决现有针孔缺陷检测容易出现漏检、过检的问题，本发明实施例提供了PCB载板的针孔缺陷检测方法、系统、设备及介质。
在第一方面，本发明实施例中提供一种PCB载板的针孔缺陷检测方法，所述方法包括以下步骤：
将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2；
通过所述缺陷筛选模型M1输出针孔缺陷框Bbox1，通过所述针脚筛选模型M2输出针脚定位框Bbox2；
对所述针孔缺陷框Bbox1或者所述针脚定位框Bbox2进行像素处理和轮廓提取处理；
基于轮廓提取处理结果进行几何信息和位置信息计算，并且基于几何信息和位置信息计算结果进行针孔缺陷判定。
于上述实施例中，首先通过历史的PCB载板图像P0对缺陷筛选模型M1或者针脚筛选模型M2进行训练，并且通过训练后的缺陷筛选模型M1或者针脚筛选模型M2对待检测的PCB载板图像P1进行目标框选择；然后通过进行图像处理、轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2；最后基于针孔缺陷轮廓图像P2的几何信息和位置信息进行针孔缺陷判定。即基于深度学习和图像处理技术，实现了针孔缺陷的准确检测，解决了现有针孔缺陷检测容易出现漏检、过检的问题。
作为本申请一些可选实施方式，基于针孔缺陷框Bbox1，进行针孔缺陷判定的流程为：
对所述针孔缺陷框Bbox1进行图像灰度处理和图像二值化处理，并且对图像二值化处理后的所述针孔缺陷框Bbox1进行轮廓提取处理，得到针孔缺陷轮廓图像P2；
基于针孔缺陷轮廓图像P2计算所述针孔缺陷轮廓图像P2的长、宽以及面积，并且基于所述针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定。
于上述实施例中，通过针孔缺陷框Bbox1提取孔缺陷轮廓图像P2，通过对轮廓图像的长、宽以及面积进行综合的判断，能够非常准确地判断缺陷的严重程度。
作为本申请一些可选实施方式，基于针脚定位框Bbox2，进行针孔缺陷判定的流程为：
对所述针脚定位框Bbox2进行像素处理和缺陷定位处理，并且对缺陷定位处理后的所述针脚定位框Bbox2进行轮廓提取处理，得到针孔缺陷轮廓图像P2以及针孔缺陷到针脚的距离；
基于针孔缺陷轮廓图像P2计算针孔缺陷轮廓图像P2的长、宽以及面积；
基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定。
于上述实施例中，通过针脚定位框Bbox2提取针孔缺陷轮廓图像P2，通过对针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离进行综合的判断，能够非常准确地判断缺陷的严重程度。
作为本申请一些可选实施方式，所述缺陷筛选模型M1和针脚筛选模型M2均基于深度学习网络模型训练得到。
作为本申请一些可选实施方式，所述深度学习网络模型包括卷积层、池化层以及全连接层。
作为本申请一些可选实施方式，所述缺陷筛选模型M1的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针孔缺陷标注；
将针孔缺陷标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到缺陷筛选模型M1。
作为本申请一些可选实施方式，所述针脚筛选模型M2的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针脚标注；
将针脚标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到针脚筛选模型M2。
作为本申请一些可选实施方式，通过缺陷筛选模型M1输出针孔缺陷框Bbox1的流程如下：
将待检测的PCB载板图像P1输入缺陷筛选模型M1，通过缺陷筛选模型M1输出所有针孔缺陷位置以及针孔缺陷的置信度；
根据针孔缺陷的置信度对针孔缺陷的位置进行筛选，得到最终的针孔缺陷位置；
根据最终的针孔缺陷位置的中心点，并且对PCB载板图像P1进行图像裁剪，得到针孔缺陷框Bbox1。
作为本申请一些可选实施方式，通过针脚筛选模型M2输出针脚定位框Bbox2的流程如下：
将待检测的PCB载板图像P1输入针脚筛选模型M2，通过针脚筛选模型M2输出所有针脚位置；
以针脚的位置为中心点，并且对PCB载板图像P1进行图像裁剪，得到针脚定位框Bbox2。
作为本申请一些可选实施方式，基于针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定的流程如下：
预设针孔缺陷轮廓图像P2的长、宽、面积对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积进行比重计算和加权求和；
基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
作为本申请一些可选实施方式，基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定的流程如下：
预设针孔缺陷轮廓图像P2的长、宽、面积以及针脚缺陷到针脚的距离对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积以及针脚缺陷到针脚的距离进行比重计算和加权求和；
基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
作为本申请一些可选实施方式，对针脚定位框Bbox2进行缺陷定位处理的流程如下：
以像素处理后的针脚定位框Bbox2的中心为圆心，以不同的半径向外延伸设置若干圆环；
将圆框的像素值设置为0，并且以针脚定位框Bbox2对应图像的像素值为背景，进行像素值叠加；
对圆环位置叠加之后的像素值进行验证，判断对应的像素值是否小于像素阈值T1，如果小于像素阈值T1，则判定对应的位置存在缺陷；
获取半径差距最大的两个圆环作为内边界和外边界，对针脚定位框Bbox2相应的位置进行图像轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2、内边界和外边界半径的平均值R，所述平均值R即针孔缺陷到针脚的距离。
在第二方面，本发明提供一种PCB载板的针孔缺陷检测系统，所述系统包括：
针孔缺陷框获取单元，所述针孔缺陷框获取单元用于将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2，通过缺陷筛选模型M1输出针孔缺陷框Bbox1，通过针脚筛选模型M2输出针脚定位框Bbox2；
针孔轮廓图像处理单元，所述针孔轮廓图像处理单元用于对针孔缺陷框Bbox1或者针脚定位框Bbox2进行像素处理和轮廓提取处理；
针孔缺陷判定因素获取单元，所述针孔缺陷判定因素获取单元基于轮廓提取处理结果进行几何形状和空间位置信息计算；
针孔缺陷判定单元，所述针孔缺陷判定单元基于几何形状和空间位置信息计算结果进行针孔缺陷判定。
在第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述一种PCB载板的针孔缺陷检测方法。
在第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种PCB载板的针孔缺陷检测方法。
本发明的有益效果如下：
本发明基于深度学习和图像处理技术，实现了针孔缺陷的准确检测，解决了现有针孔缺陷检测容易出现漏检、过检的问题。
本发明基于缺陷几何信息和位置信息对针孔缺陷进行综合判定，因此更加能对针孔缺陷的类型、严重程度进行判定。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是根据本发明的实施例所述针孔缺陷检测方法的步骤图。
图2是根据本发明的实施例1中针孔缺陷检测方法的流程图。
图3是根据本发明的实施例2中针孔缺陷检测方法的流程图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
同样应当理解的是，为了简化本发明揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
实施例1
本发明提供一种PCB载板的针孔缺陷检测方法，如图1、图2所示，所述方法包括以下步骤：
（1）将待检测的PCB载板图像P1输入缺陷筛选模型M1，通过缺陷筛选模型M1输出针孔缺陷框Bbox1；
其中，所述缺陷筛选模型M1基于深度学习网络模型训练得到，所述深度学习网络模型包括卷积层、池化层以及全连接层。
于本发明实施例中，所述缺陷筛选模型M1的训练流程如下：
（1.1）采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针孔缺陷标注；
（1.2）将针孔缺陷标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到缺陷筛选模型M1。
于本发明实施例中，通过缺陷筛选模型M1输出针孔缺陷框Bbox1的流程如下：
（1.3）将待检测的PCB载板图像P1输入缺陷筛选模型M1，通过缺陷筛选模型M1输出所有针孔缺陷位置、针孔缺陷的置信度；
（1.4）根据针孔缺陷的置信度对针孔缺陷的位置进行筛选，得到最终的针孔缺陷位置；
（1.5）根据最终的针孔缺陷位置的中心点，并且对PCB载板图像P1进行图像裁剪，得到针孔缺陷框Bbox1。
（2）对针孔缺陷框Bbox1进行像素处理和轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2。
于本发明实施例中，对针孔缺陷框Bbox1进行像素处理的流程如下：
（2.1）对针孔缺陷框Bbox1进行图像灰度处理，得到针孔缺陷的灰度图Bbox11；
（2.2）预设二值化分割阈值，基于二值化分割阈值对灰度图Bbox11进行图像二值化处理。
（3）计算针孔缺陷轮廓图像P2的长、宽以及面积，并且基于针孔缺陷轮廓图像P2的长、宽、面积，进行针孔缺陷判定。
于本发明实施例中，基于针孔缺陷轮廓图像P2的长、宽、面积，进行针孔缺陷判定的流程如下：
（4.1）预设针孔缺陷轮廓图像P2的长、宽、面积对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积进行比重计算和加权求和；
（4.2）基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
本实施例中，首先通过历史的PCB载板图像P0对缺陷筛选模型M1进行训练，并且通过训练后的缺陷筛选模型M1对待检测的PCB载板图像P1进行缺陷筛选，获取针孔缺陷框Bbox1；然后通过对针孔缺陷框Bbox1进行图像处理和轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2；最后基于针孔缺陷轮廓图像P2的长、宽、面积，进行针孔缺陷判定。即基于深度学习和图像处理技术，并且结合针孔缺陷的结构进行综合判定，实现了针孔缺陷的准确检测，解决了现有针孔缺陷检测容易出现漏检、过检的问题。
实施例2
本发明提供一种PCB载板的针孔缺陷检测方法，如图1、图3所示，所述方法包括以下步骤：
（1）将待检测的PCB载板图像P1输入针脚筛选模型M2，通过针脚筛选模型M2输出针脚定位框Bbox2；
其中，所述针脚筛选模型M2基于深度学习网络模型训练得到，所述深度学习网络模型包括卷积层、池化层以及全连接层。
于本发明实施例中，所述针脚筛选模型M2的训练流程如下：
（1.1）采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针脚标注；
（1.2）将针脚标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到针脚筛选模型M2。
于本发明实施例中，通过针脚筛选模型M2输出针脚定位框Bbox2的流程如下：
（1.3）将待检测的PCB载板图像P1输入针脚筛选模型M2，通过针脚筛选模型M2输出所有针脚位置；
（1.4）以针脚的位置为中心点，并且对PCB载板图像（P1进行图像裁剪，得到针脚定位框Bbox2。
（2）对针脚定位框Bbox2进行像素处理和缺陷定位处理，并且对缺陷定位处理后的针脚定位框Bbox2进行轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2以及针孔缺陷到针脚的距离。
于本发明实施例中，对针脚定位框Bbox2进行像素处理的流程为：
（2.1）对针脚定位框Bbox2进行图像灰度处理，得到针脚的灰度图Bbox21；
（2.2）预设二值化分割阈值，基于二值化分割阈值对灰度图Bbox21进行图像二值化处理。
于本发明实施例中，对针脚定位框Bbox2进行缺陷定位处理的流程如下：
（2.3）基于灰度图Bbox21，以灰度图Bbox21的中心为圆心，以不同的半径向外延伸设置若干圆环；
（2.4）将圆框的像素值设置为0，并且以针脚定位框Bbox2对应图像的像素值为背景，进行像素值叠加；
（2.5）对圆环位置叠加之后的像素值进行验证，判断对应的像素值是否小于像素阈值T1，如果小于像素阈值T1，则判定对应的位置存在缺陷；
（2.6）获取半径差距最大的两个圆环作为内边界和外边界，对针脚定位框Bbox2相应的位置进行图像轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2、内边界和外边界半径的平均值R，即针孔缺陷到针脚的距离。
（3）基于针孔缺陷轮廓图像P2计算针孔缺陷轮廓图像P2的长、宽以及面积。
（4）基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定。
于本发明实施例中，基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定的流程如下：
（4.1）预设针孔缺陷轮廓图像P2的长、宽、面积以及针孔平均值R对应的权重值；
（4.2）对针孔缺陷轮廓图像P2的长、宽、面积以及平均值R进行比重计算和加权求和；
（4.3）基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
本实施例中，首先通过历史的PCB载板图像P0对针脚筛选模型M2进行训练，并且通过训练后的针脚筛选模型M2对待检测的PCB载板图像P1进行针脚筛选，获取针脚定位框Bbox2；然后通过对针脚定位框Bbox2进行像素处理和缺陷定位处理，并且对缺陷定位处理后的针脚定位框Bbox2进行轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2以及针孔缺陷到针脚的距离；最后基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定。即基于深度学习和图像处理技术，并且结合针孔缺陷相对于针脚的位置、针孔缺陷的结构进行综合判定，实现了针孔缺陷的准确检测，解决了现有针孔缺陷检测容易出现漏检、过检的问题；本实施例2与实施例1的区别在于，实施例1是基于深度学习输出具有缺陷的针孔缺陷框Bbox1，因此需要进行针孔缺陷学习，实施例2是基于深度学习输出针脚定位框Bbox2，因此只需要进行针脚学习，相对于实施例1，则深度学习的效率、准确率更高；与此同时，实施例2进行缺陷定位时，结合针孔缺陷和针脚的具体结构特点，以圆环定位的方式，结合像素值判定的方式进行缺陷定位，缺陷定位效率更高、更加准确。
实施例3
本发明提供一种PCB载板的针孔缺陷检测系统，所述系统包括：
针孔缺陷框获取单元，所述针孔缺陷框获取单元用于将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2，通过缺陷筛选模型M1输出针孔缺陷框Bbox1，通过针脚筛选模型M2输出针脚定位框Bbox2；
针孔轮廓图像处理单元，所述针孔轮廓图像处理单元用于对针孔缺陷框Bbox1或者针脚定位框Bbox2进行像素处理和轮廓提取处理；
针孔缺陷判定因素获取单元，所述针孔缺陷判定因素获取单元基于轮廓提取处理结果进行几何形状和空间位置信息计算；
针孔缺陷判定单元，所述针孔缺陷判定单元基于几何形状和空间位置信息计算结果进行针孔缺陷判定。
实施例4
本发明提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1或2所述的一种PCB载板的针孔缺陷检测方法。
本实施例提供的计算机设备可以实现执行实施例1或2所述的方法，为避免重复，在此不再赘述。
实施例5
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1或2所述的一种PCB载板的针孔缺陷检测方法。
本实施例提供的计算机可读存储介质可以实现执行实施例1或2所述的方法，为避免重复，在此不再赘述。
其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Field programmablegate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中PCB载板的针孔缺陷检测系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
PCB载板的针孔缺陷检测系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

Claims (8)

1.一种PCB载板的针孔缺陷检测方法，其特征在于，所述方法包括以下步骤：
将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2；
通过所述缺陷筛选模型M1输出针孔缺陷框Bbox1，通过所述针脚筛选模型M2输出针脚定位框Bbox2；
对所述针孔缺陷框Bbox1或者所述针脚定位框Bbox2进行像素处理和轮廓提取处理；
基于轮廓提取处理结果进行几何信息和位置信息计算，并且基于几何信息和位置信息计算结果进行针孔缺陷判定；
基于针孔缺陷框Bbox1，进行针孔缺陷判定的流程为：
对所述针孔缺陷框Bbox1进行图像灰度处理和图像二值化处理，并且对图像二值化处理后的所述针孔缺陷框Bbox1进行轮廓提取处理，得到针孔缺陷轮廓图像P2；
基于针孔缺陷轮廓图像P2计算所述针孔缺陷轮廓图像P2的长、宽以及面积，并且基于所述针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定；
基于针脚定位框Bbox2，进行针孔缺陷判定的流程为：
对所述针脚定位框Bbox2进行像素处理和缺陷定位处理，并且对缺陷定位处理后的所述针脚定位框Bbox2进行轮廓提取处理，得到针孔缺陷轮廓图像P2以及针孔缺陷到针脚的距离；
基于针孔缺陷轮廓图像P2计算针孔缺陷轮廓图像P2的长、宽以及面积；
基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定；
所述缺陷筛选模型M1的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针孔缺陷标注；
将针孔缺陷标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到缺陷筛选模型M1；
所述针脚筛选模型M2的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针脚标注；
将针脚标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到针脚筛选模型M2；
通过缺陷筛选模型M1输出针孔缺陷框Bbox1的流程如下：
将待检测的PCB载板图像P1输入缺陷筛选模型M1，通过缺陷筛选模型M1输出所有针孔缺陷位置以及针孔缺陷的置信度；
根据针孔缺陷的置信度对针孔缺陷的位置进行筛选，得到最终的针孔缺陷位置；
根据最终的针孔缺陷位置的中心点，并且对PCB载板图像P1进行图像裁剪，得到针孔缺陷框Bbox1；
通过针脚筛选模型M2输出针脚定位框Bbox2的流程如下：
将待检测的PCB载板图像P1输入针脚筛选模型M2，通过针脚筛选模型M2输出所有针脚位置；
以针脚的位置为中心点，并且对PCB载板图像P1进行图像裁剪，得到针脚定位框Bbox2；
基于针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定的流程如下：
预设针孔缺陷轮廓图像P2的长、宽、面积对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积进行比重计算和加权求和；
基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
2.根据权利要求1所述的一种PCB载板的针孔缺陷检测方法，其特征在于：所述缺陷筛选模型M1和针脚筛选模型M2均基于深度学习网络模型训练得到。
3.根据权利要求2所述的一种PCB载板的针孔缺陷检测方法，其特征在于：所述深度学习网络模型包括卷积层、池化层以及全连接层。
4.根据权利要求1所述的一种PCB载板的针孔缺陷检测方法，其特征在于：基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定的流程如下：预设针孔缺陷轮廓图像P2的长、宽、面积以及针脚缺陷到针脚的距离对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积以及针脚缺陷到针脚的距离进行比重计算和加权求和；
基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
5.根据权利要求1所述的一种PCB载板的针孔缺陷检测方法，其特征在于：对针脚定位框Bbox2进行缺陷定位处理的流程如下：
以像素处理后的针脚定位框Bbox2的中心为圆心，以不同的半径向外延伸设置若干圆环；
将圆框的像素值设置为0，并且以针脚定位框Bbox2对应图像的像素值为背景，进行像素值叠加；
对圆环位置叠加之后的像素值进行验证，判断对应的像素值是否小于像素阈值T1，如果小于像素阈值T1，则判定对应的位置存在缺陷；
获取半径差距最大的两个圆环作为内边界和外边界，对针脚定位框Bbox2相应的位置进行图像轮廓提取处理，得到待检测的针孔缺陷轮廓图像P2、内边界和外边界半径的平均值R，所述平均值R即针孔缺陷到针脚的距离。
6.一种PCB载板的针孔缺陷检测系统，其特征在于，所述系统包括：
针孔缺陷框获取单元，所述针孔缺陷框获取单元用于将待检测的PCB载板图像P1输入缺陷筛选模型M1或者针脚筛选模型M2，通过缺陷筛选模型M1输出针孔缺陷框Bbox1，通过针脚筛选模型M2输出针脚定位框Bbox2；
针孔轮廓图像处理单元，所述针孔轮廓图像处理单元用于对针孔缺陷框Bbox1或者针脚定位框Bbox2进行像素处理和轮廓提取处理；
针孔缺陷判定因素获取单元，所述针孔缺陷判定因素获取单元基于轮廓提取处理结果进行几何形状和空间位置信息计算；
针孔缺陷判定单元，所述针孔缺陷判定单元基于几何形状和空间位置信息计算结果进行针孔缺陷判定；
基于针孔缺陷框Bbox1，进行针孔缺陷判定的流程为：
对所述针孔缺陷框Bbox1进行图像灰度处理和图像二值化处理，并且对图像二值化处理后的所述针孔缺陷框Bbox1进行轮廓提取处理，得到针孔缺陷轮廓图像P2；
基于针孔缺陷轮廓图像P2计算所述针孔缺陷轮廓图像P2的长、宽以及面积，并且基于所述针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定；
基于针脚定位框Bbox2，进行针孔缺陷判定的流程为：
对所述针脚定位框Bbox2进行像素处理和缺陷定位处理，并且对缺陷定位处理后的所述针脚定位框Bbox2进行轮廓提取处理，得到针孔缺陷轮廓图像P2以及针孔缺陷到针脚的距离；
基于针孔缺陷轮廓图像P2计算针孔缺陷轮廓图像P2的长、宽以及面积；
基于针孔缺陷轮廓图像P2的长、宽、面积以及针孔缺陷到针脚的距离，进行针孔缺陷判定；
所述缺陷筛选模型M1的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针孔缺陷标注；
将针孔缺陷标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到缺陷筛选模型M1；
所述针脚筛选模型M2的训练流程如下：
采集历史的PCB载板图像P0，并且对PCB载板图像P0进行针脚标注；
将针脚标注后的PCB载板图像P0输入深度学习网络模型进行图像特征提取和训练学习，得到针脚筛选模型M2；
通过缺陷筛选模型M1输出针孔缺陷框Bbox1的流程如下：
将待检测的PCB载板图像P1输入缺陷筛选模型M1，通过缺陷筛选模型M1输出所有针孔缺陷位置以及针孔缺陷的置信度；
根据针孔缺陷的置信度对针孔缺陷的位置进行筛选，得到最终的针孔缺陷位置；
根据最终的针孔缺陷位置的中心点，并且对PCB载板图像P1进行图像裁剪，得到针孔缺陷框Bbox1；
通过针脚筛选模型M2输出针脚定位框Bbox2的流程如下：
将待检测的PCB载板图像P1输入针脚筛选模型M2，通过针脚筛选模型M2输出所有针脚位置；
以针脚的位置为中心点，并且对PCB载板图像P1进行图像裁剪，得到针脚定位框Bbox2；
基于针孔缺陷轮廓图像P2的长、宽以及面积进行针孔缺陷判定的流程如下：
预设针孔缺陷轮廓图像P2的长、宽、面积对应的权重值，并且对针孔缺陷轮廓图像P2的长、宽、面积进行比重计算和加权求和；
基于比重计算的结果对针孔缺陷类型进行判定，并且基于加权求和的结果对针孔缺陷等级进行判定。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述一种PCB载板的针孔缺陷检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述一种PCB载板的针孔缺陷检测方法。
CN202211466335.3A 2022-11-22 2022-11-22 Pcb载板的针孔缺陷检测方法、系统、设备及存储介质 Active CN115588007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211466335.3A CN115588007B (zh) 2022-11-22 2022-11-22 Pcb载板的针孔缺陷检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211466335.3A CN115588007B (zh) 2022-11-22 2022-11-22 Pcb载板的针孔缺陷检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115588007A CN115588007A (zh) 2023-01-10
CN115588007B true CN115588007B (zh) 2023-03-10

Family

ID=84783382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211466335.3A Active CN115588007B (zh) 2022-11-22 2022-11-22 Pcb载板的针孔缺陷检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115588007B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496161A (zh) * 2011-12-13 2012-06-13 浙江欧威科技有限公司 一种印刷电路板图像的轮廓提取方法
CN111476758A (zh) * 2020-03-12 2020-07-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质
CN111537532A (zh) * 2020-06-11 2020-08-14 全球能源互联网研究院有限公司 一种膜电极缺陷检测方法及装置
CN115272280A (zh) * 2022-08-16 2022-11-01 杭州安脉盛智能技术有限公司 一种缺陷检测方法、装置、设备及存储介质
CN115272199A (zh) * 2022-07-11 2022-11-01 成都数之联科技股份有限公司 一种pcb载板缺陷检测方法、系统、电子设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496161A (zh) * 2011-12-13 2012-06-13 浙江欧威科技有限公司 一种印刷电路板图像的轮廓提取方法
CN111476758A (zh) * 2020-03-12 2020-07-31 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) Amoled显示屏的缺陷检测方法、装置、计算机设备及存储介质
CN111537532A (zh) * 2020-06-11 2020-08-14 全球能源互联网研究院有限公司 一种膜电极缺陷检测方法及装置
CN115272199A (zh) * 2022-07-11 2022-11-01 成都数之联科技股份有限公司 一种pcb载板缺陷检测方法、系统、电子设备及介质
CN115272280A (zh) * 2022-08-16 2022-11-01 杭州安脉盛智能技术有限公司 一种缺陷检测方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
PCB AOI关键技术及一种基于亚像素检测和智能形状分析的AOI系统;金刚;《印制电路信息》(第04期);全文 *
Tool Breakage Detection using Deep Learning;Guang Li 等;《2018 IEEE International Conference on Big Data, Cloud Computing, Data Science & Engineering (BCD)》;全文 *
基于形态学的PCB缺陷快速检测技术;王栋等;《计算机科学》;全文 *
基于无人机图像的风力发电机叶片缺陷识别;仇梓峰等;《发电技术》(第03期);全文 *
基于显微成像与图像处理的工件表面漏光缺陷检测算法;李胜军等;《组合机床与自动化加工技术》(第06期);全文 *

Also Published As

Publication number Publication date
CN115588007A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
US8086041B2 (en) Pattern evaluation method, pattern matching method and computer readable medium
CN110706224B (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
KR20090066212A (ko) 결함 검출 방법 및 결함 검출 장치
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN116385380A (zh) 基于深度特征的缺陷检测方法、系统、设备及存储介质
CN116777907A (zh) 一种钣金件质量检测方法
CN115937175A (zh) 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN114926441B (zh) 一种注塑件加工成型的缺陷检测方法及系统
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN115880520A (zh) 一种基于模板匹配和缺陷分割的缺陷等级分类方法及系统
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
CN114862817A (zh) 一种电路板金手指区域缺陷检测方法及系统及装置及介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN115588007B (zh) Pcb载板的针孔缺陷检测方法、系统、设备及存储介质
CN115254674B (zh) 一种轴承缺陷分选方法
CN113012121B (zh) 裸片扫描结果的处理方法、装置、电子设备与存储介质
CN114627113A (zh) 一种印制电路板缺陷检测方法及系统及装置及介质
CN115471494A (zh) 基于图像处理的沃柑质检方法、装置、装备及存储介质
CN117011596B (zh) 结构运动视觉测量的圆识别及圆心定位方法和装置
JP2001099625A (ja) パターン検査装置およびパターン検査方法
CN113222880A (zh) 分析检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230110

Assignee: Chengdu Haijixian Intelligent Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2024510000011

Denomination of invention: Method, system, equipment, and storage medium for detecting pinhole defects on PCB carrier boards

Granted publication date: 20230310

License type: Common License

Record date: 20240717

EE01 Entry into force of recordation of patent licensing contract