CN115035118B - 一种基于识别模型的pcb生产线残缺检测方法及系统 - Google Patents

一种基于识别模型的pcb生产线残缺检测方法及系统 Download PDF

Info

Publication number
CN115035118B
CN115035118B CN202210963624.8A CN202210963624A CN115035118B CN 115035118 B CN115035118 B CN 115035118B CN 202210963624 A CN202210963624 A CN 202210963624A CN 115035118 B CN115035118 B CN 115035118B
Authority
CN
China
Prior art keywords
area
region
incomplete
frequent
accidental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210963624.8A
Other languages
English (en)
Other versions
CN115035118A (zh
Inventor
彭海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhaocheng Lithium Technology Co ltd
Original Assignee
Nantong Huati Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Huati Electronic Technology Co ltd filed Critical Nantong Huati Electronic Technology Co ltd
Priority to CN202210963624.8A priority Critical patent/CN115035118B/zh
Publication of CN115035118A publication Critical patent/CN115035118A/zh
Application granted granted Critical
Publication of CN115035118B publication Critical patent/CN115035118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于识别模型的PCB生产线残缺检测方法及系统，包括以下步骤：步骤S1、获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出PCB目标生产线的残缺区域特征，以及统计PCB目标生产线的区域残缺度；步骤S2、基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络进行模型训练得到频发区域识别模型和偶发区域识别模型；步骤S3、对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率。本发明利用神经网络进行模型训练得到频发区域识别模型和偶发区域识别模型，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性。

Description

一种基于识别模型的PCB生产线残缺检测方法及系统
技术领域
本发明涉及PCB生产技术领域，具体涉及一种基于识别模型的PCB生产线残缺检测方法及系统。
背景技术
目前，印刷电路板(PCB)表面缺陷检测主要面临如下挑战和困难：第一，市场上有多种类型的PCB供应，且PCB设计规则各不相同；第二，PCB缺陷类型和功能设计复杂、多样；第三，PCB缺陷检测行业缺乏大量的PCB缺陷样本，导致传统方法中使用的数据不均衡。PCB表面缺陷检测主要包括两部分：焊接接缝缺陷检测和元件检测。传统的人工目视检查方法和基于图像处理的机器视觉检验方法存在精度低、泛化能力不足和稳健性差等问题，并且很难实现与多个PCB表面缺陷检测兼容，已经越来越不能满足工业生产的需求。因此，设计一种配备工业摄像机的高效、准确机器视觉电路板检测系统替代人眼检测具有非常重要的现实意义。
近年来，尽管自动光学检验(AOI)系统已经取代了大部分的人工检验技术，提高了检验精确度，降低了检验成本，并且具有比人工检验更方便、高效的优势，但其误检率和漏检率仍然过高。而且检测效果容易受到图像照度、遮挡、角度变化等因素的影响。同时，检测算法也存在抗噪性能差、计算时间长、实时检测性能差等问题。实际工业场景中焊接接缝缺陷检测常见的六类缺陷：缺孔、鼠式侵蚀、开路、短路、毛刺、铜渣。
目前，主流的目标检测方法主要以深度学习模型为基础。基于深度学习的目标检测方法主要分为两类：两阶段目标检测方法和一阶段目标检测方法。两阶段目标检测方法主要分为两个步骤：第一步是从图像中提取建议框，去除一些背景建议框，同时进行位置校正；第二步是对每个建议框进行检验和分类，并对其位置进行校正。因此，基于候选区域的方法也称为两阶段目标检测方法。尽管两阶段目标检测方法的性能相对较高，但检测速度与实时检测相比仍存在差距。典型算法包括R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN等；一阶段目标检测将这两种过程结合在一起，能更好地满足实时检测要求。在一阶段目标检测方法中，不再使用建议框进行“粗略检测+细化”，而是采用了“锚点+分类细化”的操作框架，即仅对前馈网络进行一次计算。通过这种方法，检测速度明显得到了提高。典型算法包括SSD、RetinaNet、YOLO等。深度学习方法具有自动化特征提取和端到端控制的优点。但是，由于CNN具有局部功能的特点，现有的深度学习算法难以满足PCB表面缺陷检测效率和精度的要求。
现有技术中的PCB检测都是由针对PCB产品进行，而忽略了PCB生产线由于PCB制作精度、材料的不同，会存在不可避免的制作缺陷，比如焊接某些部件时会出现毛刺、漏焊等缺陷，这是PCB生产线自带且不可避免的缺陷，现有技术不能掌控PCB生产线的PCB制作缺陷，在缺陷检测时均按统一频率进行检测，易造成漏检的问题。
发明内容
本发明的目的在于提供一种基于识别模型的PCB生产线残缺检测方法及系统，以解决现有技术中不能掌控PCB生产线的PCB制作缺陷，在缺陷检测时均按统一频率进行检测，易造成漏检的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于识别模型的PCB生产线残缺检测方法，包括以下步骤：
步骤S1、获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
步骤S2、基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，所述频发区域表征为具有高区域残缺度的残缺区域，所述偶发区域表征为具有低区域残缺度的残缺区域；
步骤S3、根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性。
作为本发明的一种优选方案，所述提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，包括：
提取出残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式作为残缺区域的基础特征；
对所述残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式进行主成分分析分别得到每项基础特征的贡献值，并将贡献值高于预设贡献阈值的基础特征标记为所述区域特征，并将区域特征作为PCB目标生产线的残缺区域特征。
作为本发明的一种优选方案，所述统计残缺区域出现频度作为PCB目标生产线的区域残缺度，包括：
对所述残缺区域依据所述残缺区域特征进行Kmeans聚类得到多组区域簇，并依次将每个区域簇中的残缺区域总数在获取的残缺区域总数中的占比作为每个区域簇中的各个残缺区域的所述区域残缺度；
所述区域残缺度的计算公式为：
Figure 100002_DEST_PATH_IMAGE001
；
式中，
Figure 893284DEST_PATH_IMAGE002
表征为第i个残缺区域的区域残缺度，
Figure 100002_DEST_PATH_IMAGE003
表征为第i个残缺区域所属的区域簇中残缺区域总数，N表征为获取的残缺区域总数，i为计量常数。
作为本发明的一种优选方案，所述基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，包括：
设置区域残缺度阈值，并依次将各个残缺区域的区域残缺度与区域残缺度阈值进行比较，其中，
若残缺区域的区域残缺度高于区域残缺阈值的上限值，则将所述残缺区域标定为频发区域；
若残缺区域的区域残缺度低于或等于区域残缺阈值的上限值且高于区域残缺阈值的下限值，则将所述残缺区域标记为偶发区域。
作为本发明的一种优选方案，所述利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，包括：
将频发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为频发区域特征；
将频发区域特征和区域残缺度分别作为第一BP神经网络的第一输入项和第一输出项，并将所述第一BP神经网络基于所述第一输入项和第一输出项进行模型训练得到所述频发区域识别模型，所述频发区域识别模型的模型函数为：
I high =BP1(X high )；
式中，I high 为频发区域的区域残缺度的标识符，X high 为频发区域特征的标识符，BP1为第一BP神经网络的标识符；
将偶发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为偶发区域特征；
将偶发区域特征和区域残缺度分别作为第二BP神经网络的第二输入项和第二输出项，并将所述第二BP神经网络基于所述第二输入项和第二输出项进行模型训练得到所述偶发区域识别模型，所述偶发区域识别模型的模型函数为：
I low =BP2(X low )；
式中，I low 为偶发区域的区域残缺度的标识符，X low 为偶发区域特征的标识符，BP2为第二BP神经网络的标识符。
作为本发明的一种优选方案，所述根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，包括：
设定区域大小期望值，并基于区域大小期望值对残缺区域进行区域大小离散度构建，所述区域大小离散度的函数表达式为：
Figure 505662DEST_PATH_IMAGE004
；
式中，
Figure 100002_DEST_PATH_IMAGE005
表征为区域大小离散度，
Figure 100002_DEST_PATH_IMAGE006
表征为第i个残缺区域的区域大小，
Figure 100002_DEST_PATH_IMAGE007
表征为区域大小期望值；
构建区域大小期望值的求解约束条件，所述求解约束条件为：
Figure 638834DEST_PATH_IMAGE008
；
式中，
Figure 100002_DEST_PATH_IMAGE009
、
Figure 100002_DEST_PATH_IMAGE010
分别表征为残缺区域中最小的区域大小、最大的区域大小；
基于所述求解约束条件对区域大小离散度进行最小化求解得到区域大小期望值的求解值作为单位网格大小；
依据所述单位网格大小对PCB目标产品进行网格化处理得到PCB目标产品的检测区域，并对检测区域分别进行频发区域特征、偶发区域特征的提取得到检测区域的频发区域特征、检测区域的偶发区域特征；
将检测区域的频发区域特征、检测区域的偶发区域特征分别输入至频发区域识别模型和偶发区域识别模型得到检测区域的频发区域残缺度、检测区域的偶发区域残缺度，将检测区域的频发区域残缺度、检测区域的偶发区域残缺度与频发区域和偶发区域的区域残缺度进行置信区间归并，其中，
若检测区域的频发区域残缺度属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度不属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的频发区域，以及检测区域的频发区域残缺度作为PCB目标产品的频发区域的区域残缺度；
若检测区域的频发区域残缺度不属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的偶发区域，以及检测区域的偶发区域残缺度作为PCB目标产品的偶发区域的区域残缺度。
作为本发明的一种优选方案，所述对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，包括：
将PCB目标产品的频发区域的残缺检测频率设定为：
Figure 100002_DEST_PATH_IMAGE011
；
式中，
Figure 100002_DEST_PATH_IMAGE012
表征为频发区域的残缺检测频率，
Figure 350569DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值；
将PCB目标产品的偶发区域的残缺检测频率设定为：
Figure 100002_DEST_PATH_IMAGE014
；
式中，
Figure 529878DEST_PATH_IMAGE015
表征为偶发区域的残缺检测频率，
Figure 211526DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值。
作为本发明的一种优选方案，所述残缺区域的基础特征在进行主成分分析前进行归一化处理。
作为本发明的一种优选方案，所述残缺检测频率基础值为PCB目标生产线对PCB目标产品中频发区域和偶发区域的检测区域的残缺检测频率。
作为本发明的一种优选方案，本发明提供了一种根据所述的基于识别模型的PCB生产线残缺检测方法的缺陷检测系统，包括：
产品分析模块，用于获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
识别模型模块，用于基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型；
检测应用模块，用于根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率。
本发明与现有技术相比较具有如下有益效果：
本发明基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的PCB生产线残缺检测方法流程图；
图2为本发明实施例提供的残缺检测系统框图。
图中的标号分别表示如下：
1-产品分析模块；2-识别模型模块；3-检测应用模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于识别模型的PCB生产线残缺检测方法，包括以下步骤：
步骤S1、获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，包括：
提取出残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式作为残缺区域的基础特征；
对残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式进行主成分分析分别得到每项基础特征的贡献值，并将贡献值高于预设贡献阈值的基础特征标记为区域特征，并将区域特征作为PCB目标生产线的残缺区域特征。
统计残缺区域出现频度作为PCB目标生产线的区域残缺度，包括：
对残缺区域依据残缺区域特征进行Kmeans聚类得到多组区域簇，并依次将每个区域簇中的残缺区域总数在获取的残缺区域总数中的占比作为每个区域簇中的各个残缺区域的区域残缺度；
区域残缺度的计算公式为：
Figure DEST_PATH_IMAGE016
；
式中，
Figure 995942DEST_PATH_IMAGE002
表征为第i个残缺区域的区域残缺度，
Figure 799950DEST_PATH_IMAGE003
表征为第i个残缺区域所属的区域簇中残缺区域总数，N表征为获取的残缺区域总数，i为计量常数。
通过对PCB残次品中残缺区域的特征提取和主成分分析得到PCB目标生产线会在产生残缺的PCB区域，比如PCB目标生产线会出现焊接缺陷、毛刺缺陷等，并且得到会出现焊接缺陷、毛刺缺陷的PCB区域特征，并且通过量化残缺区域出现频度作为PCB目标生产线的区域残缺度，从而可得到频发区域，即PCB目标生产线无法避免的制作缺陷，以及偶发区域，即PCB目标生产线中偶尔发生的制作缺陷。
步骤S2、基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，频发区域表征为具有高区域残缺度的残缺区域，偶发区域表征为具有低区域残缺度的残缺区域；
基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，包括：
设置区域残缺度阈值，并依次将各个残缺区域的区域残缺度与区域残缺度阈值进行比较，其中，
若残缺区域的区域残缺度高于区域残缺阈值的上限值，则将残缺区域标定为频发区域；
若残缺区域的区域残缺度低于或等于区域残缺阈值的上限值且高于区域残缺阈值的下限值，则将残缺区域标记为偶发区域。
利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，包括：
将频发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为频发区域特征；
将频发区域特征和区域残缺度分别作为第一BP神经网络的第一输入项和第一输出项，并将第一BP神经网络基于第一输入项和第一输出项进行模型训练得到频发区域识别模型，频发区域识别模型的模型函数为：
I high =BP1(X high )；
式中，I high 为频发区域的区域残缺度的标识符，X high 为频发区域特征的标识符，BP1为第一BP神经网络的标识符；
将偶发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为偶发区域特征；
将偶发区域特征和区域残缺度分别作为第二BP神经网络的第二输入项和第二输出项，并将第二BP神经网络基于第二输入项和第二输出项进行模型训练得到偶发区域识别模型，偶发区域识别模型的模型函数为：
I low =BP2(X low )；
式中，I low 为偶发区域的区域残缺度的标识符，X low 为偶发区域特征的标识符，BP2为第二BP神经网络的标识符。
步骤S3、根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性。
根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，包括：
设定区域大小期望值，并基于区域大小期望值对残缺区域进行区域大小离散度构建，区域大小离散度的函数表达式为：
Figure 263293DEST_PATH_IMAGE004
；
式中，
Figure 810949DEST_PATH_IMAGE005
表征为区域大小离散度，
Figure 777768DEST_PATH_IMAGE006
表征为第i个残缺区域的区域大小，
Figure 18256DEST_PATH_IMAGE007
表征为区域大小期望值；
构建区域大小期望值的求解约束条件，求解约束条件为：
Figure 437736DEST_PATH_IMAGE017
；
式中，
Figure 523504DEST_PATH_IMAGE009
、
Figure 344829DEST_PATH_IMAGE010
分别表征为残缺区域中最小的区域大小、最大的区域大小；
基于求解约束条件对区域大小离散度进行最小化求解得到区域大小期望值的求解值作为单位网格大小，求解得到的区域大小期望值是最贴近频发区域和偶发区域的区域大小，即通过PCB 目标产品按该区域大小期望值进行划分得到检测区域能够确保最大程度的包括所需区域特征用来识别区域残缺度；
依据单位网格大小对PCB目标产品进行网格化处理得到PCB目标产品的检测区域，并对检测区域分别进行频发区域特征、偶发区域特征的提取得到检测区域的频发区域特征、检测区域的偶发区域特征；
将检测区域的频发区域特征、检测区域的偶发区域特征分别输入至频发区域识别模型和偶发区域识别模型得到检测区域的频发区域残缺度、检测区域的偶发区域残缺度，将检测区域的频发区域残缺度、检测区域的偶发区域残缺度与频发区域和偶发区域的区域残缺度进行置信区间归并，其中，
若检测区域的频发区域残缺度属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度不属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的频发区域，以及检测区域的频发区域残缺度作为PCB目标产品的频发区域的区域残缺度；
若检测区域的频发区域残缺度不属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的偶发区域，以及检测区域的偶发区域残缺度作为PCB目标产品的偶发区域的区域残缺度；
将PCB目标产品中除频发区域和偶发区域外的检测区域作为常规性的检测区域，即常规性的检测区域的检测频率设定为残缺检测频率基础值。
对频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，包括：
将PCB目标产品的频发区域的残缺检测频率设定为：
Figure 21798DEST_PATH_IMAGE011
；
式中，
Figure 600678DEST_PATH_IMAGE012
表征为频发区域的残缺检测频率，
Figure 427820DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值；
将PCB目标产品的偶发区域的残缺检测频率设定为：
Figure 103652DEST_PATH_IMAGE014
；
式中，
Figure 951522DEST_PATH_IMAGE015
表征为偶发区域的残缺检测频率，
Figure 345594DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值。
频发区域的区域残缺度越高，说明该PCB目标生产线出现这类残缺区域的可能性越高，因此需要将残缺检测频率设定的越高，则能够在残缺发生的瞬间立刻检测出，避免流入后续生产流程，而偶发区域的区域残缺度低于频发区域，说明该PCB目标生产线出现这类残缺区域的可能性较低，因此需要将残缺检测频率设定的低于频发区域，在牺牲偶发区域检测的时效性时避免了高频检测导致的多组无效检测，即降低了冗余性。
残缺区域的基础特征在进行主成分分析前进行归一化处理。
残缺检测频率基础值为PCB目标生产线对PCB目标产品中频发区域和偶发区域的检测区域的残缺检测频率。
基于上述PCB生产线残缺检测方法，本发明提供了一种缺陷检测系统，包括：
产品分析模块1，用于获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
识别模型模块2，用于基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型；
检测应用模块3，用于根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率。
本发明基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (5)

1.一种基于识别模型的PCB生产线残缺检测方法，其特征在于，包括以下步骤：
步骤S1、获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
步骤S2、基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，所述频发区域表征为具有高区域残缺度的残缺区域，所述偶发区域表征为具有低区域残缺度的残缺区域；
步骤S3、根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，以实现对频发区域和偶发区域进行分频检测来保证PCB检测的高时效性和低冗余性；
所述提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，包括：
提取出残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式作为残缺区域的基础特征；
对所述残缺区域的走线量、走线类型、芯片量、芯片类型、电学功能特性、基底板材特性以及焊接方式进行主成分分析分别得到每项基础特征的贡献值，并将贡献值高于预设贡献阈值的基础特征标记为所述区域特征，并将区域特征作为PCB目标生产线的残缺区域特征；
所述统计残缺区域出现频度作为PCB目标生产线的区域残缺度，包括：
对所述残缺区域依据所述残缺区域特征进行Kmeans聚类得到多组区域簇，并依次将每个区域簇中的残缺区域总数在获取的残缺区域总数中的占比作为每个区域簇中的各个残缺区域的所述区域残缺度；
所述区域残缺度的计算公式为：
Figure DEST_PATH_IMAGE001
；
式中，
Figure 221935DEST_PATH_IMAGE002
表征为第i个残缺区域的区域残缺度，
Figure DEST_PATH_IMAGE003
表征为第i个残缺区域所属的区域簇中残缺区域总数，N表征为获取的残缺区域总数，i为计量常数；
所述利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型，包括：
将频发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为频发区域特征；
将频发区域特征和区域残缺度分别作为第一BP神经网络的第一输入项和第一输出项，并将所述第一BP神经网络基于所述第一输入项和第一输出项进行模型训练得到所述频发区域识别模型，所述频发区域识别模型的模型函数为：
I high =BP1(X high )；
式中，I high 为频发区域的区域残缺度的标识符，X high 为频发区域特征的标识符，BP1为第一BP神经网络的标识符；
将偶发区域的残缺区域特征进行主成分分析分别得到每项残缺区域特征的贡献值，并将贡献值高于预设贡献阈值的残缺区域特征标记为偶发区域特征；
将偶发区域特征和区域残缺度分别作为第二BP神经网络的第二输入项和第二输出项，并将所述第二BP神经网络基于所述第二输入项和第二输出项进行模型训练得到所述偶发区域识别模型，所述偶发区域识别模型的模型函数为：
I low =BP2(X low )；
式中，I low 为偶发区域的区域残缺度的标识符，X low 为偶发区域特征的标识符，BP2为第二BP神经网络的标识符；
所述根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，包括：
设定区域大小期望值，并基于区域大小期望值对残缺区域进行区域大小离散度构建，所述区域大小离散度的函数表达式为：
Figure 607917DEST_PATH_IMAGE004
；
式中，
Figure DEST_PATH_IMAGE005
表征为区域大小离散度，
Figure DEST_PATH_IMAGE006
表征为第i个残缺区域的区域大小，
Figure DEST_PATH_IMAGE007
表征为区域大小期望值；
构建区域大小期望值的求解约束条件，所述求解约束条件为：
Figure 263021DEST_PATH_IMAGE008
；
式中，
Figure DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE010
分别表征为残缺区域中最小的区域大小、最大的区域大小；
基于所述求解约束条件对区域大小离散度进行最小化求解得到区域大小期望值的求解值作为单位网格大小；
依据所述单位网格大小对PCB目标产品进行网格化处理得到PCB目标产品的检测区域，并对检测区域分别进行频发区域特征、偶发区域特征的提取得到检测区域的频发区域特征、检测区域的偶发区域特征；
将检测区域的频发区域特征、检测区域的偶发区域特征分别输入至频发区域识别模型和偶发区域识别模型得到检测区域的频发区域残缺度、检测区域的偶发区域残缺度，将检测区域的频发区域残缺度、检测区域的偶发区域残缺度与频发区域和偶发区域的区域残缺度进行置信区间归并，其中，
若检测区域的频发区域残缺度属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度不属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的频发区域，以及检测区域的频发区域残缺度作为PCB目标产品的频发区域的区域残缺度；
若检测区域的频发区域残缺度不属于频发区域的区域残缺度的置信区间且检测区域的偶发区域残缺度属于偶发区域的区域残缺度的置信区间，则将检测区域标记为PCB目标产品的偶发区域，以及检测区域的偶发区域残缺度作为PCB目标产品的偶发区域的区域残缺度；
所述对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率，包括：
将PCB目标产品的频发区域的残缺检测频率设定为：
Figure DEST_PATH_IMAGE011
；
式中，
Figure DEST_PATH_IMAGE012
表征为频发区域的残缺检测频率，
Figure 92785DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值；
将PCB目标产品的偶发区域的残缺检测频率设定为：
Figure DEST_PATH_IMAGE014
；
式中，
Figure 110420DEST_PATH_IMAGE015
表征为偶发区域的残缺检测频率，
Figure 526358DEST_PATH_IMAGE013
表征为检测区域的残缺检测频率基础值。
2.根据权利要求1所述的一种基于识别模型的PCB生产线残缺检测方法，其特征在于：所述基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，包括：
设置区域残缺度阈值，并依次将各个残缺区域的区域残缺度与区域残缺度阈值进行比较，其中，
若残缺区域的区域残缺度高于区域残缺阈值的上限值，则将所述残缺区域标定为频发区域；
若残缺区域的区域残缺度低于或等于区域残缺阈值的上限值且高于区域残缺阈值的下限值，则将所述残缺区域标记为偶发区域。
3.根据权利要求2所述的一种基于识别模型的PCB生产线残缺检测方法，其特征在于，所述残缺区域的基础特征在进行主成分分析前进行归一化处理。
4.根据权利要求3所述的一种基于识别模型的PCB生产线残缺检测方法，其特征在于，所述残缺检测频率基础值为PCB目标生产线对PCB目标产品中频发区域和偶发区域的检测区域的残缺检测频率。
5.一种根据权利要求1-4任一项所述的基于识别模型的PCB生产线残缺检测方法的缺陷检测系统，其特征在于，包括：
产品分析模块（1），用于获取PCB目标生产线上的多个PCB残次品，并依次在每个PCB残次品中标记出残缺区域，再提取出残缺区域的区域特征作为PCB目标生产线的残缺区域特征，以及统计残缺区域出现频度作为PCB目标生产线的区域残缺度；
识别模型模块（2），用于基于区域残缺度对残缺区域进行分类得到频发区域和偶发区域，利用神经网络基于频发区域的残缺区域特征和区域残缺度、偶发区域的残缺区域特征和区域残缺度分别进行模型训练得到频发区域识别模型和偶发区域识别模型；
检测应用模块（3），用于根据频发区域识别模型和偶发区域识别模型对待进入PCB目标生产线进行生产的PCB目标产品进行区域识别得到PCB目标产品的频发区域和偶发区域以及区域残缺度，并对所述频发区域和偶发区域依据区域残缺度设定PCB目标生产线对频发区域和偶发区域的残缺检测频率。
CN202210963624.8A 2022-08-11 2022-08-11 一种基于识别模型的pcb生产线残缺检测方法及系统 Active CN115035118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210963624.8A CN115035118B (zh) 2022-08-11 2022-08-11 一种基于识别模型的pcb生产线残缺检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210963624.8A CN115035118B (zh) 2022-08-11 2022-08-11 一种基于识别模型的pcb生产线残缺检测方法及系统

Publications (2)

Publication Number Publication Date
CN115035118A CN115035118A (zh) 2022-09-09
CN115035118B true CN115035118B (zh) 2022-11-01

Family

ID=83130478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210963624.8A Active CN115035118B (zh) 2022-08-11 2022-08-11 一种基于识别模型的pcb生产线残缺检测方法及系统

Country Status (1)

Country Link
CN (1) CN115035118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115302963B (zh) * 2022-10-12 2022-12-27 深圳市彩昇印刷机械有限公司 一种基于机器视觉的条形码印刷控制方法、系统及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN113592024B (zh) * 2021-08-12 2024-05-28 燕山大学 冷轧铜带表面缺陷识别模型训练方法及识别方法、系统
CN114820499A (zh) * 2022-04-20 2022-07-29 上海电气集团股份有限公司 管道焊缝检测方法
CN114820598B (zh) * 2022-06-24 2023-05-16 苏州康代智能科技股份有限公司 Pcb缺陷检测系统及pcb缺陷检测方法

Also Published As

Publication number Publication date
CN115035118A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Zhu et al. Modified densenet for automatic fabric defect detection with edge computing for minimizing latency
CN111899241B (zh) 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN109615609A (zh) 一种基于深度学习的焊点瑕疵检测方法
TWI833010B (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
CN111965197B (zh) 一种基于多特征融合的缺陷分类方法
CN109300102A (zh) 一种针对pcb的缺陷检测方法
CN110880175A (zh) 一种焊点缺陷检测方法、系统以及设备
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN115035118B (zh) 一种基于识别模型的pcb生产线残缺检测方法及系统
CN115866502A (zh) 一种麦克风零件表面缺陷在线检测流程
CN116152244A (zh) 一种smt缺陷检测方法、系统
CN114627109A (zh) 基于图像增强和深度学习的煤矸分类识别方法与流程
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN115294109A (zh) 基于人工智能的实木板材生产缺陷识别系统、电子设备
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN114994051A (zh) 汽车数控锻压件冲孔智能集成实时检测系统
CN117689646A (zh) 一种正负样本融合的高精度缺陷检测方法、系统及介质
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
Wang et al. Assembly defect detection of atomizers based on machine vision
CN115060743B (zh) 一种pcb分区分频缺陷监测方法及系统
Gao et al. Solder joint defect detection based on image segmentation and deep learning
Li et al. PCB defect recognition and elimination based on secondary error and statistical histogram
Zhang et al. Comparison of Object Region Segmentation Algorithms of PCB Defect Detection.
CN117115114B (zh) 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN115330761B (zh) 一种用于电子产品的表面印刷移位缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230720

Address after: 215200 East of Building B, No. 59, Jinsigang Road, Guoxiang Street, Wuzhong District, Suzhou City, Jiangsu Province

Patentee after: SUZHOU ZHAOCHENG LITHIUM TECHNOLOGY CO.,LTD.

Address before: 226200 in our company, Zha he village, lvsigang Town, Qidong City, Nantong City, Jiangsu Province

Patentee before: Nantong huati Electronic Technology Co.,Ltd.