CN116152244A - 一种smt缺陷检测方法、系统 - Google Patents
一种smt缺陷检测方法、系统 Download PDFInfo
- Publication number
- CN116152244A CN116152244A CN202310421037.0A CN202310421037A CN116152244A CN 116152244 A CN116152244 A CN 116152244A CN 202310421037 A CN202310421037 A CN 202310421037A CN 116152244 A CN116152244 A CN 116152244A
- Authority
- CN
- China
- Prior art keywords
- defect detection
- patch element
- image
- detected
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及缺陷检测技术领域,公开了一种SMT缺陷检测方法、系统,通过缺陷检测模型对贴片元件的待测图像进行缺陷检测,得到缺陷检测结果;缺陷检测模型的训练过程包括:将贴片元件的模板图像与待测图像组成贴片元件样本;将贴片元件样本输入到两个相同的编码器网络中,得到深度特征,进而得到语义差异映射特征;语义差异映射特征与深度特征融合后,将得到的融合特征送入解码器网络进行缺陷分割,得到缺陷检测结果;通过损失函数对缺陷检测模型进行训练;本发明通过融合人的先验知识揭示检测数据的表示特征和统计规律,构建融合数据驱动与知识引导的有限监督标签检测模型,实现不完全标签样本条件下SMT缺陷的精准高效检测。
Description
技术领域
本发明涉及缺陷检测技术领域,具体涉及一种SMT缺陷检测方法、系统。
背景技术
在智能制造的大背景下,电子行业中的表面贴装技术(Surface MountedTechnology,简称SMT)成为一个重点关注对象。SMT是一种通过一定的工艺、材料将贴片元件贴装在印刷电路板(Printed Circuit Board,简称PCB)上的电子组装技术,是现代电子产品制造中的关键工艺技术之一。推进SMT生产线智能化发展,对企业提高其竞争力水平具有至关重要的作用。在元件贴装环节,电子贴片元件通过锡膏焊接在PCB板上后,需要对元件贴片的质量进行检测,如检查是否有立碑、位移、空焊等缺陷。检查这些缺陷是SMT生产线中非常重要的一步,因为电子元件的正确安装对主板功能有着至关重要的影响,甚至一个零件的缺失都会影响整个主板的使用。现有的工业缺陷检测主要分为人工目检和自动化光学检测(Automated Optical Inspection,简称AOI)。AOI的出现降低了很多场景下的人工目检成本,但AOI误检率很高,例如在某知名消费电子生产制造企业的实际产线上,有高达60%的贴片元件需要进行人工复检,而经过人工检查后实际有缺陷的贴片元件只占AOI检测出有缺陷贴片元件数量的2%。所以在检测精度要求较高的SMT产线中,行业内普遍采取二者联合的检验方式,即经过AOI检测之后,进行人工复判。由于SMT产线中的贴片缺陷通常较为微小,人工的复判常常会因为疲劳等因素,导致再次漏检,并且人工复判的平均处理时间为15秒/件/人,无法满足高速生产的现代化产线的要求。所以,如何提高自动贴片元件的检测效率,降低人工成本,成为SMT元件贴装环节主要的研究方向和目的。
近年来,人工智能技术与先进制造技术深度融合,成为新一轮工业革命的核心驱动力。随着大数据和高性能计算智能技术的快速发展,深度学习在计算机视觉,自然语言处理以及模式识别等领域取得重大进展。但是,以深度学习为代表的人工智能方法在持续泛化性、透明可信度和稳定可靠性方面还存在有明显不足,还无法应对制造业智能化升级过程中“由部分阶段性的经验性评估到可持续运行的数字化分析”、“由过程不可知的黑箱式设计到操作可解释的透明化决策”、“由可见性故障的响应式处理到潜在性风险的预测性维护”等方面的严峻挑战。
发明内容
为解决上述技术问题,本发明提供一种SMT缺陷检测方法、系统。
为解决上述技术问题,本发明采用如下技术方案:
一种SMT缺陷检测方法,通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测,得到缺陷检测结果;缺陷检测模型包括两个相同的编码器网络,以及解码器网络;缺陷检测模型的训练过程,包括以下步骤:
具体地,步骤一中,从贴片元件的模板图像集中随机选择一张模板图像,与从贴片元件的待测图像集中随机选择的一张待测图像/>,组成贴片元件样本/>;如果贴片元件样本中两个图像对应的贴片元件属于同一类别,标签设置为0;如果贴片元件样本中两个图像对应的贴片元件不属于同一类别,标签设置为1。
具体地,步骤二具体包括:
具体地,步骤三中,输出待测图像的缺陷检测结果时,通过待测图像与模板图像的相似概率判断缺陷检测结果,当相似概率大于阈值时,待测图像对应的贴片元件无缺陷。
一种SMT缺陷检测系统,通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测,得到缺陷检测结果;缺陷检测模型包括两个相同的编码器网络,以及解码器网络;通过以下模块对缺陷检测模型进行训练:
样本生成模块,将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本,并根据贴片元件样本中的两个图像的类型,为贴片元件样本设置标签;
与现有技术相比,本发明的有益技术效果是:
本发明通过融合人的先验知识揭示检测数据的表示特征和统计规律,构建融合数据驱动与知识引导的有限监督标签检测模型,实现不完全标签样本条件下SMT缺陷的精准高效检测。
附图说明
图1为本发明方法网络模型示意图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本发明中的SMT缺陷检测方法,包括以下步骤:
步骤一、将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本,并根据贴片元件样本中的两个图像的类型,为贴片元件样本设置标签。
具体地,从贴片元件的模板图像集中随机选择一张模板图像,与从贴片元件的待测图像集中随机选择的一张待测图像/>,组成贴片元件样本/>;如果贴片元件样本中两个图像对应的贴片元件属于同一类别,标签设置为0;如果贴片元件样本中两个图像对应的贴片元件不属于同一类别,标签设置为1。
每一张待测图像都可以与一张模板图像配对组成一个训练样本,所以这种方式能够大幅地增长训练样本的数据量。
S32:将融合特征F送入解码器网络Decoder进行SMT缺陷分割,解码器网络Decoder包含四层卷积层Conv4、Conv5、Conv6、Conv7和三层上采样层Up1、Up2、Up3组成,结构为{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7};最后连接一个Softmax层,输出SMT缺陷概率。
当贴片元件样本的标签为1时,表明图像/>、/>对应的贴片元件类型不同,因此期望它们的特征在特征空间中的距离尽可能大;设置一个最大距离M,当/>时,表示特征之间的距离足够大,即这两个贴片元件差距越大。同理,当贴片元件样本/>的标签为0时,表明图像/>、/>对应的贴片元件类别相同,因此期望它们的特征在特征空间的距离尽可能小。
步骤五:将训练完成的缺陷检测模型用于待测图像的SMT缺陷检测。在检测时,选择与待测图像具有相同贴片元件类型的模板图像,将待测图像和模板图像输入至缺陷检测模型,当两个图像的相似概率大于阈值时,判断待测图像对应的贴片元件为正常。
本发明还公开了一种SMT缺陷检测系统,系统与方法相对应,方法的优选方案、细化方案同样适用于系统。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内,不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立技术方案,说明书的这种叙述方式仅仅是为了清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (5)
1.一种SMT缺陷检测方法,通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测,得到缺陷检测结果;缺陷检测模型包括两个相同的编码器网络,以及解码器网络;缺陷检测模型的训练过程,包括以下步骤:
4.根据权利要求1所述的SMT缺陷检测方法,其特征在于:步骤三中,输出待测图像的缺陷检测结果时,通过待测图像与模板图像的相似概率判断缺陷检测结果,当相似概率大于阈值时,待测图像对应的贴片元件无缺陷。
5.一种SMT缺陷检测系统,其特征在于,通过完成训练的缺陷检测模型对贴片元件的待测图像进行缺陷检测,得到缺陷检测结果;缺陷检测模型包括两个相同的编码器网络,以及解码器网络;通过以下模块对缺陷检测模型进行训练:
样本生成模块,将贴片元件的模板图像与贴片元件的待测图像组成贴片元件样本,并根据贴片元件样本中的两个图像的类型,为贴片元件样本设置标签;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310421037.0A CN116152244A (zh) | 2023-04-19 | 2023-04-19 | 一种smt缺陷检测方法、系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310421037.0A CN116152244A (zh) | 2023-04-19 | 2023-04-19 | 一种smt缺陷检测方法、系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116152244A true CN116152244A (zh) | 2023-05-23 |
Family
ID=86352784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310421037.0A Pending CN116152244A (zh) | 2023-04-19 | 2023-04-19 | 一种smt缺陷检测方法、系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152244A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563291A (zh) * | 2023-07-11 | 2023-08-08 | 深圳市蓝眼科技有限公司 | 一种smt智能防错上料检测仪 |
CN116824271A (zh) * | 2023-08-02 | 2023-09-29 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN117132592A (zh) * | 2023-10-24 | 2023-11-28 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于熵融合的工业缺陷检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112483A (zh) * | 2021-04-16 | 2021-07-13 | 合肥科大智能机器人技术有限公司 | 一种基于相似度度量的刚性接触网缺陷检测方法及系统 |
CN113379719A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 道路缺陷检测方法、装置、电子设备和存储介质 |
CN114022479A (zh) * | 2022-01-05 | 2022-02-08 | 高视科技(苏州)有限公司 | 电池极耳外观缺陷检测方法 |
-
2023
- 2023-04-19 CN CN202310421037.0A patent/CN116152244A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112483A (zh) * | 2021-04-16 | 2021-07-13 | 合肥科大智能机器人技术有限公司 | 一种基于相似度度量的刚性接触网缺陷检测方法及系统 |
CN113379719A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 道路缺陷检测方法、装置、电子设备和存储介质 |
CN114022479A (zh) * | 2022-01-05 | 2022-02-08 | 高视科技(苏州)有限公司 | 电池极耳外观缺陷检测方法 |
Non-Patent Citations (3)
Title |
---|
RUNWEI DING: "Unknown defect detection for printed circuit board based on multi-scale deep similarity measure method", THE JOURNAL OF ENGINEERING, pages 388 - 393 * |
ZHIGANG LING: "Deep Siamese Semantic Segmentation Network for PCB Welding Defect Detection", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, pages 1 - 11 * |
王韵涛: "基于多重孪生网络的表面缺陷识别方法", 《计算机应用》, pages 225 - 229 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563291A (zh) * | 2023-07-11 | 2023-08-08 | 深圳市蓝眼科技有限公司 | 一种smt智能防错上料检测仪 |
CN116563291B (zh) * | 2023-07-11 | 2023-09-22 | 深圳市蓝眼科技有限公司 | 一种smt智能防错上料检测仪 |
CN116824271A (zh) * | 2023-08-02 | 2023-09-29 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN116824271B (zh) * | 2023-08-02 | 2024-02-09 | 上海互觉科技有限公司 | 基于三模态向量空间对齐的smt芯片缺陷检测系统及方法 |
CN117132592A (zh) * | 2023-10-24 | 2023-11-28 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于熵融合的工业缺陷检测方法 |
CN117132592B (zh) * | 2023-10-24 | 2024-01-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于熵融合的工业缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
CN116152244A (zh) | 一种smt缺陷检测方法、系统 | |
CN109829895B (zh) | 一种基于gan的aoi缺陷检测方法 | |
CN111862025A (zh) | 基于深度学习的pcb缺陷自动检测方法 | |
CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
CN108694265B (zh) | 设计布局的失效风险的智能型预诊断系统及方法 | |
CN112651966A (zh) | 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法 | |
CN111738994B (zh) | 一种轻量级的pcb缺陷检测方法 | |
CN113920096A (zh) | 一种集成电路金属封装缺陷检测方法 | |
CN112907562A (zh) | 一种基于MobileNet的SMT缺陷分类算法 | |
CN112614105A (zh) | 一种基于深度网络的3d点云焊点缺陷检测方法 | |
CN116258682A (zh) | 基于PSPNet和改进YOLOv7的PCB锡膏缺陷检测方法 | |
CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
CN116309313A (zh) | 一种电池表面焊接缺陷检测方法 | |
CN112102242A (zh) | 一种基于轻量级网络的pcb元器件检测方法 | |
CN114429445A (zh) | 一种基于MAIRNet的PCB缺陷检测与识别方法 | |
CN114387230A (zh) | 一种基于重验证检测的pcb板缺陷检测方法 | |
CN115035118B (zh) | 一种基于识别模型的pcb生产线残缺检测方法及系统 | |
CN115587989B (zh) | 一种工件ct图像缺陷检测分割方法及系统 | |
CN115100393A (zh) | 一种基于深度学习的pcb焊接缺陷检测方法 | |
CN112686843B (zh) | 一种基于神经网络的木板缺陷检测方法及系统 | |
Shao et al. | An improved yolov3 network for PCB defect detection | |
CN113344041A (zh) | 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法 | |
Li et al. | PCB defect recognition and elimination based on secondary error and statistical histogram |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |