CN116824294A - 一种基于小目标识别的焊料缺陷检测方法及系统 - Google Patents
一种基于小目标识别的焊料缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN116824294A CN116824294A CN202310663916.4A CN202310663916A CN116824294A CN 116824294 A CN116824294 A CN 116824294A CN 202310663916 A CN202310663916 A CN 202310663916A CN 116824294 A CN116824294 A CN 116824294A
- Authority
- CN
- China
- Prior art keywords
- solder
- image
- channel
- defect detection
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910000679 solder Inorganic materials 0.000 title claims abstract description 197
- 230000007547 defect Effects 0.000 title claims abstract description 114
- 238000001514 detection method Methods 0.000 title claims abstract description 76
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 92
- 238000005286 illumination Methods 0.000 claims description 28
- 230000002950 deficient Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 30
- 230000005496 eutectics Effects 0.000 description 29
- 238000009826 distribution Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 230000001788 irregular Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000011109 contamination Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 102100027557 Calcipressin-1 Human genes 0.000 description 1
- 101100247605 Homo sapiens RCAN1 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 101150064416 csp1 gene Proteins 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004100 electronic packaging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于小目标识别的焊料缺陷检测方法及系统，通过采集焊料图像，并对焊料图像进行图像增强，获取焊料图像的伪数据集，构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络以及采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷，解决了微米级焊料的缺陷检测精度低的技术问题，并通过构建的焊料缺陷检测网络，快速并精准地对焊料缺陷进行识别。
Description
技术领域
本发明主要涉及共晶贴片技术领域，特指一种基于小目标识别的焊料缺陷检测方法及系统。
背景技术
在半导体芯片生产过程中，需将芯片与基板等载体进行封装操作，由于共晶贴片技术具有导热率高、可靠性高、电阻小的优点，因而在电子封装行业得到广泛应用。共晶贴片技术包括氧化物擦洗、焊料加热共熔工艺，若焊料存在沾污、不平整等缺陷，将影响共晶材料流动性和热传导率，进而使得共晶层产生空洞，影响共晶质量。为保证共晶贴片工艺高效稳定执行，对基板中焊料进行检测是必不可少的环节。其中，通过光学方法对焊料表面进行成像是一种低成本高效率的检测手段。然而，焊料表面缺陷存在微米级尺寸、形状不规整、背景对比度小等特点，因此传统图像处理方法无法精确区分表面缺陷与正常区域，难以应用于实际的共晶焊料检测工艺中。为此，设计一种能在非均匀光照环境下识别共晶焊料表面缺陷的图像处理方法，为共晶贴片技术提供高精度实时焊料表面信息，用于指导后续工艺执行，保障共晶贴片工艺稳定运行，提高成品率。
目前焊料检测方法主要可分为光学检测和热力学检测。
光学检测方法存在直接利用焊料表面反射光进行成像，并通过人工目视检测或显微镜检测的方法，这种检测方法具有无法检测微小基板焊料缺陷的问题或效率低下的问题。而采用机器视觉检测的方法则为光学成像后通过算法对图像进行增强，并采用图像处理方法或机器学习方法对缺陷进行识别。但图像处理方法参数由人工给定，且步骤较少，存在精度低、泛化性差的问题。现有机器学习方法未能有效针对缺陷尺寸小、形状不规整等因素进行改良，因而表现出识别准确率、重叠度低的问题。
热力学方法采用对焊料进行直接加温、降温操作，分析温度变化曲线判断焊料热力学性质，可直接获得焊料质量信息。这一方法具有不受非关键缺陷影响、检测精度高、可检测内部缺陷的优点。但其通常用于大批量焊料检测，在共晶贴片工艺中，焊料储存于焊料槽中，若单独执行加热，将面临操作成本高、温度难以直接测量等问题。因而，这一方法并不适用于共晶焊料预检测。
公开号为CN112767345A的专利申请，公开了一种基于深度学习的共晶缺陷检测检测方法。这项专利通过伪样本生成方法，利用图像处理技术，基于已有样本生成相似样本数据，从而达到扩充数据集的目标。该专利神经网络部分采用基于深度学习的实例分割模型，能够基于已训练参数和输入图像获取缺陷位置及面积。利用这一方法，可以减少共晶缺陷检测网络训练的样本集缺少及正反例不平衡的影响，并获得精度相对较高的缺陷信息，用于指导后续操作。但该方法数据扩充部分随机性过大，虽可显著增加伪样本数量，但伪样本与真实样本相差过大，难以提供有效信息。且该方法神经网络结构未针对缺陷特征进行优化，信息提取不充分，可靠性会有所下降。
公开号为CN108778593A的专利，公开了一种基于温度曲线的焊料槽杂质诊断框架及方法。这项专利记录待检测焊料温度变化曲线，并通过算法对比正常焊料参考温度变化曲线，从而判断待检测焊料是否存在热力学性质异常的情况，得以基于焊料热力学性质判断焊料总体杂质情况。该方法能有效检测焊料内外部杂质、沾污缺陷，但存在检测效率低、检测成本高、只适用于检测焊料槽及大量焊料、无法检测焊料表面平整度的问题，因而不适用于共晶贴片焊料的检测。
发明内容
本发明提供的基于小目标识别的焊料缺陷检测方法及系统，解决了微米级焊料的缺陷检测精度低的技术问题。
为解决上述技术问题，本发明提出的基于小目标识别的焊料缺陷检测方法包括：
采集焊料图像，并对焊料图像进行图像增强。
获取焊料图像的伪数据集。
构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络。
采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷。
进一步地，对焊料图像进行图像增强包括：
确定焊料图像的候选边缘区域。
计算候选边缘区域的边缘系数，边缘系数用于表示候选边缘区域内像素的波动程度。
根据边缘系数，计算焊料图像各通道的尺度权重。
根据焊料图像各通道的尺度权重，采用多尺度光照增强算法，对焊料图像进行图像增强。
进一步地，边缘系数的计算公式为：
其中，βn(x,y)表示通道n中的中心坐标为(x,y)的候选边缘区域的边缘系数，Hn(x,y)表示通道n的候选边缘区域，S(Hn(x,y))表示通道n中的候选边缘区域Hn(x,y)内所有像素的标准差，σn表示通道n的标准差，Max(σn)和Min(σn)分别表示σn的最大值和最小值。
进一步地，根据边缘系数，计算焊料图像各通道的尺度权重的计算公式为：
其中，ωn(x,y)表示通道n中坐标为(x,y)的像素点的尺度权重，βn(x,y)表示通道n中的中心坐标为(x,y)的候选边缘区域的边缘系数，σn表示通道n的标准差，σi表示通道i的标准差，N表示焊料图像的通道总数，且N＝3，i和n均为大于0，小于4的正整数。
进一步地，获取焊料图像的伪数据集包括：
对焊料图像集中的焊料图像进行缺陷标注，缺陷标注具体包括对缺陷的类别、坐标及长宽值进行标注。
使用大津法二值化提取焊料图像的焊料位置，并通过最近邻填充仿射变换摆正芯片，将焊料移动至焊料图像的中心位置。
对焊料图像按照是否存在缺陷分为正常图像和次品图像，并对次品图像使用K-means聚类方法，获得分类后的焊料图像。
对分类后的焊料图像进行随机裁剪，获得随机裁剪区域。
对焊料图像集中随机裁剪后属于同一类的随机裁剪区域进行随机拼接和缩放，获得焊料图像的伪数据集。
进一步地，获取焊料图像的伪数据集包括：
随机抽取正常图像和次品图像进行透明化合并，获得第一合并图像，其中正常图像和次品图像的透明度为随机值且和为1。
计算第一合并图像的透明度，并将第一合并图像归类为与正常图像和次品图像中透明度低的图像相同的类别。
根据类别确定的第一合并图像，获得焊料图像的伪数据集。
进一步地，构建快速形变卷积核的具体公式为：
其中，Y(p0)表示焊料图像中的像素点p0进行卷积运算后的结果，ωn表示通道n的权重，N表示焊料图像通道总数，且N＝3，ξn(·)为通道n的单通道形变卷积算子，pξ为单通道形变卷积的卷积核Kξ的元素的位置枚举量，为Kξ在通道n的权重集合，Rn为焊料图像的通道n分量，G为双线性插值函数，X(p0,pξ),Y(p0,pξ)分别为基于(p0,pξ)所计算出的在X和Y方向的卷积核偏移量，pδ为偏移卷积的卷积核Kδ的元素的位置枚举量，/>和/>为Kδ在通道w和通道h的权重集合，p0(x)和p0(y)分别表示p0在X和Y方向的坐标，pξ(x)和pξ(y)分别表示pξ在X和Y方向的坐标。
本发明提供的基于小目标识别的焊料缺陷检测系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的基于小目标识别的焊料缺陷检测方法的步骤。
本发明提供的基于小目标识别的焊料缺陷方法及系统，通过采集焊料图像，并对焊料图像进行图像增强，获取焊料图像的伪数据集，构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络以及采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷，解决了微米级焊料的缺陷检测精度低的技术问题，并通过构建的焊料缺陷检测网络，快速并精准地对焊料缺陷进行识别。
具体地，本发明的有益效果具体包括：
(1)设计了一种基于小目标的共晶焊料缺陷检测方法，实现了高效率的微米级基板共晶焊料缺陷光学稳定识别。
(2)基于图像先验特征，提出一种非均衡多尺度光照增强图像预处理算法，在保证图像原有纹理结构不失真的情况下，实现了图像的高质量光学增强。
(3)设计了一种卷积核可形变的快速卷积目标识别网络，实现了高效高精度的焊料图像目标识别。
附图说明
图1为本发明实施例三的基于小目标识别的焊料缺陷检测方法的数据预处理图；
图2为本发明实施例三的基于小目标识别的焊料缺陷检测方法的快速形变卷积结构图；
图3为本发明实施例三的基于小目标识别的焊料缺陷检测方法的网络结构图；
图4为本发明实施例三的基于小目标识别的焊料缺陷检测方法的神经网络训练流程图；
图5为本发明实施例三的基于小目标识别的焊料缺陷检测方法的总体流程图；
图6为本发明实施例的基于小目标识别的焊料缺陷检测系统的结构框图。
附图标记：
10、存储器；20、处理器。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
本发明实施例一提供的基于小目标识别的焊料缺陷检测方法，包括：
步骤S101，采集焊料图像，并对焊料图像进行图像增强。
步骤S102，获取焊料图像的伪数据集。
步骤S103，构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络。
步骤S104，采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷。
本发明实施例提供的基于小目标识别的焊料缺陷检测方法，通过采集焊料图像，并对焊料图像进行图像增强，获取焊料图像的伪数据集，构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络以及采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷，解决了微米级焊料的缺陷检测精度低的技术问题，并通过构建的焊料缺陷检测网络，快速并精准地对焊料缺陷进行识别。
实施例二
本发明提供了一种小目标优化的共晶焊料缺陷检测方法，解决了由于尺寸过小、形状随机、对比度低导致的微米级焊料的缺陷难以通过光学方法识别、定位的问题。
为解决这些技术问题，本发明提出的缺陷检测方法包括：
(一)基于非均衡多尺度光照增强的焊料图像预处理算法，以降低仪器设备等因素导致的噪点和光照不均衡导致的图像不清晰。
为处理光照不均衡对图像的影响，本发明实施例提出了一种非均衡多尺度光照增强算法。
在Retinex理论中，对于输入图像I(x,y)，通常认为其由照度图像L(x,y)及反射图像R(x,y)组成，前者指物体所受入射光照的信息，后者表示物体的反射部分，即：
I(x,y)＝L(x,y)·R(x,y) (1)
对于照度图像L(x,y)，我们无法直接获得，因而在SSR光照增强算法中采用高斯滤波对原图像进行估计：
将式(2)转化到对数域，并引入多尺度光照增强，即数个单尺度SSR的加权平均，可以得到增强后的图像为：
其中，In(x,y)表示输入图像第n通道的像素值，Rn(x,y)为第n通道的输出图像，N为尺度数量，即通道数，R(x,y)为去除照射分量的增强图像。σn和ωn(x,y)分别为n通道高斯函数标准差和n通道尺度权重分布，经由先验知识给定。
从上式可得，SSR算法受σn影响较大，当σn结果较小时，算法具备更强的边缘保持效果，当σn卷积取值较大时，卷积操作将受到大范围像素影响，从而提供较强的低照度增强效果。传统多尺度光照增强算法由人工给定高斯标准差σn和权重分布ωn(x,y)，在不同的相机内参、光照环境与图像对象条件下，均需人工整定超参数，以提高算法实际效果。且尺度权重分布ωn(x,y)在实际使用中通常简化为ωn，即先验假定任意单通道所有像素均服从同一分布，对于该通道任意一点均可以采用相同权重偏置，即可达到最优增强效果。而在焊料图像中，焊料与基板的光照分布显著不满足该先验条件。为解决这一问题，实现在增强图像的同时保持边缘的对比度，从而去除光照影响并保持缺陷与焊料的边缘差异，本发明实施例提出了非均衡多尺度光照增强算法。
首先定义图像单通道候选边缘区域Hn(x,y)，其中n为对应通道，如下式所示：
其中，I+为基于I采取最近邻边界填充，填充大小为5的图像，I+(xp,yp)为(x,y)最近邻填充图像五邻域内像素，定义如下：
W为图像宽度，H图像高度，close(xp,yp)为(xp,yp)的最近邻像素点。为了确定图像候选边缘区域的边缘置信度，本发明实施例提出边缘系数β(xp,yp)衡量区域Hn(x,y)的像素波动程度：
S(Hn(x,y))为区域Hn(x,y)内所有像素的标准差，从而可得，当区域Hn(x,y)内包含边缘越多，βn(x,y)越大。因此，通过对图像I进行单通道候选边缘区域遍历查询，可以获得各通道全像素的边缘系数βn(x,y)，以衡量该像素是边缘像素的概率。
为使得边缘区域权重分布尽可能大，非边缘区域权重分布尽可能小，令ωn(x,y)为：
通过引入上述方法衡量图像边缘分布，并依托边缘系数β构建尺度权重分布，随后将尺度权重分布代入至式(3)中实现图像增强，可使本方法在保持图像边缘对比度的同时，实现图像整体的低照度增强，从而增强焊料缺陷在图像中的表征。
(二)基于相似性聚类裁剪填充的焊料图像增广算法，以提高网络对差异性数据的泛化性和避免相似分布数据拼合导致的模型参数混淆。
为解决训练数据集较少，正反例不均衡的问题，应引入数据增强方法以增广模型训练样本，提高模型检测精度与泛化能力。但传统图像增强算法的裁剪拼接技术采用随机裁剪拼接方法。在通用数据集中，由于不同类别间差异显著，该方法可以极大扩充数据集，实现模型分类超平面的直推扩展，促使决策边界向低密度区域移动，从而提高模型的检测精度及泛化性。但在焊料缺陷检测中，受限于不同类别间数据相似性，随机裁剪分类后生成的伪样本将受到不同类别间的显著干扰，对模型参数收敛过程带来混淆，致使模型预测精度下降，为解决这一问题，本发明提出以下数据增强方法：
步骤1：共晶焊料显微图像的采集和缺陷的人工标注，标注缺陷的类别、坐标及长宽值。
步骤2：使用大津法二值化提取焊料位置，并通过最近邻填充仿射变换摆正芯片，并将焊料移动至图像中心位置。
步骤3：对采集到的图像按照是否存在缺陷分为正常和次品两类，并对次品图像使用K-means聚类方法，K值取5，从而一共获取6类，即遍历图像集合，将图像I分类为Ic，其中c为分类类别。
步骤4：遍历图像集合，对图像Ic进行随机裁剪为四个区域获得图像组(w1,w2,h1,h2)为未缩放区域宽高，加入到对应的类别集合/>中。随后从Lc随机提取四个区域按照对应位置进行拼接及随机缩放，获取伪数据/>，如下式所示：
其中，为Lc中随机提取并缩放的结果，/>为缩放后区域宽高，/>应当满足下列等式：
步骤5：随机抽取正常图像和次品图像透明化合并，两图像透明度随机且和为1，从而构建透明度合并伪图像，伪图像的标签与透明度低的图像人工标注图像标签相同，将新生成图像加入到伪数据集。
步骤6：从次品图像中提取缺陷区域，并随机覆盖于正常图像相同位置，从而获得随机覆盖伪图像，将伪图像加入伪数据集。
通过上述数据增强方法，可以获得大量的伪数据集，并且伪数据集同真实数据集具有较大的相似度，从而缓解数据集缺失、正反例不均衡的问题。
(三)提出一种快速形变卷积方法，将卷积过程拆解以降低运算开销、提高收敛速度，并针对输入图像焊料缺陷表征不规则的特点进行卷积核形变优化。
在实际工业现场中，受限于共晶贴片机工作环境限制，工作站将并行处理多端请求，如相机设备采集请求、共晶焊接台实时曲线优化请求、上位机数据请求，工况存储请求等。为保证设备寿命及实时性，共晶贴片工序对缺陷检测算法计算开销提出严苛要求，而传统卷积以时间复杂度为代价换取网络精度的方法将致使检测算法时间开销居高不下。在传统卷积中，对于NkxNk的传统卷积核及输入图像R，其输出特征图Y中的每一个位置p0，有：
其中，p为卷积核K中元素的位置枚举量，Y(p0)为卷积核以p0为中心获得的卷积特征。上述传统卷积受限于卷积核形状固定和计算过程繁琐的缺点，对于多通道复杂图像卷积效果较差。对于宽度为W，高度为H，通道数为N的图像R(W,H,N)，NkxNk的卷积核将扩展为(Nk,Nk,N)大小，若输出为，则总计算开销t为：
应当注意的是，传统卷积中对于多通道输入，多通道输出的图像，采用端到端的处理模式。端到端的处理方法具有减低卷积次数，减少网络复杂度的优点，能够减小深度网络深度增加时带来的梯度下降的问题。但该方法会提高网络的计算量，即单次卷积开销将同时受到输入图像、输出图像的通道数影响，并呈乘数级增加。
为降低算法计算开销，并保障检测算法精度，本专利针对焊料缺陷检测原创性地提出了一种快速形变卷积方法，以满足工业实际需求。针对这一问题，本发明实施例创新性地将卷积过程拆解，改变端到端策略，将卷积过程分为：计算后续卷积核形变偏移量的偏移卷积过程；快速捕获任意通道色度信息和形态信息的单通道形变卷积过程；对各通道执行协同信息交换的跨通道联合卷积过程。
首先为偏移卷积过程算子δ(·)构建卷积核Kδ，大小为(,N,2)，从而定义偏移卷积过程δ(p0)如下：
上式中和/>分别为卷积核W通道和H通道权重，p0为卷积核输入像素点，即输入图像I中任意像素点位置，pδ为卷积核Kδ中元素的位置枚举量。通过上式对输入图像进行卷积操作，可以获得图像各像素点的W方向偏移和H方向偏移。该偏移量将作用于后续的单通道形变卷积过程，使得卷积核形态随输入图像自适应变化，以更好地捕捉共晶焊料表面的不规则缺陷。
随后为单通道形变卷积过程算子ξn(·)构建若干卷积核Kξ，大小为，卷积核数量为输入图像通道数N，并将偏移卷积过程获得的偏移量作用于该卷积核中，以产生卷积核形变，进而定义单通道形变卷积过程ξn(p0)如下：
上式中n为输入图像R的通道集合[R1,...RN]通道数的任意枚举量。为通道n的卷积核Kξ在pξ处的权重，(X(p0,pξ),Y(p0,pξ))为基于(p0,pξ)计算出的卷积核Kξ在pξ处的形变偏移量，p(x),p(y)分别为p点的x轴坐标与y轴坐标。上式通过p0+(1+δ(p0+pξ))pξ获取卷积核在/>处形变偏移，但因δ(p0+pξ)卷积过程不恒为整数，因此通过双线性插值G(·)进行数值拟合缩放，即对G(·)内元素的四近邻执行双线性插值，以获得非整数点的预期数值。
上述方法可以实现对各通道的单独形变卷积，以减小卷积核大小的方法降低卷积运算开销，但各通道间的数据并未协同交互，对网络精度将造成下降。
因此，为解决这一问题，为跨通道联合卷积算子Y(·)构建大小为(1,1,N)大小的通道联合卷积核，进而定义如下式所示的快速形变卷积算法：
上式中ωn为通道n的通道联合卷积核权重。经由该卷积，能将多通道联合卷积为单通道，实现信息交互。因此，若网络输出为个通道，则应当采用/>个大小为(1,1,N)的卷积核。
综上所述，本发明实施例从分步卷积出发，原创性地提出了一种快速形变卷积方法，以单通道卷积和跨通道联合卷积方法为核心降低卷积过程运算开销，并依托偏移卷积方法计算偏移量，作用于单通道卷积过程中，实现单通道形变卷积，以提高信息提取及压缩效果，从而提高网络精度和收敛速度。
可证明得，本发明实施例的方法显著降低卷积操作运算时间：
对于宽度为W，高度为H，通道数为N的图像R(W,H,N)，若采用快速形变卷积方法，若输出为，则总计算开销t为：
不妨取Nk＝3,则传统卷积时间开销t为81WH，快速形变卷积时间开销为42WH。
快速形变卷积方法通过构建形变卷积过程捕捉焊料缺陷形状表征，并将后续卷积过程拆解为单通道卷积和多通道联合卷积，从而提高运算效率，从而在实现形变卷积核的同时减少卷积时间，以快速捕获形状不规整的焊料表面缺陷，理论精度与速度均相较于传统卷积方法更高，确保了该方法的实用价值。
基于上述卷积方法，本发明针对焊料缺陷识别检测，对YOLOv5网络结构进行改进，提出快速形变卷积网络。网络大致结构如下：
(1)输入端：包含输入图片自适应锚框计算及自适应图片缩放。其中，为提高网络对小目标的识别能力，在YOLOv5原9个锚框的基础上新增3个小面积锚框，以实现小目标缺陷的精准检测。
(2)backbone:本层包含基于快速形变卷积的DFocus、DBL及DSP结构。其中，DBL采用快速形变卷积层连接BN层，并采用Leaky relu作为激活函数。DFocus结构及DSP结构在原有Focus结构及CSP1结构基础上将CBL替换为DBL，从而实现在不同图像细粒度上进行形变聚合形成图像特征，以提取不规整缺陷的形态特征。
(3)Neck:本层采用FPN+PAN结构，并在原YOLOv5基础上引入四倍下采样，对应新增的三个锚框，从而实现增大感受野，获取小目标特征信息的目的。
(4)Prediction:YOLOv5中采用GIoU计算定位损失，相较于IoU只关注于重叠部分的特点，GIoU还关注其他的非重叠区域，能够更好地反映出识别框和目标的重叠率。但这一损失无法反映目标框的回归，因而本发明采用CIoU作为定位损失函数，以更好的获取目标的回归关系，从而加速网络收敛，获取更高进度的缺陷定位。
通过上述方法，可以实现在非均匀光照环境中通过光学传感器，经由图像增强后直接获取低照度增强图像。再通过数据增强算法，获取大量伪数据集。采用伪数据集对神经网络进行预训练，随后将真实数据集对神经网络进行训练，即可获得高精度的共晶焊料缺陷目标检测网络。
实施例三
如图1所示，本发明实施例的数据预处理部分如下：
步骤S201，采集共晶焊料图像，并人工标注图像缺陷类别、位置信息，从而获取真实训练集。
步骤S202，通过非均衡多尺度光照增强方法对图像进行低照度补强，以减缓光照不均衡带来的影响。
步骤S203，对图像数据进行大津法二值化操作，将焊料区域化为白色，对图像进行扫线处理，从而提取焊料中心位置(x,y)及偏转角α。
步骤S204，基于上述中心位置和偏转角对图像进行仿射变换，通过旋转及平移使得偏转角(x,y)位于图像中心，将偏转角α化为0，采用最近邻边缘填充，覆盖原有真实数据集。
步骤S205，对图像进行分类：存在焊料缺陷的图像为次品，否则为正常。
步骤S206，对次品图像进行K-means聚类，k值为5，因而加上正常图像后共有六类图像。
步骤S207，将所有真实数据集进行随机裁剪缩放，获得左上、左下、右上、右下四个区域。
步骤S208，对各区域图片进行随机拼接，拼接结果需满足以下条件：生成结果包含且仅包含来自不同图片的左上、左下、右上、右下四个区域；生成结果各区域必须来源于同一类别。生成图像加入伪数据集。
步骤S209，随机选取正常图像和次品图像，对两图进行透明化处理，两图的透明度需满足取和为1的仿射变换前提。且图像标签与透明度最小的图像相同，将生成图像加入伪数据集。
步骤S210，从次品图像中随机裁剪出缺陷区域，并将其覆盖在随机正常图像相同位置处，生成图像加入伪数据集。
如图2所示，本发明实施例的快速形变卷积部分如下：
对于输入的三维RGB图像R，首先输入至偏移卷积部分，获取二维偏移图，该二维图第一维为X方向偏移量，第二维为Y方向偏移量。
将三维RGB图像R与二维偏移图协同输入至单通道形变卷积部分，分别对RGB通道实现形变卷积，使网络能够异质化捕获不同颜色通道下结构异常部分，以实现对芯片表面焊料缺陷的感知。
将单通道形变卷积结果并行输入至联合卷积部分中，由(1,1,3)大小的卷积核对各通道间信息进行交互，以实现多通道间结构及色度信息融合，提高网络精度，进而获取输出。
如图3所示，本发明实施例的网络结构的网络输入采用三段式编码架构，通过DBL层和DSP层交替链接对输入图像进行编码，以获得不同感受野内的编码结果，对输入信息进行压缩，以提高网络泛化性。网络隐藏模块采用递进式上采样架构，对低分辨率编码信息进行还原，以实现编码、解码的联合过程，并通过跨联实现感受野间的数据交互，提高网络精度。网络采用四模块输出，实现不同面积下的精准识别，对大面积焊料非平整和小面积焊料沾污等情况均具备适配能力。
如图4所示，本发明实施例的网络训练流程如下：
步骤S401,基于网络结构初始化网络参数，网络权重随机给定，判断阈值为0.8，设置学习率为线性，初始为0.3，最终权重为0.02，最大epoch为700k，基于GPU显存设置batchsize为64或更大,引入ema调整网络权重，dropout率为0.3。
步骤S402,基于数据预处理流程获得训练集，并将训练集分割为训练集和验证集。验证集大小应当不小于100张图像，以确保验证效果。
步骤S403,依托伪数据集输入神经网络中，基于输出结果和真实标签计算CIoU损失，基于梯度下降方法反向传播损失，计算权重下降梯度，修改网络权重，直至网络在验证集性能收敛或完成所有epoch。
步骤S404,基于真实训练集训练网络，提高网络性能，直至网络在验证集性能收敛或完成所有epoch。
如图5所示，本发明实施例的方法总体流程如下：
步骤S501，在恒定光照条件下，基于单目相机采集待检测基板图像。
步骤S502，对输入的基板图像执行高斯滤波增强，去除因仪器影响、环境因素等产生的噪声，高斯滤波预设标准差取1.5～2.0之间，根据相机内参干扰调整标准差数值。
步骤S503，通过非均衡多尺度光照增强方法对图像进行低照度补强，增强图像边缘细节，以减缓光照不均衡带来的影响。
步骤S504，使用大津法二值化分离背景与焊料，通过开操作和联通域计算获取焊料主体位置，并依靠最近邻插值仿射变换将焊料位姿调整至标准位姿。
步骤S505，将上述处理后的图像输入至神经网络中获取结果。
步骤S506，根据分类置信度、分类类别、检测框大小、检测框位置联合判断共晶焊料是否存在缺陷。
步骤S507，将缺陷焊料位置、缺陷概率输出。
参照图6，本发明实施例提出的基于小目标识别的焊料缺陷检测系统，包括存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的基于小目标识别的焊料缺陷检测方法的步骤。
本实施例的基于小目标识别的焊料缺陷检测系统的具体工作过程和工作原理可参照本实施例的基于小目标识别的焊料缺陷检测方法的工作过程和工作原理。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于小目标识别的焊料缺陷检测方法，其特征在于，所述方法包括：
采集焊料图像，并对焊料图像进行图像增强；
获取焊料图像的伪数据集；
构建快速形变卷积核，并基于快速形变卷积核，采用YOLOv5神经网络构建焊料缺陷检测网络；
采用焊料图像的伪数据集，对焊料缺陷检测网络进行训练，并利用训练好的焊料缺陷检测网络识别焊料缺陷。
2.根据权利要求1所述的基于小目标识别的焊料缺陷检测方法，其特征在于，对焊料图像进行图像增强包括：
确定焊料图像的候选边缘区域；
计算候选边缘区域的边缘系数，所述边缘系数用于表示候选边缘区域内像素的波动程度；
根据边缘系数，计算焊料图像各通道的尺度权重；
根据焊料图像各通道的尺度权重，采用多尺度光照增强算法，对焊料图像进行图像增强。
3.根据权利要求2所述的基于小目标识别的焊料缺陷检测方法，其特征在于，所述边缘系数的计算公式为：
其中，βn(x,y)表示通道n中的中心坐标为(x,y)的候选边缘区域的边缘系数，Hn(x,y)表示通道n的候选边缘区域，S(Hn(x,y))表示通道n中的候选边缘区域Hn(x,y)内所有像素的标准差，σn表示通道n的标准差，Max(σn)和Min(σn)分别表示σn的最大值和最小值。
4.根据权利要求3所述的基于小目标识别的焊料缺陷检测方法，其特征在于，根据边缘系数，计算焊料图像各通道的尺度权重的计算公式为：
其中，ωn(x,y)表示通道n中坐标为(x,y)的像素点的尺度权重，βn(x,y)表示通道n中的中心坐标为(x,y)的候选边缘区域的边缘系数，σn表示通道n的标准差，σi表示通道i的标准差，N表示焊料图像的通道总数，且N＝3，i和n均为大于0，小于4的正整数。
5.根据权利要求4所述的基于小目标识别的焊料缺陷检测方法，其特征在于，获取焊料图像的伪数据集包括：
对焊料图像集中的焊料图像进行缺陷标注，所述缺陷标注具体包括对缺陷的类别、坐标及长宽值进行标注；
使用大津法二值化提取焊料图像的焊料位置，并通过最近邻填充仿射变换摆正芯片，将焊料移动至焊料图像的中心位置；
对焊料图像按照是否存在缺陷分为正常图像和次品图像，并对次品图像使用K-means聚类方法，获得分类后的焊料图像；
对分类后的焊料图像进行随机裁剪，获得随机裁剪区域；
对焊料图像集中随机裁剪后属于同一类的随机裁剪区域进行随机拼接和缩放，获得焊料图像的伪数据集。
6.根据权利要求4所述的基于小目标识别的焊料缺陷检测方法，其特征在于，获取焊料图像的伪数据集包括：
随机抽取正常图像和次品图像进行透明化合并，获得第一合并图像，其中正常图像和次品图像的透明度为随机值且和为1；
计算第一合并图像的透明度，并将第一合并图像归类为与正常图像和次品图像中透明度低的图像相同的类别；
根据类别确定的第一合并图像，获得焊料图像的伪数据集。
7.根据权利要求1-6任一所述的基于小目标识别的焊料缺陷检测方法，其特征在于，构建快速形变卷积核的具体公式为：
其中，Y(p0)表示焊料图像中的像素点p0进行卷积运算后的结果，ωn表示通道n的权重，N表示焊料图像通道总数，且N＝3，ξn()为通道n的单通道形变卷积算子，pξ为单通道形变卷积的卷积核Kξ的元素的位置枚举量，为Kξ在通道n的权重集合，Rn为焊料图像的通道n分量，G为双线性插值函数，X(p0,pξ),Y(p0,pξ)分别为基于(p0,pξ)所计算出的在X和Y方向的卷积核偏移量，pδ为偏移卷积的卷积核Kδ的元素的位置枚举量，/>和/>为Kδ在通道w和通道h的权重集合，p0(x)和p0(y)分别表示p0在X和Y方向的坐标，pξ(x)和pξ(y)分别表示pξ在X和Y方向的坐标。
8.一种基于小目标识别的焊料缺陷检测系统，所述系统包括：
存储器(10)、处理器(20)以及存储在存储器(10)上并可在处理器(20)上运行的计算机程序，其特征在于，所述处理器(20)执行所述计算机程序时实现上述权利要求1至7任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310663916.4A CN116824294A (zh) | 2023-06-06 | 2023-06-06 | 一种基于小目标识别的焊料缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310663916.4A CN116824294A (zh) | 2023-06-06 | 2023-06-06 | 一种基于小目标识别的焊料缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116824294A true CN116824294A (zh) | 2023-09-29 |
Family
ID=88115959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310663916.4A Pending CN116824294A (zh) | 2023-06-06 | 2023-06-06 | 一种基于小目标识别的焊料缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824294A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635543A (zh) * | 2023-11-09 | 2024-03-01 | 西安交通大学 | 一种金属内部缺陷正向追踪和故障反向定位方法及系统 |
-
2023
- 2023-06-06 CN CN202310663916.4A patent/CN116824294A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635543A (zh) * | 2023-11-09 | 2024-03-01 | 西安交通大学 | 一种金属内部缺陷正向追踪和故障反向定位方法及系统 |
| CN117635543B (zh) * | 2023-11-09 | 2024-04-30 | 西安交通大学 | 一种金属内部缺陷正向追踪和故障反向定位方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898610B (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| CN103424409B (zh) | 一种基于dsp的视觉检测系统 | |
| CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN112508090A (zh) | 一种外包装缺陷检测方法 | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| CN115775236B (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
| Wang et al. | Attention-based deep learning for chip-surface-defect detection | |
| CN116824294A (zh) | 一种基于小目标识别的焊料缺陷检测方法及系统 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN116228780A (zh) | 基于计算机视觉的硅片缺陷检测方法及系统 | |
| CN115272256A (zh) | 亚像素级传感光纤路径高斯提取方法及系统 | |
| CN106780437A (zh) | 一种快速qfn芯片塑封图像获取与放大方法 | |
| CN107507130A (zh) | 一种快速的qfn芯片引脚图像获取与放大方法 | |
| Dong et al. | Automated detection of gear tooth flank surface integrity: A cascade detection approach using machine vision | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN116452809A (zh) | 一种基于语义分割的线条物体提取方法 | |
| De Vitis et al. | Algorithms for the detection of blob defects in high speed glass tube production lines | |
| Sarı et al. | Deep learning application in detecting glass defects with color space conversion and adaptive histogram equalization | |
| CN117576095B (zh) | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |