CN106093074A - 一种基于鲁棒主成分分析的ic元件焊点检测方法 - Google Patents
一种基于鲁棒主成分分析的ic元件焊点检测方法 Download PDFInfo
- Publication number
- CN106093074A CN106093074A CN201610428079.7A CN201610428079A CN106093074A CN 106093074 A CN106093074 A CN 106093074A CN 201610428079 A CN201610428079 A CN 201610428079A CN 106093074 A CN106093074 A CN 106093074A
- Authority
- CN
- China
- Prior art keywords
- matrix
- solder joint
- test
- picture
- imperfection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
- G01N2021/95646—Soldering
Abstract
本发明公开了一种基于鲁棒主成分分析的IC元件焊点检测方法,包括:采集多个待检测IC元件焊点的测试图片后,形成测试集合;分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;进行优化分解处理后获得其低秩矩阵和稀疏矩阵;将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割得到对应的二值化图像;获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。本发明可以准确、有效、快速地进行IC元件焊点缺陷检测,可广泛应用于IC元件的焊点检测行业中。
Description
技术领域
本发明涉及数字图像处理应用领域,特别是涉及一种基于鲁棒主成分分析的IC元件焊点检测方法。
背景技术
名词解释:
RPCA:全称Robust principle component analysis,鲁棒主成分分析;
PCB:全称Printed Circuit Board,印制电路板;
IC:Integrated Circuit,集成电路;
印制电路板缺陷检测是自动光学检测(automatic optical inspection,AOI)应用的一个热点方向,近年来得到越来越多的关注。目前主要采用的检测方式是通过CCD检测PCB元件的图像后进行处理从而实现缺陷检测。实际使用中,印制电路板遇到的情况非常复杂,CCD采集到的PCB元件图像往往出现不同程度的变化和不规则现象,例如:光照强度不均匀,光照角度改变,CCD摄像头采集的图像会有一定角度的偏转,元件尺寸越来越小,PCB板内元件密度越来越大等等,这些问题使得PCB焊点缺陷检测变得相当困难。而IC元件焊点的尺寸比一般的CHIP元件焊点的尺寸要小的多,虚焊和正常焊点在图像上非常相似,这使得IC元件焊点的虚焊检测一直是缺陷检测中难以攻克的难题。
现有的较为成熟的对IC元件焊点缺陷的检测方法大多数为基于特征的方法。这种方法将缺陷检测分为两个步骤:提取特征和分类。在提取特征阶段,选择颜色梯度,区域面积,周长,水力半径等等典型特征;在分类阶段,选择较为成熟的分类器,例如神经网络,AdaBoost,SVM等等,对提取的特征进行分类。这些方法在CHIP元件焊点取得了较好的应用效果。但是,由于IC元件焊点尺寸小,焊点密集度大,且虚焊焊点样本难以收集,使得目前的基于分类器的方法在IC元件焊点虚焊检测中难以得到良好的分类效果。另外,在线检测方法对时间要求严格,神经网络这些较为成熟的分类器计算量大,难以符合在线监测在时间上的要求。同时虽然也有人提出基于单高斯模型的像素点建模的IC元件焊点检测方法,这种方法的检测速度快,但是准确率低,无法在实际生产中应用。
另外,目前也出现了基于统计建模的方法,此类方法将焊点的缺陷检测问题作为一般的目标检测问题,也就是说,将合格的样本图片当作背景,把不合格的图片当作前景。然后,进行背景建模,最后使用该模型进行IC焊点缺陷检测。然而,目前的这类统计建模的方法都是基于像素点的,而在目标检测当中,基于像素点的方法往往会对背景部分的考虑过于简单,因为这种方式主要是认为背景是静止的或者是变化缓慢的,而在合格的IC引脚图片样本中,每一张图片相比都有很大程度的不同,即背景是剧烈变化的。这会严重地抑制训练和检测的效果,导致模型训练结果不理想,从而导致检测结果不准确。
总的来说,目前的检测方法无法有效、准确、快速地检测出IC元件的焊点缺陷。
发明内容
为了解决上述的技术问题,本发明的目的是提供一种基于鲁棒主成分分析的IC元件焊点检测方法。
本发明解决其技术问题所采用的技术方案是:
一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。
进一步,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
进一步,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵的奇异值分解,表示压缩算子且表示矩阵Σ中元素如果大于则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
进一步,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
进一步,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
进一步,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
进一步,所述步骤S1,其具体为:
采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。
进一步,所述训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
进一步,所述测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
本发明的有益效果是:本发明的一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。本方法通过求解稀疏矩阵将IC元件焊点检测扩展到最优化的层面,因此,任何属于背景部分的变化,即任何IC元件焊点图片之间的不同部分,都能够通过低秩矩阵捕捉到以及进行约束,最终提高检测效果,因此,本方法可以准确、有效、快速地进行IC元件焊点缺陷检测。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的一种基于鲁棒主成分分析的IC元件焊点检测方法的流程图。
具体实施方式
参照图1,本发明提供了一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。
进一步作为优选的实施方式,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
进一步作为优选的实施方式,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵的奇异值分解,表示压缩算子且表示矩阵Σ中元素如果大于则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
进一步作为优选的实施方式,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
进一步作为优选的实施方式,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
进一步作为优选的实施方式,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
进一步作为优选的实施方式,所述步骤S1,其具体为:
采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。
进一步作为优选的实施方式,所述训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
进一步作为优选的实施方式,所述测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
以下结合具体实施例对本发明做详细说明。
参照图1,一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;具体如下:采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
S2、分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵,包括S31~S34:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵的奇异值分解,表示压缩算子且表示矩阵Σ中元素如果大于则取原值,否则,取0;这里,UΣVT中的矩阵Σ是表示运用压缩算子进行运算(即)后获得的矩阵;
某个N×M维的矩阵C的奇异值分解UΣVT的具体含义如下:
U为N×N矩阵,且U的列为CCT的正交特征向量,V为M×M的矩阵,且V的列为CTC的正交特征向量,VT表示V的转置矩阵。CCT和CTC的特征值相同,均为a1,a2,…ar,其中r表示矩阵C的秩。Σ为N×M的矩阵,且该矩阵中元素Σii的值为其余元素值为0,元素Σii的值按照大小顺序降序排列。
因此,的奇异值分解UΣVT按照以上定义进行求解即可获得。S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵,其中,||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数,优选的,本实施例中,预设最大次数为500次。
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像。
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
本步骤中,频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
缺陷度的计算公式如下:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果,具体如下:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
优选的,步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
本步骤与步骤S2相似,具体为:分别将训练样本的每张IC焊点训练图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示训练样本的IC焊点训练图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;获得低秩矩阵和稀疏矩阵的详细过程与步骤S3中相同,两者只是处理对象略有区别,具体包括A21~A24:
A21、建立如下的增广拉格朗日函数作为IC焊点样本矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点样本矩阵,L表示IC焊点样本矩阵的低秩矩阵,S表示IC焊点样本矩阵的稀疏矩阵,X表示与IC焊点样本矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
A22、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵的奇异值分解,表示压缩算子,各符号的取值及含义如前所示。
A23、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
A24、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵,其中,收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后根据下式分别计算训练样本的每个IC焊点训练图片的缺陷度并获取最大值作为训练样本的缺陷度阈值:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
本发明中,优化分解获得低秩矩阵和稀疏矩阵的原理如下:
具体优化问题为:
其中,||L||*表示低秩矩阵L的核范数,即低秩矩阵L的特征值之和,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数。
上述问题是一个带等式约束条件的优化问题,运用基于拉格朗日乘子的迭代更新法可以得到该问题的最优解。首先,该方法将上述优化问题转化为增广拉格朗日函数:
X表示与IC焊点测试矩阵相同维度(N×M维)的拉格朗日乘子矩阵,μ表示补偿正标量,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
基于拉格朗日乘子的迭代更新法的基本思想是将其余变量当作是固定不变的情况下(当作是常量),对另一个变量进行迭代更新,其更新方向是在缓慢减小。详细更新方法如下:
Lk+1=argminlu(L,Sk,Xk)
解法为:
因此,获得低秩矩阵L的迭代更新公式。
类似的,稀疏矩阵S的更新如下:
Sk+1=argminlu(Lk+1,S,Xk)
解法为:
拉格朗日乘子矩阵X的更新公式如下:
Xk+1=Xk+μk(D-Lk+1-Sk+1)
最后,当满足收敛条件:||D-Lk-Sk||F/||D||F<10-7小于10-7或迭代次数达到预设最大次数时,停止迭代更新,得到最终收敛值,即IC焊点样本矩阵的低秩矩阵L和稀疏矩阵S。根据上述原理即可获得步骤S3或A2中的迭代更新步骤。
本发明通过求解稀疏矩阵S将IC元件焊点检测扩展到最优化的层面,因此,任何属于背景部分的变化,即任何IC元件焊点图片之间的不同部分,都能够通过低秩矩阵L捕捉到以及进行约束(最终提高检测效果),最后通过对应的稀疏矩阵S计算缺陷度与缺陷度阈值进行比对后,即可获得IC元件焊点的检测结果,本方法可以准确、有效、快速地进行焊点缺陷检测。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。
2.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
3.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
4.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵的奇异值分解,表示压缩算子且表示矩阵Σ中元素如果大于则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
5.根据权利要求4所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
6.根据权利要求4所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
7.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
8.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
9.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
10.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,
其特征在于,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610428079.7A CN106093074B (zh) | 2016-06-16 | 2016-06-16 | 一种基于鲁棒主成分分析的ic元件焊点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610428079.7A CN106093074B (zh) | 2016-06-16 | 2016-06-16 | 一种基于鲁棒主成分分析的ic元件焊点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106093074A true CN106093074A (zh) | 2016-11-09 |
CN106093074B CN106093074B (zh) | 2020-01-07 |
Family
ID=57235368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610428079.7A Active CN106093074B (zh) | 2016-06-16 | 2016-06-16 | 一种基于鲁棒主成分分析的ic元件焊点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106093074B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886797A (zh) * | 2017-02-24 | 2017-06-23 | 电子科技大学 | 一种对复合材料脱粘缺陷的高分辨率检测与识别方法 |
CN107945184A (zh) * | 2017-11-21 | 2018-04-20 | 安徽工业大学 | 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 |
CN109839362A (zh) * | 2019-03-20 | 2019-06-04 | 北京中科知草科技有限公司 | 基于渐进式去噪技术的红外光谱定量分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090279096A1 (en) * | 2005-12-23 | 2009-11-12 | Posco | Apparatus and method for on-line detecting welding part of strip |
JP2014092391A (ja) * | 2012-11-01 | 2014-05-19 | Yokogawa Bridge Holdings Corp | 溶接きずの外観検査システム、及び溶接きずの外観検査方法 |
JP2015125104A (ja) * | 2013-12-27 | 2015-07-06 | トヨタ自動車株式会社 | 溶接品質検査装置及び溶接品質検査方法 |
CN105139386A (zh) * | 2015-08-12 | 2015-12-09 | 南京航空航天大学 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
CN105528620A (zh) * | 2015-12-11 | 2016-04-27 | 苏州大学 | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 |
-
2016
- 2016-06-16 CN CN201610428079.7A patent/CN106093074B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090279096A1 (en) * | 2005-12-23 | 2009-11-12 | Posco | Apparatus and method for on-line detecting welding part of strip |
JP2014092391A (ja) * | 2012-11-01 | 2014-05-19 | Yokogawa Bridge Holdings Corp | 溶接きずの外観検査システム、及び溶接きずの外観検査方法 |
JP2015125104A (ja) * | 2013-12-27 | 2015-07-06 | トヨタ自動車株式会社 | 溶接品質検査装置及び溶接品質検査方法 |
CN105139386A (zh) * | 2015-08-12 | 2015-12-09 | 南京航空航天大学 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
CN105528620A (zh) * | 2015-12-11 | 2016-04-27 | 苏州大学 | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 |
Non-Patent Citations (2)
Title |
---|
姚明海 等: "《基于RPCA的太阳能电池片表面缺陷检测》", 《计算机学报》 * |
宋胜利 等: "《基于鲁棒主成分分析的SAR舰船检测》", 《清华大学学报(自然科学版)》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106886797A (zh) * | 2017-02-24 | 2017-06-23 | 电子科技大学 | 一种对复合材料脱粘缺陷的高分辨率检测与识别方法 |
CN106886797B (zh) * | 2017-02-24 | 2019-11-19 | 电子科技大学 | 一种对复合材料脱粘缺陷的高分辨率检测与识别方法 |
CN107945184A (zh) * | 2017-11-21 | 2018-04-20 | 安徽工业大学 | 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 |
CN107945184B (zh) * | 2017-11-21 | 2020-10-09 | 安徽工业大学 | 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法 |
CN109839362A (zh) * | 2019-03-20 | 2019-06-04 | 北京中科知草科技有限公司 | 基于渐进式去噪技术的红外光谱定量分析方法 |
CN109839362B (zh) * | 2019-03-20 | 2021-08-17 | 北京中科知草科技有限公司 | 基于渐进式去噪技术的红外光谱定量分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106093074B (zh) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145175B (zh) | 一种基于iForest模型验证的SMT焊点缺陷检测方法 | |
Khumaidi et al. | Welding defect classification based on convolution neural network (CNN) and Gaussian kernel | |
CN109239102B (zh) | 一种基于cnn的柔性电路板外观缺陷检测方法 | |
Silvén et al. | Wood inspection with non-supervised clustering | |
CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
CN108520114B (zh) | 一种纺织布疵点检测模型及其训练方法和应用 | |
CN109584227A (zh) | 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统 | |
CN111784633B (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN106875373A (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN108345911A (zh) | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 | |
CN104899871B (zh) | 一种ic元件焊点空焊检测方法 | |
CN105044122A (zh) | 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法 | |
CN104008550A (zh) | 晶圆表面缺陷特征分析方法、系统、分类方法和系统 | |
CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
CN104867144A (zh) | 基于混合高斯模型的ic元件焊点缺陷检测方法 | |
CN104867145B (zh) | 基于vibe模型的ic元件焊点缺陷检测方法 | |
CN106093074A (zh) | 一种基于鲁棒主成分分析的ic元件焊点检测方法 | |
CN110689524B (zh) | 一种无参考在线图像清晰度评价方法与系统 | |
CN114972342B (zh) | 一种变速箱齿轮表面缺陷检测方法 | |
CN115546211B (zh) | 一种焊点缺陷分类方法、终端及计算机存储介质 | |
CN113222938A (zh) | 芯片缺陷检测方法及系统与计算机可读存储介质 | |
CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
CN111597941A (zh) | 一种面向大坝缺陷图像的目标检测方法 | |
CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |