CN106093074B - 一种基于鲁棒主成分分析的ic元件焊点检测方法 - Google Patents

一种基于鲁棒主成分分析的ic元件焊点检测方法 Download PDF

Info

Publication number
CN106093074B
CN106093074B CN201610428079.7A CN201610428079A CN106093074B CN 106093074 B CN106093074 B CN 106093074B CN 201610428079 A CN201610428079 A CN 201610428079A CN 106093074 B CN106093074 B CN 106093074B
Authority
CN
China
Prior art keywords
matrix
test
picture
welding spot
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610428079.7A
Other languages
English (en)
Other versions
CN106093074A (zh
Inventor
蔡念
周杨
叶倩
刘根
王晗
翁韶伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201610428079.7A priority Critical patent/CN106093074B/zh
Publication of CN106093074A publication Critical patent/CN106093074A/zh
Application granted granted Critical
Publication of CN106093074B publication Critical patent/CN106093074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646Soldering

Abstract

本发明公开了一种基于鲁棒主成分分析的IC元件焊点检测方法,包括:采集多个待检测IC元件焊点的测试图片后,形成测试集合;分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;进行优化分解处理后获得其低秩矩阵和稀疏矩阵;将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割得到对应的二值化图像;获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。本发明可以准确、有效、快速地进行IC元件焊点缺陷检测,可广泛应用于IC元件的焊点检测行业中。

Description

一种基于鲁棒主成分分析的IC元件焊点检测方法
技术领域
本发明涉及数字图像处理应用领域,特别是涉及一种基于鲁棒主成分分析的IC元件焊点检测方法。
背景技术
名词解释:
RPCA:全称Robust principle component analysis,鲁棒主成分分析;
PCB:全称Printed Circuit Board,印制电路板;
IC:Integrated Circuit,集成电路;
印制电路板缺陷检测是自动光学检测(automatic optical inspection,AOI)应用的一个热点方向,近年来得到越来越多的关注。目前主要采用的检测方式是通过CCD检测PCB元件的图像后进行处理从而实现缺陷检测。实际使用中,印制电路板遇到的情况非常复杂,CCD采集到的PCB元件图像往往出现不同程度的变化和不规则现象,例如:光照强度不均匀,光照角度改变,CCD摄像头采集的图像会有一定角度的偏转,元件尺寸越来越小,PCB板内元件密度越来越大等等,这些问题使得PCB焊点缺陷检测变得相当困难。而IC元件焊点的尺寸比一般的CHIP元件焊点的尺寸要小的多,虚焊和正常焊点在图像上非常相似,这使得IC元件焊点的虚焊检测一直是缺陷检测中难以攻克的难题。
现有的较为成熟的对IC元件焊点缺陷的检测方法大多数为基于特征的方法。这种方法将缺陷检测分为两个步骤:提取特征和分类。在提取特征阶段,选择颜色梯度,区域面积,周长,水力半径等等典型特征;在分类阶段,选择较为成熟的分类器,例如神经网络,AdaBoost,SVM等等,对提取的特征进行分类。这些方法在CHIP元件焊点取得了较好的应用效果。但是,由于IC元件焊点尺寸小,焊点密集度大,且虚焊焊点样本难以收集,使得目前的基于分类器的方法在IC元件焊点虚焊检测中难以得到良好的分类效果。另外,在线检测方法对时间要求严格,神经网络这些较为成熟的分类器计算量大,难以符合在线监测在时间上的要求。同时虽然也有人提出基于单高斯模型的像素点建模的IC元件焊点检测方法,这种方法的检测速度快,但是准确率低,无法在实际生产中应用。
另外,目前也出现了基于统计建模的方法,此类方法将焊点的缺陷检测问题作为一般的目标检测问题,也就是说,将合格的样本图片当作背景,把不合格的图片当作前景。然后,进行背景建模,最后使用该模型进行IC焊点缺陷检测。然而,目前的这类统计建模的方法都是基于像素点的,而在目标检测当中,基于像素点的方法往往会对背景部分的考虑过于简单,因为这种方式主要是认为背景是静止的或者是变化缓慢的,而在合格的IC引脚图片样本中,每一张图片相比都有很大程度的不同,即背景是剧烈变化的。这会严重地抑制训练和检测的效果,导致模型训练结果不理想,从而导致检测结果不准确。
总的来说,目前的检测方法无法有效、准确、快速地检测出IC元件的焊点缺陷。
发明内容
为了解决上述的技术问题,本发明的目的是提供一种基于鲁棒主成分分析的IC元件焊点检测方法。
本发明解决其技术问题所采用的技术方案是:
一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。
进一步,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
进一步,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
Figure BDA0001019164610000031
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
Figure BDA0001019164610000032
其中,上标k表示迭代次数,UΣVT表示矩阵
Figure BDA0001019164610000033
的奇异值分解,
Figure BDA0001019164610000034
表示压缩算子且表示矩阵Σ中元素如果大于
Figure BDA0001019164610000036
则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
进一步,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
进一步,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
进一步,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
Figure BDA0001019164610000041
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
进一步,所述步骤S1,其具体为:
采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。
进一步,所述训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
进一步,所述测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
本发明的有益效果是:本发明的一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。本方法通过求解稀疏矩阵将IC元件焊点检测扩展到最优化的层面,因此,任何属于背景部分的变化,即任何IC元件焊点图片之间的不同部分,都能够通过低秩矩阵捕捉到以及进行约束,最终提高检测效果,因此,本方法可以准确、有效、快速地进行IC元件焊点缺陷检测。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的一种基于鲁棒主成分分析的IC元件焊点检测方法的流程图。
具体实施方式
参照图1,本发明提供了一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果。
进一步作为优选的实施方式,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
进一步作为优选的实施方式,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
Figure BDA0001019164610000071
其中,上标k表示迭代次数,UΣVT表示矩阵
Figure BDA0001019164610000072
的奇异值分解,
Figure BDA0001019164610000073
表示压缩算子且
Figure BDA0001019164610000074
表示矩阵Σ中元素如果大于
Figure BDA0001019164610000075
则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
进一步作为优选的实施方式,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
进一步作为优选的实施方式,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
进一步作为优选的实施方式,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
Figure BDA0001019164610000081
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
进一步作为优选的实施方式,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
进一步作为优选的实施方式,所述步骤S1,其具体为:
采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。
进一步作为优选的实施方式,所述训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
进一步作为优选的实施方式,所述测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
以下结合具体实施例对本发明做详细说明。
参照图1,一种基于鲁棒主成分分析的IC元件焊点检测方法,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;具体如下:采集多个待检测IC元件焊点的图片,并将每张图片由RGB颜色空间转换为HSV空间后,将其H通道图像作为IC元件焊点的测试图片,进而形成测试集合。测试集合中测试图片的数量与训练样本的IC焊点训练图片的数量一致,均为M。
S2、分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵,包括S31~S34:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
Figure BDA0001019164610000091
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
Figure BDA0001019164610000092
其中,上标k表示迭代次数,UΣVT表示矩阵
Figure BDA0001019164610000101
的奇异值分解,表示压缩算子且表示矩阵Σ中元素如果大于
Figure BDA0001019164610000104
则取原值,否则,取0;这里,UΣVT中的矩阵Σ是表示运用压缩算子
Figure BDA0001019164610000105
进行运算(即)后获得的矩阵;
某个N×M维的矩阵C的奇异值分解UΣVT的具体含义如下:
U为N×N矩阵,且U的列为CCT的正交特征向量,V为M×M的矩阵,且V的列为CTC的正交特征向量,VT表示V的转置矩阵。CCT和CTC的特征值相同,均为a1,a2,…ar,其中r表示矩阵C的秩。Σ为N×M的矩阵,且该矩阵中元素Σii的值为其余元素值为0,元素Σii的值按照大小顺序降序排列。
因此,
Figure BDA0001019164610000108
的奇异值分解UΣVT按照以上定义进行求解即可获得。S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵,其中,||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数,优选的,本实施例中,预设最大次数为500次。
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像。
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
本步骤中,频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
缺陷度的计算公式如下:
Figure BDA0001019164610000111
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果,具体如下:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
优选的,步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;训练样本包括多个IC焊点训练图片,每个IC焊点训练图片是通过将合格的IC引脚图片由RGB颜色空间转换为HSV空间后获得的H通道图像。
本步骤与步骤S2相似,具体为:分别将训练样本的每张IC焊点训练图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示训练样本的IC焊点训练图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;获得低秩矩阵和稀疏矩阵的详细过程与步骤S3中相同,两者只是处理对象略有区别,具体包括A21~A24:
A21、建立如下的增广拉格朗日函数作为IC焊点样本矩阵的优化函数:
Figure BDA0001019164610000112
其中,lμ(L,S,X)表示优化函数,D表示IC焊点样本矩阵,L表示IC焊点样本矩阵的低秩矩阵,S表示IC焊点样本矩阵的稀疏矩阵,X表示与IC焊点样本矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
A22、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
其中,上标k表示迭代次数,UΣVT表示矩阵
Figure BDA0001019164610000122
的奇异值分解,
Figure BDA0001019164610000123
表示压缩算子,各符号的取值及含义如前所示。
A23、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
A24、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵,其中,收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后根据下式分别计算训练样本的每个IC焊点训练图片的缺陷度并获取最大值作为训练样本的缺陷度阈值:
上式中,Em表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
本发明中,优化分解获得低秩矩阵和稀疏矩阵的原理如下:
具体优化问题为:
Figure BDA0001019164610000131
其中,||L||*表示低秩矩阵L的核范数,即低秩矩阵L的特征值之和,||S||1表示稀疏矩阵S的L1范数,λ表示调节参数。
上述问题是一个带等式约束条件的优化问题,运用基于拉格朗日乘子的迭代更新法可以得到该问题的最优解。首先,该方法将上述优化问题转化为增广拉格朗日函数:
Figure BDA0001019164610000132
X表示与IC焊点测试矩阵相同维度(N×M维)的拉格朗日乘子矩阵,μ表示补偿正标量,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
基于拉格朗日乘子的迭代更新法的基本思想是将其余变量当作是固定不变的情况下(当作是常量),对另一个变量进行迭代更新,其更新方向是在缓慢减小。详细更新方法如下:
Lk+1=argminlu(L,Sk,Xk)
解法为:
Figure BDA0001019164610000133
Figure BDA0001019164610000134
因此,获得低秩矩阵L的迭代更新公式。
类似的,稀疏矩阵S的更新如下:
Sk+1=argminlu(Lk+1,S,Xk)
解法为:
Figure BDA0001019164610000141
拉格朗日乘子矩阵X的更新公式如下:
Xk+1=Xkk(D-Lk+1-Sk+1)
最后,当满足收敛条件:||D-Lk-Sk||F/||D||F<10-7小于10-7或迭代次数达到预设最大次数时,停止迭代更新,得到最终收敛值,即IC焊点样本矩阵的低秩矩阵L和稀疏矩阵S。根据上述原理即可获得步骤S3或A2中的迭代更新步骤。
本发明通过求解稀疏矩阵S将IC元件焊点检测扩展到最优化的层面,因此,任何属于背景部分的变化,即任何IC元件焊点图片之间的不同部分,都能够通过低秩矩阵L捕捉到以及进行约束(最终提高检测效果),最后通过对应的稀疏矩阵S计算缺陷度与缺陷度阈值进行比对后,即可获得IC元件焊点的检测结果,本方法可以准确、有效、快速地进行焊点缺陷检测。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,包括步骤:
S1、采集多个待检测IC元件焊点的测试图片后,形成测试集合;
S2、分别将测试集合的每张测试图片向量化成列向量后,将获得的所有列向量合并成IC焊点测试矩阵;
S3、对IC焊点测试矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
S4、将稀疏矩阵的每个列向量进行逆向量化后获得对应的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像;
S5、获取根据训练样本训练获得的频率分布图后,结合二值化图像计算每个测试图片的缺陷度;
S6、将该图片的缺陷度与训练样本的缺陷度阈值进行比对后获得IC元件焊点的检测结果;
所述步骤S3,包括:
S31、建立如下的增广拉格朗日函数作为IC焊点测试矩阵的优化函数:
Figure FDA0002132680780000011
其中,lμ(L,S,X)表示优化函数,D表示IC焊点测试矩阵,L表示IC焊点测试矩阵的低秩矩阵,S表示IC焊点测试矩阵的稀疏矩阵,X表示与IC焊点测试矩阵相同维度的拉格朗日乘子矩阵,μ表示补偿正标量,||L||*表示低秩矩阵L的核范数,||S||1表示稀疏矩阵S的1范数,λ表示调节参数,||·||F表示Frobenius范数,<.,.>表示矩阵内积运算子;
S32、求解获得低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X的迭代更新公式如下:
Figure FDA0002132680780000012
其中,上标k表示迭代次数,UΣVT表示矩阵
Figure FDA0002132680780000021
的奇异值分解,U为N×N维矩阵,∑为N×M维矩阵,且该矩阵中元素∑ii的值为
Figure FDA0002132680780000022
其余元素值为0,元素∑ii的值按照大小的顺序降序排列,VT为M×M维矩阵的转置矩阵,
Figure FDA0002132680780000023
表示压缩算子且
Figure FDA0002132680780000024
表示矩阵Σ中元素如果大于
Figure FDA0002132680780000025
则取原值,否则,取0;
S33、根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,ρ表示迭代参数;
S34、迭代执行步骤S33直到满足收敛条件后,获取当前的低秩矩阵和稀疏矩阵。
2.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S1之前还包括对训练样本进行训练的步骤,具体包括:
A1、分别将训练样本的每张IC焊点训练图片向量化成列向量后,将获得的所有列向量合并成IC焊点样本矩阵;
A2、对IC焊点样本矩阵进行优化分解处理后获得其低秩矩阵和稀疏矩阵;
A3、将稀疏矩阵的每个列向量进行逆向量化后获得对应的样本图片,进而对每个样本图片进行二值化分割从而得到对应的二值化图像;
A4、建立频率分布图后,依次获取每个二值化图像,对频率分布图进行更新,进而在更新完毕后计算训练样本的缺陷度阈值。
3.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S2,其具体为:
分别将测试集合的每张测试图片向量化成N×1维列向量后,将获得的所有列向量合并成N×M维的IC焊点测试矩阵;其中,M表示测试集合的测试图片的数量,N表示列向量的维度,且N=W×H,W表示测试图片的宽度,H表示测试图片的高度。
4.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S33,其具体为:
根据迭代更新公式对低秩矩阵L、稀疏矩阵S和拉格朗日乘子矩阵X进行更新,同时更新补偿正标量μ和迭代次数k:μk+1=μkρ,k=k+1,其中,初始化的迭代条件如下:L0=S0=X0=0,μ0>0,ρ>1,k=0。
5.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S34中所述收敛条件为:||D-Lk-Sk||F/||D||F<10-7或迭代次数k达到预设最大次数。
6.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S4,其具体为:
将稀疏矩阵的每个列向量进行逆向量化后获得对应的W×H的图片,进而对每个图片进行二值化分割从而得到对应的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
7.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S5中所述频率分布图是通过以下方式训练获得的:
建立一个W×H的矩阵并将该矩阵的所有元素值初始化为1后作为频率分布图,进而依次获取训练样本的每张IC焊点训练图片的稀疏矩阵对应的二值化图像后,对频率分布图进行更新,针对二值化图像中像素值为255的像素点,将频率分布图的相应位置的元素值加1,W表示测试图片的宽度,H表示测试图片的高度。
8.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S5中所述计算每个测试图片的缺陷度的步骤,是通过下式计算缺陷度的:
Figure FDA0002132680780000031
上式中,EM表示测试图片的缺陷度,M表示测试集合的测试图片个数,f(x,y)表示频率分布图,b(x,y)表示测试图片的二值化图像,W表示测试图片的宽度,H表示测试图片的高度。
9.根据权利要求1所述的一种基于鲁棒主成分分析的IC元件焊点检测方法,其特征在于,所述步骤S6,其具体为:
判断该缺陷度是否大于训练样本的缺陷度阈值,若是,则判断该IC元件焊点为虚焊焊点,反之,判断该IC元件焊点为正常焊点。
CN201610428079.7A 2016-06-16 2016-06-16 一种基于鲁棒主成分分析的ic元件焊点检测方法 Active CN106093074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610428079.7A CN106093074B (zh) 2016-06-16 2016-06-16 一种基于鲁棒主成分分析的ic元件焊点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610428079.7A CN106093074B (zh) 2016-06-16 2016-06-16 一种基于鲁棒主成分分析的ic元件焊点检测方法

Publications (2)

Publication Number Publication Date
CN106093074A CN106093074A (zh) 2016-11-09
CN106093074B true CN106093074B (zh) 2020-01-07

Family

ID=57235368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610428079.7A Active CN106093074B (zh) 2016-06-16 2016-06-16 一种基于鲁棒主成分分析的ic元件焊点检测方法

Country Status (1)

Country Link
CN (1) CN106093074B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886797B (zh) * 2017-02-24 2019-11-19 电子科技大学 一种对复合材料脱粘缺陷的高分辨率检测与识别方法
CN107945184B (zh) * 2017-11-21 2020-10-09 安徽工业大学 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN109839362B (zh) * 2019-03-20 2021-08-17 北京中科知草科技有限公司 基于渐进式去噪技术的红外光谱定量分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139386A (zh) * 2015-08-12 2015-12-09 南京航空航天大学 一种快速自动检测电气接插件焊点不合格品的图像处理方法
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100797239B1 (ko) * 2005-12-23 2008-01-23 주식회사 포스코 강판의 용접부 온라인 검출장치 및 방법
JP6222646B2 (ja) * 2012-11-01 2017-11-01 株式会社横河ブリッジホールディングス 溶接きずの外観検査システム、及び溶接きずの外観検査方法
JP6098505B2 (ja) * 2013-12-27 2017-03-22 トヨタ自動車株式会社 溶接品質検査装置及び溶接品質検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139386A (zh) * 2015-08-12 2015-12-09 南京航空航天大学 一种快速自动检测电气接插件焊点不合格品的图像处理方法
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于RPCA的太阳能电池片表面缺陷检测》;姚明海 等;《计算机学报》;20130930;第36卷(第9期);第1943-1952页 *
《基于鲁棒主成分分析的SAR舰船检测》;宋胜利 等;《清华大学学报(自然科学版)》;20150831;第55卷(第8期);第844-848页 *

Also Published As

Publication number Publication date
CN106093074A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN107944396B (zh) 一种基于改进深度学习的刀闸状态识别方法
CN104867144B (zh) 基于混合高斯模型的ic元件焊点缺陷检测方法
KR102138950B1 (ko) 조합된 깊이 큐들에 기초하여 모노스코픽 이미지로부터 깊이 맵 생성
Husin et al. Embedded portable device for herb leaves recognition using image processing techniques and neural network algorithm
CN108780508A (zh) 用于归一化图像的系统和方法
CN110222686B (zh) 物体检测方法、装置、计算机设备和存储介质
US20210133980A1 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
CN106156777B (zh) 文本图片检测方法及装置
CN106093074B (zh) 一种基于鲁棒主成分分析的ic元件焊点检测方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN109191419B (zh) 基于机器学习的实时压板检测及状态识别系统及方法
JP2016015045A (ja) 画像認識装置、画像認識方法及びプログラム
CN113052185A (zh) 一种基于Faster R-CNN的小样本目标检测方法
CN103778436A (zh) 一种基于图像处理的行人姿态检测方法
Ye et al. IC solder joint inspection based on an adaptive-template method
Bappy et al. Real estate image classification
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
CN110689020A (zh) 一种矿物浮选泡沫图像的分割方法及电子设备
CN107644203B (zh) 一种形状自适应分类的特征点检测方法
CN115471476A (zh) 一种部件缺陷检测方法、装置、设备及介质
Rana et al. An evaluation of HDR image matching under extreme illumination changes
CN110751225A (zh) 图像分类方法、装置及存储介质
Zhang et al. An automatic defect detection method for TO56 semiconductor laser using deep convolutional neural network
CN107122783B (zh) 一种基于角点检测的装配连接件快速识别方法
CN113139540B (zh) 背板检测方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant