CN105139386A - 一种快速自动检测电气接插件焊点不合格品的图像处理方法 - Google Patents

一种快速自动检测电气接插件焊点不合格品的图像处理方法 Download PDF

Info

Publication number
CN105139386A
CN105139386A CN201510494268.XA CN201510494268A CN105139386A CN 105139386 A CN105139386 A CN 105139386A CN 201510494268 A CN201510494268 A CN 201510494268A CN 105139386 A CN105139386 A CN 105139386A
Authority
CN
China
Prior art keywords
image
circle
section
radius
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510494268.XA
Other languages
English (en)
Other versions
CN105139386B (zh
Inventor
闫钧华
王志刚
杭谊青
段贺
姜惠华
王顺飞
朱可
许倩倩
杨勇
汪竟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201510494268.XA priority Critical patent/CN105139386B/zh
Publication of CN105139386A publication Critical patent/CN105139386A/zh
Application granted granted Critical
Publication of CN105139386B publication Critical patent/CN105139386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明公开了一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括步骤如下:1)将原始图像变换为灰度图像;确定截面圆心及内圆外半径;据此提取截面区域方形图像;2)二值化截面区域方形图像,分离出截面与背景并形态学滤波;3)获取截面二值图像各方向上轮廓线宽度,求其均宽确定中心圆半径;4)将原始接插件外切矩形RGB图像转换为HSV,分割出H通道图像,利用焊点的颜色阈值二值化;5)形态学滤波H通道二值图像,获得焊点图像;6)遍历检测得到截面中心圆上的焊点数,与标准焊点数量比对,判断合格与否。本发明不仅可以消除人工检查造成的主观误差提高检测一致性,还可以提高效率和精度、保障人员安全,并具有非接触性等优势。

Description

一种快速自动检测电气接插件焊点不合格品的图像处理方法
技术领域
本发明涉及图像处理技术领域,尤其指代一种快速自动检测电气接插件焊点不合格品的图像处理方法。
背景技术
目前,在大批量生产电气接插件时,由于产品焊点不在正确的位置,造成了不合格品。传统的人工检查电气接插件不合格品的方法,由于依赖人眼通过放大镜(或显微镜)检查,不仅效率低而且存在主观误差。生产场所环境存在高温、噪音、不安全等因素,将图像处理技术应用于电气接插件焊点不合格品快速自动检测,不仅可以消除人工检查所造成的主观误差提高检测一致性,而且可以提高效率和精度、保障人员安全,同时具有非接触性等优势。
利用图像处理技术进行电气接插件焊点不合格品快速自动检测,首先通过摄像机采集包含电气接插件截面及焊点的原始图像,然后运用图像处理方法对电气接插件截面中心圆和焊点的位置及个数进行检测,判定电气接插件是否合格。其中需要解决的问题主要有两个:一是由于摄像机与电气接插件截面相对位置不固定,导致在采集到的图像上电气接插件截面中心圆位置不固定。二是由于检测场所环境的影响和电气接插件截面尺寸很小需要放大成像导致图像质量较低,需要对图像进行相应的预处理。
目前基于图像处理技术的电气接插件焊点不合格品快速自动检测方法主要分为电气接插件截面中心圆提取、焊点位置提取和遍历焊点个数两部分。(1)电气接插件截面中心圆提取方法一般有2种:(1-1)手动设置阈值,分割截面原始图像获得二值图像,使用圆检测方法获得圆心和外圆半径,设定固定圆环的宽度值,从而求得中心圆半径;(1-2)摄像机与电气接插件截面的相对位置固定,使用区域分割的方法提取截面圆特征,根据先验知识得到截面中心圆圆心和半径。(2)焊点位置提取和遍历焊点个数的方法一般有2种:(2-1)对灰度图像进行去噪滤波、二值化、形态学滤波等预处理,提取焊点位置,遍历截面中心圆周得到所有焊点的数量;(2-2)直接对预处理后的图像进行全局遍历,求得焊点数量。方法(1-1)要求光照、摄像机与电气接插件截面的相对位置变化不大;方法(1-2)要求摄像机与电气接插件截面位置固定;方法(2-1)(2-2)要求焊点和截面圆的灰度差异大且需根据具体情况进行相应的处理。
发明内容
针对于上述问题,本发明的目的在于提供一种快速自动检测电气接插件焊点不合格品的图像处理方法,以解决现有电气接插件焊点自动检测的缺陷,实现了电气接插件焊点合格与否的自动检测。与现有电气接插件焊点不合格品自动检测算法相比,应用范围广,精度高,鲁棒性强。
为达到上述目的,本发明的一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括步骤如下:
1)读入摄像机所采集的原始图像;
2)将原始图象变换为灰度图像,对灰度图像进行高斯滤波;并确定截面圆心及内圆外半径,根据得到的电气接插件截面圆心及内圆外半径提取截面区域方形图像,去除背景干扰;
3)在步骤2)中得到的截面区域方形图像上进行最大类间方差(OTSU)二值化处理,分离出电气接插件截面与背景,同时获得其二值化的图像,对二值图像先进行开操作去除噪点,再进行闭操作弥合孔洞、填补截面轮廓线断裂;
4)获取截面最大类间方差二值图像各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径;
5)将原始电气接插件截面外切矩形图像的RGB颜色空间转换到HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;
6)对H通道二值图像先进行开操作去除噪点、再进行闭操作弥合孔洞,获得清晰的焊点图像,在此图像上画出步骤4)获得的截面中心圆,遍历检测得到圆上的焊点数,与标准电气接插件焊点数量比对,判断电气接插件焊点合格与否。
优选地,所述步骤2)中具体包括:设置最大最小半径,对图像进行Hough圆检测,使用加权平均法和选择排序法分别确定截面圆心及内圆外半径。
优选地,所述步骤2)提取电气接插件截面圆心及内圆外半径,进而提取截面区域方形图像,具体包括以下步骤:
2.1)根据现场拍摄情况及电气接插件截面灰度图像大小W×H,定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
2.2)对灰度图像进行Hough圆检测,得到满足2.1)中条件的多组圆心坐标及对应内圆外半径,即(xi,yi,ri)为一组圆参数;对所有圆心坐标(xi,yi)分别进行随机采样一致性RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标(xfinal,yfinal),对所有的半径ri进行选择排序,得到最小的半径值为最终内圆外半径rfinal
2.3)在灰度图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰,将提取到的电气接插件截面区域方形图像作为图像处理步骤3)、步骤4)的输入图像。
优选地,所述步骤3)获取的截面二值图像及形态学处理,具体包括以下步骤:
3.1)记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1;则图像的总平均灰度为:u=w0u0+w1u1,前景和背景的方差为:g=w0(u0-u)2+w1(u1-u)2=w0w1(u1-u0)2,那么当方差g最大时,则此时的阈值Tgmax为OTSU分割阈值,则对输入图像进行如下分割:
g ( x , y ) = 255 f ( x , y ) > T g m a x 0 f ( x , y ) < T g m a x
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值;
3.2)记R1ker、R2ker分别为开操作和闭操作核函数的半径,并且所使用的核函数均为圆形核函数,首先对二值图像进行半径为R1ker的开操作AοB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞、填补截面轮廓线断裂
优选地,所述步骤4)计算各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径,具体包括以下步骤:
4.1)采用加权各个方向上环宽并求平均,获得电气接插件截面内圆圆环的宽度;使用八个主方向的加权均值,八个方向分别为:
0°、45°、90°、135°、180°、225°、270°、315°,统计某方向在上述2.2)中求得的内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
W R i n g = 1 8 &Sigma; i = 1 8 W i R i n g
4.2)在上述步骤2.2)中已获得内圆圆心的坐标(xfinal,yfinal)、内圆外半径rfinal,其中内圆圆心和中心圆圆心坐标相同,中心圆半径为内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为:(xfinal,yfinal,rmid)。
优选地,所述步骤6)遍历中心圆圆周,得到电气接插件焊点数,具体包括以下步骤:
6.1)记R1ker、R2ker分别为开操作和闭操作圆形核函数的半径,首先对H通道的二值图像进行半径为R1ker的开操作AοB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞,获得清晰平滑的焊点图,其中焊点是像素值为255的白块,背景是像素值为0的暗底;
6.2)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在上述获得的焊点二值图上做圆,然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零值的间隔numgap小于某一阈值thgap,为同一焊点,获得焊点的数量为numJoints
num J o int s = num J o int s + 1 num g a p &GreaterEqual; th g a p num J o int s num g a p < th g a p
将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
本发明的有益效果:
(1)本发明根据现场拍摄情况及电气接插件截面图像大小,通过限定Hough圆检测的最小及最大圆半径以准确定位截面内圆外径,提高了Hough圆检测的效率;
(2)本发明使用最大类间方差(OTSU)进行二值化处理,自动分离出前景截面与背景,实现了阈值的自适应,增强了对光照变化、相对位置不固定等的鲁棒性;
(3)本发明通过对所有圆心坐标分别进行RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标;对所有的圆半径进行选择排序,得最小的半径值为最终内圆外半径;提高了圆心和内圆外半径求解的精确性和鲁棒性;
(4)本发明使用主方向加权平均的方法获得电气接插件截面内圆圆环的均宽,进而得到中心圆的半径,解决了摄像机与电气接插件相对位置不固定的问题,扩大了算法的适用范围;
(5)本发明将原始电气接插件截面外切矩形图像的RGB颜色空间转换到对色彩识别更为方便有效的HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理,降低了对电气接插件截面圆和焊点灰度差值的要求,提高了算法的适用性和鲁棒性。
附图说明
图1绘示本发明一种快速自动检测电气接插件焊点不合格品的图像处理方法的整体流程图;
图2绘示本发明电气接插件截面圆心及内圆外半径定位流程图;
图3绘示本发明中心圆半径算法流程图;
图4绘示本发明焊点检测及电气接插件不合格检测流程图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
参照图1至图4所示,本发明的一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括:
首先由与电气接插件截面相对位置不固定的摄像机采集需要检测焊点合格与否的原始图像并存储。
接着进行电气接插件截面圆心及内圆外半径的提取,具体参照图2所示,设置最大最小半径,对灰度图像进行Hough圆检测提取多组圆心坐标及对应半径值;对所有圆心坐标分别进行RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终电气接插件截面圆心坐标。对所有的圆半径进行选择排序,得最小的半径值为最终内圆外半径。以电气接插件截面圆心坐标为中心,内圆外半径的两倍为边长,提取电气接插件截面区域方形图像并存储。
然后提取电气接插件截面内圆圆环的宽度及中心圆半径,具体参照图3所示,首先对电气接插件截面区域方形图像进行OTSU二值化,然后对二值图像进行开操作去除噪点,闭操作弥合孔洞、填补截面轮廓线断裂。最后使用主方向加权平均的方法获得截面内圆圆环的均宽,计算得到中心圆的半径。
最后提取电气接插件焊点数,判断电气接插件焊点合格与否,具体参照图4所示,将原始电气接插件截面外切矩形图像的RGB颜色空间转换到对色彩识别更为方便有效的HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;再对二值图像进行开操作去除噪点,闭操作弥合孔洞、填补截面轮廓线断裂,获得清晰平滑的焊点图;然后沿着中心圆圆周遍历一周,忽略细窄间断的影响,获得焊点数,并与标准电气接插件截面焊点数对比,判断电气接插件焊点合格与否。
本发明具体实现方式如下:
(1)读入摄像机所采集的原始图像;
(2)在原始图像中提取多组圆心及半径;
(3)RANSAC加权平均定位电气接插件截面圆心;
(4)选择排序求得电气接插件截面内圆外半径,提取截面区域方形图像;
(5)OTSU自动获取分割阈值,二值化截面区域方形图像;
(6)开操作去噪点、闭操作弥孔洞,主方向加权平均得截面内圆圆环的宽度及中心圆半径;
(7)获得原始电气接插件截面外切矩形图像的HSV空间的H通道图像,利用焊点的颜色阈值二值化图像;
(8)对H通道二值图像进行开操作、闭操作,获得清晰焊点图;
(9)在焊点图上提取电气接插件焊点数,判断电气接插件焊点合格与否。
其中,步骤(2)提取圆心及半径采用Hough圆检测方法,具体如下:
(21)定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
(22)使用Canny算子对原始图像进行边缘检测,并将图像二值化,得到边缘图像;
(23)将图像空间中的边缘点映射到参数空间中,圆心坐标(a,b)及半径r为参数空间中的三个变量;
(24)在半径范围[minR,maxR]中,对某一个边缘点所对应的r1,可以确定出一组圆心坐标(ai1,bi1)值,将(ai1,bi1)值投票到r1层的累加器上;对另一个边缘点所对应的半径r2,可以确定出一组圆心坐标(ai2,bi2)值,将(ai2,bi2)值投票到r2层的累加器上;以此类推,可得到每一个边缘点所对应的三维累加阵列(aij,bij,rj);
(25)通过三维累加计算,得到最大累加值对应的圆心坐标及半径(a0,b0,r0),即得到被检测圆的3个参数,实现Hough圆检测。
其中,步骤(3)利用RANSAC剔除部分差异大的圆心坐标,再加权平均定位电气接插件截面圆心,具体如下:
(31)确定一个最小抽样集的视为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P,集合P的样本数#(P)>n,从P中随机抽取包含n个样本的P的子集S初始化模型M;
(32)P的余集Sc中与模型M的误差小于某一设定阈值thc的样本集以及S构成S*,S*认为是内点集,它们构成S的一致集;
(33)若#(S*)≥thN,认为得到正确的模型参数,并利用集S*采用最小二乘法重新计算新的模型M*;重新随机抽取新的S,重复以上过程;
(34)在完成一定的抽样次数Nsamp后,若未找到一致集则算法失败;否则选取抽样后得到的最大一致集判断内外点,算法结束;
(35)对所有的内点做加权平均计算圆心坐标的平均值:
x a v e r a g e = &Sigma; i = 1 N x i / N y a v e r a g e = &Sigma; i = 1 N y i / N ;
(36)其中N为组数,(xi,yi)为一组圆参数;坐标平均值(xaverage,yaverage)即为最终的电气接插件截面圆心坐标(xfinal,yfinal)。
其中,步骤(4)选择排序求得电气接插件截面内圆外半径,提取截面区域方形图像,实现方法如下:
(41)设对应步骤(35)中所有内点所对应的圆半径的集合为R=[r1,r2...rN],并假设r1为初始最小圆半径,进行如下循环,求得最终最小圆半径:
r f i n a l = r 1 r 1 < r i r i r 1 > r i
此最终最小圆半径即为电气接插件截面内圆外半径rfinal
(42)在原始图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰;将提取到的电气接插件截面区域方形图像作为图像处理第(5)、第(6)步骤的输入图像。
其中,步骤(5)使用OTSU自动获取分割阈值,二值化截面区域方形图像,实现方法如下:
(51)计算输入图像的归一化直方图,使用pi,i=1,2...L-1表示该直方图的各个分量;
(52)对于k=1,2...L-1,计算累积和P1(k):
P 1 ( k ) = &Sigma; i = 0 k p i
(53)对于k=1,2...L-1,计算累积均值m(k):
m ( k ) = &Sigma; i = 0 k ip i
(54)计算全局灰度均值mG
m G = &Sigma; i = 0 L - 1 ip i
(55)对于k=1,2...L-1,计算类间方差
&sigma; B 2 ( k * ) = &lsqb; m G P 1 ( k ) - m ( k ) &rsqb; 2 P 1 ( k ) &lsqb; 1 - P 1 ( k ) &rsqb;
使得最大的k值,即为OTSU阈值k*,此时的阈值k*=Tgmax为OTSU分割阈值。对输入图像进行如下分割:
g ( x , y ) = 255 f ( x , y ) > T g m a x 0 f ( x , y ) < T g m a x
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值。
其中,步骤(6)开操作去噪点、闭操作弥孔洞,主方向加权平均得截面内圆圆环的宽度及中心圆半径,实现方法如下:
(61)腐蚀:作为Z2中的集合A和B,表示为A⊙B的B对A的腐蚀定义为:
上式表明B对A的腐蚀的结果是所有z的集合,其中B平移z后仍在A中;换句话说,用B腐蚀A得到的集合是B完全包括在A中时B的原点位置的集合;
(62)膨胀:作为Z2中的集合A和B,表示为的B对A的膨胀定义为:
上式表明B对A的膨胀的过程是先对B做关于原点的映射,再将其映像平移z,并要求A和B映像的交集不为空集;换句话说,用B来膨胀A得到的集合的位移与A中至少有一个非零元素相交时B的原点位置的集合;
(63)记R1ker为开操作核函数的半径,使用的核函数是圆形核函数,其对应的核函数表示为B1ker,则开操作定义如下:
开操作的作用是去除图像中孤立的噪点和细的突出物;
(64)记R2ker为闭操作核函数的半径,使用的核函数是圆形核函数,其对应的核函数表示为B2ker,则闭操作定义如下:
闭操作的作用是弥合孔洞、填补截面轮廓线断裂,实际操作中,R2ker大于R1ker,这样可以在去掉相对小的噪点的同时,弥合大的孔洞和断裂处;
(65)为获得截面内圆圆环的宽度,采用加权八个主方向上圆环环宽并求平均,八个主方向分别为:0°、45°、90°、135°、180°、225°、270°、315°;统计某一方向在内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
W R i n g = 1 8 &Sigma; i = 1 8 W i R i n g ;
(66)中心圆圆心坐标与截面圆心坐标相同,中心圆半径为截面内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为(xfinal,yfinal,rmid)。
其中,步骤(7)获得原始电气接插件截面外切矩形图像的HSV空间的H通道图像,利用焊点的颜色阈值二值化图像,实现方法如下:
(71)HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的一种颜色空间,这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V);由原始电气接插件截面外切矩形图像的RGB空间得到H通道的公式为:
H = &theta; B &le; G 360 - &theta; B > G
其中, &theta; = a r c cos { &lsqb; ( R - G ) + ( R - B ) &rsqb; / 2 &lsqb; ( R - G ) 2 + ( R - B ) ( G - B ) &rsqb; 1 / 2 } ;
(72)由于焊点的颜色与电气接插件截面圆及背景的颜色存在明显差异,设焊点H通道的颜色阈值上下限分别为为th1H、th2H,则图像二值化公式为:
其中,h(x,y)表示H通道的图像,gH(x,y)为二值化后的H通道图像;
其中,步骤(8)对H通道二值图像进行开操作、闭操作获得清晰焊点图,实现方法如下:
(81)开操作与闭操作的具体实现方法同步骤(6)中的(61)、(62)、(63)、(64)小节;
(82)经过开操作、闭操作的处理,得到清晰的焊点图,图中有少量阈值分割留下的大的噪点。
其中,步骤(9)在焊点图上提取电气接插件焊点数,判断电气接插件焊点合格与否,实现方法如下:
(91)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在步骤(8)获得的焊点二值图上做圆。然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零像素值的间隔numgap小于某一阈值thgap,为同一焊点。获得焊点的数量为numJoints
num J o int s = num J o int s + 1 num g a p &GreaterEqual; th g a p num J o int s num g a p < th g a p ;
(92)将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
本发明解决了由于摄像机与电气接插件截面相对位置不固定,导致在采集到的图像上电气接插件截面中心圆位置不固定的问题,以及由于检测场所环境的影响和电气接插件截面尺寸很小需要放大成像导致图像质量较低,需要对图像进行相应的预处理的问题。不仅可以消除人工检查所造成的主观误差提高检测一致性,而且可以提高效率和精度、保障人员安全,同时具有非接触性等优势。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。

Claims (6)

1.一种快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,包括步骤如下:
1)读入摄像机所采集的原始图像;
2)将原始图象变换为灰度图像,对灰度图像进行高斯滤波;并确定截面圆心及内圆外半径,根据得到的电气接插件截面圆心及内圆外半径提取截面区域方形图像,去除背景干扰;
3)在步骤2)中得到的截面区域方形图像上进行最大类间方差(OTSU)二值化处理,分离出电气接插件截面与背景,同时获得其二值化的图像,对二值图像先进行开操作去除噪点,再进行闭操作弥合孔洞、填补截面轮廓线断裂;
4)获取截面最大类间方差二值图像各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径;
5)将原始电气接插件截面外切矩形图像的RGB颜色空间转换到HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;
6)对H通道二值图像先进行开操作去除噪点、再进行闭操作弥合孔洞,获得清晰的焊点图像,在此图像上画出步骤4)获得的截面中心圆,遍历检测得到圆上的焊点数,与标准电气接插件焊点数量比对,判断电气接插件焊点合格与否。
2.根据权利要求1所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤2)中具体包括:设置最大最小半径,对图像进行Hough圆检测,使用加权平均法和选择排序法分别确定截面圆心及内圆外半径。
3.根据权利要求2所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤2)提取电气接插件截面圆心及内圆外半径,进而提取截面区域方形图像,具体包括以下步骤:
2.1)根据现场拍摄情况及电气接插件截面灰度图像大小W×H,定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
2.2)对灰度图像进行Hough圆检测,得到满足2.1)中条件的多组圆心坐标及对应内圆外半径,即(xi,yi,ri)为一组圆参数;对所有圆心坐标(xi,yi)分别进行随机采样一致性RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标(xfinal,yfinal),对所有的半径ri进行选择排序,得到最小的半径值为最终内圆外半径rfinal
2.3)在灰度图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰,将提取到的电气接插件截面区域方形图像作为图像处理步骤3)、步骤4)的输入图像。
4.根据权利要求3所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤3)获取的截面二值图像及形态学处理,具体包括以下步骤:
3.1)记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1;则图像的总平均灰度为:u=w0u0+w1u1,前景和背景的方差为:g=w0(u0-u)2+w1(u1-u)2=w0w1(u1-u0)2,那么当方差g最大时,则此时的阈值Tgmax为OTSU分割阈值,则对输入图像进行如下分割:
g ( x , y ) = 255 f ( x , y ) > T g m a x 0 f ( x , y ) < T g m a x
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值;
3.2)记R1ker、R2ker分别为开操作和闭操作核函数的半径,并且所使用的核函数均为圆形核函数,首先对二值图像进行半径为R1ker的开操作AоB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞、填补截面轮廓线断裂
5.根据权利要求4所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤4)计算各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径,具体包括以下步骤:
4.1)采用加权各个方向上环宽并求平均,获得电气接插件截面内圆圆环的宽度;使用八个主方向的加权均值,八个方向分别为:
0°、45°、90°、135°、180°、225°、270°、315°,统计某方向在上述2.2)中求得的内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
W R i n g = 1 8 &Sigma; i = 1 8 W i R i n g
4.2)在上述步骤2.2)中已获得内圆圆心的坐标(xfinal,yfinal)、内圆外半径rfinal,其中内圆圆心和中心圆圆心坐标相同,中心圆半径为内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为:(xfinal,yfinal,rmid)。
6.根据权利要求5所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤6)遍历中心圆圆周,得到电气接插件焊点数,具体包括以下步骤:
6.1)记R1ker、R2ker分别为开操作和闭操作圆形核函数的半径,首先对H通道的二值图像进行半径为R1ker的开操作AоB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞,获得清晰平滑的焊点图,其中焊点是像素值为255的白块,背景是像素值为0的暗底;
6.2)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在上述获得的焊点二值图上做圆,然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零值的间隔numgap小于某一阈值thgap,为同一焊点,获得焊点的数量为numJoints
num J o int s = num J o int s + 1 num g a p &GreaterEqual; th g a p num J o int s num g a p < th g a p
将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
CN201510494268.XA 2015-08-12 2015-08-12 一种快速自动检测电气接插件焊点不合格品的图像处理方法 Active CN105139386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510494268.XA CN105139386B (zh) 2015-08-12 2015-08-12 一种快速自动检测电气接插件焊点不合格品的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510494268.XA CN105139386B (zh) 2015-08-12 2015-08-12 一种快速自动检测电气接插件焊点不合格品的图像处理方法

Publications (2)

Publication Number Publication Date
CN105139386A true CN105139386A (zh) 2015-12-09
CN105139386B CN105139386B (zh) 2017-12-26

Family

ID=54724719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510494268.XA Active CN105139386B (zh) 2015-08-12 2015-08-12 一种快速自动检测电气接插件焊点不合格品的图像处理方法

Country Status (1)

Country Link
CN (1) CN105139386B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106093074A (zh) * 2016-06-16 2016-11-09 广东工业大学 一种基于鲁棒主成分分析的ic元件焊点检测方法
CN106971391A (zh) * 2017-02-24 2017-07-21 北京理工大学珠海学院 一种基于颜色识别的多模板定位浸锡检测方法
CN107507182A (zh) * 2017-09-25 2017-12-22 电子科技大学 一种基于x射线图像的bga焊球提取方法
WO2018010391A1 (zh) * 2016-07-13 2018-01-18 广州视源电子科技股份有限公司 一种板卡的检测方法及装置
CN108230388A (zh) * 2018-02-06 2018-06-29 广西艾盛创制科技有限公司 一种白车身焊点图像的识别定位方法
CN108921828A (zh) * 2018-06-15 2018-11-30 湖南科技大学 一种复杂场景下不显著焊缝识别方法
CN109540464A (zh) * 2018-09-11 2019-03-29 重庆惠科金渝光电科技有限公司 一种测量方法和测量装置
CN109741314A (zh) * 2018-12-29 2019-05-10 广州博通信息技术有限公司 一种零件的视觉检测方法及系统
CN110006911A (zh) * 2019-04-19 2019-07-12 天津工业大学 一种应用于含螺钉的金属表面多条划痕检测方法
CN110910363A (zh) * 2019-11-15 2020-03-24 上海交通大学 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN111504194A (zh) * 2020-05-15 2020-08-07 深圳市振邦智能科技股份有限公司 应用在焊点检测aoi中的焊点定位方法
CN113263260A (zh) * 2020-02-17 2021-08-17 三星Sdi株式会社 用于二次电池的激光焊接方法和监测系统
CN113450400A (zh) * 2021-06-28 2021-09-28 思享智汇(海南)科技有限责任公司 基于可变对象的碰撞检测方法、游戏交互方法及直播系统
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及系统
CN113935991A (zh) * 2021-12-13 2022-01-14 浙江托普云农科技股份有限公司 玉米横截面参数测量方法、系统、电子设备及可存储介质
CN116385435A (zh) * 2023-06-02 2023-07-04 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
CN101358836A (zh) * 2008-09-28 2009-02-04 西安理工大学 基于计算机视觉识别焊点中心位置的方法
CN101661004A (zh) * 2009-07-21 2010-03-03 湖南大学 一种基于支持向量机的电路板焊接质量视觉检测方法
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
CN101358836A (zh) * 2008-09-28 2009-02-04 西安理工大学 基于计算机视觉识别焊点中心位置的方法
CN101661004A (zh) * 2009-07-21 2010-03-03 湖南大学 一种基于支持向量机的电路板焊接质量视觉检测方法
CN101915769A (zh) * 2010-06-29 2010-12-15 华南理工大学 一种印刷电路板中带电阻元件的自动光学检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙晓婷: "图像处理技术在焊点检测中的应用", 《湖南城市学院学报(自然科学版)》 *
马吉权 等: "一种焊点缺陷检测方法的研究", 《哈尔滨商业大学学报(自然科学版)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106093074B (zh) * 2016-06-16 2020-01-07 广东工业大学 一种基于鲁棒主成分分析的ic元件焊点检测方法
CN106093074A (zh) * 2016-06-16 2016-11-09 广东工业大学 一种基于鲁棒主成分分析的ic元件焊点检测方法
WO2018010391A1 (zh) * 2016-07-13 2018-01-18 广州视源电子科技股份有限公司 一种板卡的检测方法及装置
CN106971391A (zh) * 2017-02-24 2017-07-21 北京理工大学珠海学院 一种基于颜色识别的多模板定位浸锡检测方法
CN107507182B (zh) * 2017-09-25 2019-10-25 电子科技大学 一种基于x射线图像的bga焊球提取方法
CN107507182A (zh) * 2017-09-25 2017-12-22 电子科技大学 一种基于x射线图像的bga焊球提取方法
CN108230388A (zh) * 2018-02-06 2018-06-29 广西艾盛创制科技有限公司 一种白车身焊点图像的识别定位方法
CN108921828A (zh) * 2018-06-15 2018-11-30 湖南科技大学 一种复杂场景下不显著焊缝识别方法
CN108921828B (zh) * 2018-06-15 2022-04-22 湖南科技大学 一种复杂场景下不显著焊缝识别方法
CN109540464A (zh) * 2018-09-11 2019-03-29 重庆惠科金渝光电科技有限公司 一种测量方法和测量装置
WO2020051990A1 (zh) * 2018-09-11 2020-03-19 重庆惠科金渝光电科技有限公司 一种测量方法和测量装置
CN109741314A (zh) * 2018-12-29 2019-05-10 广州博通信息技术有限公司 一种零件的视觉检测方法及系统
CN110006911A (zh) * 2019-04-19 2019-07-12 天津工业大学 一种应用于含螺钉的金属表面多条划痕检测方法
CN110006911B (zh) * 2019-04-19 2021-07-27 天津工业大学 一种应用于含螺钉的金属表面多条划痕检测方法
CN110910363A (zh) * 2019-11-15 2020-03-24 上海交通大学 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN113263260A (zh) * 2020-02-17 2021-08-17 三星Sdi株式会社 用于二次电池的激光焊接方法和监测系统
US11897054B2 (en) 2020-02-17 2024-02-13 Samsung Sdi Co., Ltd. Laser welding method and monitoring method for secondary battery
CN111504194A (zh) * 2020-05-15 2020-08-07 深圳市振邦智能科技股份有限公司 应用在焊点检测aoi中的焊点定位方法
CN113450400A (zh) * 2021-06-28 2021-09-28 思享智汇(海南)科技有限责任公司 基于可变对象的碰撞检测方法、游戏交互方法及直播系统
CN113724216A (zh) * 2021-08-24 2021-11-30 广东工业大学 一种波峰焊点缺陷检测方法及系统
CN113935991A (zh) * 2021-12-13 2022-01-14 浙江托普云农科技股份有限公司 玉米横截面参数测量方法、系统、电子设备及可存储介质
CN116385435A (zh) * 2023-06-02 2023-07-04 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法
CN116385435B (zh) * 2023-06-02 2023-09-26 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法
CN116883434A (zh) * 2023-09-05 2023-10-13 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法
CN116883434B (zh) * 2023-09-05 2023-11-17 昆明理工大学 一种基于语义分割的加速度传感器芯片封装缺陷检测方法

Also Published As

Publication number Publication date
CN105139386B (zh) 2017-12-26

Similar Documents

Publication Publication Date Title
CN105139386A (zh) 一种快速自动检测电气接插件焊点不合格品的图像处理方法
CN105976352B (zh) 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
US11221107B2 (en) Method for leakage detection of underground pipeline corridor based on dynamic infrared thermal image processing
CN107808378B (zh) 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法
CN106934803B (zh) 电子器件表面缺陷的检测方法及装置
CN105913415B (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
CN104809422A (zh) 基于图像处理的qr码识别方法
CN108982512A (zh) 一种基于机器视觉的电路板检测系统及其方法
CN108288264B (zh) 一种广角摄像头模组脏污测试方法
CN107610104A (zh) 一种基于机器视觉的电梯补偿链r处裂纹检测方法
CN107016394B (zh) 一种交叉纤维特征点匹配方法
CN112686858A (zh) 一种手机充电器视觉缺陷检测方法、装置、介质及设备
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN109087286A (zh) 一种基于计算机图像处理和模式识别的检测方法及应用
CN109741314A (zh) 一种零件的视觉检测方法及系统
CN106682665B (zh) 一种基于计算机视觉的七段式数显仪表数字识别方法
CN103258201A (zh) 一种融合全局和局部信息的表格线提取方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN103226829A (zh) 基于边缘增强算子的图像边缘检测方法
CN104792794A (zh) 基于机器视觉的光学薄膜表面缺陷检测方法
CN104657706A (zh) 基于图像的高铁线路线杆断裂与联接结构体异常检测方法
Shire et al. Plain ceramic tiles surface defect detection using image processing
CN109409181A (zh) 一种用于低质量指静脉图像的手指上下边缘独立检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant