CN105139386B - 一种快速自动检测电气接插件焊点不合格品的图像处理方法 - Google Patents
一种快速自动检测电气接插件焊点不合格品的图像处理方法 Download PDFInfo
- Publication number
- CN105139386B CN105139386B CN201510494268.XA CN201510494268A CN105139386B CN 105139386 B CN105139386 B CN 105139386B CN 201510494268 A CN201510494268 A CN 201510494268A CN 105139386 B CN105139386 B CN 105139386B
- Authority
- CN
- China
- Prior art keywords
- mrow
- circle
- image
- section
- radius
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 229910000679 solder Inorganic materials 0.000 title claims abstract description 74
- 230000002950 deficient Effects 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000007689 inspection Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括步骤如下:1)将原始图像变换为灰度图像;确定截面圆心及内圆外半径;据此提取截面区域方形图像;2)二值化截面区域方形图像,分离出截面与背景并形态学滤波;3)获取截面二值图像各方向上轮廓线宽度,求其均宽确定中心圆半径;4)将原始接插件外切矩形RGB图像转换为HSV,分割出H通道图像,利用焊点的颜色阈值二值化;5)形态学滤波H通道二值图像,获得焊点图像;6)遍历检测得到截面中心圆上的焊点数,与标准焊点数量比对,判断合格与否。本发明不仅可以消除人工检查造成的主观误差提高检测一致性,还可以提高效率和精度、保障人员安全,并具有非接触性等优势。
Description
技术领域
本发明涉及图像处理技术领域,尤其指代一种快速自动检测电气接插件焊点不合格品的图像处理方法。
背景技术
目前,在大批量生产电气接插件时,由于产品焊点不在正确的位置,造成了不合格品。传统的人工检查电气接插件不合格品的方法,由于依赖人眼通过放大镜(或显微镜)检查,不仅效率低而且存在主观误差。生产场所环境存在高温、噪音、不安全等因素,将图像处理技术应用于电气接插件焊点不合格品快速自动检测,不仅可以消除人工检查所造成的主观误差提高检测一致性,而且可以提高效率和精度、保障人员安全,同时具有非接触性等优势。
利用图像处理技术进行电气接插件焊点不合格品快速自动检测,首先通过摄像机采集包含电气接插件截面及焊点的原始图像,然后运用图像处理方法对电气接插件截面中心圆和焊点的位置及个数进行检测,判定电气接插件是否合格。其中需要解决的问题主要有两个:一是由于摄像机与电气接插件截面相对位置不固定,导致在采集到的图像上电气接插件截面中心圆位置不固定。二是由于检测场所环境的影响和电气接插件截面尺寸很小需要放大成像导致图像质量较低,需要对图像进行相应的预处理。
目前基于图像处理技术的电气接插件焊点不合格品快速自动检测方法主要分为电气接插件截面中心圆提取、焊点位置提取和遍历焊点个数两部分。(1)电气接插件截面中心圆提取方法一般有2种:(1-1)手动设置阈值,分割截面原始图像获得二值图像,使用圆检测方法获得圆心和外圆半径,设定固定圆环的宽度值,从而求得中心圆半径;(1-2)摄像机与电气接插件截面的相对位置固定,使用区域分割的方法提取截面圆特征,根据先验知识得到截面中心圆圆心和半径。(2)焊点位置提取和遍历焊点个数的方法一般有2种:(2-1)对灰度图像进行去噪滤波、二值化、形态学滤波等预处理,提取焊点位置,遍历截面中心圆周得到所有焊点的数量;(2-2)直接对预处理后的图像进行全局遍历,求得焊点数量。方法(1-1)要求光照、摄像机与电气接插件截面的相对位置变化不大;方法(1-2)要求摄像机与电气接插件截面位置固定;方法(2-1)(2-2)要求焊点和截面圆的灰度差异大且需根据具体情况进行相应的处理。
发明内容
针对于上述问题,本发明的目的在于提供一种快速自动检测电气接插件焊点不合格品的图像处理方法,以解决现有电气接插件焊点自动检测的缺陷,实现了电气接插件焊点合格与否的自动检测。与现有电气接插件焊点不合格品自动检测算法相比,应用范围广,精度高,鲁棒性强。
为达到上述目的,本发明的一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括步骤如下:
1)读入摄像机所采集的原始图像;
2)将原始图象变换为灰度图像,对灰度图像进行高斯滤波;并确定截面圆心及内圆外半径,根据得到的电气接插件截面圆心及内圆外半径提取截面区域方形图像,去除背景干扰;
3)在步骤2)中得到的截面区域方形图像上进行最大类间方差(OTSU)二值化处理,分离出电气接插件截面与背景,同时获得其二值化的图像,对二值图像先进行开操作去除噪点,再进行闭操作弥合孔洞、填补截面轮廓线断裂;
4)获取截面最大类间方差二值图像各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径;
5)将原始电气接插件截面外切矩形图像的RGB颜色空间转换到HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;
6)对H通道二值图像先进行开操作去除噪点、再进行闭操作弥合孔洞,获得清晰的焊点图像,在此图像上画出步骤4)获得的截面中心圆,遍历检测得到圆上的焊点数,与标准电气接插件焊点数量比对,判断电气接插件焊点合格与否。
优选地,所述步骤2)中具体包括:设置最大最小半径,对图像进行Hough圆检测,使用加权平均法和选择排序法分别确定截面圆心及内圆外半径。
优选地,所述步骤2)提取电气接插件截面圆心及内圆外半径,进而提取截面区域方形图像,具体包括以下步骤:
2.1)根据现场拍摄情况及电气接插件截面灰度图像大小W×H,定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
2.2)对灰度图像进行Hough圆检测,得到满足2.1)中条件的多组圆心坐标及对应内圆外半径,即(xi,yi,ri)为一组圆参数;对所有圆心坐标(xi,yi)分别进行随机采样一致性RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标(xfinal,yfinal),对所有的半径ri进行选择排序,得到最小的半径值为最终内圆外半径rfinal;
2.3)在灰度图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰,将提取到的电气接插件截面区域方形图像作为图像处理步骤3)、步骤4)的输入图像。
优选地,所述步骤3)获取的截面二值图像及形态学处理,具体包括以下步骤:
3.1)记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1;则图像的总平均灰度为:u=w0u0+w1u1,前景和背景的方差为:g=w0(u0-u)2+w1(u1-u)2=w0w1(u1-u0)2,那么当方差g最大时,则此时的阈值Tgmax为OTSU分割阈值,则对输入图像进行如下分割:
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值;
3.2)记R1ker、R2ker分别为开操作和闭操作核函数的半径,并且所使用的核函数均为圆形核函数,首先对二值图像进行半径为R1ker的开操作AοB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞、填补截面轮廓线断裂
优选地,所述步骤4)计算各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径,具体包括以下步骤:
4.1)采用加权各个方向上环宽并求平均,获得电气接插件截面内圆圆环的宽度;使用八个主方向的加权均值,八个方向分别为:
0°、45°、90°、135°、180°、225°、270°、315°,统计某方向在上述2.2)中求得的内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
4.2)在上述步骤2.2)中已获得内圆圆心的坐标(xfinal,yfinal)、内圆外半径rfinal,其中内圆圆心和中心圆圆心坐标相同,中心圆半径为内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为:(xfinal,yfinal,rmid)。
优选地,所述步骤6)遍历中心圆圆周,得到电气接插件焊点数,具体包括以下步骤:
6.1)记R1ker、R2ker分别为开操作和闭操作圆形核函数的半径,首先对H通道的二值图像进行半径为R1ker的开操作AοB,去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞,获得清晰平滑的焊点图,其中焊点是像素值为255的白块,背景是像素值为0的暗底;
6.2)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在上述获得的焊点二值图上做圆,然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零值的间隔numgap小于某一阈值thgap,为同一焊点,获得焊点的数量为numJoints:
将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
本发明的有益效果:
(1)本发明根据现场拍摄情况及电气接插件截面图像大小,通过限定Hough圆检测的最小及最大圆半径以准确定位截面内圆外径,提高了Hough圆检测的效率;
(2)本发明使用最大类间方差(OTSU)进行二值化处理,自动分离出前景截面与背景,实现了阈值的自适应,增强了对光照变化、相对位置不固定等的鲁棒性;
(3)本发明通过对所有圆心坐标分别进行RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标;对所有的圆半径进行选择排序,得最小的半径值为最终内圆外半径;提高了圆心和内圆外半径求解的精确性和鲁棒性;
(4)本发明使用主方向加权平均的方法获得电气接插件截面内圆圆环的均宽,进而得到中心圆的半径,解决了摄像机与电气接插件相对位置不固定的问题,扩大了算法的适用范围;
(5)本发明将原始电气接插件截面外切矩形图像的RGB颜色空间转换到对色彩识别更为方便有效的HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理,降低了对电气接插件截面圆和焊点灰度差值的要求,提高了算法的适用性和鲁棒性。
附图说明
图1绘示本发明一种快速自动检测电气接插件焊点不合格品的图像处理方法的整体流程图;
图2绘示本发明电气接插件截面圆心及内圆外半径定位流程图;
图3绘示本发明中心圆半径算法流程图;
图4绘示本发明焊点检测及电气接插件不合格检测流程图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
参照图1至图4所示,本发明的一种快速自动检测电气接插件焊点不合格品的图像处理方法,包括:
首先由与电气接插件截面相对位置不固定的摄像机采集需要检测焊点合格与否的原始图像并存储。
接着进行电气接插件截面圆心及内圆外半径的提取,具体参照图2所示,设置最大最小半径,对灰度图像进行Hough圆检测提取多组圆心坐标及对应半径值;对所有圆心坐标分别进行RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终电气接插件截面圆心坐标。对所有的圆半径进行选择排序,得最小的半径值为最终内圆外半径。以电气接插件截面圆心坐标为中心,内圆外半径的两倍为边长,提取电气接插件截面区域方形图像并存储。
然后提取电气接插件截面内圆圆环的宽度及中心圆半径,具体参照图3所示,首先对电气接插件截面区域方形图像进行OTSU二值化,然后对二值图像进行开操作去除噪点,闭操作弥合孔洞、填补截面轮廓线断裂。最后使用主方向加权平均的方法获得截面内圆圆环的均宽,计算得到中心圆的半径。
最后提取电气接插件焊点数,判断电气接插件焊点合格与否,具体参照图4所示,将原始电气接插件截面外切矩形图像的RGB颜色空间转换到对色彩识别更为方便有效的HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;再对二值图像进行开操作去除噪点,闭操作弥合孔洞、填补截面轮廓线断裂,获得清晰平滑的焊点图;然后沿着中心圆圆周遍历一周,忽略细窄间断的影响,获得焊点数,并与标准电气接插件截面焊点数对比,判断电气接插件焊点合格与否。
本发明具体实现方式如下:
(1)读入摄像机所采集的原始图像;
(2)在原始图像中提取多组圆心及半径;
(3)RANSAC加权平均定位电气接插件截面圆心;
(4)选择排序求得电气接插件截面内圆外半径,提取截面区域方形图像;
(5)OTSU自动获取分割阈值,二值化截面区域方形图像;
(6)开操作去噪点、闭操作弥孔洞,主方向加权平均得截面内圆圆环的宽度及中心圆半径;
(7)获得原始电气接插件截面外切矩形图像的HSV空间的H通道图像,利用焊点的颜色阈值二值化图像;
(8)对H通道二值图像进行开操作、闭操作,获得清晰焊点图;
(9)在焊点图上提取电气接插件焊点数,判断电气接插件焊点合格与否。
其中,步骤(2)提取圆心及半径采用Hough圆检测方法,具体如下:
(21)定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
(22)使用Canny算子对原始图像进行边缘检测,并将图像二值化,得到边缘图像;
(23)将图像空间中的边缘点映射到参数空间中,圆心坐标(a,b)及半径r为参数空间中的三个变量;
(24)在半径范围[minR,maxR]中,对某一个边缘点所对应的r1,可以确定出一组圆心坐标(ai1,bi1)值,将(ai1,bi1)值投票到r1层的累加器上;对另一个边缘点所对应的半径r2,可以确定出一组圆心坐标(ai2,bi2)值,将(ai2,bi2)值投票到r2层的累加器上;以此类推,可得到每一个边缘点所对应的三维累加阵列(aij,bij,rj);
(25)通过三维累加计算,得到最大累加值对应的圆心坐标及半径(a0,b0,r0),即得到被检测圆的3个参数,实现Hough圆检测。
其中,步骤(3)利用RANSAC剔除部分差异大的圆心坐标,再加权平均定位电气接插件截面圆心,具体如下:
(31)确定一个最小抽样集的视为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P,集合P的样本数#(P)>n,从P中随机抽取包含n个样本的P的子集S初始化模型M;
(32)P的余集Sc中与模型M的误差小于某一设定阈值thc的样本集以及S构成S*,S*认为是内点集,它们构成S的一致集;
(33)若#(S*)≥thN,认为得到正确的模型参数,并利用集S*采用最小二乘法重新计算新的模型M*;重新随机抽取新的S,重复以上过程;
(34)在完成一定的抽样次数Nsamp后,若未找到一致集则算法失败;否则选取抽样后得到的最大一致集判断内外点,算法结束;
(35)对所有的内点做加权平均计算圆心坐标的平均值:
(36)其中N为组数,(xi,yi)为一组圆参数;坐标平均值(xaverage,yaverage)即为最终的电气接插件截面圆心坐标(xfinal,yfinal)。
其中,步骤(4)选择排序求得电气接插件截面内圆外半径,提取截面区域方形图像,实现方法如下:
(41)设对应步骤(35)中所有内点所对应的圆半径的集合为R=[r1,r2...rN],并假设r1为初始最小圆半径,进行如下循环,求得最终最小圆半径:
此最终最小圆半径即为电气接插件截面内圆外半径rfinal;
(42)在原始图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰;将提取到的电气接插件截面区域方形图像作为图像处理第(5)、第(6)步骤的输入图像。
其中,步骤(5)使用OTSU自动获取分割阈值,二值化截面区域方形图像,实现方法如下:
(51)计算输入图像的归一化直方图,使用pi,i=1,2...L-1表示该直方图的各个分量;
(52)对于k=1,2...L-1,计算累积和P1(k):
(53)对于k=1,2...L-1,计算累积均值m(k):
(54)计算全局灰度均值mG:
(55)对于k=1,2...L-1,计算类间方差
使得最大的k值,即为OTSU阈值k*,此时的阈值k*=Tgmax为OTSU分割阈值。对输入图像进行如下分割:
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值。
其中,步骤(6)开操作去噪点、闭操作弥孔洞,主方向加权平均得截面内圆圆环的宽度及中心圆半径,实现方法如下:
(61)腐蚀:作为Z2中的集合A和B,表示为A⊙B的B对A的腐蚀定义为:
上式表明B对A的腐蚀的结果是所有z的集合,其中B平移z后仍在A中;换句话说,用B腐蚀A得到的集合是B完全包括在A中时B的原点位置的集合;
(62)膨胀:作为Z2中的集合A和B,表示为的B对A的膨胀定义为:
上式表明B对A的膨胀的过程是先对B做关于原点的映射,再将其映像平移z,并要求A和B映像的交集不为空集;换句话说,用B来膨胀A得到的集合的位移与A中至少有一个非零元素相交时B的原点位置的集合;
(63)记R1ker为开操作核函数的半径,使用的核函数是圆形核函数,其对应的核函数表示为B1ker,则开操作定义如下:
开操作的作用是去除图像中孤立的噪点和细的突出物;
(64)记R2ker为闭操作核函数的半径,使用的核函数是圆形核函数,其对应的核函数表示为B2ker,则闭操作定义如下:
闭操作的作用是弥合孔洞、填补截面轮廓线断裂,实际操作中,R2ker大于R1ker,这样可以在去掉相对小的噪点的同时,弥合大的孔洞和断裂处;
(65)为获得截面内圆圆环的宽度,采用加权八个主方向上圆环环宽并求平均,八个主方向分别为:0°、45°、90°、135°、180°、225°、270°、315°;统计某一方向在内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
(66)中心圆圆心坐标与截面圆心坐标相同,中心圆半径为截面内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为(xfinal,yfinal,rmid)。
其中,步骤(7)获得原始电气接插件截面外切矩形图像的HSV空间的H通道图像,利用焊点的颜色阈值二值化图像,实现方法如下:
(71)HSV(Hue,Saturation,Value)是根据颜色的直观特性创建的一种颜色空间,这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V);由原始电气接插件截面外切矩形图像的RGB空间得到H通道的公式为:
其中,
(72)由于焊点的颜色与电气接插件截面圆及背景的颜色存在明显差异,设焊点H通道的颜色阈值上下限分别为为th1H、th2H,则图像二值化公式为:
其中,h(x,y)表示H通道的图像,gH(x,y)为二值化后的H通道图像;
其中,步骤(8)对H通道二值图像进行开操作、闭操作获得清晰焊点图,实现方法如下:
(81)开操作与闭操作的具体实现方法同步骤(6)中的(61)、(62)、(63)、(64)小节;
(82)经过开操作、闭操作的处理,得到清晰的焊点图,图中有少量阈值分割留下的大的噪点。
其中,步骤(9)在焊点图上提取电气接插件焊点数,判断电气接插件焊点合格与否,实现方法如下:
(91)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在步骤(8)获得的焊点二值图上做圆。然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零像素值的间隔numgap小于某一阈值thgap,为同一焊点。获得焊点的数量为numJoints:
(92)将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
本发明解决了由于摄像机与电气接插件截面相对位置不固定,导致在采集到的图像上电气接插件截面中心圆位置不固定的问题,以及由于检测场所环境的影响和电气接插件截面尺寸很小需要放大成像导致图像质量较低,需要对图像进行相应的预处理的问题。不仅可以消除人工检查所造成的主观误差提高检测一致性,而且可以提高效率和精度、保障人员安全,同时具有非接触性等优势。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (3)
1.一种快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,包括步骤如下:
1)读入摄像机所采集的原始图像;
2)将原始图象变换为灰度图像,对灰度图像进行高斯滤波;并确定截面圆心及内圆外半径,根据得到的电气接插件截面圆心及内圆外半径提取截面区域方形图像,去除背景干扰;
3)在步骤2)中得到的截面区域方形图像上进行最大类间方差(OTSU)二值化处理,分离出电气接插件截面与背景,同时获得其二值化的图像,对二值图像先进行开操作去除噪点,再进行闭操作弥合孔洞、填补截面轮廓线断裂;
4)获取截面最大类间方差二值图像各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径;
5)将原始电气接插件截面外切矩形图像的RGB颜色空间转换到HSV颜色空间,分割出H通道图像,利用焊点的颜色阈值对图像进行二值化处理;
6)对H通道二值图像先进行开操作去除噪点、再进行闭操作弥合孔洞,获得清晰的焊点图像,在此图像上画出步骤4)获得的截面中心圆,遍历检测得到圆上的焊点数,与标准电气接插件焊点数量比对,判断电气接插件焊点合格与否;
其中,所述步骤2)中具体包括:设置最大最小半径,对图像进行Hough圆检测,使用加权平均法和选择排序法分别确定截面圆心及内圆外半径;
所述步骤2)提取电气接插件截面圆心及内圆外半径,进而提取截面区域方形图像,具体包括以下步骤:
2.1)根据现场拍摄情况及电气接插件截面灰度图像大小W×H,定义截面内圆外半径最小值minR及截面内圆外半径最大值maxR作为Hough圆检测的其中两个输入参数,具体计算公式为:
minR=floor(min(W,H)/4)
maxR=floor(min(W,H)/2)
其中,W为图像的宽度,H为图像的高度;
2.2)对灰度图像进行Hough圆检测,得到满足2.1)中条件的多组圆心坐标及对应内圆外半径,即(xi,yi,ri)为一组圆参数;对所有圆心坐标(xi,yi)分别进行随机采样一致性RANSAC操作并加权平均,即剔除与大多数圆心坐标相差较大的结果,对剩下的圆心坐标进行加权平均,得到最终圆心坐标(xfinal,yfinal),对所有的半径ri进行选择排序,得到最小的半径值为最终内圆外半径rfinal;
2.3)在灰度图像中,以圆心坐标(xfinal,yfinal)为中心点,2×rfinal为边长,提取电气接插件截面区域方形图像,去除背景干扰,将提取到的电气接插件截面区域方形图像作为图像处理步骤3)、步骤4)的输入图像;
所述步骤6)遍历中心圆圆周,得到电气接插件焊点数,具体包括以下步骤:
6.1)记R1ker、R2ker分别为开操作和闭操作圆形核函数的半径,首先对H通道的二值图像进行半径为R1ker的开操作去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞,获得清晰平滑的焊点图,其中焊点是像素值为255的白块,背景是像素值为0的暗底;
6.2)以圆心(xfinal,yfinal)为圆心、半径rmid为半径在上述获得的焊点二值图上做圆,然后以(xfinal-rmid,yfinal)为起点,沿着中心圆圆周遍历一周,忽略细窄间断的影响,即认为当非零值的间隔numgap小于某一阈值thgap,为同一焊点,获得焊点的数量为numJoints:
<mrow>
<msub>
<mi>num</mi>
<mrow>
<mi>J</mi>
<mi>o</mi>
<mi>int</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>num</mi>
<mrow>
<mi>J</mi>
<mi>o</mi>
<mi>int</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>+</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>num</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>th</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>num</mi>
<mrow>
<mi>J</mi>
<mi>o</mi>
<mi>int</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>num</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mo><</mo>
<msub>
<mi>th</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
将获得的焊点数量与标准电气接插件截面的焊点数量numStandJoints比对,判断电气接插件焊点合格与否:
2.根据权利要求1所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤3)获取的截面二值图像及形态学处理,具体包括以下步骤:
3.1)记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1;则图像的总平均灰度为:u=w0u0+w1u1,前景和背景的方差为:g=w0(u0-u)2+w1(u1-u)2=w0w1(u1-u0)2,那么当方差g最大时,则此时的阈值Tgmax为OTSU分割阈值,则对输入图像进行如下分割:
<mrow>
<mi>g</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>255</mn>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<msub>
<mi>T</mi>
<mrow>
<mi>g</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<msub>
<mi>T</mi>
<mrow>
<mi>g</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中f(x,y)为输入图像在位置(x,y)处像素值,g(x,y)为输出二值图像在点(x,y)处的像素值;
3.2)记R1ker、R2ker分别为开操作和闭操作核函数的半径,并且所使用的核函数均为圆形核函数,首先对二值图像进行半径为R1ker的开操作去除图像中孤立的噪点和细的突出物;再对图像进行半径为R2ker的闭操作A·B,弥合孔洞、填补截面轮廓线断裂
3.根据权利要求2所述的快速自动检测电气接插件焊点不合格品的图像处理方法,其特征在于,所述步骤4)计算各方向上轮廓线宽度,采用加权平均的方法获得其均宽,进而得到中心圆的半径,具体包括以下步骤:
4.1)采用加权各个方向上环宽并求平均,获得电气接插件截面内圆圆环的宽度;使用八个主方向的加权均值,八个方向分别为:
0°、45°、90°、135°、180°、225°、270°、315°,统计某方向在上述2.2)中求得的内圆外半径rfinal内的非零值的个数,即为该方向上的圆环环宽WiRing,最终圆环环宽为:
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>R</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>8</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>8</mn>
</munderover>
<msub>
<mi>W</mi>
<mrow>
<mi>i</mi>
<mi>R</mi>
<mi>i</mi>
<mi>n</mi>
<mi>g</mi>
</mrow>
</msub>
</mrow>
4.2)在上述步骤2.2)中已获得内圆圆心的坐标(xfinal,yfinal)、内圆外半径rfinal,其中内圆圆心和中心圆圆心坐标相同,中心圆半径为内圆外半径减去圆环环宽的一半:rmid=rfinal-WRing/2,故中心圆的圆参数为:(xfinal,yfinal,rmid)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510494268.XA CN105139386B (zh) | 2015-08-12 | 2015-08-12 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510494268.XA CN105139386B (zh) | 2015-08-12 | 2015-08-12 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105139386A CN105139386A (zh) | 2015-12-09 |
CN105139386B true CN105139386B (zh) | 2017-12-26 |
Family
ID=54724719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510494268.XA Expired - Fee Related CN105139386B (zh) | 2015-08-12 | 2015-08-12 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105139386B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106093074B (zh) * | 2016-06-16 | 2020-01-07 | 广东工业大学 | 一种基于鲁棒主成分分析的ic元件焊点检测方法 |
CN106228546B (zh) * | 2016-07-13 | 2019-01-29 | 广州视源电子科技股份有限公司 | 一种板卡的检测方法及装置 |
CN106971391A (zh) * | 2017-02-24 | 2017-07-21 | 北京理工大学珠海学院 | 一种基于颜色识别的多模板定位浸锡检测方法 |
CN107507182B (zh) * | 2017-09-25 | 2019-10-25 | 电子科技大学 | 一种基于x射线图像的bga焊球提取方法 |
CN108230388B (zh) * | 2018-02-06 | 2021-04-23 | 广西艾盛创制科技有限公司 | 一种白车身焊点图像的识别定位方法 |
CN108921828B (zh) * | 2018-06-15 | 2022-04-22 | 湖南科技大学 | 一种复杂场景下不显著焊缝识别方法 |
CN109540464A (zh) * | 2018-09-11 | 2019-03-29 | 重庆惠科金渝光电科技有限公司 | 一种测量方法和测量装置 |
CN109741314A (zh) * | 2018-12-29 | 2019-05-10 | 广州博通信息技术有限公司 | 一种零件的视觉检测方法及系统 |
CN110006911B (zh) * | 2019-04-19 | 2021-07-27 | 天津工业大学 | 一种应用于含螺钉的金属表面多条划痕检测方法 |
CN110910363A (zh) * | 2019-11-15 | 2020-03-24 | 上海交通大学 | 基于机器视觉和深度学习的虚焊检测方法、系统及介质 |
KR102622753B1 (ko) | 2020-02-17 | 2024-01-10 | 삼성에스디아이 주식회사 | 이차전지용 레이저 용접 방법 및 모니터링 방법 |
CN111504194A (zh) * | 2020-05-15 | 2020-08-07 | 深圳市振邦智能科技股份有限公司 | 应用在焊点检测aoi中的焊点定位方法 |
CN113450400A (zh) * | 2021-06-28 | 2021-09-28 | 思享智汇(海南)科技有限责任公司 | 基于可变对象的碰撞检测方法、游戏交互方法及直播系统 |
CN113724216B (zh) * | 2021-08-24 | 2023-03-21 | 广东工业大学 | 一种波峰焊点缺陷检测方法及系统 |
CN114022464B (zh) * | 2021-11-10 | 2024-06-14 | 广东工业大学 | 一种贴片电阻焊点内部空洞自适应检测方法 |
CN113935991B (zh) * | 2021-12-13 | 2022-04-29 | 浙江托普云农科技股份有限公司 | 玉米横截面参数测量方法、系统、电子设备及可存储介质 |
CN116385435B (zh) * | 2023-06-02 | 2023-09-26 | 济宁市健达医疗器械科技有限公司 | 基于图像分割的制药胶囊计数方法 |
CN116883434B (zh) * | 2023-09-05 | 2023-11-17 | 昆明理工大学 | 一种基于语义分割的加速度传感器芯片封装缺陷检测方法 |
CN117893553B (zh) * | 2024-03-15 | 2024-05-31 | 宝鸡鼎钛金属有限责任公司 | 一种图像处理的钛金属分割方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7162073B1 (en) * | 2001-11-30 | 2007-01-09 | Cognex Technology And Investment Corporation | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object |
CN101358836A (zh) * | 2008-09-28 | 2009-02-04 | 西安理工大学 | 基于计算机视觉识别焊点中心位置的方法 |
CN101661004A (zh) * | 2009-07-21 | 2010-03-03 | 湖南大学 | 一种基于支持向量机的电路板焊接质量视觉检测方法 |
CN101915769A (zh) * | 2010-06-29 | 2010-12-15 | 华南理工大学 | 一种印刷电路板中带电阻元件的自动光学检测方法 |
-
2015
- 2015-08-12 CN CN201510494268.XA patent/CN105139386B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7162073B1 (en) * | 2001-11-30 | 2007-01-09 | Cognex Technology And Investment Corporation | Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object |
CN101358836A (zh) * | 2008-09-28 | 2009-02-04 | 西安理工大学 | 基于计算机视觉识别焊点中心位置的方法 |
CN101661004A (zh) * | 2009-07-21 | 2010-03-03 | 湖南大学 | 一种基于支持向量机的电路板焊接质量视觉检测方法 |
CN101915769A (zh) * | 2010-06-29 | 2010-12-15 | 华南理工大学 | 一种印刷电路板中带电阻元件的自动光学检测方法 |
Non-Patent Citations (2)
Title |
---|
一种焊点缺陷检测方法的研究;马吉权 等;《哈尔滨商业大学学报(自然科学版)》;20080630;第24卷(第3期);第355-357,362页 * |
图像处理技术在焊点检测中的应用;孙晓婷;《湖南城市学院学报(自然科学版)》;20121231;第21卷(第4期);第65-68页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105139386A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105139386B (zh) | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 | |
CN107705288B (zh) | 伪目标运动强干扰下的危险气体泄漏红外视频检测方法 | |
CN109613002B (zh) | 一种玻璃缺陷检测方法、装置和存储介质 | |
CN107895376A (zh) | 基于改进Canny算子和轮廓面积阈值的太阳能电池板识别方法 | |
CN109741314A (zh) | 一种零件的视觉检测方法及系统 | |
CN108280822A (zh) | 屏幕划痕的检测方法及装置 | |
CN104331710B (zh) | 开关状态识别系统 | |
CN106682665B (zh) | 一种基于计算机视觉的七段式数显仪表数字识别方法 | |
CN110646425B (zh) | 一种烟叶在线辅助定级方法及系统 | |
CN102915432B (zh) | 一种车载微机图像视频数据提取方法及装置 | |
CN108090429A (zh) | 一种分级前脸卡口车型识别方法 | |
CN105453153A (zh) | 交通灯检测 | |
CN104182952B (zh) | 多聚焦序列图像融合方法 | |
Hati et al. | Plant recognition from leaf image through artificial neural network | |
CN103177445B (zh) | 基于分段阈值图像分割及光斑识别的室外番茄识别方法 | |
CN111047655A (zh) | 基于卷积神经网络的高清摄像机布料疵点检测方法 | |
CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
CN113537182B (zh) | 染色体中期分裂相显微图像的自动识别方法与系统 | |
CN103440035A (zh) | 一种三维空间中的手势识别系统及其识别方法 | |
CN107895362A (zh) | 一种微型接线端子质量检测的机器视觉方法 | |
CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
CN107273884A (zh) | 一种基于移动终端摄像头的车辆牌照识别方法 | |
WO2021000948A1 (zh) | 配重重量的检测方法与系统、获取方法与系统及起重机 | |
CN114387269B (zh) | 一种基于激光的纤维丝缺损检测方法 | |
CN106650735A (zh) | 一种led字符自动定位识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171226 |