CN110490847B - 基于视觉的led芯片质量检测方法 - Google Patents
基于视觉的led芯片质量检测方法 Download PDFInfo
- Publication number
- CN110490847B CN110490847B CN201910698777.2A CN201910698777A CN110490847B CN 110490847 B CN110490847 B CN 110490847B CN 201910698777 A CN201910698777 A CN 201910698777A CN 110490847 B CN110490847 B CN 110490847B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- area
- pixel
- led chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000011324 bead Substances 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 22
- 230000009191 jumping Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 17
- 238000004519 manufacturing process Methods 0.000 abstract description 11
- 230000006872 improvement Effects 0.000 abstract 2
- 230000009467 reduction Effects 0.000 abstract 1
- 230000007547 defect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 241000208818 Helianthus Species 0.000 description 3
- 235000003222 Helianthus annuus Nutrition 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种基于视觉的LED芯片质量检测方法包括:工业相机获取LED芯片图像,对图像采取自适应阈值化处理,LED芯片图像基于连通域提取边缘轮廓点,对边缘轮廓点进行筛选通过最小二乘法拟合椭圆,对椭圆做逆尺度变换得到放大后的LED椭圆轮廓图像,截取感兴趣区域图像,计算不同情况下的分割阈值,分割后的图像进行膨胀处理,膨胀处理后的图像进行形态学闭运算消除细小孔洞,对孔洞区域进行连通域标记,设定阈值剔除小于阈值的区域,检测灯珠损坏区域,显示损坏区域轮廓,从而检测LED芯片质量。本发明优点在于测试精准,测试过程中对芯片电极不造成损伤,节约人工成本,降低产品误检率,提高生产效率和企业利润。
Description
技术领域
本发明涉及LED芯片质量检测领域,特别涉及一种基于视觉的LED芯片质量检测方法。
背景技术
LED是发光二极管的缩写,基本结构是一块电致发光的半导体材料。随着行业的发展,led的光效不断提高,价格持续下降,以其节能、环保、安全、高亮度、寿命长、防水、防震等多种优势,广泛应用与各种照明、显示、装饰等领域。
LED芯片的制造过程可分为晶圆处理工序、晶圆针测工序、构装工序、测试工序等,在制造过程中由于生产工艺不够完善,制作的芯片会出现局部导电不良而无法发光的情况,一些LED芯片制造企业的产品质量和可靠性不高,难以形成良性循环的规模效应。除了投资规模有限、设备落后等原因外,在工艺质量检测中,还存在着许多薄弱环节,如芯片缺陷的测定等,而且是比较普遍存在的问题。由于LED芯片尺寸较小,在芯片外延生长过程中出现的缺陷,无论在生产过程中还是在成品质量检测时,均无方便有效的检测方法及设备,使有缺陷的LED芯片流到封装厂、成品应用端,最终流向市场及终端用户,导致整个行业质量混乱,甚至司法纠纷。
现有LED芯片质量检测方法为,对芯片通电测试,检测其光电参数是否在管控范围内。由于受LED芯片检测设备限制,现有LED芯片存在圆片和方片之分。圆片为LED芯片未经过测试筛选,直接流向封装厂,成本较低,但芯片的缺陷也无法检测出来;方片为LED芯片出厂前经测试设备筛选并分类,成本较高,测试速度慢,测试过程中,探针对芯片电极有一定损伤,且还会因探针与芯片电极接触问题而导致测试不准。
目前国内一些企业对LED芯片质量还采用人工检测。工人佩戴墨镜,通过观察正在发光的芯片表面是否存在暗区,若存在则表示芯片质量不合格。大部分企业的LED芯片主要应用于路灯产品,亮度较强,长时间观察容易产生视觉疲劳,甚至对人眼产生损伤,且人眼观察主观性较强,不够鲁棒,人工成本也较高。
发明内容
为了解决通电测试和人工检测方式存在的缺点,提高检测精度和稳定性,本发明提供了一种基于视觉的LED芯片质量检测方法,通过加滤光片的工业相机拍摄正在发光的LED芯片,通过阈值分割技术检测并判断LED芯片质量。
基于视觉的LED芯片质量检测方法,其特征在于,所述的检测方法包括以下步骤:
步骤1,采用工业相机以5秒1次的拍摄速度,全局曝光的方式获取LED芯片图像;
步骤2,对获取到的LED芯片图像进行缩放尺度变换,对缩放后的LED芯片图像采取自适应阈值化处理;
步骤3,经过自适应阈值化处理的LED芯片图像基于连通域提取边缘轮廓点,筛选出最大轮廓和、或将不同轮廓合成一个;
步骤4,对边缘轮廓点采用随机抽样一致性算法(RANSAC)进行筛选,对筛选后的边缘轮廓点通过最小二乘拟合椭圆,并对椭圆做逆尺度变换得到放大后的LED椭圆轮廓图像;
步骤5,在放大后的LED椭圆轮廓图像中截取小的感兴趣区域图像(ROI)计算不同情况下的分割阈值;
步骤6,通过计算得到的分割阈值对大的感兴趣区域图像(ROI)进行分割,分割后的图像进行膨胀处理,膨胀处理后的图像进行形态学闭运算消除细小孔洞;
步骤7,判断损坏区域,首先对孔洞区域进行连通域标记,设定阈值,将小于阈值的区域剔除,存储孔洞区域并去除面积最大背景区域,检测灯珠损坏区域,显示损坏区域轮廓,从而检测LED芯片质量。
进一步,所述的对缩放后的LED芯片图像采取自适应阈值化处理,包含以下步骤:
步骤2.1,遍历经过缩放后的LED芯片图像,计算图像中灰度值i=0,1,2...255的像素数量在图像中的占比pi;
步骤2.6,得到阈值k*,即使得类间方差最大,如果最大值不具有唯一性,通过对计算得到的各个最大值k取平均得到k*;
步骤2.7,遍历图像,若像素值小于k*,则设为0,若大于则设为255。
进一步,所述的基于连通域提取边缘轮廓点,包含以下步骤:
步骤3.1,将自适应阈值化处理的LED芯片图像转化为0-1二值图像;
步骤3.2,扫描图像,判断当前像素值为1的像素点是否为边缘点,若是则跳到步骤3.3,若不是,则继续扫描;
步骤3.3,若当前像素点为边缘点,则将当前像素位置压入栈中,并赋予新的标记值,然后将该像素位置8邻域内的前景像素位置全部压入栈中;
步骤3.4,弹出栈顶像素位置,判断是否为边缘像素点,若不是边缘像素点,重新进行步骤3.4;若是,则赋予其与上一步相同的标记值,再将该像素位置8邻域内的前景像素位置全部压入栈中;
步骤3.5,重复步骤3.3、步骤3.4过程,直至栈为空;
步骤3.6,重复步骤3.2-3.5,直至图像扫描结束。
进一步,采用随机抽样一致性算法(RANSAC)筛选轮廓内点,包含以下步骤:
步骤4.1,将获取的所有轮廓点集合为一个,将所有轮廓点均分为5部分,每一部分中任取1个点,对5个点拟合椭圆;
步骤4.2,计算椭圆上的点到两个焦点的距离之和D;
步骤4.3,计算轮廓中每个点到两个焦点的距离之和di,得到残差|di-D|,若残差值小于阈值T,则该点为内点,否则为外点,记录内点的总数量Num;
步骤4.4,重复步骤4.1-4.3,经过m次循环之后,得到内点数量Num最大时对应的所有内点坐标;
步骤4.5,对筛选后的内点进行最小二乘拟合椭圆,将参数放大5倍即可得到原图像中的LED轮廓椭圆。
进一步,由于随机抽样一致性算法(RANSAC)算法具有随机性,为保证能够较为稳定的得到最优解,需要设置较大的迭代次数,迭代次数可由公式求出:
其中,p表示拟合成功的概率,n表示每次迭代抽取的点数目,w表示内点在所有轮廓点中所占的概率。
进一步,所述的在放大后的LED椭圆轮廓图像中截取小的感兴趣区域图像(ROI)计算不同情况下的分割阈值,包含以下步骤:
步骤5.1,统计区域内的像素值分布,得到分布最多的像素值i,计算此像素值对应的数量Ni在小ROI区域中的占比Pi=Ni/roiArea;
步骤5.2,若Pi>0.15,表明此像素值对应的数量Ni在小的感兴趣区域图像(ROI)中的占比相对较高,则阈值T=i-(1-Pi)*100,否则执行步骤5.3;
步骤5.3,判断是否i>250,若i>250表明整个区域的像素值集中分布在250-255之间,则遍历像素值j=i,i-1,i-2...0,一旦Pj<Ni/10时,跳出遍历,阈值T=j-20,若不是则执行步骤5.4;
步骤5.4,若i<250,表明整个感兴趣区域图像(ROI)较暗,遍历像素值j=i,i-1,i-2...0,寻找满足Pj>Ni/10的像素值中最小的j,阈值T=j-20。
进一步,所述的通过计算得到的阈值对大的感兴趣区域图像(ROI)进行分割,以LED所在椭圆中心为中心,椭圆长轴加上10个像素为边长,截取感兴趣区域图像(ROI)。加上10个像素是为了能够保证ROI区域内四周的黑色区域连接起来。
进一步,所述的分割后的图像进行膨胀处理,膨胀处理是一个求局部最大值的过程,采用5x5的矩形滤波核,遍历图像,以当前像素值为中心,在5x5范围内的像素值选取最大值作为新的像素值。
进一步,所述的判断损坏区域,包含以下步骤:
步骤6.1,通过种子填充方法(seed-filling)对像素值为0的各连通区域进行标记,获取每个标记值对应的区域面积;
步骤6.2,对每个标记值的区域面积与设定的最小损坏区域面积阈值进行比较,若大于此阈值,则保留此标记,否则将其去除;
步骤6.3,在保留的标记值中去除面积最大的标记值,此区域对应LED椭圆轮廓之外的黑色区域;
步骤6.4,判断此时所保存的标记值数量;若数量为0,则表示没有发现未损坏区域,芯片质量合格;若大于0,则表示发现了损坏区域,芯片质量不合格,将标记值对应的区域轮廓绘制到图像中,反馈判断结果。
本发明优点在于:
1.本发明具有成本较低,测试速度快,测试过程中对芯片电极不造成损伤,测试精准,帮助企业更快速、准确的对LED芯片质量进行评价,节约人工成本,降低产品误检率,并能迅速对生产问题进行响应,提高生产效率和企业利润。
说明书附图
图1是LED芯片检测方法流程图。
图2是不同色温下的LED芯片图像。
图3是自适应阈值化处理的LED芯片图像。
图4是LED芯片图像的轮廓提取。
图5是经过最小二乘拟合的LED芯片椭圆轮廓。
图6是LED芯片小ROI区域和灰度值分布直方图。
图7分别是原图(左)、自适应阈值化分割(中)和本发明阈值分割方法(右)。
图8是LED芯片检测缝隙区域误判图像。
图9是通过形态学闭运算处理前后LED芯片对比图像。
图10是LED芯片最终检测效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
针对现有技术存在的不足,提供了一种基于视觉的LED芯片质量检测方法,从而实现提高检测精度和稳定性的优点。
作为一种实施方式,如图1所示,首先需要采集图像,LED芯片封装到太阳花模组中并组装完成,通电后发光,此时在生产线正上方50cm处架设带滤光片的工业相机。
检测精度定为0.1mm,由于LED芯片为方形,故需设定好宽度分辨率。LED芯片边长20mm,相机宽度视野设为30mm,因此得到宽度方向分辨率为300,长度方向分辨率约为450左右。实际应用一般会选取计算值的2-3倍来确保精度,因此选择30万像素值的工业相机。
虽然拍摄时芯片处于运动状态,曝光方式选择全局曝光。拍摄速度约为5秒1此,因此帧数无要求。
经过上述分析,最终选用海康的MV-CE003-20GM的工业相机,CMOS芯片,全局曝光,镜头选取computar公司焦距25mm的Mxxxx镜头。如图2所示为不同色温下的LED芯片图像,拍摄时由于太阳花模组的透镜折射,图2所示的LED芯片为椭圆形。
作为一种实施方式,需要进行图像处理,有的LED芯片缺陷存在于芯片内部,有的存在于芯片边缘,为了计算损坏区域的大小,首先需要获取完整的LED轮廓。在初始图中检测边缘轮廓进行椭圆拟合存在以下问题:
1.原图中存在较大噪声,直接进行边缘检测效果极差;
2.灯珠不亮的区域贯穿LED芯片,将芯片区域分割成几部分,获取完整的芯片轮廓存在一定困难;
3.LED芯片由方形灯珠组成,部分轮廓区域呈现锯齿形。部分缺陷区域比如位于芯片边缘的大面积缺陷,不但损失了原本的轮廓边缘,还产生了较大部分的伪边缘,这两点对拟合完整的LED椭圆产生了极大的影响。
优选的,为解决以上问题做了以下处理。首先对图像进行缩放,将长宽分别缩小至原来的1/5,此方法缩小了锯齿形轮廓的影响。
优选的,如图3所示,对图像进行自适应阈值化处理,算法实现步骤如下:
第一步,遍历图像,计算图像中灰度值i=0,1,2...255的像素数量在图像中的占比pi;
第六步,得到阈值k*,即使得类间方差最大,如果最大值不具有唯一性,通过对计算得到的各个最大值k取平均得到k*;
第七步,遍历图像,若像素值小于k*,则设为0,若大于则设为255。
优选的,如图4所示为对上述图片采用基于连通域提取的轮廓跟踪,连通域提取有4连通域提取和8连通域提取,因为8连通域能够更精确的描述图像的轮廓信息,因此使用更多。
算法原理如下:
1.将原图像转化为0-1二值图像;
2.扫描图像,直至像素点值B(x,y)=1;
a.判断像素点是否为边缘点,若是,则跳到b,若不是,则重复2步骤进行扫描;
b.若当前像素点为边缘点,则将当前像素位置压入栈中,并赋予新的label值,然后将该像素位置8邻域内的前景像素位置全部压入栈中;
c.弹出栈顶像素位置,判断是否为边缘像素点,若不是边缘像素点,重新进行c步骤;若是,则赋予其与上一步相同的label值,再将该像素位置8邻域内的前景像素位置全部压入栈中;
d.重复b、c过程,直至栈为空;
3.重复步骤2,直至图像扫描结束。
如图3所示,检测结果中存在大量伪轮廓,需要先对轮廓点进行筛选。
优选的,本发明采用了基于随机采样的外点去除方法,其原理步骤如下:
第一步,将获取的所有轮廓点集合为一个,将所有轮廓点均分为5部分,每一部分中任取1个点,对5个点拟合椭圆;
第二步,计算椭圆上的点到两个焦点的距离之和D;
第三步,计算轮廓中每个点到两个焦点的距离之和di,得到残差|di-D|,若残差值小于阈值T,则该点为内点,否则为外点,记录内点的总数量Num;
第四步,重复步骤1到步骤3,经过m次循环之后,得到内点数量Num最大时对应的所有内点坐标;
第五步,对筛选后的内点进行最小二乘拟合,得到椭圆模型。
优选的,由于RANSAC算法具有随机性,为保证能够较为稳定的得到最优解,需要设置较大的迭代次数,迭代次数可由公式求出:
p表示拟合成功的概率,n表示每次迭代抽取的点数目,w表示内点在所有轮廓点中所占的概率。p为0.99,n为5,w为0.6计算得迭代次数为57。经测试阈值T为3时效果最好。
如图5所示,经过上述方法进行外点去除之后,对剩下的点进行最小二乘拟合椭圆,将参数放大5倍即可得到原图像中的LED轮廓椭圆。
已获取到LED芯片椭圆轮廓,接下来需要将损坏的区域分割出来。
作为一种实施方式,本项目对应LED产品包含功率60W和75W,色温在1900K、3000K及5000K等多种类型。要求所使用的方法对60W、1900K色温下的图片和75W、5000K色温下的图片均适用。经测试,曝光时间为100us时效果最佳。此时,以椭圆中心为中心,以椭圆短轴长度为边长,截取ROI区域,统计内部的灰度值分布,所占最多的部分即为LED芯片灯珠的发光亮度。
如图6所示,最大的分布均在255处,但a图中,在像素值180-220范围内仍有较大分布,这部分主要分布在灯珠之间的缝隙处,考虑到这部分区域,本文通过如下方法获取分割阈值:
1.统计区域内的像素值分布,得到分布最多的像素值i,计算此像素值对应的数量Ni在小ROI区域中的占比Pi=Ni/roiArea;
2.若Pi>0.15,则阈值T=i-(1-Pi)*100,不满足则进行下一步;
3.若判断是否i>250,若不是则进入下一步,若是则遍历像素值j=i,i-1,i-2...0,一旦Pj<Ni/10时,跳出遍历,阈值T=j-20;
4.若i<250,遍历像素值j=i,i-1,i-2...0,寻找满足Pj>Ni/10的像素值中最小的j,阈值T=j-20。
如图7所示,经试验证明用此方法得到的阈值T对图像进行分割,效果最好。
优选的,根据椭圆参数在椭圆中心截取小ROI矩形,相比大的ROI矩形,通常情况下都能保证合格灯珠的面积占到ROI区域一半以上,这样遍历整个区域计算0-255中每个像素值对应的分布概率,分布概率最多的像素值(一般为255)即为合格灯珠的像素值。全文认定最大分布占比对应的像素值为i,此像素值数量为最大分布数量。
若这个分布超过了0.15如图6(e)所示,其分布如图6(f)所示,则说明其他254个像素值的平均占比在0.85/254=0.003以下,意味着这个像素值分布数量比其他的高很多,则计算阈值T=i-(1-Pi)*100。
若分布占比不超过0.15,说明整个图像的灰度分布较为分散,此时,判断最大占比对应的像素值i是否大于250,若大于250,则说明整个区域的像素值集中分布在250-255之间。从i,i-1,i-2,,,0进行遍历,一旦像素值j的分布占比小于最大分布占比的十分之一时,跳出遍历,阈值T=j-20。
若最大占比所对应的像素值i<250,说明整个ROI区域较暗,上面两种情况下的像素值分布都可认为只有一个峰值(合格灯珠所占区域最多,对应的像素值处于峰值),但像素值i<250情况下,有可能会呈现两个峰值(灯珠之间的缝隙较暗,不合格灯珠对应的像素值也较暗,这样像素值小的区域占比增多,会在此处形成峰值)。如图6(b)所示,横坐标为0,1,2,,,255,纵坐标为像素值对应的分布占比。
因此遍历像素值j=i,i-1,i-2...0,寻找像素值j对应的分布占比的区别是此处没有跳出循环。若一旦降到红线处便跳出循环,则像素值j是n点,若不跳出循环,则像素值j对应图中的m点。如图6(a)所示(经实际测试),j=m点时分割效果更好,阈值T=j-20。
为减少计算量,以LED所在椭圆中心为中心,椭圆长轴加上10个像素为边长,截取大ROI区域,加上10个像素是为了能够保证ROI区域内四周的黑色区域连接起来。
如图6的右边所示,由于部分区域灯珠损坏较多,灯珠之间的缝隙处较暗,分割后被当成损坏区域,当缝隙相互连接时,有可能会误判为损坏区域,如图8所示是缝隙区域误判,为防止此种情况,对分割后的图像进行膨胀处理,膨胀处理是一个求局部最大值的过程。此处采用5x5的矩形滤波核,遍历图像,以当前像素值为中心,在5x5范围内的像素值选取最大值作为新的像素值,此方法可将缝隙区域大大缩小。
为了将损坏区域和四周的黑暗区域分开,将之前得到的LED椭圆在图像处画出(令椭圆位置处的像素值为255)。此时,由于椭圆的拟合误差,部分边缘区域的灯珠和椭圆连接处有较大的空洞出现,为防止相互连接,对图像进行了闭运算处理(先膨胀再腐蚀),如图9所示为形态学闭运算处理前后对比。
此时,对图像进行连通域提取,根据面积判断是否存在损坏区域,方法如下:
1.通过seed-filling方法对像素值为0的各连通区域进行标记,获取每个label值对应的区域面积;
2.对每个label值的区域面积与设定的最小损坏区域面积阈值进行比较,若大于此阈值,则保留此label,否则将其去除;
3.在保留的label值中去除面积最大的label值,此区域对应LED椭圆轮廓之外的黑色区域;
4.判断此时所保存的label值数量。若数量为0,则表示没有发现未损坏区域,芯片质量合格。若大于0,则表示发现了损坏区域,芯片质量不合格,将label值对应的区域轮廓绘制到图像中,最终得到如图10所示的最终检测效果图。
本发明的有益效果,基于视觉的LED芯片质量检测方法具有成本较低,测试速度快,测试过程中对芯片电极不造成损伤,测试精准,帮助企业更快速、准确的对LED芯片质量进行评价,节约人工成本,降低产品误检率,并能迅速对生产问题进行响应,提高生产效率和企业利润。
在缺少本文中所具体公开的任何元件、限制的情况下,可以实现本文所示和所述的发明。所采用的术语和表达法被用作说明的术语而非限制,并且不希望在这些术语和表达法的使用中排除所示和所述的特征或其部分的任何等同物,而且应该认识到各种改型在本发明的范围内都是可行的。因此应该理解,尽管通过各种实施例和可选的特征具体公开了本发明,但是本文所述的概念的修改和变型可以被本领域普通技术人员所采用,并且认为这些修改和变型落入所附权利要求书限定的本发明的范围之内。
本文中所述或记载的文章、专利、专利申请以及所有其他文献和以电子方式可得的信息的内容在某种程度上全文包括在此以作参考,就如同每个单独的出版物被具体和单独指出以作参考一样。申请人保留把来自任何这种文章、专利、专利申请或其他文献的任何及所有材料和信息结合入本申请中的权利。
Claims (1)
1.一种基于视觉的LED芯片质量检测方法,其特征在于,所述的检测方法包括以下步骤:
步骤1,采用工业相机以5秒1次的拍摄速度,全局曝光的方式获取LED芯片图像;
步骤2,对获取到的LED芯片图像进行缩放尺度变换,对缩放后的LED芯片图像采取自适应阈值化处理;
步骤3,经过自适应阈值化处理的LED芯片图像基于连通域提取边缘轮廓点,筛选出最大轮廓和、或将不同轮廓合成一个;
步骤4,对边缘轮廓点采用随机抽样一致性算法(RANSAC)进行筛选,对筛选后的边缘轮廓点通过最小二乘拟合椭圆,并对椭圆做逆尺度变换得到放大后的LED椭圆轮廓图像;
步骤5,在放大后的LED椭圆轮廓图像中截取小的感兴趣区域图像(ROI)计算不同情况下的分割阈值;
步骤6,通过计算得到的分割阈值对大的感兴趣区域图像(ROI)进行分割,分割后的图像进行膨胀处理,膨胀处理后的图像进行形态学闭运算消除细小孔洞;
步骤7,判断损坏区域,首先对孔洞区域进行连通域标记,设定阈值,将小于阈值的区域剔除,存储孔洞区域并去除面积最大背景区域,检测灯珠损坏区域,显示损坏区域轮廓,从而检测LED芯片质量;
所述的对缩放后的LED芯片图像采取自适应阈值化处理,包含以下步骤:
步骤2.1,遍历经过缩放后的LED芯片图像,计算图像中灰度值i=0,1,2...255的像素数量在图像中的占比pi;
步骤2.6,得到阈值k*,即使得类间方差最大,如果最大值不具有唯一性,通过对计算得到的各个最大值k取平均得到k*;
步骤2.7,遍历图像,若像素值小于k*,则设为0,若大于则设为255;
所述的基于连通域提取边缘轮廓点,包含以下步骤:
步骤3.1,将自适应阈值化处理的LED芯片图像转化为0-1二值图像;
步骤3.2,扫描图像,判断当前像素值为1的像素点是否为边缘点,若是则跳到步骤3.3,若不是,则继续扫描;
步骤3.3,若当前像素点为边缘点,则将当前像素位置压入栈中,并赋予新的标记值,然后将该像素位置8邻域内的前景像素位置全部压入栈中;
步骤3.4,弹出栈顶像素位置,判断是否为边缘像素点,若不是边缘像素点,重新进行步骤3.4;若是,则赋予其与上一步相同的标记值,再将该像素位置8邻域内的前景像素位置全部压入栈中;
步骤3.5,重复步骤3.3、步骤3.4过程,直至栈为空;
步骤3.6,重复步骤3.2-3.5,直至图像扫描结束;
所述的采用随机抽样一致性算法(RANSAC)筛选轮廓内点,包含以下步骤:
步骤4.1,将获取的所有轮廓点集合为一个,将所有轮廓点均分为5部分,每一部分中任取1个点,对5个点拟合椭圆;
步骤4.2,计算椭圆上的点到两个焦点的距离之和D;
步骤4.3,计算轮廓中每个点到两个焦点的距离之和di,得到残差|di-D|,若残差值小于阈值T,则该点为内点,否则为外点,记录内点的总数量Num;
步骤4.4,重复步骤4.1-4.3,经过m次循环之后,得到内点数量Num最大时对应的所有内点坐标;
步骤4.5,对筛选后的内点进行最小二乘拟合椭圆,将参数放大5倍即可得到原图像中的LED轮廓椭圆;
所述的随机抽样一致性(RANSAC)算法具有随机性,通过设置较大的迭代次数m得到稳定的最优解:
其中,p表示拟合成功的概率,n表示每次迭代抽取的点数目,w表示内点在所有轮廓点中所占的概率;
所述的在放大后的LED椭圆轮廓图像中截取小的感兴趣区域图像(ROI)计算不同情况下的分割阈值,包含以下步骤:
步骤5.1,统计区域内的像素值分布,得到分布最多的像素值i,计算此像素值对应的数量Ni在小ROI区域中的占比PI=Ni/roiArea;
步骤5.2,若PI>0.15,表明此像素值对应的数量Ni在小的感兴趣区域图像(ROI)中的占比相对较高,则阈值T=i-(1-PI)*100,否则执行步骤5.3;
步骤5.3,判断是否i>250,若i>250表明整个区域的像素值集中分布在250-255之间,则遍历像素值j=i,i-1,i-2...0,一旦Pj<Ni/10时,跳出遍历,阈值T=j-20,若不是则执行步骤5.4;
步骤5.4,若i<250,表明整个感兴趣区域图像(ROI)较暗,遍历像素值j=i,i-1,i-2...0,寻找满足Pj>Ni/10的像素值中最小的j,阈值T=j-20;
所述的通过计算得到的阈值对大的感兴趣区域图像(ROI)进行分割,以LED所在椭圆中心为中心,椭圆长轴加上10个像素为边长,截取感兴趣区域图像(ROI), 加上10个像素是为了能够保证ROI区域内四周的黑色区域连接起来;
所述的分割后的图像进行膨胀处理,膨胀处理的过程包含采用5x5的矩形滤波核,遍历图像,以当前像素值为中心,在5x5范围内的像素值选取最大值作为新的像素值;
所述的判断损坏区域,包含以下步骤:
步骤6.1,通过种子填充方法(seed-filling)对像素值为0的各连通区域进行标记,获取每个标记值对应的区域面积;
步骤6.2,对每个标记值的区域面积与设定的最小损坏区域面积阈值进行比较,若大于此阈值,则保留此标记,否则将其去除;
步骤6.3,在保留的标记值中去除面积最大的标记值,此区域对应LED椭圆轮廓之外的黑色区域;
步骤6.4,判断此时所保存的标记值数量;若数量为0,则表示没有发现未损坏区域,芯片质量合格;若大于0,则表示发现了损坏区域,芯片质量不合格,将标记值对应的区域轮廓绘制到图像中,反馈判断结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910698777.2A CN110490847B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的led芯片质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910698777.2A CN110490847B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的led芯片质量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110490847A CN110490847A (zh) | 2019-11-22 |
CN110490847B true CN110490847B (zh) | 2022-05-06 |
Family
ID=68549005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910698777.2A Active CN110490847B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的led芯片质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110490847B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402206A (zh) * | 2020-02-27 | 2020-07-10 | 红云红河烟草(集团)有限责任公司 | 一种烟支刮破视觉检测方法及系统 |
CN111754455B (zh) * | 2020-05-15 | 2024-03-19 | 华能国际电力股份有限公司海门电厂 | 一种火电厂漏水检测方法和系统 |
TWI742733B (zh) * | 2020-06-19 | 2021-10-11 | 倍利科技股份有限公司 | 圖像轉換方法 |
CN111724378A (zh) * | 2020-06-24 | 2020-09-29 | 武汉互创联合科技有限公司 | 一种显微图像细胞计数与姿态识别方法及系统 |
CN112365475A (zh) * | 2020-11-12 | 2021-02-12 | 国网山东省电力公司泰安供电公司 | 一种基于图像处理方式的输电线路覆冰监测方法及系统 |
CN112734689A (zh) * | 2020-12-16 | 2021-04-30 | 广州大学 | 垫片质量检测方法、系统、装置和存储介质 |
CN112801947A (zh) * | 2021-01-14 | 2021-05-14 | 唐山学院 | 一种led显示终端坏点的视觉检测方法 |
CN113092496B (zh) * | 2021-04-06 | 2022-10-04 | 深圳市卓兴半导体科技有限公司 | 一种检测晶圆分布范围的方法、系统及存储介质 |
CN113932783B (zh) * | 2021-10-19 | 2022-08-19 | 中国科学院长春光学精密机械与物理研究所 | 一种太阳边缘检测仪器 |
CN114494116B (zh) * | 2021-12-20 | 2024-07-09 | 苏州镁伽科技有限公司 | 器件边缘的检测方法、装置、存储介质及电子设备 |
CN114387223B (zh) * | 2021-12-22 | 2024-04-26 | 广东正业科技股份有限公司 | 一种芯片缺陷视觉检测方法及设备 |
CN115753015B (zh) * | 2022-11-08 | 2023-08-22 | 广东艾斯谱光电科技有限公司 | Mini led发光检测方法和系统 |
CN117197067B (zh) * | 2023-09-05 | 2024-07-02 | 深圳市海蓝智能科技有限公司 | 线束芯线数量的视觉检测方法、装置、设备及存储介质 |
CN117392226B (zh) * | 2023-12-11 | 2024-04-05 | 合肥安迅精密技术有限公司 | 基于机器视觉的bga元件识别定位方法及系统、存储介质 |
CN118097305B (zh) * | 2024-04-16 | 2024-06-28 | 深圳市呈泰半导体科技有限公司 | 一种半导体发光元件质量的检测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517110A (zh) * | 2013-09-29 | 2015-04-15 | 北大方正集团有限公司 | 一种二维码图像的二值化方法及系统 |
CN106529543A (zh) * | 2016-11-02 | 2017-03-22 | 徐庆 | 一种动态计算多色级二值化自适应阈值的方法及其系统 |
CN107729853A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站窄刻度指针式仪表的自动识别方法 |
CN107729896A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站宽刻度指针式仪表的自动识别方法 |
CN108573476A (zh) * | 2018-03-14 | 2018-09-25 | 浙江大学山东工业技术研究院 | 基于视觉的太阳花模组表面螺钉孔位置检测方法 |
CN108827181A (zh) * | 2018-03-14 | 2018-11-16 | 浙江大学山东工业技术研究院 | 一种基于视觉的板材表面检测方法 |
CN109911481A (zh) * | 2019-01-03 | 2019-06-21 | 上海交通大学 | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8559698B2 (en) * | 2012-03-09 | 2013-10-15 | National Applied Research Laboratories | Method of inspecting chip defects |
-
2019
- 2019-07-31 CN CN201910698777.2A patent/CN110490847B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517110A (zh) * | 2013-09-29 | 2015-04-15 | 北大方正集团有限公司 | 一种二维码图像的二值化方法及系统 |
CN106529543A (zh) * | 2016-11-02 | 2017-03-22 | 徐庆 | 一种动态计算多色级二值化自适应阈值的方法及其系统 |
CN107729853A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站窄刻度指针式仪表的自动识别方法 |
CN107729896A (zh) * | 2017-10-24 | 2018-02-23 | 武汉科技大学 | 一种适用于变电站宽刻度指针式仪表的自动识别方法 |
CN108573476A (zh) * | 2018-03-14 | 2018-09-25 | 浙江大学山东工业技术研究院 | 基于视觉的太阳花模组表面螺钉孔位置检测方法 |
CN108827181A (zh) * | 2018-03-14 | 2018-11-16 | 浙江大学山东工业技术研究院 | 一种基于视觉的板材表面检测方法 |
CN109911481A (zh) * | 2019-01-03 | 2019-06-21 | 上海交通大学 | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 |
Non-Patent Citations (2)
Title |
---|
工件圆弧边缘特征点检测与匹配方法;化春键等;《传感器与微系统》;20180803;第37卷(第8期);参见第2节 * |
继电器触点铆合质量在线视觉检测技术研究;孙沛泽;《中国优秀硕士学位论文全文数据库(电子期刊)工程科技Ⅱ辑》;20190515;参见第2.3、3.1、3.4.1节 * |
Also Published As
Publication number | Publication date |
---|---|
CN110490847A (zh) | 2019-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490847B (zh) | 基于视觉的led芯片质量检测方法 | |
CN109816678B (zh) | 一种基于视觉的喷嘴雾化角度自动检测系统及方法 | |
Sahu et al. | Defect identification and maturity detection of mango fruits using image analysis | |
US8073286B2 (en) | Detection and correction of flash artifacts from airborne particulates | |
JP5155886B2 (ja) | デジタル画像において目を検出する方法および装置 | |
US9082009B2 (en) | Method of defect image classification through integrating image analysis and data mining | |
CN108090494B (zh) | 基于Gabor滤波器及支持向量机纺织品瑕疵识别方法 | |
CN109859177B (zh) | 基于深度学习的工业射线影像评定方法及装置 | |
CN103914708B (zh) | 基于机器视觉的食品品种检测方法及系统 | |
TW201702586A (zh) | 光學薄膜缺陷辨識方法及其系統 | |
CN105046700A (zh) | 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统 | |
CN104899871A (zh) | 一种ic元件焊点空焊检测方法 | |
CN109741314A (zh) | 一种零件的视觉检测方法及系统 | |
CN111753794B (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
CN117095004B (zh) | 基于计算机视觉的挖掘机行走架主体焊接变形检测方法 | |
CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
Lumauag et al. | Fish tracking and counting using image processing | |
WO2017071406A1 (zh) | 金针类元件的引脚检测方法和系统 | |
JP2010249547A (ja) | 外観検査装置及び外観検査方法 | |
CN108133488A (zh) | 一种红外图像前景检测方法及设备 | |
CN109716355A (zh) | 微粒边界识别 | |
TW202034421A (zh) | 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 | |
Abdellah et al. | Defect detection and identification in textile fabric by SVM method | |
CN102788806A (zh) | 基于类球形亮度变换的水果表面缺陷检测方法 | |
CN114998205A (zh) | 基于光学手段的液体灌装过程瓶中异物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |