CN104597057B - 一种基于机器视觉的柱状二极管表面缺陷检测装置 - Google Patents

Abstract

本发明公开了一种柱状二极管表面缺陷检测装置的硬件、软件算法设计。硬件设计包括：工业相机选型、镜头选型、光学平台搭建；软件的缺陷检测算法设计包括：管体分割、管体预处理、缺陷ROI分割、特征提取、决策树分类器设计。本发明针对光学平台设计，通过光学原理和对象的自身结构特征，测试出合理的照明方式和光源安放方式。针对缺陷检测算子的设计，难点在于缺陷ROI的分割和纹理特征提取，分别提出了改进型笔画宽度转换和模式化梯度直方图特征提取的方法；最后通过决策树分类器将缺陷分类，缺陷识别率接近100％，分类成功率达到了96.2％，取得了较好的识别和分类效果。

Description

一种基于机器视觉的柱状二极管表面缺陷检测装置

技术领域

本发明涉及一种用于柱状二极管表面缺陷检测的硬件装置及软件方法。

背景技术

目前，机器视觉的被测对象大都是平面结构，形状和纹理的一致性很高，比如SMT表面贴装、晶片的缺陷检测等。随着自动化程度的进一步提高，对视觉系统的适应性提出更高的要求，需要更多优秀的特征算子和基于机器学习的分类器，以保证系统对复杂对象有一个更全面和智能的学习和认识。

对于立体结构对象来说，表面纹理分布于四周，缺陷的空间位置、形状特征和灰度特征的不确定性很大，而且可能出现正常纹理与缺陷相混，不同缺陷相混的情况，增大了图像分割和特征提取的难度。

对于这种三维对象，目前有两种解决方案，第一种是基于图像分析的平面视觉；第二种是基于三维建模的重构技术。前者的检测难度较大，更多的是检测侧面外形缺陷和少数纹理缺陷，若要进行完整检测，需要增加工业相机的数量，成本很高。后者又细分为两类方法，分别是基于图像的方法和基于几何的方法，基于图像的单目/双目立体视觉不太成熟，耗时较长，不适合实时性在线检测。基于几何的激光扫描可以获取对象的深度数据来建立三维模型，精度和实时性都很高，缺点是丢失了纹理信息，成本较高。

相对于平面对象来说，三维对象包含了更多复杂的信息，而且受到光照不均匀、深度信息不一致、局部图像畸变等不利因素。这种视觉系统的开发就不能简单的按照灰度进行图像分割，也不能简单的按照灰度、形状特征进行特征提取，而是要考虑包括边缘、纹理等更多的信息，这样才能对三维对象有更全面、准确的描述。如何利用平面视觉对三维对象进行检测和识别是机器视觉一个重要应用方向。

发明内容

本发明的目的是提供一种利用平面视觉对柱状二极管进行检测和识别的装置。

为了达到上述目的，本发明的技术方案是提供了一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，包括用于传输二极管的传送带，在传送带的上方设有用于拍摄二极管正面图像的工业相机一，在传送带的下方设有用于拍摄二极管背面图像的工业相机二，传送带分别与工业相机一和二之间安放特定空间角度和照明方式的条形散射光源，工业相机一及工业相机二均连接电脑，电脑连接驱动单元，驱动单元与剔除装置相连，剔除装置用于剔除经工业相机一及工业相机二拍摄后检验不合格的柱状二极管，其中，电脑对工业相机一及工业相机二拍摄到的原始图像做如下处理：

步骤1、利用双射线管体分割算法从原始图像中分割出柱状二极管的管体；

步骤2、利用设限最大类间方差法二值化及闭运算对步骤1分割得到的管体进行预处理；

步骤3、在笔画宽度转换的基础上增加两条与梯度方向呈±45°的射线去计算笔画宽度，通过计算每个边缘点梯度方向上的笔画宽度将文字和边缘弥散光区域从管体上分割出来；

步骤4、遍历去除文字和边缘弥散光区域的管体所包含的各区域的轮廓，分别计算各区域的面积，若某区域的面积大于事先设定的阈值，则将该区域设定为缺陷感兴趣区域，若没有找到面积大于阈值的区域，则返回步骤1对下一个柱状二极管进行计算；

步骤5、提取缺陷感兴趣区域的形状和纹理特征；

步骤6、基于决策树分类，利用步骤5提取到的特征对缺陷感兴趣区域所属的缺陷类别进行判定。

优选地，所述步骤1的具体步骤为：

分别绘制两条射线，根据管体的边缘信息确定管体直角点的粗略感兴趣区域，然后在粗略感兴趣区域内进行角点检测，最后确定管体的两个相对的直角点，从而将管体从原始图像中分割出来。

优选地，所述步骤5中的特征包括：缺陷感兴趣区域的平均灰度，缺陷感兴趣区域的空间边缘方向直方图，缺陷感兴趣区域的环状度，缺陷感兴趣区域的模式化梯度方向，缺陷感兴趣区域的梯度幅值直方图特征算子。

优选地，所述步骤6包括：

步骤6.1、判断缺陷感兴趣区域的平均灰度是否大于设定阈值，若是，则缺陷感兴趣区域为高灰度感兴趣区域，进入步骤6.2，若否，则缺陷感兴趣区域为低灰度感兴趣区域，进入步骤6.3；

步骤6.2、基于欧氏距离，利用缺陷感兴趣区域的空间边缘方向直方图及环状度，判断当前柱状二极管的缺陷属于露白胶或属于侧面缺陷；

步骤6.3、基于BP神经网络分类，利用缺陷感兴趣区域的梯度幅值直方图特征算子，判断当前柱状二极管的缺陷属于片状印染或属于内部缺陷。

本发明有益效果是：通过光源合适的安放方式和照明方式得到受光均匀、低反光的高清图像；通过双射线分割法很好地将管体分割出来；通过改进型SWT很好地将缺陷ROI分割出来；通过外形特征和基于HPG的纹理特征提取，更有效地将缺陷ROI进行分类。

附图说明

图1是封装DO-41外形尺寸示意图；

图2是机器视觉系统方框图；

图3是机器视觉系统结构示意图；

图4是条形光源安放示意图，其中，(a)条形光源外形；(b)侧视图；(c)俯视图；

图5是缺陷检测算法流程图；

图6是双射线法管体分割示意图；

图7是SWT笔画宽度法示意图；

图8(a)是梯度方向的8种模式示意图；图8(b)是模式1的示意图；

图9是按特征二次划分后的决策树分类器结构图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

结合图3，本发明提供了一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，包括用于传输二极管的传送带1，在传送带1的上方设有用于拍摄二极管正面图像的工业相机一2，在传送带1的下方设有用于拍摄二极管背面图像的工业相机二3，传送带分别与工业相机一2和工业相机二3之间安放特定空间角度和照明方式的条形散射光源(见图4)，工业相机一2及工业相机二3均连接电脑4，电脑4连接驱动单元5，驱动单元5与剔除装置6相连，剔除装置6用于剔除经工业相机一2及工业相机二3拍摄后检验不合格的柱状二极管。

(1)工业相机选型

对象的实际视野范围为20×12mm，为保证精度达到0.01mm，横向分辨率为：20/0.01＝2000，这里我们选取相机分辨率为：1920×1080，实际精度为0.01mm。传送带速度200mm/s，大概有10个对象，每帧可以处理3个对象，理论上每秒3帧以上就可以满足系统要求，实际情况是当相机帧率满足要求时还是会出现运动模糊的情况，原因是曝光时间过长，或者对象运动速度过快；针对前者可以尝试减小曝光时间，同时开大光圈或者增大外部光源亮度以保证被测对象的成像质量；针对后者则需要选择速度更高的相机；对象为黑白图像，最终选取分辨率为1920×1080的黑白高速CCD工业相机。

(2)镜头选型

分辨率为1920×1080对应的CCD格式为1/3.5，实际传感器尺寸为3.6×2.8mm，镜头放大倍数表示如下式

设u为物距约为10cm，v是像距，f是焦距，LE是焦像距，即镜头像平面的扩充距离，当使用镜头焦距较长时，需要增大LE以实现聚焦，就是增大相机的法兰距，具体实现是在卡口与感光元件之间接入垫圈，规格有1mm，2mm，5mm等；

根据几何成像原理有以下关系

LE＝v-f＝PMAG×f (3)

将u，PMAG数据带入式(2)和(3)，计算得f＝18.9mm，LE＝5.8mm；镜头的规格有8mm，12mm，16mm，25mm，35mm等，一般选择与计算结果最近的镜头规格，这里选用f＝25mm；为了实现聚焦，增配一个2mm的垫圈，镜头自身也有调节LE的聚焦功能，所以这里选择比LE小的垫圈；一般工业相机的镜头接口为CS接口，其法兰距为12.5mm，C型镜头的法兰焦距为17.526mm，选配的标准是：增减垫圈改变机身法兰距，使机身的法兰距与镜头的法兰焦距相等，CS镜头选用C型镜头需要增配一个5mm的垫圈；最终选用焦距为25mm的C型镜头，增配一个5mm和一个2mm垫圈。

(3)光学平台设计

对于光源选择，通过光学原理和对象的自身结构特征，测试出中低角度散射正面照明方式和特定空间角度的安放方式，具体如下：根据对象形状，首先考虑使用条形散射光源，见图4(a)；经测试最后选择中低角度散射正面照明，光源长宽面与水平面呈45度角，见图4(b)侧视图；当光源主轴方向与对象平行时容易造成很强的反光，为减弱反光，设置光源的主轴方向与对象延伸线呈45度角，见俯视图4(c)。

(4)图像缺陷检测算法实施

由电脑4对工业相机一2及工业相机二3拍摄到的原始图像做如下处理，其流程图见图5，下面对流程图中每个环节的实践进行说明。

1)双射线管体分割算法实现

首先，低阈值二值化使对象为黑色整体，对二值化后的图像进行去除小对象和闭运算处理；

然后，在视野范围内画一条从左向右的射线，交对象于点O；以O为基准点，在右边a个单位处画一条垂线自上而下交对象于点D，两条射线交于点C；比较OC和DC线段的大小，当OC＞DC，即图6(a)中a＞b1，则以C为顶点，以2a为边长画出一个正方形，即粗略ROI；同理，当图6(c)中a＜b3时，则以C为顶点，以2×b3为边长确定粗略感兴趣区域，以下将感兴趣区域简称为ROI；

最后，在粗略ROI内进行角点检测，检测到图6中的A、B点后，管体区域基本可以确定；这样做的目的是以尽量小的ROI捕捉直角顶点，提高下一步角点检测算法的效率。

2)管体预处理

包括设限OTSU二值化、闭运算，其中，OTSU是指：最大类间方差法。

设限OTSU二值化的方法是当OTSU计算出来的阈值过小或过大，超出预设的上下限[threshold_min，threshold_max]，则取阈值为(threshold_min+threshold_max)/2。

3)基于改进型笔画宽度转换(以下将笔画宽度转换简称为SWT)的文字分割

首先，先对图像做Canny检测，如图7，M，N是边缘上的点；然后求点M处梯度的单位方向向量d_M，d_M大约垂直于笔画边缘；

然后，以点M为起点，以d_M和tan(arctan(d_M)±π/4)为方向做射线(d_M为d_M斜率)，即射线r＝M+n.d_M，r＝M+n.d_ML和r＝M+n.d_MR，n＞0，射线终点为另外一个边缘点B、A和C，梯度方向分别为d_B，d_A和d_C，如果d_B，d_A和d_C与d_M的梯度方向相反，幅值大小相近且在阈值之内，则将点M、B、A和C看做有效边缘点，并将线段MB上所有像素点灰度值赋值为像素点M和点B间的像素个数，即笔画宽度(简称为SW)，同理，计算MA和MC的SW；如果没有找到B、A和C像素点或者d_B，d_A和d_C与d_M不满足要求，则放弃该射线；

最后对图像中所有像素点的SW进行归类，归类的原则是存在SW的像素点即归为一类；这样可以将文字和边缘弥散光区域分割出来，去除文字对缺陷区域的分割、识别的影响。

4)缺陷ROI确定

以面积为特征，遍历去除文字和边缘弥散光区域的管体轮廓，统计面积大于设定阈值area_threshold的轮廓数目，由此得出：是否有缺陷，缺陷ROI有哪些。

5)缺陷ROI特征提取

首先，针对灰度特征，提取了缺陷ROI的平均灰度；

然后，针对外形特征，提取出空间边缘方向直方图和环状度；

最后，针对纹理特征，根据内部缺损缺陷和片状印染缺陷的纹理特征，提出了模式化梯度方向和梯度幅值直方图特征算子(Histogram of patterned gradient，HPG)；如图8右，以中心灰度值为gc的像素为原点，采样半径为R作圆，P为邻域内的像素个数，邻域内像素点为g(i)，1≤i≤8；以(P，R)＝(8，1)为例说明，HPG_D分为8种方向模式和1种无序模式；如图8左，a，b，c，d为一维正向量(反方向为负)；其中，a＝g(3)-g(6)，b＝g(5)-g(4)，c＝g(8)-g(1)，d＝g(7)-g(2).这里方向模式的确定条件是：存在四个相邻的向量均为正，取模值最大的向量方向为HPG_D，梯度方向可描述为：

Dr＝(Step(a)，Step(b)，Step(c)，Step(d)) (4)

其中，Step为阶跃函数，Dr记录了窗口的整体梯度方向；

梯度幅值描述为：

Am＝[|a|，|b|，|c|，|d|] (5)

当Dr等于向量(1，1，0，0)，(1，1，1，0)，(1，1，0，0)，(1，0，0，0)，(0，1，1，1)，(0，0，1，1)，(0，0，0，1)和(0，0，0，0)中任一个时，可通过式(6)、(7)确定方向模式类型；当Dr不满足上述条件时，HPG_D＝9；

max_ad＝max(Am) (6)

通过对9种模式的直方图统计，得到9维的特征值；

HPG_A＝max_ad+1，max_ad∈[0，15] (8)

式(8)为梯度幅值算子的计算。由HPG_A发现max_ad＞15的像素点绝大部分是轮廓边缘点，为去除边缘点的干扰，只统计max_ad∈[0，15]，得到16维特征值。须根据等像素的原则对HPG_D和HPG_A进行归一化处理，下面不同模板间的特征值也须根据上述原则做归一化处理。不同特征值间一般采用串联和联合方式，本文采用串联的方式，描述为HPG_D_A，共25维(9+16)。

6)决策树分类

由图9所示，通过决策树分类器，针对不同层节点利用不同特征对节点对象进行分类，其包括：

步骤6.1、判断缺陷ROI的平均灰度是否大于设定阈值，若是，则缺陷ROI为高灰度ROI，进入步骤6.2，若否，则缺陷ROI为低灰度ROI，进入步骤6.3；

步骤6.2、基于欧氏距离，利用缺陷ROI的空间边缘方向直方图及环状度，判断当前柱状二极管的缺陷属于露白胶或属于侧面缺陷；

步骤6.3、基于BP神经网络分类，利用缺陷ROI的梯度幅值直方图特征算子，判断当前柱状二极管的缺陷属于片状印染或属于内部缺陷。

表1 不同纹理算子的分类结果

表2 决策树分类结果分析

表1是通过不同纹理算子对内部缺损和片状印染两种类型纹理进行分类的结果；表2是决策树针对不同节点对象的分类结果；其中，缺陷ROI识别率为100％，缺陷ROI的整体分类正确率达到了96.2％，取得了较好的识别和分类效果。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述具体实施方式的限制，上述说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，包括用于传输二极管的传送带（1），在传送带（1）的上方设有用于拍摄二极管正面图像的工业相机一（2），在传送带（1）的下方设有用于拍摄二极管背面图像的工业相机二（3），传送带（1）分别与工业相机一（2）和工业相机二（3）之间安放特定空间角度和照明方式的条形散射光源，工业相机一（2）及工业相机二（3）均连接电脑（4），电脑（4）连接驱动单元（5），驱动单元（5）与剔除装置（6）相连，剔除装置（6）用于剔除经工业相机一（2）及工业相机二（3）拍摄后检验不合格的柱状二极管，其中，电脑（4）对工业相机一（2）及工业相机二（3）拍摄到的原始图像做如下处理：

步骤1、利用双射线管体分割算法从原始图像中分割出柱状二极管的管体；

步骤2、利用设限最大类间方差法二值化及闭运算对步骤1分割得到的管体进行预处理；

步骤3、在笔画宽度转换的基础上增加两条与梯度方向呈±45º的射线去计算笔画宽度，通过计算每个边缘点梯度方向上的笔画宽度将文字和边缘弥散光区域从管体上分割出来；

步骤4、遍历去除文字和边缘弥散光区域的管体所包含的各区域的轮廓，分别计算各区域的面积，若某区域的面积大于事先设定的阈值，则将该区域设定为缺陷感兴趣区域，若没有找到面积大于阈值的区域，则返回步骤1对下一个柱状二极管进行计算；

步骤5、提取缺陷感兴趣区域的形状和纹理特征；

步骤6、基于决策树分类，利用步骤5提取到的特征对缺陷感兴趣区域所属的缺陷类别进行判定。

2.如权利要求1所述的一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，所述步骤1的具体步骤为：

分别绘制两条射线，根据管体的边缘信息确定管体直角点的粗略感兴趣区域，然后在粗略感兴趣区域内进行角点检测，最后确定管体的两个相对的直角点，从而将管体从原始图像中分割出来。

3.如权利要求1所述的一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，所述步骤5中的特征包括：缺陷感兴趣区域的平均灰度，缺陷感兴趣区域的空间边缘方向直方图，缺陷感兴趣区域的环状度，缺陷感兴趣区域的模式化梯度方向，缺陷感兴趣区域的梯度幅值直方图特征算子。

4.如权利要求1所述的一种基于机器视觉的柱状二极管表面缺陷检测装置，其特征在于，所述步骤6包括：

步骤6.1、判断缺陷感兴趣区域的平均灰度是否大于设定阈值，若是，则缺陷感兴趣区域为高灰度感兴趣区域，进入步骤6.2，若否，则缺陷感兴趣区域为低灰度感兴趣区域，进入步骤6.3；

步骤6.2、基于欧氏距离，利用缺陷感兴趣区域的空间边缘方向直方图及环状度，判断当前柱状二极管的缺陷属于露白胶或属于侧面缺陷；

步骤6.3、基于BP神经网络分类，利用缺陷感兴趣区域的梯度幅值直方图特征算子，判断当前柱状二极管的缺陷属于片状印染或属于内部缺陷。