CN106204614B - 一种基于机器视觉的工件外观缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的工件外观缺陷检测方法，首先通过视觉系统引导机器人，根据基于灰度值的模板匹配算法精确定位目标工件位姿，然后进行工件外观缺陷检测，其步骤为：(1)获取工件图像，采用中值滤波进行预处理；(2)利用全局阈值分割目标工件，并进行工件位姿矫正；(3)通过数学形态学开运算去除工件边缘毛刺干扰；(4)检测缺口、粘料、开裂、压痕、针眼、划痕和起泡外观缺陷。该方法解决人工检测速度慢、效率低、精度差的问题；克服目前视觉检测缺陷类型单一、成像质量差和误检率高的问题，提高精密工件生产自动化程度和产品质量。

Description

一种基于机器视觉的工件外观缺陷检测方法

技术领域

本发明属于自动检测领域，特别涉及一种基于机器视觉的工件外观缺陷检测方法。

背景技术

金属工件的主要生产工艺流程为机械加工、冲压、精密铸造、粉末冶金、金属注射成型、尺寸检测、外观缺陷检测等。在整个生产过程中受到制造工艺的影响，工件尺寸和外观在一定程度上会存在不合格。其中外观缺陷主要包括：缺口、粘料、开裂、压痕、针眼、划痕和起泡等。存在外观质量缺陷的工件若流入下个生产工序，会导致组装受阻、变形，影响组装件的质量，严重时可能导致组装件报废而停机，极大地影响了自动化生产线的生产效率，给生产企业带来潜在的经济损失和信誉风险。

传统外观缺陷检测方法有人工目测和频闪光检测。自动化生产线速度很快，人眼根本无法快速捕捉到准确的缺陷信息，尤其一些很小的缺陷，人的肉眼完全无法分辨出合格与否，这就造成缺陷检测精度低、误检率高的问题。频闪光检测主要是根据人的视网膜对一定脉冲闪光所产生的静止反应。该方法是将特定的摄像机和频闪光源相结合，通过固定地观察检测器来确定工件表面情况。其缺点在于检测结果的可信度低，自动化检测程度也低。

自动检测技术有红外、祸流和漏磁检测技术，这三种检测方法也是我国目前应用比较广泛的。涡流检测技术主要是检测工件表面下层阻流缺陷，但其耗电量大，造成生产企业能源的浪费。涡流检测方法对工件本身质量要求比较高，工件表面必须纯净无杂质，温度均匀，输送带速度要求较慢，这就造成生产和检测受限，不能满足高速率、高质量的生产要求。近年来，机器视觉和图像处理技术的不断发展使得生产线上机器视觉检测代替人工检测成为可能。外观缺陷采用视觉方法检测识别是最有效、最有前景的方法。高分辨率工业相机可以提供丰富的工件外观图像信息，能够准确、高效、可靠地完成工件外观缺陷额检测和识别。

目前工件外观缺陷视觉检测的主要方法：(1)通过遗传算法和视觉图像处理形态学实现金属工件表面缺陷的自动检测，系统对开裂和针眼等检测效果良好，但细小划痕、压痕和起泡缺陷检测效果较差；(2)通过利用图像灰度特征，通过灰度值的异常变化来判断产品缺陷的存在，但由于金属表面的强反光性特性，使得系统误检较高。

因此，有必要设计一种高效的检测精度高的基于机器视觉的工件外观缺陷检测方法。

发明内容

本发明所要解决的技术问题是提供一种基于机器视觉的工件外观缺陷检测方法，该基于机器视觉的工件外观缺陷检测方法检测效率高，易于实施。

发明的技术解决方案如下：

一种基于机器视觉的工件外观缺陷检测方法，包括以下步骤：

步骤1：工件图像获取及预处理；

步骤2：图像分割与工件位姿矫正；

步骤3：检测以下外观缺陷：缺口、粘料、开裂、压痕、针眼、划痕和起泡。

步骤1中，通过同轴光源照明，利用CCD工业相机和图像采集卡采集工件图像f(x，y)，工件图像为灰度图像，然后把工件图像送入工控机进行预处理，预处理为对采集到的工件图像进行中值滤波处理。

步骤2中：

(1)图像分割：

基于直方图法对预处理后的图像进行图像分割，工件图像的灰度直方图会显示两个波峰：一个是作为前景的工件，一个是背景，取波谷灰度值为分割阈值以有效分割前景和背景：

式中，F(x，y)为分割出的工件图像，Th_f为分割阈值

(2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。仿射变换为现有成熟技术。

对矫正后的图像进行数学形态学处理；处理过程为，通过结构元素B对图像施加形态学开运算去除工件边缘毛刺，平滑工件边缘，有：

式中，为开运算运算符，为腐蚀运算符，为膨胀运算符，B为结构元素，大小为3，元素全为1，为圆盘结构。

步骤3中：

标定工件边缘为缺口检测区域，记为Reg_qk；

标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域；其中粘料和针眼检测区域记为Reg_nl和Reg_zy；划痕和开裂检测区域记为Reg_hh和Reg_kl；压痕检测区域记为Reg_yh；起泡检测区域记为Reg_qp；

缺陷的面积判断阈值：

式中，Th为缺陷的面积判断阈值；φ为缺陷容忍度；W和H为图像中工件的宽和高，以像素为单位；M和N为工件的实际长和宽，以毫米为单位；

局部动态分割阈值确定方法：

首先采用(2D+1)×(2D+1)的滤波掩码进行平滑处理，式中D为被提取目标的直径；然后计算平滑后的图像灰度值的均值Mean(x，y)和标准差σ(x，y)；当被提取目标显示为亮像素时，选取T＝Mean(x，y)+γ·σ(x，y)为分割阈值；当被提取目标显示为暗像素时，选取T＝Mean(x，y)-γ·σ(x，y)为分割阈值，式中γ为标准差强度。

①缺口检测：

1)采用图像分割阈值T_qk在区域Reg_qk中分割缺口的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qk；

分割阈值T_qk的确定：采用(2D_qk+1)×(2D_qk+1)的滤波掩码进行平滑处理，式中D_qk为缺口缺陷的直径；计算平滑后的图像灰度值的均值Mean_qk(x，y)和标准差σ_qk(x，y)；由于缺口缺陷显示为暗像素，则选择T_qk＝Mean_qk(x，y)-γ_qk·σ_qk(x，y)为分割阈值，γ_qk为缺口缺陷的标准差权重。权重的取值范围是[0，1]，需根据先验知识确定具体值。

2)利用像素计数法提取Bl_qk连通域的像素面积特征Area_qk；根据下式判断Bl_qk是否为缺口缺陷：

式中，缺陷面积判断阈值Th_qk由公式3确定，其中φ的取值范围是[0.0120，0.0130]，YES和NO分别表示存在缺口缺陷和不存在缺口缺陷；

②粘料和针眼检测：

1)采用分割阈值T_zz在区域Reg_nl和Reg_zy中分割粘料和针眼的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_nl和Bl_zy；

分割阈值T_zz的确定：

T_zz＝Mean′_zz(x，y)-δ_zz·V′_zz(x，y)

式中Mean′_zz(x，y)和V′_zz(x，y)为检测区域像素灰度值的均值和方差，δ_zz为粘料和针眼缺陷的方差权重；

图像中低于分割阈值的像素区域为缺陷候选块；

2)利用像素计数法提取Bl_nl连通域的像素面积特征Area_nl和圆度特征Roundness_nl、Bl_zy连通域的像素面积特征Area_zy和圆度特征Roundness_zy，根据下式5、6分别判断Bl_nl是否为粘料缺陷以及Bl_zy是否为针眼缺陷：

式中，缺陷面积判断阈值Th_nl1和Th_zy1由式3确定，其中φ的取值范围分别是[0.0020，0.0021]和[0.0024，0.0025]；缺陷圆度判断阈值Th_nl2和Th_zy2的取值范围分别是[0.5，1]和[0.85，1]；∩表示逻辑“与”运算；YES和NO分别表示是和否；

像素面积特征即区域内的像素个数，圆度特征描述即目标区域的面积与外接圆面积的比值，形状越接近圆，比值越接近1，圆度特征的取值范围是：0＜Roundness_nl＜1，计算公式为其中r为被提取目标的外接圆半径，此处的被提取目标指粘料和针眼缺陷；

③划痕和开裂检测：

1)采用局部图像方差强度算法求取分割阈值T_hk，在区域Reg_hh和Reg_kl中分割划痕和开裂的Blob块候选，通过八连通区域标识出Blob连通域，记为Bl_hh和Bl_kl；

局部图像方差强度是图像局部阈值概念的拓展延伸，由于被检测工件受生产工艺影响会有背景不均匀情况，因此很难找到固定阈值将目标缺陷与背景完整分割。故提出局部阈值检测方法，即局部灰度特征与整体相结合的方法；结合局部方差与方差的特性，先采用(2D_hk+1)×(2D_hk+1)的滤波掩码进行平滑处理，式中D_hk为划痕和开裂缺陷的长度；再计算平滑后图像灰度值的标准差σ_hk(x，y)和方差V_hk(x，y)；分割阈值按下式的确定：

其中σ′_hk(x，y)和V′_hk(x，y)表示平滑前的整幅图像的标准差和方差；

2)利用像素计数法提取Bl_hh连通域的像素面积特征Area_hh和内部最长直径特征Diameter_hh以及Bl_kl连通域的像素面积特征Area_kl和内部最长直径特征Diameter_kl；根据式7、8分别判断Bl_hh是否为划痕缺陷，以及Bl_kl是否为开裂缺陷：

式中，缺陷面积判断阈值Th_hh1和Th_kl1由式3确定，其中φ的取值范围分别是[0.0110，0.0120]和[0.0048，0.0049]；缺陷最长直径判断阈值Th_hh2和Th_kl2的取值范围由经验值确定；∩表示逻辑“与”运算；

内部最长直径即区域边界上最远的两个像素点的距离，距离和面积都是以像素为单位，即该距离内或该区域内包含的像素个数；

④压痕检测：

1)通过拉普拉斯高斯变换算法和局部动态阈值T_yh分割压痕的Blob候选块；

T_yh的确定：采用(2D_yh+1)×(2D_yh+1)的滤波掩码进行平滑处理，式中D_yh为压痕缺陷的直径；计算平滑后图像灰度值的均值Mean_yh(x，y)和标准差σ_yh(x，y)；由于压痕缺陷在拉普拉斯高斯变换后的图像中显示为亮像素，故选择T_yh＝Mean_yh(x，y)+γ_yh·σ_yh(x，y)为分割阈值，γ_yh为压痕缺陷的标准差权重；通过八连通区域标识出Blob连通域，记为Bl_yh；

权重的取值范围是[0，1]，需根据先验知识确定具体值；

2)利用像素计数法提取Bl_yh连通域的像素面积特征Area_yh和矩形度特征Rectan_yh，矩形度是描述被提取区域对其外接矩形的充满程度，计算公式为其中S_m为被提取区域外接矩形区域的面积；根据式9判断Bl_yh是否为压痕缺陷：

式中，面积判断阈值Th_yh1由式3确定，其中φ的取值范围是[0.0160，0.0170]；矩形度判断阈值Th_yh2的取值范围是[0.7，1]；∩表示逻辑“与”运算；

拉普拉斯高斯算法：

该方法是将高斯滤波和拉普拉斯算子结合在一起。算法主要步骤如下：

(1)滤波：首先对图像F(x，y)进行平滑滤波，滤波函数为高斯函数，即

将图像F(x，y)与G(x，y)进行卷积，可以得到一个平滑的图像，即

g(x，y)＝F(x，y)*G(x，y)

(2)图像增强：对平滑图像g(x，y)进行拉普拉斯运算，即

由于对平滑图像g(x，y)进行拉普拉斯运算可等效为g(x，y)的拉普拉斯运算与F(x，y)的卷积，故上式变为：

式中成为LOG滤波器，其为：

作用：拉普拉斯高斯算子把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平化掉噪声，再对图像进行边缘增强，所以能够有效凸显压痕缺陷。

⑤起泡检测：

1)通过快速傅立叶变换将图像函数从空间域转变到频率域，采用低通滤波器平滑图像，再通过傅立叶逆变换将图像从频率域变换到空间域；根据图像灰度直方图，选取波谷灰度值为分割阈值分割目标分割起泡的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qp；

图像的直方图只有一个波谷，因为经过傅立叶变换和平滑滤波处理后，起泡部位较整体工件背景偏亮，所以直方图显示有两个波峰和一个波谷，而且两个波峰中一个属于工件背景，另一个属于起泡缺陷，所以采用波谷灰度值可将背景和起泡缺陷分割；

2)利用像素计数法提取Bl_qp连通域的像素面积特征Area_qp和圆度特征Roundness_qp；根据式10判断Bl_qp是否为起泡缺陷：

式中，面积判断阈值Th_qp1由式3确定，其中φ的取值范围是[0.0123，0.0124]；圆度判断阈值Th_qpz的取值范围是[0.5，1]；∩表示逻辑“与”运算。定位、引导图像的采集过程中，采用环形漫反射光源照明；检测图像采集过程中，采用同轴光源照明。

本发明方法涉及到工控机、同轴光源、CCD工业相机、图像采集卡和剔除机构；

同轴光源和剔除机构均与工控机相连；

CCD工业相机通过图像采集卡与工控机相连；

其中：同轴光源用于为待检测的工件提供漫反射光源；CCD工业相机用于拍摄处于检测工位的工件的图像；剔除机构用于从生产线上剔除通过检测存在缺陷的工件；

工控机中具有基于图像处理的缺陷检测模块。

有益效果：

本发明的基于机器视觉的工件外观缺陷检测方法，首先通过视觉系统引导机器人，根据基于灰度值的模板匹配算法精确定位目标工件位姿，然后进行工件外观缺陷检测，其步骤为：(1)获取工件图像，采用中值滤波进行预处理；(2)利用全局阈值分割目标工件，并进行工件位姿矫正；(3)通过数学形态学开运算去除工件边缘毛刺干扰；(4)检测缺口、粘料、开裂、压痕、针眼、划痕和起泡外观缺陷。

本发明的优点在于：

1.定位速度快、精度高。基于灰度值的模板匹配，采用归一化互相关算法，并利用图像金字塔实现多级匹配，提高匹配精度和速度；

2.缺陷检测针对性强，速度快。

运用简单、有效的Blob算法，首先对获取的原始图像做预处理，抑制噪声干扰增强图像有用信息的表现张力。本发明针对不同的缺陷采用有针对性的检测方法，易于实施，方法巧妙，具体包括标定检测区域并通过二值化分割ROI，基于ROI区域通过局部灰度阈值提取缺口缺陷特征；局部动态阈值算法提取粘料和针眼缺陷特征；局部图像方差强度算法提取划痕和开裂缺陷特征；拉普拉斯高斯算法提取表面压痕缺陷特征；快速傅里叶变换算法提取表面起泡缺陷特征。最后将提取到的缺陷特征根据判定规则库中的判定规则进行分析判断并输出检测结果；

3.适应性广、移植性强，可检测缺陷类型较全面。该检测算法能广泛应用于高速生产线上精密工件外观质量的视觉检测，并且可移植到电子元器件、微小零部件等的视觉检测生产线上，具有很强的适应性。是一种具有高度通用型和准确性的视觉检测算法。

该方法解决人工检测速度慢、效率低、精度差的问题；克服目前视觉检测缺陷类型单一、成像质量差和误检率高的问题，提高精密工件生产自动化程度和产品质量。

附图说明

图1为基于机器视觉的工件外观缺陷检测方法的流程图。

图2为检测到的正常图像和缺陷图像，其中图2(a)-图2(h)分别对应正常、粘料、压痕、缺口、开裂、划痕、起泡和针眼图像。

具体实施方式

为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本文发明做更全面、细致地描述，但本发明的保护范围并不限于以下具体实施例。

除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不是旨在限制本发明的保护范围。

实施例1：

如图1，一种基于机器视觉的工件外观缺陷检测方法，包括以下步骤：

步骤1：工件图像获取及预处理；

步骤2：图像分割与工件位姿矫正；

步骤3：检测以下外观缺陷：缺口、粘料、开裂、压痕、针眼、划痕和起泡。

步骤1中，通过同轴光源照明，利用CCD工业相机和图像采集卡采集工件图像f(x，y)，工件图像为灰度图像，然后把工件图像送入工控机进行预处理，预处理为对采集到的工件图像进行中值滤波处理，去除图像拍摄和传输过程中可能引起的噪声，提高图像信噪比。

步骤2中：

(1)图像分割：

基于直方图法对预处理后的图像进行图像分割，工件图像的灰度直方图会显示两个波峰：一个是作为前景的工件，一个是背景，取波谷灰度值为分割阈值以有效分割前景和背景：

式中，F(x，y)为分割出的工件图像，Th_f为分割阈值

(2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正。仿射变换为现有成熟技术。

对矫正后的图像进行数学形态学处理；处理过程为，通过结构元素B对图像施加形态学开运算去除工件边缘毛刺，平滑工件边缘，有：

式中，为开运算运算符，为腐蚀运算符，为膨胀运算符，B为结构元素，大小为3，

元素全为1，为圆盘结构。

步骤3中：

标定工件边缘为缺口检测区域，记为Reg_qk；

标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域；其中粘料和针眼检测区域记为Reg_nl和Reg_zy；划痕和开裂检测区域记为Reg_hh和Reg_kl；压痕检测区域记为Reg_yh；起泡检测区域记为Reg_qp；

缺陷的面积判断阈值：

式中，Th为缺陷的面积判断阈值；φ为缺陷容忍度；W和H为图像中工件的宽和高，以像素为单位；M和N为工件的实际长和宽，以毫米为单位；

局部动态分割阈值确定方法：

首先采用(2D+1)×(2D+1)的滤波掩码进行平滑处理，式中D为被提取目标的直径；然后计算平滑后的图像灰度值的均值Mean(x，y)和标准差σ(x，y)；当被提取目标显示为亮像素时，选取T＝Mean(x，y)+γ·σ(x，y)为分割阈值；当被提取目标显示为暗像素时，选取T＝Mean(x，y)-γ·σ(x，y)为分割阈值，式中γ为标准差强度。

①缺口检测：

1)采用图像分割阈值T_qk在区域Reg_qk中分割缺口的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qk；

分割阈值T_qk的确定：采用(2D_qk+1)×(2D_qk+1)的滤波掩码进行平滑处理，式中D_qk为缺口缺陷的直径；计算平滑后的图像灰度值的均值Mean_qk(x，y)和标准差σ_qk(x，y)；由于缺口缺陷显示为暗像素，则选择T_qk＝Mean_qk(x，y)-γ_qk·σ_qk(x，y)为分割阈值，γ_qk为缺口缺陷的标准差权重。权重的取值范围是[0，1]，需根据先验知识确定具体值。

2)利用像素计数法提取Bl_qk连通域的像素面积特征Area_qk；根据下式判断Bl_qk是否为缺口缺陷：

式中，缺陷面积判断阈值Th_qk由公式3确定，其中φ的取值范围是[0.0120，0.0130]，YES和NO分

别表示存在缺口缺陷和不存在缺口缺陷；

②粘料和针眼检测：

1)采用分割阈值T_zz在区域Reg_nl和Regz_y中分割粘料和针眼的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_nl和Bl_zy；

分割阈值T_zz的确定：

T_zz＝Mean′_zz(x，y)-δ_zz·V′_zz(x，y)

式中Mean′_zz(x，y)和V′_zz(x，y)为检测区域像素灰度值的均值和方差，δ_zz为粘料和针眼缺陷的方差权重；

图像中低于分割阈值的像素区域为缺陷候选块；

2)利用像素计数法提取Bl_nl连通域的像素面积特征Area_nl和圆度特征Roundness_nl、Bl_zy连通域的像素面积特征Area_zy和圆度特征Roundness_zy，根据下式5、6分别判断Bl_nl是否为粘料缺陷以及Bl_zy是否为针眼缺陷：

式中，缺陷面积判断阈值Th_nl1和Th_zy1由式3确定，其中φ的取值范围分别是[0.0020，0.0021]和[0.0024，0.0025]；缺陷圆度判断阈值Th_nl2和Th_zy2的取值范围分别是[0.5，1]和[0.85，1]；∩表示逻辑“与”运算；YES和NO；

像素面积特征即区域内的像素个数，圆度特征描述即目标区域的面积与外接圆面积的比值，形状越接近圆，比值越接近1，圆度特征的取值范围是：0＜Roundness_nl＜1，计算公式为其中r为被提取目标的外接圆半径，此处的被提取目标指粘料和针眼缺陷；

③划痕和开裂检测：

1)采用局部图像方差强度算法求取分割阈值T_hk，在区域Reg_hh和Reg_kl中分割划痕和开裂的Blob块候选，通过八连通区域标识出Blob连通域，记为Bl_hh和Bl_kl；

局部图像方差强度是图像局部阈值概念的拓展延伸，由于被检测工件受生产工艺影响会有背景不均匀情况，因此很难找到固定阈值将目标缺陷与背景完整分割。故提出局部阈值检测方法，即局部灰度特征与整体相结合的方法；结合局部方差与方差的特性，先采用(2D_hk+1)×(2D_hk+1)的滤波掩码进行平滑处理，式中D_hk为划痕和开裂缺陷的长度；再计算平滑后图像灰度值的标准差σ_hk(x，y)和方差V_hk(x，y)；分割阈值按下式的确定：

其中σ′_hk(x，y)和V′_hk(x，y)表示平滑前的整幅图像的标准差和方差；

2)利用像素计数法提取Bl_hh连通域的像素面积特征Area_hh和内部最长直径特征Diameter_hh以及Bl_kl连通域的像素面积特征Area_kl和内部最长直径特征Diameter_kl；根据式7、8分别判断Bl_hh是否为划痕缺陷，以及Bl_kl是否为开裂缺陷：

式中，缺陷面积判断阈值Th_hh1和Th_kl1由式3确定，其中φ的取值范围分别是[0.0110，0.0120]和[0.0048，0.0049]；缺陷最长直径判断阈值Th_hhz和Th_kl2的取值范围由经验值确定；∩表示逻辑“与”运算；

内部最长直径即区域边界上最远的两个像素点的距离，距离和面积都是以像素为单位，即该距离内或该区域内包含的像素个数；

④压痕检测：

1)通过拉普拉斯高斯变换算法和局部动态阈值T_yh分割压痕的Blob候选块；

T_yh的确定：采用(2D_yh+1)×(2D_yh+1)的滤波掩码进行平滑处理，式中D_yh为压痕缺陷的直径；计算平滑后图像灰度值的均值Mean_yh(x，y)和标准差σ_yh(x，y)；由于压痕缺陷在拉普拉斯高斯变换后的图像中显示为亮像素，故选择T_yh＝Mean_yh(x，y)+γ_yh·σ_yh(x，y)为分割阈值，γ_yh为压痕缺陷的标准差权重；通过八连通区域标识出Blob连通域，记为Bl_yh；权重的取值范围是[0，1]，需根据先验知识确定具体值；

2)利用像素计数法提取Bl_yh连通域的像素面积特征Area_yh和矩形度特征Rectan_yh，矩形度是描述被提取区域对其外接矩形的充满程度，计算公式为其中S_m为

被提取区域外接矩形区域的面积；根据式9判断Bl_yh是否为压痕缺陷：

式中，面积判断阈值Th_yh1由式3确定，其中φ的取值范围是[0.0160，0.0170]；矩形度判断阈值Th_yh2的取值范围是[0.7，1]；∩表示逻辑“与”运算；

⑤起泡检测：

1)通过快速傅立叶变换将图像函数从空间域转变到频率域，采用低通滤波器平滑图像，再通过傅立叶逆变换将图像从频率域变换到空间域；根据图像灰度直方图，选取波谷灰度值为分割阈值分割目标分割起泡的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qp；

图像的直方图只有一个波谷，因为经过傅立叶变换和平滑滤波处理后，起泡部位较整体工件背景偏亮，所以直方图显示有两个波峰和一个波谷，而且两个波峰中一个属于工件背景，另一个属于起泡缺陷，所以采用波谷灰度值可将背景和起泡缺陷分割；

2)利用像素计数法提取Bl_qp连通域的像素面积特征Area_qp和圆度特征Roundness_qp；根据式10判断Bl_qp是否为起泡缺陷：

式中，面积判断阈值Th_qp1由式3确定，其中φ的取值范围是[0.0123，0.0124]；圆度判断阈值Th_qp2的取值范围是[0.5，1]；∩表示逻辑“与”运算。

图像预处理还包括：

A.工件定位：

工件模板图像为Temp(x，y)，方向以X轴正方向为O度基准。通过环形漫反射光源照明，利用CCD工业相机和图像采集卡采集输送带上工件图像，然后根据基于灰度值的模板匹配技术搜索与已知模板Temp(x，y)相匹配的目标区域，计算其重心坐标(x_c，y_c)和偏转角度θ。其中模板匹配采用归一化互相关算法(NCC)，并利用图像金字塔实现多级匹配，提高匹配精度和速度。NCC算法公式如下式所示：

式中，n是模板感兴趣区域中像素点的数量；Temp(x，y)是模板图像，模板大小为W_T×H_T。

模板图像即为分割出的，规定了方向以X轴正方向为0度基准的目标工件图像；感兴趣区域即目标工件区域，因为工件区域与背景区域对比度非常明显，所以采用全局灰度阈值分割法即可提取目标工件，即感兴趣区域。m_T是模板的平均灰度值，是模板所有像素灰度值的方差，m_f(a，b)和是平移到图像当前位置的模板感兴趣区域中图像所有像素点的平均灰度值和方差，ncc(a，b)表示匹配相似度，取值范围是-1≤ncc(a，b)≤1。x，y表示图像中像素坐标。a，b是图像像素坐标平移量。

匹配是为了找到视野中的目标工件并快速、准确地计算出工件位姿信息。是后续机器人和视觉处理的前提。

B.机器人视觉引导：

视觉引导系统主要是对输送带上目标工件的精确定位。对于同一种工件，机器人只需要一次示教并把此示教位置记为零位，生产中相机拍摄输送带上的目标工件并通过计算图像上工件中心特征点的坐标，即位姿信息（x_c，y_c)和θ。视觉系统计算出当前目标工件的坐标与零位在X，Y，R_z方向的偏差量，机器人根据偏差量规划抓取路径和动作、完成目标工件抓取任务。其中R_z方向为工件在平面上的旋转方向。

总体流程说明：待检工件首先进入上表面检测工位，光电传感器触发相机拍照并采集一帧图像，通过外观检测算法进行缺陷检测，并将检测结果通过视觉检测系统传送给下位机。不合格品由剔除装置剔除，合格品将进入机器人检测工位。利用视觉引导机器人准确拾取输送带上目标工件并放置检测位置，由机器人顺序触发多相机拍照进行工件前后面、左右侧面和底面外观缺陷检测。工业控制计算机综合分析多相机处理结果并将其通过视觉检测系统传送给下位机，最终实现工件的智能分拣。

Claims (2)

1.一种基于机器视觉的工件外观缺陷检测方法，其特征在于，包括以下步骤：

步骤1：工件图像获取及预处理；

步骤2：图像分割与工件位姿矫正；

步骤3：检测以下外观缺陷：缺口、粘料、开裂、压痕、针眼、划痕和起泡；

步骤1中，通过同轴光源照明，利用CCD工业相机和图像采集卡采集工件图像f(x，y)，工件图像为灰度图像，然后把工件图像送入工控机进行预处理，预处理为对采集到的工件图像进行中值滤波处理；

步骤2中：

(1)图像分割：

基于直方图法对预处理后的图像进行图像分割，工件图像的灰度直方图会显示两个波峰：一个是作为前景的工件，一个是背景，取波谷灰度值为分割阈值以有效分割前景和背景：

式中，F(x，y)为分割出的工件图像，Th_f为分割阈值

(2)图像矫正为通过仿射变换实现图像中工件的平移和旋转角度矫正；

步骤3中：

标定工件边缘为缺口检测区域，记为Reg_qk；

标定整个工件表面区域为粘料、开裂、压痕、针眼、划痕和起泡缺陷检测区域；其中粘料和针眼检测区域记为Reg_nl和Reg_zy；划痕和开裂检测区域记为Reg_hh和Reg_kl；压痕检测区域记为Reg_yh；起泡检测区域记为Reg_qp；

缺陷的面积判断阈值：

式中，Th为缺陷的面积判断阈值；φ为缺陷容忍度；W和H为图像中工件的宽和高，以像素为单位；M和N为工件的实际长和宽，以毫米为单位；

①缺口检测：

1)采用图像分割阈值T_qk在区域Reg_qk中分割缺口的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qk；

分割阈值T_qk的确定：采用(2D_qk+1)×(2D_qk+1)的滤波掩码进行平滑处理，式中D_qk为缺口缺陷的直径；计算平滑后的图像灰度值的均值Mean_qk(x，y)和标准差σ_qk(x，y)；由于缺口缺陷显示为暗像素，则选择T_qk＝Mean_qk(x，y)-γ_qk·σ_qk(x，y)为分割阈值，γ_qk为缺口缺陷的标准差权重；

2)利用像素计数法提取Bl_qk连通域的像素面积特征Area_qk；根据下式判断Bl_qk是否为缺口缺陷：

式中，缺陷面积判断阈值Th_qk由公式3确定，其中φ的取值范围是[0.0120，0.0130]，YES和NO分别表示存在缺口缺陷和不存在缺口缺陷；

②粘料和针眼检测：

1)采用分割阈值T_zz在区域Reg_nl和Reg_zy中分割粘料和针眼的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_nl和Bl_zy；

分割阈值T_zz的确定：

T_zz＝Mean′_zz(x，y)-δ_zz·V′_zz(x，y)

式中Mean′_zz(x，y)和V′_zz(x，y)为检测区域像素灰度值的均值和方差，δ_zz为粘料和针眼缺陷的方差权重；

图像中低于分割阈值的像素区域为缺陷候选块；

2)利用像素计数法提取Bl_nl连通域的像素面积特征Area_nl和圆度特征Roundness_nl、Bl_zy连通域的像素面积特征Area_zy和圆度特征Roundness_zy，根据下式5、6分别判断Bl_nl是否为粘料缺陷以及Bl_zy是否为针眼缺陷：

式中，缺陷面积判断阈值Th_nl1和Th_zy1由式3确定，其中φ的取值范围分别是[0.0020，0.0021]和[0.0024，0.0025]；缺陷圆度判断阈值Th_nl2和Th_zy2的取值范围分别是[0.5，1]和[0.85，1]；∩表示逻辑“与”运算；YES和NO分别表示是和否；

像素面积特征即区域内的像素个数，圆度特征描述即目标区域的面积与外接圆面积的比值，形状越接近圆，比值越接近1，圆度特征的取值范围是：0＜Roundness_nl＜1，计算公式为其中r为被提取目标的外接圆半径，此处的被提取目标指粘料和针眼缺陷；

③划痕和开裂检测：

1)采用局部图像方差强度算法求取分割阈值T_hk，在区域Reg_hh和Reg_kl中分割划痕和开裂的Blob块候选，通过八连通区域标识出Blob连通域，记为Bl_hh和Bl_kl；

局部图像方差强度是图像局部阈值概念的拓展延伸，由于被检测工件受生产工艺影响会有背景不均匀情况，因此很难找到固定阈值将目标缺陷与背景完整分割；故提出局部阈值检测方法，即局部灰度特征与整体相结合的方法；结合局部方差与方差的特性，先采用(2D_hk+1)×(2D_hk+1)的滤波掩码进行平滑处理，式中D_hk为划痕和开裂缺陷的长度；再计算平滑后图像灰度值的标准差σ_hk(x，y)和方差V_hk(x，y)；分割阈值按下式的确定：

其中σ′_hk(x，y)和V′_hk(x，y)表示平滑前的整幅图像的标准差和方差；

2)利用像素计数法提取Bl_hh连通域的像素面积特征Area_hh和内部最长直径特征Diameter_hh以及Bl_kl连通域的像素面积特征Area_kl和内部最长直径特征Diameter_kl；根据式7、8分别判断Bl_hh是否为划痕缺陷，以及Bl_kl是否为开裂缺陷：

式中，缺陷面积判断阈值Th_hh1和Th_kl1由式3确定，其中φ的取值范围分别是[0.0110，0.0120]和[0.0048，0.0049]；缺陷最长直径判断阈值Th_hh2和Th_kl2的取值范围由经验值确定；∩表示逻辑“与”运算；

内部最长直径即区域边界上最远的两个像素点的距离，距离和面积都是以像素为单位，即该距离内或该区域内包含的像素个数；

④压痕检测：

1)通过拉普拉斯高斯变换算法和局部动态阈值T_yh分割压痕的Blob候选块；

T_yh的确定：采用(2D_yh+1)×(2D_yh+1)的滤波掩码进行平滑处理，式中D_yh为压痕缺陷的直径；计算平滑后图像灰度值的均值Mean_yh(x，y)和标准差σ_yh(x，y)；由于压痕缺陷在拉普拉斯高斯变换后的图像中显示为亮像素，故选择T_yh＝Mean_yh(x，y)+γ_yh·σ_yh(x，y)为分割阈值，γ_yh为压痕缺陷的标准差权重；通过八连通区域标识出Blob连通域，记为Bl_yh；

2)利用像素计数法提取Bl_yh连通域的像素面积特征Area_yh和矩形度特征Rectan_yh，矩形度是描述被提取区域对其外接矩形的充满程度，计算公式为其中S_m为被提取区域外接矩形区域的面积；根据式9判断Bl_yh是否为压痕缺陷：

式中，面积判断阈值Th_yh1由式3确定，其中φ的取值范围是[0.0160，0.0170]；矩形度判断阈值Th_yh2的取值范围是[0.7，1]；∩表示逻辑“与”运算；

⑤起泡检测：

1)通过快速傅立叶变换将图像函数从空间域转变到频率域，采用低通滤波器平滑图像，再通过傅立叶逆变换将图像从频率域变换到空间域；根据图像灰度直方图，选取波谷灰度值为分割阈值分割目标分割起泡的Blob候选块，通过八连通区域标识出Blob连通域，记为Bl_qp；

2)利用像素计数法提取Bl_qp连通域的像素面积特征Area_qp和圆度特征Roundness_qp；根据式10判断Bl_qp是否为起泡缺陷：

式中，面积判断阈值Th_qp1由式3确定，其中φ的取值范围是[0.0123，0.0124]；圆度判断阈值Th_qp2的取值范围是[0.5，1]；∩表示逻辑“与”运算。

2.根据权利要求1所述的基于机器视觉的工件外观缺陷检测方法，其特征在于，对矫正后的图像进行数学形态学处理；处理过程为，通过结构元素B对图像施加形态学开运算去除工件边缘毛刺，平滑工件边缘，有：

式中，为开运算运算符，为腐蚀运算符，为膨胀运算符，B为结构元素，大小为3，元素全为1，为圆盘结构。