CN111145165A

CN111145165A - 一种基于机器视觉的橡胶密封圈表面缺陷检测方法

Info

Publication number: CN111145165A
Application number: CN201911401291.4A
Authority: CN
Inventors: 沈琦; 许伯睿
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-12

Abstract

本发明涉及一种基于机器视觉的橡胶密封圈表面缺陷检测方法，属于检测领域。本发明针对O型橡胶密封圈生产线上基于机器视觉的自动化检测环节中存在的缺陷检测方式普适性较差，容易漏检、误检等不足，设计了一种新型密封圈表面缺陷方法。此方法采取数据驱动策略，把不同尺度，不同方向的Gabor滤波器提取的图像纹理特征进行集成，并与支持向量机(SVM)相结合，辅以图像预处理技术和特征降维，训练出能够准确识别O型橡胶密封圈表面缺陷的分类器。此分类器可有效降低传统的Blob检测方法(图像预处理—>图像分割—>分离感兴趣区域—>缺陷识别)的漏检和误检率，通用性更强。

Description

一种基于机器视觉的橡胶密封圈表面缺陷检测方法

技术领域

本发明涉及一种基于机器视觉的橡胶密封圈表面缺陷检测方法，属于检测领域。

背景技术

橡胶密封圈是一种基础工业原件，在装备制造、汽车、机器人、航空航天等军民领域都有广泛应用。它的密封原理是在压力的作用下变形，使边缘紧贴密封面，压力越高，边缘与密封面贴得就越紧，实现密封。橡胶密封圈成本低，生产门槛低，工艺成熟，生产过程已经实现较高的良品率，但也会产生气泡、飞边、边缘毛刺、胶料缺失、磨脏、附带杂质等缺陷，这些次品在使用中存在安全隐患，有可能带来经济乃至生命财产损失，不能出厂销售。随着科学技术不断向前发展，现代制造业对产品生产效率与质量的要求都来越高，用尽可能快的速度产出保质保量的产品，是所有工厂、企业的期望。缺陷检测是质量检查的环节之一，目的是检查产品是否存在瑕疵，保证出厂合格率。传统的依靠目测和手工检查等手段已经难以满足需求。除人工检测除效率低下，增加企业成本外，长时间高强度工作产生的疲劳和主观判断偏差，熟练程度不同的工人，对产品质量的评价标准也有差异，这些因素使得漏检(不合格品判别为合格品)和误检(合格品判别为不合格品)时有发生。综上所述，需要全新的缺陷质量检测方法：效率更高，速度更快，全自动，实时可控。

现在已有一些橡胶密封圈生产企业用高科技手段取代人力实现质量检测，机器视觉技术是其中一种，也是用得最多的一种。所谓“机器视觉”，是指用计算机来模拟实现人类的视觉功能，用计算机来识别客观的三维世界。机器视觉如今已经得到极大发展，相关理论、技术与产品已应用到各行各业，是一门比较成熟的技术学科。利用机器视觉做产品缺陷检测最早可追溯到上世纪七八十年代，相关技术点有图像预处理(噪声滤除，去畸变、改善光照条件)、图像分割(基于阈值、基于区域、基于边缘)、图像特征描述、配准、目标检测等。

从检索结果上看，与本发明最相近的实现方案采用图像边缘检测技术。当检测装置采取适宜的打光和减小其它杂光干扰等措施，缺陷部位由于胶料缺失、存在杂质、撕裂等种种原因，在工业相机采集到的密封圈表面灰度图上同周边的无缺陷部位存在较为明显的灰度差异，使得缺陷在图像上十分显著。边缘检测技术是图像分割技术(利用图像灰度值，纹理等特征将原图像进行区域上或边界上的分割，将图像分成数个不同部分，并提取出感兴趣区域)的一个子类，构造对图像灰度阶跃变化敏感的差分算子，如Sobel、Robert、Prewitt、Canny等，利用图像一阶导数极值或二阶导数的过零点信息来提供判断边缘点的基本依据，将原灰度图变为只由灰度值为0和255两类像素点构成的“二值化图像”，并在此基础上采取几何算法去除图像的内外两个圆环(O型密封圈的内外两个边缘)，剩余的像素点即为“感兴趣区域”。判别该橡胶密封圈表面是否存在缺陷的方法主要有以下两种：

总体判别——计算所有这些“感兴趣区域”的像素点总数，再根据工业相机预先的标定参数，计算出这些像素点的面积大小。将该面积值与人为设定的阈值进行比较，如果大于阈值，则该密封圈是存在缺陷的；

逐个判别——对提取出的每一块“感兴趣区域”，测算其面积、区域周长、区域圆度、区域长短径之比等等几何形状参数作为通用基本特征，形成特征参数序列，送入已经通过大量类似的、带标签的特征序列样本训练好的二叉决策树、多叉决策树或随机森林(Random Forest)等判别模型，完成对该区域的识别。如果模型将任意一块“感兴趣区域”识别为缺陷，则该密封圈是存在缺陷的，否则，该密封圈无缺陷。

采用以边缘检测、Otsu法、分水岭算法等图像分割技术分离区分橡胶密封圈表面上的缺陷部分，虽然在算法实现上较为简单，但存在以下几个缺点：

(1)算法参数难以通用——不同批次，不同用途橡胶密封圈的材质、色彩不完全相同，而图像分割算法涉及到一些事先设定好的阈值等参数，难以做到与所有类型密封圈图像相适应，在任何情况下都使得分割算法获得最佳效果；

(2)图像背景影响——图像分割技术将原图像二值化，区分出“前景”(灰度值为255的部分，白色像素点)“背景”(灰度值为0的部分，黑色像素点)，形成物体轮廓图。而分割算法受物体与背景之间灰度差影响，如果由于光照强度不高，背景发暗，载物底面粗糙等原因导致物体同图像背景间的灰度差不大，会影响分割结果，进而对缺陷检测带来不利；

(3)计算误差——O型密封圈表面的任意一处都不是平的，都有一定的曲率，故密封圈图像上一个像素块的实际尺寸不一定与根据标定参数换算得到的像素点尺寸相同，任意两个像素点的尺寸也不尽相同，这会导致面积计算误差；

(4)鲁棒性较差，智能程度不足——区域分割法经常使图像过度分割，边缘检测对噪声点较为敏感，容易产生伪边缘，所以基于图像分割的O型密封圈表面缺陷检测算法常常会把密封圈表面的灰尘，微小杂物甚至图像噪点当作感兴趣区域并识别为“缺陷”，或者由于难以精确识别某处不常见的缺陷部位并把它识别为“正常”，引发误报或者漏报，降低检测准确率。

发明内容

本发明的目的是提出一种新的密封圈表面缺陷检测思路，不刻意提取有可能含缺陷的“感兴趣区域”，而是采取数据驱动策略，从大量含缺陷和无缺陷密封圈图像中提取纹理特征，构成特征样本，送入一个机器学习分类器做有监督的训练，使分类器“学习”到不同类别图像间的特征差异。当分类器训练完毕，模型调整至最优，在实际检测时采用和训练阶段同样的方法进行图像预处理和纹理特征提取工作，然后由分类器判别特征样本的类别归属。此方案旨在降低误报和漏报发生率，减少图像本身质量对检测效果的影响，提高O型密封圈缺陷检测的鲁棒性、通用性和智能程度。

具体内容如下：

一、O型密封圈图像预处理：

密封圈图像在拍摄、存储、传送过程中会受到生产环境、光照条件等带来的干扰，导致图像出现失真、模糊等退化现象(如图1所示)。在进行表面缺陷检测前，先要对工业相机采集到的图像进行一些处理，去除噪点，并使得密封圈边缘更清晰、表面纹理更鲜明，缺陷部位与周边区域的对比度更高。机器视觉应用里常在图像二维空间用某一模版对每个像素与其周围邻域的所有像素进行某种数学运算得到该像素的灰度值，新的灰度值与该像素的灰度值和其领域内的像素值有关，称之为“空域滤波法”。常见的空域滤波法有均值滤波、中值滤波、维纳滤波等。在图像噪声不甚大时，中值滤波法就能获得很好的处理效果，然而该方法的滤波窗口尺寸固定不变，当图像噪声比重较大时不再有效。自适应中值滤波法(Adaptive Median Filter)可根据预设条件动态改变滤波器窗口尺寸，能在去除噪声的同时还能保护密封圈边缘、表面纹理和缺陷等细节信息。因此本发明采用该法对采集到的密封圈图像进行预处理。方法如下：

(1)设几个变量：Sxy表示某一次滤波操作时，矩形滤波窗口的覆盖区域，窗口中心点为(x,y)——位于第y行第x列上的像素点，其灰度值为Zxy；Zmin、Zmax分别为区域Sxy内最小和最大的灰度值；Zmed为区域Sxy内所有灰度值的中位数；Smax区域Sxy能允许的最大尺寸。

(2)设定①和②两个子步骤：

步骤①令A1＝Zmed-Zmin，A2＝Zmed-Zmax；如果A1>0且A2<0,说明Zmin<Zmed<Zmax，Sxy内灰度中值点非噪点，跳转到步骤②，否则增大过滤器窗口尺寸，在更大范围内寻找合适的非噪声点。如果增大后的尺寸小于等于Smax，重复步骤①，否则直接输出Zmed；

步骤②令B1＝Zxy-Zmin,B2＝Zxy-Zmax；如果B1>0且B2<0,说明Zmin<Zxy<Zmax，滤波器中心点非噪点，输出Zxy，保留当前像素点的灰度值，否则说明Zxy＝Zmin或者Zxy＝Zmax，用Zmed替代原Sxy区域中心值，滤除噪声。

经过自适应中值滤波算法后，原图像如图2所示。

二、Gabor小波变换和Gabor特征

傅里叶变换可以将信号(包括图像信号)从空域转换到频域，但无法获得频谱中不同频率间的先后关系，也就无法提取傅里叶变换在局部范围内的信息。Gabor变换是傅里叶变换的一种改进，它引入了时间局部化的“窗函数”，变换只依赖于部分时间的信号，因此也叫“窗口傅里叶变换”。Gabor小波在提取目标的局部空间和频率域方面具有良好特性，对边缘敏感，能够克服光照、角度、尺度等干扰，Gabor函数与哺乳动物视觉系统中初级视觉皮层感受野细胞的刺激响应十分类似，可以很好地提取图像在不同空间位置、不同频率、不同尺度和不同方向上的特征，因此广泛应用于机器视觉领域，在图像纹理特征提取与分析，物体分类、图像信息理解、目标识别中广泛应用。

对图像提取Gabor纹理特征，用的是二维Gabor函数。它在空间域中是一个由正弦平面波调制的高斯核函数。一个二维Gabor函数的数学表达式是复数形式的，如下所示：

进一步地，该表达式可分为实数和虚数两部分，

实数部分：

虚数部分：

其中，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ

上述公式证明略。

二维Gabor函数公式涉及到一些参数：λ为Gabor核函数中余弦函数波长，单位为“像素”，通常大于等于2；θ表示滤波核中平行条带的方向，有效值是0度—360度；ψ是余弦函数相位，取值范围为-180度—180度；γ决定了Gabor形状的椭圆率，即长宽比，取1时Gabor形状为圆，通常取0.5；σ表示Gabor函数的高斯因子标准差，它比较特殊,不能直接设置，而是随着Gabor滤波器半响应频率带宽b变化。b,λ和σ关系如下：

b越小，标准差越大,Gabor形状中平行条纹数目越大。

选取几个不同的尺度(中心频率)和几个不同的Gabor小波方向，两个集合进行排列组合，可以构造一组Gabor滤波器，对二维图像进行特征提取。假设选取尺度p个，Gabor小波方向q个，则一共可组成p*q个滤波器φ11,φ12,φ13……φ1n,φ21,φ22,……φmn，对一幅二维图像I(x,y)，分别与这p*q个滤波器的实部和虚部进行卷积运算。滤波器φij对I(x,y)上像素点(x,y)的Gabor特征提取结果ωij为：

ω_ij(x,y)＝∫∫I(x,y)·φ_ij(x-x_i)·(y-y_i)dx_idy_i

Gabor滤波器实部和虚部对图像的处理效果是完全不同的，前者平滑图像，后者得到图像的边缘信息，因此可以用来提取图像特征。如果二维图像I的维度是(w,h),Gabor滤波器有p*q个，则ωij维度是w*h*(p*q)。

三、特征降维技术

用Gabor小波变换提取到的图像特征维度很高，如果送入分类器进行训练和实际测试，计算复杂度可想而知。特征冗余既增加时间消耗对检测实时性产生负面影响，检测效果不一定比维度较小时更好。由此，需要在保留图像Gabor特征主要内容的同时将特征维度降得尽可能低。主成分分析(principal component analysis,PCA)是一种典型的无监督降维方法，其作用是在n维特征空间中找到一组由m个正交矢量组成的向量，形成一个m维正交基(m<<n)，使得这组矢量满足两大条件：

样本点距离新正交基距离足够接近；

样本点在新正交基上方差最大(因为全体样本在某一特征上的方差越大，说明该特征对不同类别样本的“区分度”越高，对分类任务的重要程度越高)

PCA提供了另一种描述原数据的方式：用这组新的，维度更低的正交基揭示低维同高维间的联系，将高维数据映射(投影)到一个低维特征空间，在实现有效数据损失尽可能小的基础上实现Gabor特征压缩，消去冗余成分，保留主要成分。下面是主成分分析算法的流程：

已知一个由p条高维特征序列组成的集合X{X₁,X₂,X₃……X_p},每条特征序列的维度为n,目标是将集合由n维降到m维(m<<n)。

1)对集合X进行归一化(normalization)操作，形成集合Z

2)计算样本集Z(维度p*n)协方差矩阵ZZT。

3)对ZZT做特征值分解，取出最大的m个特征值对应的特征向量(W₁,W₂,W₃,……W_n)。

4)特征向量集标准化，组成矩阵W

5)对样本集中的每一个样本X_i,转化为新的样本:Z_i＝W^TX_i；

算法输出：提取了m条主成分后的新集合X’{Z₁,Z₂,Z₃，……，Z_p}，每一条特征序列的维度由n变为m(我们也可以不指定降维后m的值，而是指定一个降维后主成分占比阈值t)

四、支持向量机(Support Vector Machine，SVM)

获得经过降维处理的O型密封圈图像Gabor特征后，就可以根据这些特征形成的样本判断是否存在缺陷，以及存在何种缺陷。本发明采用支持向量机(SVM)作对图像特征进行分类。支持向量机(SVM)是一种优秀的机器学习模型，从诞生至今只有二十多年，功能全面，性能良好，在小样本分类问题上具有优势。除支持线性分类任务和非线性分类外，还能用来作回归预测。

SVM本身是一个二分类算法，它的原理是在m维特征空间中找到一个“分类超平面”(不一定是二维的)，使得该平面能隔开两种类型的m维样本，且两类样本到该平面的最小距离之和最大(该距离越大，说明两类样本相隔越远，该平面为最佳分类方案的可信度也越高)，如图3所示。

数学上，分类超平面的定义如下：

w₁x₁+w₂x₂+w₃x₃+......w_mx_m+b＝0

上式可简写成w^Tx+b＝0。其中{w₁,w₂,……w_m}为超平面向量，{x₁,x₂,……x_m}为待分类样本。另设y_i为样本x的标签，因为是二分类问题，y_i取值为1或-1。该点到超平面w的距离是：

支持向量机模型要保证任意两类中最近的数据点之间的间隔最大，这实际上是个取最值问题，经过学者研究，求解这样的超平面可以看做一个凸优化问题，这里不再赘述。在有些应用场景下(如图4)，样本数据在原始空间是不可分的，只有在更高维的空间才能线性可分，引入核方法，公式如下：

K(x_i,x_j)＝＜φ(x_i).φ(x_j)＞

其中，x_i和x_j分别是样本集的第i，第j个特征序列，φ指映射到较高维度的方式。可以看出，所谓“核方法”是对样本集任意两个特征序列的映射结果进行内积运算。核函数的选择十分关键，一个函数要想成为核函数，必须满足它里面任何点的集合形成的Gram矩阵是半正定的。即：对于任意的x_i∈χ，i＝1,2,3...m,K(x_i,x_j)对应的Gram矩阵K＝[K(x_i,x_j)]是半正定矩阵，则K(x,z)是正定核函数。为处理可能出现的特征数据线性不可分，本发明选用高斯核函数(也称作径向基核函数，Radial Basis Function,RBF)，表达式为：

K(x,z)＝exp(-γ||x-z||²)

选择RBF作为核函数的原因是和多项式、sigmoid等其它核函数相比，RBF仅需确定一个参数γ,且在对非线性样本做分类时可达到和线性核范数等同的效果。

有益效果

此方法采取数据驱动策略，把不同尺度，不同方向的Gabor滤波器提取的图像纹理特征进行集成，并与支持向量机(SVM)相结合，辅以图像预处理技术和特征降维，训练出能够准确识别O型橡胶密封圈表面缺陷的分类器。此分类器可有效降低传统的Blob检测方法(图像预处理—>图像分割—>分离感兴趣区域—>缺陷识别)的漏检和误检率，通用性更强。

附图说明

图1、工业相机采集到的橡胶密封圈原始图像；

图2、对原始图像做自适应中值滤波后的结果；

图3、将两类样本点分隔开的分隔超平面；

图4、用核方法将特征空间维度增加，使得两类样本点变得线性可分示意图；

图5、40个Gabor滤波器核的图像(5个尺度，8个方向)；

图6、40个Gabor滤波器对密封圈图像的卷积结果；

图7、训练阶段流程图；

图8、测试阶段流程图。

具体实施方式

1)准备工作

实时检测环境：O型橡胶密封圈表面缺陷检测算法运行在密封圈生产线上，相关设备包括计算机、高精度的CCD线扫描工业相机、载物平台、碗状LED光源等。工业相机通过通用串行总线(USB)与计算机通信及传输数据。为了尽可能消除生产环境光照等杂光的影响，应设置一个暗室；为实现检测自动化，推向采集系统使用了外触发机制。相机和光源均位于载物平台上方，每当工控机上的待检测密封圈运动至相机和光源正下方时，外触发机制给相机一个信号，相机收到有效触发信号后立即实施拍照动作，采集密封圈表面的一帧图像并传输至主机，运行表面缺陷检测方法。

数据：本方法需要大批O型橡胶密封圈表面灰度图像作为训练数据，因此需要先用工业相机采集大批不同材质、不同颜色、不同大小密封圈的无缺陷、有缺陷两大类图像(灰度图即可)。所有图像应保证格式、单个像素维数相同，分辨率统一定为1920*1200；密封圈常见的各类缺陷(气泡、飞边、缺料、划痕、磨脏、缩裂、机械损伤、杂质附着、粘模、其它)都要涵盖，数目要大；密封圈的俯视图像应当完全出现在相机视野里，显示一个完整的，边沿和纹路清晰的圆环。

2)方法流程

本缺陷检测方法可分为训练和实际检测两大阶段：

2.1训练阶段

2.1.1遍历O型橡胶密封圈表面训练集的每一张图片，进行如下操作；

---先用自适应中值滤波算法做预处理。

---为了降低算法复杂度，节约计算资源，要对图像做降采样，分辨率由1920*1200缩小至480*300；

---构造Gabor滤波器组，选择五个尺度{5,10,15,20,25}，八种Gabor小波方向{0，π/8,π/4,3π/8,π/2,5π/8,3π/4,7π/8,π}，共有5*8＝40个Gabor滤波器，这40个滤波器核的图像如图5所示。分别用滤波器组的每一个Gabor滤波器对缩小后的密封圈图像进行卷积运算，得到不同频率和方向上的Gabor特征，如图6所示。取每一个卷积结果的灰度均值、最大值和标准差作为图像在该频率和方向上的特征值，这样，每张图像就有40*3＝120个特征值，将这些数值连同图像标签(具体的缺陷类型或无缺陷，每个标签对应一种可能的检测结果)串列起来，是为一个训练样本。

2.1.2训练样本集制作完毕，对样本集用主成分分析(PCA)法进行数据降维，筛选并记录下全体滤波器集合中能够提取样本数据主成分(占比超过设定的85％)的那一部分；

2.1.3把降维处理后的训练样本集送入以径向基函数(RBF)为核函数的支持向量机(SVM)进行有监督训练。为了更好地评估分类模型性能，减小过拟合并提高样本使用率，采用“K折交叉验证”的训练方法，将整个样本集随机分为K(一般取5到10之间)个子集，在每次训练中的每一轮(epoch)，轮流选取其中一个子集当作验证集，另外K-1个子集用于训练；在训练中采取“一对一”(One Versus One，OvO)策略，将有n个可能分类结果的问题转化为n*(n-1)/2个二分类问题。与其它多分类策略相比，“一对一”策略虽然耗时较长，复杂度较高，但分类结果更为准确。迭代训练，不断调整模型中包含的参数，使得支持向量机对输入样本序列的分类准确率不断提升，漏判和误判的几率不断下降，直到满足检测要求，模型参数固定为止。

2.2实际测试阶段

对一幅相机采集到的O型橡胶密封圈表面图像，实际检测流程如下：

2.2.1将图像缩放至480像素*300像素；

2.2.2用自适应中值滤波算法对缩小的图像做预处理；

2.2.3基于训练阶段的降维结果，用相应的Gabor滤波器对缩放的图像进行卷积运算，计算每个卷积结果的灰度最大值、均值和标准差，制成这幅图像的特征序列，是为检测样本；

2.2.4将上一步的检测样本送入已经训练好的支持向量机模型，模型输出就是检测结果——无缺陷或缺陷的具体名称。

Claims

1.一种基于机器视觉的橡胶密封圈表面缺陷检测方法，其特征在于包括数据准备、训练阶段和实际检测三部分：

数据准备：采集O型橡胶密封圈表面灰度图像作为训练数据；

训练阶段：

(1)遍历O型橡胶密封圈表面训练集的每一张图片，进行如下操作；

先用自适应中值滤波算法做预处理；

对预处理后的图像做降采样，用于降低算法复杂度，节约计算资源；

构造Gabor滤波器组，选择p个尺度，q个方向，共p*q个滤波器，分别用滤波器组的每一个Gabor滤波器对缩小后的密封圈图像进行卷积运算，得到不同频率和方向上的Gabor特征；取每一个卷积结果的灰度均值、最大值和标准差作为图像在该频率和方向上的特征值；将这些数值连同图像标签串列起来，构成一个训练样本；

(2)训练样本集制作完毕，对样本集用主成分分析(PCA)法进行数据降维，筛选并记录下滤波器集合中能够提取样本数据主成分，即占比超过设定的阈值t的那一部分；

(3)把降维后的训练样本集送入支持向量机(SVM)进行有监督训练；采用“K折交叉验证”的训练方法，将整个样本集随机分为K个子集，在每次训练中的每一轮(epoch)，轮流选取其中一个子集当作验证集，另外K-1个子集用于训练；在训练中采取“一对一”(OneVersus One，OvO)策略，将有n个可能分类结果的问题转化为n*(n-1)/2个二分类问题；迭代训练，直到满足检测要求，模型参数固定为止；

实际测试阶段

对一幅相机采集到的待检测的O型橡胶密封圈表面图像，实际检测流程如下：

(1)缩放图像；

(2)用自适应中值滤波算法对缩小的图像做预处理；

(3)基于训练阶段的降维结果，用相应的Gabor滤波器对缩放的图像进行卷积运算，计算每个卷积结果的灰度最大值、均值和标准差，制成这幅图像的特征序列，是为检测样本；

(4)将上一步的检测样本送入已经训练好的支持向量机模型，模型输出就是检测结果——无缺陷或缺陷的具体名称。

2.根据权利要求1所述的一种基于机器视觉的橡胶密封圈表面缺陷检测方法，其特征在于：进一步，数据准备阶段采集的图像包括不同材质、不同颜色、不同大小密封圈的无缺陷、有缺陷两大类图像；密封圈常见各类缺陷都要涵盖；密封圈的俯视图像应当完全出现在相机视野里，显示一个完整的，边沿和纹路清晰的圆环。

3.根据权利要求1所述的一种基于机器视觉的橡胶密封圈表面缺陷检测方法，其特征在于：Gabor滤波器组优选五个尺度{5,10,15,20,25}，八种Gabor小波方向{0，π/8,π/4,3π/8,π/2,5π/8,3π/4,7π/8,π}。

4.根据权利要求1所述的一种基于机器视觉的橡胶密封圈表面缺陷检测方法，其特征在于：所述支持向量机以径向基函数(RBF)为核函数。

5.根据权利要求1所述的一种基于机器视觉的橡胶密封圈表面缺陷检测方法，其特征在于：进一步训练阶段步骤(3)所述K个子集优选5到10之间。