CN109523541A

CN109523541A - 一种基于视觉的金属表面细微缺陷检测方法

Info

Publication number: CN109523541A
Application number: CN201811406327.3A
Authority: CN
Inventors: 李澄非; 吉登清; 潘海欣
Original assignee: Wuyi University
Current assignee: Wuyi University
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2019-03-26

Abstract

本发明公开了一种基于视觉的金属表面细微缺陷检测方法，其包括以下步骤：S1、通过四点光源三维检测系统采集4幅不同光照角度的待测金属表面图像；S2、计算每幅图像对应的光源方向；S3、由梯度信息还原物体表面的曲率图像；S4、对曲率图像依次进行灰度变换、均值滤波的预处理操作；S5、用自动阈值分割法对预处理后的图像进行阈值分割；S6、通过面积特征剔除误判的像素点和可容忍的细微缺陷，判断产品是否存在缺陷；S7、提取缺陷的纹理特征，并通过模式识别对存在缺陷的产品进行分类。本发明解决现有技术中金属表面缺陷检测漏检率高的缺陷，达到快速识别出缺陷产品并对产品进行高效分类的目的。

Description

一种基于视觉的金属表面细微缺陷检测方法

技术领域

本发明涉及计算机视觉技术领域，更具体地说，涉及一种基于视觉的金属表面细微缺陷检测方法。

背景技术

目前针对抛光金属表面的细微缺陷的自动化检测技术较不成熟，对细微缺陷的漏检率和误检率较高、检测效率较低，主要还是依靠人工来完成对细微缺陷的检测与识别。中国专利“CN102830123B”公开了一种金属板带表面微小缺陷的在线检测方法，该专利从摄像机采集到的彩色图像分离出R、G、B通道图像，分别对应红、绿、蓝光源的反射光强度分布，设计的表面倾角计算方法，可通过R通道图像和B通道图像计算表面倾角分布图，并根据表面倾角分布图检测金属板带表面微小缺陷，G通道图像为介于明暗场照明方式得到的金属板带表面图像，通过该图像可用现有的算法检测金属板带表面的常规缺陷，结合微小缺陷和常规缺陷的检测结果就可以得到金属板带表面完整的缺陷信息。但是，这种方法对于金属表面的细微缺陷的正检测率较低，漏检率较高，且检测方式效率低，检测结果受检测工人的主观因素较大，也会造成严重的漏检和误检。

发明内容

有鉴于此，本发明提供了一种基于视觉的金属表面细微缺陷检测方法，解决现有技术中金属表面缺陷检测漏检率高的缺陷。

一种基于视觉的金属表面细微缺陷检测方法，其具体步骤为：

S1、通过四点光源三维检测系统采集4幅不同光照角度的待测金属表面图像；所述步骤S1中的四点光源三维检测系统采用红光型点光源，所述步骤S2中计算每幅图像对应的光源方向采用的是高光黑球标定法。

S2、计算每幅图像对应的光源方向；

S3、由梯度信息还原物体表面的曲率图像；所述步骤S3的具体过程为：S31、定义N为球体表面上一点的法向量，写成向量形式为:N＝(N_x,N_y,N_z)^T；S32、求出待测物体表面在点(r,c)处的行梯度分量m等于S33、求出待测物体表面在点(r,c)处的行梯度分量n等于S34、求出待测物体表面点(r,c)处的高斯曲率K为：S35、将图像上每一点的高斯曲率转化为灰度值，得到能清晰反应待测物体表面信息的曲率图像；其中，I表示图像中像素点的亮度,N为表面的单位法向量,L表示光源方向。

S4、对曲率图像依次进行灰度变换、均值滤波的预处理操作；在所述步骤S4中，对曲率图像进行灰度变换采用的是灰度翻转算法，对曲率图像进行均值滤波采用的是掩模为35*35的均值滤波算法。所述步骤S4中，对曲率图像进行灰度变换的具体过程为：灰度翻转将原来呈现暗色的缺陷变为亮色，原来呈现亮色的背景变为暗色。灰度翻转公式如公式：s＝L-1-r，式中S表示像素点翻转后的像素值，L＝256，r表示像素点原始值。通过翻转变换，每个灰度值将会变成(255-r)，从而实现灰度值的变换。所述步骤S4中，对曲率图像进行均值滤波的具体过程为：采用35*35的掩模对灰度翻转后的图像进行均值滤波，将35*35模板内所有像素点灰度值的平均值作为中心像素点的像素值，依次遍历所有像素点，完成对图像的均值滤波。得到趋近于图像背景的理想图片。

S5、用自动阈值分割法对预处理后的图像进行阈值分割；所述步骤S5的具体过程为：S51、将均值滤波后的图像视为背景图像记为J(x,y),原始图像记为O(x,y),n为所有像素点的总个数；S52、求出原始图像与均值滤波后图像每一点的像素灰度差的均值偏移量m，具体为S53、获取预处理后的图像缺陷区域Q(x,y)＝O(x,y)≥J(x,y)+m。

S7、提取缺陷的纹理特征，并通过模式识别对存在缺陷的产品进行分类。在步骤S7中，对缺陷进行分类采用支持向量机法，其中，该支持向量机法的核函数选取的是径向基SVM函数，G＝0.5和惩罚因子C＝1.0。

从上述的技术方案可以看出，本发明的有益效果为：本发明利用四点光源三维检测系统采集待测图像并利用梯度信息还原曲率图像，然后对曲率图像预处理后进行阈值分割得到缺陷区域，最后对缺陷区域进行剔除过滤并通过模式识别的方法对存在缺陷的产品进行分类，从而将产品划分为无缺陷产品以及按缺陷类型分类的缺陷产品，解决了现有技术中金属表面缺陷检测漏检率高的缺陷，达到快速识别出缺陷产品并对产品进行高效分类的目的。

附图说明

图1为本发明实施例提供的一种基于视觉的金属表面细微缺陷检测方法的步骤流程图。

图2为步骤S3所得到的高光黑球反射原理图像。

图3为步骤S1所采集得到的图像样品。

图4为步骤S3所得到的曲率图像样品。

图5为步骤S4所得到的均值滤波预处理操作图像样品。

图6为步骤S5所得到的阈值分割图像样品。

图7为步骤S6所得到的缺陷分类图像样品。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所述的附图作简单地介绍，显而易见，下面的描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

具体实施方式

本发明实施例提供了一种基于视觉的金属表面细微缺陷检测方法。

如图1-7所示，本发明实施例所提供的一种基于视觉的金属表面细微缺陷检测方法，其具体步骤为：

S2、计算每幅图像对应的光源方向；

在本发明实施例中，步骤S1采用的现有的四点光源三维检测系统采集4幅不同光照角度的待检测金属表面图像：中的检测装置，检测的对象是抛光的金属表面，由于抛光金属表面缺陷非常细微且图像采集易受环境影响，需要很高的像素分辨率来满足检测要求，像素精度需要达2um-3um。检测装置中，采集图像的相机采用面阵400万像素CMOS相机，分辨率为2048像素×2048像素，每个像素尺寸为5.5um×5.5um。镜头采用OPTART-M2-65镜头，其工作距离为35dm，光学放大倍率为2×。光源采用红光点光源构成四光源系统，同时使用雅马哈机械手作为运动控制。步骤S2中计算每幅图像对应的光源方向：计算该光照模型下黑球表面的反射亮斑处的表面法向量N₀，并由几何关系L₀＝2(N·V)V-V得出光源的单位方向向量L₀.定义I₀表示图像中像素点的亮度，由朗伯体反射模型有：I₀＝ρN₀L₀。步骤S3中，由步骤2得到出的图像的亮度信息计算梯度信息和物体表面法向场，再由表面法向场还原物体表面信息进而得到能清晰反应待测物体表面信息的曲率图像。

步骤S3的具体过程为：提取点光源中高光黑球的圆形轮廓，如图2绿线所示，计算该圆形轮廓的的半径_r和圆心(u₀,v₀)并计算反射亮斑的重心坐标(u_d,v_d)，如图2所示。反射亮斑处的表面法向量为：式中因为相机距反射面较远，视场范围较小，故反射光线的方向向量V可认为近视竖直向上。由图2的几何关系可以得出光源的单位方向向量为：L＝2(N·V)V-V；根据朗伯体反射模型有：I₀＝ρN₀L₀，式中I₀表示图像中像素点的亮度,N₀为表面的单位法向量,L₀表示光源方向。

本系统采用四光源光度立体法，通过增加一个约束条件，可以更准确的求解待测对象的表面梯度。定义N为物体表面上一点的法向量，写成向量形式为:N＝(N_x,N_y,N_z)^T。则I₀＝ρN₀L₀是关于N的各个分量的线性方程组。已知四个点光源对应的四个图像的亮度值为I＝(I₁,I₂,I₃,I₄),四个光源方向为

则有物体表面某一点在不同光源下由相机拍摄的四幅图像中，该像素点的反射光亮度为一个线性方程组：

写成矩阵形式为：

该式为超定线性方程组，可由最小二乘法求解，即

则有

待测物体表面的高斯曲率信息能有效的反映物体表面的细微缺陷，可以通过待测物体表面的梯度信息f(r,c)和高斯导数卷积[22,23]来求解物体表面的高斯曲率K。其中梯度信息f(r,c)可由公式求解：f(r,c)＝(u(r,c),v(r,c))式中r表示图像中某一点列坐标，c表示图像中的某一点行坐标，u(r,c)待测物体表面在点(r,c)处的行梯度分量，其值等于m，v(r,c)待测物体表面在点(r,c)处的列梯度分量，其值等于n，则有待测物体表面点(r,c)处的高斯曲率为：

将图像上每一点的高斯曲率转化为灰度值，得到能清晰反应待测物体表面信息的曲率图像，再做进一步的图像处理。

步骤S7的工作原理是：SVM的基本思想是找到一个能将两类样本分离并使两类样本的分类间隔最大的最优分类面。求间隔最大的分类超平面的步骤表示如下：设训练样本为其中x_i是输入模式的第i个样本，y_i∈{-1,+1}，超平面方程是：w·x_i+b＝0公式中，w是超平面法向量，b是超平面方程的常数项。如果样本可分，可满足以下条件：y_i(w·x_i+b)≥1,i＝1,2,···,N由公式可知，分类间隔为2||w||^-1。

将上述问题转化为成约束优化问题，表示如下：

我们使用拉格朗日对偶性求解上述问题，拉格朗日函数公式为：

其中，α_i是拉格朗日乘子且α_i≥0。

根据拉格朗日对偶性，最初的问题转化成了求极大极小值的问题：

具体求解过程如下：

(1)求解函数L(w,b,α)对w，b求偏导，并令它们等于0，有：

从而可以得到：

(2)求对α的极值。

求极大问题转化为求极小问题，进一步等价转换为

通过相关参数计算，最优判别函数为：

在本发明实施例中，本发明利用步骤S1中的现有四点光源三维检测系统采集待测图像并利用梯度信息还原曲率图像，得到的高斯曲率图像能清晰反应高亮金属表面的细微缺陷信息，能有效的避免反光和金属表面成像的问题；利用步骤S2对曲率图像预处理后进行阈值分割得到缺陷区域，对曲率图像进行灰度变换后，能增大缺陷与金属表面背景区域的差异。通过滤波处理后，背景中的细微纹理信息变得模糊，能大大的较小对细微缺陷检测的干扰。通过本文自适应阈值分割后，能将缺陷区域与背景区域分离，提取出缺陷区域，做进一步计算。利用步骤S6-S7对缺陷区域进行剔除过滤并通过模式识别的方法对存在缺陷的产品进行分类，计算未连通的各个区域的面积，设置阈值，剔除面积值小于阈值的缺陷，能有效的去除被误判为缺陷的像素点，这些像素点通常不连通却面积较小，会对缺陷检测造成误差。步骤S7通过支持向量机的方法，设置合理的参数和核函数，将提取的缺陷特征数据输入支持向量机实现对缺陷的分类，分类准确率结果如下表1：

表1 C＝1.0，G＝0.5时SVM分类效果

由表1可知，本发明通过上述方法达到快速识别出缺陷产品并对产品进行高效分类的目的。

步骤S7的具体求解过程为：

(1)求解

函数L(w,b,α)对w，b求偏导，并令它们等于0，有：

从而可以得到：

(2)求对α的极值：

求极大问题转化为求极小问题，进一步等价转换为

通过相关参数计算，最优判别函数为：

即为二分类的分类超平面。

(3)：确定核函数

本设计选用径向基核函数作为SVM分类器的核函数，径向基函数(RBF)表达式为：

K(xi,y_j)＝exp(-||γx_i-y_j||²)

(4)：参数选择

参数G和惩罚因子C是径向基核函数的两个重要参数，它们直接决定分类器性能的好坏。为了得到最优参数，本文采用二分法进行实验，通过实验验证，当C＝1.0，G＝0.5分类效果最优。

(5)：训练分类器

选用200个已经标注好缺陷类型的图像数据集作为训练集输入到支持向量机中进行分类训练，并进行人工的校正分类结果。通过训练后的支持向量机可实现对测试集缺陷样品的分类。

(6)：分类实验

将提实验取到的缺陷特征数据，进行标准0-1变换的数据归一化处理。经过标准0-1变换处理后的数据，标准值均在[0,1]范围内，正、逆向指标均化为正向指标时，最优值为1，最劣值为0，值越大越优。当某个指标的值全部相等时，不能用此方法对该指标进行标准化处理。将标准化处理后的特征数据，输入已经训练好的支持向量机中，即可实现缺陷分类。

显然，本发明采用了光度立体视觉技术实现表面信息重构；但是，现有的技术采用的是红、绿、蓝三种不同颜色的条形光源，采集三RGB个通道的图像，并对每一幅图像分别进行相应处理得到相应的缺陷，再将缺陷整合成一个缺陷集合作为该表面的缺陷；而本发明是通过四个红光点光源进行打光，采集4幅不同光照角度的待测金属表面图像，采用高光黑球标定法计算光照角度，通过光度立体法直接拟合出金属表面的高斯曲率图像，目的在于高斯曲率图像能清晰的反应金属表面的细节信息，可避免高亮金属表面反光和成像的问题，通过对高斯曲率图像进行处理，可大大提到缺陷检测的准确率，本发明平均检测检测一个汤勺图片的时间为1.655秒，检测速率比现有技术更高。因此，本发明利用四点光源三维检测系统采集待测图像并利用梯度信息还原曲率图像，然后对曲率图像预处理后进行阈值分割得到缺陷区域，最后对缺陷区域进行剔除过滤并通过模式识别的方法对存在缺陷的产品进行分类，从而将产品划分为无缺陷产品以及按缺陷类型分类的缺陷产品，解决现有技术中金属表面缺陷检测漏检率高的缺陷，达到快速识别出缺陷产品并对产品进行高效分类的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于视觉的金属表面细微缺陷检测方法，其特征在于，其具体步骤为：

S1、通过四点光源三维检测系统采集4幅不同光照角度的待测金属表面图像；

S2、计算每幅图像对应的光源方向；

S3、由梯度信息还原物体表面的曲率图像；

S4、对曲率图像依次进行灰度变换、均值滤波的预处理操作；

S5、用自动阈值分割法对预处理后的图像进行阈值分割；

S6、通过面积特征剔除误判的像素点和可容忍的细微缺陷，判断产品是否存在缺陷；

S7、提取缺陷的纹理特征，并通过模式识别对存在缺陷的产品进行分类。

2.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S1中的四点光源三维检测系统采用红光型点光源，所述步骤S2中计算每幅图像对应的光源方向采用的是高光黑球标定法。

3.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S3的具体过程为：

S31、定义N为球体表面上一点的法向量，写成向量形式为:N＝(N_x,N_y,N_z)^T；

S32、求出待测物体表面在点(r,c)处的行梯度分量m等于

S33、求出待测物体表面在点(r,c)处的行梯度分量n等于

S34、求出待测物体表面点(r,c)处的高斯曲率K为：

S35、将图像上每一点的高斯曲率转化为灰度值，得到能清晰反应待测物体表面信息的曲率图像；其中，I表示图像中像素点的亮度,N为表面的单位法向量,L表示光源方向。

4.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，在所述步骤S4中，对曲率图像进行灰度变换采用的是灰度翻转算法，对曲率图像进行均值滤波采用的是掩模为35*35的均值滤波算法。

5.如权利要求4所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S4中，对曲率图像进行灰度变换的具体过程为：灰度翻转将原来呈现暗色的缺陷变为亮色，原来呈现亮色的背景变为暗色。灰度翻转公式如公式：s＝L-1-r，式中S表示像素点翻转后的像素值，L＝256，r表示像素点原始值。通过翻转变换，每个灰度值将会变成(255-r)，从而实现灰度值的变换。

6.如权利要求4所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S4中，对曲率图像进行均值滤波的具体过程为：采用35*35的掩模对灰度翻转后的图像进行均值滤波，将35*35模板内所有像素点灰度值的平均值作为中心像素点的像素值，依次遍历所有像素点，完成对图像的均值滤波。得到趋近于图像背景的理想图片。

7.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S5的具体过程为：

S51、将均值滤波后的图像视为背景图像记为J(x,y),原始图像记为O(x,y),n为所有像素点的总个数；

S52、求出原始图像与均值滤波后图像每一点的像素灰度差的均值偏移量m，具体为

S53、获取预处理后的图像缺陷区域Q(x,y)＝O(x,y)≥J(x,y)+m。

8.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，所述步骤S6的具体过程为：

S61、在自动阈值分割后，得到所有缺陷联合成的一个区域，将不相邻的区域分割开后，得到若干个面积独立的ROI区域；

S62、设置区域面积筛选阈值为30个像素单位，将像素单位小于30的ROI区域剔除，保留像素单位大于或等于30的ROI区域作为真实缺陷区域输出；

9.如权利要求1所述的一种基于视觉的金属表面细微缺陷检测方法，其特征在于，在步骤S7中，对缺陷进行分类采用支持向量机法，其中，该支持向量机法的核函数选取的是径向基SVM函数，G＝0.5和惩罚因子C＝1.0。