CN109239073A - 一种用于汽车车身的表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种用于汽车车身的表面缺陷检测方法，该方法分为缺陷粗提取和干扰剔除两部分，具体包括步骤：1)在获取被测汽车车身表面的数字图像后，基于数字图像进行缺陷粗提取；2)根据步骤一中的缺陷粗提取结果，采用卷积神经网络剔除其中的干扰，得到最终的缺陷检测结果。本发明通过计算数字图像的局部对比度，在增强了缺陷的对比度的同时，抑制了非缺陷区域的对比度，保证了微弱缺陷的有效探测；同时，结合卷积神经网络对缺陷粗提取结果中的干扰进行了进一步的剔除，避免了干扰和误判问题，相比现有方法，本发明方法能够检测微弱、不明显缺陷，且对于噪声、环境等干扰具有设定的抑制能力，能够适用于更苛刻的表面检测场合。

Description

一种用于汽车车身的表面缺陷检测方法

技术领域

本发明属于机器视觉及图像处理领域，具体涉及一种用于汽车车身的表面缺陷检测方法。

背景技术

外观近年来，机器视觉及图像处理技术渐渐被广泛应用于现代工业的生产制造、产品质量检测以及交通监管、自动驾驶等现代生活的方方面面。在此基础上发展起来的基于数字图像的产品表面缺陷检测方法，由于代替了人工检测，大大提高了检测准确率、自动化程度及检测效率，正渐渐应用于冲压钣金件(如汽车车身、冷/热轧钢板、家用电器外壳等)的表面缺陷检测领域。

表面缺陷检测过程中，通过采用合适的光源、成像器件，对工件表面进行拍摄，获取其表面缺陷的数字图像，进而根据图像中缺陷的形态、灰度分布、结构特性等，采取设定的缺陷检测算法/方法，对缺陷进行提取、识别，达到缺陷检测的目的。最简单、常用的缺陷检测方法是基于阈值处理的方法。这种方法根据缺陷的灰度不同于背景区域的灰度，设定设定的阈值，将灰度大于该阈值的区域为缺陷。虽然该方法效率较高，但往往存在阈值选取的难题，尤其当缺陷对比度较低时，难以选择合适的阈值将其与背景灰度分离，造成方法失效。而基于边缘检测的缺陷检测方法，假设缺陷的边缘往往发生灰度突变，因此根据一些边缘检测算子(如canny算子)，即可对缺陷的边缘进行提取，进而得到缺陷。然而，当图像中存在较多纹理或噪声干扰时，该方法检测结果往往含有大量的干扰且难以剔除，影响最终的检测准确率。另一类方法，根据缺陷形态、灰度分布等信息设计设定的匹配模板，认为与该模板相似度高的区域即为缺陷，该方法具有较好的抗噪声能力，且受整体图像灰度分布影响较小，但由于每种模板仅能检测某一类缺陷，普遍适用性较低，且过多种类的模板匹配过程，将大大增加处理时间，降低检测效率。

综上所述，针对低对比度、干扰多、缺陷形态各异等目前缺陷检测中的难点，需要设计一种表面缺陷检测算法，避免上述各类方法阈值选取困难、易受干扰和适用范围狭窄等问题，以保证微弱缺陷的精准检测。

发明内容

本发明的目的在于克服上述方法的不足，提供了一种用于汽车车身的表面缺陷检测方法，其能够针对低对比度、高干扰以及任意形态的缺陷进行检测，实现微弱缺陷的精准检测。

本发明采用如下技术方案来实现的：

一种用于汽车车身的表面缺陷检测方法，包括以下步骤：

1)在获取被测汽车车身表面的数字图像后，基于数字图像进行缺陷粗提取；

2)根据步骤一中的缺陷粗提取结果，采用卷积神经网络剔除其中的干扰，得到最终的缺陷检测结果。

本发明进一步的改进在于，步骤1)中，缺陷粗提取的具体步骤包括：

101)计算图像中所有像素的局部对比度，得到局部对比度图；

102)设定阈值，对局部对比度图进行阈值化，将所有局部对比度大于设定阈值的像素为疑似缺陷，得到缺陷粗提取结果。

本发明进一步的改进在于，步骤101)中，计算某像素局部对比度时，以设定大小的窗口为单位，将以该像素为中心的图像窗口为中心窗口，以中心窗口周围八邻域内的八个同样大小的窗口为邻域窗口，分别计算中心窗口的平均灰度以及周围八邻域窗口的各自平均亮度，得到含中心窗口在内的9个窗口的平均灰度；分别计算中心窗口平均灰度与周围八邻域窗口平均灰度的差值，得到八个平均灰度差，选取这些灰度差中最小的一个，作为该像素处的局部对比度。

本发明进一步的改进在于，计算局部对比度时，依次计算图像中每个像素的局部对比度，得到所有像素的局部对比度，构成局部对比度图。

本发明进一步的改进在于，，计算局部对比度时，所选取的窗口大小为奇数或偶数，同时，结合多尺度处理方法，分别采用多种不同大小的窗口计算局部对比度，得到对应于每种大小窗口的不同的局部对比度图，分别对各个局部对比度图进行阈值化，并综合阈值化结果，得到缺陷粗提取结果。

本发明进一步的改进在于，步骤2)中，采用卷积神经网络剔除缺陷粗提取结果中的干扰的具体步骤包括：

201)构建样本库：以设定大小窗口的图像块为样本，收集足够多的含有缺陷和不含缺陷的样本，建立训练样本库，并对样本进行标记：含有缺陷的样本标记为1，不含缺陷的样本或干扰样本标记为0；

202)设计卷积神经网络结构：待设计参数包括卷积层及池化层数量、卷积核大小、全连接层的数量及各层节点个数，以上述步骤201)中所述的窗口大小为输入节点个数，输出节点个数为2，输出为0时代表无缺陷，或为干扰；输出为1时代表有缺陷，或为非干扰；

203)以所建立的样本，根据设定的训练算法，对所设计的卷积神经网络进行训练，当训练残差达到设定值或训练次数达到预设值时，停止训练，得到训练好的卷积神经网络；

204)将步骤1)中得到的缺陷粗提取结果，依次输入训练好的卷积神经网络，对于网络输出为0的疑似缺陷为干扰，并进行剔除，其他结果则保留，并将剔除干扰后的缺陷为最终检测结果。

本发明具有如下有益的技术效果：

本发明提供的一种用于汽车车身的表面缺陷检测方法，该方法分为缺陷粗提取和干扰剔除两部分。缺陷粗提取部分中，首先计算图像所有像素位置处的局部对比度；每个像素的局部对比度是通过以设定大小的窗口为单位，计算其周围八邻域窗口的各自平均灰度与该像素所在的中心区域窗口的平均亮度的差值，取上述差值的最小值为该像素的局部对比度；进而设定合适阈值，将所有局部对比度大于该阈值的像素为疑似缺陷，得到缺陷粗提取结果。继而，采用卷积神经网络对缺陷粗提取结果进行干扰剔除：首先，收集足够的干扰样本与缺陷样本构建样本库，并设计合适的卷积神经网络结构，进而对卷积神经网络进行训练，采用训练后的神经网络对缺陷粗提取结果分类，将分类为干扰的疑似缺陷进行剔除，得到不含干扰的缺陷提取结果，作为最终缺陷检测结果。本发明通过计算数字图像的局部对比度，在增强了缺陷的对比度的同时，抑制了非缺陷区域的对比度，保证了微弱缺陷的有效探测；同时，结合卷积神经网络对缺陷粗提取结果中的干扰进行了进一步的剔除，避免了干扰和误判问题，相比现有方法，本发明方法能够检测微弱、不明显缺陷，且对于噪声、环境等干扰具有设定的抑制能力，能够适用于更苛刻的表面检测场合。

与现有缺陷检测方法相比，本发明采用基于局部对比度的缺陷提取方法，增强了缺陷的同时，可以抑制背景干扰，可以有效提取微弱或低对比度缺陷；同时，采用基于卷积神经网络的干扰剔除方法，可以有效剔除干扰，具有较好的抗噪声干扰能力，保证了微弱缺陷的精准检测。此外，由于卷积神经网络综合学习了干扰与缺陷的形态、灰度分布等区别，可以有效避免干扰的影响，对干扰进行有效剔除，具有较好的抗干扰能力。

附图说明

图1为本发明的缺陷检测方法原理示意图。

图2为局部对比度计算原理示意图。

图3为缺陷区域的局部对比度计算示例。

图4为背景区域的局部对比度计算示例。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明提供的一种用于汽车车身的表面缺陷检测方法，分为缺陷粗提取和干扰剔除两个主要步骤。

1)步骤一为缺陷粗提取部分，按照如下几步实现：

a.在获取被测表面的数字图像后，首先计算待处理图像的局部对比度图；

b.如图1所示，计算图像中某一像素C的局部对比度时，首先以该像素为中心、设定大小的窗口为单位，对其所在窗口及邻域进行窗口划分；窗口优选地采用5×5pixel；

c.如图2所示，为划分后的窗口进行编号，以当前待处理像素C所在的窗口为中心窗口，周围八邻域的窗口分别编号为1～8；

d.对各窗口进行编号后，计算中心窗口的平均灰度与周围八邻域1～8号窗口的平均灰度的差值，得到八个不同的平均灰度差，选取其中最小的灰度差作为像素C的局部对比度。下面分别以缺陷区域以及背景区域的局部对比度计算为例进行阐释。

e.图3示出了计算缺陷区域以及背景区域的局部对比度。如图3所示，以计算缺陷区域的局部对比度为例：首先计算1～8窗口及中心窗口的平均灰度，如图3中所示的各窗口平均灰度。进而，计算中心窗口平均灰度与1～8窗口的平均灰度的差值，如图3所示的平均灰度差值。进而选取最小的差值，即40，为局部对比度。

f.如图4所示，以计算背景区域的局部对比度为例：与e步骤类似，首先计算1～8窗口及中心窗口的平均灰度，如图4中所示的各窗口平均灰度。进而，计算中心窗口平均灰度与1～8窗口的平均灰度的差值，如图4所示的平均灰度差值。进而选取最小的差值，即1，为局部对比度。

g.经过上述操作的循环操作，计算每个像素的局部对比度，组成局部对比度图。

h.如上所述，缺陷区域的局部对比度一般较大，而背景区域的局部对比度较小。据此，可选取某一合适阈值，对局部对比度图进行阈值化，将局部对比度大于该阈值的区域标记为缺陷区域，其他区域则为背景区域。由于一些边缘、噪声等干扰存在，阈值化后确定的缺陷区域不可避免包含干扰，因此所得的结果仅为疑似缺陷的缺陷粗提取结果。

2)步骤二为干扰剔除部分，采用卷积神经网络对缺陷粗提取结果中的干扰进行剔除，具体步骤按照如下几步实现：

a.构建训练样本库：以设定大小窗口的图像块为样本，收集足够多的含有缺陷和不含缺陷的样本，建立训练样本库，并对样本进行标记：含有缺陷的样本标记为1，不含缺陷的样本(或干扰)标记为0；

b.设计卷积神经网络结构：待设计结构参数包括卷积层及池化层数量、卷积核大小、全连接层的数量及各层节点个数等，以上述步骤二的第一步中所述的窗口大小为输入节点个数，输出节点个数为2，输出为0时代表无缺陷，或为干扰；输出为1时代表有缺陷，或为非干扰。

c.训练神经网络：以所建立的样本，根据设定的训练算法，对所设计的卷积神经网络进行训练，当训练残差达到设定值或训练次数达到预设值时，停止训练，得到训练成功的网络。

d.干扰剔除：将步骤一中得到的缺陷粗提取结果，依次输入训练好的卷积神经网络，对于网络输出为0的疑似缺陷为干扰，并进行剔除，其他结果则保留，并将剔除干扰后的缺陷为最终检测结果。

Claims (6)

1.一种用于汽车车身的表面缺陷检测方法，其特征在于，包括以下步骤：

1)在获取被测汽车车身表面的数字图像后，基于数字图像进行缺陷粗提取；

2)根据步骤一中的缺陷粗提取结果，采用卷积神经网络剔除其中的干扰，得到最终的缺陷检测结果。

2.根据权利要求1所述的一种用于汽车车身的表面缺陷检测方法，其特征在于，步骤1)中，缺陷粗提取的具体步骤包括：

101)计算图像中所有像素的局部对比度，得到局部对比度图；

102)设定阈值，对局部对比度图进行阈值化，将所有局部对比度大于设定阈值的像素为疑似缺陷，得到缺陷粗提取结果。

3.根据权利要求1所述的一种用于汽车车身的表面缺陷检测方法，其特征在于，步骤101)中，计算某像素局部对比度时，以设定大小的窗口为单位，将以该像素为中心的图像窗口为中心窗口，以中心窗口周围八邻域内的八个同样大小的窗口为邻域窗口，分别计算中心窗口的平均灰度以及周围八邻域窗口的各自平均亮度，得到含中心窗口在内的9个窗口的平均灰度；分别计算中心窗口平均灰度与周围八邻域窗口平均灰度的差值，得到八个平均灰度差，选取这些灰度差中最小的一个，作为该像素处的局部对比度。

4.根据权利要求3所述的一种用于汽车车身的表面缺陷检测方法，其特征在于，计算局部对比度时，依次计算图像中每个像素的局部对比度，得到所有像素的局部对比度，构成局部对比度图。

5.根据权利要求3所述的一种用于汽车车身的表面缺陷检测方法，其特征在于，计算局部对比度时，所选取的窗口大小为奇数或偶数，同时，结合多尺度处理方法，分别采用多种不同大小的窗口计算局部对比度，得到对应于每种大小窗口的不同的局部对比度图，分别对各个局部对比度图进行阈值化，并综合阈值化结果，得到缺陷粗提取结果。

6.根据权利要求3所述的一种用于汽车车身的表面缺陷检测方法，其特征在于，步骤2)中，采用卷积神经网络剔除缺陷粗提取结果中的干扰的具体步骤包括：

201)构建样本库：以设定大小窗口的图像块为样本，收集足够多的含有缺陷和不含缺陷的样本，建立训练样本库，并对样本进行标记：含有缺陷的样本标记为1，不含缺陷的样本或干扰样本标记为0；

202)设计卷积神经网络结构：待设计参数包括卷积层及池化层数量、卷积核大小、全连接层的数量及各层节点个数，以上述步骤201)中所述的窗口大小为输入节点个数，输出节点个数为2，输出为0时代表无缺陷，或为干扰；输出为1时代表有缺陷，或为非干扰；

203)以所建立的样本，根据设定的训练算法，对所设计的卷积神经网络进行训练，当训练残差达到设定值或训练次数达到预设值时，停止训练，得到训练好的卷积神经网络；

204)将步骤1)中得到的缺陷粗提取结果，依次输入训练好的卷积神经网络，对于网络输出为0的疑似缺陷为干扰，并进行剔除，其他结果则保留，并将剔除干扰后的缺陷为最终检测结果。