CN109615604B - 基于图像重构卷积神经网络的零件外观瑕疵检测方法 - Google Patents

Abstract

本发明涉及一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，该方法通过构建好的网络模型，对输入图像进行瑕疵检测。在网络模型训练过程中，对原始输入图像进行预处理后初步提取瑕疵区域，根据所提取出的瑕疵特点进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像重构集合，最后利用重构图像集合进行卷积神经网络的训练。在检测过程中，对输入图像做与训练过程中相同的预处理，然后将处理后的图像按其尺寸等分成若干个设定边长的正方形的图像块，并将每个图像块按位置标记编号，将每一个图像块输入到已经训练完成的卷积神经网络模型中进行特征提取及分类。最后，输出检测结果并定位。本发明提高了提高零件外观瑕疵检测的准确性和鲁棒性。

Description

基于图像重构卷积神经网络的零件外观瑕疵检测方法

技术领域

本发明属于图像处理技术领域的，具体涉及一种基于图像重构卷积神经网络的零件外观瑕疵检测方法。

背景技术

精密零件，特别是精密金属零件，在生产和存储运输过程中，不可避免地会造成零件外观损伤，形成瑕疵。而精密零件的外观质量直接影响着最终产品的稳定性和使用寿命。因此，在投入使用之前，对这些零件外观瑕疵进行全面的检查筛选是必不可少的。

作为图像处理的热点问题及自动化生产质量保障的关键技术，外观瑕疵检测方法的研究早在20世纪80年代就已开始，并吸引了国内外诸多学者进行了大量的研究。随着计算机与相机等硬件设备的迅速发展，基于视觉的外观检测技术更是受到了极大的推动。基于视觉的外观瑕疵检测技术中，依靠人工提取特征，再根据这些特征进行分类的方式，我们称之为传统的瑕疵检测方法。一般情况下，传统的瑕疵检测方法需要针对不同的外观瑕疵进行不同的特征提取操作，设置不同的检测阈值。这就使得检测算法的通用性较差。而通过人工进行特征选择使得算法效果很大程度上依赖人的经验，并且带有较强的主观性，当经验较少或认识不够全面时，容易导致检测算法仅对少部分样本有效，而对全部样本偏差较大。

近年来，随着深度学习在语义识别、图像理解中取得的显著效果，利用神经网络自动训练特征表达的目标检测方法得到了越来越快的发展。深度学习模型是一种基于数据的端对端的数据描述模型。它具有非常强大的特征描述能力和建模能力。通过有监督或无监督的训练方式，自动地逐层优化参数，学习目标特征，实现对目标层次化的抽象和描述。鉴于卷积神经网络在图像识别领域的优秀表现，学者们开始将其应用于目标检测领域。这些分类技术在很多应用领域中都取得了较好的效果，但是针对零件外观瑕疵具有种类多样、对比度高低不等不易识别、精度要求高、受外界环境影响大等特点，依然给外观瑕疵检测及分类技术带来很大挑战。目前常用的方法都很难达到较好的效果。

发明内容

为了解决现有技术中的上述问题，即为了提高零件外观瑕疵检测的准确性和鲁棒性，本发明提供了一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，该方法包括：

1、一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，包括以下步骤：

步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；

步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；

步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；

其中，

所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进行预训练、采用预先构建的重构图像集合进行调优训练。

在一些优选实施例中，所述重构图像集合，其创建步骤为：

步骤A1，对训练样本中原始输入图像进行增进可读性的预处理，对零件瑕疵区域进行阈值分割，并初步提取瑕疵区域；

步骤A2，根据步骤A1所提取的瑕疵区域计算自适应尺度参数并进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像的重构图像集合。

在一些优选实施例中，步骤A1中“初步提取瑕疵区域”，其提取阈值TH的计算公式为：

其中，P₀(t)(u₀(t))²为目标的方差，P₁(t)(u₁(t))²为背景的方差，ω为目标方差权重。

在一些优选实施例中，步骤A2中“根据步骤A1所提取的瑕疵区域计算自适应尺度参数”，自适应尺度参数n的计算方法为：

步骤A211，对于训练样本图像X_i，利用加权最大类间差法，提取其瑕疵区域，并计算该瑕疵区域输出边长h_n，初始尺度输出边长为n＝0时h_n的值，记作h₀；

步骤A212，比较h₀与网络输入图像块边长h_d的大小，若h₀<h_d对则执行步骤A213，否则执行步骤A215；

步骤A213，n＝n+1，将输入图像放大2ⁿ倍，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A214，若h_n+1>h_d则输出自适应尺度参数n的值，否则执行步骤A213；

步骤A215，n＝n-1，将输入图像缩小1/2ⁿ，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A216，若h_n-1<h_d则输出自适应尺度参数n的值，否则执行步骤A215。

在一些优选实施例中，步骤A2中“自适应多尺度图像重构”，其方法为：

基于自适应尺度参数n，对该尺度图像h_n进行无重叠的图像区块采集，采集图像区块大小为h_d×h_d。得到的多尺度图像集合定义为：

其中，

为第i幅训练图像得到的多尺度图像集合，

为第i幅训练图像得到的尺度为n的重构图像，i为训练图像序号，n为自适应尺度参数。

在一些优选实施例中，所述初始尺度输出边长为n＝0时h_n的值记作h₀，由下式计算：

h₀＝max{w,h}

其中，w、h为提取出的瑕疵区域最小外接矩形的宽和高。

在一些优选实施例中，步骤A2中“随轮廓局部图像重构”，包括以下步骤：

步骤A221：基于自适应尺度参数n，利用加权自适应阈值分割提取出瑕疵区域R_d，其八连通内轮廓设为点集{C_i}。

步骤A222：从轮廓的左上角像素开始，以t为步长沿轮廓{C_i}顺时针依次提取像素点，记为P_i，创建局部提取窗口中心集合P：

P＝{P_i}＝{C_t×i},i＝0,1,...,n

步骤A223：依次以点集P中各点P_i为中心，以尺寸h_d×h_d为窗口采集图像区块创建随轮廓局部图像集合：

其中，

为第i幅训练图像在尺度j下得到的局部图像集合，

为第i幅训练图像在尺度j下得到的第m个局部图像。

在一些优选实施例中，所述零件外观瑕疵检测模型中卷积神经网络的代价函数为：

其中，X为训练样本，K是类别数，n_x是每类样本的个数，F为模型函数，θ为模型参数，Y为数据实际标签。

在一些优选实施例中，所述公有识别库为ILVCR 2012数据集。

在一些优选实施例中，步骤S2中“等分后的图像块”像素大小为224×224。

本发明的有益效果在于：

传统的外观瑕疵检测方法，使用阈值分割将瑕疵区域分割出来，再通过人工选取特征进行瑕疵类型的判断。而精密零件的外观瑕疵其瑕疵区域面积非常小，灰度分布没有规律，且一些瑕疵与背景的灰度对比度也比较低。传统的方法常常出现误分割，而分割出的瑕疵在分类时需要设置特定的阈值，使得一种算法无法实现多种不同类型的同时判别。本发明利用深度学习模型中卷积神经网络能够自动提取图像特征的特点，结合基于自适应多尺度提取及随轮廓局部提取的图像重构集合，进一步增强瑕疵检测网络的鲁棒性及准确性。具体来说，本发明(1)利用卷积神经网络，能够自动提取图像特征，解决了人工提取特征的单一性和不稳定性；(2)通过图像重构集合，进一步扩充了训练样本集中的样本数据，增强了网络的可靠性，实现了多种瑕疵的同时检测，达到了较高的瑕疵检测准确率。

附图说明

图1为本发明所提供方法的流程图；

图2为本发明所提供图像重构集合的构建流程图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

如图1示出本发明所提供方法的流程图，本发明通过构建好的网络模型，对输入图像进行瑕疵检测。在网络模型训练过程中，先对原始输入图像进行滤波、图像增强等预处理，然后初步提取瑕疵区域，根据所提取出的瑕疵特点进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像重构集合，最后利用重构图像集合进行卷积神经网络的训练。在检测过程中，对输入图像做与训练过程中相同的预处理，然后将处理后的图像进行分区等分并编号，具体为按其尺寸等分成若干个设定边长的正方形的图像块，并将每个图像块按位置标记编号。分块分类，即将每一个图像块输入到已经训练完成的卷积神经网络模型中进行特征提取及分类。最后，输出分类检测结果并定位。

本发明的一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，包括以下步骤：

步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；

步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；

步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；

其中，所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进预训练、采用预先构建的重构图像集合进行调优训练。

本发明中增进可读性的预处理是通过计算机或光学设备改善图象视觉效果的处理，目的有二：①提高图象分辨率，将已经看得见的细节更加清晰，使还不易看清的细节呈显得更清楚，突出细节，使有用信息得到充分利用；②将图象对比度(反差)加强使图象更易于人工或电子计算机判读。本发明中可以采用的方法包括图像滤波、图像增强等多种常规手段，由于此技术比较成熟，且诸多文献都进行了详尽描述，此处不再对可采用的技术进行一一罗列和赘述。

本实施例中所采集的零件外观图像一般为正方型或矩形，预处理后，进行等分得到的图像块一般采用正方形。

为了从逻辑上便于理解，下面按照先建模优化、然后利用模型进行检测的顺序进行技术方案的展开说明。

1、基于卷积神经网络构建零件外观瑕疵检测模型。

本实施例中网络中分别有5个卷积层，卷积核尺寸为3×3，采用ReLU函数作为非线性激活函数，并在其中三层加入了最大池化层进行下采样，采样因子设为2。经过卷积操作得到的特征图被向量化后输入到全连接层FC6中，进行进一步特征融合。最后，通过全连接层FC7和LogSoftmax层对输出特征进行分类，使用负对数似然函数作为代价函数：

其中，X为训练样本，K是类别数，n_x是每类样本的个数，F为模型函数，θ为模型参数，Y为数据实际标签。

2、构建的重构图像集合

本实施例对零件外观瑕疵检测模型采用公有识别库进预训练、采用预先构建的重构图像集合进行调优训练。

公有识别库为ILSVC 2012数据库，数量庞大，且标定每张图片中物体的类别，据统计有一千万图像，1000类，为本领域进行预训练的常规选择，但ILSVC 2012数据库并非本发明技术方案的必须选择，在其他实施例中也可以采用其他数据库、或者以后升级的数据库、或者自行构建的数据库等均可以，只要达到初始与训练的目的即可。

重构图像集合的创建步骤如图2所示，包括：

步骤A1，对训练样本中原始输入图像进行增进可读性的预处理，对零件瑕疵区域进行阈值分割，并初步提取瑕疵区域。

该步骤中对输入图像进行图像预处理，包括中值滤波、图像增强，然后进行感兴趣区域提取。在图像进行完预处理后，对零件瑕疵区域进行阈值分割进行初步提取。使用带权重的最大类间差法计算全局阈值TH，其计算方法为：

其中，P₀(t)(u₀(t))²为目标的方差，P₁(t)(u₁(t))²为背景的方差，ω为目标方差权重，取值范围为[0,1]，并且随瑕疵变小而变小。

步骤A2，根据步骤A1所提取的瑕疵区域计算自适应尺度参数并进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像的重构图像集合。

本实施例中，步骤A2可以进一步拆分为三个核心内容：

自适应尺度参数n的计算：

步骤A211，对于训练样本图像X_i，利用加权最大类间差法，提取其瑕疵区域，并计算该瑕疵区域输出边长h_n，初始尺度输出边长为n＝0时h_n的值，记作h₀；

步骤A212，比较h₀与网络输入图像块边长h_d的大小，若h₀<h_d对则执行步骤A213，否则执行步骤A215；本实施例中网络输入图像块的形状为正方形，默认尺寸为224×224，即h_d通常等于224。

步骤A213，n＝n+1，将输入图像(即训练样本图像)放大2ⁿ倍，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A214，若h_n+1>h_d则输出自适应尺度参数n的值，否则执行步骤A213；

步骤A215，n＝n-1，将输入图像缩小1/2ⁿ，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A216，若h_n-1<h_d则输出自适应尺度参数n的值，否则执行步骤A215。

本发明实施例中，初始尺度输出边长为n＝0时h_n的值记作h₀，由下式计算：

h₀＝max{w,h}

其中，w、h为提取出的瑕疵区域最小外接矩形的宽和高。

(2)自适应多尺度图像重构

基于自适应尺度参数n，对该尺度图像h_n进行无重叠的图像区块采集，采集图像区块大小为h_d×h_d。得到的多尺度图像集合定义为：

其中，

为第i幅训练图像得到的多尺度图像集合，

为第i幅训练图像得到的尺度为n的重构图像，i为训练图像序号，n为自适应尺度参数。

(3)随轮廓局部图像重构

步骤A221：基于自适应尺度参数n，利用加权自适应阈值分割提取出瑕疵区域R_d，其八连通内轮廓设为点集{C_i}。

步骤A222：从轮廓的左上角像素开始，以t为步长沿轮廓{C_i}顺时针依次提取像素点，记为P_i，创建局部提取窗口中心集合P：

P＝{P_i}＝{C_t×_i},i＝0,1,...,n

步骤A223：依次以点集P中各点P_i为中心，以尺寸h_d×h_d为窗口采集图像区块创建随轮廓局部图像集合：

其中，

为第i幅训练图像在尺度j下得到的局部图像集合，

为第i幅训练图像在尺度j下得到的第m个局部图像。

3、零件外观瑕疵检测模型预训练、调优训练

使用ILVCR 2012数据集中的所有数据对网络进行预训练，网络提取的特征为4096维，将这些特征送入4096到1000类的全连接层进行分类，学习率为0.01。

利用重构图像集合进行卷积神经网络的调优训练，随机选取样本库中80％的样本作为训练样本。预训练的网络中将最后一层4096到1000类的分类层改为本应用中的4096到4类的分类层并进行训练，学习率为0.001。

4、基于优化后零件外观瑕疵检测模型进行零件外观瑕疵检测

步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；

步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；本实施例中，该步骤等分后的图像块像素大小为224×224；

步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，包括以下步骤：

步骤S1，对采集的零件外观图像进行增进可读性的预处理，得到第一零件外观图像；

步骤S2，将第一零件外观图像进行等分，并对等分后的图像块进行位置编号；

步骤S3，将每一个图像块输入到训练好的零件外观瑕疵检测模型中进行特征提取及分类，并输出检测及定位结果；

其中，

所述零件外观瑕疵检测模型基于卷积神经网络构建，并采用公有识别库进预训练、采用预先构建的重构图像集合进行调优训练；

所述零件外观瑕疵检测模型中卷积神经网络的代价函数为：

其中，X为训练样本，K是类别数，n_x是每类样本的个数，F为模型函数，θ为模型参数，Y为数据实际标签；

所述重构图像集合，其创建步骤为：

步骤A1，对训练样本中原始输入图像进行增进可读性的预处理，对零件瑕疵区域进行阈值分割，并初步提取瑕疵区域；

步骤A2，根据步骤A1所提取的瑕疵区域计算自适应尺度参数并进行自适应多尺度图像重构及随轮廓局部图像重构，创建输入图像的重构图像集合；

其中，步骤A2中“根据步骤A1所提取的瑕疵区域计算自适应尺度参数”，自适应尺度参数n的计算方法为：

步骤A211，对于训练样本图像X_i，利用加权最大类间差法，提取其瑕疵区域，并计算该瑕疵区域输出边长h_n，初始尺度输出边长为n＝0时h_n的值，记作h₀；

步骤A212，比较h₀与网络输入图像块边长h_d的大小，若h₀<h_d对则执行步骤A213，否则执行步骤A215；

步骤A213，n＝n+1，将输入图像放大2ⁿ倍，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A214，若h_n+1>h_d则输出自适应尺度参数n的值，否则执行步骤A213；

步骤A215，n＝n-1，将输入图像缩小1/2ⁿ，得到对应瑕疵区域输出边长h_n＝2ⁿ×h₀；

步骤A216，若h_n-1<h_d则输出自适应尺度参数n的值，否则执行步骤A215。

2.根据权利要求1所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤A1中“初步提取瑕疵区域”，其提取阈值TH的计算公式为：

其中，P₀(t)(u₀(t))²为目标的方差，P₁(t)(u₁(t))²为背景的方差，ω为目标方差权重。

3.根据权利要求1所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤A2中“自适应多尺度图像重构”，其方法为：

基于自适应尺度参数n，对该尺度图像进行无重叠的图像区块采集，采集图像区块大小为h_d×h_d，得到的多尺度图像集合定义为：

其中，

为第i幅训练图像得到的多尺度图像集合，

为第i幅训练图像得到的尺度为n的重构图像，i为训练图像序号，n为自适应尺度参数。

4.根据权利要求1所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，所述初始尺度输出边长为n＝0时h_n的值记作h₀，由下式计算：

h₀＝max{w,h}

其中，w、h为提取出的瑕疵区域最小外接矩形的宽和高。

5.根据权利要求1所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤A2中“随轮廓局部图像重构”，包括以下步骤：

步骤A221：基于自适应尺度参数n，利用加权自适应阈值分割提取出瑕疵区域R_d，其八连通内轮廓设为点集{C_i}；

步骤A222：从轮廓的左上角像素开始，以t为步长沿轮廓{C_i}顺时针依次提取像素点，记为P_i，创建局部提取窗口中心集合P：

P＝{P_i}＝{C_t×i},i＝0,1,...,n

步骤A223：依次以点集P中各点P_i为中心，以尺寸h_d×h_d为窗口采集图像区块创建随轮廓局部图像集合：

其中，

为第i幅训练图像在尺度j下得到的局部图像集合，

为第i幅训练图像在尺度j下得到的第m个局部图像。

6.根据权利要求1-5任一项所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，所述公有识别库为ILVCR 2012数据集。

7.根据权利要求1-5任一项所述的基于图像重构卷积神经网络的零件外观瑕疵检测方法，其特征在于，步骤S2中“等分后的图像块”像素大小为224×224。

Images