CN110658202B - 一种基于深度学习的工业元器件外观缺陷检测方法 - Google Patents

Abstract

本发明涉及智能检测领域，特别涉及一种基于深度学习的工业元器件外观缺陷检测方法，包括以下步骤：S1、图像获取步骤：将待测工件置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取待测工件外表面的图像数据；S2、图像处理步骤：对获取的图像数据进行图像前期处理，得到待诊断图像；S3、图像分析和识别步骤：获取基于深度学习构建的卷积神经网络模型对待诊断图像进行判断，将判断结果输出分析待测图像上外观缺陷的纹理、形状信息，并自动判别缺陷类型和参数指标，最终输出待测图像的识别结果。本发明能够提高工业元器件缺陷的检测效率，降低人力劳动成本。

Description

一种基于深度学习的工业元器件外观缺陷检测方法

技术领域

本发明涉及智能检测领域，特别涉及一种基于深度学习的工业元器件外观缺陷检测方法。

背景技术

对工业缺陷零件来说，缺陷特征非常细微或者说不明显，通常仅仅在一小块区域存在缺陷特征，特征缺陷与某些非特征缺陷高度相似。而目前，多数工厂工业零件的检测还停留在人工目视检查阶段，产品质量和生产效率面临巨大挑战。人工检验的主要缺点是工作强度大，漏检率较高，检测标准不一致，容易受到人的主观因素影响，加之人工成本随着时间推移越来越高，管理较为复杂，因此无法保证检测质量稳定等。

随着信息与智能化社会的到来，以及深度学习技术的出现，使得工业产品生产逐渐走向智能化生产，工厂工人大规模解放，极大地提高了生产力，降低了劳动成本。而且基于深度学习的人工智能还具备高精度、高效率、升级维护简单等特点，使之在工业元器件外观缺陷检测这一领域具有广泛的应用前景。

发明内容

本发明主要目的在于提供一种基于深度学习的工业元器件外观缺陷检测方法，克服上述现有技术的不足。

为达到上述目的，本发明提供了一种基于深度学习的工业元器件外观缺陷检测方法，包括以下步骤：

S1、图像获取步骤：将待测工件置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取待测工件外表面的图像数据；

S2、图像处理步骤：对获取的图像数据进行图像前期处理，得到待诊断图像；

S3、图像分析和识别步骤：获取基于深度学习构建的卷积神经网络模型对待诊断图像进行判断，并自动判断缺陷类型和参数指标，最终输出待测图像的识别结果。

本发明的工作原理及优点在于：

采用基于深度学习的图像识别方法，对待检测工件的图像的获取环境进行预先配置，并对得到的待检测图像进行前期处理，能够去除外在因素对检测的影响，且提高了检测效果。采用本发明方法进行待检测工件外观缺陷的识别，只需要将待测工件置于检测平台上，即可对待检测工件的缺陷进行识别，无需人工通过观察进行分选，实现了智能化外观缺陷识别，极大地提高了外观缺陷的识别效率，减少了工作量，降低人工成本。

进一步，步骤S1中还包括以下步骤：

S101、拍照条件准备步骤：在检测平台上根据工件颜色配置拍摄背景，并根据拍摄背景为相机配置照明光源。

降低工件拍照背景对工件缺陷的干扰，提高检测效果。

进一步，所述图像前期处理包括去噪、滤波、裁剪、旋转、拉伸、亮度修正、颜色转换、图像分割、分辨率调整、二值化、区域标记和轮廓提取。

通过多种方式的预处理，更容易得到便于卷积神经网络模型识别的样本图像。

进一步，图像分析和识别步骤还包括以下步骤：

S201、样本数据获取步骤：获取存在缺陷的工业元器件的样本，将样本置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取样本外表面的样本图像数据集；

S202、模型构建步骤：基于深度学习构建卷积神经网络模型，根据样本图像数据集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后输出训练成功的卷积神经网络模型。

训练成功的卷积神经网络模型对待诊断图像进行处理，处理的速度快、准确率高，避免了由于环境光、视觉疲劳、人眼惰性及对灰阶不敏感等问题造成的处理不准确的问题，减轻了工作量，提高了工作效率。

进一步，步骤S3具体包括以下步骤：

S301、缺陷识别步骤：将待诊断图像输入已经训练好的卷积神经网络模型中，并输出是否有缺陷、缺陷位置与缺陷类型信息，并将缺陷、缺陷位置与缺陷类型信息保存到数据库中；

S302、缺陷分析步骤：在输出待诊断图像有缺陷时，分析待测图像上外观的缺陷的纹理、形状信息，并将纹理、形状信息保存到数据库中。

通过利用训练成功的卷积神经网络模型对待诊断图像进行识别处理，能够提高识别效率和识别效果。

进一步，所述步骤S301中，每一张训练图像包含S×S个网格，每一个网格产生B个预测的可能包含缺陷的矩形框，每一张训练图像上缺陷的位置由5个参数组成，分别为x,y,w,h,P，其中x与y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w与h是矩形框的长和宽，P是指矩形框中含有缺陷的置信度。

矩形框的设置，能够将识别出的缺陷框选出来，便于人眼的观察。

进一步，所述步骤S301中，所述卷积神经网络模型包括24个卷积层和2个全连接层。

大大减少特征位置对分类带来的影响。

进一步，卷积神经网络模型中包括损失函数训练模型。

能够衡量卷积神经网络模型预测缺陷的好坏。

进一步，损失函数训练模型中，

S×S表示每张训练图像被分成S×S个网格；B表示每一个网格预测的可能包含缺陷的矩形框个数；

表示第i个网格中的第j个矩形框是否负责本网格中的缺陷预测，

表示缺陷是否存在于第i个网格中；λcoord为矩形框的w,h,x,y四个参数的损失权重；λnoobj为不负责的矩形框所预测缺陷的类别损失权重；xi和yi、

和

分别表示人工标注的缺陷矩形框和模型预测的矩形框的左上角对于第i个网格中心在两个方向上的偏移量；wi和hi、

和

分别表示第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，Ci和

分别表示第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c)和

表示第i个网格中人工标注的和模型预测的缺陷类别为c的概率

能够方便的预测缺陷类别和预测的概率。

附图说明

图1为本发明实施例一种基于深度学习的工业元器件外观缺陷检测方法的流程图；

图2为实施例二中盒体的正视图；

图3为实施例二中检测平台对内部环境预设的操作方法的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的附图标记包括：盒体1、电子背景调色板2、旋转盘3、步进电机4、样本图像采集摄像头5、光源6。

实施例一

一种基于深度学习的工业元器件外观缺陷检测方法，基本如附图1所示，包括以下步骤：

S1、图像获取步骤：将待测工件置于检测平台上，在稳定、均匀的照明环境下(光照强度可因具体情况具体设置)，通过检测平台上的相机获取待测工件外表面的图像数据；

步骤S1中还包括以下步骤：

S101、拍照条件准备步骤：在检测平台上根据工件颜色配置拍摄背景，并根据拍摄背景为相机配置照明光源。

S2、图像处理步骤：对获取的图像数据进行包括去噪、滤波、裁剪、旋转、拉伸、亮度修正、颜色转换、图像分割、分辨率调整、二值化、区域标记和轮廓提取等前期处理，得到待诊断图像。

S3、图像分析和识别步骤：获取基于深度学习构建的卷积神经网络模型对待诊断图像进行判断，将判断结果输出分析待测图像上外观缺陷的纹理、形状信息，并自动判别缺陷类型和参数指标，最终输出待测图像的识别结果。

图像分析和识别步骤还包括以下步骤：

S201、样本数据获取步骤：获取存在缺陷的工业元器件的样本，将样本置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取样本外表面的样本图像数据集；

S202、模型构建步骤：基于深度学习构建卷积神经网络模型，根据样本图像数据集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后输出训练成功的卷积神经网络模型。

S301、缺陷识别步骤：将待诊断图像输入已经训练好的卷积神经网络模型中，并输出是否有缺陷、缺陷位置与缺陷类型信息，并将缺陷、缺陷位置与缺陷类型信息保存到数据库中；

S302、缺陷分析步骤：在输出待诊断图像有缺陷时，分析待测图像上外观的缺陷的纹理、形状信息，并将纹理、形状信息保存到数据库中。

所述步骤S301中，每一张训练图像包含S×S个网格，每一个网格产生B个预测的可能包含缺陷的矩形框，每一张训练图像上缺陷的位置由5个参数组成，分别为x,y,w,h,P，其中x与y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w与h是矩形框的长和宽，P是指矩形框中含有缺陷的置信度。

所述卷积神经网络模型训练识别的步骤S301中，所述卷积神经网络模型包括了24个卷积层和2个全连接层。首先输入448×448×3的图像，然后经过2个卷积层与1个池化层，得到112×112×56的张量，再经过2个卷积层与1个池化层，得到56×56×192的张量，然后经过2个多尺寸卷积核层与池化层，得到28×28×480的张量，再经过2个多尺寸卷积核层与1个池化层，得到14×14×512的张量，再经过10个卷积层与2个全连接层，便可以得到卷积神经网络的输出。该卷积神经网络模型的输出是一个S×S×(5×B+C)的张量，对应了每个网格有两个预测框中的缺陷位置和类别参数。

卷积神经网络模型中包括损失函数训练模型。

损失函数训练模型中，

S×S表示每张训练图像被分成S×S个网格，具体为8×8；B表示每一个网格预测的可能包含缺陷的矩形框个数；

表示第i个网格中的第j个矩形框是否负责本网格中的缺陷预测，

表示缺陷是否存在于第i个网格中；λcoord为矩形框的w,h,x,y四个参数的损失权重，取10；λnoobj为不负责的矩形框所预测缺陷的类别损失权重，取0.5；xi和yi、

和

分别表示人工标注的缺陷矩形框和模型预测的矩形框的左上角对于第i个网格中心在两个方向上的偏移量；wi和hi、

和

分别表示第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，Ci和

分别表示第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c)和

表示第i个网格中人工标注的和模型预测的缺陷类别为c的概率具体实施过程如下：

本发明提出了一种基于深度学习的工业元器件外观缺陷检测方法，可以应用于工业零件制造过程中外观缺陷的快速检测，取代人工目检，提高工作效率，避免人工目检所带来的人力资源的浪费；仅需将待测工件放入检测平台之中，检测平台中上根据工件颜色来配置拍摄背景，并根据拍摄背景为相机配置照明光源，减小背景对拍摄的图片造成干扰。将拍摄的工件图像导入卷积神经网络模型中进行识别判断，分析缺陷的有无及其缺陷纹理特征等参数，并输出最终结果，方便工作人员得知缺陷的判断情况。本发明检测系统能够自动快速地检测出工业零件上的缺陷，并标记出缺陷的位置和类型，解决了传统图像方法难以解决的随机位置情况下的缺陷快速定位与检测问题；本发明还包括卷积神经网络作为缺陷定位与类型识别模型，无需进行图像特征分析，解决了传统的基于特征分析的图像处理方法速度慢而无法满足实际应用的问题。

实施例二

实施例二与实施例一的区别在于，如图2所示，所述检测平台包括顶部可翻转打开、闭合的盒体1，所述盒体1内部中空，盒体1内的底面安装有旋转台，旋转台包括旋转盘3和步进电机4，步进电机4固定在盒体1内的底面上，步进电机4的转轴为竖直方向设置。旋转盘3设置在步进电机4上方，且与步进电机4的转轴同轴线固定设置。盒体1内部一侧侧壁上的中部固定设置(可采用粘贴的方式，例如磁铁或胶贴)有样本图像采集摄像头5，该侧壁的相对侧壁上安装固定有电子背景调色板2。盒体1盒盖的内侧面安装固定有亮度可调的光源6，盒体1内部的侧面上均涂有漫反射涂层。

所述检测平台还包括样本图像采集控制模块，样本图像采集控制模块用于在采集待测工件的图像或采集样本工件的图像时，控制调节盒体内部的图像采集环境，图像采集控制模块包括以下模块：

图像采集环境预设模块：用于在将工件放在旋转盘后，根据电子背景调色板和光源预设的预设值，将电子背景调色板和光源开启。

工件定位模块：用于通过样本图像采集摄像头采集工件的侧面图像，并定位侧面图像中工件的位置；

颜色匹配模块：用于解析侧面图像中定位的工件的颜色，根据工件的颜色匹配对比度高的背景色(例如黑色与白色的对比，绿色与白色的对比)，并将电子背景调色板调节为所述背景色；

光源亮度调节模块：用于解析背景色的色温，并根据色温调节光源的亮度；

图像获取模块：用于在将电子背景调色板和光源调整好之后，控制步进电机和样本图像采集摄像头分别对工件的四个侧面进行图像采集。

如图3所示，检测平台对内部环境预设的操作步骤如下：

图像采集环境预设步骤：在将工件放在旋转盘后，根据电子背景调色板和光源预设的预设值，将电子背景调色板和光源开启。

工件定位步骤：通过样本图像采集摄像头采集工件的侧面图像，并定位侧面图像中工件的位置；

颜色匹配步骤：解析侧面图像中定位的工件的颜色，根据工件的颜色匹配对比度高的背景色，并将电子背景调色板调节为所述背景色；

光源亮度调节步骤：解析背景色的色温，并根据色温调节光源的亮度；色温高则光源的亮度调低，色温低则光源的亮度调低。

图像获取步骤：在将电子背景调色板和光源调整好之后，控制步进电机和样本图像采集摄像头分别对工件的四个侧面进行图像采集，控制步进电机的旋转角度为90°，旋转三次，样本图像采集摄像头的拍摄时间为5S。工件的上下表面的图像采集，可通过控制步进电机和样本图像采集摄像头进行独立采集，将工件翻转90°放置在旋转盘上，且使待检测的一侧侧面朝向样本图像采集摄像头，控制步进电机的旋转角度为180°，旋转一次，样本图像采集摄像头的拍摄时间为5S。

具体实施过程如下：

将电子背景调色板和光源根据工件的颜色进行针对性的调节，能够将工件的图像从拍摄的表面图像中区分开来，避免背景和工件难以区分，对工件的缺陷检测造成影响。而且光源和漫反射涂层的设置，能够使照射到工件表面的光线更柔和，使得摄像头能够拍摄到最佳的图像，利于后续的缺陷检测，提高缺陷检测的效果。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (8)

1.一种基于深度学习的工业元器件外观缺陷检测方法，其特征在于：包括以下步骤：

S1、图像获取步骤：将待测工件置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取待测工件外表面的图像数据；

步骤S1中还包括S101步骤：

S101、拍照条件准备步骤：在检测平台上根据工件颜色配置拍摄背景，并根据拍摄背景为相机配置照明光源；

S2、图像处理步骤：对获取的图像数据进行图像前期处理，得到待诊断图像；

S3、图像分析和识别步骤：获取基于深度学习构建的卷积神经网络模型对待诊断图像进行判断，自动判断缺陷类型和参数指标，最终输出待测图像的识别结果；

所述检测平台包括顶部可翻转打开、闭合的盒体，所述盒体内部中空，盒体内的底面安装有旋转台，旋转台包括旋转盘和步进电机，步进电机固定在盒体内的底面上，步进电机的转轴为竖直方向设置；旋转盘设置在步进电机上方，且与步进电机的转轴同轴线固定设置；盒体内部一侧侧壁上的中部固定设置有样本图像采集摄像头，该侧壁的相对侧壁上安装固定有电子背景调色板；盒体盒盖的内侧面安装固定有亮度可调的光源，盒体内部的侧面上均涂有漫反射涂层；

所述检测平台还包括样本图像采集控制模块，样本图像采集控制模块用于在采集待测工件的图像或采集样本工件的图像时，控制调节盒体内部的图像采集环境，图像采集控制模块包括以下模块：

图像采集环境预设模块：用于在将工件放在旋转盘后，根据电子背景调色板和光源预设的预设值，将电子背景调色板和光源开启；

工件定位模块：用于通过样本图像采集摄像头采集工件的侧面图像，并定位侧面图像中工件的位置；

颜色匹配模块：用于解析侧面图像中定位的工件的颜色，根据工件的颜色匹配对比度高的背景色，并将电子背景调色板调节为所述背景色；

光源亮度调节模块：用于解析背景色的色温，并根据色温调节光源的亮度；

图像获取模块：用于在将电子背景调色板和光源调整好之后，控制步进电机和样本图像采集摄像头分别对工件的四个侧面进行图像采集。

2.根据权利要求1所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述图像前期处理包括去噪、滤波、裁剪、旋转、拉伸、亮度修正、颜色转换、图像分割、分辨率调整、二值化、区域标记和轮廓提取。

3.根据权利要求1所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述图像分析和识别步骤还包括以下步骤：

S201、样本数据获取步骤：获取存在缺陷的工业元器件的样本，将样本置于检测平台上，在稳定、均匀的照明环境下，通过检测平台上的相机获取样本外表面的样本图像数据集；

S202、模型构建步骤：基于深度学习构建卷积神经网络模型，根据样本图像数据集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后输出训练成功的卷积神经网络模型。

4.根据权利要求3所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述步骤S3具体包括以下步骤：

S301、缺陷识别步骤：将待诊断图像输入已经训练好的卷积神经网络模型中，并输出是否有缺陷、缺陷位置与缺陷类型信息，并将缺陷、缺陷位置与缺陷类型信息保存到数据库中；

S302、缺陷分析步骤：在输出待诊断图像有缺陷时，分析待测图像上外观的缺陷的纹理、形状信息，并将纹理、形状信息保存到数据库中。

5.根据权利要求4所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述步骤S301中，每一张训练图像包含S×S个网格，每一个网格产生B个预测的可能包含缺陷的矩形框，每一张训练图像上缺陷的位置由5个参数组成，分别为x,y,w,h,P，其中x与y是矩形框的中心相对于负责该缺陷的网格左上角的位置偏移量，w与h是矩形框的长和宽，P是指矩形框中含有缺陷的置信度。

6.根据权利要求5所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述步骤S301中，所述卷积神经网络模型包括24个卷积层和2个全连接层。

7.根据权利要求6所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述卷积神经网络模型中包括损失函数训练模型。

8.根据权利要求7所述的基于深度学习的工业元器件外观缺陷检测方法，其特征在于：所述损失函数训练模型中，

S×S表示每张训练图像被分成S×S个网格；B表示每一个网格预测的可能包含缺陷的矩形框个数；

表示第i个网格中的第j个矩形框是否负责本网格中的缺陷预测，

表示缺陷是否存在于第i个网格中；λcoord为矩形框的w,h,x,y四个参数的损失权重；λnoobj为不负责的矩形框所预测缺陷的类别损失权重；xi和yi、

和

分别表示人工标注的缺陷矩形框和模型预测的矩形框的左上角对于第i个网格中心在两个方向上的偏移量；wi和hi、

和

分别表示第i个网格中人工标注的缺陷矩形框和模型预测的矩形框的宽与高，Ci和

分别表示第i个网格中人工标注的缺陷类别和模型预测的类别；pi(c)和

表示第i个网格中人工标注的和模型预测的缺陷类别为c的概率。

Images