CN114820471A - 一种面向智能制造精微结构表面缺陷的视觉检测方法 - Google Patents

Abstract

本发明公开了一种面向智能制造精微结构表面缺陷的视觉检测方法，所述视觉检测方法基于深度学习和机器学习的融合，所述视觉检测方法包括下述步骤：S1.制作工件表面缺陷训练图像集；S2.搭建基于YOLOv3的深度学习网络模型；S3.设置模型训练参数，完成深度学习缺陷检测模型的训练；S4.将深度学习训练模型的输出图像传送到后一级的机器学习环节，对中间输出图像进行更进一步的特征提取；S5.基于已训练的深度学习和机器学习融合缺陷检测模型，对工件表面缺陷进行检测。本发明能够自动化、高效率的对工件表面进行缺陷检测，从而实现工件表面缺陷的自动识别以及缺陷检测结果的量化处理，当检测物表面不规则或者场景复杂度上升后，能够很好兼顾检测效果和检测效率。

Description

一种面向智能制造精微结构表面缺陷的视觉检测方法

技术领域

本发明属于缺陷检测技术领域，具体涉及一种面向智能制造精微结构表面缺陷的视觉检测方法。

背景技术

随着现代工业的发展，缺陷检测技术被广泛应用于布匹瑕疵检测、工件表面质量检测、航空航天领域等。相对于简单场景下的工件表面缺陷检测，现代工业对缺陷检测技术提出了更为严格的要求。伴随着计算机技术、人工智能等科学技术的出现以及发展，基于机器视觉技术的工件表面缺陷检测技术应运而生，极大程度上改善了工件表面缺陷检测效果并提高了工件表面缺陷检测速率，同时避免了因场景条件、主观判断等因素影响缺陷检测结果的准确性。在机器视觉技术领域中，工件表面缺陷检测技术通过计算机视觉来模拟人类视觉功能，对具体的被测实物进行图像的采集处理计算，最终实现工业视觉实际检测、控制以及相应的场景应用。

但是，目前的大多数机器视觉技术的工件表面缺陷检测技术都是针对表面规则或者检测场景简单的情况，当检测物表面不规则或者场景复杂度上升后，检测效果和检测效率就无法兼顾，严重影响了缺陷检测的适用性。而深度学习方法相比较于机器学习方法，在一些视觉识别任务中取得了巨大的成功，并在精度和鲁棒性方面都优于大多数机器学习方法，但无法满足工业生产中的实时性要求，并且分类不够准确。

发明内容

针对上述背景技术所提出的问题，本发明的目的是：旨在提供一种面向智能制造精微结构表面缺陷的视觉检测方法。

为实现上述技术目的，本发明采用的技术方案如下：

一种面向智能制造精微结构表面缺陷的视觉检测方法，所述视觉检测方法基于深度学习和机器学习的融合，所述视觉检测方法包括下述步骤：

S1.制作工件表面缺陷训练图像集；

在同一场景下对不同空间位姿下的工件表面进行缺陷图像采集，采集样本图像数量为N幅；

通过图像增强技术完成表面缺陷图像的手动标注，记录缺陷图像集为Image，记录缺陷标注图像集合对应为Image_Label；

制作要求如下，在工件表面缺陷图像集制作中，要求表面缺陷面积截取图像的1/3，否则不被视为缺陷图像，在一幅缺陷图像中，缺陷数据要远少于背景数据；

为提高工件表面缺陷检测效果，引入图像数据增强技术，其包括图像翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动以及旋转变换/反射变换，经过工件表面缺陷图像增强处理后，图像中缺陷与背景数据的比值接近1:1；

S2.搭建基于YOLOv3的深度学习网络模型；

以图像分类深度卷积神经网络为基础，对缺陷图像中的每一个像素做出分类，即在像素级别上对图像进行理解；

缺陷检测模型网络包含三个主要组成部分：卷积层、降采样层和上采样层；

工件表面缺陷图像输入格式为[m,n,3]，经过模型卷积层、池化层后图像压缩表示为[w,h,d]的特征向量，其中w为特征向量的跨度，h为特征向量的高度，d为特征向量的深度，相对于原始图像输入数据，该压缩向量对应空间维度较低但是更为紧致，将此压缩向量输入到模型上采样层，重建与模型输入层维度相同的输出向量，即输入图像对应的缺陷类别标签图像；

S3.设置模型训练参数，完成深度学习缺陷检测模型的训练，其中，模型训练参数包括：缺陷类别对应权重比值、最大训练迭代次数等；

S4.将深度学习训练模型的输出图像传送到后一级的机器学习环节，该环节处理SIFT、ORB以及直方图在内的多种传统机器学习处理方案，对中间输出图像进行更进一步的特征提取；

深度学习环节主要提取缺陷图像中的大尺度特征，机器学习环节主要提取小尺度特征，通过深度学习和机器学习的融合，实现“大小颗粒”特征的全面提取，提高缺陷模型的识别率；

机器学习环节具体操作流程如下：

首先，将深度学习处理过的缺陷图像经过SIFT算子处理，SIFT是一种检测局部特征的算法，该算法通过求待检测缺陷图中的特征点(interest points，corner points)及其有关尺度和方向的描述子得到特征并进行图像特征点匹配，进一步提取到深度学习环节不能提取到的小尺度特征，需要补充的是，SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果；

其次，当工业环境中的待检测缺陷工件视角变换不大且对速度和空间有要求时，使用ORB算子替代SIFT算子；ORB是一种类似于SIFT的提取方法，相比于SIFT计算速度更快，计算时间大概为SIFT的1％，由于ORB使用了FAST来加速特征点的提取，另外，还使用了BRIEF算法计算描述子，该描述子特有的二进制串的表现形式不仅节约存储空间，而且大大缩短匹配的时间，但是ORB相比于SIFT，在尺度变换能力较弱；

最后，采用直方图算法作用在SIFT或ORB算法，用以进一步优化缺陷图片，其基本思想是：先将连续的浮点特征值离散化成x个整数，同时构造一个宽度为x的直方图，即将浮点数的范围均分成若干整数区间，在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点，通过使用直方图进一步处理，加强了检测模型的鲁棒性、以及模型稳定性；

S5.基于已训练的深度学习和机器学习融合缺陷检测模型，对工件表面缺陷进行检测，过程如下，将上一步骤中，已训练好的缺陷检测融合模型进行固化，对应模型输入为缺陷图像，输出为缺陷图像标签。

本发明的有益效果：

1.本发明提供的面向智能制造精微结构表面缺陷的视觉检测方法基于YOLOv3深度学习框架和传统机器学习融合，能够自动化、高效率的对工件表面进行缺陷检测，从而实现工件表面缺陷的自动识别以及缺陷检测结果的量化处理，当检测物表面不规则或者场景复杂度上升后，能够很好的兼顾检测效果和检测效率。

附图说明

本发明可以通过附图给出的非限定性实施例进一步说明；

图1为本发明一种面向智能制造精微结构表面缺陷的视觉检测方法实施例的流程图；

图2为本发明一种面向智能制造精微结构表面缺陷的视觉检测方法实施例中步骤五的流程图；

图3为本发明一种面向智能制造精微结构表面缺陷的视觉检测方法实施例中机器学习的检测流程图；

图4为本发明一种面向智能制造精微结构表面缺陷的视觉检测方法实施例中深度学习的检测流程图；

图5为本发明一种面向智能制造精微结构表面缺陷的视觉检测方法实施例中机器学习与深度学习相互融合后的检测流程图；

具体实施方式

为了使本领域的技术人员可以更好地理解本发明，下面结合附图和实施例对本发明技术方案进一步说明。

本案实施中，

以下述产品为缺陷检测对象：

珠海上富电技股份有限公司自动化生产线上的超声波雷达产品，完成对超声波雷达产品在瓷面铝壳同心度检测、瓷面划痕检测、银线成型检测、银线焊接偏位检测、主体后端PIN针居中度检测、成品激光雕刻内容检测、前盖自动上料识别检测和主体自动上料识别检测等8个维度的检测，每一个检测环节都需要进行缺陷定位与识别，当该环节检测结果满足预期要求时，流入下一个环节进行检测，通过流水操作保证产品的生产效率和合格率，其中的瓷面划痕检测指标是检测瓷面表面是否有划痕，无划痕OK，有划痕NG；

以超声波雷达产品工件缺陷检测中的瓷面划痕检测为例，结合附图1-5，并对比机器学习、深度学习等方法，来实际说明本发明的检测过程：

单独使用机器学习，进行瓷面划痕的检测，其整体检测流程在附图3中展示，先通过图像预处理得到便于检测的图像，随后借助统计机器学习方法来提取图像特征，进而实现缺陷检测的目标，可发现对于不同的输入图像，机器学习部分只能提取适配当前参数的缺陷特征，具有较强的针对性以及较差的鲁棒性，另外，在机器学习的缺陷检测过程中，往往需要多种算法的同时协调，随之而来的计算量也使得缺陷检测的实时性大打折扣，对于现实复杂高效的工业环境中，不具备实操性，重复上述检测流程并使用不同程度的瓷片划痕图片，仅采用机器学习的缺陷检测，平均识别准确率只能达到70％左右；

单独使用深度学习，进行瓷面划痕的检测，其整体检测流程在附图4中展示，先通过图像预处理，以得到增强后的图像，然后将预处理后的图像输入到已训练好的卷积神经网络中，可以发现深度学习较机器学习有了明显的提升，并且深度学习较机器学习可以通过学习数据更新神经网络的参数，避免了人工设计复杂的算法流程，具备一定的鲁棒性和识别精度，但通过输入大量不同程度的瓷片划痕图片，可以发现深度学习训练的模型对于“大颗粒”的缺陷特征具有较好的识别精度，但对于“小颗粒”的缺陷特征会出现大概率漏检的情况，解决此问题可以通过加大样本，训练普适性更强的模型，但这无疑增加了一定的时间成本和资源消耗，重复上述检测流程并使用不同程度的瓷片划痕图片，仅采用深度学习的缺陷检测，平均识别准确率只能达到80％左右；

深度学习融合机器学习，进行瓷面划痕的检测，当检测物表面不规则或者场景复杂度上升后，能够很好的兼顾检测效果和检测效率，其整体检测流程在附图5中展示，首先对输入的待检测缺陷图像做预处理，以实现缺陷数据的增强，在一幅缺陷图像中，缺陷数据要远少于背景数据，经过工件表面缺陷图像增强处理算法后，使得图像中缺陷数据与背景数据得以接近，便于后续的处理，随后将预处理后的图像输入到已训练好的深度学习卷积神经网络中，以提取缺陷部分的“大尺度”特征，并对提取出的缺陷部分用红色轮廓线标示，将深度学习部分输出的缺陷图像作为输入送入到传统的机器学习部分，使用SIFT、ORB以及直方图等传统特征检测算法以提取“小尺度”特征，并对提取出的缺陷部分使用绿色轮廓线标识，最后将深度学习和机器学习提取的尺度特征进行融合，得到输出的标签图像，使用黄色轮廓线标识，至此，所有的瓷面划痕检测流程完毕，重复上述检测流程并使用不同程度的瓷片划痕图片，平均识别准确率可达99％左右。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (1)

1.一种面向智能制造精微结构表面缺陷的视觉检测方法，其特征在于：所述视觉检测方法基于深度学习和机器学习的融合，所述视觉检测方法包括下述步骤：

S1.制作工件表面缺陷训练图像集；

在同一场景下对不同空间位姿下的工件表面进行缺陷图像采集，采集样本图像数量为N幅；

通过图像增强技术完成表面缺陷图像的手动标注，记录缺陷图像集为Image，记录缺陷标注图像集合对应为Image_Label；

制作要求如下，在工件表面缺陷图像集制作中，要求表面缺陷面积截取图像的1/3，否则不被视为缺陷图像，在一幅缺陷图像中，缺陷数据要远少于背景数据；

为提高工件表面缺陷检测效果，引入图像数据增强技术，其包括图像翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动以及旋转变换/反射变换，经过工件表面缺陷图像增强处理后，图像中缺陷与背景数据的比值接近1:1；

S2.搭建基于YOLOv3的深度学习网络模型；

以图像分类深度卷积神经网络为基础，对缺陷图像中的每一个像素做出分类，即在像素级别上对图像进行理解；

缺陷检测模型网络包含三个主要组成部分：卷积层、降采样层和上采样层；

工件表面缺陷图像输入格式为[m,n,3]，经过模型卷积层、池化层后图像压缩表示为[w,h,d]的特征向量，其中w为特征向量的跨度，h为特征向量的高度，d为特征向量的深度，相对于原始图像输入数据，该压缩向量对应空间维度较低但是更为紧致，将此压缩向量输入到模型上采样层，重建与模型输入层维度相同的输出向量，即输入图像对应的缺陷类别标签图像；

S3.设置模型训练参数，完成深度学习缺陷检测模型的训练，其中，模型训练参数包括：缺陷类别对应权重比值、最大训练迭代次数等；

S4.将深度学习训练模型的输出图像传送到后一级的机器学习环节，该环节处理SIFT、ORB以及直方图在内的多种传统机器学习处理方案，对中间输出图像进行更进一步的特征提取；

深度学习环节主要提取缺陷图像中的大尺度特征，机器学习环节主要提取小尺度特征，通过深度学习和机器学习的融合，实现“大小颗粒”特征的全面提取，提高缺陷模型的识别率；

机器学习环节具体操作流程如下：

首先，将深度学习处理过的缺陷图像经过SIFT算子处理，SIFT是一种检测局部特征的算法，该算法通过求待检测缺陷图中的特征点(interest points，corner points)及其有关尺度和方向的描述子得到特征并进行图像特征点匹配，进一步提取到深度学习环节不能提取到的小尺度特征，需要补充的是，SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果；

其次，当工业环境中的待检测缺陷工件视角变换不大且对速度和空间有要求时，使用ORB算子替代SIFT算子；ORB是一种类似于SIFT的提取方法，相比于SIFT计算速度更快，计算时间大概为SIFT的1％，由于ORB使用了FAST来加速特征点的提取，另外，还使用了BRIEF算法计算描述子，该描述子特有的二进制串的表现形式不仅节约存储空间，而且大大缩短匹配的时间，但是ORB相比于SIFT，在尺度变换能力较弱；

最后，采用直方图算法作用在SIFT或ORB算法，用以进一步优化缺陷图片，其基本思想是：先将连续的浮点特征值离散化成x个整数，同时构造一个宽度为x的直方图，即将浮点数的范围均分成若干整数区间，在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点，通过使用直方图进一步处理，加强了检测模型的鲁棒性、以及模型稳定性；

S5.基于已训练的深度学习和机器学习融合缺陷检测模型，对工件表面缺陷进行检测，过程如下，将上一步骤中，已训练好的缺陷检测融合模型进行固化，对应模型输入为缺陷图像，输出为缺陷图像标签。

Images