CN114255223A - 基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备 - Google Patents

Abstract

本发明提供了一种基于深度学习的双阶段卫浴陶瓷缺陷检测方法及设备，方法为将标注了目标缺陷信息的原始标注文件划分为第一标注数据集和第二标注数据集；并对第二标注数据集进行网格划分并剪裁，滤除仅包含背景的图片，获得缺陷图片数据集；依据原始标注文件和缺陷目标相对于原始图片的坐标偏移值，获取缺陷图片对应的标注文件，从而形成标注缺陷图片数据集，将第一标注数据集和标注缺陷图片数据集分别划分为训练集和测试集后，分别输入深度网络模型进行训练，并利用训练模型对待测目标进行缺陷检测，完成缺陷类型的识别与定位。本发明方法能够很好地抑制背景信息对检测结果的干扰，并且能够提高检测速度，满足工业现场应用精度和速度需求。

Description

基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备

技术领域

本发明涉及技术领域，具体涉及一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备。

背景技术

陶瓷产业是国民经济中的重要一环，我国是世界上最大的卫浴陶瓷生产国和销售国，拥有全球最高的陶瓷产品生产量、出口量和消费使用量，具有广阔的市场前景。近年来，陶瓷产业生产技术的自动化、机械化程度不断提高，引入了大量的自动化生产设备和生产线，但是质量检测和分级评估工序还未实现自动化，仍然依赖人工目视的方法进行检测，难以实现定量化检测且工人在长时间工作下容易出现漏检、错检和误检的情况，难以保证产品的质量。随着社会进步和人们生活质量的提升，消费者对于产品的外观质量越发重视，产品的品控直接关联消费者对于企业的口碑，影响着企业的发展。

现有的卫浴陶瓷表面缺陷检测方法主要分为基于传统图像处理和基于深度学习两大类方法。如在专利名称为“一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置”中公开一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置，首先获取图像数据集，所述图像数据集为待检测卫浴陶瓷的表面图像的集合；并标注所述表面图像的缺陷类型和缺陷最小外接矩形，生成图像特征集；进而将所述图像特征集划分为训练集、验证集和测试集，根据所述训练集的缺陷最小外接矩形生成候选框；接着将所述候选框输入到Faster R-CNN神经网络进行训练，生成表面缺陷检测模型；最后将所述测试集输入所述检测模型，检测出待检测卫浴陶瓷的缺陷类型。

再如在专利名称为“一种基于机器视觉的陶瓷杯缺陷检测方法”中公开的一种基于深度学习算法的陶瓷杯缺陷检测方法，属于机器视觉和深度学习领域，方法包括：对陶瓷产品图片进行像素级别的缺陷标注，并将原始产品图片以及对应的标注信息作为样本数据从而得到原始数据集、训练集以及测试集；构建基于深度学习的缺陷检测网络模型；将所述训练集和测试集输入搭建好的缺陷检测模型进行训练，通过参数微调得到完整检测模型之后，该模型完成在线检测陶瓷产品缺陷任务。

其中，基于传统图像方法的卫浴陶瓷表面缺陷检测方法主要通过人工设计的特征算子对瑕疵进行识别，其对于成像条件要求很苛刻，并且人工设计的特征通常不是最优特征，难以稳定地对缺陷特征进行表示，因此不能胜任复杂环境下的表面检测问题；基于深度学习的卫浴陶瓷表面缺陷检测方法相较传统方法具有更好的适应性和准确率，但是基于深度学习的方法需要大量的训练数据，并且现有的网络模型难以直接将千万像素级别的图片作为输入进行训练。

发明内容

本发明解决的一个主要问题是现有基于深度学习的卫浴陶瓷表面缺陷检测方法需要大量训练数据，且现有网络难以直接将分辨率很高的图片作为输入进行模型训练的问题。

根据本发明的一个方面，本发明提供一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，所述双阶段卫浴陶瓷表面缺陷检测方法包括：

将标注了目标缺陷信息的原始标注文件划分为第一标注数据集和第二标注数据集；

对所述第二标注数据集中的图片进行网格划分并剪裁，滤除仅包含背景的图片，获得缺陷图片数据集；

基于原始标注文件和目标缺陷相对于原始图片的坐标偏移值，获取缺陷图片对应的标注文件，形成标注缺陷图片数据集；

将所述第一标注数据集划分为第一训练集和第一验证集，并基于深层网络进行迭代训练，直至获得工件识别模型；

将所述标注缺陷图片数据集划分为第二训练集和第二验证集，并基于深层网络进行迭代训练，直至获得缺陷检测模型；

将待测图片缩放后输入所述工件识别模型，对输出的识别结果进行剪裁，获得工件区域图片；

缩放所述工件区域图片，并将缩放后的图片输入所述缺陷检测模型进行检测，输出缺陷检测结果。

进一步地，对所述第二标注数据集中的图片进行网格划分并剪裁，滤除仅包含背景的图片，获得缺陷图片数据集，包括步骤：

对所述第二标注数据集中的图片按照预设尺寸的网格进行划分；

以第二标注数据集中的图片一角为坐标原点，图片长度方向为x轴、宽度方向为y轴，利用所述第二标注数据集对网格划分后的图片中的缺陷按照x轴方向进行索引排序，并按照缺陷在x轴坐标的大小依次进行裁剪，当网格区域缺陷被裁剪后，从索引中删除该缺陷，重复剪裁步骤直至索引中不存在任何缺陷，滤除仅包含背景的图片，获得缺陷图片数据集。

进一步地，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

当网格在图片边界区域出现越界情况时，对网格坐标进行修正。

进一步地，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

单一网格内仅包含一个缺陷目标时，直接裁剪该网格对应的图片区域。

进一步地，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

当缺陷目标左上角的坐标位于网格内，而右下角坐标不在网格内时，则以右下角坐标为原点重新对图片进行网格划分，使缺陷目标完全被网格所包含，并剪裁包含完整缺陷目标的网格。

进一步地，当对图片重新进行网格划分后，若剪裁后的单一网格内包含多个缺陷目标的部分区域，则对网格大小进行调整后重新剪裁，以得到至少包含一个完整缺陷目标的网格图片。

进一步地，对调整顺序后的网格大小进行调整时，若一些网格的尺寸不满足预设尺寸，则对该些网格进行填0处理。

根据本发明的另一个方面，还公开一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测设备，所述双阶段卫浴陶瓷表面缺陷检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的双阶段卫浴陶瓷表面缺陷检测程序，所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测程序被所述处理器执行时实现如前任一项所述的基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法的步骤。

本发明提出了一种基于深度学习的双阶段卫浴陶瓷缺陷检测方法及设备，方法具体为基于深度网络模型训练好工件区域识别模型和缺陷检测模型，并先对获取到的图片进行工件区域的识别与裁剪，完成背景的滤除，接着再对工件区域图片进行缺陷检测，完成缺陷类型的识别与定位。这种双阶段的深度学习方法能够很好的抑制背景信息对检测结果的干扰，并且能够提高检测速度，满足工业现场应用的精度和速度需求。

附图说明

本发明构成说明书的一部分附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

图1为本发明实施例中卫浴陶瓷表面缺陷检测方法总体流程示意图。

图2为本发明实施例中模型检测步骤流程示意图。

具体实施方式

下面将结合附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例一，公开一种基于深度学习的两阶段卫浴陶瓷表面图片的缺陷检测方法。为了实现卫浴陶瓷表面图片的缺陷检测，首先需要进行原始数据集的采集与制作，然后利用处理后的原始数据集进行模型的训练，最后用训练后的模型对待测目标进行检测。

利用高像素相机，如1200万像素的RGB相机拍摄待测卫浴陶瓷表面的图片，将获取到的图片数据分为两个数据集，数据集1用于训练识别工件区域的网络模型，数据集2用来训练缺陷识别的网络模型。

针对数据集1，利用labelimg对采集得到的图片中的工件进行标注，得到图片对应的标注文件。标注文件中包含的主要信息是缺陷类型信息和坐标信息。由于原始图片可以看作是一个二维的数据，因此标注的缺陷是一个矩形框，含有二维坐标信息。

针对数据集2，由于采集得到的原始图片尺寸为4000x3000，这种尺寸的图片不适合进行模型的训练，因此常规情况下，首先对原始采集得到的图片先利用前述的labelimg进行标注，而后将4000x3000的图片裁剪为尺寸为640x640大小的若干图片文件。

由于对原始图片进行裁剪时，缺陷区域是随机分布的，采用640x640固定窗口并按照640的步距进行移动的方式不能适应缺陷的多样性，会出现裁剪后图片中缺陷被截断或者缺陷区域缺少对应标注的情况。

因此，本实施例中应用一种新的图片自适应剪裁方法，其中该方法具体通过python程序脚本来实现，具体方法为：

步骤一、对原始尺寸为4000x3000的卫浴陶瓷图片利用尺寸为640x640的网格进行划分，此处网格尺寸也可选择其他合适的尺寸。

在一些实施例中，当网格在边界区域出现越界情况时对网格坐标进行修正。比如原有网格左上角坐标为(3840，0)，右下角坐标为(4480，640)，现调整为(3360，0)，右下角坐标为(4000，640)。

步骤二，以原始图片的左上角为坐标原点，长度方向为x轴，宽度方向为y轴，利用原始图片的标注文件对图片中的缺陷按照x轴方向进行索引排序，并按照缺陷在x轴的坐标的大小依次进行裁剪，当缺陷及其所在的网格区域被裁剪后，则从索引中删除该缺陷，直至索引中不存在任何缺陷，最终滤除了仅包含背景的图片，获得需要的缺陷图片数据集。

该步骤中也可以以原始图片的其他任一一角为坐标原点，只需进行相应的坐标变化即可。

在步骤二的剪裁过程中：

1、若单一网格内仅包含一个缺陷目标，则直接裁剪该网格对应的图片区域；

2、若缺陷目标左上角位于网格内，而右下角坐标不在网格内，则以右下角坐标为依据重新进行新尺寸的网格划分，使缺陷目标完全被网格所包含，并裁剪该网格对应的图片区域；

3、若单一网格内包含多个缺陷目标，且部分缺陷目标符合情况2所述的情况，则依据情况2所述方法依次对网格的位置进行调整，使所有缺陷目标完全被网格所包含，并裁剪该网格对应的区域；

4、如果情况3所述情况无法完全满足，不存在一个网格能包含所有的缺陷目标，即针对一张有多个缺陷的图片，按照目前的划分方法无法用一个640x640的网格将所有的缺陷都完全包含在内，可能有几个缺陷不能完全被包含，只能被部分包含，这种情况不适用于后续的检测工作。则依据网格调整的顺序，当网格的位置无法进行调整时，对当前网格的大小进行调整，使之仅包含已经调整好的缺陷目标。

情况4中，对于网格不满640x640大小的区域进行填0处理。

步骤三、对于裁剪后的图片，利用原始的标注文件信息、裁剪图片和原始图片的坐标关系重新标注剪裁后的缺陷图片数据集，并得到最终的标注缺陷图片数据集作为新的数据集2。

得到标注好的数据集后，开始进行模型训练。

得到标注好的数据集1和新的数据集2后，需要利用数据集进行模型的训练，由于工件区域识别和缺陷区域识别都可以视为目标检测的一种应用，只是待检测对象存在差异，因此利用单阶段目标检测网络YOLOv5网络进行训练，损失函数由分类损失、置信度损失和包围回归框损失三部分组成，其中分类损失、置信度损失采用交叉熵损失函数，包围回归框采用GIOU Loss。网络参数更新方式为带momentum的SGD算法。

对于工件区域识别模型，其训练参数为batch-size：8，learning-rate：0.01，momentum：0.937；

对于缺陷识别模型，其训练参数为batch-size：64，learning-rate：0.001，momentum：0.937。

利用获得的两个数据集输入网络模型分别进行训练的详细流程如图1所示，步骤包括：

1、对得到的数据集均按照9:1的比例划分为训练集和验证集；

2、从训练集中按照batch-size大小输入批次图片；

3、加载预训练模型并利用深层网络对处理后的输入图片进行特征提取，计算损失函数；

4、在验证集上计算训练模型的性能，如果当前模型的性能优于历史模型的性能，则保留当前模型；

5、当训练达到预设迭代次数后，本发明实施例中选300次为预设迭代次数，分别输出训练得到的最优工件区域识别模型和缺陷检测模型。

得到训练好的工件区域识别模型和缺陷检测模型后，可基于上述模型对卫浴陶瓷产品表面缺陷进行两阶段的检测。

如图2所示，具体的检测步骤为:

RGB相机采集原始图片。利用固定在支架上的1200万像素的相机对待检测工件进行图像采集，得到原始图片。

工件区域识别。由于通过RGB相机获取的原始图片中包含了大量的背景区域，这些背景区域不仅会降低后续处理的效率，并且会影响识别的结果，因此先将原始图片中的缺陷区域裁剪出来。具体地，考虑到工件的特征十分明显，深层网络模型拥有很强的特征提取能力，因此首先将原始图片缩放到640x640大小输入训练好的工件区域识别模型中，加快模型的检测速度，然后依据识别结果对原始图片进行裁剪得到工件区域图片。

缺陷区域检测。由于不同工件的尺寸大小不一，上一步裁剪得到的工件区域图片大小并不相同，因此首先要对裁剪得到的图片大小进行统一化，结合数据集1中标注的目标框大小和不同缩放尺度下的实验结果，将图片大小确定为1600x1600。而后将缩放后的图片传入缺陷检测模型中，通过深层卷积神经网络不断进行特征提取，并通过跨层连接的方式实现不同层级间的特征融合，加强待检测缺陷目标的特征，最终在融合的多尺度特征层上进行缺陷的检测，输出检测结果。

检测结果标注。由于在工件区域识别步骤中可得到工件区域图片相对于原始图片的偏移坐标，由缺陷区域检测步骤可得到工件区域图片的缩放比例及输出的检测结果相对于工件区域图片的偏移坐标，因此可以反解检测结果相对于原始图片的偏移坐标并进行标注。

在一些实施例中，也可将实施例一种的数据集1和新的数据集2进行整合，利用整合后的数据仅训练一个网络模型，来完成工件区域的识别和缺陷检测任务，并保证现有的检测步骤不会发生变化。

在一些实施例中，还可将相机的分辨率进一步提高，以实现对小目标缺陷进行更好的成像效果。

根据本申请的第二方面，本发明还提供基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第一方面实施例中所述的基于深度学习的卫浴陶瓷表面缺陷检测方法。

所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备，可运行的装置可包括，但不仅限于，处理器、存储器。

本领域技术人员可以理解，所述例子仅仅是基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备的示例，并不构成对基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Arr ay，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是基于深度学习的卫浴陶瓷表面缺陷检测装置的控制中心，利用各种接口和线路连接整个基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法和设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图片播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。

此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (8)

1.一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，所述双阶段卫浴陶瓷表面缺陷检测方法包括：

将标注了目标缺陷信息的原始标注文件划分为第一标注数据集和第二标注数据集；

对所述第二标注数据集中的图片进行网格划分并剪裁，滤除仅包含背景的图片，获得缺陷图片数据集；

基于原始标注文件和目标缺陷相对于原始图片的坐标偏移值获取缺陷图片对应的标注文件，形成标注缺陷图片数据集；

将所述第一标注数据集划分为第一训练集和第一验证集，并基于深层网络进行迭代训练，直至获得工件识别模型；

将所述标注缺陷图片数据集划分为第二训练集和第二验证集，并基于深层网络进行迭代训练，直至获得缺陷检测模型；

将待测图片缩放后输入所述工件识别模型，对输出的识别结果进行剪裁，获得工件区域图片；

缩放所述工件区域图片，并将缩放后的图片输入所述缺陷检测模型进行检测，输出缺陷检测结果。

2.如权利要求1所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，对所述第二标注数据集中的图片进行网格划分并剪裁，滤除仅包含背景的图片，获得缺陷图片数据集，包括步骤：

对所述第二标注数据集中的图片按照预设尺寸的网格进行划分；

以第二标注数据集中的图片一角为坐标原点，图片长度方向为x轴、宽度方向为y轴，利用所述第二标注数据集对网格划分后的图片中的缺陷按照x轴方向进行索引排序，并按照缺陷在x轴坐标的大小依次进行裁剪，当网格区域缺陷被裁剪后，从索引中删除该缺陷，重复剪裁步骤直至索引中不存在任何缺陷，从而滤除仅包含背景的图片，获得缺陷图片数据集。

3.如权利要求1所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

当网格在图片边界区域出现越界情况时，对网格坐标进行修正。

4.如权利要求1所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

单一网格内仅包含一个缺陷目标时，直接裁剪该网格对应的图片区域。

5.如权利要求1所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，对所述第二标注数据集中的图片进行网格划分并剪裁还包括：

当缺陷目标左上角的坐标位于网格内，而右下角坐标不在网格内时，则以右下角坐标为原点重新对图片进行网格划分，使缺陷目标完全被网格所包含，并剪裁包含完整缺陷目标的网格。

6.如权利要求5所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，当对图片重新进行网格划分后，若剪裁后的单一网格内包含多个缺陷目标的部分区域，则对网格大小进行调整后重新剪裁，以得到至少包含一个完整缺陷目标的网格图片。

7.如权利要求6所述的一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法，其特征在于，对调整顺序后的网格大小进行调整时，若一些网格的尺寸不满足预设尺寸，则对该些网格进行填0处理。

8.一种基于深度学习的双阶段卫浴陶瓷表面缺陷检测设备，其特征在于，所述双阶段卫浴陶瓷表面缺陷检测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的双阶段卫浴陶瓷表面缺陷检测程序，所述基于深度学习的双阶段卫浴陶瓷表面缺陷检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于深度学习的双阶段卫浴陶瓷表面缺陷检测方法的步骤。

Images