CN114612471A - 一种复杂纹理瓷砖表面缺陷检测方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体公开一种复杂纹理瓷砖表面缺陷检测方法，对CIS线扫工业相机采集到的表面缺陷瓷砖图像进行预处理和增强，进行缺陷标注，按比例划分为训练集、验证集和测试集；构建基于卷积神经网络的目标缺陷检测网路结构，通过调整训练集、验证集和测试集的参数，并训练获得优化后的目标缺陷检测模型；利用TensorRT构建高速推理引擎，目标缺陷检测模型的参数部署到高速推理引擎，结合Mmap技术通过内存共享的方式，实现瓷砖图像缺陷类别与缺陷位置的实时检测；利用聚类算法构建反误检点集模型，排除误检结果；提高检测准确率，降低了漏检率，极大节省了人力成本，此外还可以应用到其他类型的表面缺陷检测需求中，具有很好的普适性。

Description

一种复杂纹理瓷砖表面缺陷检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种复杂纹理瓷砖表面缺陷检测方法。

背景技术

瓷砖生产涉及多道工序，通常会不可避免的出现表面缺陷问题。受到工业自动化发展的推动，当前基本实现了生产流程的无人化，但质检流程仍然需要依赖大量人工操作。每条产品线一般会配有5名质检工左右，通过肉眼在高光下观察瓷砖表面定位瑕疵，该方法具有人力资源消耗大、效率低、漏检率高等缺点。表面缺陷瓷砖检测作为产品质量管理的重要环节，实现自动化并提高检测准确率已成为急需突破的技术瓶颈。

基于卷积神经网络与传统图像处理的表面缺陷检测技术，当下已成为主流方法广泛应用于瓷砖、玻璃、地板、钢轨等产品的表面缺陷检测，具有效率高可靠性强的特点。结合自动化检测平台，可实现稳定性强、检测速度快、成本低的缺陷检测方案。常见的表面缺陷瓷砖检测都是基于激光器信号，实现简单砖面的物理缺陷检测，相对来说比较容易，但可检出的缺陷种类很局限，通常只能检测出崩边和崩角缺陷。复杂纹理的瓷砖，其表面具有丰富的花纹、颜色、亮度和背景等，同时由于复杂的制造工序，瓷砖表面出现的缺陷种类更多，包括崩边、崩角在内，以及裂纹、滴墨、缺墨、釉泡、拉线七类缺陷，为缺陷检测增加了很大的难度。

因此，如何提供一种基于卷积神经网络与传统图像处理的复杂纹理瓷砖表面缺陷检测方法是本领域技术人员亟需解决的问题。

发明内容

为了解决上述的问题，本发明的主要目的是提供一种复杂纹理瓷砖表面缺陷检测方法，通过卷积神经网络与传统图像处理，实现高效、准确的缺陷检测，通过机器学习算法降低花纹带来的误检，提高检测准确率。

为实现上述目的，本发明提出一种复杂纹理瓷砖表面缺陷检测方法，包括以下步骤：

S1、利用CIS线扫工业相机采集的瓷砖高分辨率图像，构建表面缺陷瓷砖图像的数据集；

S2、对数据集中的表面缺陷瓷砖图像进行预处理和增强；

S3、构建数据集中的表面缺陷瓷砖图像的目标缺陷检测网路结构；

S4、将经过预处理和增强后的表面缺陷瓷砖图像输入到目标缺陷检测网路结构中，对目标缺陷检测网路结构的参数进行调优并训练，获得优化后的目标缺陷检测模型；

S5、固化目标缺陷检测模型的参数并部署到高速推理引擎，通过高速推理引擎快速输出无误检的缺陷检测结果；

S6、结合输出无误检的缺陷检测结果，利用聚类算法构建反误检点集模型标记无表面缺陷瓷砖模板上容易引起误检测的图像位置，通过无表面缺陷瓷砖模板和缺陷检测结果的图像位置比对，实现对瓷砖表面复杂纹路引起误检测的排除。

优选地，所述S1的具体做法包括以下步骤：

S11、对数据集中的表面缺陷瓷砖图像进行高斯平滑，降低边缘检测算法自动化进行图像裁剪的错误率；

S12、通过计算表面缺陷瓷砖图像中每一点两个方向的梯度值，得出每一点的边缘强度和梯度方向；

S13、根据边缘强度和梯度方向，对梯度幅值进行非极大值抑制，然后将瓷砖边缘连接起来；

S14、根据瓷砖边缘，截取出瓷砖区域，获得缺陷瓷砖图像。

优选地，所述高斯平滑的计算公式如下：

；

其中，

为位置（m，n）的灰度值，

为高斯滤波的宽度，决定平滑程度，通过该公式计算出每个坐标经过高斯平滑计算后的具体灰度值

，完成对数据集中的表面缺陷瓷砖图像的高斯平滑处理；

将两个方向的梯度值定义为

和

，

利用梯度值估计出的图像中每一点的边缘强度，计算公式如下：

；

利用梯度值估计出的图像中每一点的梯度方向，计算公式如下：

。

优选地，所述S2中，对数据集中的表面缺陷瓷砖图像进行预处理和增强，具体包括以下步骤：

S21、利用边缘检测算法对数据集中的表面缺陷瓷砖图像进行自动化图像裁剪；

S22、精准定位裁剪下来的缺陷区域，对数据集中的缺陷区域进行数据增强处理。

优选地，所述目标缺陷检测网路结构通过Cascade RCNN卷积神经网络构建，构建方式如下：

1）在目标提取阶段，使用多头自注意力机制和可变卷积层替换ResNet的基础结构，用于提高网络对小目标特征和位置信息的提取能力；

2）在目标识别阶段，采用Cascade结构，通过多个级联头计算综合损失，用于提升目标缺陷检测模型的目标识别和分类能力。

优选地，所述S5具体包括以下步骤：

S51、建立连接，使用Socket通讯方式与客户端建立连接；

S52、客户端会通过Mmap技术将数据集中的表面缺陷瓷砖图像映射进共享内存；

S53、高速推理引擎从共享内存中读取出数据集中的表面缺陷瓷砖图像，并对数据集中的表面缺陷瓷砖图像进行瓷砖缺陷检测，快速输出无误检的缺陷检测结果。

优选地，所述高速推理引擎为TensorRT推理引擎。

优选地，所述数据集包括训练集、验证集和测试集。

优选地，所述复杂纹理瓷砖表面缺陷检测方法还包括以下步骤：

步骤一、在检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并将瓷砖高分辨率实时图像作为实物模板，将实物模板传入高速推理引擎进行反误检得到预训练；

步骤二、在实时检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并传入共享内存供高速推理引擎操作使用。

有益效果：本发明提出一种复杂纹理瓷砖表面缺陷检测方法，对CIS线扫工业相机采集到的表面缺陷瓷砖图像进行预处理和增强，进行缺陷标注，并按比例划分为训练集、验证集和测试集；构建基于卷积神经网络的目标缺陷检测网路结构，通过调整训练集、验证集和测试集的参数，并训练获得优化后的目标缺陷检测模型；利用TensorRT构建高速推理引擎，目标缺陷检测模型的参数部署到高速推理引擎，结合Mmap技术通过内存共享的方式，实现瓷砖图像缺陷类别与缺陷位置的实时检测；利用聚类算法构建反误检点集模型，排除误检结果；提高了检测准确率，降低了漏检率，极大节省了人力成本，此外还可以应用到其他类型的表面缺陷检测需求中，具有很好的普适性。

附图说明

图1为本复杂纹理瓷砖表面缺陷检测方法的流程框图；

图2为本发明实施例中S1的具体做法的流程框图；

图3为本发明实施例中S2的具体做法的流程框图；

图4为本发明实施例中S5的具体做法的流程框图；

图5为本复杂纹理瓷砖表面缺陷检测方法的总流程图；

图6为本发明实施例中目标缺陷检测模型的总流程图；

图7为本复杂纹理瓷砖表面缺陷检测方法的检测结果示意图；

图8为图7中A部分的局部放大图；

图9为图7中B部分的局部放大图；

图10为本复杂纹理瓷砖表面缺陷检测方法的检测结果示意图；

图11为图10中C部分的局部放大图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1至图4，本实施例提供一种复杂纹理瓷砖表面缺陷检测方法，包括以下步骤：

S1、利用CIS线扫工业相机采集的瓷砖高分辨率图像，构建表面缺陷瓷砖图像的数据集；

S2、对数据集中的表面缺陷瓷砖图像进行预处理和增强；

S3、构建数据集中的表面缺陷瓷砖图像的目标缺陷检测网路结构；

S4、将经过预处理和增强后的表面缺陷瓷砖图像输入到目标缺陷检测网路结构中，对目标缺陷检测网路结构的参数进行调优并训练，获得优化后的目标缺陷检测模型，目标缺陷检测模型为基于cascade-rcnn改进的推理检测模型，目标缺陷检测模型的具体结构如图6所示，在业内通常的各种rcnn目标缺陷检测网络上增加了多感知头自注意力、可变卷积核和级联头三种结构，强化其对形状多变的小缺陷的检测能力。

S5、固化目标缺陷检测模型的参数并部署到高速推理引擎，通过高速推理引擎快速输出无误检的缺陷检测结果；

S6、结合输出无误检的缺陷检测结果，利用聚类算法构建反误检点集模型标记无表面缺陷瓷砖模板上容易引起误检测的图像位置，通过无表面缺陷瓷砖模板和缺陷检测结果的图像位置比对，实现对瓷砖表面复杂纹路引起误检测的排除，聚类算法的原理是将缺陷检测结果利用FLANN最近邻算法查找该检测目标是否靠近反误检点集模型内的某个点，若结果为是，则将该缺陷排除；若结果为否，则保存该缺陷检测结果，其中FLANN最近邻算法采用KNN搜索方式，距离公式采用欧氏距离，最后保存排除误检测后的结果，作为瓷砖缺陷检测最终结果，将瓷砖缺陷检测的最终结果预览图加载入共享内存，并通过Socket将推理结束信号返回给客户端。

具体地，S1的具体做法包括以下步骤：

S11、对数据集中的表面缺陷瓷砖图像进行高斯平滑，降低边缘检测算法自动化进行图像裁剪的错误率；

S12、通过计算表面缺陷瓷砖图像中每一点两个方向的梯度值，得出每一点的边缘强度和梯度方向；

S13、根据边缘强度和梯度方向，对梯度幅值进行非极大值抑制，然后将瓷砖边缘连接起来；

S14、根据瓷砖边缘，截取出瓷砖区域，获得缺陷瓷砖图像。

再具体地，高斯平滑的计算公式如下：

；

其中，

为位置（m，n）的灰度值，

为高斯滤波的宽度，决定平滑程度，通过该公式计算出每个坐标经过高斯平滑计算后的具体灰度值

完成对数据集中的表面缺陷瓷砖图像的高斯平滑处理；

将两个方向的梯度值定义为

和

，

利用梯度值估计出的图像中每一点的边缘强度，计算公式如下：

；

利用梯度值估计出的图像中每一点的梯度方向，计算公式如下：

。

更具体地，S2中，对数据集中的表面缺陷瓷砖图像进行预处理和增强，具体包括以下步骤：

S21、利用边缘检测算法对数据集中的表面缺陷瓷砖图像进行自动化图像裁剪；

S22、精准定位裁剪下来的缺陷区域，缺陷区域包括崩边、崩角、裂纹、滴墨、缺墨、釉泡、拉线等，对数据集中的缺陷区域进行数据增强处理。

需要说明的是，目标缺陷检测网路结构通过Cascade RCNN卷积神经网络构建，构建方式如下：

1）在目标提取阶段，使用多头自注意力机制和可变卷积层替换ResNet的基础结构，用于提高网络对小目标特征和位置信息的提取能力；

2）在目标识别阶段，采用Cascade结构，通过多个级联头计算综合损失，用于提升目标缺陷检测模型的目标识别和分类能力。

还需要说明的是，S5具体包括以下步骤：

S51、建立连接，使用Socket通讯方式与客户端建立连接，需要说明的是，客户端为进行图像结果展示的前端软件，不强制定义，可以是一个独立的软件、脚本，也可以是一个网页界面；

S52、客户端会通过Mmap技术将数据集中的表面缺陷瓷砖图像映射进共享内存；

S53、高速推理引擎从共享内存中读取出数据集中的表面缺陷瓷砖图像，并对数据集中的表面缺陷瓷砖图像进行瓷砖缺陷检测，快速输出无误检的缺陷检测结果。

进一步地，高速推理引擎为TensorRT推理引擎，TensorRT是基于英伟达显卡硬件进行优化的高速推理引擎，速度上相对于通常训练用的模型引擎有十倍的提升，借助TensorRT才做到了在10000*10000像素的大图上一秒钟检测出宽度仅有10像素缺陷并分类的效果。

进一步地，数据集包括训练集、验证集和测试集，需要说明的是，训练集和验证集均用于训练检测模型，测试集的目的在于独立验证检测效果，数据上没有直接关联。

更进一步地，复杂纹理瓷砖表面缺陷检测方法还包括以下步骤：

步骤一、在检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并将瓷砖高分辨率实时图像作为实物模板，将实物模板传入高速推理引擎进行反误检得到预训练；

步骤二、在实时检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并传入共享内存供高速推理引擎操作使用。

在实际应用过程中，通过对CIS线扫工业相机采集到的表面缺陷瓷砖图像进行预处理和增强，进行缺陷标注，并按比例划分为训练集、验证集和测试集；构建基于卷积神经网络的目标缺陷检测网路结构，通过调整训练集、验证集和测试集的参数，并训练获得优化后的目标缺陷检测模型；利用TensorRT构建高速推理引擎，目标缺陷检测模型的参数部署到高速推理引擎，结合Mmap技术通过内存共享的方式，实现瓷砖图像缺陷类别与缺陷位置的实时检测；利用聚类算法构建反误检点集模型，排除误检结果；提高了检测准确率，降低了漏检率，极大节省了人力成本，此外还可以应用到其他类型的表面缺陷检测需求中，具有很好的普适性。

如图7至图10所示，实际生产中，在排除误检的基础上，采用一张对应的无缺陷瓷砖图像，可以应对多个复杂纹理瓷砖表面缺陷模板，随机选择复杂纹理瓷砖表面缺陷图像进行比对，也可以对每张纹路不同的复杂纹理瓷砖表面缺陷图像进行比对，精确快速得到更小缺陷的瓷砖检测结果。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，包括以下步骤：

S1、利用CIS线扫工业相机采集的瓷砖高分辨率图像，构建表面缺陷瓷砖图像的数据集；

S2、对数据集中的表面缺陷瓷砖图像进行预处理和增强；

S3、构建数据集中的表面缺陷瓷砖图像的目标缺陷检测网路结构；

S4、将经过预处理和增强后的表面缺陷瓷砖图像输入到目标缺陷检测网路结构中，对目标缺陷检测网路结构的参数进行调优并训练，获得优化后的目标缺陷检测模型；

S5、固化目标缺陷检测模型的参数并部署到高速推理引擎，通过高速推理引擎快速输出无误检的缺陷检测结果；

S6、结合输出无误检的缺陷检测结果，利用聚类算法构建反误检点集模型标记无表面缺陷瓷砖模板上容易引起误检测的图像位置，通过无表面缺陷瓷砖模板和缺陷检测结果的图像位置比对，实现对瓷砖表面复杂纹路引起误检测的排除。

2.根据权利要求1所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述S1的具体做法包括以下步骤：

S11、对数据集中的表面缺陷瓷砖图像进行高斯平滑，降低边缘检测算法自动化进行图像裁剪的错误率；

S12、通过计算表面缺陷瓷砖图像中每一点两个方向的梯度值，得出每一点的边缘强度和梯度方向；

S13、根据边缘强度和梯度方向，对梯度幅值进行非极大值抑制，然后将瓷砖边缘连接起来；

S14、根据瓷砖边缘，截取出瓷砖区域，获得缺陷瓷砖图像。

3.根据权利要求2所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述高斯平滑的计算公式如下：

；

其中，

为位置（m，n）的灰度值，

为高斯滤波的宽度，决定平滑程度，通过该公式计算出每个坐标经过高斯平滑计算后的具体灰度值

，完成对数据集中的表面缺陷瓷砖图像的高斯平滑处理；

将两个方向的梯度值定义为

和

，

利用梯度值估计出的图像中每一点的边缘强度，计算公式如下：

；

利用梯度值估计出的图像中每一点的梯度方向，计算公式如下：

。

4.根据权利要求1所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述S2中，对数据集中的表面缺陷瓷砖图像进行预处理和增强，具体包括以下步骤：

S21、利用边缘检测算法对数据集中的表面缺陷瓷砖图像进行自动化图像裁剪；

S22、精准定位裁剪下来的缺陷区域，对数据集中的缺陷区域进行数据增强处理。

5.根据权利要求1所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述目标缺陷检测网路结构通过Cascade RCNN卷积神经网络构建，构建方式如下：

1）在目标提取阶段，使用多头自注意力机制和可变卷积层替换ResNet的基础结构，用于提高网络对小目标特征和位置信息的提取能力；

2）在目标识别阶段，采用Cascade结构，通过多个级联头计算综合损失，用于提升目标缺陷检测模型的目标识别和分类能力。

6.根据权利要求1所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述S5具体包括以下步骤：

S51、建立连接，使用Socket通讯方式与客户端建立连接；

S52、客户端会通过Mmap技术将数据集中的表面缺陷瓷砖图像映射进共享内存；

S53、高速推理引擎从共享内存中读取出数据集中的表面缺陷瓷砖图像，并对数据集中的表面缺陷瓷砖图像进行瓷砖缺陷检测，快速输出无误检的缺陷检测结果。

7.根据权利要求6所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述高速推理引擎为TensorRT推理引擎。

8.根据权利要求1-5中任意一项所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述数据集包括训练集、验证集和测试集。

9.根据权利要求1所述的一种复杂纹理瓷砖表面缺陷检测方法，其特征在于，所述复杂纹理瓷砖表面缺陷检测方法还包括以下步骤：

步骤一、在检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并将瓷砖高分辨率实时图像作为实物模板，将实物模板传入高速推理引擎进行反误检得到预训练；

步骤二、在实时检测时，利用CIS线扫工业相机获得瓷砖高分辨率实时图像，并传入共享内存供高速推理引擎操作使用。

Images