CN114332004A - 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质 - Google Patents

一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114332004A
CN114332004A CN202111613881.0A CN202111613881A CN114332004A CN 114332004 A CN114332004 A CN 114332004A CN 202111613881 A CN202111613881 A CN 202111613881A CN 114332004 A CN114332004 A CN 114332004A
Authority
CN
China
Prior art keywords
defect detection
detection model
tile
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111613881.0A
Other languages
English (en)
Inventor
余松森
张明威
杨欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202111613881.0A priority Critical patent/CN114332004A/zh
Publication of CN114332004A publication Critical patent/CN114332004A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质。本发明所述的一种瓷砖表面缺陷检测方法包括:获取待检测的瓷砖图像;将瓷砖图像输入训练好的缺陷检测模型进行识别,得到对应的缺陷检测结果;其中,所述缺陷检测模型的训练步骤包括:获取多张瓷砖图像;对所述瓷砖图像进行处理,得到训练集、验证集和测试集;将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。本发明所述的一种瓷砖表面缺陷检测方法,提高了瓷砖表面缺陷检测的准确率和速度,减少了瓷砖表面缺陷漏检的情况。

Description

一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质
技术领域
本发明涉及机器视觉领域,特别是涉及一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质。
背景技术
随着瓷砖产业生产自动化的不断发展,瓷砖生产的绝大部分环节已经实现无人操作。但是瓷砖的质量检测环节仍然需要大量质检人员进行人工检测,在瓷砖质量检测环节中,质检人员通过人眼主观地去判断瓷砖表面是否存在瑕疵。质检人员长时间在强光高噪音的环境下进行质量检测,存在检测效率低、人力成本高、检测质量不稳定等问题。因此,瓷砖质量检测环节一直是困扰瓷砖行业发展的痛点,也是瓷砖行业发展的瓶颈。
瓷砖表面缺陷检测主要存在两个问题,第一个是瓷砖生产环节中对质量检测的实时性要求很高,并且在满足实时性要求的同时需要保证目标的检测的准确率。第二是瓷砖表面缺陷往往只占瓷砖表面的很小部分,并且每个缺陷面积都较小。
随着深度学习的快速发展,相比于传统的目标检测方法,基于深度学习的目标检测方法具有更高的目标检测准确率,对于较为复杂的场景可以实现更好的检测效果,并且具有更强的鲁棒性和泛化能力。但基于候选区域的目标检测算法如Faster R-CNN,训练得到的模型参数量大,模型检测时间长,并不满足瓷砖表面缺陷检测的实时性要求。
发明内容
基于此,本发明的目的在于,提供一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质,提高了瓷砖表面缺陷检测的准确率和速度,还减少了瓷砖表面缺陷漏检的情况。
第一方面,本发明提供一种瓷砖表面缺陷检测方法,包括以下步骤:获取待检测的瓷砖图像;将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果;
其中,所述缺陷检测模型的训练步骤包括:
获取多张瓷砖图像;
对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集;
将所述瓷砖图像数据集划分为训练集、验证集和测试集;
将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;
使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
进一步地,所述缺陷检测模型为经过改进的YOLOv5模型,包括Backbone部分、Neck部分和Detect部分;
所述Backbone部分用于提取输入图片的特征信息;
所述Neck部分用于实现模型中不同层级之间的信息交互;
所述Detect部分用于检测不同尺寸特征图的目标。
进一步地,所述缺陷检测模型的训练参数为:
image size设置为2400*2400,batch size为3,训练环境所使用的GPU为NvidiaRTX 3090,操作系统为Ubuntu,版本为20.04,采用PyTorch深度学习框架搭建模型,版本号为1.9.0,CUDA版本为11.2,cuDNN版本8.0.5。
进一步地,对所述瓷砖图像进行标注,包括:
使用Labelme标注工具对图像进行标注,标注信息保存在json文件中,并使用python脚本将标注信息转换成YOLO数据集格式。
进一步地,所述标注信息包括目标缺陷类型、目标缺陷位置、图片名称和图片信息;
所述目标缺陷类型包括斑点、白点、凹釉和磕碰。
进一步地,对所述瓷砖图像进行扩充,包括:
使用数据增强的方式对图片进行扩充;
增强方式包括图像对角翻转、调整图片亮度和图像对比度。
进一步地,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,包括:
根据所述瓷砖图像对应的实际缺陷类型与预测缺陷类型,将样本分为TP、TN、FP和FN四类,其中,TP表示正样本预测正确的个数,TN表示负样本预测正确的个数,FP表示负样本预测错误的个数,FN表示正样本预测错误的个数;T表示预测结果正确,F表示预测结果错误,P表示预测结果为正样本,N表示预测结果为负样本;
通过如下公式计算所述缺陷检测模型的评价指标:
Figure BDA0003436190180000021
Figure BDA0003436190180000022
Figure BDA0003436190180000023
其中,precision为精确率,recall为召回率,mAP为所有类别的平均准确率;AP(c)表示类别c的平均准确率,N(classes)表示多目标分类任务中类别的个数。
第二方面,本发明还提供一种瓷砖表面缺陷检测装置,包括:
图像获取模块,用于获取待检测的瓷砖图像;
检测模块,用于将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果;
其中,所述缺陷检测模型的训练步骤包括:
获取多张瓷砖图像;
对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集;
将所述瓷砖图像数据集划分为训练集、验证集和测试集;
将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;
使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
第三方面,本发明还提供一种电子设备,其特征在于,包括:
至少一个存储器以及至少一个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如本发明第一方面任一所述的一种瓷砖表面缺陷检测方法的步骤。
第四方面,本发明还提供一种计算机可读存储介质,其特征在于:
所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种瓷砖表面缺陷检测方法的步骤。
本发明提供的一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质,在YOLOv5的基础上通过添加微小目标检测头后的YOLOv5模型对微小目标的检测准确率更高,使用更加轻量化的C3Ghost和深度可分离卷积模块并且删除最大目标检测头,可以有效减少模型的参数量,减轻模型推理计算量,改进后的YOLOv5m模型检测速度更快,能够满足瓷砖表面缺陷检测的实时性要求,因此适用于瓷砖实际生产过程的质量检测环节中。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种瓷砖表面缺陷检测方法的流程示意图;
图2为本发明在一个实施例中采集到的瓷砖图像样本示例图;
图3为本发明在一个实施例中计算得到的不同种类瓷砖表面缺陷数量的直方图;
图4为本发明在一个实施例中计算得到的瓷砖表面缺陷位置分布图;
图5为本发明在一个实施例中计算得到的瓷砖表面缺陷尺寸图;
图6为本发明在一个实施例中使用的改进后YOLOv5的网络结构示意图;
图7为原有的YOLOv5网络结构示意图;
图8为YOLOv5网络中CBS、Bottleneck和C3模块结构图;
图9为YOLOv5网络中Focus模块结构图;
图10为YOLOv5结构简图;
图11为本发明在一个实施例中对模型进行训练的各评估指标变化图;
图12为本发明提供的一种瓷砖表面缺陷检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确,所描述的实施例仅仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中,需要理解的是,术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
针对背景技术中的问题,本申请实施例提供一种瓷砖表面缺陷检测方法,如图1所示,该方法包括以下步骤:
S1:获取待检测的瓷砖图像。
S2:将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果。
其中,所述缺陷检测模型的训练步骤包括:
S01:获取多张瓷砖图像。
在一个具体的实施例中,在瓷砖生产现场拍摄瓷砖图像,瓷砖类型为抛釉砖,瓷砖的长宽尺寸都是800mm,瓷砖的底色为白色。
对图片进行裁剪,删去多余的背景信息,处理好的瓷砖图像如图2所示。所采集的图像包括四种缺陷,分别是斑点、白点、凹釉和磕碰。其中,斑点是指制品表面呈现的有色污点,又称为铁点,黑点。白点是指在砖面上出现的白色斑点。磕碰是指制品被冲击或残缺,最容易发生在制品的口沿与底足两处。凹釉也叫釉坑,是指成品釉表面可见到直径不等的圆形凹坑。由图3可以看出不同种类缺陷的数量,其中斑点的数量最多,而凹釉的数量相对较少。由图4可以看出各缺陷分布较为均匀,其中磕碰发生在口沿和底足处可能性较大,因此底足处缺陷会分布较多。由图5可以看出瓷砖表面缺陷的面积较小,以小尺寸为主。
S02:对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集。
优选的,使用数据增强的方式对图片进行扩充;增强方式包括图像对角翻转、调整图片亮度和图像对比度。
通过扩充数据集,可以增强模型的泛化能力,提高模型的鲁棒性,提高模型的识别准确率。
优选的,使用Labelme标注工具对图像进行标注,标注信息保存在json文件中,并使用python脚本将标注信息转换成YOLO数据集格式。
在一个具体的实施例中,标注信息包括目标缺陷类型、目标缺陷位置、图片名称和图片信息。针对前述的抛釉砖,目标缺陷类型包括斑点、白点、凹釉和磕碰。
S03:将所述瓷砖图像数据集划分为训练集、验证集和测试集。
优选的,训练集、验证集和测试集的比例为6:2:2。通过python脚本转换成COCO数据集格式和YOLO数据集格式,其中COCO数据集格式可以用于训练Faster R-CNN等模型,YOLO数据集格式用于训练YOLOv5模型,这样可以对比不同模型的效果。
S04:将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练。
优选的,训练时图像像素尺寸统一缩放至2400*2400,batch size设置为3,采用Mosaic数据增强,并且添加15%概率的Mixup数据增强和15%概率的Copy&Paste数据增强。
S05:使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
在一个具体的实施例中,根据所述瓷砖图像对应的实际缺陷类型与预测缺陷类型,将样本分为TP、TN、FP和FN四类,其中,TP表示正样本预测正确的个数,TN表示负样本预测正确的个数,FP表示负样本预测错误的个数,FN表示正样本预测错误的个数;T表示预测结果正确,F表示预测结果错误,P表示预测结果为正样本,N表示预测结果为负样本。
通过如下公式计算所述缺陷检测模型的评价指标:
Figure BDA0003436190180000061
Figure BDA0003436190180000062
Figure BDA0003436190180000063
其中,precision为精确率,recall为召回率,mAP为所有类别的平均准确率;AP(c)表示类别c的平均准确率,N(classes)表示多目标分类任务中类别的个数。
在一个优选的实施例中,所述缺陷检测模型为经过改进的YOLOv5模型,如图6所示,包括Backbone部分、Neck部分和Detect部分。所述Backbone部分用于提取输入图片的特征信息;所述Neck部分用于实现模型中不同层级之间的信息交互;所述Detect部分用于检测不同尺寸特征图的目标。
如图7所示,原有的YOLOv5网络结构包括三个部分,分别是Backbone部分,Neck部分以及Detect部分。其中YOLOv5的Backbone部分主要功能是提取输入图片的特征信息,Neck部分主要功能是实现模型中不同层级之间的信息交互,而Detect部分的主要功能是检测不同尺寸特征图的目标。
YOLOv5是目前一阶段目标检测中,在检测速度和检测精度效果都非常优秀的网络。YOLO的基本思想是将特征图划分为S*S的格子(grid cells),然后每个格子负责对落入其中的目标进行检测,一次性预测所有各自所含目标的边界框、定位置信度以及所有类别概率向量。
在输入端,YOLOv5采用了Mosaic数据增强,该方法是主要思想是将四张图片进行随机缩放、随机裁减、随机排布,再拼接到一张图上作为训练数据。Mosaic数据增强的优点就是丰富了检测数据集,并且提高了模型的鲁棒性。YOLOv5采用了自适应图片缩放,在模型推理的时候,针对长宽不等的图像,采用缩减黑边的方式,提高目标检测推理的速度。另外,本发明还采用了Mixup和Copy&Paste进行数据增强,提高训练模型的泛化能力。其中Mixup的核心操作是将两张图片采用比例混合,图片的标签也需要混合,在不同种标签的数据中使用Mixup可以较好地提升模型的检测效果。
Copy&Paste的主要思想是首先通过粘贴不同大小的新对象到主图像中,通过计算公式I1×α+I2×(1-α)最终得到新图像,其中I1表示粘贴的图像,I2表示主图像,α是二进制掩码,然后通过大规模抖动的方法,随机调整图像的大小和裁剪图像。
YOLOv5可以灵活配置不同复杂度的模型,提供了4个不同复杂度的版本,分别是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x,通过设定参数depth multiple和width multiple的大小,分别控制网络的Bottleneck数量和网络的卷积核数量。本发明采用的是YOLOv5m模型,它在检测准确率和检测速度上更为均衡。随着YOLOv5版本的更新迭代,先前版本的BottleneckCSP模块改进成为C3模块,如图8所示,图8是YOLOv5网络中CBS、Bottleneck、C3的模块结构示意图,相较于BottleneckCSP,C3模块在CBS模块中使用了SiLU()激活函数,并且把Bottleneck后面的Conv模块删减掉。
Backbone部分主要由Focus、CBS、C3和SPP模块组成,YOLOv5在Backbone部分最开始使用的是Focus模块,如图9所示,Focus模块将输入的数据切分为4份,每份数据都是相当于2倍下采样得到的,然后在channel维度进行拼接,最后进行卷积操作,在下采样的同时,特征图保留输入图像的所有信息。
在Neck部分,如图10所示,YOLOv5借鉴了PANet(Path-Aggregation Network,路径聚合网络),在FPN(Feature Pyramid Networks,特征金字塔网络)的基础上,添加了自下而上的路径(Bottom-up path augmentation)用于增强底层网络的信息传播,模型在增强语义信息的同时,能够获得的更多的位置信息。
在Detect部分,YOLOv5对三种不同尺寸的特征图进行目标检测,其中特征图越小,检测的目标越大。
Loss=Lconf+Lcla+LCIoU (1)
如公式1所示,YOLOv5损失函数Loss包括置信度损失(confidence loss)Lconf、分类损失(classification loss)Lcla和定位损失(localization loss)LCIoU。YOLOv5使用二元交叉熵损失函数计算类别概率和目标置信度得分的损失。
Figure BDA0003436190180000071
如公式2所示,其中S2表示把输入图片划分成S*S个网格;B表示每个网格预测边界框的数量;
Figure BDA0003436190180000081
表示第i个网格中的第j个边界框是否负责该目标,如果是,则
Figure BDA0003436190180000082
为1,否则为0;
Figure BDA0003436190180000083
则表示第i个网格中的第j个边界框是否不负责该目标,如果是,则
Figure BDA0003436190180000084
为1,否则为0;
Figure BDA0003436190180000085
Figure BDA0003436190180000086
表示目标置信度,其中
Figure BDA0003436190180000087
表示真实值,
Figure BDA0003436190180000088
表示预测值;λnoobj是网格无目标损失函数的权重系数,添加系数的目的是为了减少无目标损失函数的贡献权重。
Figure BDA0003436190180000089
如公式3所示,
Figure BDA00034361901800000810
表示第i个网格第j个边界框目标为类别c的真实概率,Pi j(c)表示第i个网格第j个边界框预测目标为类别c的概率。
Yolov5使用CIoU Loss作为边界框坐标回归的损失函数,CIOU在IOU的基础上考虑了三个几何因素,分别是边界框的中心点距离、重叠面积和宽高比信息,如公式(4)~(7)所示。
Figure BDA00034361901800000811
Figure BDA00034361901800000812
Figure BDA00034361901800000813
Figure BDA00034361901800000814
其中RCIoU表示LCIoU的惩罚项;ρ2(b,bgt)表示预测框和真实框的中心点距离;α是一个正参数,用于权衡真实框和预测框的重叠程度;v是衡量长宽比一致性的参数,wgt和hgt为真实框的宽和高,w和h为预测框的宽和高,真实框和预测框的宽高比越接近,则v越接近0。
瓷砖表面缺陷检测主要存在两个问题,第一个是瓷砖生产环节中对质量检测的实时性要求很高,并且在满足实时性的同时需要保证目标的检测准确率。第二是瓷砖表面缺陷往往只占瓷砖表面的很小部分,并且每个缺陷面积都较小。因此,本文对YOLOv5的基准模型进行轻量化改进和增加微小目标预测头分支的方法来解决上面两个问题。
如图6和图7所示,改进后的YOLOv5模型在Backbone部分使用更加轻量化的C3Ghost和深度可分离卷积模块替换了原模型中的C3和Conv模块,减少模型的参数量。由于瓷砖表面缺陷面积都较小,所以可以删除原模型中的大尺寸目标检测头分支即图7中的D2部分,并且添加微小尺寸目标检测头分支即图6中的A1部分,使得网络模型更加关注微小目标缺陷。
基于上述改进后的YOLOv5模型,训练时image size设置为2400*2400,batch size为3,训练环境所使用的GPU为Nvidia RTX 3090,操作系统为Ubuntu,版本为20.04,采用PyTorch深度学习框架搭建模型,版本号为1.9.0,CUDA版本为11.2,cuDNN版本8.0.5。
模型训练过程中各指标变化如图11所示,本发明使用测试集对训练好的模型进行测试,测试对象包括训练好的YOLOv5m模型和本发明改进后的YOLOv5m模型。测试时imagesize都设置为2400*2400,batch size为3。最终测试结果如表1所示,改进后的YOLOv5m模型mAP@0.5达到了84.7%,改进后的YOLOv5m模型的FLOPs降低了约31%,模型参数量减少了约57.3%,训练得到的模型大小减少了约44.1%,改进后的模型推理速度提升了约57.7%。
Figure BDA0003436190180000091
表1改进前后模型性能对比
部分检测结果表明:由于瓷砖表面缺陷大多数面积较小,在YOLOv5的基础上通过添加微小目标检测头后的YOLOv5模型对微小目标的检测准确率更高,使用更加轻量化的C3Ghost和深度可分离卷积模块并且删除最大目标检测头,可以有效减少模型的参数量,减轻模型推理计算量,改进后的YOLOv5m模型检测速度更快,能够满足瓷砖表面缺陷检测的实时性要求,因此本发明使用的缺陷检测模型适用于瓷砖实际生产过程的质量检测环节中。
本申请实施例还提供一种瓷砖表面缺陷检测装置,如图12所示,该瓷砖表面缺陷检测装置400包括:
图像获取模块401,用于获取待检测的瓷砖图像;
缺陷检测模块402,用于将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果。
其中,所述缺陷检测模型的训练步骤包括:
获取多张瓷砖图像;
对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集;
将所述瓷砖图像数据集划分为训练集、验证集和测试集;
将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;
使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
本申请实施例还提供一种电子设备,包括:
至少一个存储器以及至少一个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如前所述的一种瓷砖表面缺陷检测方法的步骤。
本申请实施例还提供一种计算机可读存储介质,
所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如前所述的一种瓷砖表面缺陷检测方法的步骤。
相比于传统的目标检测方法,基于深度学习的目标检测方法具有更高的目标检测准确率,对于较为复杂的场景可以实现更好的检测效果,具有更强的鲁棒性和泛化能力。在众多目标检测模型中,YOLOv5在检测精度以及检测速度方面都具有优秀的表现。
根据瓷砖表面缺陷的特点去改进原YOLOv5模型,使它满足瓷砖质量检测环节的实际需求。改进后YOLOv5模型在准确率、召回率、mAP、模型参数数量、模型大小以及检测速度上,均比原YOLOv5模型要更好。
本发明提供的一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质,在YOLOv5的基础上通过添加微小目标检测头后的YOLOv5模型对微小目标的检测准确率更高,使用更加轻量化的C3Ghost和深度可分离卷积模块并且删除最大目标检测头,可以有效减少模型的参数量,减轻模型推理计算量,改进后的YOLOv5m模型检测速度更快,能够满足瓷砖表面缺陷检测的实时性要求,因此适用于瓷砖实际生产过程的质量检测环节中。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.一种瓷砖表面缺陷检测方法,其特征在于,包括以下步骤:获取待检测的瓷砖图像;将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果;
其中,所述缺陷检测模型的训练步骤包括:
获取多张瓷砖图像;
对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集;
将所述瓷砖图像数据集划分为训练集、验证集和测试集;
将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;
使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
2.根据权利要求1所述的一种瓷砖表面缺陷检测方法,其特征在于:
所述缺陷检测模型为经过改进的YOLOv5模型,包括Backbone部分、Neck部分和Detect部分;
所述Backbone部分用于提取输入图片的特征信息;
所述Neck部分用于实现模型中不同层级之间的信息交互;
所述Detect部分用于检测不同尺寸特征图的目标。
3.根据权利要求1所述的一种瓷砖表面缺陷检测方法,其特征在于,所述缺陷检测模型的训练参数为:
image size设置为2400*2400,batch size为3,训练环境所使用的GPU为Nvidia RTX3090,操作系统为Ubuntu,版本为20.04,采用PyTorch深度学习框架搭建模型,版本号为1.9.0,CUDA版本为11.2,cuDNN版本8.0.5。
4.根据权利要求1所述的一种瓷砖表面缺陷检测方法,其特征在于,对所述瓷砖图像进行标注,包括:
使用Labelme标注工具对图像进行标注,标注信息保存在json文件中,并使用python脚本将标注信息转换成YOLO数据集格式。
5.根据权利要求4所述的一种瓷砖表面缺陷检测方法,其特征在于:
所述标注信息包括目标缺陷类型、目标缺陷位置、图片名称和图片信息;
所述目标缺陷类型包括斑点、白点、凹釉和磕碰。
6.根据权利要求1所述的一种瓷砖表面缺陷检测方法,其特征在于,对所述瓷砖图像进行扩充,包括:
使用数据增强的方式对图片进行扩充;
增强方式包括图像对角翻转、调整图片亮度和图像对比度。
7.根据权利要求1所述的一种瓷砖表面缺陷检测方法,其特征在于,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,包括:
根据所述瓷砖图像对应的实际缺陷类型与预测缺陷类型,将样本分为TP、TN、FP和FN四类,其中,TP表示正样本预测正确的个数,TN表示负样本预测正确的个数,FP表示负样本预测错误的个数,FN表示正样本预测错误的个数;T表示预测结果正确,F表示预测结果错误,P表示预测结果为正样本,N表示预测结果为负样本;
通过如下公式计算所述缺陷检测模型的评价指标:
Figure FDA0003436190170000021
Figure FDA0003436190170000022
Figure FDA0003436190170000023
其中,precision为精确率,recall为召回率,mAP为所有类别的平均准确率;AP(c)表示类别c的平均准确率,N(classes)表示多目标分类任务中类别的个数。
8.一种瓷砖表面缺陷检测装置,其特征在于,包括:
图像获取模块,用于获取待检测的瓷砖图像;
检测模块,用于将所述瓷砖图像输入训练好的缺陷检测模型进行识别,得到所述瓷砖图像对应的缺陷检测结果;
其中,所述缺陷检测模型的训练步骤包括:
获取多张瓷砖图像;
对所述瓷砖图像进行扩充和标注,得到瓷砖图像数据集;
将所述瓷砖图像数据集划分为训练集、验证集和测试集;
将所述训练集输入所述缺陷检测模型,对所述缺陷检测模型进行训练;
使用所述验证集选择所述缺陷检测模型的参数,使用所述测试集检验不同参数对应的所述缺陷检测模型的性能,得到训练好的缺陷检测模型。
9.一种电子设备,其特征在于,包括:
至少一个存储器以及至少一个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-7任一所述的一种瓷砖表面缺陷检测方法的步骤。
10.一种计算机可读存储介质,其特征在于:
所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一所述的一种瓷砖表面缺陷检测方法的步骤。
CN202111613881.0A 2021-12-27 2021-12-27 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质 Pending CN114332004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111613881.0A CN114332004A (zh) 2021-12-27 2021-12-27 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111613881.0A CN114332004A (zh) 2021-12-27 2021-12-27 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114332004A true CN114332004A (zh) 2022-04-12

Family

ID=81013874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111613881.0A Pending CN114332004A (zh) 2021-12-27 2021-12-27 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114332004A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550166A (zh) * 2022-04-25 2022-05-27 科大天工智能装备技术(天津)有限公司 一种面向智慧大棚的果实检测方法、装置及存储介质
CN114782418A (zh) * 2022-06-16 2022-07-22 深圳市信润富联数字科技有限公司 瓷砖表面缺陷的检测方法及装置、存储介质
CN115493532A (zh) * 2022-11-07 2022-12-20 西安中科慧远视觉技术有限公司 测量板材表面待测量元素面积的测量系统、方法及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550166A (zh) * 2022-04-25 2022-05-27 科大天工智能装备技术(天津)有限公司 一种面向智慧大棚的果实检测方法、装置及存储介质
CN114782418A (zh) * 2022-06-16 2022-07-22 深圳市信润富联数字科技有限公司 瓷砖表面缺陷的检测方法及装置、存储介质
CN114782418B (zh) * 2022-06-16 2022-09-16 深圳市信润富联数字科技有限公司 瓷砖表面缺陷的检测方法及装置、存储介质
CN115493532A (zh) * 2022-11-07 2022-12-20 西安中科慧远视觉技术有限公司 测量板材表面待测量元素面积的测量系统、方法及介质
CN115493532B (zh) * 2022-11-07 2023-02-28 西安中科慧远视觉技术有限公司 测量板材表面待测量元素面积的测量系统、方法及介质

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN114332004A (zh) 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质
CN110910343A (zh) 路面裂缝检测的方法、装置及计算机设备
CN112767357A (zh) 一种基于Yolov4的混凝土结构病害检测方法
CN114994061B (zh) 一种基于机器视觉的钢轨智能化检测方法及系统
RU2008129793A (ru) Способ улучшения последующей обработки изображений с использованием деформируемых сеток
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112241950A (zh) 一种塔式起重机裂缝图像的检测方法
CN112712513A (zh) 产品缺陷检测方法、装置、设备及计算机可读存储介质
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN114881987B (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN111696079A (zh) 一种基于多任务学习的表面缺陷检测方法
CN110751138A (zh) 一种基于yolov3和CNN的盘头标识识别方法
CN114359235A (zh) 一种基于改进YOLOv5l网络的木材表面缺陷检测方法
CN102262733B (zh) 激光点检测方法及装置
CN113327243B (zh) 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN116543327A (zh) 作业人员工种识别的方法、装置、计算机设备及存储介质
CN112085726A (zh) 皮料识别方法、装置、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination