CN115457026A - 一种基于改进YOLOv5的纸病检测方法 - Google Patents

一种基于改进YOLOv5的纸病检测方法 Download PDF

Info

Publication number
CN115457026A
CN115457026A CN202211242279.5A CN202211242279A CN115457026A CN 115457026 A CN115457026 A CN 115457026A CN 202211242279 A CN202211242279 A CN 202211242279A CN 115457026 A CN115457026 A CN 115457026A
Authority
CN
China
Prior art keywords
paper
image
defect
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211242279.5A
Other languages
English (en)
Inventor
张开生
关凯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi University of Science and Technology
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN202211242279.5A priority Critical patent/CN115457026A/zh
Publication of CN115457026A publication Critical patent/CN115457026A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Abstract

本发明公开了一种基于改进YOLOv5的纸病检测方法,包括以下步骤;步骤1:获取纸张图像,对纸张缺陷图像进行分类和标注;步骤2:对获取的纸张图像进行裁剪、数据增强;步骤3:基于YOLOv5模型进一步提高网络的特征提取能力,建立适合纸张缺陷图像检测的PaperNet;步骤4:图像训练;利用所构建的训练样本集和验证样本集,对PaperNet进行训练并验证模型性能;步骤5:图像测试;使用改进后的PaperNet权重文件对测试集纸张图像进行检测,分析检测结果。本发明具有检测精度高、检测速度快,对于光源的依赖程度更低的特点,能够实现对常见的治病缺陷实现精准辨识的特点。

Description

一种基于改进YOLOv5的纸病检测方法
技术领域
本发明属于纸病检测技术领域,具体涉及一种基于改进YOLOv5的纸病检测方法。
背景技术
在造纸过程中,受造纸工艺流程、纤维原料、人工操作、设备状态等因素的影响,纸张会出现褶皱、孔洞、划痕等表面缺陷问题,这些缺陷不仅影响纸张外观,还会降低印刷的成品率和经济效益。因此,纸张缺陷检测是造纸过程尤为重要的一个环节。
传统的纸张缺陷检测是依靠人工完成,但是人工检测与生俱来就伴随着检测效率低下、漏检率高、人力成本昂贵等问题。随着计算机技术的不断提高,人工检测已经逐渐被基于机器视觉的检测方法所替代。
目前,已有针对纸张缺陷图像检测任务的相关研究,但大多都是基于分类算法,且存在特征提取困难、检测时间长等问题。
专利号为CN202220234393.2设计了一种机器视觉纸病检测系统的照明装置,该专利当中强调了照明装置对于纸病检测系统的重要性,本发明专利模型泛化性好、检测精度高、检测速度快,对于光源的依赖度更低,在光源条件并不良好的情况下仍然能达到较好的检测效果。
运用深度学习的方式较少,因此本发明研究基于深度学习的纸张缺陷图像缺陷检测方法,并提高对于纸张缺陷缺检测的检测精度和检测速度。
发明内容
为了克服以上技术问题,本发明的目的在于提供一种基于改进YOLOv5的纸病检测方法,具有检测精度高、检测速度快,对于光源的依赖程度更低的特点,能够实现对常见的治病缺陷实现精准辨识的特点。
为了实现上述目的,本发明采用的技术方案是:
一种基于改进YOLOv5的纸病检测方法,包括以下步骤;
步骤1:获取纸张图像,对纸张缺陷图像进行分类和标注;
步骤2:对获取的纸张图像进行裁剪、数据增强;
步骤3:基于YOLOv5模型进一步提高网络的特征提取能力,建立适合纸张缺陷图像检测的PaperNet;
步骤4:图像训练;利用所构建的训练样本集和验证样本集,对PaperNet进行训练并验证模型性能;
步骤5:图像测试;使用改进后的PaperNet权重文件对测试集纸张图像进行检测,分析检测结果。
所述步骤1具体包括:
步骤1.1:在纸机车间配备高清线阵相机,当待测纸张通过触发传感器,启动成像设备后对纸张图像进行拍摄,获取高清线阵图像,后经过人工挑选,挑选出含有缺陷的纸张图像,对纸张缺陷图像剥离背景;
步骤1.2:在步骤1.1中对整理好的缺陷图像,利用LalbelImg工具,对数据集当中的图片标定真实框与对应治病种类并生成xml格式的标签文件。
所述步骤2具体包括:
步骤2.1:将含有缺陷的纸张图像裁剪成640×640的大小;
步骤2.2:对裁剪后的纸张图像采用改变亮度、翻转、随机裁剪、位移和添加高斯噪声的方式进行数据增强,以9:1的比例把数据增强后的纸病数据集分为训练集和验证集。
所述步骤3具体包括:
纸张缺陷实时检测模型PaperNet包括:待检测图像先经过输入端进行预处理,再经由骨干网络提取特征信息,Neck部分连接负责进行特征信息的拼接、Head部分输出检测效果;其中,骨干网络为CSPDarknet53,主要包括切片结构(Focus)、卷积模块(CBL)、坐标注意力机制(Coordinate Attention,CA)、瓶颈层(CSP1-x)以及SPP;Neck部分采用了FPN+PAN的网络结构;
为进一步提高YOLOv5的特征提取能力并形成更稳定的特征分布,通过在批量归一化模块(Batch Normalization,BN)的首尾部分添加居中和缩放校准以增强纸张缺陷的有效特征,并在主干网络中引入坐标注意力机制(Coordinate Attention,CA)提升模型的特征提取能力。
所述步骤4具体包括:
步骤4.1:纸张缺陷图片从输入部分输入,输入部分采用了Mosaic:数据增强、自适应锚框计算和图片尺寸处理的预处理方式;骨干网络Focus模块将纸张缺陷特征图的输入进行复制与切片操作;再经过一个大小为3×3卷积核来改变网络的通道数;通过Batch_Norm层,将梯度集中在原点附近,实现结果归一化;最后用LeakyRelu激活函数输入结果到下一层卷积BottleNeckCSP;
BottleNeckCSP残差结构能优化梯度信息,同时降低PaperNet纸张缺陷网络的计算量,首先输入会被分成两部分,一部分先进行n次BottleNeck操作,再进行卷积操作,另一部分直接进行卷积操作,然后两部分再经过Concat拼接后输出至空间金字塔池化SPP;
在空间金字塔池化SPP中,先进行Conv提取特征输出,再经过四种不同尺度的最大池化进行多尺度融合;
步骤4.2:在骨干特征提取网络当中引入了坐标注意力机制来进一步提高模型对于纸病特征的提取能力,给定任意中间张量X=[x1,x2,…,xn]∈RC×H×W作为输入都能输出一个增强表示能力的有相同尺寸的输出Y=[y1,y2,…,yn]。其中C为通道数,H和W分别为输入图像的高和宽;
首先通过全局平均池化沿水平方向和垂直方向对每个通道c进行编码,得到两个一维特征编码向量:
Figure BDA0003885222500000041
Figure BDA0003885222500000042
再使用Concat级联之前生成的特征图zw、zh,然后使用卷积核大小为1的卷积变换函数F1进行变换操作:
f=δ(F1([zh,zw])) (3);
其中δ为非线性激活函数,f为在水平方向和垂直方向的的空间信息进行编码时的中间特征映射,沿空间维度将f分解为fh∈RC/r×H和fw∈RC/r×W,其中r为下采样比例,利用两个卷积核大小为1的卷积运算Fh和Fw对fh和fw进行变换,得到具有相同通道数的张量:
gh=σ(Fh(fh)) (4);
gw=σ(Fw(fw)) (5);
其中σ为Sigmoid激活函数,在这里为了降低计算开销,通常使用恰当的缩减比r来减少f的通道数。最后再对gh和gw进行扩展,分别作为注意力权重,可得最终公式如下:
Figure BDA0003885222500000051
4.3:为了形成更稳定的纸张缺陷特征分布,在批量归一化模块(BatchNormalization,BN)的原始归一化层的开头和结尾添加居中和缩放校准。给定输入特征X∈RN×C×H×W其中N、C、H、W分别代表批次大小、输入特征的通道数、高度、宽度,表示如下公式(7):
Figure BDA0003885222500000052
其中wm∈R1×C×1×1是可学习的权重向量,其大多层的值接近于零,但是随着网络层数的不断叠加,其绝对值也不断增加,网络有了更多特定于实例的功能。Xcm为特征的居中校准,⊙对特征的点乘操作,经过居中校准的居中特征,表示如下公式(8):
Xm=Xcm-E(Xcm) (8);
其中,E(Xcm)为Xcm的平均值,通过像BN一样缩放Xm,能够推得如下公式(9):
Figure BDA0003885222500000061
其中Var(Xcm)为Xcm的方差,ε用来避免出现零方差,再通过缩放校准操作到原来的缩放操作,可得如下公式(10):
XCS=XS·R(wv⊙KS+wb) (10);
其中wv,wb∈R1×C×1×1是可学习的权重向量,选用Tanh函数作为R()的限制函数来抑制极值,与Km类似,Ks为实例特征KS的统计量,能够设置为多个值。式(10)中的限制函数R()与wv、wb能够抑制分布外的特征使得整个纸张缺陷特征分布更加稳定。最终,训练的可学习比例因子γ和偏差因子β进行线性变换以获得最终具有代表性的批量归一化结果Y,如下公式(11):
Y=XCSγ+β (11);
4.4:将形成的更稳定分布的纸张缺陷特征分布图送入到Neck部分,将深层特征与浅层特征进行拼接,再传递到Head;
4.5:Head部分以GIoU作为Bounding box的损失函数,用于生成纸张缺陷图像中预测的缺陷位置和分类信息,包含着三种不同的检测尺度,对应预测大、中、小目标物体;
4.6:利用改进后的YOLOv5模型对纸张缺陷图像进行训练,采用官方YOLOv5权重文件对模型进行训练,训练完成后得到新的权重文件PaperNet.pt,并分析其训练数据。
所述步骤5具体包括:
使用PaperNet.pt权重文件对测试集图片进行测试,分析其检测效果,包括损失函数、查准率(Precision)、召回率(Recall)、平均精度均值(mAP@0.5)其中:
Figure BDA0003885222500000071
Figure BDA0003885222500000072
Figure BDA0003885222500000073
Figure BDA0003885222500000074
其中,TP(True positives)为正确分配的正样本,FP(False positives)为错误分配的正样本,TN(True Negatives)为正确分配的负样本,FN(False Negatives)为漏检目标个数,AP表示Precision-Recall曲线下面的面积,对该图片每一类的平均精度求均值即mAP。
本发明的有益效果:
本发明基于改进YOLOv5的纸张缺陷检测方法,相比于传统纸张缺陷检测技术,本发明的改进方法以YOLOv5网络作为基准网络,通过添加坐标注意力机制来提升骨干网络的特征提取能力,再修改BN单元进而形成更稳定的特征分布,对于640×640的输入图像,首先通过输入端进行预处理,再经由骨干网络提取特征信息,Neck部分连接负责进行浅层特征与深层特征的信息融合、Head部分输出检测效果,本发明的改进算法对纸张缺陷检测的精度更高、检测速度更快并且对于光源的依赖度更低,模型泛化能力更强。
实验结果表明,本发明改进后的YOLOv5网络模型的查准率达到了98.05%,召回率达到了99.13%,平均精度均值(mAP@0.5)达到了99.02%,各项性能极为优秀。
相比较于其他主流目标检测模型Faster R-CNN、SSD、YOLOv4等本发明具有更高的准确度和更快的检测速度。
附图说明
图1是本发明基于改进YOLOv5的纸张缺陷检测方法的流程示意图;
图2是本发明基于改进YOLOv5的纸张缺陷检测方法中PaperNet网络结构图;
图3是本发明基于改进YOLOv5的纸张缺陷检测方法中各项参数指标;
图4是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图一;
图5是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图二;
图6是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图三;
图7是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图四;
图8是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图五;
图9是本发明基于改进YOLOv5的纸张缺陷检测方法中模型部分检测结果图六。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供一种基于改进YOLOv5的纸张缺陷检测方法,基于YOLOv5的算法框架,通过在批量归一化模块(Batch Normalization,BN)的首尾部分添加居中和缩放校准以增强纸张缺陷的有效特征,并在主干网络中引入坐标注意力机制(Coordinate Attention,CA)提升模型的特征提取能力。方法流程示意图如图1所示。
步骤1:在纸机车间配备高清线阵相机,当纸张通过触发传感器,启动成像设备后对纸张图像进行拍摄,获取高清线阵图像,为了降低背景因素的影响将纸张的背景图像去除,而后由工作人员挑选出带有纸张缺陷的图像,按照纸张常见的缺陷种类分为黑斑、亮斑、边裂、褶皱、孔洞、划痕6类纸张缺陷,利用LalbelImg工具,对数据集进行人工标注并生成xml格式的标签文件。
步骤2:首先为了方便处理,将含有缺陷的纸张图像裁剪成640×640的统一大小,为了提高模型的泛化能力,采用增强图像亮度、翻转、随机裁剪、位移、添加高斯噪声等对手段对数据样本进行增强。增强后的训练集和测试集按照9:1的比例分为训练集(6920张图像)和测试集(769张图像),在预处理阶段还会对模型输入的图像采用Mosaic数据增强,自适应锚框计算,自适应图片缩放等预处理操作提高模型的精度。如下表1所示;
表1增强的纸张缺陷数据集
Figure BDA0003885222500000101
步骤3:基于YOLOv5模型建立适合纸张缺陷图像检测的PaperNet,并修改BN和引入坐标注意力机制,网络结构图如图2所示。
步骤3.1:数据首先由输入部分进行完一些预处理操作进入骨干网络,通过在不同图像细粒度上聚合,形成对应图像特征的卷积神经网络,骨干网络的主要结构包括了Focus,CBL,BottleNeckCSP,SPP。
其中,Focus:会对输入的图像进行复制和切片操作,相当于一次下采样,图片被复制切片为四份,而后再经过CBL层,CBL由Conv+BatechNorm+LeakyRelu激活函数共同组成,即输入部分先经过卷积层(conv),提取输入特征,有助于找到特定的局部图像特征;其次通过BatechNorm层,将每次的梯度分布都控制在原点附近,使各个batch的偏差不会过大;最后再由LeakyRelu激活函数将输出结果传到下一层卷积。
BottleNeckCSP:包含BottleNeck和CSP两部分。其中BottleNeck是一种残差结构能优化梯度信息。CSP则将输入分成两部分,一部分先进行n次BottleNeck操作,再进行卷积操作,另一部分直接进行卷积操作,两部分的通道数都会减半,再经过Concat拼接起来,通道数保持不变。
SPP:先进行Conv提取特征输出,再采用1×1、5×5、9×9、13×13四种尺度的最大池化再由Concat进行拼接实现多尺度特征融合,能够解决输入图像尺寸不统一的问题。
步骤3.2:在骨干网络末端特征图分辨率较低,在此位置上添加CA模块,给定任意中间张量X=[x1,x2,…,xn]∈RC×H×W作为输入都能输出一个增强表示能力的有相同尺寸的输出Y=[y1,y2,…,yn]。其中C为通道数,H和W分别为输入图像的高和宽。
首先通过全局平均池化沿水平方向和垂直方向对每个通道c进行编码,得到两个一维特征编码向量:
Figure BDA0003885222500000111
Figure BDA0003885222500000112
再使用Concat级联之前生成的特征图zw、zh,然后使用卷积核大小为1的卷积变换函数F1进行变换操作:
f=δ(F1([zh,zw])) (3);
其中δ为非线性激活函数,f为在水平方向和垂直方向的的空间信息进行编码时的中间特征映射,沿空间维度将f分解为fh∈RC/r×H和fw∈RC/r×W,其中r为下采样比例。利用两个卷积核大小为1的卷积运算Fh和Fw对fh和fw进行变换,得到具有相同通道数的张量:
gh=σ(Fh(fh)) (4);
gw=σ(Fw(fw)) (5);
其中σ为Sigmoid激活函数,在这里为了降低计算开销,通常使用恰当的缩减比r来减少f的通道数。最后再对gh和gw进行扩展,分别作为注意力权重,可得最终公式如下:
Figure BDA0003885222500000121
步骤3.3:在BN的原始归一化层的开头和结尾添加居中和缩放校准。给定输入特征X∈RN×C×H×W其中N、C、H、W分别代表批次大小、输入特征的通道数、高度、宽度,表示如下公式(7):
Figure BDA0003885222500000122
其中wm∈R1×C×1×1是可学习的权重向量,其大多层的值接近于零,但是随着网络层数的不断叠加,其绝对值也不断增加,网络有了更多特定于实例的功能。Xcm为特征的居中校准,⊙对特征的点乘操作,经过居中校准的居中特征,表示如下公式(8):
Xm=Xcm-E(Xcm) (8);
其中,E(Xcm)为Xcm的平均值,通过像BN一样缩放Xm,能够推得如下公式(9):
Figure BDA0003885222500000123
其中Var(Xcm)为Xcm的方差,ε用来避免出现零方差,再通过缩放校准操作到原来的缩放操作,可得如下公式(10):
XCS=XS·R(wv⊙KS+wb) (10);
其中wv,wb∈R1×C×1×1是可学习的权重向量,本发明选用Tanh函数作为R()的限制函数来抑制极值。与Km类似,Ks为实例特征KS的统计量,能够设置为多个值。式(10)中的限制函数R()与wv、wb能够抑制分布外的特征使得整个分布更加稳定。最终,训练的可学习比例因子γ和偏差因子β进行线性变换以获得最终具有代表性的批量归一化结果Y,如下公式(11):
Y=XCSγ+β (11);
步骤3.4:经过骨干网络提取到的特征信息传输到Neck部分,将网络层数较深的特征信息与浅层网络通过FPN+PAN的结构进行特征融合,并将融合后的特征信息传输到Head部分;
步骤3.5:如图2所示,在Head部分,以GIoU作为Bounding box的损失函数,用于生成图像中预测的缺陷位置和分类信息,包含着三种不同的检测尺度,对应预测大、中、小目标物体。
步骤4:利用改进后的YOLOv5模型对纸张缺陷图像进行训练,通过在COCO数据集上的预训练模型权重进行初始化,学习率设置为0.01,动量为0.9,权重衰减系数为0.0005,Batch_size为16,训练轮次200轮。训练完成后得到新的权重文件PaperNet.pt。如图3所示,其中查准率达到了98.05%,召回率达到了99.13%,平均精度均值(mAP@0.5)达到了99.02%,具有良好的检测精度和检测速度,所占内存空间小,能够满足纸张生产工业现场高检测精度和检测速度的要求。
步骤5:图像测试,使用改进后的PaperNet权重文件对测试集纸张图像进行检测,检测结果如图4-9所示。其中图1展示了本发明的流程图,其中修改BN为网络在特征提取当中形成了更稳定的特征分布,添加坐标注意力机制增强了骨干网络的特征提取能力,避免了网络模型在深度卷积时纸病特征信息的丢失。
图2为改进后的算法模型,具体展示了输入端、骨干网络、Neck、Head四部分中包含的各个模块。
图3为算法性能指标图,具体的包括loss变化曲线、召回率变化曲线、mAP@0.5变化曲线以及查准率变化曲线。
图4为对于边裂的检测效果图,能够对纸张中存在的边裂以及一个黑斑实现精准辨识。
图5为对于黑斑的检测效果图,能够对纸张中存在的三个黑斑实现精准辨识。
图6为对于划痕的检测效果图,能够对纸张中存在的两个划痕实现精准辨识。
图7为对于孔洞的检测效果图,能够对纸张中存在的两个孔洞实现精准辨识。
图8为对于褶皱的检测效果图,能够对纸张中存在的一个褶皱实现精准辨识。
图9为对于亮斑的检测效果图,能够对纸张中存在的一个亮斑实现精准辨识。
本发明基于改进YOLOv5的纸张缺陷检测方法,相比于传统纸张缺陷检测技术,可以较为快速有效地检测出纸张缺陷,具有一定的先进性和实用性。

Claims (6)

1.一种基于改进YOLOv5的纸病检测方法,其特征在于,包括以下步骤;
步骤1:获取纸张图像,对纸张缺陷图像进行分类和标注;
步骤2:对获取的纸张图像进行裁剪、数据增强;
步骤3:基于YOLOv5模型进一步提高网络的特征提取能力,建立适合纸张缺陷图像检测的PaperNet;
步骤4:图像训练;利用所构建的训练样本集和验证样本集,对PaperNet进行训练并验证模型性能;
步骤5:图像测试;使用改进后的PaperNet权重文件对测试集纸张图像进行检测,分析检测结果。
2.根据权利要求1所述的一种基于改进YOLOv5的纸病检测方法,其特征在于,所述步骤1具体包括:
步骤1.1:在纸机车间配备高清线阵相机,当待测纸张通过触发传感器,启动成像设备后对纸张图像进行拍摄,获取高清线阵图像,后经过人工挑选,挑选出含有缺陷的纸张图像,对纸张缺陷图像剥离背景;
步骤1.2:在步骤1.1中对整理好的缺陷图像,利用LalbelImg工具,对数据集当中的图片标定真实框与对应治病种类并生成xml格式的标签文件。
3.根据权利要求1所述的一种基于改进YOLOv5的纸病检测方法,其特征在于,所述步骤2具体包括:
步骤2.1:将含有缺陷的纸张图像裁剪成640×640的大小;
步骤2.2:对裁剪后的纸张图像采用改变亮度、翻转、随机裁剪、位移和添加高斯噪声的方式进行数据增强,以9:1的比例把数据增强后的纸病数据集分为训练集和验证集。
4.根据权利要求1所述的一种基于改进YOLOv5的纸病检测方法,其特征在于,所述步骤3具体包括:
纸张缺陷实时检测模型PaperNet包括:待检测图像先经过输入端进行预处理,再经由骨干网络提取特征信息,Neck部分连接负责进行特征信息的拼接、Head部分输出检测效果;其中,骨干网络为CSPDarknet53,主要包括切片结构(Focus)、卷积模块(CBL)、坐标注意力机制(Coordinate Attention,CA)、瓶颈层(CSP1-x)以及SPP;Neck部分采用了FPN+PAN的网络结构;
为进一步提高YOLOv5的特征提取能力并形成更稳定的特征分布,通过在批量归一化模块(Batch Normalization,BN)的首尾部分添加居中和缩放校准以增强纸张缺陷的有效特征,并在主干网络中引入坐标注意力机制(Coordinate Attention,CA)提升模型的特征提取能力。
5.根据权利要求1所述的一种基于改进YOLOv5的纸病检测方法,其特征在于,所述步骤4具体包括:
步骤4.1:纸张缺陷图片从输入部分输入,输入部分采用了Mosaic:数据增强、自适应锚框计算和图片尺寸处理的预处理方式;骨干网络Focus模块将纸张缺陷特征图的输入进行复制与切片操作;再经过一个大小为3×3卷积核来改变网络的通道数;通过Batch_Norm层,将梯度集中在原点附近,实现结果归一化;最后用LeakyRelu激活函数输入结果到下一层卷积BottleNeckCSP;
BottleNeckCSP残差结构能优化梯度信息,同时降低PaperNet纸张缺陷网络的计算量,首先输入会被分成两部分,一部分先进行n次BottleNeck操作,再进行卷积操作,另一部分直接进行卷积操作,然后两部分再经过Concat拼接后输出至空间金字塔池化SPP;
在空间金字塔池化SPP中,先进行Conv提取特征输出,再经过四种不同尺度的最大池化进行多尺度融合;
步骤4.2:在骨干特征提取网络当中引入了坐标注意力机制来进一步提高模型对于纸病特征的提取能力,给定任意中间张量X=[x1,x2,…,xn]∈RC×H×W作为输入都能输出一个增强表示能力的有相同尺寸的输出Y=[y1,y2,…,yn]。其中C为通道数,H和W分别为输入图像的高和宽;
首先通过全局平均池化沿水平方向和垂直方向对每个通道c进行编码,得到两个一维特征编码向量:
Figure FDA0003885222490000031
Figure FDA0003885222490000032
再使用Concat级联之前生成的特征图zw、zh,然后使用卷积核大小为1的卷积变换函数F1进行变换操作:
f=δ(F1([zh,zw])) (3);
其中δ为非线性激活函数,f为在水平方向和垂直方向的的空间信息进行编码时的中间特征映射,沿空间维度将f分解为fh∈RC/r×H和fw∈RC/r×W,其中r为下采样比例,利用两个卷积核大小为1的卷积运算Fh和Fw对fh和fw进行变换,得到具有相同通道数的张量:
gh=σ(Fh(fh)) (4);
gw=σ(Fw(fw)) (5);
其中σ为Sigmoid激活函数,在这里为了降低计算开销,通常使用恰当的缩减比r来减少f的通道数。最后再对gh和gw进行扩展,分别作为注意力权重,可得最终公式如下:
Figure FDA0003885222490000041
4.3:为了形成更稳定的纸张缺陷特征分布,在批量归一化模块(BatchNormalization,BN)的原始归一化层的开头和结尾添加居中和缩放校准。给定输入特征X∈RN×C×H×W其中N、C、H、W分别代表批次大小、输入特征的通道数、高度、宽度,表示如下公式(7):
Figure FDA0003885222490000042
其中wm∈R1×C×1×1是可学习的权重向量,其大多层的值接近于零,但是随着网络层数的不断叠加,其绝对值也不断增加,网络有了更多特定于实例的功能。Xcm为特征的居中校准,⊙对特征的点乘操作,经过居中校准的居中特征,表示如下公式(8):
Xm=Xcm-E(Xcm) (8);
其中,E(Xcm)为Xcm的平均值,通过像BN一样缩放Xm,能够推得如下公式(9):
Figure FDA0003885222490000051
其中Var(Xcm)为Xcm的方差,ε用来避免出现零方差,再通过缩放校准操作到原来的缩放操作,可得如下公式(10):
XCS=XS·R(wv⊙kS+wb) (10);
其中wv,wb∈R1×C×1×1是可学习的权重向量,选用Tanh函数作为R()的限制函数来抑制极值,与Km类似,Ks为实例特征KS的统计量,能够设置为多个值。式(10)中的限制函数R()与wv、wb能够抑制分布外的特征使得整个纸张缺陷特征分布更加稳定。最终,训练的可学习比例因子γ和偏差因子β进行线性变换以获得最终具有代表性的批量归一化结果Y,如下公式(11):
Y=XCSγ+β (11);
4.4:将形成的更稳定分布的纸张缺陷特征分布图送入到Neck部分,将深层特征与浅层特征进行拼接,再传递到Head;
4.5:Head部分以GIoU作为Bounding box的损失函数,用于生成纸张缺陷图像中预测的缺陷位置和分类信息,包含着三种不同的检测尺度,对应预测大、中、小目标物体;
4.6:利用改进后的YOLOv5模型对纸张缺陷图像进行训练,采用官方YOLOv5权重文件对模型进行训练,训练完成后得到新的权重文件PaperNet.pt,并分析其训练数据。
6.根据权利要求1所述的一种基于改进YOLOv5的纸病检测方法,其特征在于,所述步骤5具体包括:
使用PaperNet.pt权重文件对测试集图片进行测试,分析其检测效果,包括损失函数、查准率(Precision)、召回率(Recall)、平均精度均值(mAP@0.5)其中:
Figure FDA0003885222490000061
Figure FDA0003885222490000062
Figure FDA0003885222490000063
Figure FDA0003885222490000064
其中,TP(True positives)为正确分配的正样本,FP(False positives)为错误分配的正样本,TN(True Negatives)为正确分配的负样本,FN(False Negatives)为漏检目标个数,AP表示Precision-Recall曲线下面的面积,对该图片每一类的平均精度求均值即mAP。
CN202211242279.5A 2022-10-11 2022-10-11 一种基于改进YOLOv5的纸病检测方法 Withdrawn CN115457026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211242279.5A CN115457026A (zh) 2022-10-11 2022-10-11 一种基于改进YOLOv5的纸病检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211242279.5A CN115457026A (zh) 2022-10-11 2022-10-11 一种基于改进YOLOv5的纸病检测方法

Publications (1)

Publication Number Publication Date
CN115457026A true CN115457026A (zh) 2022-12-09

Family

ID=84308223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211242279.5A Withdrawn CN115457026A (zh) 2022-10-11 2022-10-11 一种基于改进YOLOv5的纸病检测方法

Country Status (1)

Country Link
CN (1) CN115457026A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953408A (zh) * 2023-03-15 2023-04-11 国网江西省电力有限公司电力科学研究院 一种基于YOLOv7的避雷器表面缺陷检测方法
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953408A (zh) * 2023-03-15 2023-04-11 国网江西省电力有限公司电力科学研究院 一种基于YOLOv7的避雷器表面缺陷检测方法
CN117152139A (zh) * 2023-10-30 2023-12-01 华东交通大学 一种基于实例分割技术的贴片电感缺陷检测方法

Similar Documents

Publication Publication Date Title
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN115457026A (zh) 一种基于改进YOLOv5的纸病检测方法
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110619352A (zh) 基于深度卷积神经网络的典型红外目标分类方法
CN112990391A (zh) 基于特征融合的卷积神经网络的缺陷分类识别系统
CN115829991A (zh) 一种基于改进YOLOv5s的钢材表面缺陷检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN116678826A (zh) 一种基于快速立体重建的外观缺陷检测系统及方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN116542932A (zh) 一种基于改进的YOLOv5s的注塑件表面缺陷检测方法
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN114820486A (zh) 基于改进YOLOv5s的印刷电路板缺陷检测方法
CN115760837A (zh) 一种基于深度神经网络的晶体质量评估方法及系统
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN110045691B (zh) 一种多源异构大数据的多任务处理故障监测方法
CN117372332A (zh) 一种基于改进YOLOv7模型的织物瑕疵检测方法
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法
CN113538389B (zh) 一种鸽蛋品质识别方法
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN112200762A (zh) 二极管玻壳缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221209