CN113177937A - 基于改进YOLOv4-tiny的布匹缺陷检测模型及方法 - Google Patents

基于改进YOLOv4-tiny的布匹缺陷检测模型及方法 Download PDF

Info

Publication number
CN113177937A
CN113177937A CN202110568000.1A CN202110568000A CN113177937A CN 113177937 A CN113177937 A CN 113177937A CN 202110568000 A CN202110568000 A CN 202110568000A CN 113177937 A CN113177937 A CN 113177937A
Authority
CN
China
Prior art keywords
layer
network
block
detection model
cloth defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110568000.1A
Other languages
English (en)
Other versions
CN113177937B (zh
Inventor
王瀛
郝正阳
庞子龙
丁丽恒
柴秀丽
宋亚林
甘志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110568000.1A priority Critical patent/CN113177937B/zh
Publication of CN113177937A publication Critical patent/CN113177937A/zh
Application granted granted Critical
Publication of CN113177937B publication Critical patent/CN113177937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Abstract

本发明提供一种基于改进YOLOv4‑tiny的布匹缺陷检测模型及方法。该检测模型在YOLOv4‑tiny主干网络中的残差块加入密集连接卷积块CSPDenseBlock，并在主干网络最后加入spp模块，形成新的特征提取网络；新的所述特征提取网络输出两种不同尺度的特征图；两种不同尺度的特征图分别通过各自对应的卷积块处理后进入各自的YOLO层对目标进行预测。本发明通过在其原来的残差块中加入密集连接卷积块对主干网络进行调整，扩充了检测模型的神经元感受野有助于浅层信息的提取；使用密集卷积块构造较深的主干网络框架，有助于识别多个难以区分的目标，增加模型检测的准确性；整个模型可用于对复杂场景下布匹缺陷检测任务的优化，并且检测精度较传统的模型更好。

Description

基于改进YOLOv4-tiny的布匹缺陷检测模型及方法
技术领域
本发明涉及缺陷检测技术领域，尤其涉及一种基于改进YOLOv4-tiny的布匹缺陷检测模型及方法。
背景技术
实际工厂中的布匹缺陷检测通常是通过人工视觉的方法进行的，这种方式有助于及时的纠正缺陷，但由于人工会出现疲劳的情况，这会导致人为错误，并且人眼通常很难检测到细小的缺陷。对于工业上的长期应用而言，这种方法效率低下且精度较差。
传统的缺陷检测技术是相对于深度学习中的端到端训练检测方式而言的，传统的检测方式往往需要人为手动的定义特征以及特征的提取方式，这就意味着需要设计有效的特征来对织物中不同的缺陷进行表征。尽管具有挑战性，但许多研究人员已为解决这些问题做出了巨大努力。传统的布匹缺陷检测算法主要可以分为以下三大类：统计分析法(参考文献1：H.Y.T.Ngan,G.K.H.Pang,S.P.Yung,M.K.Ng.Defect detection on patternedjacquard fabric[C].32nd Applied Imagery Pattern Recognition Workshop,2003,163–168.)、频域分析法(参考文献2：A.S.Malek.Online fabric inspection by imageprocessing technology[J].In:Mechanical Engineering,University of HauteAlsace,2012.)和模型分析法(参考文献3：S.Ozdemir,A.Ercil.Markov random fieldsand Karhunen-Loeve transforms for defect inspection of textile products[J].IEEE Conference on Emerging Technologies and Factory Automation,Vol.692(1996)697–703.)。传统图像处理技术的缺陷检测算法能够较好地对某些特定的缺陷类型设计特征提取的方案，并且能够取得较好的检测精度，但是某一类缺陷特征提取方案并不能很好适用在多种类缺陷的布匹图像当中。
发明内容
针对传统布匹缺陷检测算法不能适用于存在多种布匹缺陷类型的问题，本发明提供一种基于改进YOLOv4-tiny的布匹缺陷检测模型及方法。
一方面，本发明提供一种基于改进YOLOv4-tiny的布匹缺陷检测模型，该检测模型在YOLOv4-tiny主干网络中的残差块加入密集连接卷积块CSPDenseBlock，并在主干网络最后加入spp模块，形成新的特征提取网络；新的所述特征提取网络输出两种不同尺度的特征图；两种不同尺度的特征图分别通过各自对应的卷积块处理后进入各自的YOLO层对目标进行预测；
进一步地，新的所述特征提取网络包括自上而下依次连接的两层第一卷积块、CSPblock模块、两层密集连接卷积块CSPDenseBlock、spp模块和第二卷积块；
所述第一卷积块包括依次连接的第一Conv2d层、bn层和LeakyReLU激活函数；所述第一Conv2d层为卷积核为3×3，步长为2，填充0的行数或列数为1的卷积层；所述第二卷积块包括依次连接的第二Conv2d层、bn层和LeakyReLU激活函数；所述第二Conv2d层为卷积核为3×3，步长为1，填充0的行数或列数为1的卷积层。
进一步地，所述CSPblock模块具体为：
将残差块的堆叠拆成第一部分和第二部分；第二部分经过第二卷积块，然后继续拆分成第三部分和第四部分；第四部分经过第二卷积块后与第三部分进行进行第一次concat操作；进行第一次concat操作后的输出再经过第三卷积块后与第一部分进行第二次concat操作；
其中，所述第三卷积块包括依次连接的第三Conv2d层、bn层和LeakyReLU激活函数；所述第三Conv2d层为卷积核为1×1，步长为1，填充0的行数或列数为1的卷积层。
进一步地，第一层所述密集连接卷积块CSPDenseBlock具体为：将CSPblock模块中进行第一次concat操作后的输出所经过的第三卷积块替换为Dense Block；
所述Dense Block包括自上而下的5层子网络层；其中，第一层子网络层和第三层子网络层具体为依次连接的bn层和LeakyReLU激活函数；第二层子网络层和第四层子网络层具体为增长率k为64的第四Conv2d层；第五层子网络层具体为concat层；第二层子网络层的输出和第四层子网络层的输出通过第五层子网络层进行concat操作。
进一步地，第二层所述密集连接卷积块CSPDenseBlock具体为：将第一层所述密集连接卷积块CSPDenseBlock中的第二层子网络层和第四层子网络层的增长率k设置为128，其余结构与第一层所述密集连接卷积块CSPDenseBlock相同。
进一步地，所述spp模块具体包括：conv层、第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层和concat层；其中，conv层的输出分别经过第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层后，通过concat层进行concat操作；
所述第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层的卷积核大小分别为13×13、9×9、5×5、1×1，步长均为2。
另一方面，本发明提供一种基于改进YOLOv4-tiny的布匹缺陷检测方法，采用上述的布匹缺陷检测模型，所述方法包括：
步骤1：对采集的布匹缺陷数据集进行缺陷类型标注，并按一定比例划分为训练集和测试集；
步骤2：利用训练集对所述布匹缺陷检测模型进行训练，获取最优检测模型；
步骤3：利用训练得到的最优检测模型对测试集中的图片数据进行检测。
进一步地，步骤1中，采集的布匹缺陷数据集包含网格和条纹；布匹的缺陷类型包括断纱、带纱、棉球、破洞和污渍。
进一步地，该方法还包括：
步骤4：对测试集的检测结果进行检测精度和实时性评价；所述评价指标包括AP和mAP。
本发明的有益效果：
本发明提供的基于改进YOLOv4-tiny的布匹缺陷检测模型及方法，针对原来的YOLOv4-tiny主干网络，通过在其原来的残差块中加入密集连接卷积块对主干网络进行调整，扩充了检测模型的神经元感受野有助于浅层信息(浅层网络包含有较多的亮度、颜色和边缘等粗糙信息)的提取；使用密集卷积块构造较深的主干网络框架，有助于识别多个难以区分的目标，增加模型检测的准确性；在整个框架的基础上，配合训练参数的调整，使得整个模型可用于对复杂场景下布匹缺陷检测任务的优化，并且检测精度较传统的模型更好。
附图说明
图1为本发明实施例提供的基于改进YOLOv4-tiny的布匹缺陷检测模型的网络结构图；
图2为本发明实施例提供的特征提取网络中的CSPblock模块的结构图；
图3为本发明实施例提供的特征提取网络中的第一层CSPDenseBlock模块的结构图；
图4为本发明实施例提供的特征提取网络中的第二层CSPDenseBlock模块的结构图；
图5为本发明实施例提供的特征提取网络中的spp模块的结构图；
图6为本发明实施例提供的基于改进YOLOv4-tiny的布匹缺陷检测方法的流程图；
图7为本发明实施例提供的定性比较时未改进网络模型YOLOv4-tiny的检测结果图；
图8为本发明实施例提供的定性比较时本发明方法的检测结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于改进YOLOv4-tiny的布匹缺陷检测模型，该检测模型在YOLOv4-tiny主干网络中的残差块加入密集连接卷积块CSPDenseBlock，并在主干网络最后加入spp模块，形成新的特征提取网络；新的所述特征提取网络输出两种不同尺度的特征图；两种不同尺度的特征图分别通过各自对应的卷积块处理后进入各自的YOLO层对目标进行预测；
作为一种可实施方式，新的所述特征提取网络包括自上而下依次连接的两层第一卷积块、CSPblock模块、两层密集连接卷积块CSPDenseBlock(按照前后顺序分别称为：第一层CSPDenseBlock模块、第二层CSPDenseBlock模块)、spp模块和第二卷积块；
所述第一卷积块包括依次连接的第一Conv2d层、bn层和LeakyReLU激活函数；所述第一Conv2d层为卷积核为3×3，步长为2，填充0的行数或列数为1的卷积层；所述第二卷积块包括依次连接的第二Conv2d层、bn层和LeakyReLU激活函数；所述第二Conv2d层为卷积核为3×3，步长为1，填充0的行数或列数为1的卷积层。
具体地，待检测布匹数据由特征提取网络的第一层第一卷积块输入，该特征提取网络的输出分为两部分，两部分输出的特征图为两种不同尺度的特征图：第一部分输出为第一层密集连接卷积块CSPDenseBlock的输出，第二部分输出为第二卷积块的输出。接着，通过对第二部分输出的特征图进行上采样处理后与第一部分输出的特征图进行concat操作，实现特征融合；融合后的特征图与第二部分输出的特征图再次经过不同的卷积处理后分别送入两个分支的YOLO层对目标进行预测。
作为一种可实施方式，如图2所示，所述CSPblock模块具体为：
将残差块的堆叠拆成第一部分和第二部分；第二部分经过第二卷积块，然后继续拆分成第三部分和第四部分；第四部分经过第二卷积块后与第三部分进行进行第一次concat操作；进行第一次concat操作后的输出再经过第三卷积块后与第一部分进行第二次concat操作；其中，所述第三卷积块包括依次连接的第三Conv2d层、bn层和LeakyReLU激活函数；所述第三Conv2d层为卷积核为1×1，步长为1，填充0的行数或列数为1的卷积层。
作为一种可实施方式，如图3所示，第一层所述密集连接卷积块CSPDenseBlock具体为：将CSPblock模块中进行第一次concat操作后的输出所经过的第三卷积块替换为Dense Block；
所述Dense Block包括自上而下的5层子网络层；其中，第一层子网络层和第三层子网络层具体为依次连接的bn层和LeakyReLU激活函数；第二层子网络层和第四层子网络层具体为增长率k为64的第四Conv2d层；第五层子网络层具体为concat层；第二层子网络层的输出和第四层子网络层的输出通过第五层子网络层进行concat操作。
作为一种可实施方式，如图4所示，第二层所述密集连接卷积块CSPDenseBlock具体为：将第一层所述密集连接卷积块CSPDenseBlock中的第二层子网络层和第四层子网络层的增长率k设置为128，其余结构与第一层所述密集连接卷积块CSPDenseBlock相同。
作为一种可实施方式，如图5所示，所述spp模块具体包括：conv层、第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层和concat层；其中，conv层的输出分别经过第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层后，通过concat层进行concat操作；
所述第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层的卷积核大小分别为13×13、9×9、5×5、1×1，步长均为2。
如图6所示，本发明实施例还提供一种基于改进YOLOv4-tiny的布匹缺陷检测方法，采用上述各实施例中的的布匹缺陷检测模型，该方法包括下述步骤：
S101：对采集的布匹缺陷数据集进行缺陷类型标注，并按一定比例(例如7:3比例)划分为训练集和测试集；
具体地，采集的布匹缺陷数据集包含网格和条纹；布匹的缺陷类型包括断纱、带纱、棉球、破洞和污渍。实际应用中，可以从包含网格和条纹的图像织物数据库中获取数据集；也可以使用固定于光照充足的生产线上的工业相机或使用高分辨率扫描仪获取织物图片作为数据集。
步骤S102：利用训练集对所述布匹缺陷检测模型进行训练，获取最优检测模型；
步骤S103：利用训练得到的最优检测模型对测试集中的图片数据进行检测
步骤S104：对测试集的检测结果进行检测精度和实时性评价；所述评价指标包括AP和mAP。
为了验证本发明提供的检测模型及方法的有效性，本发明还提供有下述实验，具体如下：
1.准备数据集，如表1所示。
表1 DF数据集(即布匹缺陷数据集)
缺陷类别 训练样本数量 测试样本数量
断纱 218 90
带纱 297 128
棉球 128 56
破洞 78 34
污渍 295 127
2.设置检测模型中特征提取网络的具体参数，如表2所示。
表2特征提取网络的具体参数
层 卷积模块 输入 输出
第一层 Conv<sub>3</sub>-LeakyReLU 3×416×416 32×208×208
第二层 Conv<sub>3</sub>-LeakyReLU 32×208×208 64×104×104
第三层 CSPBlock 64×104×104 128×104×104
第四层 MP 128×104×104 128×52×52
第五层 CSPDenseBlock 128×52×52 256×52×52
第六层 MP 256×52×52 256×26×26
第七层 CSPDenseBlock 256×26×26 512×26×26
第八层 MP 512×26×26 512×13×13
第九层 SPP 512×13×13 512×13×13
第十层 Conv<sub>3</sub>-LeakyReLU 512×13×13 512×13×13
具体地，结合图1至图5，第一层卷积层卷积核的尺寸以“输入通道数×输出通道数×(卷积核高×卷积核宽)”的格式表示为1×32×(3×3)，卷积的步长为2，卷积时在特征图边缘填充0的行(列)数为1，该层的激活函数为Leaky ReLU，该层采用batachNorm(bn层)归一化操作。如图1所示；
第二层与第一层的结构相同，都使用了卷积核为3×3，步长为2，填充0的行(列)数为1的卷积层，之后使用bn层以及Leaky ReLU激活函数。如图1所示。
第三层则是CSPblock模块，具体CSPblock模块就是将残差块的堆叠进行了拆分，拆成左右两部分(即图2中的Part1和Part2)：主干部分继续进行原来的残差块的堆叠；主干部分经过卷积核为3×3，步长为1，填充0的行(列)数为1的卷积层，之后使用bn层以及LeakyReLU激活函数，接下来对此继续拆分成左右两个部分，主干部分经过卷积核为3×3，步长为1，填充0的行(列)数为1的卷积层，之后使用bn层以及Leaky ReLU激活函数，之后将左右两部分进行concat操作。在进行concat操作后，经过卷积核为1×1，步长为1，填充0的行(列)数为1的卷积层，之后使用bn层以及Leaky ReLU激活函数。最后与该模块最初拆分的部分进行concat操作，至此CSPblock模块完成。如图2所示。
第五层和第七层是CSPDenseBlock模块，CSPDenseBlock模块是在CSPblock模块基础上加入了密集型连接结构，具体操作是在CSPblock模块中的第一次concat操作后加入Dense Block，在第一个CSPDenseBlock模块(即第五层)中增长率k为64，而在第二个CSPDenseBlock模块(即第七层)中增长率k为128；因此保证了CSPDenseBlock模块层数相对应都为两层。经过层数为5的DenseBlock，与该模块最初拆分的部分进行concat操作，至此第五层(或第七层)的CSPDenseBlock模块完成。如图3和图4所示。
第四层、第六层和第八层均为最大池化层(MP)，3个最大池化层都是卷积核为2×2，步长为2的maxpooling操作，位置分别在CSPBlock模块和两个密集连接卷积块CSPDenseBlock之后。
第九层是spp模块，spp模块利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13×13、9×9、5×5、1×1(1×1即无处理)最终将四个不同尺度的特征图进行concat操作。如图5所示。
以JPEG彩色图像像素值组成的矩阵作为输入，当图像输入检测模型后，通过上述的特征提取网络对图像进行特征提取，使用第六层和第十层得到26×26和13×13两个尺度的特征卷积输出；然后，将13×13的卷积特征进行第一次上采样并与26×26的卷积特征进行信息融合，最后13×13的卷积特征和26×26的卷积特征分别通过2个卷积模块(CBL)压缩相应尺度下的融合后的卷积信息再分别送入YOLO层对目标进行预测。
3.设置检测模型中head网络的具体参数，如表3所示。
表3为head网络部分的具体参数
层 卷积模块 输入 输出
第一层 Conv<sub>3</sub>-LeakyReLU 512×13×13 512×13×13
第二层 Conv<sub>3</sub>-LeakyReLU 512×13×13 512×13×13
第三层 Conv1 512×13×13 255×13×13
第四层 Conv1 512×13×13 128×13×13
第五层 Upsample 128×13×13 128×26×26
第六层 Concat 128×26×26,128×26×26 256×26×26
第七层 Conv<sub>3</sub>-LeakyReLU 128×13×13 128×26×26
第八层 Conv1 128×26×26 255×26×26
表3中，Conv3-LeakyReLU为3×3，步长为1，填充0的行(列)数为1的卷积层，之后使用BN层以及Leaky ReLU激活函数。其中Conv1为1×1，步长为1，填充0的行(列)数为1的卷积层。其中Upsample是指对特征图进行上采样操作，将原本的特征图放大为原来的两倍。其中Concat是指对特征图大小相同但通道数不同的特征图进行融合操作，第四层的输入为第一层输出的特征图，最后采用第三层和第八层作为网络的最终输出，输出到检测层。
4.设置训练参数：使用Adam算法在训练集中对网络进行训练，设置神经网络中的超参数：动量参数为0.9，权重衰减正则项参数设置为0.0005，初始学习率为0.001，batchsize设置为8，训练总轮数epoch为200；训练完成后保存权重文件。
5.采用训练完成后的模型权重对测试集中的图片数据进行检测，并对测试集的检测结果进行检测精度和实时性评价。评价指标AP和m AP的计算过程如下：
Figure BDA0003081531870000091
上式中，N(True Positions)代表单张图像中正确预测为某一个类别的目标数量，N(Total Objects)代表测试集中含有某一个类别的图像总数。
Figure BDA0003081531870000092
上式中，∑Pc代表测试集所有图像的属于类C的准确率之和，N(TotalImages)代表测试集中含有某一个类别的图像总数。
Figure BDA0003081531870000093
上式中，∑AP代表测试集所有类别的平均准确率之和，N(Classes)代表测试集类别总数。
通过上述对评价指标AP和mAP的计算，将本发明方法分别与YOLOv3-tiny和YOLOv4-tiny作对比，检测结果如表4所示：
表4
模型 断纱 带纱 棉球 破洞 污渍 Map
YOLOv3-tiny 0.776 0.917 0.939 0.995 0.831 0.890
YOLOv4-tiny 0.783 0.952 0.919 0.995 0.829 0.896
改进YOLOv4-tiny 0.924 0.938 0.905 0.995 0.873 0.927
从表4中可以看出，本发明提出的网络模型在3个数据集上的表现对于不同纹理类型的缺陷检测均有较高的准确率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.基于改进YOLOv4-tiny的布匹缺陷检测模型，其特征在于，在YOLOv4-tiny主干网络中的残差块加入密集连接卷积块CSPDenseBlock，并在主干网络最后加入spp模块，形成新的特征提取网络；新的所述特征提取网络输出两种不同尺度的特征图；两种不同尺度的特征图分别通过各自对应的卷积块处理后进入各自的YOLO层对目标进行预测。
2.根据权利要求1所述的布匹缺陷检测模型，其特征在于，新的所述特征提取网络包括自上而下依次连接的两层第一卷积块、CSPblock模块、两层密集连接卷积块CSPDenseBlock、spp模块和第二卷积块；
所述第一卷积块包括依次连接的第一Conv2d层、bn层和LeakyReLU激活函数；所述第一Conv2d层为卷积核为3×3，步长为2，填充0的行数或列数为1的卷积层；所述第二卷积块包括依次连接的第二Conv2d层、bn层和LeakyReLU激活函数；所述第二Conv2d层为卷积核为3×3，步长为1，填充0的行数或列数为1的卷积层。
3.根据权利要求2所述的布匹缺陷检测模型，其特征在于，所述CSPblock模块具体为：
将残差块的堆叠拆成第一部分和第二部分；第二部分经过第二卷积块，然后继续拆分成第三部分和第四部分；第四部分经过第二卷积块后与第三部分进行进行第一次concat操作；进行第一次concat操作后的输出再经过第三卷积块后与第一部分进行第二次concat操作；
其中，所述第三卷积块包括依次连接的第三Conv2d层、bn层和LeakyReLU激活函数；所述第三Conv2d层为卷积核为1×1，步长为1，填充0的行数或列数为1的卷积层。
4.根据权利要求3所述的布匹缺陷检测模型，其特征在于，第一层所述密集连接卷积块CSPDenseBlock具体为：将CSPblock模块中进行第一次concat操作后的输出所经过的第三卷积块替换为Dense Block；
所述Dense Block包括自上而下的5层子网络层；其中，第一层子网络层和第三层子网络层具体为依次连接的bn层和LeakyReLU激活函数；第二层子网络层和第四层子网络层具体为增长率k为64的第四Conv2d层；第五层子网络层具体为concat层；第二层子网络层的输出和第四层子网络层的输出通过第五层子网络层进行concat操作。
5.根据权利要求4所述的布匹缺陷检测模型，其特征在于，第二层所述密集连接卷积块CSPDenseBlock具体为：将第一层所述密集连接卷积CSPDenseBlock中的第二层子网络层和第四层子网络层的增长率k设置为128，其余结构与第一层所述密集连接卷积块CSPDenseBlock相同。
6.根据权利要求1所述的布匹缺陷检测模型，其特征在于，所述spp模块具体包括：conv层、第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层和concat层；其中，conv层的输出分别经过第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层后，通过concat层进行concat操作；
所述第一最大池化层、第二最大池化层、第三最大池化层、第四最大池化层的卷积核大小分别为13×13、9×9、5×5、1×1，步长均为2。
7.基于改进YOLOv4-tiny的布匹缺陷检测方法，其特征在于，采用权利要求1至6任一所述的布匹缺陷检测模型，所述方法包括：
步骤1：对采集的布匹缺陷数据集进行缺陷类型标注，并按一定比例划分为训练集和测试集；
步骤2：利用训练集对所述布匹缺陷检测模型进行训练，获取最优检测模型；
步骤3：利用训练得到的最优检测模型对测试集中的图片数据进行检测。
8.根据权利要求7所述的布匹缺陷检测方法，其特征在于，步骤1中，采集的布匹缺陷数据集包含网格和条纹；布匹的缺陷类型包括断纱、带纱、棉球、破洞和污渍。
9.根据权利要求7所述的布匹缺陷检测方法，其特征在于，还包括：
步骤4：对测试集的检测结果进行检测精度和实时性评价；所述评价指标包括AP和mAP。
CN202110568000.1A 2021-05-24 2021-05-24 基于改进YOLOv4-tiny的布匹缺陷检测方法 Active CN113177937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110568000.1A CN113177937B (zh) 2021-05-24 2021-05-24 基于改进YOLOv4-tiny的布匹缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110568000.1A CN113177937B (zh) 2021-05-24 2021-05-24 基于改进YOLOv4-tiny的布匹缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113177937A true CN113177937A (zh) 2021-07-27
CN113177937B CN113177937B (zh) 2022-09-13

Family

ID=76930038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110568000.1A Active CN113177937B (zh) 2021-05-24 2021-05-24 基于改进YOLOv4-tiny的布匹缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113177937B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516655A (zh) * 2021-09-13 2021-10-19 常州市宏发纵横新材料科技股份有限公司 基于YOLOv4-Tiny神经网络的布面缺陷检测方法、装置及系统
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113837029A (zh) * 2021-09-06 2021-12-24 苏州大学 物体识别方法、系统、终端设备及存储介质
CN115082872A (zh) * 2022-08-11 2022-09-20 江西省水利科学院 一种面向边缘计算的河面采砂船及过往船只识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140371A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 基于深度学习的识别车辆损伤的方法和相关装置
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
WO2020215241A1 (zh) * 2019-04-24 2020-10-29 江南大学 一种面向计算资源局限平台部署的实时目标检测的方法
CN112380921A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN112464910A (zh) * 2020-12-18 2021-03-09 杭州电子科技大学 一种基于YOLO v4-tiny的交通标志识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140371A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 基于深度学习的识别车辆损伤的方法和相关装置
WO2020215241A1 (zh) * 2019-04-24 2020-10-29 江南大学 一种面向计算资源局限平台部署的实时目标检测的方法
CN111598860A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN112380921A (zh) * 2020-10-23 2021-02-19 西安科锐盛创新科技有限公司 一种基于车联网的道路检测方法
CN112464910A (zh) * 2020-12-18 2021-03-09 杭州电子科技大学 一种基于YOLO v4-tiny的交通标志识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEN BOYUAN等: ""Study on Pedestrian Detection Based on an Improved YOLOv4 Algorithm"", 《2020 IEEE 6TH INTERNATIONAL CONFERENCE ON COMPUTER AND COMMUNICATIONS (ICCC)》 *
李明等: ""基于改进YOLO-tiny的闸板阀开度检测"", 《煤炭学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113537119B (zh) * 2021-07-28 2022-08-30 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113837029A (zh) * 2021-09-06 2021-12-24 苏州大学 物体识别方法、系统、终端设备及存储介质
CN113516655A (zh) * 2021-09-13 2021-10-19 常州市宏发纵横新材料科技股份有限公司 基于YOLOv4-Tiny神经网络的布面缺陷检测方法、装置及系统
CN115082872A (zh) * 2022-08-11 2022-09-20 江西省水利科学院 一种面向边缘计算的河面采砂船及过往船只识别方法
CN115082872B (zh) * 2022-08-11 2023-01-17 江西省水利科学院 一种面向边缘计算的河面采砂船及过往船只识别方法

Also Published As

Publication number Publication date
CN113177937B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN113177937B (zh) 基于改进YOLOv4-tiny的布匹缺陷检测方法
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN107229918A (zh) 一种基于全卷积神经网络的sar图像目标检测方法
CN112016400B (zh) 一种基于深度学习的单类目标检测方法、设备及存储介质
CN107491793B (zh) 一种基于稀疏散射全卷积的极化sar图像分类方法
CN109376753A (zh) 一种稠密连接的三维空谱分离卷积深度网络及构建方法
CN110175506B (zh) 基于并行降维卷积神经网络的行人重识别方法及装置
CN109948527B (zh) 基于集成深度学习的小样本太赫兹图像异物检测方法
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN114022770A (zh) 基于改进自注意力机制与迁移学习的山体裂缝检测方法
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN107392211A (zh) 基于视觉稀疏认知的显著目标检测方法
CN116823664B (zh) 一种遥感图像云去除方法及系统
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
CN109389173B (zh) 一种基于m-cnn的试卷分数自动统计分析方法和装置
CN110929773A (zh) 一种基于深度学习的芯片表面缺陷分类装置和方法
CN111161228A (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN109741313A (zh) 独立成分分析和卷积神经网络的无参考图像质量评价方法
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法
CN114445862A (zh) 一种基于线下课堂监控的出勤率检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant