CN114549507A - 改进Scaled-YOLOv4的织物瑕疵检测方法 - Google Patents

改进Scaled-YOLOv4的织物瑕疵检测方法 Download PDF

Info

Publication number
CN114549507A
CN114549507A CN202210193858.9A CN202210193858A CN114549507A CN 114549507 A CN114549507 A CN 114549507A CN 202210193858 A CN202210193858 A CN 202210193858A CN 114549507 A CN114549507 A CN 114549507A
Authority
CN
China
Prior art keywords
fabric
csp
bottleneck
training
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210193858.9A
Other languages
English (en)
Inventor
吕文涛
余序宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202210193858.9A priority Critical patent/CN114549507A/zh
Publication of CN114549507A publication Critical patent/CN114549507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于Scaled‑YOLOv4改进算法的织物瑕疵检测方法。方法包括：建立扩展织物图像数据集；搭建改进Scaled‑YOLOv4网络；选取训练集输入改进网络中训练，并得到训练候选预测框；计算改进网络的整体损失值，并更新参数；获得调整后的改进Scaled‑YOLOv4网络；将验证集输入处理，并获得验证候选框；计算织物类别的平均精确度值；获得训练完成的改进Scaled‑YOLOv4网络；将待检测织物图像数据集输入处理，保留最终预测框；映射进行织物瑕疵的检测定位。本发明实现了网络精度和速度的双双提升，大大加强对织物瑕疵的检测能力并加快检测效率，更适合在实际工业场景下对织物瑕疵进行实时检测。

Description

改进Scaled-YOLOv4的织物瑕疵检测方法
技术领域
本发明涉及了一种瑕疵检测方法，具体涉及一种改进Scaled-YOLOv4的织物瑕疵检测方法。
背景技术
纺织行业在我国的国民经济发展中一直占据着重要地位。而因为人们生活水平的提高，对于产品的质量要求也在相应的提升。因此保证织物的质量是非常重要的，这不仅影响着产品的价格也决定着产品在市场上的竞争力。而在现代纺织业中，一般需要专业的质检人员来找出纺织品中存在的一些瑕疵，这样的做法不仅效率较低，而且会因为质检人员不可避免的疲劳导致误检或漏检。
近些年来，深度卷积神经网络(CNNs)在图像分类、检测和分割等任务上大放异彩，吸引了大量工作进行研究。在目标检测领域，同样出现了大量的优秀的工作，代表性的有如R-CNN和YOLO系列的检测模型，而且现在仍在不断迭代。其中YOLO系列因为其检测速度快和轻量的特点，适用领域相较于前者也更为广泛，但目前的织物瑕疵检测任务中存在复杂背景干扰和检测速度慢等问题，现有的先进检测模型在检测精度和效率指标上也有待提高，因此，设计一种高效的自动化织物瑕疵检测方法来帮助检测是非常有必要的。
发明内容
为了解决背景技术中存在的问题，本发明所提供一种基于Scaled-YOLOv4的织物瑕疵检测方法，该方法通过在网络的特定位置引入了快速注意力机制和采用基于深度可分离卷积的高效检测头等结构，解决了在使用所提方法进行织物图像的瑕疵检测，相较于现有的先进检测模型在检测精度和效率指标上都具有较大的优势，很好地满足了实际场景中的实时性要求。
本发明采用的技术方案是：
方法步骤如下：
S1)采集织物图像，建立织物图像数据集，将织物图像数据集依次进行织物瑕疵数据标注和数据增强处理，每张织物图像上均数据标注获得若干织物瑕疵的目标GT框，并获得增强织物图像数据集，将增强织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像。
S2)按照预设比例将扩展织物图像数据集进行划分，获得训练集和验证集；
S3)根据目标GT框的数据标注，使用Kmeans++聚类算法对训练集中的所有目标GT框进行聚类，得到K个先验框。
S4)搭建改进Scaled-YOLOv4网络。
S5)训练集中包括M张扩展织物图像，选取训练集中的X张扩展织物图像输入改进Scaled-YOLOv4网络中进行训练，针对每张扩展织物图像，均输出N张训练预测特征图。
S6)针对每张扩展织物图像的N张训练预测特征图，将步骤S3)中的K个先验框均匀分布到N张训练预测特征图上，并根据训练预测特征图的图像信息对K个先验框进行调整，并分别获得K个训练预测框，根据目标GT框选取若干训练预测框作为训练候选框。
S7)根据训练候选框和目标GT框计算改进Scaled-YOLOv4网络的整体损失值，并使用梯度下降法更新改进Scaled-YOLOv4网络的参数。
S8)针对训练集中的每张扩展织物图像重复步骤S5)-S7)进行处理，当次重复选取的训练集中的X张扩展织物图像输入上一次重复步骤S7)后参数更新的改进Scaled-YOLOv4网络中处理，直至训练集中所有的扩展织物图像均输入参数更新的改进Scaled-YOLOv4网络处理过，获得此时的改进Scaled-YOLOv4网络作为预训练改进Scaled-YOLOv4网络。
S9)将验证集输入预训练改进Scaled-YOLOv4网络中处理，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据目标GT框选取若干验证预测框作为验证候选框。
根据验证候选框和目标GT框计算验证集中各个织物类别的精确度值AP，并计算所有精确度值AP的平均精确度值mAP。
S10)重复步骤S8)-S9)，直至多次获得的平均精确度值mAP等于一个固定值，获得此时的预训练改进Scaled-YOLOv4网络作为训练完成的改进Scaled-YOLOv4网络。
S11)获取待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集输入训练完成的改进Scaled-YOLOv4网络中处理，针对每张待检测织物图像，均输出N张检测预测特征图；对N张检测预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，保留的检测预测框作为最终预测框。
根据检测预测特征图和待检测织物图像的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。
所述的步骤S1)中，首先对织物图像数据集中的每张织物图像中的每个织物瑕疵进行类别和位置的数据标注，其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewingprint、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold。
目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标。
然后使用Mosaic数据增强对织物图像数据集进行数据增强处理，在Mosaic数据增强后，织物图像数据集中的每张织物图像均会有20％的比例进行Mixup数据增强处理。
所述的步骤S2)中，训练集和验证集的预设比例为8：1。
所述的步骤S3)中，通过目标GT框的数据标记获取目标GT框的宽和高，使用Kmeans++算法根据目标GT框的宽和高对训练集中的所有目标GT框进行聚类，得到K个聚类中心坐标，K值一般取为9，以K个聚类中心坐标分别作为宽和高构成K个先验框。
所述的步骤S4)中，改进Scaled-YOLOv4网络包括依次连接的改进主干网络CSPDarknet53、改进BiFPN结构、改进预测头部分和三个损失函数Loss：
a)改进主干网络CSPDarknet53：
改进主干网络CSPDarknet53包括依次连接的五层瓶颈结构层，第一层瓶颈结构层中包括瓶颈结构模块Bottleneck，第二层瓶颈结构层中包括第一CSP瓶颈结构模块BottleneckCSP，第三层瓶颈结构层中包括第二CSP瓶颈结构模块BottleneckCSP，第四层瓶颈结构层中包括依次连接的第三CSP瓶颈结构模块BottleneckCSP和第一激活函数Hard-Swish，第五层瓶颈结构层中包括依次连接的第四CSP瓶颈结构模块BottleneckCSP和第二激活函数Hard-Swish；改进主干网络CSPDarknet53的输入依次经五层瓶颈结构层处理后尺度逐渐变小，第三至五层瓶颈结构层的输出均作为改进主干网络CSPDarknet53的输出；改进主干网络CSPDarknet53去除了主干网络CSPDarknet53中的部分冗余的残差模块，对主干网络CSPDarknet53进行精简，同时基本不影响Scaled-YOLOv4网络的检测精度，改进主干网络CSPDarknet53将输入进行逐级特征提取，从中取出最深层的三个含有不同尺度和通道数的输出。激活函数Hard-Swish为硬件友好型激活函数，激活函数Hard-Swish可以进一步加速Scaled-YOLOv4网络的处理。
改进主干网络CSPDarknet53的输入依次输入至瓶颈结构模块Bottleneck、第一CSP瓶颈结构模块BottleneckCSP和第二CSP瓶颈结构模块BottleneckCSP中进行处理，第二CSP瓶颈结构模块BottleneckCSP的输出作为第三层瓶颈结构层的输出；第二CSP瓶颈结构模块BottleneckCSP的输出输入至第三CSP瓶颈结构模块BottleneckCSP后经第一激活函数Hard-Swish处理后，作为第四层瓶颈结构层的输出；第一激活函数Hard-Swish处理后的输出再输入至第四CSP瓶颈结构模块BottleneckCSP后经第二激活函数Hard-Swish处理后，作为第五层瓶颈结构层的输出。
CSP瓶颈结构模块BottleneckCSP的结构相同，均为融合了CSP结构的瓶颈结构模块，CSP结构为跨阶段局部结构。
CSP瓶颈结构模块BottleneckCSP包括第一1×1卷积层、瓶颈结构Bottleneck层、第二1×1卷积层、第三1×1卷积层和融合函数Concat，CSP瓶颈结构模块BottleneckCSP的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至瓶颈结构Bottleneck层和第二1×1卷积层处理，第三1×1卷积层处理的输出和第二1×1卷积层处理的输出经过融合函数Concat处理后输出，输出结果作为CSP瓶颈结构模块BottleneckCSP的输出。
第三1×1卷积层为一个一个带有1×1卷积的残差连接。
瓶颈结构Bottleneck层包括n个瓶颈结构模块Bottleneck，第一CSP瓶颈结构模块BottleneckCSP、第二CSP瓶颈结构模块BottleneckCSP、第三CSP瓶颈结构模块BottleneckCSP和第四CSP瓶颈结构模块BottleneckCSP的瓶颈结构Bottleneck层中的瓶颈结构模块Bottleneck的数目n分别为2、8、4和4。
b)改进BiFPN结构：
改进BiFPN结构包括三层融合层，第一层融合层包括第五CSP瓶颈结构模块BottleneckCSP和第三激活函数Hard-Swish；第二层融合层包括第六CSP瓶颈结构模块BottleneckCSP、第四激活函数Hard-Swish、第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard-Swish；第三层融合层包括CSP结构空间金字塔池化模块SPPCSP、快速通道注意力机制ECA、第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard-Swish；添加的高效轻量级的快速通道注意力机制ECA可以筛选对检测目标更有利的特征。
第三层瓶颈结构层的输出作为第一层融合层的输入，第四层瓶颈结构层的输出作为第二层融合层的输入，第五层瓶颈结构层的输出作为第三层融合层的输入，三层融合层的输入的尺度与各自的输出的尺度相同，改进BiFPN结构的三层融合层的输出均作为改进BiFPN结构的输出；BiFPN结构表示双向FPN结构，对BiFPN结构进行改进获得改进BiFPN结构；改进BiFPN结构的输入在改进BiFPN结构中进一步融合，经过自上至下和自下至上的融合充分混合了深层和浅层的特征；被改进BiFPN结构替换的PANet结构存在冗余连接，BiFPN结构在PAN结构的基础上引入了加权融合和同级跳跃连接，在不增加额外代价的前提下融合了更多的特征，替换为更加简化的BiFPN结构可以提高特征融合网络Neck的融合效率。
第三层融合层的输入依次输入至CSP结构空间金字塔池化模块SPPCSP和快速通道注意力机制ECA中处理输出第三中间输出，第三中间输出再经过下采样后与第二层融合层的输入融合，融合后依次输入至第二层融合层的第六CSP瓶颈结构模块BottleneckCSP和第四激活函数Hard-Swish中处理输出第二中间输出，第二中间输出经上采样后与第三中间输出融合，融合后再经第三层融合层的第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard-Swish处理后输出为第三层融合层的输出。
第二中间输出再经过下采样后与第一层融合层的输入融合，融合后依次输入至第一层融合层的第五CSP瓶颈结构模块BottleneckCSP和第三激活函数Hard-Swish中处理输出第一中间输出，第一中间输出直接作为第一层融合层的输出。
第一中间输出再经上采样后与第二融合层的输入以及第二中间输出融合，融合后依次输入至第二融合层的第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard-Swish处理后输出为第二层融合层的输出。
CSP结构空间金字塔池化模块SPPCSP为引入了CSP结构的空间金字塔池化模块，SPP模块为空间金字塔池化模块，CSP结构为跨阶段局部结构；SPPCSP模块是在SPP模块后接着引入高效注意力机制并将其中每个计算结点保留为轻量的CSP结构。
c)改进预测头部分：
改进预测头部分包括三个预测头Head，改进BiFPN结构的第一层融合层的输出、第二层融合层的输出和第三层融合层的输出分别作为三个预测头Head的输入。
预测头Head包括依次连接的深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard-Swish和第二1×1卷积层；预测头Head的输入依次输入深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard-Swish和第二1×1卷积层后输出为预测头Head的输出；预测头Head中的参数量巨大的3×3卷积层被替换为更轻量化的深度可分离卷积层DepSepConv；注意力机制SE可以选择对最终预测更有利的特征；对预测头部分的改进实现了Scaled-YOLOv4网络精度和速度的双双提升。
三个预测头Head的输出为改进主干网络CSPDarknet53输出的三张预测特征图。
d)损失函数Loss：
改进预测头部分的三个预测头Head的输出分别输入至三个损失函数Loss，三个损失函数Loss处理输出为输入的分类置信度损失边框置信度损失和交并比损失。
所述的步骤S5)中，X为M的约数，N为K的约数，N值一般取为3。
所述的步骤S6)中，针对每张扩展织物图像的N张训练预测特征图，均进行以下操作：
将K个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为N组先验框，根据N组先验框的尺度大小和N张训练预测特征图的尺度大小，将N组先验框分别分配到N张训练预测特征图上，即N组先验框按照尺度从小到大按顺序分配到尺度从大到小的N张训练预测特征图上；训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度。
针对每张训练预测特征图，均进行以下操作：
将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息；针对每个锚点，均进行以下操作：
在锚点上叠加K/N个先验框，锚点对应一个num_anchor*(5+num_class)长度的锚点向量，其中，num_anchor表示锚点上先验框的数量，即为K/N，num_class表示织物瑕疵类别数目，即为K；将锚点向量进行维度拆分，获得K/N个分别对应于K/N个先验框的5+num_class长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到K/N个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度。
计算每个目标GT框与每个训练预测框之间的交并比损失IoU，获取与每个目标GT框之间的交并比损失IoU最大的一个训练预测框作为对应该目标GT框的训练候选框。
所述的步骤S7)中，针对每一个目标GT框和该目标GT框在步骤S6)中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失。
根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU损失进行计算获得边界框位置损失。
根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失。
根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失；
将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进Scaled-YOLOv4网络的整体损失值，将整体损失值反向传播至改进Scaled-YOLOv4网络中，并同时使用梯度下降法更新优化改进Scaled-YOLOv4网络的参数。
所述的步骤S11)中，针对每个最终预测框和每张检测预测特征图均进行以下操作：
获取最终预测框所在的检测预测特征图，获取检测预测特征图对应的待检测织物图像，根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行检测定位。
本发明的有益效果是：
(1)本发明对Scaled-YOLOv4网络进行改进，提高了网络特征融合的效率，在不增加额外代价的前提下融合了更多的特征，能够筛选对检测任务更有利的特征并进一步地加速了网络，同时在加速网络的同时基本不影响网络的检测精度，实现了网络精度和速度的双双提升。
(2)本发明大大加强了对织物瑕疵的检测能力并加快了检测效率，更适合并满足在实际工业场景下对织物进行实时瑕疵检测。
附图说明
图1是本发明方法的流程图；
图2是一个批次中经过Mosaic增强后的图像汇总；
图3是改进Scaled-YOLOv4网络的结构示意图；
图4是BiFPN结构示意图；
图5是快速通道注意力机制ECA计算示意图；
图6是织物图像样例的原图及检测效果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
具体实施例如下：
如图1所示，为本发明方法的流程示意图，方法包括如下步骤：
S1)获取天池布匹数据集，天池布匹数据集包括若干张天池布匹图像，天池布匹图像的尺寸为2048×1696像素；将天池布匹数据集依次进行织物瑕疵数据标注和数据增强处理，每张天池布匹图像上均数据标注获得若干织物瑕疵的目标GT框，并获得增强织物图像数据集，将增强织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像。
首先对织物图像数据集中的每张织物图像中的每个织物瑕疵进行类别和位置的数据标注，其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewing print、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold。
目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；然后使用Mosaic数据增强对织物图像数据集进行数据增强处理，在Mosaic数据增强后，织物图像数据集中的每张织物图像均会有20％的比例进行Mixup数据增强处理。
Mosaic数据增强具体为随机选择四张天池布匹图像，将四张天池布匹图像进行缩放，再拼接到一张图上作为增强织物图像，增强织物图像的尺寸和天池布匹图像的尺寸相同。如图2所示，为天池布匹图像经过数据增强后的图像，对该图像按照本发明方法的流程图进行处理，以详细说明本发明所述方法对于提高检测精度的效果。
S2)按照预设比例将扩展织物图像数据集进行划分，获得训练集、验证集和测试集，训练集、验证集和测试集的预设比例为8：1：1。
S3)根据目标GT框的数据标注，使用Kmeans++聚类算法对训练集中的所有目标GT(Ground Truth)框进行聚类，得到9个先验框。
通过目标GT框的数据标记获取目标GT框的宽和高，使用Kmeans++算法根据目标GT框的宽和高对训练集中的所有目标GT框进行聚类，得到9个聚类中心坐标，以9个聚类中心坐标分别作为宽和高构成9个先验框。
S4)搭建改进Scaled-YOLOv4网络，如图3所示，改进Scaled-YOLOv4网络包括依次连接的改进主干网络CSPDarknet53、改进BiFPN结构、改进预测头部分和三个损失函数Loss；如图4所示，为BiFPN结构示意图；如图5所示，为快速通道注意力机制ECA计算示意图。
S5)训练集中包括M张扩展织物图像，选取训练集中的8张扩展织物图像输入改进Scaled-YOLOv4网络中进行训练，8为M的约数，针对每张扩展织物图像，均输出3张训练预测特征图。
首先将8张扩展织物图像输入改进主干网络CSPDarknet53特征提取处理输出为3张不同尺度的训练有效特征图，尺度分别为20×20、40×40和80×80；然后将3张不同尺度的训练有效特征图输入改进BiFPN结构中进一步融合处理输出为3张不同尺度的训练融合特征图，尺度不变，分别为20×20、40×40和80×80；最后将3张不同尺度的融合特征图输入改进预测头部分进行通道数调整处理输出为3张训练预测特征图，通道数调整为num_anchor*(5+num_class)。
S6)针对每张扩展织物图像的3张训练预测特征图，将步骤S3)中的9个先验框均匀分布到3张训练预测特征图上，并根据3张训练预测特征图的图像信息对9个先验框进行调整，并分别获得9个训练预测框，根据目标GT框选取若干训练预测框作为训练候选框；9个先验框的尺寸分别为(7，8)、(15，14)、(30，33)、(25，188)、(639，34)、(639，49)、(71，636)、(639，71)和(639，637)。
针对每张扩展织物图像的3张训练预测特征图，均进行以下操作：
将9个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为3组先验框，根据3组先验框的尺度大小和3张训练预测特征图的尺度大小，将3组先验框分别分配到3张训练预测特征图上，即3组先验框按照尺度从小到大按顺序分配到尺度从大到小的3张训练预测特征图上；如对于20×20尺度的训练预测特征图，因其感受野最大，分配最大的3个尺寸的先验框(71，636)、(639，71)和(639，637)；对于40×40尺度的训练预测特征图，分配较大的3个尺寸的先验框(25，188)，(639，34)和(639，49)；对于80×80尺度的训练集网络输出特征图，分配最小的3个先验框(7，8)、(15，14)和(30，33)。训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度。
针对每张训练预测特征图，均进行以下操作：
将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息；针对每个锚点，均进行以下操作：
在锚点上叠加3个先验框，锚点对应一个num_anchor*(5+num_class)长度的锚点向量，其中，num_anchor表示锚点上先验框的数量，即为3，num_class表示织物瑕疵类别数目，即为9；将锚点向量进行维度拆分，获得3个分别对应于3个先验框的5+num_class长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到3个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度。
计算每个目标GT框与每个训练预测框之间的交并比损失IoU，获取与每个目标GT框之间的交并比损失IoU最大的一个训练预测框作为对应该目标GT框的训练候选框。
S7)根据训练候选框和目标GT框计算改进Scaled-YOLOv4网络的整体损失值，并使用梯度下降法更新改进Scaled-YOLOv4网络的参数。
针对每一个目标GT框和该目标GT框在步骤S6)中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失；
根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU(Complete-IoU)损失进行计算获得边界框位置损失；
根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失；
根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失；
将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进Scaled-YOLOv4网络的整体损失值，将整体损失值反向传播至改进Scaled-YOLOv4网络中，并同时使用梯度下降法更新优化改进Scaled-YOLOv4网络的参数。
S8)针对训练集中的每张扩展织物图像重复步骤S5)-S7)进行处理，当次重复选取的训练集中的8张扩展织物图像输入上一次重复步骤S7)后参数更新的改进Scaled-YOLOv4网络中处理，直至训练集中所有的扩展织物图像均输入参数更新的改进Scaled-YOLOv4网络处理过，获得此时的改进Scaled-YOLOv4网络作为预训练改进Scaled-YOLOv4网络。
预训练改进Scaled-YOLOv4网络的网络环境的Python版本为3.7以及深度学习框架为PyTorch 1.8，并使用CUDA平台进行加速；设置初始学习率为0.01，学习率调整策略为余弦退火衰减；使用Kaiming初始化方式对预训练改进Scaled-YOLOv4网络的权重进行初始化，不使用预训练权重。在训练过程中的每个周期批次epoch结束后进行预训练改进Scaled-YOLOv4网络的整体损失值计算。
S9)将验证集输入预训练改进Scaled-YOLOv4网络中处理，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据目标GT框选取若干验证预测框作为验证候选框。
根据验证候选框和目标GT框计算验证集中各个织物类别的精确度值AP，并计算所有精确度值AP的平均精确度值mAP。
S10)重复步骤S8)-S9)，直至多次获得的平均精确度值mAP等于一个固定值，获得此时的预训练改进Scaled-YOLOv4网络作为训练完成的改进Scaled-YOLOv4网络。
S11)将测试集输入训练完成的改进Scaled-YOLOv4网络中处理，针对测试集中的每张扩展织物图像，均输出3张测试预测特征图；对3张测试预测特征图进行步骤S6)中处理3张训练预测特征图的相同的处理，获得若干测试预测框；对所有测试预测框按照置信度得分进行排序，使用非极大值抑制NMS去除若干测试预测框中的冗余框，保留的测试预测框作为最终预测框。
根据测试预测特征图和待检测织物图像的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。
针对每个最终预测框和每张检测预测特征图均进行以下操作：
获取最终预测框所在的检测预测特征图，获取检测预测特征图对应的待检测织物图像，根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行检测定位。
在实际工业场景下，获取待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集进行步骤S11)中处理测试集的相同的处理，最终实现待检测织物图像的织物瑕疵的检测定位。
如图6所示，是天池布匹数据集中的原图及检测效果图，如表1所示，是改进Scaled-YOLOv4网络在天池布匹数据集上的各类别平均精确度值mAP(mean AveragePrecision)、准确率P(Precision)、召回率R(Recall)等计算结果，针对织物瑕疵的改进，我们提出的改进Scaled-YOLOv4网络对天池布匹数据集计算得到的mAP值达到了75％，相较原始Scaled-YOLOv4网络提升了8％，同时在检测速度和模型大小方面也有一定的提升，可以看出，本发明能够实现对多种类别瑕疵的检测，并在大多数类别的瑕疵上取得了较高的检测准确率，可以满足实际工业场景中的检测需求。
表1
Figure BDA0003526117420000121
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (9)

1.一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
方法步骤如下：
S1)采集织物图像，建立织物图像数据集，将织物图像数据集依次进行织物瑕疵数据标注和数据增强处理，每张织物图像上均数据标注获得若干织物瑕疵的目标GT框，并获得增强织物图像数据集，将增强织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像；
S2)按照预设比例将扩展织物图像数据集进行划分，获得训练集和验证集；
S3)根据目标GT框的数据标注，使用Kmeans++聚类算法对训练集中的所有目标GT框进行聚类，得到K个先验框；
S4)搭建改进Scaled-YOLOv4网络；
S5)训练集中包括M张扩展织物图像，选取训练集中的X张扩展织物图像输入改进Scaled-YOLOv4网络中进行训练，针对每张扩展织物图像，均输出N张训练预测特征图；
S6)针对每张扩展织物图像的N张训练预测特征图，将步骤S3)中的K个先验框均匀分布到N张训练预测特征图上，并根据训练预测特征图的图像信息对K个先验框进行调整，并分别获得K个训练预测框，根据目标GT框选取若干训练预测框作为训练候选框；
S7)根据训练候选框和目标GT框计算改进Scaled-YOLOv4网络的整体损失值，并使用梯度下降法更新改进Scaled-YOLOv4网络的参数；
S8)针对训练集中的每张扩展织物图像重复步骤S5)-S7)进行处理，当次重复选取的训练集中的X张扩展织物图像输入上一次重复步骤S7)后参数更新的改进Scaled-YOLOv4网络中处理，直至训练集中所有的扩展织物图像均输入参数更新的改进Scaled-YOLOv4网络处理过，获得此时的改进Scaled-YOLOv4网络作为预训练改进Scaled-YOLOv4网络；
S9)将验证集输入预训练改进Scaled-YOLOv4网络中处理，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据目标GT框选取若干验证预测框作为验证候选框；
根据验证候选框和目标GT框计算验证集中各个织物类别的精确度值AP，并计算所有精确度值AP的平均精确度值mAP；
S10)重复步骤S8)-S9)，直至多次获得的平均精确度值mAP等于一个固定值，获得此时的预训练改进Scaled-YOLOv4网络作为训练完成的改进Scaled-YOLOv4网络；
S11)获取待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集输入训练完成的改进Scaled-YOLOv4网络中处理，针对每张待检测织物图像，均输出N张检测预测特征图；对N张检测预测特征图进行步骤S6)中处理N张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，保留的检测预测框作为最终预测框；
根据检测预测特征图和待检测织物图像的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。
2.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S1)中，首先对织物图像数据集中的每张织物图像中的每个织物瑕疵进行类别和位置的数据标注，其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewingprint、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold；
目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；
然后使用Mosaic数据增强对织物图像数据集进行数据增强处理，在Mosaic数据增强后，织物图像数据集中的每张织物图像均会有20％的比例进行Mixup数据增强处理。
3.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S2)中，训练集和验证集的预设比例为8：1。
4.根据权利要求2所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S3)中，通过目标GT框的数据标记获取目标GT框的宽和高，使用Kmeans++算法根据目标GT框的宽和高对训练集中的所有目标GT框进行聚类，得到K个聚类中心坐标，以K个聚类中心坐标分别作为宽和高构成K个先验框。
5.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S4)中，改进Scaled-YOLOv4网络包括依次连接的改进主干网络CSPDarknet53、改进BiFPN结构、改进预测头部分和三个损失函数Loss：
a)改进主干网络CSPDarknet53：
改进主干网络CSPDarknet53包括依次连接的五层瓶颈结构层，第一层瓶颈结构层中包括瓶颈结构模块Bottleneck，第二层瓶颈结构层中包括第一CSP瓶颈结构模块BottleneckCSP，第三层瓶颈结构层中包括第二CSP瓶颈结构模块BottleneckCSP，第四层瓶颈结构层中包括依次连接的第三CSP瓶颈结构模块BottleneckCSP和第一激活函数Hard-Swish，第五层瓶颈结构层中包括依次连接的第四CSP瓶颈结构模块BottleneckCSP和第二激活函数Hard-Swish；改进主干网络CSPDarknet53的输入依次经五层瓶颈结构层处理后尺度逐渐变小，第三至五层瓶颈结构层的输出均作为改进主干网络CSPDarknet53的输出；
CSP瓶颈结构模块BottleneckCSP的结构相同，均为融合了CSP结构的瓶颈结构模块，CSP结构为跨阶段局部结构；
CSP瓶颈结构模块BottleneckCSP包括第一1×1卷积层、瓶颈结构Bottleneck层、第二1×1卷积层、第三1×1卷积层和融合函数Concat，CSP瓶颈结构模块BottleneckCSP的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至瓶颈结构Bottleneck层和第二1×1卷积层处理，第三1×1卷积层处理的输出和第二1×1卷积层处理的输出经过融合函数Concat处理后输出，输出结果作为CSP瓶颈结构模块BottleneckCSP的输出；
瓶颈结构Bottleneck层包括n个瓶颈结构模块Bottleneck，第一CSP瓶颈结构模块BottleneckCSP、第二CSP瓶颈结构模块BottleneckCSP、第三CSP瓶颈结构模块BottleneckCSP和第四CSP瓶颈结构模块BottleneckCSP的瓶颈结构Bottleneck层中的瓶颈结构模块Bottleneck的数目n分别为2、8、4和4；
b)改进BiFPN结构：
改进BiFPN结构包括三层融合层，第一层融合层包括第五CSP瓶颈结构模块BottleneckCSP和第三激活函数Hard-Swish；第二层融合层包括第六CSP瓶颈结构模块BottleneckCSP、第四激活函数Hard-Swish、第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard-Swish；第三层融合层包括CSP结构空间金字塔池化模块SPPCSP、快速通道注意力机制ECA、第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard-Swish；
第三层瓶颈结构层的输出作为第一层融合层的输入，第四层瓶颈结构层的输出作为第二层融合层的输入，第五层瓶颈结构层的输出作为第三层融合层的输入，三层融合层的输入的尺度与各自的输出的尺度相同，改进BiFPN结构的三层融合层的输出均作为改进BiFPN结构的输出；
第三层融合层的输入依次输入至CSP结构空间金字塔池化模块SPPCSP和快速通道注意力机制ECA中处理输出第三中间输出，第三中间输出再经过下采样后与第二层融合层的输入融合，融合后依次输入至第二层融合层的第六CSP瓶颈结构模块BottleneckCSP和第四激活函数Hard-Swish中处理输出第二中间输出，第二中间输出经上采样后与第三中间输出融合，融合后再经第三层融合层的第八CSP瓶颈结构模块BottleneckCSP和第六激活函数Hard-Swish处理后输出为第三层融合层的输出；
第二中间输出再经过下采样后与第一层融合层的输入融合，融合后依次输入至第一层融合层的第五CSP瓶颈结构模块BottleneckCSP和第三激活函数Hard-Swish中处理输出第一中间输出，第一中间输出直接作为第一层融合层的输出；
第一中间输出再经上采样后与第二融合层的输入以及第二中间输出融合，融合后依次输入至第二融合层的第七CSP瓶颈结构模块BottleneckCSP和第五激活函数Hard-Swish处理后输出为第二层融合层的输出；
CSP结构空间金字塔池化模块SPPCSP为引入了CSP结构的空间金字塔池化模块，SPP模块为空间金字塔池化模块，CSP结构为跨阶段局部结构；
c)改进预测头部分：
改进预测头部分包括三个预测头Head，改进BiFPN结构的第一层融合层的输出、第二层融合层的输出和第三层融合层的输出分别作为三个预测头Head的输入；
预测头Head包括依次连接的深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard-Swish和第二1×1卷积层；预测头Head的输入依次输入深度可分离卷积层DepSepConv、注意力机制SE、激活函数Hard-Swish和第二1×1卷积层后输出为预测头Head的输出；
d)损失函数Loss：
改进预测头部分的三个预测头Head的输出分别输入至三个损失函数Loss，三个损失函数Loss处理输出为输入的分类置信度损失边框置信度损失和交并比损失。
6.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S5)中，X为M的约数，N为K的约数。
7.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S6)中，针对每张扩展织物图像的N张训练预测特征图，均进行以下操作：
将K个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为N组先验框，根据N组先验框的尺度大小和N张训练预测特征图的尺度大小，将N组先验框分别分配到N张训练预测特征图上，即N组先验框按照尺度从小到大按顺序分配到尺度从大到小的N张训练预测特征图上；训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度；
针对每张训练预测特征图，均进行以下操作：
将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息；针对每个锚点，均进行以下操作：
在锚点上叠加K/N个先验框，锚点对应一个num_anchor*(5+num_class)长度的锚点向量，其中，num_anchor表示锚点上先验框的数量，即为K/N，num_class表示织物瑕疵类别数目，即为K；将锚点向量进行维度拆分，获得K/N个分别对应于K/N个先验框的5+num_class长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到K/N个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度；
计算每个目标GT框与每个训练预测框之间的交并比损失IoU，获取与每个目标GT框之间的交并比损失IoU最大的一个训练预测框作为对应该目标GT框的训练候选框。
8.根据权利要求7所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S7)中，针对每一个目标GT框和该目标GT框在步骤S6)中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失；
根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU损失进行计算获得边界框位置损失；
根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失；
根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失；
将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进Scaled-YOLOv4网络的整体损失值，将整体损失值反向传播至改进Scaled-YOLOv4网络中，并同时使用梯度下降法更新优化改进Scaled-YOLOv4网络的参数。
9.根据权利要求1所述的一种改进Scaled-YOLOv4的织物瑕疵检测方法，其特征在于：
所述的步骤S11)中，针对每个最终预测框和每张检测预测特征图均进行以下操作：
获取最终预测框所在的检测预测特征图，获取检测预测特征图对应的待检测织物图像，根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行检测定位。
CN202210193858.9A 2022-03-01 2022-03-01 改进Scaled-YOLOv4的织物瑕疵检测方法 Pending CN114549507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210193858.9A CN114549507A (zh) 2022-03-01 2022-03-01 改进Scaled-YOLOv4的织物瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193858.9A CN114549507A (zh) 2022-03-01 2022-03-01 改进Scaled-YOLOv4的织物瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN114549507A true CN114549507A (zh) 2022-05-27

Family

ID=81661186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210193858.9A Pending CN114549507A (zh) 2022-03-01 2022-03-01 改进Scaled-YOLOv4的织物瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN114549507A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782936A (zh) * 2022-06-17 2022-07-22 南京信息工程大学 一种基于改进yolov5s网络的行为检测方法
CN115049619A (zh) * 2022-06-16 2022-09-13 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN115049639A (zh) * 2022-07-21 2022-09-13 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110399884A (zh) * 2019-07-10 2019-11-01 浙江理工大学 一种特征融合自适应锚框模型车辆检测方法
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
WO2021253632A1 (zh) * 2020-06-19 2021-12-23 深圳新视智科技术有限公司 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110399884A (zh) * 2019-07-10 2019-11-01 浙江理工大学 一种特征融合自适应锚框模型车辆检测方法
WO2021244079A1 (zh) * 2020-06-02 2021-12-09 苏州科技大学 智能家居环境中图像目标检测方法
WO2021253632A1 (zh) * 2020-06-19 2021-12-23 深圳新视智科技术有限公司 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张丽瑶;王志鹏;徐功平;: "基于SSD的织物瑕疵检测的研究", 电子设计工程, no. 06, 20 March 2020 (2020-03-20) *
麻森权;周克;: "基于注意力机制和特征融合改进的小目标检测算法", 计算机应用与软件, no. 05, 12 May 2020 (2020-05-12) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049619A (zh) * 2022-06-16 2022-09-13 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN115049619B (zh) * 2022-06-16 2024-04-09 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN114782936A (zh) * 2022-06-17 2022-07-22 南京信息工程大学 一种基于改进yolov5s网络的行为检测方法
CN114782936B (zh) * 2022-06-17 2022-09-02 南京信息工程大学 一种基于改进yolov5s网络的行为检测方法
CN115049639A (zh) * 2022-07-21 2022-09-13 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法
CN115049639B (zh) * 2022-07-21 2024-04-26 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法

Similar Documents

Publication Publication Date Title
CN114549507A (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN110991435A (zh) 一种基于深度学习的快递运单关键信息定位方法和装置
CN113192040A (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN111626176B (zh) 一种基于动态注意力机制的遥感目标快速检测方法及系统
CN113658176A (zh) 基于交互注意力与卷积神经网络的瓷砖表面缺陷检测方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN115049619B (zh) 一种针对复杂场景的高效瑕疵检测方法
CN110929795A (zh) 高速焊线机焊点快速识别与定位方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115187544A (zh) 基于DR-RSBU-YOLOv5的织物瑕疵检测方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN111709936A (zh) 一种基于多级特征比对的令纸缺陷检测方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination