CN115049619A - 一种针对复杂场景的高效瑕疵检测方法 - Google Patents

一种针对复杂场景的高效瑕疵检测方法 Download PDF

Info

Publication number
CN115049619A
CN115049619A CN202210684734.0A CN202210684734A CN115049619A CN 115049619 A CN115049619 A CN 115049619A CN 202210684734 A CN202210684734 A CN 202210684734A CN 115049619 A CN115049619 A CN 115049619A
Authority
CN
China
Prior art keywords
layer
module
output
scale
fabric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210684734.0A
Other languages
English (en)
Other versions
CN115049619B (zh
Inventor
吕文涛
余序宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202210684734.0A priority Critical patent/CN115049619B/zh
Publication of CN115049619A publication Critical patent/CN115049619A/zh
Application granted granted Critical
Publication of CN115049619B publication Critical patent/CN115049619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种针对复杂场景的高效瑕疵检测方法。方法包括：建立扩展瑕疵图像数据集；划分为训练集和验证集和测试集；获得增强训练集；聚类得到先验框；搭建改进YOLOv5模型；基于增强训练集训练，其中每轮使用验证集验证精度；重复训练直到验证集上精度值收敛，保存当前权重；基于所得权重在测试集上计算各个织物瑕疵类别的平均精度均值；将待检测图像输入以进行瑕疵的检测定位。本发明方法解决了模型在复杂场景下检测中存在的特征不对齐、复杂背景干扰和跨层特征缺乏交互的问题，检测精度和效率具有较大优势，很好地满足了实际复杂场景中的实时性要求。

Description

一种针对复杂场景的高效瑕疵检测方法
技术领域
本发明涉及了一种织物瑕疵检测方法，具体涉及一种基于改进YOLOv5模型的针对复杂场景的高效瑕疵检测方法。
背景技术
由于制造能力的快速发展和产品质量要求的普遍提高，质量检验在工业生产过程中的作用越来越重要。与自然场景下的对象不同，细节信息在缺陷分类和定位中尤为重要。通常，预测前需要进行多级特征融合，上下采样操作会由于特征之间的像素级偏差(特征不对齐)而导致对象细节的混淆，从而影响最终的定位和细粒度分类任务。同时，跨层次特征之间缺乏交互，导致对整个特征金字塔中包含的全局信息利用不足。此外，瑕疵图像的复杂背景对非显著缺陷的检测有着严重的干扰。
现有的瑕疵检测方法大多基于通用目标检测器进行设计。然而，由于瑕疵形状的巨大差异和应用场景的多样性，通用目标检测器在应用于瑕疵检测和其他复杂的检测任务时存在许多问题。
发明内容
为了解决背景技术中存在的问题，本发明所提供一种基于改进的YOLOv5模型，用于复杂场景下的瑕疵检测。该方法将YOLOv5模型的特征融合网络进行了重新设计，划分为三个部分，分别称为对齐密集特征金字塔网络AD-FPN(Aligned Dense Feature PyramidNetwork)、自适应特征净化模块AFPM(Adaptive Feature Purification Module)和阶段性特征重分布模块PFRM(PHSAHSAe-wise Feature Redistribution Module)。这三个部分分别解决了YOLOv5模型在处理图像时的特征不对齐、复杂背景干扰和跨层特征缺乏交互的问题。使用所述方法进行工业产品图像的瑕疵检测，相较于现有的先进检测模型在检测精度和效率上都具有较大的优势，很好地满足了实际场景中的实时性要求。
本发明采用的技术方案是：
本发明的高效瑕疵检测方法包括如下步骤：
S1、采集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物的瑕疵类别进行织物瑕疵数据标注处理，每张织物图像上均通过织物瑕疵数据标注处理获得织物图像上的织物的若干织物瑕疵的目标GT框，进而获得标注织物图像，若干标注织物图像建立标注织物图像数据集；将标注织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像；目标GT(Ground Truth)为真实框。
S2、按照预设比例将扩展织物图像数据集划分为训练集和测试集，以及验证集，预设比例为8：1：1。
S3、将训练集进行数据增强处理，获得增强训练集，增强训练集中包括若干张增强扩展织物图像。
S4、使用Kmeans聚类算法对步骤S3中的各张增强扩展织物图像的所有目标GT框进行聚类，得到K个先验框。
S5、搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM。
S6、选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练，针对每张增强扩展织物图像，均输出N张训练预测特征图；
S7、针对每张增强扩展织物图像的N张训练预测特征图，将步骤S4中的K个先验框均匀分布到N张训练预测特征图上，并根据训练预测特征图的图像信息将K个先验框调整为K个训练预测框，根据增强扩展织物图像上的各个目标GT框选取若干训练预测框作为训练候选框。
S8、根据步骤S7中的各个训练候选框和各个目标GT框计算改进YOLOv5模型的整体损失值，并使用梯度下降法更新改进YOLOv5模型的参数，获得参数更新的改进YOLOv5模型。
S9、针对增强训练集中的每张增强扩展织物图像重复步骤S6-S8进行处理，当次重复选取的增强训练集中的X张增强扩展织物图像输入上一次重复步骤S8后参数更新的改进YOLOv5模型中处理，已选取处理过的增强扩展织物图像不进行重复选取，直至增强训练集中的所有的增强扩展织物图像均输入参数更新的改进YOLOv5模型处理过，获得此时的改进YOLOv5模型作为预训练改进YOLOv5模型。
S10、将验证集输入预训练改进YOLOv5模型中进行处理，验证集中包括若干张扩展织物图像，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据扩展织物图像的各个目标GT框选取若干验证预测框作为验证候选框；根据各个验证候选框和扩展织物图像的各个目标GT框计算验证集中各个织物瑕疵类别的平均精确度AP，并计算所有平均精确度AP的平均精确度均值mAP。
S11、重复步骤S9-S10，直至多次获得的平均精确度均值mAP等于或趋近于一个固定值，获得此时的预训练改进YOLOv5模型作为训练完成的改进YOLOv5模型。
S12、获取若干复杂场景下的待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集输入步骤S11中训练完成的改进YOLOv5模型中进行处理，针对每张待检测织物图像，均输出N张检测预测特征图，对N张检测预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，最终保留的检测预测框作为最终预测框；根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。
所述的步骤S1中，针对织物图像数据集中的每张织物图像，织物瑕疵数据标注处理具体为对织物图像中的每个织物瑕疵进行类别和位置的数据标注，即在每个织物瑕疵上标注一个目标GT框；每个目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标。
其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewing print、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold。
所述的步骤S3中，将训练集进行数据增强处理，训练集中包括若干张扩展织物图像，数据增强处理具体为使用Mosaic数据增强对各张扩展织物图像进行数据增强处理，从而获得若干张增强织物图像，将各张增强织物图像加入训练集中，建立增强训练集，增强训练集包括若干张增强扩展织物图像。
所述的步骤S4中，使用Kmeans聚类算法对步骤S3中的增强训练集的各张增强扩展织物图像的所有目标GT框进行聚类，具体为根据各个目标GT框的数据标注获取所有目标GT框的宽和高，使用Kmeans算法根据各个目标GT框的宽和高对增强训练集中的所有目标GT框进行聚类，得到K个聚类中心坐标，以K个聚类中心坐标分别作为宽和高构成K个先验框。
所述的步骤S5中，搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM，具体如下：
a)主干网络CSPDarknet_s：
主干网络CSPDarknet_s包括依次连接的五层瓶颈层，第一层瓶颈层中包括一个步长为2的卷积层，第二至四层瓶颈层中均包括依次连接的一个卷积层和一个瓶颈模块C3，第五层瓶颈层中包括依次连接的一个卷积层、一个瓶颈模块C3和一个快速空间金字塔池化模块SPPF；主干网络CSPDarknet_s的输入依次经五层瓶颈层中处理后尺度逐层减小，第三至五层瓶颈层的输出均作为主干网络CSPDarknet_s的输出。
瓶颈模块C3为融合了CSP结构的瓶颈模块，CSP结构为跨阶段局部结构；瓶颈模块C3包括第一1×1卷积层、n个依次连接的瓶颈结构模块Bottleneck、第二1×1卷积层、第三1×1卷积层和第一融合函数Concat，瓶颈模块C3的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至n个依次连接的瓶颈结构模块Bottleneck和第二1×1卷积层处理，第二1×1卷积层处理的输出和第三1×1卷积层处理的输出共同经过第一融合函数Concat处理后输出，输出结果作为瓶颈模块C3的输出；其中，第二至五层尺度层中的瓶颈模块C3中包含的瓶颈结构模块Bottleneck的数目n分别为1、2、3和1；瓶颈结构模块Bottleneck即残差模块Residual Block。
b)对齐密集特征金字塔网络AD-FPN：
对齐密集特征金字塔网络AD-FPN包括三层尺度层和两层过渡层，第一和三层尺度层中均包括依次连接的一个融合函数Concat和一个瓶颈模块C3，第二层尺度层中包括一个渐进融合模块，第一层和第二层过渡层中均包括两个融合函数Concat和两个瓶颈模块C3，其中，第一和三层尺度层中的瓶颈模块C3中均分别有三个瓶颈结构模块Bottleneck，第一层和第二层过渡层中的每个瓶颈模块C3均仅有一个瓶颈结构模块Bottleneck；将主干网络CSPDarknet_s中的第三至五层瓶颈层的输出分别作为对齐密集特征金字塔网络AD-FPN中第三层、第二层和第一层尺度层的输入。
第一层尺度层和第二层尺度层的输入分别经过上采样和下采样后共同输入第一层过渡层中处理，第一层过渡层的处理过程具体为第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果依次经过第一层过渡层中的第一个融合函数Concat和第一个瓶颈模块C3进行处理，处理结果和第一层尺度层的上采样结果以及第二层尺度层的输入的下采样结果共同经第一层过渡层中的第二个融合函数Concat和第二个瓶颈模块C3进行处理，处理的输出作为第一层过渡层的输出，第一层过渡层的输出分别输入至第一层尺度层和第二层尺层中处理；第一层过渡层的输出在第一层尺度层中和第一层尺度层的输入共同依次经第一层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第一层尺度层的输出；第二层尺度层和第三层尺度层的输入分别经过上采样和下采样后共同输入第二层过渡层中进行和第一层过度层中处理第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果的相同的处理过程，输出第二层过渡层的输出，第二层过渡层的输出分别输入至第二层尺度层和第三层尺层中处理；第二层过渡层的输出在第三层尺度层中和第三层尺度层的输入共同依次经第三层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第三层尺度层的输出；第一层过渡层的输出和第二层过渡层的输出在第二层尺度层中和第二层尺度层的输入共同经第二层尺度层的渐进融合模块处理，处理结果作为第二层尺度层的输出；第一至三层过渡层的输出均作为对齐密集特征金字塔网络AD-FPN的输出。
三个尺度层的尺度分别为20×20，40×40，80×80，两个过渡层的尺度分别为30×30，60×60；其中，上采样具体为进行1.5倍上采样处理，下采样具体为进行0.75倍下采样处理。
渐进融合模块包括第二融合函数Concat、第一瓶颈模块C3、第三融合函数Concat、第二瓶颈模块C3和半尺度对齐模块HSA，第一过渡层的输出和第二尺度层的输入共同经第二融合函数Concat处理后输入第一瓶颈模块C3处理，处理的输出和第二层过渡层的输出共同输入至半尺度对齐模块HSA中处理，处理结果和第一瓶颈模块C3的输出共同输入至第三融合函数Concat中处理，处理的输出最终经第二瓶颈模块C3处理后输出作为渐进融合模块的输出，即作为第二层尺度层的输出；其中，第一瓶颈模块C3中仅有一个瓶颈结构模块Bottleneck，第二瓶颈模块C3中有两个瓶颈结构模块Bottleneck。
c)自适应特征净化模块AFPM：
对齐密集特征金字塔网络AD-FPN中的第三层尺度层的输出作为自适应特征净化模块AFPM的输入；自适应特征净化模块AFPM包括全局平均池化层GAP、通道选择模块和特征净化模块FPM，自适应特征净化模块AFPM的输入依次经过全局平均池化层GAP和通道选择模块处理，处理结果经特征净化模块FPM处理后与自适应特征净化模块AFPM的输入相加，相加结果最为自适应特征净化模块AFPM的输出；自适应特征净化模块AFPM进行目标区域的特征加强处理。
通道选择模块包括依次连接的两个全连接层FC构成的瓶颈全连接层BottleneckFC，通道选择模块的输入经瓶颈全连接层Bottleneck FC处理后再进行二值化处理，输出的结果作为通道选择模块的输出。
特征净化模块FPM包括依次连接的一个1×1卷积层、一个深度卷积层和两个3×3卷积层；特征净化模块FPM的输入依次经一个1×1卷积层、一个深度卷积层和两个3×3卷积层处理后，处理结果和特征净化模块FPM的输入相乘，相乘结果再和特征净化模块FPM的输入相加，相加结果作为特征净化模块FPM的输出。
其中，通道选择模块将自适应特征净化模块AFPM的输入分为位置敏感的特征和位置不敏感的特征，通过通道选择处理输出其中的位置敏感的特征再进一步输入特征净化模块FPM处理。通道选择模块：首先通过全局平均池化GAP得到1x1xC的向量，然后通过两个全连接层FC构成的瓶颈全连接层Bottleneck FC进行通道间关系的建模，最后进行将建模后的向量进行二值化，输出的结果特征图的形状仍为1x1xC。处理过程中通过监督信号Supervision对特征净化模块FPM进行监督。
d)阶段性特征重分布模块PFRM：
第一层尺度层的输出、第二层尺度层的输出和自适应特征净化模块AFPM的输出共同作为阶段性特征重分布模块PFRM的输入；阶段性特征重分布模块PFRM包括第四融合函数Concat、第四1×1卷积层、通道注意力机制模块CA、第三瓶颈模块C3和第四瓶颈模块C3；第三瓶颈模块C3和第四瓶颈模块C3中均分别有1个瓶颈结构模块Bottleneck。
第一层尺度层的输出和自适应特征净化模块AFPM的输出分别进行上采样和下采样处理后和第二层尺度层的输出共同依次经第四融合函数Concat、第四1×1卷积层和通道注意力机制模块CA处理后，处理结果和第四1×1卷积层的输出相加，相加结果经第三瓶颈模块C3处理后输出中间特征输出；中间特征输出经第四瓶颈模块C3处理后和第一层尺度层的输出相加获得第一重分布结果；中间特征输出经第四瓶颈模块C3处理后和第二层尺度层的输出相加获得第二重分布结果；中间特征输出直接和自适应特征净化模块AFPM的输出相加获得第三重分布结果；第一重分布结果、第二重分布结果和第三重分布结果均作为阶段性特征重分布模块PFRM的输出。阶段性特征重分布模块PFRM进行促进跨层特征的交互处理。
所述的渐进融合模块中的半尺度对齐模块HSA包括第五融合函数Concat、第五1×1卷积层、第一3×3卷积层和网格采样函数grid_sample，对齐密集特征金字塔网络AD-FPN的第二过渡层的输出经过半尺度上采样后和渐进融合模块的第一瓶颈模块C3的输出共同依次经第五融合函数Concat、第五1×1卷积层和第一3×3卷积层处理，处理结果和第二过渡层的输出经过半尺度上采样后的结果共同经网格采样函数grid_sample处理，处理的输出作为渐进融合模块的输出。
对齐密集特征金字塔网络AD-FPN的第二过渡层的输出为形状为0.75H×0.75W×C的特征图，渐进融合模块的第一瓶颈模块C3的输出为形状为H×W×C的特征图，形状为0.75H×0.75W×C的特征图和形状为H×W×C的特征图在通道维度上进行连接，再经过第五1×1卷积层、第一3×3卷积层进行回归处理，输出形状为H×W×2的偏移图offset，根据偏移图offset和网格采样函数grid_sample处对第二过渡层的输出的半尺度上采样结果进行调整后输出对齐后的特征图作为半尺度对齐模块HSA的输出。
所述的步骤S6中，选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练，增强训练集中包括M张增强扩展织物图像，其中，X为M的约数，N为K的约数，K值一般取为9；针对每张增强扩展织物图像，输入改进YOLOv5模型中处理后均输出N张训练预测特征图。
所述的步骤S7中，针对步骤S6中的每张增强扩展织物图像的N张训练预测特征图，均进行以下操作：
将步骤S4中的K个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为N组先验框，根据N组先验框的尺度大小和N张训练预测特征图的尺度大小，将N组先验框分别分配到N张训练预测特征图上，即N组先验框按照尺度从小到大按顺序分配到尺度从大到小的N张训练预测特征图上；训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度。
针对每张训练预测特征图，均进行以下操作：
将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息。
针对每个锚点，均进行以下操作：
在锚点上叠加K/N个先验框，锚点对应一个长度为L的的锚点向量，L＝num_anchor*(5+num_class)，其中，num_anchor表示锚点上先验框的数量，即为K/N，num_class表示织物瑕疵类别数目，即为K；将锚点向量进行维度拆分，获得K/N个分别对应于K/N个先验框的(5+num_class)长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到K/N个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度。
针对增强扩展织物图像中的每个目标GT框和获得的各个训练预测框，均进行以下操作：
计算目标GT框与各个训练预测框之间的交并比损失IoU，各个训练预测框中与目标GT框之间的交并比损失IoU最大的一个训练预测框作为目标GT框的训练候选框。
所述的步骤S8中，针对每一个目标GT框和该目标GT框在步骤S7中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失：
根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU损失进行计算获得边界框位置损失。
根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失。
根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失。
将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进YOLOv5模型的整体损失值，将整体损失值反向传播至改进YOLOv5模型中的自适应特征净化模块AFPM中，并同时使用梯度下降法更新优化改进YOLOv5模型的参数。
所述的步骤S12中，根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位，具体为，针对每个最终预测框均进行以下操作：
选取最终预测框所在的一张检测预测特征图，同时选取检测预测特征图所对应的一张待检测织物图像，即上述步骤中通过对应的该张待检测织物图像处理获取检测预测特征图，故两者间对应；根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行织物检测定位，每个最终预测框均定位一种类别的织物瑕疵。
本发明的有益效果是：
(1)本发明提出了一种逐步细化改进YOLOv5模型，用于图像的复杂瑕疵检测，并在多个数据集上实现了最先进的性能。改进YOLOv5模型主要设计了由自适应特征净化模块AFPM、对齐密集特征金字塔网络AD-FPN和阶段性特征重分布模块PFRM组成的特征融合网络。特别地，本发明方法在大幅提升检测精度的同时也保证了推理效率。
(2)本发明自适应特征净化模块AFPM首先对通道进行分组，然后通过生成瑕疵区域的掩膜直接帮助网络从背景中区分瑕疵。特别是，使用直接的监督信号来稳定参数更新过程。
(3)本发明通过更细粒度的层划分和层间对齐，对齐密集特征金字塔网络AD-FPN极大地缓解了基于FPN的网络中存在的特征错位问题，并实现了瑕疵边界的精确表示。
(4)本发明阶段性特征重分布模块PFRM利用全局信息在不同阶段自适应地重新分布特征，动态补充各级特征的信息，实现更好的跨层交互方案。
附图说明
图1是本发明瑕疵检测方法流程图；
图2是一个批次中经过Mosaic增强后的图像汇总；
图3是改进YOLOv5模型的网络架构图；
图4是本发明的对齐密集特征金字塔网络AD-FPN结构和目前的FPN变体结构的对比示意图；
图5是半尺度对齐模块HSA的结构示意图；
图6是本发明自适应特征净化模块AFPM的结构示意图；
图7是本发明阶段性特征重分配模块PFRM的结构示意图；
图8是改进YOLOv5模型对待检测织物图像的检测效果图；
图9是改进YOLOv5模型对RSOD遥感数据集、表面瑕疵数据集NEU-DET和坑洼数据集上图像样例的检测效果图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明提供了一种基于改进YOLOv5模型的针对复杂场景的高效瑕疵检测方法，方法流程示意图如图1所示，具体实施例如下：
S1、采集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物的瑕疵类别进行织物瑕疵数据标注处理，每张织物图像上均通过织物瑕疵数据标注处理获得织物图像上的织物的若干织物瑕疵的目标GT框，进而获得标注织物图像，若干标注织物图像建立标注织物图像数据集；将标注织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像；目标GT(Ground Truth)为真实框。
步骤S1中，针对织物图像数据集中的每张织物图像，织物瑕疵数据标注处理具体为对织物图像中的每个织物瑕疵进行类别和位置的数据标注，即在每个织物瑕疵上标注一个目标GT框；每个目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewing print、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold。
S2、按照预设比例将扩展织物图像数据集划分为训练集和测试集，以及验证集，预设比例为8：1：1。
S3、将训练集进行数据增强处理，获得增强训练集，增强训练集中包括若干张增强扩展织物图像。
步骤S3中，将训练集进行数据增强处理，训练集中包括若干张扩展织物图像，数据增强处理具体为使用Mosaic数据增强对各张扩展织物图像进行数据增强处理，从而获得若干张增强织物图像，将各张增强织物图像加入训练集中，建立增强训练集，增强训练集包括若干张增强扩展织物图像。
Mosaic数据增强具体为随机选择训练集中的四张扩展织物图像，将四张扩展织物图像进行随机裁剪,再拼接到一张图获得一张增强织物图像，如图2所示，增强织物图像的尺度大小和扩展织物图像的尺度大小相同。
S4、使用Kmeans聚类算法对步骤S3中的各张增强扩展织物图像的所有目标GT框进行聚类，得到9个先验框。
步骤S4中，使用Kmeans聚类算法对步骤S3中的增强训练集的各张增强扩展织物图像的所有目标GT框进行聚类，具体为根据各个目标GT框的数据标注获取所有目标GT框的宽和高，使用Kmeans算法根据各个目标GT框的宽和高对增强训练集中的所有目标GT框进行聚类，得到9个聚类中心坐标，以9个聚类中心坐标分别作为宽和高构成9个先验框。
S5、搭建改进YOLOv5模型，如图3所示；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM。
步骤S5中，搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM，具体如下：
a)主干网络CSPDarknet_s：
主干网络CSPDarknet_s包括依次连接的五层瓶颈层，第一层瓶颈层中包括一个步长为2的卷积层，第二至四层瓶颈层中均包括依次连接的一个卷积层和一个瓶颈模块C3，第五层瓶颈层中包括依次连接的一个卷积层、一个瓶颈模块C3和一个快速空间金字塔池化模块SPPF；主干网络CSPDarknet_s的输入依次经五层瓶颈层中处理后尺度逐层减小，第三至五层瓶颈层的输出均作为主干网络CSPDarknet_s的输出。
瓶颈模块C3为融合了CSP结构的瓶颈模块，CSP结构为跨阶段局部结构；瓶颈模块C3包括第一1×1卷积层、n个依次连接的瓶颈结构模块Bottleneck、第二1×1卷积层、第三1×1卷积层和第一融合函数Concat，瓶颈模块C3的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至n个依次连接的瓶颈结构模块Bottleneck和第二1×1卷积层处理，第二1×1卷积层处理的输出和第三1×1卷积层处理的输出共同经过第一融合函数Concat处理后输出，输出结果作为瓶颈模块C3的输出；其中，第二至五层尺度层中的瓶颈模块C3中包含的瓶颈结构模块Bottleneck的数目n分别为1、2、3和1；瓶颈结构模块Bottleneck即残差模块Residual Block。
b)对齐密集特征金字塔网络AD-FPN：
对齐密集特征金字塔网络AD-FPN包括三层尺度层和两层过渡层，第一和三层尺度层中均包括依次连接的一个融合函数Concat和一个瓶颈模块C3，第二层尺度层中包括一个渐进融合模块，第一层和第二层过渡层中均包括两个融合函数Concat和两个瓶颈模块C3，其中，第一和三层尺度层中的瓶颈模块C3中均分别有三个瓶颈结构模块Bottleneck，第一层和第二层过渡层中的每个瓶颈模块C3均仅有一个瓶颈结构模块Bottleneck；将主干网络CSPDarknet_s中的第三至五层瓶颈层的输出分别作为对齐密集特征金字塔网络AD-FPN中第三层、第二层和第一层尺度层的输入。
第一层尺度层和第二层尺度层的输入分别经过上采样和下采样后共同输入第一层过渡层中处理，第一层过渡层的处理过程具体为第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果依次经过第一层过渡层中的第一个融合函数Concat和第一个瓶颈模块C3进行处理，处理结果和第一层尺度层的上采样结果以及第二层尺度层的输入的下采样结果共同经第一层过渡层中的第二个融合函数Concat和第二个瓶颈模块C3进行处理，处理的输出作为第一层过渡层的输出，第一层过渡层的输出分别输入至第一层尺度层和第二层尺层中处理；第一层过渡层的输出在第一层尺度层中和第一层尺度层的输入共同依次经第一层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第一层尺度层的输出；第二层尺度层和第三层尺度层的输入分别经过上采样和下采样后共同输入第二层过渡层中进行和第一层过度层中处理第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果的相同的处理过程，输出第二层过渡层的输出，第二层过渡层的输出分别输入至第二层尺度层和第三层尺层中处理；第二层过渡层的输出在第三层尺度层中和第三层尺度层的输入共同依次经第三层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第三层尺度层的输出；第一层过渡层的输出和第二层过渡层的输出在第二层尺度层中和第二层尺度层的输入共同经第二层尺度层的渐进融合模块处理，处理结果作为第二层尺度层的输出；第一至三层过渡层的输出均作为对齐密集特征金字塔网络AD-FPN的输出。如图4所示为对齐密集特征金字塔网络AD-FPN结构和目前的FPN变体结构的对比示意图
三个尺度层的尺度分别为20×20，40×40，80×80，两个过渡层的尺度分别为30×30，60×60；其中，上采样具体为进行1.5倍上采样处理，下采样具体为进行0.75倍下采样处理。
渐进融合模块包括第二融合函数Concat、第一瓶颈模块C3、第三融合函数Concat、第二瓶颈模块C3和半尺度对齐模块HSA，第一过渡层的输出和第二尺度层的输入共同经第二融合函数Concat处理后输入第一瓶颈模块C3处理，处理的输出和第二层过渡层的输出共同输入至半尺度对齐模块HSA中处理，处理结果和第一瓶颈模块C3的输出共同输入至第三融合函数Concat中处理，处理的输出最终经第二瓶颈模块C3处理后输出作为渐进融合模块的输出，即作为第二层尺度层的输出；其中，第一瓶颈模块C3中仅有一个瓶颈结构模块Bottleneck，第二瓶颈模块C3中有两个瓶颈结构模块Bottleneck。
c)自适应特征净化模块AFPM，如图6所示：
对齐密集特征金字塔网络AD-FPN中的第三层尺度层的输出作为自适应特征净化模块AFPM的输入；自适应特征净化模块AFPM包括全局平均池化层GAP、通道选择模块和特征净化模块FPM，自适应特征净化模块AFPM的输入依次经过全局平均池化层GAP和通道选择模块处理，处理结果经特征净化模块FPM处理后与自适应特征净化模块AFPM的输入相加，相加结果最为自适应特征净化模块AFPM的输出；自适应特征净化模块AFPM进行目标区域的特征加强处理。
通道选择模块包括依次连接的两个全连接层FC构成的瓶颈全连接层BottleneckFC，通道选择模块的输入经瓶颈全连接层Bottleneck FC处理后再进行二值化处理，输出的结果作为通道选择模块的输出。
特征净化模块FPM包括依次连接的一个1×1卷积层、一个深度卷积层和两个3×3卷积层；特征净化模块FPM的输入依次经一个1×1卷积层、一个深度卷积层和两个3×3卷积层处理后，处理结果和特征净化模块FPM的输入相乘，相乘结果再和特征净化模块FPM的输入相加，相加结果作为特征净化模块FPM的输出。
其中，通道选择模块将自适应特征净化模块AFPM的输入分为位置敏感的特征和位置不敏感的特征，通过通道选择处理输出其中的位置敏感的特征再进一步输入特征净化模块FPM处理。通道选择模块：首先通过全局平均池化GAP得到1x1xC的向量，然后通过两个全连接层FC构成的瓶颈全连接层Bottleneck FC进行通道间关系的建模，最后进行将建模后的向量进行二值化，输出的结果特征图的形状仍为1x1xC。处理过程中通过监督信号Supervision对特征净化模块FPM进行监督。
d)阶段性特征重分布模块PFRM，如图7所示：
第一层尺度层的输出、第二层尺度层的输出和自适应特征净化模块AFPM的输出共同作为阶段性特征重分布模块PFRM的输入；阶段性特征重分布模块PFRM包括第四融合函数Concat、第四1×1卷积层、通道注意力机制模块CA、第三瓶颈模块C3和第四瓶颈模块C3；第三瓶颈模块C3和第四瓶颈模块C3中均分别有1个瓶颈结构模块Bottleneck。
第一层尺度层的输出和自适应特征净化模块AFPM的输出分别进行上采样和下采样处理后和第二层尺度层的输出共同依次经第四融合函数Concat、第四1×1卷积层和通道注意力机制模块CA处理后，处理结果和第四1×1卷积层的输出相加，相加结果经第三瓶颈模块C3处理后输出中间特征输出；中间特征输出经第四瓶颈模块C3处理后和第一层尺度层的输出相加获得第一重分布结果；中间特征输出经第四瓶颈模块C3处理后和第二层尺度层的输出相加获得第二重分布结果；中间特征输出直接和自适应特征净化模块AFPM的输出相加获得第三重分布结果；第一重分布结果、第二重分布结果和第三重分布结果均作为阶段性特征重分布模块PFRM的输出。阶段性特征重分布模块PFRM进行促进跨层特征的交互处理。
如图5所示，渐进融合模块中的半尺度对齐模块HSA包括第五融合函数Concat、第五1×1卷积层、第一3×3卷积层和网格采样函数grid_sample，对齐密集特征金字塔网络AD-FPN的第二过渡层的输出经过半尺度上采样后和渐进融合模块的第一瓶颈模块C3的输出共同依次经第五融合函数Concat、第五1×1卷积层和第一3×3卷积层处理，处理结果和第二过渡层的输出经过半尺度上采样后的结果共同经网格采样函数grid_sample处理，处理的输出作为渐进融合模块的输出。
对齐密集特征金字塔网络AD-FPN的第二过渡层的输出为形状为0.75H×0.75W×C的特征图，渐进融合模块的第一瓶颈模块C3的输出为形状为H×W×C的特征图，形状为0.75H×0.75W×C的特征图和形状为H×W×C的特征图在通道维度上进行连接，再经过第五1×1卷积层、第一3×3卷积层进行回归处理，输出形状为H×W×2的偏移图offset，根据偏移图offset和网格采样函数grid_sample处对第二过渡层的输出的半尺度上采样结果进行调整后输出对齐后的特征图作为半尺度对齐模块HSA的输出。
S6、选取增强训练集中的16张增强扩展织物图像输入改进YOLOv5模型中进行训练，针对每张增强扩展织物图像，均输出3张训练预测特征图。
步骤S6中，选取增强训练集中的16张增强扩展织物图像作为一个批次输入改进YOLOv5模型中进行训练，增强训练集中包括M张增强扩展织物图像，其中，16为M的约数；针对每张增强扩展织物图像，输入改进YOLOv5模型中处理后均输出3张训练预测特征图。
S7、针对每张增强扩展织物图像的3张训练预测特征图，将步骤S4中的9个先验框均匀分布到3张训练预测特征图上，并根据训练预测特征图的图像信息将9个先验框调整为9个训练预测框，9个先验框的尺寸分别为(14，11)、(36，43)、(28，126)、(39，415)、(617，28)、(632，39)、(650，59)、(152，396)和(630，523)；根据增强扩展织物图像上的各个目标GT框选取若干训练预测框作为训练候选框。
步骤S7中，针对步骤S6中的每张增强扩展织物图像的3张训练预测特征图，尺度大小分别为20×20、40×40和80×80，均进行以下操作：将步骤S4中的9个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为3组先验框，根据3组先验框的尺度大小和3张训练预测特征图的尺度大小，将3组先验框分别分配到3张训练预测特征图上，即3组先验框按照尺度从小到大按顺序分配到尺度从大到小的3张训练预测特征图上，具体为将最大的3个尺寸为(650，59)、(152，396)和(630，523)的先验框分配到20×20尺度大小的训练预测特征图上，将3个尺寸为(39，415)、(617，28)和(632，39)的先验框分配到40×40尺度大小的训练预测特征图上，将最小的3个尺寸为(14，11)、(36，43)和(28，126)的先验框分配到40×40尺度大小的训练预测特征图上；训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度。
针对每张训练预测特征图，均进行以下操作：将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息。
针对每个锚点，均进行以下操作：在锚点上叠加3个先验框，锚点对应一个长度为L的的锚点向量，L＝num_anchor*(5+num_class)，其中，num_anchor表示锚点上先验框的数量，即为3，num_class表示织物瑕疵类别数目，即为9；将锚点向量进行维度拆分，获得3个分别对应于3个先验框的(5+num_class)长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到3个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度。
针对增强扩展织物图像中的每个目标GT框和获得的各个训练预测框，均进行以下操作：计算目标GT框与各个训练预测框之间的交并比损失IoU，各个训练预测框中与目标GT框之间的交并比损失IoU最大的一个训练预测框作为目标GT框的训练候选框。
S8、根据步骤S7中的各个训练候选框和各个目标GT框计算改进YOLOv5模型的整体损失值，并使用梯度下降法更新改进YOLOv5模型的参数，获得参数更新的改进YOLOv5模型。
步骤S8中，针对每一个目标GT框和该目标GT框在步骤S7中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失：根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU损失进行计算获得边界框位置损失；根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失；根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失；将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进YOLOv5模型的整体损失值，将整体损失值反向传播至改进YOLOv5模型中的自适应特征净化模块AFPM中，并同时使用梯度下降法更新优化改进YOLOv5模型的参数。
S9、针对增强训练集中的每张增强扩展织物图像重复步骤S6-S8进行处理，当次重复选取的增强训练集中的16张增强扩展织物图像输入上一次重复步骤S8后参数更新的改进YOLOv5模型中处理，已选取处理过的增强扩展织物图像不进行重复选取，直至增强训练集中的所有的增强扩展织物图像均输入参数更新的改进YOLOv5模型处理过，获得此时的改进YOLOv5模型作为预训练改进YOLOv5模型。
预训练改进YOLOv5的网络环境的Python版本为3.7和深度学习框架为PyTorch1.8，使用CUDA进行加速；设置初始学习率为0.01，优化器为随机梯度下降SGD(StocHSAHSAtic Gradient Descent)，学习率调整策略分为训练预热和余弦退火衰减两个阶段；使用Kaiming初始化方式对网络权重进行初始化，不使用预训练权重。
S10、将验证集输入预训练改进YOLOv5模型中进行处理，验证集中包括若干张扩展织物图像，针对验证集中的每张扩展织物图像，均输出3张验证预测特征图；对3张验证预测特征图进行步骤S7中处理3张训练预测特征图的相同的处理，获得若干验证预测框，根据扩展织物图像的各个目标GT框选取若干验证预测框作为验证候选框；根据各个验证候选框和扩展织物图像的各个目标GT框计算验证集中各个织物瑕疵类别的平均精确度AP，并计算所有平均精确度AP的平均精确度值均值mAP。
S11、重复步骤S9-S10，直至多次获得的平均精确度均值mAP等于或趋近于一个固定值，获得此时的预训练改进YOLOv5模型作为训练完成的改进YOLOv5模型，将训练集输入训练完成的改进YOLOv5模型中进行处理，获得的最终的改进YOLOv5模型直接作为训练完成的改进YOLOv5模型进行替换。
S12、获取若干复杂场景下的待检测织物图像，建立待检测织物图像数据集，如图2所示，选取天池布匹数据集作为待检测织物图像数据集，待检测织物图像的尺寸为2048×1696像素。将待检测织物图像数据集输入步骤S11中训练完成的改进YOLOv5模型中进行处理，针对每张待检测织物图像，均输出3张检测预测特征图，对3张检测预测特征图进行步骤S7中处理3张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，最终保留的检测预测框作为最终预测框；根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位，如图8所示。
步骤S12中，根据3张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位，具体为，针对每个最终预测框均进行以下操作：
选取最终预测框所在的一张检测预测特征图，同时选取检测预测特征图所对应的一张待检测织物图像，即上述步骤中通过对应的该张待检测织物图像处理获取检测预测特征图，故两者间对应；根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行织物检测定位，每个最终预测框均定位一种类别的织物瑕疵。
为了验证所提方法的性能，使用RSOD遥感数据集、表面瑕疵数据集NEU-DET和坑洼数据集上图像样例及其预设的瑕疵类别输入训练完成的改进YOLOv5模型中进行处理，结果如图9所示。最终计算平均精确度均值mAP(mean Average Precision)，并测量训练完成的改进YOLOv5模型的推理速度和模型大小，与目前的先进模型进行比较，结果如表1所示。可以看到本发明改进YOLOv5模型能够实现在各种复杂场景下的图像中的目标检测，并取得了可与其他先进算法相竞争的性能，平均精确度均值mAP可达到80.8％。
表1
Figure BDA0003697613060000171
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (10)

1.一种针对复杂场景的高效瑕疵检测方法，其特征在于：方法包括如下步骤：
S1、采集若干织物图像，建立织物图像数据集，将织物图像数据集根据织物的瑕疵类别进行织物瑕疵数据标注处理，每张织物图像上均通过织物瑕疵数据标注处理获得织物图像上的织物的若干织物瑕疵的目标GT框，进而获得标注织物图像，若干标注织物图像建立标注织物图像数据集；将标注织物图像数据集加入织物图像数据集中建立扩展织物图像数据集，扩展织物图像数据集包括若干张扩展织物图像；
S2、按照预设比例将扩展织物图像数据集划分为训练集和测试集；
S3、将训练集进行数据增强处理，获得增强训练集，增强训练集中包括若干张增强扩展织物图像；
S4、使用Kmeans聚类算法对步骤S3中的各张增强扩展织物图像的所有目标GT框进行聚类，得到K个先验框；
S5、搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM；
S6、选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练，针对每张增强扩展织物图像，均输出N张训练预测特征图；
S7、针对每张增强扩展织物图像的N张训练预测特征图，将步骤S4中的K个先验框均匀分布到N张训练预测特征图上，并根据训练预测特征图的图像信息将K个先验框调整为K个训练预测框，根据增强扩展织物图像上的各个目标GT框选取若干训练预测框作为训练候选框；
S8、根据步骤S7中的各个训练候选框和各个目标GT框计算改进YOLOv5模型的整体损失值，并使用梯度下降法更新改进YOLOv5模型的参数，获得参数更新的改进YOLOv5模型；
S9、针对增强训练集中的每张增强扩展织物图像重复步骤S6-S8进行处理，当次重复选取的增强训练集中的X张增强扩展织物图像输入上一次重复步骤S8后参数更新的改进YOLOv5模型中处理，已选取处理过的增强扩展织物图像不进行重复选取，直至增强训练集中的所有的增强扩展织物图像均输入参数更新的改进YOLOv5模型处理过，获得此时的改进YOLOv5模型作为预训练改进YOLOv5模型；
S10、将验证集输入预训练改进YOLOv5模型中进行处理，验证集中包括若干张扩展织物图像，针对验证集中的每张扩展织物图像，均输出N张验证预测特征图；对N张验证预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干验证预测框，根据扩展织物图像的各个目标GT框选取若干验证预测框作为验证候选框；根据各个验证候选框和扩展织物图像的各个目标GT框计算验证集中各个织物瑕疵类别的平均精确度AP，并计算所有平均精确度AP的平均精确度均值mAP；
S11、重复步骤S9-S10，直至多次获得的平均精确度均值mAP等于一个固定值，获得此时的预训练改进YOLOv5模型作为训练完成的改进YOLOv5模型；
S12、获取若干待检测织物图像，建立待检测织物图像数据集，将待检测织物图像数据集输入步骤S11中训练完成的改进YOLOv5模型中进行处理，针对每张待检测织物图像，均输出N张检测预测特征图，对N张检测预测特征图进行步骤S7中处理N张训练预测特征图的相同的处理，获得若干检测预测框；使用非极大值抑制NMS去除若干检测预测框中的冗余框，最终保留的检测预测框作为最终预测框；根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。
2.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S1中，针对织物图像数据集中的每张织物图像，织物瑕疵数据标注处理具体为对织物图像中的每个织物瑕疵进行类别和位置的数据标注，即在每个织物瑕疵上标注一个目标GT框；每个目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示目标GT框内所含织物瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；
其中织物瑕疵共包括九种类别：缝头sewing、缝头印sewing print、褶皱scrimp、虫沾bug、织疵flaw、色差color shade、漏印miss print、破洞hole和网折fold。
3.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S3中，将训练集进行数据增强处理，训练集中包括若干张扩展织物图像，数据增强处理具体为使用Mosaic数据增强对各张扩展织物图像进行数据增强处理，从而获得若干张增强织物图像，将各张增强织物图像加入训练集中，建立增强训练集，增强训练集包括若干张增强扩展织物图像。
4.根据权利要求2所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S4中，使用Kmeans聚类算法对步骤S3中的增强训练集的各张增强扩展织物图像的所有目标GT框进行聚类，具体为根据各个目标GT框的数据标注获取所有目标GT框的宽和高，使用Kmeans算法根据各个目标GT框的宽和高对增强训练集中的所有目标GT框进行聚类，得到K个聚类中心坐标，以K个聚类中心坐标分别作为宽和高构成K个先验框。
5.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S5中，搭建改进YOLOv5模型；改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、对齐密集特征金字塔网络AD-FPN、自适应特征净化模块AFPM和阶段性特征重分布模块PFRM，具体如下：
a)主干网络CSPDarknet_s：
主干网络CSPDarknet_s包括依次连接的五层瓶颈层，第一层瓶颈层中包括一个卷积层，第二至四层瓶颈层中均包括依次连接的一个卷积层和一个瓶颈模块C3，第五层瓶颈层中包括依次连接的一个卷积层、一个瓶颈模块C3和一个快速空间金字塔池化模块SPPF；主干网络CSPDarknet_s的输入依次经五层瓶颈层中处理后尺度逐层减小，第三至五层瓶颈层的输出均作为主干网络CSPDarknet_s的输出；
瓶颈模块C3包括第一1×1卷积层、n个依次连接的瓶颈结构模块Bottleneck、第二1×1卷积层、第三1×1卷积层和第一融合函数Concat，瓶颈模块C3的输入分别输入至第一1×1卷积层和第三1×1卷积层进行处理，第一1×1卷积层的输出依次输入至n个依次连接的瓶颈结构模块Bottleneck和第二1×1卷积层处理，第二1×1卷积层处理的输出和第三1×1卷积层处理的输出共同经过第一融合函数Concat处理后输出，输出结果作为瓶颈模块C3的输出；其中，第二至五层尺度层中的瓶颈模块C3中包含的瓶颈结构模块Bottleneck的数目n分别为1、2、3和1；
b)对齐密集特征金字塔网络AD-FPN：
对齐密集特征金字塔网络AD-FPN包括三层尺度层和两层过渡层，第一和三层尺度层中均包括依次连接的一个融合函数Concat和一个瓶颈模块C3，第二层尺度层中包括一个渐进融合模块，第一层和第二层过渡层中均包括两个融合函数Concat和两个瓶颈模块C3，其中，第一和三层尺度层中的瓶颈模块C3中均分别有三个瓶颈结构模块Bottleneck，第一层和第二层过渡层中的每个瓶颈模块C3均仅有一个瓶颈结构模块Bottleneck；将主干网络CSPDarknet_s中的第三至五层瓶颈层的输出分别作为对齐密集特征金字塔网络AD-FPN中第三层、第二层和第一层尺度层的输入；
第一层尺度层和第二层尺度层的输入分别经过上采样和下采样后共同输入第一层过渡层中处理，第一层过渡层的处理过程具体为第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果依次经过第一层过渡层中的第一个融合函数Concat和第一个瓶颈模块C3进行处理，处理结果和第一层尺度层的上采样结果以及第二层尺度层的输入的下采样结果共同经第一层过渡层中的第二个融合函数Concat和第二个瓶颈模块C3进行处理，处理的输出作为第一层过渡层的输出，第一层过渡层的输出分别输入至第一层尺度层和第二层尺层中处理；第一层过渡层的输出在第一层尺度层中和第一层尺度层的输入共同依次经第一层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第一层尺度层的输出；第二层尺度层和第三层尺度层的输入分别经过上采样和下采样后共同输入第二层过渡层中进行和第一层过度层中处理第一层尺度层的输入的上采样结果和第二层尺度层的输入的下采样结果的相同的处理过程，输出第二层过渡层的输出，第二层过渡层的输出分别输入至第二层尺度层和第三层尺层中处理；第二层过渡层的输出在第三层尺度层中和第三层尺度层的输入共同依次经第三层尺度层的融合函数Concat和瓶颈模块C3处理，处理的输出作为第三层尺度层的输出；第一层过渡层的输出和第二层过渡层的输出在第二层尺度层中和第二层尺度层的输入共同经第二层尺度层的渐进融合模块处理，处理结果作为第二层尺度层的输出；第一至三层过渡层的输出均作为对齐密集特征金字塔网络AD-FPN的输出；
渐进融合模块包括第二融合函数Concat、第一瓶颈模块C3、第三融合函数Concat、第二瓶颈模块C3和半尺度对齐模块HSA，第一过渡层的输出和第二尺度层的输入共同经第二融合函数Concat处理后输入第一瓶颈模块C3处理，处理的输出和第二层过渡层的输出共同输入至半尺度对齐模块HSA中处理，处理结果和第一瓶颈模块C3的输出共同输入至第三融合函数Concat中处理，处理的输出最终经第二瓶颈模块C3处理后输出作为渐进融合模块的输出，即作为第二层尺度层的输出；其中，第一瓶颈模块C3中仅有一个瓶颈结构模块Bottleneck，第二瓶颈模块C3中有两个瓶颈结构模块Bottleneck；
c)自适应特征净化模块AFPM：
对齐密集特征金字塔网络AD-FPN中的第三层尺度层的输出作为自适应特征净化模块AFPM的输入；自适应特征净化模块AFPM包括全局平均池化层GAP、通道选择模块和特征净化模块FPM，自适应特征净化模块AFPM的输入依次经过全局平均池化层GAP和通道选择模块处理，处理结果经特征净化模块FPM处理后与自适应特征净化模块AFPM的输入相加，相加结果最为自适应特征净化模块AFPM的输出；
通道选择模块包括依次连接的两个全连接层FC构成的瓶颈全连接层Bottleneck FC，通道选择模块的输入经瓶颈全连接层Bottleneck FC处理后再进行二值化处理，输出的结果作为通道选择模块的输出；
特征净化模块FPM包括依次连接的一个1×1卷积层、一个深度卷积层和两个3×3卷积层；特征净化模块FPM的输入依次经一个1×1卷积层、一个深度卷积层和两个3×3卷积层处理后，处理结果和特征净化模块FPM的输入相乘，相乘结果再和特征净化模块FPM的输入相加，相加结果作为特征净化模块FPM的输出。
d)阶段性特征重分布模块PFRM：
第一层尺度层的输出、第二层尺度层的输出和自适应特征净化模块AFPM的输出共同作为阶段性特征重分布模块PFRM的输入；阶段性特征重分布模块PFRM包括第四融合函数Concat、第四1×1卷积层、通道注意力机制模块CA、第三瓶颈模块C3和第四瓶颈模块C3；第三瓶颈模块C3和第四瓶颈模块C3中均分别有1个瓶颈结构模块Bottleneck；
第一层尺度层的输出和自适应特征净化模块AFPM的输出分别进行上采样和下采样处理后和第二层尺度层的输出共同依次经第四融合函数Concat、第四1×1卷积层和通道注意力机制模块CA处理后，处理结果和第四1×1卷积层的输出相加，相加结果经第三瓶颈模块C3处理后输出中间特征输出；中间特征输出经第四瓶颈模块C3处理后和第一层尺度层的输出相加获得第一重分布结果；中间特征输出经第四瓶颈模块C3处理后和第二层尺度层的输出相加获得第二重分布结果；中间特征输出直接和自适应特征净化模块AFPM的输出相加获得第三重分布结果；第一重分布结果、第二重分布结果和第三重分布结果均作为阶段性特征重分布模块PFRM的输出。
6.根据权利要求5所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的渐进融合模块中的半尺度对齐模块HSA包括第五融合函数Concat、第五1×1卷积层、第一3×3卷积层和网格采样函数grid_sample，对齐密集特征金字塔网络AD-FPN的第二过渡层的输出经过半尺度上采样后和渐进融合模块的第一瓶颈模块C3的输出共同依次经第五融合函数Concat、第五1×1卷积层和第一3×3卷积层处理，处理结果和第二过渡层的输出经过半尺度上采样后的结果共同经网格采样函数grid_sample处理，处理的输出作为渐进融合模块的输出。
7.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S6中，选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练，增强训练集中包括M张增强扩展织物图像，其中，X为M的约数，N为K的约数；针对每张增强扩展织物图像，输入改进YOLOv5模型中处理后均输出N张训练预测特征图。
8.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：所述的步骤S7中，针对步骤S6中的每张增强扩展织物图像的N张训练预测特征图，均进行以下操作：
将步骤S4中的K个先验框按照尺度大小进行排序，然后按照排序顺序均匀划分为N组先验框，根据N组先验框的尺度大小和N张训练预测特征图的尺度大小，将N组先验框分别分配到N张训练预测特征图上，即N组先验框按照尺度从小到大按顺序分配到尺度从大到小的N张训练预测特征图上；训练预测特征图的图像信息包括位置尺度调整信息、分类置信度和边框置信度；
针对每张训练预测特征图，均进行以下操作：
将训练预测特征图划分为H×W个网格单元，H和W分别为训练预测特征图的高和宽，其中每个网格单元中心称为锚点，锚点中均包含位置尺度调整信息、分类置信度和边框置信度，位置尺度调整信息即为宽高和中心点坐标的调整信息；
针对每个锚点，均进行以下操作：
在锚点上叠加K/N个先验框，锚点对应一个长度为L的锚点向量，L＝num_anchor*(5+num_class)，其中，num_anchor表示锚点上先验框的数量，即为K/N，num_class表示织物瑕疵类别数目，即为K；将锚点向量进行维度拆分，获得K/N个分别对应于K/N个先验框的(5+num_class)长度的一维调整向量，根据各个一维调整向量的位置尺度调整信息对各个先验框的位置和尺度进行调整，得到K/N个训练预测框，每个先验框获得一个训练预测框，训练预测框中包含分类置信度和边框置信度；
针对增强扩展织物图像中的每个目标GT框和获得的各个训练预测框，均进行以下操作：
计算目标GT框与各个训练预测框之间的交并比损失IoU，各个训练预测框中与目标GT框之间的交并比损失IoU最大的一个训练预测框作为目标GT框的训练候选框。
9.根据权利要求8所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：
所述的步骤S8中，针对每一个目标GT框和该目标GT框在步骤S7中获得的一个训练候选框，均进行以下操作：
将目标GT框转换为5+num_class长度的一维GT向量，一维GT向量中包含位置信息、分类置信度和边框置信度；训练候选框为通过一个一维调整向量调整得到，根据一维GT向量和该一维调整向量计算两者间的损失，包括边界框位置损失、分类置信度损失和边框置信度损失：
根据各个一维GT向量和各个一维调整向量各自的位置信息，使用CIoU损失进行计算获得边界框位置损失；
根据各个一维GT向量和各个一维调整向量各自的分类置信度，使用二元交叉熵损失计算获得分类置信度损失；
根据各个一维GT向量和各个一维调整向量各自的边框置信度，使用二元交叉熵损失计算获得边框置信度损失；
将边界框位置损失、分类置信度损失和边框置信度损失加权求和获得改进YOLOv5模型的整体损失值，将整体损失值反向传播至改进YOLOv5模型中，并同时使用梯度下降法更新优化改进YOLOv5模型的参数。
10.根据权利要求1所述的一种针对复杂场景的高效瑕疵检测方法，其特征在于：
所述的步骤S12中，根据N张检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位，具体为，针对每个最终预测框均进行以下操作：
选取最终预测框所在的一张检测预测特征图，同时选取检测预测特征图所对应的一张待检测织物图像根据检测预测特征图和待检测织物图像之间的比例关系，将最终预测框映射至待检测织物图像上，对检测织物图像上的织物瑕疵进行织物检测定位。
CN202210684734.0A 2022-06-16 2022-06-16 一种针对复杂场景的高效瑕疵检测方法 Active CN115049619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210684734.0A CN115049619B (zh) 2022-06-16 2022-06-16 一种针对复杂场景的高效瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210684734.0A CN115049619B (zh) 2022-06-16 2022-06-16 一种针对复杂场景的高效瑕疵检测方法

Publications (2)

Publication Number Publication Date
CN115049619A true CN115049619A (zh) 2022-09-13
CN115049619B CN115049619B (zh) 2024-04-09

Family

ID=83161273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210684734.0A Active CN115049619B (zh) 2022-06-16 2022-06-16 一种针对复杂场景的高效瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN115049619B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587975A (zh) * 2022-09-28 2023-01-10 国网湖北省电力有限公司超高压公司 充油设备套管积污缺陷诊断系统、方法和介质
CN117152484A (zh) * 2023-07-19 2023-12-01 南京林业大学 改进YOLOv5s的小目标布匹瑕疵检测方法
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113793319A (zh) * 2021-09-13 2021-12-14 浙江理工大学 基于类别约束字典学习模型的织物图像瑕疵检测方法及系统
CN114022446A (zh) * 2021-11-04 2022-02-08 广东工业大学 一种基于改进YOLOv3的皮革瑕疵检测方法及系统
CN114372968A (zh) * 2021-12-31 2022-04-19 江南大学 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN114549507A (zh) * 2022-03-01 2022-05-27 浙江理工大学 改进Scaled-YOLOv4的织物瑕疵检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113793319A (zh) * 2021-09-13 2021-12-14 浙江理工大学 基于类别约束字典学习模型的织物图像瑕疵检测方法及系统
CN114022446A (zh) * 2021-11-04 2022-02-08 广东工业大学 一种基于改进YOLOv3的皮革瑕疵检测方法及系统
CN114372968A (zh) * 2021-12-31 2022-04-19 江南大学 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN114549507A (zh) * 2022-03-01 2022-05-27 浙江理工大学 改进Scaled-YOLOv4的织物瑕疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭波 等, 基于改进YOLOV5模型的织物疵点检测算法, vol. 47, no. 5, 2 June 2022 (2022-06-02) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115587975A (zh) * 2022-09-28 2023-01-10 国网湖北省电力有限公司超高压公司 充油设备套管积污缺陷诊断系统、方法和介质
CN115587975B (zh) * 2022-09-28 2023-06-30 国网湖北省电力有限公司超高压公司 充油设备套管积污缺陷诊断系统、方法和介质
CN117152484A (zh) * 2023-07-19 2023-12-01 南京林业大学 改进YOLOv5s的小目标布匹瑕疵检测方法
CN117152484B (zh) * 2023-07-19 2024-03-26 南京林业大学 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN115049619B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN113192040B (zh) 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113674247B (zh) 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN115049619A (zh) 一种针对复杂场景的高效瑕疵检测方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN105139395B (zh) 基于小波池化卷积神经网络的sar图像分割方法
CN111626176B (zh) 一种基于动态注意力机制的遥感目标快速检测方法及系统
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN112966659B (zh) 一种基于深度学习的视频图像小目标检测方法
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN110415280B (zh) 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统
CN113449784B (zh) 基于先验属性图谱的图像多分类方法、装置、设备及介质
CN111914804A (zh) 多角度旋转遥感图像小目标检测方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN114359631A (zh) 基于编码-译码弱监督网络模型的目标分类与定位方法
CN115187544A (zh) 基于DR-RSBU-YOLOv5的织物瑕疵检测方法
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
CN114494250A (zh) 基于神经网络模型的地板缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant