CN117372332A - 一种基于改进YOLOv7模型的织物瑕疵检测方法 - Google Patents

一种基于改进YOLOv7模型的织物瑕疵检测方法 Download PDF

Info

Publication number
CN117372332A
CN117372332A CN202311149108.2A CN202311149108A CN117372332A CN 117372332 A CN117372332 A CN 117372332A CN 202311149108 A CN202311149108 A CN 202311149108A CN 117372332 A CN117372332 A CN 117372332A
Authority
CN
China
Prior art keywords
yolov7
training
fabric
frame
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311149108.2A
Other languages
English (en)
Inventor
郑泽宇
温苗苗
向忠
贾建辉
周光宝
刘丽娴
钱淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhiyi Technology Co ltd
Zhejiang Sci Tech University ZSTU
Original Assignee
Hangzhou Zhiyi Technology Co ltd
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhiyi Technology Co ltd, Zhejiang Sci Tech University ZSTU filed Critical Hangzhou Zhiyi Technology Co ltd
Priority to CN202311149108.2A priority Critical patent/CN117372332A/zh
Publication of CN117372332A publication Critical patent/CN117372332A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于改进YOLOv7模型的织物瑕疵检测方法，采集织物瑕疵图片并对原始图像数据集进行预处理，从RGB色彩空间转换到YCrCb色彩空间；将Bottleneck Transformer、Efficient Channel Attention和YOLOv7模型相结合，对YOLOv7模型进行改进，搭建ECTS‑YOLOv7网络模型；根据GIoU确定模型损失函数和性能评价指标；获得训练完成的ECTS‑YOLOv7网络模型；将数据集输入处理，得到最终的预测框图。使用本方法能有效的解决织物瑕疵图像中噪声和小瑕疵带来的影响，在保证处理速度的同时提升检测精度，且模型部署难度小，具有较强的工业生产实用性。

Description

一种基于改进YOLOv7模型的织物瑕疵检测方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于改进YOLOv7模型的织物瑕疵检测方法。
背景技术
纺织行业在我国国民经济体系中一直占据重要地位，随着经济的快速发展和人民生活水平的提高，消费市场对织物产品提出了新的质量要求。常见的织物瑕疵检测方法主要有两种方式：第一种为纯人工检测方式，即由检测人员站在验布设备前通过肉眼检测的方式发现织物疵点并对疵点进行标记或记录。除员工培训成本高外，在检测过程中仍存在漏检率高、速度慢、数据库不足等情况，且连续工作下人工易产生疲劳。第二种为单机质量检测模式，主要是通过机器视觉和计算机程序分析来检测织物疵点并实现分类。这种方式一般将程序固化到终端设备中，针对织物种类单一，自学习能力不足，且后期需要分别对每一终端设备进行维护，系统集成难度大，运营成本高昂。因此，设计一种高效的织物图像瑕疵检测方法是非常有必要。
深度学习神经网络具有识别种类多，准确率高等优点。在同样的识别场景下，使用深度学习神经网络进行目标识别可以有效抵抗颜色、纹理、光照等干扰条件，但其计算量极大，对硬件的要求非常高，限制了深度学习神经网络在性能有限的硬件上的部署。同时，现有的织物瑕疵检测模型存在噪声干扰和检测速度慢等问题，同时在检测精度和效率指标上也有待提高。织物瑕疵检测模型倾向于数据集全局信息，而织物瑕疵往往是微小的，过分关注全局信息容易忽略某些关键及重要的织物瑕疵局部信息，进而导致预测结果不精确问题的技术问题，且输入普遍由工业相机获取RGB色彩图片后转到灰度图下进行检测，但RGB的每个通道都包含亮度、饱和度和色调信息，采集环境极易对图像像素值产生影响。为获取更加真实稳定的织物灰度图，需要选取对自然因素不敏感的色彩空间。基于此，本发明设计一种基于色彩空间转换后进行灰度图的生成，再进一步优化现有的网络模型，在保证精度的同时减低参数量，实现织物瑕疵的检测和定位。
发明内容
本发明公开一种基于改进YOLOv7模型的织物瑕疵检测方法，该方法对数据集进行预处理，对工业相机获取的RGB色彩图片进行色彩空间转换，转换到YCrCb色彩空间后再转到灰度图下进行检测，有效减少了由相机采集图像的外部环境带来的干扰；在模型中，通过在主干网络特定位置加入注意力机制ECANet模块，在Head网络引入BoTNet模块，保证了重要的织物瑕疵局部信息，在进一步提升准确度的同时降低了参数量。。
为了实现上述目的，本发明所采用的技术方案为：
一种基于改进YOLOv7模型的织物瑕疵检测方法，包括如下内容：
步骤1：建立织物瑕疵图像数据集，将图像数据集从RGB色彩空间转换到YCrCb色彩空间后，进行训练集、验证集和测试集的划分；
步骤2：构建ECTS-YOLOv7网络模型；
ECTS-YOLOv7网络模型是将YOLOv7主干网络中每个E-ELAN层的最后一层Bconv替换为ECANet注意力机制模块，并且将YOLOv7的head网络中原有的ELAN-W模块替换为BoTNet模块所得到；
步骤3：从训练集中选取图像输入ECTS-YOLOv7网络模型进行训练，ECANet模块获取与通道对应的向量作为评价分数，评估每个特征图的重要程度，根据重要程度给每个特征通道赋予权重值；
步骤4：从训练集中选取图像输入ECTS-YOLOv7网络模型处理，每张图片在主干网络中产生特定阶层的有效特征图，在ECANet注意力模块使用一个波段矩阵Wk来学习通道注意力，使用不降维的GAP聚合卷积特征后，先自适应确定核大小k，然后进行一维卷积，再进行Sigmoid函数学习通道注意力，最后通过路径聚合网路将权重作用在原始通道的特征上，得到对应阶层的训练预测特征图；
步骤5：使用Kmeans++聚类算法将图像数据集中的扩展织物图像上的所有目标GT框进行聚类，得到K个先验框，将K个先验框均匀分布，根据训练预测特征图对K个先验框进行调整，每个先验框均经调整获得一个训练预测框，根据目标GT框选取若干个训练预测框作为训练候选框；
步骤6：根据训练预测特征图、调整后的候选框与目标GT框的差异计算出ECTS-YOLOv7网络模型的整体分类和回归损失，并将整体损失值反向传播至ECTS-YOLOv7网络模型中，并使用梯度下降法更新ECTS-YOLOv7网络模型的参数，获得参数更新的ECTS-YOLOv7网络模型；
步骤7：重复步骤3至步骤6对训练集中的每张图像进行处理，当次选取的图像经步骤4输出后，均重复步骤5和步骤6对ECTS-YOLOv7网络模型进行参数更新，直到训练集中的所有图像均训练完毕，参数更新后的ECTS-YOLOv7网络模型可作为预训练模型；
步骤8：将验证集中的扩展织物图像输入到预训练模型中进行处理，与步骤4中训练集进行相同操作后，得到对应阶层的验证预测特征图；每张输出的验证预测特征图与步骤5中训练预测特征图进行相同操作，输出验证预测框，根据验证预测框与目标GT框计算验证集损失，并计算织物瑕疵图像数据集中各类瑕疵在经过预训练模型处理后的单个类别平均精确度AP和所有类别的平均精确度mAP；
步骤9：重复步骤7和步骤8，直到织物瑕疵图像数据集中各类瑕疵的单个类别平均精确度AP和平均精确度mAP趋于一个稳定值，此时网络总损失曲线收敛，得到训练完成的ECTS-YOLOv7网络模型；
步骤10：将测试集中的扩展织物图像输入到训练完成的ECTS-YOLOv7网络模型中进行处理，对输出的每张测试预测特征图进行步骤5中训练预测特征图进行相同操作，输出测试预测框；根据NMS非极大值抑制原则进行筛选，去除测试预测框中的空白框，在保留的测试预测框中根据置信度筛选出最终测试预测框，实现织物瑕疵的检测和定位。
进一步，所述步骤1中的织物瑕疵图像数据集的构建方法如下：
使用工业相机采集若干张带有瑕疵的织物图像，使用LabelImg软件中的最小外接矩形框对每张图像中的每个瑕疵进行类别和位置的标注，目标GT框需完全框住每个瑕疵，目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；
对数据进行数据增强处理，获得标注增强织物图像，将采集到的所有图像和增强织物图像扩展为织物瑕疵图像数据集，扩展后的数据集不少于5000张，同时将保存类别的标签xml文件转化为yolo标签txt格式。
进一步，所述步骤5中获得K个先验框的方法如下：
使用Kmeans++聚类算法将图像数据集中的每张扩展织物图像上的所有目标GT框进行聚类，从图像数据集的目标GT框X中随机选取一个样本点作为第一个初始聚类中心，计算每个样本与当前聚类中心之间的最短距离D(x)，再计算每个样本点被选为下一个聚类中心的概率P(x)；
最后选择最大概率值所对应的样本点作为下一个聚类中心，重复选取，直到取得K个聚类中心，先验框由每个聚类中心的横坐标和纵坐标作为宽和高构成，最终得到K个先验框。
进一步，所述步骤1中，RGB色彩空间转换为YCrCb色彩空间方法如下：
Y’＝0.257*R'+0.504*G'+0.098*B'+16
Cb'＝-0.148*R'-0.291*G'+0.439*B'+128
Cr'＝0.439*R'-0.368*G'-0.071*B'+128
R'＝1.164*(Y’-16)+1.596*(Cr'-128)
G'＝1.164*(Y’-16)-0.813*(Cr'-128)-0.392*(Cb'-128)
B'＝1.164*(Y’-16)+2.017*(Cb'-128)。
进一步，所述步骤4中，ECA注意力机制首先通过全局平均池化操作计算每个通道的平均值，然后，对每个通道的平均值进行一维卷积计算该通道的注意力系数；最后，将注意力系数乘以原始输入数据，并将结果重组为与原始输入相同的形状，以获得加权的输入数据；
其中，注意力权重公式如下：
上式中，各参数含义如下：
Xi,j,c表示输入特征图X的第i行、第j列、第c个通道的像素值；
σ是sigmoid激活函数；WC表示注意力权重；H表示特征图的高；W表示特征图的宽；
表示全局池化后的特征图，c表示类别数，cj表示第j个通道属于第c个类别的概率；
通道注意力加权公式如下：
YC＝WCXC
上式中，YC表示加权后的通道特征图，XC表示输入特征图X的第c个通道；
深度注意力权重公式如下：
上式中，各参数含义如下：
Y*,*,c′表示加权后的通道特征图Y在所有像素位置上的第C′个通道的值；
W2,c′是1×1的卷积核；
Wd为深度注意力权重；
深度注意力加权公式如下：
Z＝WdY
其中，Z表示加权后的输出特征图，Y表示加权后的通道特征图；
输出特征图计算公式如下：
其中，F(X)表示特征提取器。
进一步，所述步骤7中，将每组训练得到的训练预测特征图划分为H×W个网格单元，H和W分别代表训练预测特征图的高和宽，网格单元中心称为锚点；将步骤5中K个先验框按尺度大小排序，均匀划分为N组先验框；同理，将训练预测特征图按尺度大小排序并划分，将每组先验框均分配到一张训练预测特征图上，再通过在锚点上叠加先验框，根据每个一维调整向量的位置尺度信息对各自的一个先验框的位置和尺度进行调整，从而得到一个训练预测框；针对每个目标GT框，计算目标GT框与每个训练预测框之间的交并比损失IoU，获取与目标GT框之间的交并比损失IoU最大的一个训练预测框作为训练候选框；
对于任意的两个A、B验证框，首先找到一个能够包住它们的最小方框C，然后计算C\(A∪B)的面积与C的面积的比值，再用A、B的IoU值减去这个比值得到GIoU；
IoU计算公式如下：
GIoU计算公式如下：
IoU＝0时，GIoU计算公式如下：
进一步，所述K个先验框中的K设为9，N组先验框中的N设为3，保证K/N是整数。
进一步，执行完步骤10后，使用以下目标检测指标对步骤10中的检测结果进行分析，以确定训练完成后ECTS-YOLOv7网络模型的检测性能；目标检测指标包括：单个类别平均精确度AP、所有类别的平均精确度mAP、查准率Precision、查全率Recall、速度FPS。
本发明所公开的织物瑕疵检测方法具有如下优点：
(1)本发明利用了YCrCb颜色空间特有的亮度色度优势，获得了具有不同色彩空间特性的灰度图像，有效减少外部环境干扰。
(2)本发明将主干网络Backbone改进并添加注意力机制模块ECANet，对卷积特征通道重新加权，增强重要特征之间的相互依赖，根据不同通道特征的重要程度赋予权重，从而使模型在保证速度的同时提升了识别性能。
(3)本发明利用BoTNet模块，有效降低参数量，更适合工业产业生产应用，同时因其引入二维的位置编码，更适合小目标检测。
综上，使用本发明的检测方法能有效的解决织物瑕疵图像中噪声和小瑕疵带来的影响，在保证处理速度的同时能够提升检测精度，且模型部署难度小，具有较强的工业生产实用性。
附图说明
图1为本发明织物瑕疵检测方法流程图；
图2为本发明ECTS-YOLOv7网络模型的结构示意图；
图3为本发明的ECANet结构示意图；
图4为本发明的BoTNet结构示意图；
图5为采用本发明检测方法对十种瑕疵检测的查准率-查全率曲线图；
图6为采用本发明检测方法对十种瑕疵检测的预测结果-真实结果对比图；
图7为采用本发明检测方法对两种织物瑕疵检测后的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本实施例公开一种基于改进YOLOv7模型的织物瑕疵检测方法，如图1所示，包括如下内容：
S1)使用高精度工业相机采集若干张带有瑕疵的织物图像，人工标注瑕疵类别，将采集到的所有图像和增强图像扩展为织物瑕疵图像数据集，扩展后的数据集需包含一定比例的扩展织物图像，数据集需满足网络模型的样本数量要求。
具体地，将每张采集到的织物图像依次对瑕疵进行标注，同时进行数据增强处理，处理完毕后统一归纳为织物瑕疵图像数据集。具体操作为：首先使用LabelImg软件中的最小外接矩形框对每张图像中的每个瑕疵进行类别和位置的标注，目标GT框需完全框住每个瑕疵，目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标。经数据增强处理(如图像翻转、旋转、增加噪声、改变对比度、改变亮度等)后获得标注增强织物图像，并将保存类别的标签xml文件转化为yolo标签txt格式。
S2)使用Kmeans++聚类算法将数据集中的扩展织物图像上的所有目标GT框进行聚类，得到K个先验框。
具体地，使用Kmeans++聚类算法将数据集中的每张扩展织物图像上的所有目标GT框进行聚类，从数据集的目标GT框X中随机选取一个样本点作为第一个初始聚类中心，计算每个样本与当前聚类中心之间的最短距离D(x)，再计算每个样本点被选为下一个聚类中心的概率P(x)。
概率P(x)如公式(1)所示：
最后选择最大概率值所对应的样本点作为下一个聚类中心，重复选取，直到取得K个聚类中心，先验框由每个聚类中心的横坐标和纵坐标作为宽和高构成，最终得到K个先验框。
S3)将数据集从RGB色彩空间转换到YCrCb色彩空间后，按照比例将处理后的数据集按照8:1:1比例将处理后的数据集划分为训练集、验证集和测试集。
相比于RGB色彩空间，YCrCb色彩空间有以下优点：YCrCb色彩空间中的亮度分量Y和色度分量Cb、Cr是分开表示的，而RGB色彩空间中的亮度分量R、G、B是分开表示的。这种分离方式可以更好地保留图像中的细节信息。YCrCb色彩空间中的色度分量Cb、Cr是通过减去亮度分量Y得到的，在计算过程中不会引入亮度值的信息，能有效对抗外界环境光源带来的影响。
将RGB色彩空间转换到YCrCb色彩空间，按以下方法进行转换：
Y’＝0.257*R'+0.504*G'+0.098*B'+16
Cb'＝-0.148*R'-0.291*G'+0.439*B'+128
Cr'＝0.439*R'-0.368*G'-0.071*B'+128
R'＝1.164*(Y’-16)+1.596*(Cr'-128)
G'＝1.164*(Y’-16)-0.813*(Cr'-128)-0.392*(Cb'-128)
B'＝1.164*(Y’-16)+2.017*(Cb'-128)。
完成色彩空间转换后，将处理后的数据集按8:1:1划分为训练集、验证集和测试集。处理后的标签文件分别放在labels文件夹下的train、test、val文件夹中，处理后的织物瑕疵图像分别放在images文件夹下的train、test、val文件夹中，并保证一一对应。同时创建yaml文件，保存训练集、验证集、测试集路径及织物瑕疵标签种类。
S4)如图2至图4所示，搭建ECTS-YOLOv7网络模型，使用ECANet注意力机制模块替换yolov7网络结构中backbone网络中的每个E-ELAN层的最后一层Bconv，通过对提取特征赋予权重，更注重织物瑕疵的局部信息。并将YOLOv7的head网络中原有的ELAN-W模块替换为BoTNet模块，降低参数量，便于工业化应用。
原yolov7模型更倾向于数据集全局信息，而织物瑕疵往往是微小的，过分关注全局信息容易忽略某些关键及重要的织物瑕疵局部信息，进而导致预测结果不精确。加入ECANet，在训练过程中通过反向传播来更新通道权重，然后使用梯度下降法或者其他优化算法来更新通道权重，增加抗背景干扰能力，以供模型分辨对有用特征和无用特征的关注程度。ECANet通过两个步骤实现通道注意力加权：1.提取通道特征2.计算通道权重。通过大小为k的快速一维卷积实现局部跨通道交互，为了避免通过交叉验证手动调整k，开发了一种自适应方法确定k，其中跨通道交互的覆盖范围(即核大小k)与通道维度成比例。
采用bottleneck块，可以大幅减少计算量，提高网络的效率。在网络深度较大时，可以降低网络的过拟合现象，提高网络的泛化能力。能够更好地学习输入数据的特征表示，能够提高模型的准确性。在小目标检测任务中，物体的尺寸相对较小，物体的特征比较细节化，而BoTNet网络的非线性变换和跨层连接可以帮助提取这些特征，并且有效减少信息在网络中的传递损失。BoTNet中的多头注意力机制可以帮助模型更好地关注局部特征和全局特征，增强网络对小目标的表达能力。该方法在实例分割和目标检测方面显著改善了基线，同时还减少了参数，从而使延迟最小化。MHSA Block是BoTNet模块的核心创新点，相对于传统Transformer中的MHSA，BoTNet模块使用了三个非线性激活，采用与CNN一致的BatchNorm进行归一化，同时引入二维的位置编码，使其对小物体检测有所提升。
ECTS-YOLOv7网络模型的整体流程为先对input输入的图片预处理，对齐成640x640x3大小的图片，将对齐后的图片输入到Backbone网络中，再将Backbone网络中的输出通过在ECANet注意力模块使用一个波段矩阵Wk来学习通道注意力，使用不降维的GAP聚合卷积特征后，先自适应确定核大小k，然后进行一维卷积，再通过Sigmoid归一化权重后通过路径聚合网络将权重作用在原始通道的特征上。输出三层不同size大小的feature map，最终输入到最后的Head网络中，对图像检测的三类任务(分类、前后背景分类、边框)预测，输出最后的结果。
ECANet注意力机制可以自适应地学习每个通道的重要性，并将其用于计算每个通道的权重。在这个过程中，ECA注意力机制首先通过全局平均池化操作计算每个通道的平均值，以获得该通道在整个数据集中的重要性分布。接下来，通过对每个通道的平均值应用一维卷积操作，可以计算该通道的注意力系数。最后，将注意力系数乘以原始输入数据，并将结果重组为与原始输入相同的形状，以获得加权的输入数据。
其中，注意力权重公式如下：
上式中，各参数含义如下：
Xi,j,c表示输入特征图X的第i行、第j列、第c个通道的像素值；
σ是sigmoid激活函数；WC表示注意力权重；H表示特征图的高；W表示特征图的宽；
表示全局池化后的特征图，c表示类别数，cj表示第j个通道属于第c个类别的概率；
上述公式将每个通道的平均值通过1×1的卷积层进行线性变换，得到每个通道的权重WC，再使用sigmoid激活函数将权重限制在0-1之间，用于对原始特征图在通道维度上进行加权。
通道注意力加权公式如下：在ECA注意力机制模块中，通道注意力加权公式用来提取输入特征图的通道注意力特征。
YC＝WCXC
上式中，YC表示加权后的通道特征图，XC表示输入特征图X的第c个通道；
深度注意力权重公式如下：该公式计算整个输入特征图的通道注意力权重的平均值，用于衡量通道注意力机制对于不同通道的重要性。在ECA注意力机制模块中，深度注意力机制的作用是提高通道注意力机制的表达能力，使得不同通道的注意力权重可以根据整个输入特征图的重要性进行调整。
上式中，各参数含义如下：
Y*,*,c′表示加权后的通道特征图Y在所有像素位置上的第C′个通道的值；
W2,c′是1×1的卷积核；
Wd为深度注意力权重；
上述公式将每个深度的平均值通过1×1的卷积层进行线性变换，得到每个深度的权重Wd，再使用σ激活函数将权重限制在0-1之间，用于对加权后的通道特征图在深度维度上进行加权。
深度注意力加权公式如下：该公式表示将输入特征图的通道注意力特征和深度注意力特征加权，得到最终的加权特征图。
Z＝WdY
其中，Z表示加权后的输出特征图，Y表示加权后的通道特征图。
最终输出特征图计算公式如下：
其中，F(X)表示特征提取器，将输入特征图X进行卷积运算等操作提取特征后得到输出特征图Y。σ为sigmoid函数，用于将通道注意力权重限制在[0,1]的范围内。最终输出的特征图Y是将特征提取器的输出乘以通道注意力权重。
通过ECANet注意力模块对输出的三个feature map进行平均池化操作，再使用两个全连接层得到通道间的相关性，减少参数与计算量，最后通过Sigmoid归一化权重后通过路径聚合网络将权重作用在原始通道的特征上。使用ECANet模块能够对卷积特征通道重新加权，增强重要特征之间的相互依赖，可以学习到不同通道特征的重要程度，从而产生更好的效果并提升识别性能。织物瑕疵的全局特征在某些情况下差别不大，如Sundries(杂物)和Oil stains(油污)的区别并不明显，某些Felter(跳纱)和Broken end(断经)极其相似，注意力机制ECANet能够增强织物瑕疵的重要特征，减弱不重要的特征，使得提取的瑕疵特征更加具有代表性且保留局部重要信息。如Sundries(杂物)和Oil stains(油污)的颜色、大小、污染程度等全局特征相似，但是表面纹理以及瑕疵形状有所不同，在没有进行ECANet操作前，两者特征信息相似，难以区分，经过ECANet操作后，一方面削弱了不重要的信息，另一方面突出了两种瑕疵表面纹理、瑕疵形状等重要特征，有利于准确识别出杂物与油污。通过引入BoTNet模块使用了三个非线性激活，采用与CNN一致的Batch Norm进行归一化，同时引入二维的位置编码，在提高对小目标检测的精确度的同时有效降低了参数量，并使延迟最小化。有助于实际生产中应用及部署。BoTNet中的多头注意力机制可以帮助模型更好地关注局部特征和全局特征，增强网络对小目标的表达能力。采用bottleneck块，大幅减少计算量，提高网络的效率，在网络深度较大时，可以降低网络的过拟合现象，提高网络的泛化能力。能够更好地学习输入数据的特征表示，能够提高模型的准确性。在小目标检测任务中，物体的尺寸相对较小，物体的特征比较细节化，而BoTNet网络的非线性变换和跨层连接可以帮助提取这些特征，并且有效减少信息在网络中的传递损失。BoTNet中的多头注意力机制可以帮助模型更好地关注局部特征和全局特征，增强网络对小目标的表达能力。该方法在实例分割和目标检测方面显著改善了基线，同时还减少了参数，从而使延迟最小化。MHSA Block是BoTNet模块的核心创新点，相对于传统Transformer中的MHSA，BoTNet模块使用了三个非线性激活，采用与CNN一致的Batch Norm进行归一化，同时引入二维的位置编码，使其对小物体检测有所提升。
S5)从训练集中选取一定数量的扩展织物图像输入到ECTS-YOLOv7网络模型进行训练，通过Backbone网络提取特征，并使用ECANet模块获取与通道对应的一维向量作为评价分数，得到用于织物图像瑕疵检测的有效特征，并通过路径聚合网络将特征融合。评估每个feature map的重要程度，利用重要程度给每一个特征通道赋予一个权重值，使得有效的feature map权重大，无效或效果小的feature map权重小，使模型达到更好的训练效果。
S6)从训练集中选取一定数量的扩展织物图像经ECTS-YOLOv7网络模型处理，每张图片在主干网络Backbone中产生特定阶层的有效特征图，在ECANet注意力模块使用一个波段矩阵Wk来学习通道注意力，使用不降维的GAP聚合卷积特征后，先自适应确定核大小k，然后进行一维卷积，再进行Sigmoid函数学习channel attention，最后通过路径聚合网络将权重作用在原始通道的特征上，得到对应阶层的训练预测特征图。
通过引入BoTNet模块使用了三个非线性激活，采用与CNN一致的Batch Norm进行归一化，同时引入二维的位置编码，在提高对小目标检测的精确度的同时有效降低了参数量，并使延迟最小化，有助于实际生产中应用及部署。
S7)每张训练预测特征图，将经Kmeans++聚类算法处理后的K个先验框均匀分布。根据训练预测特征图对K个先验框进行调整，每个先验框均经调整获得一个训练预测框，根据目标GT框选取各个训练预测框中的若干个训练预测框作为训练候选框。
具体地，将每组训练得到的训练预测特征图划分为H×W个网格单元，H和W分别代表训练预测特征图的高和宽，网格单元中心称为锚点；将经Kmeans++聚类算法处理后的K个先验框按尺度大小排序，均匀划分为N组先验框，一般将K设为9，N设为3，保证K/N是整数。同理，将训练预测特征图按尺度大小排序并划分，将每组先验框均分配到一张训练预测特征图上，再通过在锚点上叠加先验框，根据每个一维调整向量的位置尺度信息对各自的一个先验框的位置和尺度进行调整，从而得到一个训练预测框。针对每个目标GT框，计算目标GT框与每个训练预测框之间的交并比损失IoU，获取与目标GT框之间的交并比损失IoU最大的一个训练预测框作为训练候选框。
因IoU存在两个缺陷：1.如果两个验证框没有重叠，IoU将会为0,不能反应两个目标之间的距离，在无重叠验证框的情况下，如使用IoU作为损失函数，梯度为0，无法优化；2.IoU无法区分两个验证框之间不同的对齐方式，不同方向上有相同交叉级别的两个重叠验证框的IoU会完全相等。故本发明使用GIoU解决验证框不重合等问题。即：对于任意的两个A、B验证框，首先找到一个能够包住它们的最小方框C，然后计算C\(A∪B)的面积与C的面积的比值，再用A、B的IoU值减去这个比值得到GIoU，使用GIoU作为度量时始终是IoU的下限，具有非负性，同时考虑到了IoU没有考虑到的非重叠区域，能够反应出A、B验证框重叠的方式。
IoU计算公式如下：
GIoU计算公式如下：
IoU＝0时，GIoU计算公式如下：
S8)根据训练预测特征图、调整后的候选框与目标GT框的差异计算出ECTS-YOLOv7网络模型的整体分类和回归损失，并将整体损失值反向传播至ECTS-YOLOv7网络模型中，并使用梯度下降法更新ECTS-YOLOv7网络模型的参数，获得参数更新的ECTS-YOLOv7网络模型。
S9)重复步骤S4)-S8)对训练集中的每张织物图像均进行处理，当次选取的图像经S6)输出后，均重复步骤S7)-S8)对ECTS-YOLOv7网络模型进行参数更新，直到训练集中的所有图像均训练完毕，参数更新后的ECTS-YOLOv7网络模型可作为预训练模型。
S10)将验证集中的扩展织物图像输入到预训练ECTS-YOLOv7网络模型中进行处理，与步骤S6)中训练集进行相同操作后，得到对应阶层的验证预测特征图。每张输出的验证预测特征图与步骤S7)中训练预测特征图进行相同操作，输出验证预测框，根据验证预测框与目标GT框计算验证集损失考量该模型的泛化性能，并计算织物瑕疵图像数据集中各类瑕疵在经过预训练ECTS-YOLOv7网络模型处理后的单个类别平均精确度AP和所有类别的平均精确度mAP。
S11)重复步骤S9)-S10)，将整体损失值反向传播至ECTS-YOLOv7网络模型中，同时使用梯度下降法更新优化模型参数，直到织物瑕疵图像数据集中各类瑕疵的单个类别平均精确度AP和平均精确度mAP趋于一个稳定值，此时网络总损失曲线收敛，得到训练完成的ECTS-YOLOv7网络模型，此时更新模型权值文件(.pth文件)。
S12)将测试集中的扩展织物图像输入到训练完成的ECTS-YOLOv7网络模型中进行处理，对输出的每张测试预测特征图进行步骤S7)中训练预测特征图进行相同操作，输出测试预测框。根据NMS非极大值抑制原则进行筛选，去除测试预测框中的空白框，在保留的测试预测框中根据置信度筛选出最终测试预测框，实现织物瑕疵的检测和定位。
S13)使用以下目标检测常用指标：单个类别平均精确度AP、所有类别的平均精确度mAP、查准率Precision、查全率Recall、FPS等对步骤S12)中的织物瑕疵检测结果进行分析，考察ECTS-YOLOv7网络模型的检测性能。
为了验证本发明所提检测方法的性能，采用德国DAGM2007作为待检测织物图像数据集，这是一个包含10类瑕疵的各类纹理的表面缺陷图像数据集，分别采用现有YOLOv7网络模型和本发明的ECTS-YOLOv7网络模型对上述数据集进行预测对比，网络结构改进前后的检测数据对比见表2，表1为本发明改进后模型的检测数据。图5为采用本发明模型计算出的查准率与查全率的曲线，图6为采用本发明模型计算出的预测结果与真实结果对比图，图7为采用本发明模型检测后选取的其中两类缺陷的实际检测效果图。
本示例中使用预测结果计算如下：mAP@.5表示IoU设为0.5时，计算每一类的所有图片的AP，然后所有类别求平均；mAP@.5:.95表示在不同IoU阈值从0.5到0.95以步长0.05所有类别求平均的精确度；查准率Precision表示预测当中查找准确个数的比例；查全率Recall表示预测中预测对的比例。
表(1)：
表(2)：
由表(1)可知，本发明的检测方法可同时对多种类别的织物瑕疵进行检测，并满足检测任务精度要求。由表(2)可知，本发明的检测方法比传统YOLOv7模型检测效果更好。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于，包括如下内容：
步骤1：建立织物瑕疵图像数据集，将图像数据集从RGB色彩空间转换到YCrCb色彩空间后，进行训练集、验证集和测试集的划分；
步骤2：构建ECTS-YOLOv7网络模型；
ECTS-YOLOv7网络模型是将YOLOv7主干网络中每个E-ELAN层的最后一层Bconv替换为ECANet注意力机制模块，并且将YOLOv7的head网络中原有的ELAN-W模块替换为BoTNet模块所得到；
步骤3：从训练集中选取图像输入ECTS-YOLOv7网络模型进行训练，ECANet模块获取与通道对应的向量作为评价分数，评估每个特征图的重要程度，根据重要程度给每个特征通道赋予权重值；
步骤4：从训练集中选取图像输入ECTS-YOLOv7网络模型处理，每张图片在主干网络中产生特定阶层的有效特征图，在ECANet注意力模块使用一个波段矩阵Wk来学习通道注意力，使用不降维的GAP聚合卷积特征后，先自适应确定核大小k，然后进行一维卷积，再进行Sigmoid函数学习通道注意力，最后通过路径聚合网路将权重作用在原始通道的特征上，得到对应阶层的训练预测特征图；
步骤5：使用Kmeans++聚类算法将图像数据集中的扩展织物图像上的所有目标GT框进行聚类，得到K个先验框，将K个先验框均匀分布，根据训练预测特征图对K个先验框进行调整，每个先验框均经调整获得一个训练预测框，根据目标GT框选取若干个训练预测框作为训练候选框；
步骤6：根据训练预测特征图、调整后的候选框与目标GT框的差异计算出ECTS-YOLOv7网络模型的整体分类和回归损失，并将整体损失值反向传播至ECTS-YOLOv7网络模型中，并使用梯度下降法更新ECTS-YOLOv7网络模型的参数，获得参数更新的ECTS-YOLOv7网络模型；
步骤7：重复步骤3至步骤6对训练集中的每张图像进行处理，当次选取的图像经步骤4输出后，均重复步骤5和步骤6对ECTS-YOLOv7网络模型进行参数更新，直到训练集中的所有图像均训练完毕，参数更新后的ECTS-YOLOv7网络模型可作为预训练模型；
步骤8：将验证集中的扩展织物图像输入到预训练模型中进行处理，与步骤4中训练集进行相同操作后，得到对应阶层的验证预测特征图；每张输出的验证预测特征图与步骤5中训练预测特征图进行相同操作，输出验证预测框，根据验证预测框与目标GT框计算验证集损失，并计算织物瑕疵图像数据集中各类瑕疵在经过预训练模型处理后的单个类别平均精确度AP和所有类别的平均精确度mAP；
步骤9：重复步骤7和步骤8，直到织物瑕疵图像数据集中各类瑕疵的单个类别平均精确度AP和平均精确度mAP趋于一个稳定值，此时网络总损失曲线收敛，得到训练完成的ECTS-YOLOv7网络模型；
步骤10：将测试集中的扩展织物图像输入到训练完成的ECTS-YOLOv7网络模型中进行处理，对输出的每张测试预测特征图进行步骤5中训练预测特征图进行相同操作，输出测试预测框；根据NMS非极大值抑制原则进行筛选，去除测试预测框中的空白框，在保留的测试预测框中根据置信度筛选出最终测试预测框，实现织物瑕疵的检测和定位。
2.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述步骤1中的织物瑕疵图像数据集的构建方法如下：
使用工业相机采集若干张带有瑕疵的织物图像，使用LabelImg软件中的最小外接矩形框对每张图像中的每个瑕疵进行类别和位置的标注，目标GT框需完全框住每个瑕疵，目标GT框被标记为(class，xmin，ymin，xmax，ymax)，class表示瑕疵的类别，xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标，xmax和ymax表示目标GT框右下角顶点的x坐标和y坐标；
对数据进行数据增强处理，获得标注增强织物图像，将采集到的所有图像和增强织物图像扩展为织物瑕疵图像数据集，扩展后的数据集不少于5000张，同时将保存类别的标签xml文件转化为yolo标签txt格式。
3.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述步骤5中获得K个先验框的方法如下：
使用Kmeans++聚类算法将图像数据集中的每张扩展织物图像上的所有目标GT框进行聚类，从图像数据集的目标GT框X中随机选取一个样本点作为第一个初始聚类中心，计算每个样本与当前聚类中心之间的最短距离D(x)，再计算每个样本点被选为下一个聚类中心的概率P(x)；
最后选择最大概率值所对应的样本点作为下一个聚类中心，重复选取，直到取得K个聚类中心，先验框由每个聚类中心的横坐标和纵坐标作为宽和高构成，最终得到K个先验框。
4.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述步骤1中，RGB色彩空间转换为YCrCb色彩空间方法如下：
Y’＝0.257*R'+0.504*G'+0.098*B'+16
Cb'＝-0.148*R'-0.291*G'+0.439*B'+128
Cr'＝0.439*R'-0.368*G'-0.071*B'+128
R'＝1.164*(Y’-16)+1.596*(Cr'-128)
G'＝1.164*(Y’-16)-0.813*(Cr'-128)-0.392*(Cb'-128)
B'＝1.164*(Y’-16)+2.017*(Cb'-128)。
5.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述步骤4中，ECA注意力机制首先通过全局平均池化操作计算每个通道的平均值，然后，对每个通道的平均值进行一维卷积计算该通道的注意力系数；最后，将注意力系数乘以原始输入数据，并将结果重组为与原始输入相同的形状，以获得加权的输入数据；
其中，注意力权重公式如下：
上式中，各参数含义如下：
Xi,j,c表示输入特征图X的第i行、第j列、第c个通道的像素值；
σ是sigmoid激活函数；WC表示注意力权重；H表示特征图的高；W表示特征图的宽；
表示全局池化后的特征图，c表示类别数，cj表示第j个通道属于第c个类别的概率；
通道注意力加权公式如下：
YC＝WCXC
上式中，YC表示加权后的通道特征图，XC表示输入特征图X的第c个通道；
深度注意力权重公式如下：
上式中，各参数含义如下：
Y*,*,c′表示加权后的通道特征图Y在所有像素位置上的第C′个通道的值；
W2,c′是1×1的卷积核；
Wd为深度注意力权重；
深度注意力加权公式如下：
Z＝WdY
其中，Z表示加权后的输出特征图，Y表示加权后的通道特征图；
输出特征图计算公式如下：
其中，F(X)表示特征提取器。
6.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述步骤7中，将每组训练得到的训练预测特征图划分为H×W个网格单元，H和W分别代表训练预测特征图的高和宽，网格单元中心称为锚点；将步骤5中K个先验框按尺度大小排序，均匀划分为N组先验框；同理，将训练预测特征图按尺度大小排序并划分，将每组先验框均分配到一张训练预测特征图上，再通过在锚点上叠加先验框，根据每个一维调整向量的位置尺度信息对各自的一个先验框的位置和尺度进行调整，从而得到一个训练预测框；针对每个目标GT框，计算目标GT框与每个训练预测框之间的交并比损失IoU，获取与目标GT框之间的交并比损失IoU最大的一个训练预测框作为训练候选框；
对于任意的两个A、B验证框，首先找到一个能够包住它们的最小方框C，然后计算C\(A∪B)的面积与C的面积的比值，再用A、B的IoU值减去这个比值得到GIoU；
IoU计算公式如下：
GIoU计算公式如下：
IoU＝0时，GIoU计算公式如下：
7.根据权利要求6所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：所述K个先验框中的K设为9，N组先验框中的N设为3，保证K/N是整数。
8.根据权利要求1所述的一种基于改进YOLOv7模型的织物瑕疵检测方法，其特征在于：执行完步骤10后，使用以下目标检测指标对步骤10中的检测结果进行分析，以确定训练完成后ECTS-YOLOv7网络模型的检测性能；目标检测指标包括：单个类别平均精确度AP、所有类别的平均精确度mAP、查准率Precision、查全率Recall、速度FPS。
CN202311149108.2A 2023-09-07 2023-09-07 一种基于改进YOLOv7模型的织物瑕疵检测方法 Pending CN117372332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311149108.2A CN117372332A (zh) 2023-09-07 2023-09-07 一种基于改进YOLOv7模型的织物瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311149108.2A CN117372332A (zh) 2023-09-07 2023-09-07 一种基于改进YOLOv7模型的织物瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN117372332A true CN117372332A (zh) 2024-01-09

Family

ID=89401160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311149108.2A Pending CN117372332A (zh) 2023-09-07 2023-09-07 一种基于改进YOLOv7模型的织物瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN117372332A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670881A (zh) * 2024-01-31 2024-03-08 张家港大裕橡胶制品有限公司 基于目标分割的橡胶手套生产质量检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670881A (zh) * 2024-01-31 2024-03-08 张家港大裕橡胶制品有限公司 基于目标分割的橡胶手套生产质量检测方法及系统
CN117670881B (zh) * 2024-01-31 2024-05-24 张家港大裕橡胶制品有限公司 基于目标分割的橡胶手套生产质量检测方法及系统

Similar Documents

Publication Publication Date Title
CN112085735B (zh) 一种基于自适应锚框的铝材质图像缺陷检测方法
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN108564115A (zh) 基于全卷积gan的半监督极化sar地物分类方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN106780455A (zh) 一种基于滑动的局部邻域窗口的产品表面检测方法
CN113505865B (zh) 一种基于卷积神经网络的片材表面缺陷图像识别处理方法
CN109191434A (zh) 一种细胞分化中的图像检测系统及检测方法
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN117372332A (zh) 一种基于改进YOLOv7模型的织物瑕疵检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN109523514A (zh) 对逆合成孔径雷达isar的批量成像质量评估方法
CN113298007A (zh) 一种小样本sar图像目标识别方法
CN117593243A (zh) 可靠伪标签引导的压缩机外观自适应检测方法
CN117173147A (zh) 钢带加工用表面处理设备及其方法
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN114841998B (zh) 基于人工智能的包装印刷异常监测方法
CN114898362A (zh) 一种基于神经网络的菌子图像分类方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN113850274A (zh) 一种基于hog特征及dmd的图像分类方法
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法
CN113077002A (zh) 基于空间外差拉曼光谱的机器嗅觉可视化传感数据分析方法
CN117078608B (zh) 一种基于双掩码引导的高反光皮革表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination