CN114882011A - 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法 - Google Patents

一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法 Download PDF

Info

Publication number
CN114882011A
CN114882011A CN202210663876.9A CN202210663876A CN114882011A CN 114882011 A CN114882011 A CN 114882011A CN 202210663876 A CN202210663876 A CN 202210663876A CN 114882011 A CN114882011 A CN 114882011A
Authority
CN
China
Prior art keywords
feature map
feature
layer
network
scaled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210663876.9A
Other languages
English (en)
Inventor
吕文涛
余序宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202210663876.9A priority Critical patent/CN114882011A/zh
Publication of CN114882011A publication Critical patent/CN114882011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于改进Scaled‑YOLOv4模型的织物瑕疵检测方法，包括S1采集织物图像数据集；S2划分得到训练集、验证集、测试集；S3进行聚类，得到K个先验框；S4将N个不同尺度的有效特征图输入集成特征指导模块进行多尺度特征预处理，然后使用高效阶梯金字塔网络进行融合，得到N个不同尺度的融合特征图，最后通过动态尺度感知头进行通道调整以获得N个预测特征图；S5得到所有预测框；S6更新Scaled‑YOLOv4网络的参数；S7根据参数更新后的Scaled‑YOLOv4网络来对验证集的每张图像进行预测，统计后输出验证集中各个类别的AP值；S8重复步骤S7，直至多次步骤S7中所统计的各个类别的AP值的平均值等于某一固定值，得到训练完成的Scaled‑YOLOv4网络；S9定位瑕疵。本发明可对织物瑕疵进行高准确的检测。

Description

一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
技术领域
本发明属于纺织布匹瑕疵检测技术领域，具体涉及一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法。
背景技术
近些年来随着制造业设备的升级，制造业的发展方向逐渐由产品数量的扩增转变为产品质量的提升。而其中产品质量检测便是重要的一环。它不仅对于工业中的各个领域，如纺织业，电子零器件制造业，甚至对于医疗领域和遥感领域等都有着至关重要的作用。这些领域中的检测任务会面临着共同的问题：在高分辨率图像上存在大量极小尺度的目标。特别地，织物图像中存在的复杂背景也对缺陷的检测存在很强的干扰性。
基于传统计算机视觉的检测方法因其手工特征提取特征的方式繁琐且不够鲁棒而饱受诟病。近些年来，深度卷积神经网络（CNNs）的强大特征提取能力在许多场景中被证明，因此有大量工作对其进行了研究。自2012年以来，受基于ImageNet，COCO，Pascal VOC等大规模数据集上竞赛的激励，接连出现了一些优秀的目标检测范式并仍在不断迭代版本，如two-stage的R-CNN系列和one-stage的YOLO系列。two-stage算法因为要使用一个额外的区域提议网络（Region Proposal Network, RPN）来生成初步的候选框来提升检测精度，故检测速度较one-stage算法慢。受工业中高实时性需求，基于one-stage范式的检测网络的研究变得越来越火热，其中2021年所提出的Scaled-YOLOv4作为当前最先进的检测模型，在精度和速度方面取得了极好的平衡，超越了大多数以精度高著称的two-stage检测模型。
发明内容
针对现有技术中存在的上述问题，本发明提出一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，该方法设计了一个动态尺度感知检测头并重新构造了特征金字塔网络，解决了在织物瑕疵检测任务中存在的极小瑕疵尺度，复杂背景干扰、检测速度慢等问题。使用所提方法进行织物图像的瑕疵检测，相较于现有的先进检测模型在检测精度和效率指标上都具有较大的优势，很好地满足了实际场景中的实时性要求。
本发明采用以下技术方案：
一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，包括步骤：
S1、采集织物图像数据集，并对每张图像中的各瑕疵进行类别、位置的标注；
S2、按预设比例对数据集进行划分，分别得到训练集、验证集、测试集，并对训练集进行数据增强，得到增强后训练集；
S3、使用聚类算法根据增强后训练集中所有图像的目标GT框进行聚类，得到K个先验框；
S4、随机选择增强后训练集中的X张图像作为Scaled-YOLOv4网络的输入，经过主干网络特征提取后得到N个不同尺度的有效特征图，并输入集成特征指导模块进行多尺度特征预处理，然后使用高效阶梯金字塔网络对预处理后的有效特征图进行融合，得到N个不同尺度的融合特征图，最后通过动态尺度感知头对融合特征图的通道进行调整以获得N个预测特征图；
S5、将K个先验框按照尺度顺序预先均匀分布到N个预测特征图上，然后根据预测特征图上锚点信息对相应的先验框进行调整，得到所有预测框；
S6、根据步骤S5中得到的预测框与对应图片的GT框来计算网络整体损失值，并使用梯度下降法来更新Scaled-YOLOv4网络的参数；
S7、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测，统计后输出验证集中各个类别的AP值；
S8、重复步骤S7，直至多次步骤S7中所统计的各个类别的AP值的平均值等于某一固定值，得到训练完成的Scaled-YOLOv4网络；
S9、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测，得到特征图上的预测框，根据特征图和原图的比例关系，将预测框映射至对应的原图上来定位瑕疵。
作为优选方案，步骤S4中包括步骤：
S4.1、随机选择增强后训练集中的X张图像，输入主干网络中进行逐级特征提取，从中取出最深层的三个含有不同尺度和通道数的有效特征图；
S4.2、将步骤S4.1中得到的三个有效特征图，输入集成特征指导模块进行多尺度特征预处理，将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合，得到三个不同尺度的融合特征图；
S4.3、将步骤S4.2中得到的三个融合特征图通过动态尺度感知头，进行通道调整，以获取三个预测特征图。
作为优选方案，集成特征指导模块包括第一层融合层、第二层融合层、第三层融合层，第一层融合层与第二层融合层相连，第二层融合层与第三层融合层相连；
第一融合层包括第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块，第一最大池化层、第二最大池化层、第三最大池化层分别与第一通道注意力模块连接；
第二层融合层包括相连的第一1×1卷积层、分离聚合增强模块；
第三层融合层包括多感受野融合模块、第二1×1卷积层。
作为优选方案，高效阶梯金字塔网络包括第一层金字塔层、第二层金字塔层、第三层金字塔层，第一层金字塔层包括第一CSP瓶颈结构模块，第二层金字塔层包括第二CSP瓶颈结构模块，第三层金字塔层包括第三CSP瓶颈结构模块，第一CSP瓶颈结构模块、第二CSP瓶颈结构模块、第三CSP瓶颈结构模块依次相连。
作为优选方案，动态尺度感知头包括第一子模块、第二子模块、第三子模块，每个子模块均包括依次连接的第一5×5的深度可分离卷积、第二5×5的深度可分离卷积、全局平均池化、第一全连接层、第二全连接层和第三1×1卷积层。
作为优选方案，步骤S4.2中所述将步骤S4.1中得到的三个有效特征图，输入集成特征指导模块进行多尺度特征预处理，包括以下步骤：
S4.2.1、将特征图M5经过第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块，得到特征图C5，将特征图C5进行上采样并和特征图M4进行像素级求和，作为中间阶段特征图Stage1；
S4.2.2、将特征图M3使用多感受野融合模块得到特征图K3，然后对特征图K3进行下采样，并与特征图Stage1进行像素级求和,得到中间阶段特征图Stage2，将特征图Stage1和特征图Stage2在通道维度上进行堆叠并输入分离聚合增强模块进行运算，得到特征图C4；
S4.2.3、将特征图C4进行上采样，并与特征图K3进行融合，得到特征图C3；
S4.2.4、将特征图C3、特征图C4、特征图C5作为集成特征指导模块的多尺度输出；
其中，将步骤S4.1中得到的三个有效特征图按照尺度从小到大分别称为特征图M5、特征图M4、特征图M3。
作为优选方案，步骤S4.2中所述将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合，得到三个不同尺度的融合特征图，包括以下步骤：
S4.2.5、将特征图C5的上采样结果，特征图C3下采样结果和特征图C4在通道维度上进行堆叠，输入到第二CSP瓶颈结构模块中进行进一步运算，得到特征图P4；
S4.2.6、将特征图P4进行下采样，与特征图C5进行堆叠，输入到第一CSP瓶颈结构模块中进行进一步运算，得到特征图P5；
S4.2.7、特征图C3直接作为第三CSP瓶颈结构模块的输出，得到特征图P3；
S4.2.8、特征图P3、特征图P4、特征图P5作为高效阶梯金字塔网络的多尺度特征输出。
作为优选方案，步骤S6中，包括步骤：
S6.1、根据预测框及相应GT框计算交并比损失；
S6.2、根据预测特征图中包含的每个预测框的分类置信度、边框置信度计算分类置信度损失、边框置信度损失，并将交并比损失、分类置信度损失、边框置信度损失以预设比例加权求和以得到网络整体损失，并使用梯度下降法来更新Scaled-YOLOv4网络的参数。
作为优选方案，步骤S7中，包括步骤：
S7.1、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测；
S7.2、根据每张图像的预测和GT框来统计出验证集中各个类别的AP值。
作为优选方案，步骤S9中，包括步骤：
S9.1、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测， 输出N个预测特征图；
S9.2、在预测特征图上根据每个锚点对应的调整向量对先验框进行调整，得到每张图像的所有初步预测框；
S9.3、使用非极大值抑制去除初步预测框中的冗余框，得到预测特征图上的最终预测框；
S9.4、根据比例关系将预测特征图尺度上的最终预测框映射到原图尺度上来定位瑕疵。
本发明的有益效果是：
本发明对Scaled-YOLOv4算法进行改进，设计了集成特征指导模块（AggregatedFeature Guidance Module，AFGM）。AFGM通过聚合多尺度特征并进行逐级优化，大大缩小了跨尺度特征间存在的语义差距。同时优化后的集成特征图被用于指导浅层特征，这有效地减少了一些背景的干扰。同时，由于我们采用参数量极小的深度卷积来实现特征优化模块SAE，使得整体结构非常轻量。
考虑到原来的特征金字塔网络计算量较大的问题，我们设计了一种阶梯状金字塔网络，将计算结点由原来的四个缩减到三个。在不影响精度的情况下，计算效率大大提高。这由此产生的新特征金字塔结构称为高效阶梯金字塔（Efficient Stair Pyramid, ESP）。
针对以往检测头复杂度高且感受野固定的问题，我们提出了一种具有动态感受野的轻量级检测头，称为动态尺度感知头（Dynamic Scale-aware Head，DSH），它可以很好地解决检测头的感受野与目标尺度不匹配的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法的流程图；
图2是一个批次中经过Mosaic增强后的图像汇总；
图3是所改进的Scaled-YOLOv4网络总体模块组成图；
图4是所设计的AFGM结构示意图；
图5是所设计分离聚合增强模块SAE的结构示意图；
图6是改进的特征金字塔ESP的结构图；
图7是所设计的动态尺度感知检测头DSH的结构示意图；
图8是织物图像样例的预测效果图。
具体实施方式
以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
实施例一：
参照图1所示，本实施例提供一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，参照图2所示，其为天池布匹数据集中经过数据增强后的图像，对该图像按照本发明方法的流程图进行处理，以详细说明本发明所述方法对于提高检测精度的效果。
一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，包括步骤：
S1、采集织物图像数据集，并对每张图像中的各瑕疵进行类别、位置的标注；
S2、按预设比例对数据集进行划分，分别得到训练集、验证集、测试集，并对训练集进行数据增强，得到增强后训练集；
S3、使用聚类算法根据增强后训练集中所有图像的目标GT框进行聚类，得到K个先验框；
S4、随机选择增强后训练集中的X张图像作为Scaled-YOLOv4网络的输入，Scaled-YOLOv4网络的总体结构可参照图3所示，经过主干网络特征提取后得到N个不同尺度的有效特征图，并输入集成特征指导模块进行多尺度特征预处理，然后使用高效阶梯金字塔网络对预处理后的有效特征图进行融合，得到N个不同尺度的融合特征图，最后通过动态尺度感知头对融合特征图的通道进行调整以获得N个预测特征图；
S5、将K个先验框按照尺度顺序预先均匀分布到N个预测特征图上，然后根据预测特征图上锚点信息对相应的先验框进行调整，得到所有预测框；
步骤S5中所述将K个先验框按照尺度顺序预先均匀分布到N个预测特征图上，具体为：对步骤S3中生成的K个先验框按照尺度大小进行排序，然后均匀分配到步骤S4中生成的N个预测特征图上，将每个预测特征图划分为H×W的网格，其中每个网格单元中心称为锚点，然后在每个锚点上覆盖属于对应预测特征图的K/N个先验框；
步骤S5中所述根据预测特征图上锚点信息对相应的先验框进行调整，得到所有预测框，具体为：通过对预测特征图上每个锚点对应的长度向量进行维度拆分，得到对于每个先验框的调整向量，根据调整向量对先验框位置和大小进行调整，以得到对应的预测框；
S6、根据步骤S5中得到的预测框与对应图片的GT框来计算网络整体损失值，并使用梯度下降法来更新Scaled-YOLOv4网络的参数；
S7、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测，统计后输出验证集中各个类别的AP值；
S8、重复步骤S7，直至多次步骤S7中所统计的各个类别的AP值的平均值等于某一固定值，得到训练完成的Scaled-YOLOv4网络；
S9、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测，得到特征图上的预测框，根据特征图和原图的比例关系，将预测框映射至对应的原图上来定位瑕疵。
具体地：
步骤S1中所得到的织物图像数据集具体为，织物图像数据集包括多幅织物图像及对应的标签文件。织物图像尺寸为2048×1696像素。标签文件是记录图像中的目标位置信息和类别信息的xml格式文件。
步骤S2中具体为，使用Mosaic数据增强对织物图像数据集进行扩充，所述的Mosaic数据增强是随机选择四张训练集中的四张图像，将四张图片进行随机裁剪,再拼接到一张图上作为新的训练数据。
进一步，步骤S2中，将训练集、验证集、测试集的划分比例设为8:1:1，并生成train.txt、val.txt、test.txt文件来保存对应图像列表。
步骤S3中具体为：根据训练集中标签文件的位置信息来计算目标的宽高从而进行聚类，标签文件中格式为（c，x1，y1，x2，y2），c表示标注框内所含物体所属类别，x1、y1分别表示标注框左上角顶点的x坐标和y坐标，x2、y2表示标注框内右下角顶点的x坐标和y坐标。标注框也就是真实框，称为Ground Truth(GT)。其中使用K-means++聚类算法来根据宽高进行聚类，将最终得到的K个聚类中心坐标作为K个先验框的宽和高。
步骤S4中包括步骤：
S4.1、随机从训练集中取X张图片输入Scaled-YOLOv4的主干网络CSPDarknet-53中进行多尺度特征提取，输出三个不同尺度的有效特征图，尺度分别为20×20、40×40、80×80，其中所述的主干网络CSPDarknet-53是由依次相连的一个Bottleneck模块和四个BottleneckCSP模块组成的，其中Bottleneck模块表示瓶颈结构模块，BottleneckCSP模块表示引入了CSP结构的瓶颈结构模块，CSP结构表示跨阶段局部结构；
S4.2、将主干网络中得到的三个有效特征图（按照尺度从小到大分别称为M5、M4、M3），输入所设计的集成特征指导模块（Aggregated Feature Guidance Module，AFGM）进行多尺度特征预处理，集成特征指导模块可参照图4所示：
集成特征指导模块包括第一层融合层、第二层融合层、第三层融合层，第一层融合层与第二层融合层相连，第二层融合层与第三层融合层相连；
第一融合层包括第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块CA，第一最大池化层、第二最大池化层、第三最大池化层分别与第一通道注意力模块连接；
第二层融合层包括相连的第一1×1卷积层、分离聚合增强模块SAE；
第三层融合层包括多感受野融合模块MFF、第二1×1卷积层；
集成特征指导模块AFGM的输入分别输入至三层融合层中；
第一层融合层的输入分别输入至第一最大池化层、第二最大池化层和第三最大池化层中处理，第一最大池化层、第二最大池化层和第三最大池化层处理的输出再同时和第一层融合层的输入进行特征融合处理，处理的输出再经第一通道注意力模块CA处理，处理的输出为第一中间输出，第一中间输出直接作为第一层融合层的输出；第一中间输出经过上采样后输入至第二融合层中；
第三层融合层的输入分别输入至多感受野融合模块MFF和第二1×1卷积层中处理，输出为第三中间输出，第三中间输出经过降采样后输入至第二层融合层中；第二层融合层的输入输入至第一1×1卷积层中处理，处理的输出与上采样后的第一中间输出相加，相加结果为中间结合特征，中间结合特征再与经过降采样后的第三中间输出相加，相加结果再与中间结合特征进行特征融合处理，处理的输出输入至分离聚合增强模块SAE中处理，输出为第二融合输出，第二融合输出直接作为第二层融合层的输出；第二融合输出再经过上采样后输入至第三层融合层中与第三中间输出进行特征融合处理，处理的输出直接作为第三层融合层的输出；
所述的上采样具体为将输入依次经过一个上采样层和一个1×1卷积层处理；所述的下采样具体为将输入经过一个步长为2的3×3卷积层处理；
然后将处理结果输入到高效阶梯金字塔网络（Efficient Stair Pyramid, ESP）中进行进一步的特征融合，其中通过更少的自上至下和自下至上的融合来充分混合深层和浅层的特征。对于ESP的每层输出的融合特征图P5、P4、P3，它们的尺度和输入特征图M5、M4、M3保持一致，高效阶梯金字塔网络结构可参照图6所示：
高效阶梯金字塔网络包括第一层金字塔层、第二层金字塔层、第三层金字塔层，第一层金字塔层包括第一CSP瓶颈结构模块BottleneckCSP，第二层金字塔层包括第二CSP瓶颈结构模块BottleneckCSP，第三层金字塔层包括第三CSP瓶颈结构模块BottleneckCSP，第一CSP瓶颈结构模块BottleneckCSP、第二CSP瓶颈结构模块BottleneckCSP、第三CSP瓶颈结构模块BottleneckCSP依次相连；
高效阶梯金字塔网络ESP的输入分别输入至三层金字塔层中；
第三层金字塔层的输入直接作为第三层金字塔层的输出；第三层金字塔层的输入经过下采样后输入至第二层金字塔层中；
第一层金字塔层的输入经过上采样后输入至第二层金字塔层中，上采样后的第一层金字塔层的输入和下采样后的第三层金字塔层的输入共同与第二层金字塔层的输入进行特征融合处理，处理的输出再经第二CSP瓶颈结构模块BottleneckCSP处理，输出为金字塔融合特征，金字塔融合特征直接作为第二层金字塔层的输出；金字塔融合特征再经下采样后与第一层金字塔层的输入进行特征融合处理，处理的输出再经第一CSP瓶颈结构模块BottleneckCSP处理，处理的输出直接作为第一层金字塔层的输出；
S4.3、将ESP的多尺度输出的融合特征图通过所设计的动态尺度感知头（DynamicScale-aware Head，DSH），动态尺度感知头结构可参照图7所示，将通道数调整为num_anchor*(5+num_class)，输出N个预测特征图。其中num_anchor表示每个网格上的先验框数目，num_class表示类别数目。
动态尺度感知头包括第一子模块、第二子模块、第三子模块，每个子模块均包括依次连接的第一5×5的深度可分离卷积DSConv、第二5×5的深度可分离卷积DSConv、全局平均池化GAP、第一全连接层FC、第二全连接层FC和第三1×1卷积层；
针对每个子模块，子模块的输入首先输入至第一5×5的深度可分离卷积DSConv处理，处理的输出输入至第二5×5的深度可分离卷积DSConv处理，处理的输出与第一5×5的深度可分离卷积DSConv的输出进行特征融合处理，处理的输出依次经全局平均池化GAP、第一全连接层FC和第二全连接层FC处理，处理的输出在通道维度上拆分为第一拆分特征和第二拆分特征，第一拆分特征与第一5×5的深度可分离卷积DSConv的输出相乘，获得第一相乘特征，第二拆分特征与第二5×5的深度可分离卷积DSConv的输出相乘，获得第二相乘特征，第一相乘特征和第二相乘特征进行相加处理，处理的输出再经第三1×1卷积层处理，处理的输出直接作为子部分的输出。
进一步，步骤S4.2中所述将步骤S4.1中得到的三个有效特征图，输入集成特征指导模块进行多尺度特征预处理，包括以下步骤：
S4.2.1、将特征图M5经过第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块，得到特征图C5，将特征图C5进行上采样并和特征图M4进行像素级求和，作为中间阶段特征图Stage1；
S4.2.2、将特征图M3使用多感受野融合模块得到特征图K3，然后对特征图K3进行下采样，并与特征图Stage1进行像素级求和,得到中间阶段特征图Stage2，将特征图Stage1和特征图Stage2在通道维度上进行堆叠并输入分离聚合增强模块（Split andAggregation Enhancement module,SAE）进行运算，得到特征图C4，分离聚合增强模块可参照图5所示：
所述的分离聚合增强模块SAE包括第一3×3深度卷积层DW、第一1×1点卷积层PW、第一批归一化层BN、第二3×3深度卷积层DW、第二批归一化层BN、第三激活函数Hard-Swish、第二1×1点卷积层PW、第三批归一化层BN、第四激活函数Hard-Swish、第一5×5深度卷积层DW、第三3×3深度卷积层DW、第四批归一化层BN、第二通道注意力模块CA、第五激活函数Hard-Swish、第三1×1点卷积层PW、第五批归一化层BN、第六激活函数Hard-Swish、过渡层；
分离聚合增强模块SAE的输入分别输入至第一3×3深度卷积层DW和第一1×1点卷积层PW处理，第一1×1点卷积层PW的输出依次经第一批归一化层BN和第二3×3深度卷积层DW再与第一3×3深度卷积层DW的输出进行特征融合处理，处理的输出依次经第二批归一化层BN、第三激活函数Hard-Swish、第二1×1点卷积层PW、第三批归一化层BN和第四激活函数Hard-Swish处理，处理的输出分别输入至第一5×5深度卷积层DW和第三3×3深度卷积层DW处理，第一5×5深度卷积层DW的输出和第三3×3深度卷积层DW的输出进行特征融合处理，处理的输出再依次经第四批归一化层BN、第二通道注意力模块CA、第五激活函数Hard-Swish、第三1×1点卷积层PW、第五批归一化层BN和第六激活函数Hard-Swish处理，处理的输出与第一批归一化层BN的输出进行特征融合处理，处理的输出经过渡层处理，处理的输出直接作为分离聚合增强模块SAE的输出。
S4.2.3、将特征图C4进行上采样，并与特征图K3进行融合，得到特征图C3；
S4.2.4、将特征图C3、特征图C4、特征图C5作为集成特征指导模块的多尺度输出；
进一步，步骤S4.2中所述将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合，得到三个不同尺度的融合特征图，包括以下步骤：
S4.2.5、将特征图C5的上采样结果，特征图C3下采样结果和特征图C4在通道维度上进行堆叠，输入到第二CSP瓶颈结构模块中进行进一步运算，得到特征图P4；
S4.2.6、将特征图P4进行下采样，与特征图C5进行堆叠，输入到第一CSP瓶颈结构模块中进行进一步运算，得到特征图P5；
S4.2.7、特征图C3直接作为第三CSP瓶颈结构模块的输出，得到特征图P3；
S4.2.8、特征图P3、特征图P4、特征图P5作为高效阶梯金字塔网络的多尺度特征输出。
进一步，步骤S5中具体为：将9个先验框按照尺寸大小顺序平均分配至3个输出的预测特征图，将每个尺度的网络输出的预测特征图划分为不同数量的网格，并根据每个网格中心位置和所分配的先验框尺寸生成相应的候选框。
所述9个先验框尺寸分别为(7，8)，(15，14)，(30，33)，(25，188)，(639，34)，(639，49)，(71，636)，(639，71)，(639，637)。而在步骤S4中得到的3个不同尺度的训练集网络输出的预测特征图的尺度分别为20×20、40×40、80×80。对于每一个训练集网络输出的预测特征图，分配3个尺寸的先验框。如对于20×20尺度的训练集网络输出的预测特征图，因其感受野最大，所以分配其最大的3个尺寸的先验框(71，636)，(639，71)，(639，637)。同理对于40×40尺度的训练集网络输出的预测特征图，分配较大的3个尺寸的先验框(25，88)，639，4)，639，9)，(639，75)。对于80×80尺度的训练集网络输出的预测特征图，分配最小的3个先验框(7，8)，(15，14)，(30，33)。进一步，步骤S5中：所述网络输出特征图包括位置和尺度调整信息、分类置信度、边框置信度；
且，根据调整信息中的偏移信息与宽高调整信息对相应先验框进行调整得到预测框。
所述步骤S6中根据网络输出特征图、预测框以及相应GT框计算网络整体损失，具体为：
根据预测框及相应GT框计算交并比损失(Intersection over Union，IoU)，根据网络输出特征图中包含的每个预测框的分类置信度、边框置信度计算分类置信度损失、边框置信度损失，并将交并比损失、分类置信度损失、边框置信度损失以预设比例加权求和以得到网络整体损失，并使用梯度下降法来优化网络参数
步骤S7中，包括步骤：
S7.1、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测；
S7.2、根据每张图像的预测和GT框来统计出验证集中各个类别的AP值。
所述步骤S7，S8中，具体地，进行YOLO v4网络模型训练，具体包括以下步骤：
A：配置网络环境，Python版本为3.7和深度学习框架为PyTorch1.8，使用CUDA进行加速；
B：设置初始学习率为0.01，学习率调整策略为余弦退火衰减；
C：设置每批输入网络的图像数量为8；
D：使用Kaiming初始化方式对网络权重进行初始化，不使用预训练权重。在训练过程中的每个周期结束后进行网络整体损失计算。循环迭代直至验证集的mAP指标稳定在某个值，此时停止Scaled-YOLOv4网络的训练。
进一步地，步骤S9中，具体包括以下步骤：
S9.1、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测， 输出N个预测特征图；
S9.2、在预测特征图上根据每个锚点对应的调整向量对先验框进行调整，得到每张图像的所有初步预测框；
S9.3、使用非极大值抑制(Non-Maximum Suppression，NMS)去除初步预测框中的冗余框，得到预测特征图上的最终预测框；
S9.4、根据比例关系将预测特征图尺度上的最终预测框映射到原图尺度上来定位瑕疵。
为了验证所提方法的性能，使用改进Scaled-YOLOv4网络对测试集中的图像进行预测，预测效果图可参照图8所示，使用预测结果和GT计算平均精确度均值mAP(meanAverage Precision)和每个类别对应的准确率(Precision)、召回率(Recall)，实验结果参见下表1所示，本发明能够实现对多种类别的织物瑕疵检测，取得了较高的准确率。
Figure DEST_PATH_IMAGE002
表1 实验结果表
本发明的有益效果是：
本发明对Scaled-YOLOv4算法进行改进，设计了集成特征指导模块（AggregatedFeature Guidance Module，AFGM）。AFGM通过聚合多尺度特征并进行逐级优化，大大缩小了跨尺度特征间存在的语义差距。同时优化后的集成特征图被用于指导浅层特征，这有效地减少了复杂背景的干扰。同时，由于我们采用参数量极小的深度卷积来实现特征优化模块SAE，使得整体结构非常轻量。
考虑到原来的特征金字塔网络计算量较大的问题，我们设计了一种阶梯状金字塔网络，将计算结点由原来的四个缩减到三个。在不影响精度的情况下，计算效率大大提高。这由此产生的新特征金字塔结构称为高效阶梯金字塔（Efficient Stair Pyramid, ESP）。
针对以往检测头复杂度高且感受野固定的问题，我们提出了一种具有动态感受野的轻量级检测头，称为动态尺度感知头（Dynamic Scale-aware Head，DSH），它可以很好地解决检测头的感受野与目标尺度不匹配的问题，从而能够加强模型对各种尺度瑕疵的检测效果。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围内。

Claims (10)

1.一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，包括步骤：
S1、采集织物图像数据集，并对每张图像中的各瑕疵进行类别、位置的标注；
S2、按预设比例对数据集进行划分，分别得到训练集、验证集、测试集，并对训练集进行数据增强，得到增强后训练集；
S3、使用聚类算法根据增强后训练集中所有图像的目标GT框进行聚类，得到K个先验框；
S4、随机选择增强后训练集中的X张图像作为Scaled-YOLOv4网络的输入，经过主干网络特征提取后得到N个不同尺度的有效特征图，并输入集成特征指导模块进行多尺度特征预处理，然后使用高效阶梯金字塔网络对预处理后的有效特征图进行融合，得到N个不同尺度的融合特征图，最后通过动态尺度感知头对融合特征图的通道进行调整以获得N个预测特征图；
S5、将K个先验框按照尺度顺序预先均匀分布到N个预测特征图上，然后根据预测特征图上锚点信息对相应的先验框进行调整，得到所有预测框；
S6、根据步骤S5中得到的预测框与对应图片的GT框来计算网络整体损失值，并使用梯度下降法来更新Scaled-YOLOv4网络的参数；
S7、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测，统计后输出验证集中各个类别的AP值；
S8、重复步骤S7，直至多次步骤S7中所统计的各个类别的AP值的平均值等于某一固定值，得到训练完成的Scaled-YOLOv4网络；
S9、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测，得到特征图上的预测框，根据特征图和原图的比例关系，将预测框映射至对应的原图上来定位瑕疵。
2.根据权利要求1所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S4中包括步骤：
S4.1、随机选择增强后训练集中的X张图像，输入主干网络中进行逐级特征提取，从中取出最深层的三个含有不同尺度和通道数的有效特征图；
S4.2、将步骤S4.1中得到的三个有效特征图，输入集成特征指导模块进行多尺度特征预处理，将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合，得到三个不同尺度的融合特征图；
S4.3、将步骤S4.2中得到的三个融合特征图通过动态尺度感知头，进行通道调整，以获取三个预测特征图。
3.根据权利要求2所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，集成特征指导模块包括第一层融合层、第二层融合层、第三层融合层，第一层融合层与第二层融合层相连，第二层融合层与第三层融合层相连；
第一融合层包括第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块，第一最大池化层、第二最大池化层、第三最大池化层分别与第一通道注意力模块连接；
第二层融合层包括相连的第一1×1卷积层、分离聚合增强模块；
第三层融合层包括多感受野融合模块、第二1×1卷积层。
4.根据权利要求3所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，高效阶梯金字塔网络包括第一层金字塔层、第二层金字塔层、第三层金字塔层，第一层金字塔层包括第一CSP瓶颈结构模块，第二层金字塔层包括第二CSP瓶颈结构模块，第三层金字塔层包括第三CSP瓶颈结构模块，第一CSP瓶颈结构模块、第二CSP瓶颈结构模块、第三CSP瓶颈结构模块依次相连。
5.根据权利要求4所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，动态尺度感知头包括第一子模块、第二子模块、第三子模块，每个子模块均包括依次连接的第一5×5的深度可分离卷积、第二5×5的深度可分离卷积、全局平均池化、第一全连接层、第二全连接层和第三1×1卷积层。
6.根据权利要求5所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S4.2中所述将步骤S4.1中得到的三个有效特征图，输入集成特征指导模块进行多尺度特征预处理，包括以下步骤：
S4.2.1、将特征图M5经过第一最大池化层、第二最大池化层、第三最大池化层、第一通道注意力模块，得到特征图C5，将特征图C5进行上采样并和特征图M4进行像素级求和，作为中间阶段特征图Stage1；
S4.2.2、将特征图M3使用多感受野融合模块得到特征图K3，然后对特征图K3进行下采样，并与特征图Stage1进行像素级求和,得到中间阶段特征图Stage2，将特征图Stage1和特征图Stage2在通道维度上进行堆叠并输入分离聚合增强模块进行运算，得到特征图C4；
S4.2.3、将特征图C4进行上采样，并与特征图K3进行融合，得到特征图C3；
S4.2.4、将特征图C3、特征图C4、特征图C5作为集成特征指导模块的多尺度输出；
其中，将步骤S4.1中得到的三个有效特征图按照尺度从小到大分别称为特征图M5、特征图M4、特征图M3。
7.根据权利要求6所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S4.2中所述将处理结果输入到高效阶梯金字塔网络中进行进一步的特征融合，得到三个不同尺度的融合特征图，包括以下步骤：
S4.2.5、将特征图C5的上采样结果，特征图C3下采样结果和特征图C4在通道维度上进行堆叠，输入到第二CSP瓶颈结构模块中进行进一步运算，得到特征图P4；
S4.2.6、将特征图P4进行下采样，与特征图C5进行堆叠，输入到第一CSP瓶颈结构模块中进行进一步运算，得到特征图P5；
S4.2.7、特征图C3直接作为第三CSP瓶颈结构模块的输出，得到特征图P3；
S4.2.8、特征图P3、特征图P4、特征图P5作为高效阶梯金字塔网络的多尺度特征输出。
8.根据权利要求1所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S6中，包括步骤：
S6.1、根据预测框及相应GT框计算交并比损失；
S6.2、根据预测特征图中包含的每个预测框的分类置信度、边框置信度计算分类置信度损失、边框置信度损失，并将交并比损失、分类置信度损失、边框置信度损失以预设比例加权求和以得到网络整体损失，并使用梯度下降法来更新Scaled-YOLOv4网络的参数。
9.根据权利要求1所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S7中，包括步骤：
S7.1、重复步骤S4-S6直到增强后训练集中所有图片都输入网络一次，根据参数更新后的Scaled-YOLOv4网络来对验证集的每张图像进行预测；
S7.2、根据每张图像的预测和GT框来统计出验证集中各个类别的AP值。
10.根据权利要求1所述的一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法，其特征在于，步骤S9中，包括步骤：
S9.1、使用训练完成的Scaled-YOLOv4网络对测试集中所有图像进行预测， 输出N个预测特征图；
S9.2、在预测特征图上根据每个锚点对应的调整向量对先验框进行调整，得到每张图像的所有初步预测框；
S9.3、使用非极大值抑制去除初步预测框中的冗余框，得到预测特征图上的最终预测框；
S9.4、根据比例关系将预测特征图尺度上的最终预测框映射到原图尺度上来定位瑕疵。
CN202210663876.9A 2022-06-13 2022-06-13 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法 Pending CN114882011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210663876.9A CN114882011A (zh) 2022-06-13 2022-06-13 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210663876.9A CN114882011A (zh) 2022-06-13 2022-06-13 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN114882011A true CN114882011A (zh) 2022-08-09

Family

ID=82681407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210663876.9A Pending CN114882011A (zh) 2022-06-13 2022-06-13 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN114882011A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503872A (zh) * 2023-06-26 2023-07-28 四川集鲜数智供应链科技有限公司 一种基于机器学习的授信客户挖掘方法
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YU XUYI等: "ES-Net: Efficient Scale-Aware Network for Tiny Defect Detection", IEEE, 20 April 2022 (2022-04-20), pages 1 - 14 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503872A (zh) * 2023-06-26 2023-07-28 四川集鲜数智供应链科技有限公司 一种基于机器学习的授信客户挖掘方法
CN116503872B (zh) * 2023-06-26 2023-09-05 四川集鲜数智供应链科技有限公司 一种基于机器学习的授信客户挖掘方法
CN117974673A (zh) * 2024-04-02 2024-05-03 泉州装备制造研究所 一种花色布匹瑕疵检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN112507777A (zh) 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN117253154B (zh) 一种基于深度学习的集装箱弱小序列号目标检测识别方法
CN111860683B (zh) 一种基于特征融合的目标检测方法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN110490155B (zh) 一种禁飞空域无人机检测方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN112580662A (zh) 一种基于图像特征识别鱼体方向的方法及系统
CN113205026A (zh) 一种基于Faster RCNN深度学习网络改进的车型识别方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN115797629A (zh) 基于检测增强和多阶段边界框特征细化的实例分割方法
CN111931572B (zh) 一种遥感影像的目标检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN117542082A (zh) 一种基于YOLOv7的行人检测方法
CN117474863A (zh) 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法
CN117315752A (zh) 人脸情绪识别网络模型的训练方法、装置、设备和介质
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN116309270A (zh) 一种基于双目图像的输电线路典型缺陷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination