CN114372968A - 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 - Google Patents

结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 Download PDF

Info

Publication number
CN114372968A
CN114372968A CN202111671344.1A CN202111671344A CN114372968A CN 114372968 A CN114372968 A CN 114372968A CN 202111671344 A CN202111671344 A CN 202111671344A CN 114372968 A CN114372968 A CN 114372968A
Authority
CN
China
Prior art keywords
network
flaw
attention mechanism
adaptive memory
fusion network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111671344.1A
Other languages
English (en)
Other versions
CN114372968B (zh
Inventor
狄岚
邓世爽
顾雨迪
余越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202111671344.1A priority Critical patent/CN114372968B/zh
Publication of CN114372968A publication Critical patent/CN114372968A/zh
Application granted granted Critical
Publication of CN114372968B publication Critical patent/CN114372968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明公开了一种结合注意力机制与自适应记忆性融合网络的织物瑕疵检测方法,包括训练阶段和测试阶段;所述训练阶段通过对带标签瑕疵图像的训练得到一个模型;所述测试阶段使用所述训练阶段通过训练得到的所述模型进行织物瑕疵的检测与识别。本发明提出结合注意力机制与自适应记忆性融合网络的织物瑕疵检测方法与Faster_rcnn、Cascade_rcnn、YOLOv3、YOLOv4以及YOLOv5m、YOLOv5l、YOLOv5x等现有目标检测模型的实验结果比较分析,具有较高的检测精度和检测速度。

Description

结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
技术领域
本发明涉及织物瑕疵检测技术领域,特别是结合注意力机制与自适应记忆性融合网络的瑕疵检测方法。
背景技术
当前,已经采用的纺织品瑕疵检测方法可以分为结构类方法、统计类方法、模型类方法和基于学习的方法。在结构类方法中,通常以纹理作为基本单元,提取纺织品纹理的结构特征,并且结合其位置规律进行分析和检测。王维珍等人根据结构相似性最小原则定位缺陷图像块,并使用距离测量和阈值分割来定位缺陷。刘建华等人训练了一个基于织物纹理结构的生成对抗网络来检测缺陷。在统计类方法中,使用一阶和二阶统计来提取和处理图像纹理特征,通过自相关函数和共生矩阵有效检测有色织物瑕疵。李峰等人结合多向二元算子和灰度共生矩阵(GLCM),提出了一种无图案织物的缺陷检测方法。刘周峰等人通过织物的主要局部二值模式(LBP)特征来检测织物缺陷。赵翠芳等人将边缘方向梯度的金字塔直方图与支持向量机(SVM)相结合,并将其应用于织物缺陷检测。在基于模型的方法中,通过服从特定分布模型的织物纹理来解决纺织品缺陷检测问题。纪旋等人针对周期性纺织品存在的拉伸变形问题,提出结合模板校正与低秩分解的纺织品瑕疵检测方法。侍伯山等人提出了一种基于梯度信息低秩分解和结构图算法(PG-NLR)的织物疵点检测方法。龙涵彬等人提出一种基于畸变校正与视觉显著特征的纺织品瑕疵检测方法,通过上下文视觉显著性算法提取卡通层的显著性特征,分离具有高显著性特征的瑕疵与低显著性特征的背景。如今主流的方法是基于传统机器学习和深度学习的方法。许多研究人员将深度学习技术应用于织物缺陷检测问题,并在提高纺织品质量和生产效率方面取得了令人满意的结果。目前,基于深度学习的目标检测器可以分为一级检测器和二级检测器。通常,一级检测器检测速度更快,而二级检测器精度更高。在纺织行业的实际应用中,一般希望在满足检测精度的前提下,检测速度越快越好。蔡兆信等人使用faster-RCNN自动检测纺织品缺陷。得益于faster-RCNN强大的特征工程能力,它实现了令人满意的检测性能。然而,faster-RCNN由于其两阶段目标检测方案而具有很大的时空复杂度。为了能够更好的适用于工业实际生产,几位研究人员分别使用SSD、Mobile-Unet、Cascade_rcnn、YOLO系列等一阶段目标检测网络进行检测纺织品瑕疵。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的检测模型中存在的问题,提出了本发明。
因此,本发明所要解决的问题:如何提高检测精度。
为解决上述技术问题,本发明提供如下技术方案:训练阶段和测试阶段,所述训练阶段通过对带有标签的织物瑕疵数据集进行训练得到织物瑕疵检测模型;所述测试阶段通过所述训练阶段得到的织物瑕疵检测模型进行检测与识别。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:所述训练阶段包括以下步骤,将带有标签的瑕疵图像输入骨干网络SCNet中,提取不同尺度瑕疵特征;所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合和浅层定位信息增强,得到三个不同尺度结合了浅层定位信息和高层语义信息的特征图;在所述特征图的基础上,根据groundtruth,进行损失计算;使用随机梯度算法SGD进行反向传播,更新网络权重。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:所述测试阶段包括以下步骤,将测试瑕疵图像输入到训练好的织物瑕疵检测模型中;所述测试瑕疵图像通过所述骨干网络SCNet提取基本特征,获得不同尺度瑕疵特征图;所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合,得到结合了浅层定位信息和高层语义信息的特征图;根据所述训练阶段训练好的织物瑕疵检测模型权重,得到预测框。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:所述骨干网络SCNet引入了SCBAM注意力机制,通过所述SCBAM注意力机制对所述带有标签的瑕疵图像进行特征提取。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:在SCBAM通道维度中使用软池化SoftPool进行下采样,在反向传播期间,内核领域R内的所有激活将至少被分配一个最小梯度值。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:SoftPool使用内核领域R内激活的平滑最大近似值,每个激活ai都被赋予权重wi,该权重为该激活的自然指数相对于邻域R内所有激活的自然指数之和的比值:
Figure BDA0003453090300000031
式中,e为自然常数,ai表示激活,wi表示权重,
SoftPool方法的输出值是通过对内核领域R内所有激活的加权求和得到的:
Figure BDA0003453090300000032
式中,ai表示激活,wi表示权重。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:所述SCBAM注意力机制包括以下步骤,
在SCBAM通道模块,引入SoftPool,提取更多细节信息;
Figure BDA0003453090300000033
W0∈RC/r×C,W1∈RC×C/r,
式中,σ为sigmoid操作,r表示减少率,W0,W1为MLP权重,W0后面需要接ReLU激活,C表示神经网络MLP输入、输出维度数,c表示通道维度,F代表输入特征图;
将SCBAM引入到CSPDarknet53特征提取网络中,构成骨干网络SCNet,将骨干网络SCNet提取的基本特征送入到自适应记忆性融合网络中进行融合。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:所述自适应记忆性融合网络,采用自适应空间特征融合方式融合骨干网络SCNet提取的三个不同尺度特征:
Figure BDA0003453090300000034
αijijij=1,
Figure BDA0003453090300000035
式中,x1,x2,x3分别表示为来自骨干网络SCNet提取的三个不同尺度特征,λα,λβ,λγ通过1×1卷积得到。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:通过所述自适应记忆性融合网络生成所述特征I后还包括以下步骤,在得到融合后的特征后,增加一条自底向上的通路;将骨干网络SCNet的特征引入特征融合层,以增强对浅层特征的使用。
作为本发明所述结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的一种优选方案,其中:采用CDIoU损失函数,计算预测框与真实框之间的损失,
Figure BDA0003453090300000041
Figure BDA0003453090300000042
Figure BDA0003453090300000043
Figure BDA0003453090300000044
LCDIoU=LCIoU+λdiou.
式中,RP,GT分别表示预测框和真实框,MBR为包围两个框的最小矩形区域,AE、BF、CG、DH分别表示预测框和真实框四个顶点之间的距离;WY为包围两个框的最小矩形对角顶点距离;IoU表示两个框的交并比,b和bgt表示预测框和真实框的中心点,ρ2表示两点之间的欧氏距离,c表示能够同时包含预测框和真实框之间的最小闭包区域的对角线距离,wgt,hgt表示真实框宽和高,w,h表示预测框宽和高。
本发明有益效果为:本发明在检测速度与检测精度上均有较大优势。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的整体模型结构图。
图2为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的SCBAM注意力模块图。
图3为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的改进后的通道注意力模块图。
图4为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的SCNet骨干网络结构图。
图5为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的SC模块结构图。
图6为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的SCBlock结构图。
图7为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的自适应记忆性特征融合网络图。
图8为结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的CDIoU示意图。
图9为实施例2中结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的纺织品瑕疵数据集。
图10为实施例2中结合注意力机制与自适应记忆性融合网络的瑕疵检测方法的纺织品瑕疵检测结果对比。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1~8,为本发明第一个实施例,该实施例提供了一种结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,包括训练阶段和测试阶段,首先利用骨干网络SCNet提取瑕疵图像基本特征,再对基本特征进行自适应融合,提高特征的尺度不变性。同时,将骨干网络SCNet中的特征信息融入到特征融合层,增强了目标的定位信息。通过对融合了高级语义信息与浅层定位信息的融合特征图进行预测,获得候选框。最后根据非极大值抑制选择最后预测结果。
具体的,
S1:训练阶段通过对带有标签的织物瑕疵数据集进行训练得到织物瑕疵检测模型;
S2:测试阶段通过训练阶段得到的织物瑕疵检测模型进行检测与识别。
S1中,训练阶段包括以下步骤:
将带有标签的瑕疵图像输入骨干网络SCNet中,提取不同尺度瑕疵特征;
瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合和浅层定位信息增强,得到三个不同尺度结合了浅层定位信息和高层语义信息的特征图;
在特征图的基础上,根据groundtruth,进行损失计算;
使用随机梯度算法SGD进行反向传播,更新网络权重。
骨干网络SCNet引入了SCBAM注意力机制,用SCBAM注意力机制对带有标签的瑕疵图像进行特征提取。
具体的,SCBAM注意力模块首先按照通道和空间顺序推断出注意力映射,然后将注意力映射相乘为自适应特征细化的输入特征映射。在通道维度使用软池化SoftPool进行下采样操作,在激活映射中保留更多的信息。同时,SoftPool在反向传播过程中为每个输入获得一个梯度,提高训练效果进而使检测结果更精确。
SoftPool使用内核领域R内激活的平滑最大近似值,每个激活ai都被赋予权重wi,该权重为该激活的自然指数相对于内核领域R内所有激活的自然指数之和的比值:
Figure BDA0003453090300000061
式中,e为自然常数,ai表示激活,wi表示权重,
SoftPool方法的输出值是通过对内核领域R内所有激活的加权求和得到的:
Figure BDA0003453090300000071
SCBAM注意力模块首先按照通道和空间顺序推断出注意力映射,然后将注意力映射相乘为自适应特征细化的输入特征映射。在通道维度使用软池化SoftPool进行下采样操作,在激活映射中保留更多的信息。同时,SoftPool在反向传播过程中为每个输入获得一个梯度,提高训练效果进而使检测结果更精确。
在骨干网络中引入SCBAM注意力机制,在下采样激活映射中保留了更多的信息,更精细的下采样导致更好的分类精度,SCBAM在通道维度的模块结构中,输入特征,首先经过SoftPool池化操作,得到一个1×1×C的特征图,接着,再送入一个两层的神经网络(MLP)。然后将MLP输出的特征进行sigmoid激活操作,生成最终的通道注意力特征图。将得到的特征图和输入特征图做element-wise乘法操作,生成空间注意力模块需要的输入特征。整个过程可由如下公式表示。
Figure BDA0003453090300000072
W0∈RC/r×C,W1∈RC×C/r,
式中,σ为sigmoid操作,r表示减少率,W0,W1为MLP权重,W0后面需要接ReLU激活,C表示神经网络MLP输入、输出维度数,c表示通道维度,F代表输入特征图;
将SCBAM引入到CSPDarknet53特征提取网络中,将改进后的注意力机制SCBAM引入骨干网络中,构成骨干网络SCNet,将骨干网络SCNet提取的基本特征送入到自适应记忆性融合网络中进行融合。利用改进后的SCABM,构成SCBlock输入特征首先经过一个1×1卷积降维,再通过引入了SCBAM注意力机制的3×3卷积核进行特征提取,最后再与输入的原始特征进行Add特征融合。所以,SCBlock可以在不增加计算量的同时,提高对特征信息的提取。
沿用CSP思想,将SCBlock结构CSP化,将特征分成两个支路后再通过Concat操作,结果经过批量归一化、LeakyRelu和CBL。跨阶段局部网络(CSP)通过分割梯度流,使梯度流通过不同的网络路径传播,提高卷积神经网络的学习能力,保证了高精度和轻量级。同时,降低了内存成本和复杂度,
设计的自适应记忆性特征融合网络首先采用自适应空间特征融合(ASFF)方式融合骨干网络提取的三个不同尺度特征,进而生成融合后的特征I。
Figure BDA0003453090300000081
αijijij=1,
Figure BDA0003453090300000082
其中,x1,x2,x3分别表示为来自骨干网络SCNet提取的三个不同尺度特征,λα,λβ,λγ通过1×1卷积得到。
在得到融合后的特征I后,借鉴PAN的思想,增加一条自底向上的通路,同时将骨干网络的特征引入特征融合层,以增强对浅层特征的使用。改进后的自适应记忆性特征融合网络,既有效地融合了多尺度特征,同时也增强了对浅层信息的使用,因此,自适应记忆性特征融合网络可以有效提高检测效果,有效结合瑕疵高级语义信息和浅层定位信息进行检测和识别。
在得到预测框后,采用CDIoU损失函数,计算预测框与真实框之间的损失。
Figure BDA0003453090300000083
Figure BDA0003453090300000084
Figure BDA0003453090300000085
Figure BDA0003453090300000086
LCDIoU=LCIoU+λdiou.
式中,RP,GT分别表示预测框和真实框,MBR为包围两个框的最小矩形区域,AE、BF、CG、DH分别表示预测框和真实框四个顶点之间的距离;WY为包围两个框的最小矩形对角顶点距离;IoU表示两个框的交并比,b和bgt表示预测框和真实框的中心点,ρ2表示两点之间的欧氏距离,c表示能够同时包含预测框和真实框之间的最小闭包区域的对角线距离,wgt,hgt表示真实框宽和高,w,h表示预测框宽和高。
S2:测试阶段包括以下步骤,
将测试瑕疵图像输入到训练好的织物瑕疵检测模型中;
测试瑕疵图像通过骨干网络SCNet提取基本特征,获得不同尺度瑕疵特征图;
瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合,得到结合了浅层定位信息和高层语义信息的特征图;
根据训练阶段训练好的织物瑕疵检测模型权重,得到预测框。
在训练阶段,将带标签的织物瑕疵图像输入到SCNet骨干网络中,获得瑕疵不同尺度瑕疵特征;所述瑕疵特征通过自适应记忆性特征融合网络来进行特征融合;通过融合了高级语义信息和浅层定位信息的瑕疵特征图进行瑕疵目标的检测和识别,将预测框与真实框进行损失计算;根据随机梯度下降算法反向传播,更新权重,再计算下一批次瑕疵图像损失,如此反复,直到损失收敛,获得最终模型。
在测试阶段,对瑕疵图像进行特征提取,获得不同尺度瑕疵特征;瑕疵特征通过骨干网络SCNet,进行特征提取;根据自适应记忆性特征融合网络,对瑕疵特征进行深层和浅层信息融合;通过训练阶段训练好的模型权重,进行瑕疵检测和识别,获得多个瑕疵候选框;通过非极大抑制算法,去除冗余候选框,得到最终预测框。
实施例2
参照图9和图10,为本发明第二个实施例,该实施例基于前两个实施例。
结合注意力机制与自适应记忆性融合网络的织物瑕疵检测方法与Faster_rcnn、Cascade_rcnn、YOLOv3、YOLOv4以及YOLOv5m、YOLOv5l、YOLOv5x的实验结果比较分析,说明本发明在检测精度与检测速度上有较大提升。
基于浙大纺织品数据集,利用Matlab中Image Labeler标注工具对纺织品图片上的瑕疵依次进行标注,构建带标注的纺织品瑕疵数据集。实验基于该纺织品瑕疵数据集,验证模型。纺织品图片背景分为素色和花纹两种类型,共1536张,图片大小统一为256×256。实验将数据集分为两部分:训练集、测试集,比例为3:1,即训练集1152张,验证集384张。瑕疵类型分为4类:污渍、破损、油污、褶皱,各类瑕疵标签数量见表1。
表1:各类纺织品瑕疵标签统计表。
污渍 破损 褶皱 油污 合计
验证集 950 495 207 197 1849
测试集 305 161 69 76 611
合计 1255 656 276 273 2460
实验采用Ubuntu操作系统,处理器为Intel(R)Xeon(R)CPU E5-26650@2.40GHz,NVIDIA Corporation GP102显卡,显存48G,内存32GB。本研究均基于PyTorch深度学习框架构建网络模型,开发环境为PyTorch1.9.1,cuda11.0,python3.7。
选择mAP@0.5和mAP@0.5:0.95作为评价指标,mAP@0.5表示IoU阈值设为0.5时,所有类别的平均AP,mAP@0.5:0.95表示在不同IoU阈值上的平均mAP,下面实验中mAP均表示mAP@0.5:0.95。因此需要计算模型的精确率(Precision)和召回率(Recall)。
Figure BDA0003453090300000101
Figure BDA0003453090300000102
Figure BDA0003453090300000103
Figure BDA0003453090300000104
其中,TP(Truepositive)为检测出正确的正样本个数;FP(Falsepositive)为检测出错误的正样本的个数;FN为检测出错误的负样本的个数。
在CDIoU损失函数中,为了选取最有效的超参数λ,基于纺织品瑕疵数据集,将λ的取值从1.0到0.001,每次减小10倍进行选取,实验结果见表2。
表2:参数λ取不同值时结果对比表。
λ 1.0 0.1 0.01 0.001
mAP@0.5/% 73.1 73.8 74.5 73.5
mAP/% 41.3 42.0 42.2 41.8
根据实验结果可知,当λ取0.01时,mAP@0.5和mAP分别达到了74.5%和42.2%,显著高于取其他参数值时的精度,因此,选择0.01为λ的最优参数,此时,模型对于纺织品瑕疵的检测效果最佳。
结合注意力机制与自适应记忆性融合网络的织物瑕疵检测方法与Faster_rcnn、Cascade_rcnn、YOLOv3、YOLOv4以及YOLOv5m、YOLOv5l、YOLOv5x的实验结果比较分析,结果见表3。
表3:对比实验结果表。
Figure BDA0003453090300000111
根据对比实验可知,模型在纺织品瑕疵数据集上表现最好,mAP@0.5达到74.5%,mAP到达42.2%。与YOLOv5s相比,在检测速度略微下降的情况下,mAP@0.5提高了2.6%,mAP提高了1.5%;特别在褶皱类纺织品瑕疵检测任务上,mAP@0.5较YOLOv5s显著提高了5.2%,mAP到达21.7%,高于其他模型;这得益于新构建的自适应记忆性特征融合网络AMFN,能够有效传递浅层定位信息,更容易检测褶皱此类与背景重合度高的瑕疵类型。相比其他目标检测网络模型,模型在精度和速度两方面同时具有更好的竞争优势。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:包括训练阶段和测试阶段;
所述训练阶段通过对带有标签的织物瑕疵数据集进行训练得到织物瑕疵检测模型;
所述测试阶段通过所述训练阶段得到的织物瑕疵检测模型进行检测与识别。
2.如权利要求1所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:所述训练阶段包括以下步骤,
将带有标签的瑕疵图像输入骨干网络SCNet中,提取不同尺度瑕疵特征;
所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合和浅层定位信息增强,得到三个不同尺度结合了浅层定位信息和高层语义信息的特征图;
在所述特征图的基础上,根据groundtruth,进行损失计算;
使用随机梯度算法SGD进行反向传播,更新网络权重。
3.如权利要求2所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:所述测试阶段包括以下步骤,
将测试瑕疵图像输入到训练好的织物瑕疵检测模型中;
所述测试瑕疵图像通过所述骨干网络SCNet提取基本特征,获得不同尺度瑕疵特征图;
所述瑕疵特征通过自适应记忆性特征融合网络进行不同尺度瑕疵特征融合,得到结合了浅层定位信息和高层语义信息的特征图;
根据所述训练阶段训练好的织物瑕疵检测模型权重,得到预测框。
4.如权利要求2或3所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:所述骨干网络SCNet引入了SCBAM注意力机制,通过所述SCBAM注意力机制对所述带有标签的瑕疵图像进行特征提取。
5.如权利要求4所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:在SCBAM通道维度中使用软池化SoftPool进行下采样,在反向传播期间,内核领域R内的所有激活将至少被分配一个最小梯度值。
6.如权利要求5所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:SoftPool使用内核领域R内激活的平滑最大近似值,每个激活ai都被赋予权重wi,该权重为该激活的自然指数相对于邻域R内所有激活的自然指数之和的比值:
Figure FDA0003453090290000021
式中,e为自然常数,ai表示激活,wi表示权重,
SoftPool方法的输出值是通过对内核领域R内所有激活的加权求和得到的:
Figure FDA0003453090290000022
式中,ai表示激活,wi表示权重。
7.如权利要求5或6所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:所述SCBAM注意力机制包括,
在SCBAM通道模块,引入SoftPool,提取更多细节信息;
Figure FDA0003453090290000023
Figure FDA0003453090290000024
式中,σ为sigmoid操作,r表示减少率,W0,W1为MLP权重,W0后面需要接ReLU激活,C表示神经网络MLP输入、输出维度数,c表示通道维度,F代表输入特征图;
将SCBAM引入到CSPDarknet53特征提取网络中,构成骨干网络SCNet,将骨干网络SCNet提取的基本特征送入到自适应记忆性融合网络中进行融合。
8.如权利要求2、3、5或6任一所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:所述自适应记忆性融合网络,采用自适应空间特征融合方式融合骨干网络SCNet提取的三个不同尺度特征,生成融合后的特征I,
Figure FDA0003453090290000025
αijijij=1,
Figure FDA0003453090290000026
式中,x1,x2,x3分别表示为来自骨干网络SCNet提取的三个不同尺度特征,λα,λβ,λγ通过1×1卷积得到。
9.如权利要求8所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:通过所述自适应记忆性融合网络生成所述特征I后还包括以下步骤,
在得到融合后的特征后,增加一条自底向上的通路;
将骨干网络SCNet的特征引入特征融合层。
10.如权利要求3所述的结合注意力机制与自适应记忆性融合网络的瑕疵检测方法,其特征在于:采用CDIoU损失函数,计算预测框与真实框之间的损失,
Figure FDA0003453090290000031
Figure FDA0003453090290000032
Figure FDA0003453090290000033
式中,RP,GT分别表示预测框和真实框,MBR为包围两个框的最小矩形区域,AE、BF、CG、DH分别表示预测框和真实框四个顶点之间的距离;WY为包围两个框的最小矩形对角顶点距离;IoU表示两个框的交并比,b和bgt表示预测框和真实框的中心点,ρ2表示两点之间的欧氏距离,c表示能够同时包含预测框和真实框之间的最小闭包区域的对角线距离,wgt,hgt表示真实框宽和高,w,h表示预测框宽和高。
CN202111671344.1A 2021-12-31 2021-12-31 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法 Active CN114372968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111671344.1A CN114372968B (zh) 2021-12-31 2021-12-31 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111671344.1A CN114372968B (zh) 2021-12-31 2021-12-31 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法

Publications (2)

Publication Number Publication Date
CN114372968A true CN114372968A (zh) 2022-04-19
CN114372968B CN114372968B (zh) 2022-12-27

Family

ID=81141694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111671344.1A Active CN114372968B (zh) 2021-12-31 2021-12-31 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN114372968B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049619A (zh) * 2022-06-16 2022-09-13 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN115049639A (zh) * 2022-07-21 2022-09-13 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法
CN115222946A (zh) * 2022-09-19 2022-10-21 南京信息工程大学 一种单阶段实例图像分割方法、装置以及计算机设备
CN115240249A (zh) * 2022-07-07 2022-10-25 湖北大学 人脸识别的特征提取分类度量学习方法、系统及存储介质
CN116703923A (zh) * 2023-08-08 2023-09-05 曲阜师范大学 基于并行注意力机制的织物瑕疵检测模型
CN117152620A (zh) * 2023-10-30 2023-12-01 江西立盾光电科技有限公司 一种跟随植物状态变化的植物生长控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520114A (zh) * 2018-03-21 2018-09-11 华中科技大学 一种纺织布疵点检测模型及其训练方法和应用
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112233090A (zh) * 2020-10-15 2021-01-15 浙江工商大学 基于改进注意力机制的薄膜瑕疵检测方法
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
US20210319420A1 (en) * 2020-04-12 2021-10-14 Shenzhen Malong Technologies Co., Ltd. Retail system and methods with visual object tracking
CN113591968A (zh) * 2021-07-27 2021-11-02 中国人民解放军国防科技大学 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520114A (zh) * 2018-03-21 2018-09-11 华中科技大学 一种纺织布疵点检测模型及其训练方法和应用
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
US20210319420A1 (en) * 2020-04-12 2021-10-14 Shenzhen Malong Technologies Co., Ltd. Retail system and methods with visual object tracking
CN112233090A (zh) * 2020-10-15 2021-01-15 浙江工商大学 基于改进注意力机制的薄膜瑕疵检测方法
CN113192040A (zh) * 2021-05-10 2021-07-30 浙江理工大学 一种基于YOLO v4改进算法的织物瑕疵检测方法
CN113591968A (zh) * 2021-07-27 2021-11-02 中国人民解放军国防科技大学 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN113705478A (zh) * 2021-08-31 2021-11-26 中国林业科学研究院资源信息研究所 一种基于改进YOLOv5的红树林单木目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MENGMENG HUANG 等: "Few samples of SAR automatic target recognition based on enhanced-shape CNN", 《JOURNAL OF MATHEMATICS》 *
RUI JIN 等: "Automatic fabric defect detection based on an improved YOLOV5", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 *
邓世爽 等: "结合注意力机制与自适应记忆性融合网络的纺织品瑕疵检测", 《模式识别与人工智能》 *
麻森权 等: "基于注意力机制和特征融合改进的小目标检测算法", 《计算机应用与软件》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049619A (zh) * 2022-06-16 2022-09-13 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN115049619B (zh) * 2022-06-16 2024-04-09 浙江理工大学 一种针对复杂场景的高效瑕疵检测方法
CN115240249A (zh) * 2022-07-07 2022-10-25 湖北大学 人脸识别的特征提取分类度量学习方法、系统及存储介质
CN115240249B (zh) * 2022-07-07 2023-06-06 湖北大学 人脸识别的特征提取分类度量学习方法、系统及存储介质
CN115049639A (zh) * 2022-07-21 2022-09-13 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法
CN115049639B (zh) * 2022-07-21 2024-04-26 浙江理工大学 一种基于分类重加权YOLOv5模型的织物瑕疵检测方法
CN115222946A (zh) * 2022-09-19 2022-10-21 南京信息工程大学 一种单阶段实例图像分割方法、装置以及计算机设备
CN115222946B (zh) * 2022-09-19 2022-11-25 南京信息工程大学 一种单阶段实例图像分割方法、装置以及计算机设备
CN116703923A (zh) * 2023-08-08 2023-09-05 曲阜师范大学 基于并行注意力机制的织物瑕疵检测模型
CN117152620A (zh) * 2023-10-30 2023-12-01 江西立盾光电科技有限公司 一种跟随植物状态变化的植物生长控制方法及系统
CN117152620B (zh) * 2023-10-30 2024-02-13 江西立盾光电科技有限公司 一种跟随植物状态变化的植物生长控制方法及系统

Also Published As

Publication number Publication date
CN114372968B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN114372968B (zh) 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN109784203B (zh) 基于分层传播和激活的弱监督x光图像违禁品检查方法
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN110348437B (zh) 一种基于弱监督学习与遮挡感知的目标检测方法
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN112669274B (zh) 一种用于表面异常区域像素级分割的多任务检测方法
CN112861915A (zh) 一种基于高级语义特征无锚框非合作目标检测方法
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
Park et al. Advanced cover glass defect detection and classification based on multi-DNN model
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
Gütter et al. Impact of training set size on the ability of deep neural networks to deal with omission noise
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN112614108A (zh) 基于深度学习检测甲状腺超声图像中结节的方法和装置
Ma et al. A hierarchical attention detector for bearing surface defect detection
CN113269171A (zh) 车道线检测方法、电子设备及车辆
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN112733686A (zh) 用于云联邦的图像中的目标物识别方法及装置
Ayyar et al. Identifying Transients in the Dark Energy Survey using Convolutional Neural Networks
CN116563848B (zh) 异常细胞识别方法、装置、设备及存储介质
US20240161303A1 (en) Methods and apparatuses for auto segmentation using bounding box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant