CN114066820A - 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 - Google Patents
一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 Download PDFInfo
- Publication number
- CN114066820A CN114066820A CN202111247671.4A CN202111247671A CN114066820A CN 114066820 A CN114066820 A CN 114066820A CN 202111247671 A CN202111247671 A CN 202111247671A CN 114066820 A CN114066820 A CN 114066820A
- Authority
- CN
- China
- Prior art keywords
- swin
- module
- defects
- fabric
- transformer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Abstract
本发明涉及一种基于Swin‑Transformer与NAS‑FPN的织物疵点检测方法,主要有三个阶段:第一阶段,建立数据集,收集带有疵点的织物图像,人工标注疵点的位置和类型,并将数据集划分为训练集和测试集两个部分;第二阶段:训练模型,在训练集上,通过Swin‑Transformer模块提取输入图像特征,然后使用NAS‑FPN模块进行特征融合,将获得的特征通过RPN模块得到粗略的疵点位置框;第三阶段,通过对特征的处理得到最终织物疵点的位置和类型。本发明将Swin‑Transformer与NAS‑FPN相结合搭建的目标检测模型比通用的目标检测网络检测结果更加准确,特别是对于织物疵点更有针对性。
Description
技术领域
本发明涉及计算机视觉技术领域,涉及一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法。
背景技术
在生产过程中,因为设备、原料、工艺或者其它外部因素,布匹表面可能会产生疵点。疵点会影响织物质量,最终影响企业的经济效益。疵点的种类很多,形状、大小不规则;织物图像的背景纹理很复杂,这些会导致织物疵点自动检测很难实现。不仅如此,大规模疵点图像数据集的缺失也给疵点检测的训练带来了困难。对于疵点检测这道工序,目前大多数企业以人工目检为主。这种方式不但效率低,精度差,而且长时间的用眼会对纺织工人的眼睛造成不可逆的伤害。因此,开发一种利用计算机进行在线的、自动检测方法势在必行。
在线织物疵点检测指在织物生产过程中对疵点进行检测,在满足检测速度的同时,还要保证精度,找到疵点的位置和类型,以便于统计和报警。随着深度学习的发展,利用深度学习技术对织物疵点进行检测的方法不断地被提出。其中将疵点检测作为目标检测任务是一个重要的分支。然而直接使用通用的目标检测方法对织物进行检测却并不适用,这主要是通用的目标检测模型对于极小的目标无法识别,而很多织物上的疵点恰恰是极小的,比如污点、线头、破洞等,所以本发明提出了Swin-Transformer与NAS-FPN来解决这个问题。
发明内容
本发明的目的是提供一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法,所得的混凝土具有优异的工作性能、力学性能、抗裂性和抗冲磨性能。
为达到上述目的,本发明采用的技术方案为:
一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法,包括以下步骤:
步骤1、基于收集到的织物图像并进行疵点的标记,记录下织物图像中疵点所在位置与种类,并将标记后的织物图像划分为训练集与测试集;
步骤2、将训练集中的训练样本输入到设计好的Swin-Transformer模块中进行特征提取,得到不同层次的特征图;
步骤3、利用NAS-FPN对步骤2得到的不同层次的特征图进行融合,得到融合后的特征图;
步骤4、将步骤3得到的融合后的特征图输入RPN网络得到疵点建议框;
步骤5、结合步骤3得到的特征图与步骤4得到的疵点建议框进行最终疵点位置的回归与疵点类型的分类,得到每个训练样本的最终疵点检测结果,利用检测结果与样本上标记的疵点位置和种类计算差异值,并计算损失函数,根据损失函数调整步骤1-3中各网络模块的参数,训练完毕后得到织物疵点检测模型;
步骤6、将步骤1中的测试集输入织物疵点检测网络模型中,得到图像中的目标疵点及位置坐标,并在图像中进行标记。
进一步的,所述步骤2中设计的Swin-Transformer模块由一个区域划分模块和特征提取模块,所述区域划分模块用于将输入的图像划分为多个不重叠的小块;所述特征提取模块用于对划分后的图像进行多尺度特征提取,所述特征提取模块包括阶段一、阶段二、阶段三和阶段四:
阶段一用于提取浅层特征,包括一个线性嵌入层与2个连续的Swin-TransformerBlock,Swin-Transformer Block是一个经过修改的自注意力模块,通过将Transformer中的标准多头自注意力模块替换为基于移动窗口的模块,其他层保持不变,在每个MSA模块和每个MLP之前应用一个LayerNorm层;
阶段二用于提取中层特征,包括一个区域融合模块与两个连续的Swin-Transformer Block,区域融合模块通过融合相邻的小块得到分层特征;
阶段三由一个区域融合模块与6个Swin-Transformer Block组成;阶段四由一个区域融合模块与2个Swin-Transformer Block组成;阶段三、四用于提取深层次的特征。
进一步的,所述Swin-Transformer Block用于利用基于移动窗口的模块将一个8×8的特征图均匀的划分成4×4的大小,然后,下一个模块在上一个模块的配置上使窗口滑动,通过用个像素来代替常规分区的窗口。
进一步的,步骤3中,特征融合的方式是使用神经架构搜索的方式来得到最优的融合方法。
进一步的,步骤4中,融合后的特征图输入RPN网络后,经过一个卷积层,分为两个分支,一个分支通过Cx2通道大小为1的卷积代表C个建议框的前景背景概率,另外一个分支通过Cx4通道大小为1的卷积代表C个建议框的坐标值,其中建议框的初始比例值根据训练集图片中疵点的长宽比分布情况确定,将两个分支的输出数据进行结合得到多个疵点建议框。
进一步的,步骤5中的分类方法是将输入数据输入全连接层、卷积层和全连接层之后分为两个并行的分支,一个分支连接全连接层之后对疵点的位置坐标进行回归,另一个分支则是通过全连接层之后经过Softmax函数得到疵点的种类,将两个分支的输出数据进行结合得到检测得到的最终疵点位置和对应种类。
本发明的有益效果为:1.本发明提出了使用Swin-Transformer进行织物疵点检测的特征提取步骤,有更好的特征表达效果。2.本发明提出了使用NAS-FPN对特征融合的方式在一个可扩展的空间内进行了搜索,所获得的特征融合效果更好。3.本发明将设计好的端对端的织物疵点检测网络模型用来进行在线织物疵点检测检测速度快且准确率高。
附图说明
图1是本发明基于Swin-Transformer与NAS-FPN的织物疵点检测方法的主要架构图;
图2是本发明的Swin-Transformer的主要架构;
图3是本Swin-Transformer block的结构图;
图4是本发明的普通FPN进行特征融合的方式;
图5是本发明的NAS-FPN主要构成部件merging cells的工作流程。
具体实施方式
以下对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,本发明实施例提供了一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法,具体步骤如下:
步骤一、利用图像采集系统在纺织企业的研布车间采集织物图像,采集到4365张分辨率为4096×1696,训练集与测试集中的图像数量比为4:1。
表1各类疵点数量
步骤二、构建Swin-Transformer模块,如图2所示,Swin-Transformer模块主要由区域划分和4个阶段组成,区域划分模块将输入的图像划分为不重叠的小块,每个小块的大小被设计为4×4他们的特征被设置为RGB通道的连接,因此每个小块的特征维度为4×4×3=48。
阶段一由1个线性嵌入层与2个连续的Swin-Transformer Block组成,Swin-Transformer Block是一个经过修改的自注意力模块,如图3所示,通过将Transformer中的标准多头自注意力(MSA)模块替换为基于移动窗口的模块(SW-MSA),其他层保持不变,在每个MSA模块和每个MLP之前应用一个LayerNorm(LN)层。
其中,注意力模块的计算公式为:
其中,Q为输入向量对应的查询矩阵,K为键矩阵,V为值矩阵,它们的初始值是随机生成的,dk为向量的维度。Softmax激活函数计算公式如下:
其中Sj为向量中第j个分量的softmax值,ej为第j个分量的值。
多头注意力(MSA)的计算公式如下:
MultiHead(Q,K,V)=Concat(head1,...,headh)WO
where headi=Attention(QWi Q,KWi K,VWi V)
其中headi表示第i个头,每个头的计算公式与单头一样。WO表示对应的权值矩阵。
阶段二由一个区域融合模块与两个连续的Swin-Transformer Block组成,区域融合模块通过如何相邻的小块得到分层特征。
阶段三由一个区域融合模块与6个Swin-Transformer Block组成。
阶段四由一个区域融合模块与2个Swin-Transformer Block组成。
通过阶段一,得到个token,每个token的通道为C。之后,为了产生分层表示,通过合并相邻的分块来减少token的数量,patch merge层将相邻2×2的每一组补丁的特征拼接起来,这样得到个token,通道为4C,然后经过阶段二的Swin-TransformerBlock,输出通道设置为2C,得到的输出,token的数量变成了阶段三与阶段四和阶段二类似,输出分别为与
Swin-Transformer Block中的基于移动窗口的模块(SW-MSA)将一个8×8的特征图均匀的划分成4×4的大小(M=4)。然后,下一个模块在上一个模块的配置上使窗口滑动,通过用像素来代替常规分区的窗口。两个连续的Swin Transformer blocks的计算为:
步骤三、构建NAS-FPN层,如图4所示,常规的FPN层,通过手动指定特征融合方式,NAS-FPN是通过神经架构搜索的方式来学习到最好的特征融合方式,NAS-FPN由mergingcells组成,如图5所示,构建merging cells由4个步骤构成:
1、选择一个候选特征层hi
2、选择另一个特征层hj
3、选择输出层的分辨率
4、选择一个对hi于hj的操作,并使用步骤三选取的分辨率进行输出。
步骤四、构建RPN层,RPN网络在得到融合后的特征输入后,经过一个大小为3的卷积,分为两个分支,一个通过Cx2通道大小为1的卷积代表C个建议框的前景背景概率,另外一个通过Cx4通道大小为1的卷积代表C个建议框的坐标值,其中预设的建议框的初始比例值是根据训练集图片中疵点的长宽比分布情况而手动设计的,值为[0.02,0.1,0.5,1.0,2.0,10,50]。另外,选取建议框采取了Cascade结构,设计了3个IOU阈值进行选择框的选取,分别是0.5,0.6,0.7。
步骤五、构建输出层,输出层由全连接层、卷积层、全连接层之后分为两个并行的分支,一个分支连接全连接层之后对疵点的位置坐标进行回归,另一个分支则是通过全连接层之后经过Softmax函数得到疵点的种类。
步骤六、将训练集中的数据按批次输入到模型中进行训练,训练参数为每个批次训训练8张图片。训练时,我们将图片按比例缩放到1434,593,初始学习率为0.001,在27和33个进行衰减。共训练36个轮次。
将本发明的测试结果和深度学习模型Cascase RCNN对比,测试结果如表2所示,可以看出,在沾污、花头、缝头、缝头印虫粘,特别是缝头上因为融合方式的改变和候选框的增加有了极大的提升。在表3中,本方法的mAP相较于Cascase RCNN提高了0.112,拥有了更高的准确率的同时还能拥有相仿的检测速度,实验表明,本发明的模型更适用于织物疵点检测。本发明使用的评价指标为目标检测的评估标准mAP,计算公式为:
其中n为检测的种类数量,APi为第i类的AP,即平均精度,AP为PR曲线的面积,一般采用估算的形式,其计算公式为:
其中N为PR曲线的取值点数,P(k)为对应点的准确率,Δr(k)为对应点的估计召回率,计算公式分别为:
其中TP为检测正确的数量,FP为检测错误的数量,FN为为检测出的正确样本数量。
表2各类疵点检测结果map
表3本发明与深度学习模型Cascase RCNN整体结果对比
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于,包括以下步骤:
步骤1、基于收集到的织物图像并进行疵点的标记,记录下织物图像中疵点所在位置与种类,并将标记后的织物图像划分为训练集与测试集;
步骤2、将训练集中的训练样本输入到设计好的Swin-Transformer模块中进行特征提取,得到不同层次的特征图;
步骤3、利用NAS-FPN对步骤2得到的不同层次的特征图进行融合,得到融合后的特征图;
步骤4、将步骤3得到的融合后的特征图输入RPN网络得到疵点建议框;
步骤5、结合步骤3得到的特征图与步骤4得到的疵点建议框进行最终疵点位置的回归与疵点类型的分类,得到每个训练样本的最终疵点检测结果,利用检测结果与样本上标记的疵点位置和种类计算差异值,并计算损失函数,根据损失函数调整步骤1-3中各网络模块的参数,训练完毕后得到织物疵点检测模型;
步骤6、将步骤1中的测试集输入织物疵点检测网络模型中,得到图像中的目标疵点及位置坐标,并在图像中进行标记。
2.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于,所述步骤2中设计的Swin-Transformer模块包括一个区域划分模块和特征提取模块,所述区域划分模块用于将输入的图像划分为多个不重叠的小块;所述特征提取模块用于对划分后的图像进行多尺度特征提取,所述特征提取模块包括阶段一、阶段二、阶段三和阶段四:
阶段一用于提取浅层特征,包括一个线性嵌入层与2个连续的Swin-TransformerBlock,Swin-Transformer Block是一个经过修改的自注意力模块,修改方式为将Transformer中的标准多头自注意力模块替换为基于移动窗口的模块,其他层保持不变,在每个MSA模块和每个MLP之前应用一个LayerNorm层;
阶段二用于提取中层特征,包括一个区域融合模块与两个连续的Swin-TransformerBlock,区域融合模块通过融合相邻的小块得到分层特征;
阶段三由一个区域融合模块与6个Swin-Transformer Block组成;阶段四由一个区域融合模块与2个Swin-Transformer Block组成;阶段三、四用于提取深层次的特征。
4.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于,步骤3中,特征融合的方式是使用神经架构搜索的方式来得到最优的融合方法。
5.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于,步骤4中,融合后的特征图输入RPN网络后,经过一个卷积层,分为两个分支,一个分支通过Cx2通道大小为1的卷积代表C个建议框的前景背景概率,另外一个分支通过Cx4通道大小为1的卷积代表C个建议框的坐标值,其中建议框的初始比例值根据训练集图片中疵点的长宽比分布情况确定,将两个分支的输出数据进行结合得到多个疵点建议框。
6.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于,步骤5中的分类方法是将输入数据输入全连接层、卷积层和全连接层之后分为两个并行的分支,一个分支连接全连接层之后对疵点的位置坐标进行回归,另一个分支则是通过全连接层之后经过Softmax函数得到疵点的种类,将两个分支的输出数据进行结合得到检测得到的最终疵点位置和对应种类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111247671.4A CN114066820A (zh) | 2021-10-26 | 2021-10-26 | 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111247671.4A CN114066820A (zh) | 2021-10-26 | 2021-10-26 | 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114066820A true CN114066820A (zh) | 2022-02-18 |
Family
ID=80235513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111247671.4A Pending CN114066820A (zh) | 2021-10-26 | 2021-10-26 | 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114066820A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494254A (zh) * | 2022-04-14 | 2022-05-13 | 科大智能物联技术股份有限公司 | 基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质 |
CN114519402A (zh) * | 2022-04-18 | 2022-05-20 | 安徽农业大学 | 一种基于神经网络模型的柑橘病虫害检测方法 |
CN114627292A (zh) * | 2022-03-08 | 2022-06-14 | 浙江工商大学 | 工业遮挡目标检测方法 |
CN114821368A (zh) * | 2022-05-05 | 2022-07-29 | 合肥工业大学 | 一种基于强化学习和Transformer的电力缺陷检测方法 |
CN114937021A (zh) * | 2022-05-31 | 2022-08-23 | 哈尔滨工业大学 | 一种基于Swin-Transformer的农作物病害细粒度分类方法 |
CN115830302A (zh) * | 2023-02-24 | 2023-03-21 | 国网江西省电力有限公司电力科学研究院 | 一种多尺度特征提取融合配电网设备定位识别方法 |
WO2024071670A1 (ko) * | 2022-09-27 | 2024-04-04 | 주식회사 엠파파 | 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템 |
CN114627292B (zh) * | 2022-03-08 | 2024-05-14 | 浙江工商大学 | 工业遮挡目标检测方法 |
-
2021
- 2021-10-26 CN CN202111247671.4A patent/CN114066820A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114627292A (zh) * | 2022-03-08 | 2022-06-14 | 浙江工商大学 | 工业遮挡目标检测方法 |
CN114627292B (zh) * | 2022-03-08 | 2024-05-14 | 浙江工商大学 | 工业遮挡目标检测方法 |
CN114494254A (zh) * | 2022-04-14 | 2022-05-13 | 科大智能物联技术股份有限公司 | 基于GLCM与CNN-Transformer融合的产品外观缺陷分类方法、存储介质 |
CN114519402A (zh) * | 2022-04-18 | 2022-05-20 | 安徽农业大学 | 一种基于神经网络模型的柑橘病虫害检测方法 |
CN114519402B (zh) * | 2022-04-18 | 2022-08-09 | 安徽农业大学 | 一种基于神经网络的柑橘病虫害检测方法 |
CN114821368A (zh) * | 2022-05-05 | 2022-07-29 | 合肥工业大学 | 一种基于强化学习和Transformer的电力缺陷检测方法 |
CN114821368B (zh) * | 2022-05-05 | 2024-03-01 | 合肥工业大学 | 一种基于强化学习和Transformer的电力缺陷检测方法 |
CN114937021A (zh) * | 2022-05-31 | 2022-08-23 | 哈尔滨工业大学 | 一种基于Swin-Transformer的农作物病害细粒度分类方法 |
WO2024071670A1 (ko) * | 2022-09-27 | 2024-04-04 | 주식회사 엠파파 | 인공지능 기반 봉제결함 탐지 및 분류 방법 및 시스템 |
CN115830302A (zh) * | 2023-02-24 | 2023-03-21 | 国网江西省电力有限公司电力科学研究院 | 一种多尺度特征提取融合配电网设备定位识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114066820A (zh) | 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法 | |
WO2023070911A1 (zh) | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 | |
CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
CN111223093A (zh) | 一种aoi缺陷检测方法 | |
CN108876781A (zh) | 基于ssd算法的表面缺陷识别方法 | |
US20210295165A1 (en) | Method for constructing efficient product surface defect detection model based on network collaborative pruning | |
CN109064459A (zh) | 一种基于深度学习的布匹瑕疵检测方法 | |
CN115100206B (zh) | 用于具有周期图案纺织物的印花缺陷识别方法 | |
CN112991271B (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
CN110458809B (zh) | 一种基于亚像素边缘检测的纱线条干均匀度检测方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
CN114881987A (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
CN114565314A (zh) | 一种基于数字孪生的热轧钢卷端面质量管控系统及方法 | |
CN111161228B (zh) | 一种基于迁移学习的纽扣表面缺陷检测方法 | |
Aferi et al. | Cotton texture segmentation based on image texture analysis using gray level co-occurrence matrix (GLCM) and Euclidean distance | |
CN117392097A (zh) | 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统 | |
CN112200766A (zh) | 基于区域关联神经网络的工业产品表面缺陷检测方法 | |
CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
CN115761467A (zh) | 一种基于高低频特征差分金字塔神经网络的水下目标检测方法 | |
CN115457323A (zh) | 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法 | |
CN114596296A (zh) | 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法 | |
CN114119500A (zh) | 一种基于生成对抗网络的色织物缺陷区域的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |