CN115330697A - 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 - Google Patents

基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 Download PDF

Info

Publication number
CN115330697A
CN115330697A CN202210866420.2A CN202210866420A CN115330697A CN 115330697 A CN115330697 A CN 115330697A CN 202210866420 A CN202210866420 A CN 202210866420A CN 115330697 A CN115330697 A CN 115330697A
Authority
CN
China
Prior art keywords
tire
domain
flaw detection
image
swin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210866420.2A
Other languages
English (en)
Inventor
张宇隆
陈金水
卢建刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210866420.2A priority Critical patent/CN115330697A/zh
Publication of CN115330697A publication Critical patent/CN115330697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提供一种基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法。在模型训练阶段，将轮胎X光图像裁剪后，输入可迁移Swin Transformer特征提取器中，而后使用域判别器进行区域级别的对齐，并提供基于区域的注意力权重进行子域自适应，然后通过轮胎瑕疵检测分类器得到瑕疵检测结果，使用随机梯度下降法对模型进行训练；在瑕疵检测阶段，首先对目标X光机所得图像进行裁剪，而后输入模型训练阶段所得特征提取器和轮胎瑕疵检测分类器，从而得到瑕疵检测结果。本发明能够解决轮胎瑕疵检测中存在的领域偏移问题，提高瑕疵检测的效率。

Description

基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法
技术领域
本发明涉及机器视觉自动检测领域，尤其是涉及一种基于可迁移SwinTransformer的轮胎瑕疵检测域自适应方法。
背景技术
在轮胎的生产过程中，不可避免地会出现各种缺陷，因此为了确保轮胎应用的安全性和可靠性，必须在轮胎出厂前进行质量检查。随着工厂自动化水平的提高，近年来有许多基于计算机视觉的方法广泛应用于轮胎瑕疵检测中，特别是由于计算机技术和工业大数据的发展，基于深度学习的数据驱动模型在瑕疵检测中受到了广泛的关注。与传统的瑕疵检测方法相比，基于深度学习的方法在有标注数据充足的情况下可以获得令人满意的性能。然而由于实际工业现场轮胎瑕疵的稀缺性，难以获得深度学习模型所需的数据量。不仅如此，深度学习模型的性能只有在源域和目标域服从相同的分布时才能保证，这在大多数情况下是不切实际的。轮胎生产过程中工况复杂多变，工作条件的变化将导致源域和目标域之间产生分布差异(即领域偏移)，从而导致基于深度学习的缺陷检测模型的性能显著下降。这时需要重新收集和标注大量的目标域样本，这是非常耗时且效率低下的。而轮胎X光图像本身具有低亮度和低对比度的特征，且存在瑕疵尺度变化大，出现位置不固定等问题。上述特征给工业轮胎瑕疵检测造成了困难。
发明内容
本发明的目的在于，针对现有技术的不足，提供一种基于可迁移SwinTransformer的轮胎瑕疵检测域自适应方法。
为此，本发明采用如下技术方案：
一种基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法，其特征在于：所述轮胎瑕疵检测方法使用Swin Transformer作为图像特征提取器，同时考虑图像不同位置区域的细粒度对齐和语义信息的对齐，从而有效提取和学习轮胎瑕疵检测中的可迁移和判别性特征，并且只需少量的无标注目标域样本就可以使源域上训练得到的模型在目标域上也能获得优秀的性能，有效地解决了轮胎瑕疵检测中的领域偏移问题；所述轮胎瑕疵检测方法包括模型训练和瑕疵检测；
所述模型训练包括以下步骤：
步骤S1，数据获取：使用轮胎质检线上的源X光机对需要进行质量检测的轮胎进行扫描，得到初始轮胎X光图像，将初始轮胎X光图像裁剪成规定尺寸的样本；源域样本为源X光机上采样所得ns张有标注图像，目标域样本为目标X光机上采样所得nt张无标注图像；
步骤S2，特征提取：将b张源域样本和b张目标域样本分别输入特征提取器，所述特征提取器为Swin Transformer；
步骤S3，区域对齐：在步骤S2特征提取器最后一个阶段的Swin TransformerBlock中，对W-MSA和SW-MSA加入域判别器进行区域级别对齐，并得到图像中各区域的相对重要性；
步骤S4，子域自适应：基于步骤S2特征提取器最终所得特征和步骤S3中所得图像各区域的相对重要性，使用局部最大均值差异进行细粒度的子域自适应；
步骤S5，瑕疵分类：将步骤S4中适配后的源域样本特征和目标域样本特征输入轮胎瑕疵检测分类器中得到瑕疵分类结果；
步骤S6，更新模型参数：重复步骤S2到步骤S5，利用随机梯度下降法更新模型参数，迭代次数为I次；
步骤S7，保存模型参数：根据步骤S6完成对所述模型参数的I次迭代次数更新后，保存步骤S2中所述特征提取器和步骤S5中所述轮胎瑕疵检测分类器的模型参数；
所述瑕疵检测包括以下步骤：
步骤Z1，数据预处理：将目标域轮胎输入目标X光机，并将目标X光机扫描所得图像进行裁剪，获得规定尺寸的测试数据集；
步骤Z2，特征提取：将步骤Z1中所得测试数据集输入模型训练阶段步骤S7中保存的特征提取器中，获得域不变特征表示；
步骤Z3，瑕疵检测：将步骤Z2中所得域不变特征表示输入模型训练阶段步骤S7中保存的轮胎瑕疵检测分类器中进行瑕疵检测，得到测试数据集上的瑕疵检测结果。
在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：
作为本发明的优选技术方案：所述规定尺寸为224×224分辨率；所述步骤S1中，所述源域样本数ns优选在每个类别不少于100张，且需要进行标注，所述目标域样本数nt优选在每个类别不少于20张，且不需要进行标注。
作为本发明的优选技术方案：所述步骤S2中，所述参数b优选于32，所述特征提取器Swin Transformer的初始化参数优选于使用ImageNet数据集进行预训练。
作为本发明的优选技术方案：所述步骤S3中，图像各区域相对重要性优选于使用熵进行度量。
作为本发明的优选技术方案：所述步骤S4中，所述子域自适应中，需要使用样本的类别标签，其中源域样本的类别标签来源于标注信息，目标域样本的类别标签来源于伪标签。
作为本发明的优选技术方案：所述步骤S5中，所述轮胎瑕疵检测分类器优选于双层的全连接层，并采用源域和目标域共享的形式。
作为本发明的优选技术方案：所述步骤S6中，所述迭代次数I优选于5000。
作为本发明的优选技术方案：所述步骤S7中保存所述特征提取器模型参数用于瑕疵检测阶段步骤Z2中获得域不变特征表示，保存所述轮胎瑕疵检测分类器模型参数用于瑕疵检测阶段步骤Z3进行瑕疵检测。
根据本发明的目的，本发明提供一种基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法，其特征在于它采用上述的模型训练方法进行训练。
根据本发明的目的，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述模型训练步骤和瑕疵检测步骤。
根据本发明的目的，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的模型训练步骤和瑕疵检测步骤。
本发明所提供的基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法具有以下优点：
(1)能有效缓解在不同X光机下进行轮胎瑕疵检测的领域偏移问题，仅需少量的无标注目标域样本就可以实现优秀的迁移效果，提高轮胎瑕疵检测的效率；
(2)利用Swin Transformer的内在特性，基于自注意力机制进行基于区域的细粒度对齐，并对区域级别的特征进行加权，以提高子域自适应的准确性；
(3)将基于区域的局部对齐和基于语义类别信息的子域自适应相结合，从而有效提取和学习可迁移和判别性特征。
附图说明
图1为本发明方法的主要流程图；
图2为本发明方法可迁移Swin Transformer Block架构图；
图3为本发明方法模型训练阶段的主要流程图；
图4为本发明方法瑕疵检测阶段的主要流程图。
具体实施方式
本发明的具体实施方式，将结合附图和领域偏移情况下的轮胎瑕疵检测具体实施例进行详述。
具体实施例选取胎稀，帘线弯曲，帘线重叠，杂物和泡五种瑕疵，与正常样本一共6种类别图像进行领域偏移情况下的轮胎瑕疵检测。选取3种不同型号的X光机之间的相互迁移作为具体实施例，共构造6种不同的迁移任务。图像预处理将X光机采样所得图像裁剪成224×224分辨率。源域样本包括上述6种类别图像，每类各100张有标注样本图像，采样自源X光机。目标域样本则采样自目标X光机。其中目标域中训练集样本图像为每类20张，测试集样本图像为每类40张。且目标域样本为无标签图像。先后执行模型训练阶段和瑕疵检测阶段即可完成本具体实施例。
如图3所示，模型训练阶段的步骤如下：
步骤S1，由源X光机采样得到轮胎X光图像，并裁剪为224×224分辨率的样本图像。在此X光机上共收集每类样本各100张图像，并进行类别标签标注作为源域数据集。同样在另一台不同型号的目标X光机上采集轮胎X光图像，将其裁剪为224×224分辨率的样本图像，共收集每类样本各20张图像作为目标域训练集。
步骤S2，取步骤S1所得的源域样本32张和目标域样本32张分别输入特征提取器Swin Transformer中。
步骤S3，在步骤S2特征提取器最后一个阶段的Swin Transformer Block中，对W-MSA和SW-MSA加入域判别器以实现基于区域的细粒度对齐，因此将此处的W-MSA和SW-MSA分别重新命名为W-TMSA和SW-TMSA，详细结构如图2所示。具体而言，为了实现区域级别的对齐并为不同图像区域分配相应的注意力权重，将域判别器
Figure BDA0003758765250000041
应用到所有patch中：
Figure BDA0003758765250000042
其中，n＝ns+nt，P为patch的数目，
Figure BDA0003758765250000043
为交叉熵损失，f(·)代表特征提取器，yi代表
Figure BDA0003758765250000044
的域标签。为了量化patch token的可迁移性，引入熵泛函：
Figure BDA0003758765250000045
在此基础上，我们将MSA替换为图2虚线框中所示可迁移MSA，即TMSA：
Figure BDA0003758765250000046
其中Kp为patch token的key，⊙表示Hadamard乘积，[；]代表连接操作。则可以得到S(W)-TMSA的表达式：
Figure BDA0003758765250000047
因此特征提取器最后一个阶段两个连续的Swin Transformer Block可由下式计算：
Figure BDA0003758765250000051
其中
Figure BDA0003758765250000052
表示W-TMSA和SW-TMSA模块的输出特征，zl表示MLP模块的输出特征。从而实现更易迁移的区域被赋予更大的注意力权重，即得到图像中各区域的相对重要性。
步骤S4，基于步骤S2特征提取器最终所得特征和步骤S3中所得图像各区域的相对重要性，使用局部最大均值差异(LMMD)进行子域自适应：
Figure BDA0003758765250000053
其中，xs和xt分别代表源域样本特征和目标域样本特征，Ec(·)代表类别c的数学期望，p(c)和q(c)分别为源域类别c和目标域类别c的样本分布。
Figure BDA0003758765250000054
表示由显著核定义的再生核希尔伯特空间，φ(·)表示原数据到
Figure BDA0003758765250000055
的映射。p(c)和q(c)分别代表子域
Figure BDA0003758765250000056
和
Figure BDA0003758765250000057
的分布。假设属于每个类别的每个样本的权重为wc，则(5)式的无偏估计为：
Figure BDA0003758765250000058
其中
Figure BDA0003758765250000059
和
Figure BDA00037587652500000510
分别表示
Figure BDA00037587652500000511
和
Figure BDA00037587652500000512
属于类别c的权重。则样本xi的权重可由下式计算：
Figure BDA00037587652500000513
其中yic是yi的第c个分量。则根据核技巧，可以得到LMMD损失的无偏估计：
Figure BDA00037587652500000514
其中
Figure BDA00037587652500000515
和
Figure BDA00037587652500000516
分别表示源域和目标域样本图像经过特征提取器后的激活值。
步骤S5，将步骤S4中适配后的源域和目标域样本特征输入轮胎瑕疵检测分类器中得到瑕疵检测结果。轮胎瑕疵检测分类器由双层的全连接层组成，源域上的分类损失可以定义为：
Figure BDA0003758765250000061
其中
Figure BDA0003758765250000062
代表
Figure BDA0003758765250000063
的真实样本标签，FC为轮胎瑕疵检测分类器。则模型的目标函数由源域分类损失，域判别器损失和局部最大均值差异损失构成：
Figure BDA0003758765250000064
其中θf,θc和θd分别表示特征提取器，轮胎瑕疵检测分类器和域判别器的参数。λ和μ表示平衡参数。本具体实施例将平衡参数λ和μ设置为λ＝μ＝2/(1+exp(-10·t))，其中t为当前迭代次数与总迭代次数的比值。
步骤S6：重复步骤S2到步骤S5，使用随机梯度下降法更新模型参数，总迭代次数为5000次，采用动态学习率调整策略：
Figure BDA0003758765250000065
其中k从0线性变化到1，α0＝0.01，γ＝10，β＝0.75。
步骤S7：当完成步骤S6所述迭代次数后，保存步骤S2中所述特征提取器和步骤S5中所述轮胎瑕疵检测分类器的模型参数以供瑕疵检测阶段使用。
如图4所示，瑕疵检测阶段的步骤如下：
步骤Z1：将轮胎经过目标域X光机，而后将所得图像裁剪为224×224分辨率的样本图像，共得到每类样本40张作为目标域测试集；
步骤Z2：将步骤Z1中所得测试数据集输入模型训练阶段步骤S7中保存的特征提取器中，获得域不变特征表示；
步骤Z3：将步骤Z2中所得域不变特征表示输入模型训练阶段步骤S7中保存的轮胎瑕疵检测分类器中进行瑕疵检测，得到测试数据集上的瑕疵检测结果。
结果验证：为了验证本发明所提出的基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法的有效性，将此方法与不采用迁移学习方法的CNN和SwinT(SwinTransformer)以及现有域自适应模型BNM，Deep CORAL，DAN，DAAN，DANN，MRAN和DSAN进行性能比较。6种不同迁移任务中的轮胎瑕疵检测精度(％)对比结果如表1所示，所有实验都至少重复3次，以提升实验结果的有效性。可以看到CNN仅获得了56.46％的平均瑕疵检测准确率，这表明基于源域数据训练得到的瑕疵检测模型不能直接应用于目标域。并且域自适应方法在每个迁移任务中的优越性能表明了域自适应方法在领域偏移情况下的轮胎缺陷检测中的必要性。而本发明方法(TST)的平均准确率为96.17％，比其他最先进的与自适应方法高出至少8.83％。此外，表1中的TST(w/p)表示本发明方法去掉可迁移Swin TransformerBlock仅使用子域自适应。与TST(w/p)相比，本发明方法提高了3.87％的平均瑕疵检测精度，此结果证明了基于区域对齐的有效性。上述分析表明了本发明方法的优越性能。
表1
算法 1→2 2→1 1→3 3→1 2→3 3→2 Average
CNN 51.44±2.27 55.42±2.96 59.00±0.90 59.69±3.69 59.72±1.57 53.47±1.87 56.46
BNM 73.47±1.71 75.14±1.20 79.31±1.75 73.75±0.90 66.80±1.38 69.17±2.23 72.94
SwinT 78.00±1.25 78.54±2.61 79.58±2.62 81.94±1.04 76.15±0.95 76.04±2.74 78.38
Deep CORAL 73.47±1.71 74.58±0.68 82.50±0.68 81.81±1.19 80.28±0.78 80.14±0.52 78.80
DAN 82.64±1.29 85.28±0.85 83.33±1.48 82.36±1.04 79.27±1.03 82.36±0.85 82.54
DAAN 84.72±1.09 86.39±0.40 87.36±1.68 87.64±0.52 83.58±0.56 82.36±0.85 85.34
DANN 87.78±1.90 86.46±1.12 89.17±0.51 87.08±0.90 85.52±1.72 85.21±0.47 86.87
MRAN 86.25±1.36 85.32±1.04 89.72±0.78 87.36±0.20 85.00±1.79 85.14±1.38 86.47
DSAN 88.06±1.68 88.05±1.37 90.00±0.34 88.05±0.71 85.73±0.68 89.86±0.52 88.29
TST(w/p) 93.89±0.71 92.50±0.59 93.19±0.79 92.19±0.74 90.84±1.73 92.92±0.90 92.59
TST 98.05±0.39 94.48±0.45 96.36±0.35 95.73±0.62 95.42±0.34 96.98±0.34 96.17
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的设施可借助软件加必需的通用硬件平台的方式来实现。本发明的实施例可以使用现有的处理器来实现，或者由被用于此目的或其他目的用于适当系统的专用处理器来实现，或者由硬接线系统来实现。本发明的实施例还包括非暂态计算机可读存储介质，其包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质；这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何其他可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并可被由通用或专用计算机或其它带有处理器的机器访问的介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，该连接也被视为机器可读介质。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法，其特征在于：所述方法使用Swin Transformer作为图像的特征提取器，同时考虑图像不同位置区域的细粒度对齐和语义信息的对齐，所述方法包括模型训练和瑕疵检测；
所述模型训练包括以下步骤：
步骤S1，数据获取：使用轮胎质检线上的源X光机对需要进行质量检测的轮胎进行扫描，得到初始轮胎X光图像，将初始轮胎X光图像进行裁剪获得规定尺寸的样本；源域样本为源X光机上采样所得ns张有标注图像，目标域样本为目标X光机上采样所得nt张无标注图像；
步骤S2，特征提取：将b张源域样本和b张目标域样本分别输入特征提取器，所述特征提取器为Swin Transformer；
步骤S3，区域对齐：在步骤S2特征提取器最后一个阶段的Swin Transformer Block中，对W-MSA和SW-MSA加入域判别器进行区域级别对齐，并得到图像各区域的相对重要性；
步骤S4，子域自适应：基于步骤S2特征提取器最终获得的特征和步骤S3中所得图像各区域的相对重要性，使用局部最大均值差异进行细粒度的子域自适应；
步骤S5，瑕疵检测：将步骤S4中适配后的源域样本特征和目标域样本特征输入轮胎瑕疵检测分类器中得到瑕疵检测结果；
步骤S6，更新模型参数：重复步骤S2到步骤S5，使用随机梯度下降法对模型参数进行更新，迭代次数为I次；
步骤S7，保存模型参数：根据步骤S6完成对所述模型参数的I次迭代次数更新后，保存步骤S2中特征提取器和步骤S5中轮胎瑕疵检测分类器的模型参数；
所述瑕疵检测包括以下步骤：
步骤Z1，数据预处理：将目标域轮胎输入目标X光机，并将目标X光机扫描所得图像进行裁剪，获得规定尺寸的测试数据集；
步骤Z2，特征提取：将步骤Z1中所得测试数据集输入模型训练阶段步骤S7中保存的特征提取器中，获得域不变特征表示；
步骤Z3，瑕疵检测：将步骤Z2中所得域不变特征表示输入模型训练阶段步骤S7中保存的轮胎瑕疵检测分类器中进行瑕疵检测，得到测试数据集上的瑕疵检测结果。
2.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S1中，所述规定尺寸为224×224分辨率；所述源域样本数ns为每个类别不少于100张，且需要进行标注，所述目标域样本数nt为每个类别不少于20张，且不需要进行标注。
3.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S2中，所述参数b为32，所述特征提取器Swin Transformer的初始化参数使用ImageNet数据集进行预训练。
4.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S3中，所述图像各区域相对重要性由熵进行度量。
5.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S4中，所述子域自适应需要使用样本的类别标签，其中源域样本的类别标签来源于标注信息，目标域样本的类别标签来源于伪标签。
6.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S5中，所述瑕疵检测分类器为双层全连接层，所述瑕疵检测分类器采用源域和目标域共享的形式。
7.根据权利要求1所述的一种轮胎瑕疵检测域自适应方法，其特征在于，所述步骤S7中保存的模型将应用在瑕疵检测阶段进行预测。
8.一种基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法，其特征在于其使用权利要求1中所述的模型训练方法进行训练。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1中的模型训练步骤和瑕疵检测步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1中的模型训练步骤和瑕疵检测步骤。
CN202210866420.2A 2022-07-22 2022-07-22 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 Pending CN115330697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210866420.2A CN115330697A (zh) 2022-07-22 2022-07-22 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210866420.2A CN115330697A (zh) 2022-07-22 2022-07-22 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法

Publications (1)

Publication Number Publication Date
CN115330697A true CN115330697A (zh) 2022-11-11

Family

ID=83920112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210866420.2A Pending CN115330697A (zh) 2022-07-22 2022-07-22 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法

Country Status (1)

Country Link
CN (1) CN115330697A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109627A (zh) * 2023-04-10 2023-05-12 广东省科技基础条件平台中心 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN117994257A (zh) * 2024-04-07 2024-05-07 中国机械总院集团江苏分院有限公司 基于深度学习的织物瑕疵分析检测系统及分析检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109627A (zh) * 2023-04-10 2023-05-12 广东省科技基础条件平台中心 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN116109627B (zh) * 2023-04-10 2023-08-01 广东省科技基础条件平台中心 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN117994257A (zh) * 2024-04-07 2024-05-07 中国机械总院集团江苏分院有限公司 基于深度学习的织物瑕疵分析检测系统及分析检测方法

Similar Documents

Publication Publication Date Title
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN115330697A (zh) 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法
CN112200244B (zh) 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN108959794B (zh) 一种基于深度学习的结构频响动力学模型修正方法
CN111325236B (zh) 一种基于卷积神经网络的超声图像分类方法
CN111524144B (zh) 一种基于GAN和Unet网络的肺结节智能诊断方法
CN105657402A (zh) 一种深度图恢复方法
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN111275108A (zh) 基于生成对抗网络对局部放电数据进行样本扩展的方法
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN113780242A (zh) 一种基于模型迁移学习的跨场景水声目标分类方法
CN112132776A (zh) 基于联邦学习的视觉检测方法及系统、存储介质、设备
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN117079099A (zh) 一种基于改进YOLOv8n的违规行为检测方法
CN117315365A (zh) 一种基于视觉分析的凸轮轴表面损伤检测系统
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN116563250A (zh) 一种复原式自监督疵点检测方法、装置及存储介质
CN112346126B (zh) 低级序断层的识别方法、装置、设备及可读存储介质
CN116680639A (zh) 一种基于深度学习的深海潜水器传感器数据的异常检测方法
CN114692831A (zh) 针对可变分辨率计算可变卷积核的方法、存储介质
CN103761530A (zh) 一种基于相关向量机的高光谱图像解混方法
CN114511521B (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN108846421B (zh) 一种基于深度学习的图像分类方法
CN114387207B (zh) 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination