CN114511521A - 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 - Google Patents
基于多重表示与多重子域自适应的轮胎瑕疵检测方法 Download PDFInfo
- Publication number
- CN114511521A CN114511521A CN202210071489.6A CN202210071489A CN114511521A CN 114511521 A CN114511521 A CN 114511521A CN 202210071489 A CN202210071489 A CN 202210071489A CN 114511521 A CN114511521 A CN 114511521A
- Authority
- CN
- China
- Prior art keywords
- tire
- domain
- flaw detection
- image
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 230000007547 defect Effects 0.000 title claims description 46
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 33
- 230000006978 adaptation Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 108020001568 subdomains Proteins 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008929 regeneration Effects 0.000 claims description 2
- 238000011069 regeneration method Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 claims 2
- 239000002356 single layer Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000002950 deficient Effects 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明提供一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法，在模型训练阶段，将轮胎X光图像裁剪后，输入由卷积神经网络构成的特征提取模块，接着使用多重特征表示模块提取图像中的多重特征表示，而后基于多重特征表示进行多重子域自适应，同时最小化源域和目标域相同类别子域之间的距离和最大化不同类别子域之间的距离，后续通过瑕疵检测分类器得到瑕疵检测结果，通过反向传播的方式对模型进行训练；在瑕疵检测阶段，将轮胎X光图像裁剪后，输入模型训练阶段所得的特征提取模块和多重特征表示模块，经瑕疵检测分类器输出瑕疵检测结果。本发明能够克服不同X光机所采样的图像之间的领域偏移，在数据匮乏的轮胎瑕疵检测中表现出良好的性能。
Description
技术领域
本发明涉及人工智能迁移学习领域，尤其是涉及一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法。
背景技术
在轮胎的制造过程中，由于外部环境的影响，成品轮胎可能含有的瑕疵种类较多，这对轮胎应用的安全性产生了严重的影响。因此必须彻底对每条轮胎进行瑕疵检测，以保证产品质量。由于瑕疵样本的数据不平衡以及瑕疵出现的位置和概率的不确定性，目前还没有完善的自动化瑕疵检测技术。大多数工厂还主要依靠检测人员肉眼观察轮胎X光图像进行瑕疵检测。这种方法耗时且具有主观性，加之轮胎X光图像背景纹理复杂，多种类别的瑕疵混杂在背景纹理中，造成瑕疵难以用肉眼分辨等问题，给轮胎瑕疵检测带来了挑战。
近年来，基于计算机视觉的瑕疵检测方法由于其可靠性和客观性正在逐渐取代人工检查成为保证产品质量的主流方式。传统的基于计算机视觉的方法已经能够取得满意的结果，但是其大多需要手动进行特征提取且缺乏通用性。最近，深度学习方法由于其强大的特征提取能力被广泛应用在瑕疵检测领域。
但是深度学习方法是由数据驱动的，需要大量有标记数据集才能保证模型的性能，且这些方法假设训练集和测试集服从相同的分布，上述条件在实际情况下是难以保证的。在瑕疵检测中，轮胎的生产条件是复杂多变的。这种变化(领域偏移)将不可避免地导致测试数据集分布偏离训练集，造成在原有数据集(源域)上训练得到的深度学习模型在新数据上(目标域)的性能显著下降甚至失效。这时需要重新收集和标注大量的目标域样本进行模型训练。然而瑕疵在工业生产过程中出现的几率较低，在短时间内收集足够的样本是相当困难的，这严重阻碍了深度学习模型在瑕疵检测中的应用。加之轮胎X光图像具有低对比度和低亮度等不良特征，且轮胎瑕疵尺度变化大，出现的位置不固定，容易受到背景噪声的干扰，这些特征给轮胎瑕疵检测带来了困难。
发明内容
本发明的目的在于，针对现有技术的不足，提供一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法。
为此，本发明采用如下技术方案：
一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法，其特征在于：所述轮胎瑕疵检测方法使用多重特征表示模块提取图像的多重表示信息，将源域和目标域数据映射到再生核希尔伯特空间中，同时考虑相同类别子域之间分布对齐和不同类别子域之间分布差异最大化，以学习更好的领域不变特征，只需要极少量的新样本即可将源域上训练得到的模型应用到目标域中，适用于解决生产环境或生产条件发生变化而引起的领域偏移问题；所述轮胎瑕疵检测方法包括模型训练和瑕疵检测；
所述模型训练包括以下步骤：
步骤S1，数据获取：使用轮胎质检X光机对每条轮胎进行扫描，得到高分辨率原始轮胎图像，将原始轮胎图像裁剪成规定尺寸的小图像作为数据集；最终得到第一型号X光机上ns张有标注的图像作为源域数据集，第二型号X光机上nt张无标注的图像作为目标域数据集(nt＜＜ns)；使用数据增强方法扩充所述源域和目标域数据集；
步骤S2，特征提取：将batch_size张源域图像和batch_size张目标域图像同时输入特征提取模块，所述特征提取模块采用卷积神经网络；
步骤S3，多重特征表示：基于步骤S2中特征提取模块所提取的源域特征和目标域特征，采用由N个子结构组成的多重特征表示模块提取图像的多重特征表示；
步骤S4，多重子域自适应：基于步骤S3中得到的多重特征表示，使用局部最大均值差异同时最小化相同类别子域之间的距离和最大化不同类别子域之间的距离；
步骤S5，瑕疵分类：将步骤S4中适配后的特征进行拼接，而后输入瑕疵检测分类器得到瑕疵检测结果；源域的分类结果与源域真实样本标签计算交叉熵损失作为网络的分类损失，目标域的分类结果作为伪标签使用；
步骤S6，更新参数：重复步骤S2到步骤S5，使用随机梯度下降法更新模型参数，直至达到最大迭代次数Iteration；
步骤S7，保存模型：保存步骤S2中所得特征提取模块，步骤S3所得多重特征表示模块和步骤S5中瑕疵检测分类器的模型参数；
所述瑕疵检测包括以下步骤：
步骤Z1，数据预处理：将需要进行质量检查的轮胎经过目标域轮胎X光机，而后将得到的X光图像裁剪成规定尺寸的图片；
步骤Z2，特征提取：将Z1中裁剪后的图像输入步骤S7中保存的特征提取模块中，得到单一特征表示；
步骤Z3，多重特征表示：基于步骤Z2中特征提取模块所提取的目标域特征，使用步骤S7中保存的多重特征表示模块，得到多重特征表示；
步骤Z4，瑕疵分类：将步骤Z3提取的多重特征表示拼接后输入步骤S7中保存的瑕疵检测分类器进行瑕疵分类，最终得出瑕疵检测结果。
在采用上述技术方案的同时，本发明还可以采用或者组合采用以下进一步的技术方案：
作为本发明的优选技术方案：所述规定尺寸为224×224；所述步骤S1中，所述源域样本优选在每个类别不少于100张，且需要标注，所述目标域样本优选在每个类别不少于20张，且无需标注；所述数据增强方法优选于随机水平翻转。
作为本发明的优选技术方案：所述步骤S2中，所述batch_size优选于32，所述卷积神经网络优选于ResNet50并去掉最后一层全连接层，其使用在ImageNet上的预训练权重作为初始化参数。
作为本发明的优选技术方案：所述步骤S3中，所述多重特征表示模块并行子结构个数优选于4，子结构由卷积和池化组成。
作为本发明的优选技术方案：所述步骤S4中，所述多重子域自适应中，其中源域的类别信息来自真实样本标签，目标域的类别信息来自步骤S5中对目标域样本分类所得的伪标签。
作为本发明的优选技术方案：所述步骤S5中，所述瑕疵检测分类器是单层的全连接层，其神经元个数优选于288，所述源域特征和目标域特征共享相同的分类器参数，最终以独热向量的形式输出瑕疵检测结果。
作为本发明的优选技术方案：所述步骤S6中，所述最大迭代次数优选于15000。
作为本发明的优选技术方案：所述步骤S7中需要保存所述特征提取模块的参数用于步骤Z2中，保存所述多重特征表示模块用于步骤Z3中，并保存所述瑕疵检测分类器模型参数用于步骤Z4以得出瑕疵检测结果。
根据本发明的目的，本发明提供一种基于多重表示与多重子域自适应的轮胎瑕疵检测模型，其特征在于它采用上述的模型训练方法进行训练。
根据本发明的目的，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述模型训练步骤和瑕疵检测步骤。
根据本发明的目的，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的模型训练步骤和瑕疵检测步骤。
本发明所提供的基于多重表示与多重子域自适应的轮胎瑕疵检测方法具有以下优点：
(1)采用无监督领域自适应的方法有效解决了生产条件变化而造成的领域偏移问题，只需要极少量无标注的目标域样本即可实现优异的迁移效果，极大地提高了瑕疵检测的效率；
(2)充分利用了源域和目标域中每个类别子域的信息进行领域自适应，不仅使领域之间相同类别的分布更加吻合，还能增大不同类别分布之间的距离，从而实现优异的迁移效果；
(3)为了对图像中的完备信息进行适配，本文通过提取图像中的多重特征表示，能够从多个表示同时进行源域和目标域的子域分布对齐，使得领域间的特征对齐更加准确。
附图说明
图1为本发明方法的主要流程图；
图2为本发明方法模型训练阶段的主要流程图；
图3为本发明方法瑕疵检测阶段的主要流程图；
图4为多重特征表示模块的详细结构图。
具体实施方式
本发明的具体实施方式，将结合附图和领域偏移发生时的轮胎瑕疵检测具体实施例进行详述。
具体实施例选取最常见的异物和泡两种瑕疵，加上正常样本一共3类图像进行轮胎瑕疵检测，迁移场景为不同型号X光机之间的迁移，将原始图像裁剪成224×224大小的图像作为数据集使用。源域样本包括两种类型的缺陷和正常样本，每个类别100张有标注样本，采样自A型号X光机。目标域样本采样自B型号X光机。其中目标域中训练集样本为每类20张，测试集样本为每类40张。目标域上的图像均为无标签样本。先通过模型训练阶段得到用于轮胎瑕疵检测的模型，而后进行瑕疵检测阶段即可完成本具体实施例。
如图2所示，模型训练阶段的步骤如下：
步骤S1，在A型号X光机上采集轮胎X光图像，将其裁剪为224×224的大小。在此X光机上共收集100张正常样本图像，100张异物瑕疵样本图像和100张泡瑕疵样本图像并进行标注作为源域数据集。在另一台不同型号的X光机上采集轮胎X光图像，将其裁剪为224×224的大小，共收集20张正常样本图像，20张异物瑕疵样本图像和20张泡瑕疵样本图像作为目标域训练集。使用随机水平翻转的方式增强上述数据集。
步骤S2，取步骤S1裁剪后得到的源域样本32张和目标域样本32张，同时输入特征提取模块中，分别得到源域和目标域的单一特征表示。
步骤S3，基于步骤S2所得单一特征表示，采用由N个子结构组成的多重特征表示模块提取图像的多重特征表示。其中多重特征表示模块的详细结构如图4所示。
步骤S4，基于步骤S3所得多重特征表示，首先使用局部最大均值差异最小化相同类别子域之间的距离：
其中，xs和xt分别是源域样本和目标域样本，Ec(·)是类别c的数学期望，p(c)和q(c)分别为源域类别c和目标域类别c的样本分布。
表示由显著核定义的再生核希尔伯特空间，映射函数φ(·)表示原数据到此空间的映射，并且将核函数定义为映射的内积k(xs,xt)＝<φ(xs),φ(xt)>，<·,·>表示内积操作。接着可以导出(1)式的无偏估计：
其中
和
分别代表
和
属于类别c的权重。权重可由下式计算：
其中yic是yi的第c个分量。
使用核技巧后，可以得到(2)式的无偏估计：
其中
和
分别表示源域和目标域图像经过多重特征表示模块后的激活值。同时，使用局部最大均值差异最大化源域和目标域不同类别特征之间的差异：
其中1≤c1,c2≤C。由(4)和(5)可以计算得到总领域自适应损失为：
步骤S5，将步骤S4中适配后的特征进行拼接，而后输入瑕疵检测分类器得出瑕疵检测结果。利用目标域瑕疵检测分类器所得结果作为目标域样本的伪标签与源域真实样本标签进行(6)式的计算。源域的分类结果与源域真实样本标签计算交叉熵损失作为网络的分类损失，并与步骤S4中所得领域自适应损失加权求和得到网络的总损失：
其中J(·,·)代表交叉熵损失函数，
代表领域自适应损失函数的无偏估计。λ是用来平衡分类损失和领域自适应损失重要性的超参数。将平衡参数λ设置为λ＝2/(1+exp(-10×p))-1，以抑制训练初期的模型噪声，其中p是当前迭代次数与总迭代次数的比值。
步骤S6：重复步骤S2到步骤S5，使用随机梯度下降法更新模型参数，初始学习率为0.01，学习率衰减为0.75，动量更新为0.9。总共迭代15000次。
步骤S7：当迭代完成后，保存特征提取模块的模型参数，多重特征表示模块参数和瑕疵检测分类器模型参数以供瑕疵检测阶段使用。
如图3所示，瑕疵检测阶段的步骤如下：
步骤Z1：将需要进行质量检查的轮胎经过目标域X光机，将其裁剪为224×224大小的图像，共得到20张正常样本，20张异物瑕疵样本和20张泡瑕疵样本作为目标域测试集。
步骤Z2：将步骤Z1中得到的样本输入步骤S7所得特征提取模块中，得到单一特征表示。
步骤Z3：将步骤Z2中得到的特征输入步骤S7所得多重特征表示模块得到多重特征表示。
步骤Z4：将步骤Z3中得到的多重特征表示拼接后输入步骤S7所得瑕疵检测分类器得到最终的瑕疵检测结果。
结果验证：为了验证本发明所提出的基于多重表示与多重子域自适应的轮胎瑕疵检测方法的有效性，将此方法与现有领域自适应模型BNM，Deep CORAL，DANN，DAN，MRAN和DSAN进行性能比较，结果如表1所示，每种指标的最佳性能由粗体标出。可以看到本发明方法在所有评价指标中都要优于其他方法。特别是在检测精度方面，所提出的方法显著优于其他方法(超过6.18％)。本方法可以在目标域每个类别只有20张无标签样本的情况下实现高精度的轮胎瑕疵检测，很好地解决了X光机的不同而带来的领域偏移，提高了已有数据的复用性，减少了收集和标注大量新样本的成本。
为了验证本发明所述多重子域自适应的有效性，表2中的l1表示仅最小化相同类别子域之间的特征，l2表示仅最大化不同类别子域之间的特征。所提出的方法则同时包括了上述两个自适应目标。首先可以看到单独使用l1和l2都能取得不错的迁移效果，这是由于使用了更加细粒度的子域信息。本发明方法将两者结合实现了源域和目标域相同类别特征的聚类和不同类别特征的可分，从而大幅提升了模型性能，表明所提出方法的有效性。
表1
表2
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的设施可借助软件加必需的通用硬件平台的方式来实现。本发明的实施例可以使用现有的处理器来实现，或者由被用于此目的或其他目的用于适当系统的专用处理器来实现，或者由硬接线系统来实现。本发明的实施例还包括非暂态计算机可读存储介质，其包括用于承载或具有存储在其上的机器可执行指令或数据结构的机器可读介质；这种机器可读介质可以是可由通用或专用计算机或具有处理器的其他机器访问的任何可用介质。举例来说，这种机器可读介质可以包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或任何其他可用于以机器可执行指令或数据结构的形式携带或存储所需的程序代码，并可被由通用或专用计算机或其它带有处理器的机器访问的介质。当信息通过网络或其他通信连接(硬接线、无线或硬接线或无线的组合)传输或提供给机器时，该连接也被视为机器可读介质。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于多重表示与多重子域自适应的轮胎瑕疵检测方法，其特征在于：所述轮胎瑕疵检测方法使用多重特征表示模块提取图像的多重表示信息，将源域和目标域数据映射到再生核希尔伯特空间中，同时考虑相同类别子域之间分布对齐和不同类别子域之间分布差异最大化，以学习更好的领域不变特征，只需要极少量的新样本即可将源域上训练得到的模型应用到目标域中，适用于解决生产环境或生产条件发生变化而引起的领域偏移问题；所述轮胎瑕疵检测方法包括模型训练和瑕疵检测；
所述模型训练包括以下步骤：
步骤S1，数据获取：使用轮胎质检X光机对每条轮胎进行扫描，得到高分辨率原始轮胎图像，将原始轮胎图像裁剪成规定尺寸的小图像作为数据集；最终得到第一型号X光机上ns张有标注的图像作为源域数据集，第二型号X光机上nt张无标注的图像作为目标域数据集(nt＜＜ns)；使用数据增强方法扩充所述源域和目标域数据集；
步骤S2，特征提取：将batch_size张源域图像和batch_size张目标域图像同时输入特征提取模块，所述特征提取模块采用卷积神经网络；
步骤S3，多重特征表示：基于步骤S2中特征提取模块所提取的源域特征和目标域特征，采用由N个子结构组成的多重特征表示模块提取图像的多重特征表示；
步骤S4，多重子域自适应：基于步骤S3中得到的多重特征表示，使用局部最大均值差异同时最小化相同类别子域之间的距离和最大化不同类别子域之间的距离；
步骤S5，瑕疵分类：将步骤S4中适配后的特征进行拼接，而后输入瑕疵检测分类器得到瑕疵检测结果；源域的分类结果与源域真实样本标签计算交叉熵损失作为网络的分类损失，目标域的分类结果作为伪标签使用；
步骤S6，更新参数：重复步骤S2到步骤S5，使用随机梯度下降法更新模型参数，直至达到最大迭代次数Iteration；
步骤S7，保存模型：保存步骤S2中所得特征提取模块，步骤S3所得多重特征表示模块和步骤S5中瑕疵检测分类器的模型参数；
所述瑕疵检测包括以下步骤：
步骤Z1，数据预处理：将需要进行质量检查的轮胎经过目标域轮胎X光机，而后将得到的X光图像裁剪成规定尺寸的图片；
步骤Z2，特征提取：将Z1中裁剪后的图像输入步骤S7中保存的特征提取模块中，得到单一特征表示；
步骤Z3，多重特征表示：基于步骤Z2中特征提取模块所提取的目标域特征，使用步骤S7中保存的多重特征表示模块，得到多重特征表示；
步骤Z4，瑕疵分类：将步骤Z3提取的多重特征表示拼接后输入步骤S7中保存的瑕疵检测分类器进行瑕疵分类，最终得出瑕疵检测结果。
2.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，所述规定尺寸为224×224；所述源域样本在每个类别不少于100张，且需要标注，所述目标域样本在每个类别不少于20张，且无需标注；所述数据增强方法为随机水平翻转。
3.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，所述步骤S2中，所述卷积神经网络为ResNet50并去掉最后一层全连接层，其使用在ImageNet上的预训练权重作为初始化参数。
4.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，所述步骤S3中，所述多重特征表示模块采用4个由卷积和池化组成的并行子结构。
5.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，所述步骤S4中，所述多重子域自适应中，其中源域的类别信息来自真实样本标签，目标域的类别信息来自步骤S5中对目标域样本分类所得的伪标签。
6.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，所述步骤S5中，所述瑕疵检测分类器是单层的全连接层，其包含288个神经元，所述源域特征和目标域特征共享相同的分类器参数，最终以独热向量的形式输出瑕疵检测结果。
7.根据权利要求1所述的一种轮胎瑕疵检测方法，其特征在于，在模型训练阶段的步骤S7保存模型，直接应用在针对目标域图像的瑕疵检测阶段。
8.一种基于多重表示与多重子域自适应的轮胎瑕疵检测模型，其特征在于它采用权利要求1中的模型训练方法进行训练。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1中的模型训练步骤和瑕疵检测步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1中的模型训练步骤和瑕疵检测步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071489.6A CN114511521B (zh) | 2022-01-21 | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210071489.6A CN114511521B (zh) | 2022-01-21 | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114511521A true CN114511521A (zh) | 2022-05-17 |
| CN114511521B CN114511521B (zh) | 2024-07-12 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091867A (zh) * | 2023-01-12 | 2023-05-09 | 北京邮电大学 | 一种模型训练、图像识别方法、装置、设备及存储介质 |
| CN116129198A (zh) * | 2023-04-12 | 2023-05-16 | 山东建筑大学 | 一种多域轮胎花纹图像分类方法、系统、介质及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
| US20210089872A1 (en) * | 2019-09-25 | 2021-03-25 | Nokia Technologies Oy | Domain adaptation |
| CN112686333A (zh) * | 2021-01-19 | 2021-04-20 | 科润智能控制股份有限公司 | 一种基于深度子域适配迁移网络的开关柜局部放电模式识别方法 |
| CN113298189A (zh) * | 2021-06-30 | 2021-08-24 | 广东工业大学 | 一种基于无监督域自适应的跨域图像分类方法 |
| CN113303814A (zh) * | 2021-06-13 | 2021-08-27 | 大连理工大学 | 基于深度迁移学习的单通道耳脑电自动睡眠分期方法 |
| CN113780230A (zh) * | 2021-09-22 | 2021-12-10 | 湖南工业大学 | 一种基于不变时空注意融合网络的不平衡故障诊断方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210089872A1 (en) * | 2019-09-25 | 2021-03-25 | Nokia Technologies Oy | Domain adaptation |
| CN111179239A (zh) * | 2019-12-24 | 2020-05-19 | 浙江大学 | 一种利用背景特征进行重排名的轮胎x光瑕疵检测方法 |
| CN112686333A (zh) * | 2021-01-19 | 2021-04-20 | 科润智能控制股份有限公司 | 一种基于深度子域适配迁移网络的开关柜局部放电模式识别方法 |
| CN113303814A (zh) * | 2021-06-13 | 2021-08-27 | 大连理工大学 | 基于深度迁移学习的单通道耳脑电自动睡眠分期方法 |
| CN113298189A (zh) * | 2021-06-30 | 2021-08-24 | 广东工业大学 | 一种基于无监督域自适应的跨域图像分类方法 |
| CN113780230A (zh) * | 2021-09-22 | 2021-12-10 | 湖南工业大学 | 一种基于不变时空注意融合网络的不平衡故障诊断方法 |
Non-Patent Citations (3)
| Title |
|---|
| YONGCHUN ZHU等: "Aligning Domain-Specific Distribution and Classifier for Cross-Domain Classification from Multiple Sources", 《 AAAI TECHNICAL TRACK: MACHINE LEARNING》, 17 July 2019 (2019-07-17) * |
| YULONG ZHANG 等: "Subdomain adaptation network with category isolation strategy for tire defect detection", 《MEASUREMENT》, 30 November 2022 (2022-11-30) * |
| 毛文涛;杨超;刘亚敏;田思雨;: "面向轴承早期故障检测的多尺度残差注意力深度领域适配模型", 计算机应用, no. 10, 4 June 2020 (2020-06-04) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116091867A (zh) * | 2023-01-12 | 2023-05-09 | 北京邮电大学 | 一种模型训练、图像识别方法、装置、设备及存储介质 |
| CN116091867B (zh) * | 2023-01-12 | 2023-09-29 | 北京邮电大学 | 一种模型训练、图像识别方法、装置、设备及存储介质 |
| CN116129198A (zh) * | 2023-04-12 | 2023-05-16 | 山东建筑大学 | 一种多域轮胎花纹图像分类方法、系统、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598881B (zh) | 基于变分自编码器的图像异常检测方法 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN111563893B (zh) | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN105657402A (zh) | 一种深度图恢复方法 | |
| CN109410149B (zh) | 一种基于并行特征提取的cnn去噪方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN111429402B (zh) | 高级视觉感知特征与深度特征融合的图像质量评价方法 | |
| CN113129272A (zh) | 一种基于去噪卷积自编码器的缺陷检测方法及装置 | |
| CN113076920B (zh) | 一种基于非对称域对抗自适应模型的智能故障诊断方法 | |
| CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN112258470B (zh) | 基于缺陷检测的工业图像临界压缩率智能分析系统及方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN115330697A (zh) | 基于可迁移Swin Transformer的轮胎瑕疵检测域自适应方法 | |
| CN113112447A (zh) | 基于vgg卷积神经网络的隧道围岩级别智能判定方法 | |
| CN110544253A (zh) | 基于图像金字塔和列模板的织物瑕疵检测方法 | |
| CN115170548A (zh) | 基于无监督学习的皮革缺陷自动检测方法及装置 | |
| CN112634171A (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN117611599B (zh) | 融合中心线图和增强对比度网络的血管分割方法及其系统 | |
| CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
| CN106934398A (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
| CN114511521B (zh) | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 | |
| CN117058079A (zh) | 基于改进ResNet模型的甲状腺显像图像自动诊断方法 | |
| CN114511521A (zh) | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 | |
| CN116152194A (zh) | 一种物体缺陷检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |