CN115393265A - 基于视觉域自适应学习的跨布匹瑕疵精准检测方法 - Google Patents

基于视觉域自适应学习的跨布匹瑕疵精准检测方法 Download PDF

Info

Publication number
CN115393265A
CN115393265A CN202210796258.1A CN202210796258A CN115393265A CN 115393265 A CN115393265 A CN 115393265A CN 202210796258 A CN202210796258 A CN 202210796258A CN 115393265 A CN115393265 A CN 115393265A
Authority
CN
China
Prior art keywords
domain
cloth
target
loss
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210796258.1A
Other languages
English (en)
Inventor
李叔罡
李爽
刘驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210796258.1A priority Critical patent/CN115393265A/zh
Publication of CN115393265A publication Critical patent/CN115393265A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法，包括：定义已有的源域布匹图像数据集，定义目标域布匹瑕疵检测数据集；构建瑕疵检测模块；构建特征域自适应模块、前景目标对齐模块、全局特征对齐模块；跨布匹瑕疵精准检测方法的训练：将目标域布匹生产线的布匹图像数据输入训练好的布匹瑕疵检测模型中，对目标域的布匹进行瑕疵检测，获得检测结果。所述检测方法集成的前景目标对齐模块和全局特征对齐模块，实现了对布匹瑕疵检测任务领域偏差的有效修正，大大提升了模型的泛化性，使得瑕疵检测模型在新的布匹类别上拥有更高的检测精准度。

Description

基于视觉域自适应学习的跨布匹瑕疵精准检测方法
技术领域
本发明涉及布匹瑕疵检测技术领域，具体涉及一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法。
背景技术
布匹制造产业作为众多工业制造领域当中与民众日常生活关系最为密切的行业之一，其生产的布匹质量好坏程度将直接影响人们的生活质量，所以，在布匹的生产过程中，对产品瑕疵的严格检测是不可或缺的，目前，工业界采用的瑕疵检测方式多为人工肉眼检测，这种检测方式效率低、成本高且检测的准确程度无法保证，因此，业界也开始尝试采用基于视觉的方式来对布匹进行瑕疵检测，这些方法可以加快检测的效率，提高检测的精度，减少检测的人力成本。
虽然这些基于视觉的方法可以代替人工实现更为快速和精确的瑕疵检测，但是这些算法自身存在着明显的缺点——泛化性差。这些检测算法只能在基准数据集上取得不错的性能，而在制造业实际场景中，布匹数据存在多源性，不同布匹数据之间将不可避免地存在领域偏差，将导致这些瑕疵检测方法将会出现显著的精准度下降，例如，基于生产线A所生产的素色布图片数据训练出的瑕疵检测模型，很难检测出生产线B所生产的花色布上的瑕疵缺陷区域，这样的情况就是由素色布图像数据与花色布图像数据之间存在领域偏差所导致的，而如果基于新生产线B的产品图片数据重新训练检测模型，则需要耗费巨大的人力和物力来进行数据的收集和标注，并耗费大量计算资源。因此，在实际的布匹瑕疵检测过程当中，需要设计更为有效的方法，尽可能地提升检测模型的泛化能力，同时减少重新训练新模型而带来的成本损耗。
例如，中国发明专利申请号为CN202010030557.5的专利文献公开了一种基于极限学习机的卷积神经网络布匹瑕疵检测方法，该方法通过构造一个卷积神经网络进行特征提取，并对提取的特征进行融合，在融合后的特征层上进行布匹瑕疵候选框的提取，在布匹瑕疵检测阶段，使用卷积神经网络对提取得到的布匹瑕疵候选框进行回归，使用极限学习机对布匹瑕疵候选框进行分类，对分类和回归结果结合样本图片的真实标签计算损失，基于得到的损失使用随机梯度下降法更新网络中的权重，不断进行迭代训练，直到网络的损失收敛到一个极小值或者达到预设的训练轮数，便得到训练好的基于极限学习机的布匹瑕疵检测的网络模型，即可进行布匹瑕疵检测。
在实际的检测过程中，上述方法只针对布匹瑕疵检测这一具体问题的研究，只考虑模型在数据分布固定的情况下的表现，没有考虑模型在新的数据分布领域的效果，因此，该方法泛化性差，精准度低。
基于现有技术存在如上述技术问题，本发明提供一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法。
发明内容
本发明提出一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法。
本发明采用以下技术方案：
本发明提供一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法，包括：
步骤1，定义已有的源域布匹图像数据集为Ys，收集不同于源域布匹图像数据的目标域布匹瑕疵检测数据集，定义目标域布匹瑕疵检测数据集为Yt；
步骤2，基于具备自注意力机制的编码器和解码器构建瑕疵检测模块；
步骤3，构建深度特征域自适应模块：创建前景目标对齐模块，创建全局特征对齐模块；
步骤4，跨布匹瑕疵精准检测方法的训练：
步骤4.1，随机采样一个源域样本以及一个目标域样本输入布匹瑕疵检测模型；
步骤4.2，样本数据经过ResNet-50主干卷积网络后获得多层的输出特征图
Figure BDA0003732084150000021
分别将源域样本的特征图和目标域样本的特征图输入域判别器D中，获得单层特征图各自的域分类结果损失
Figure BDA0003732084150000022
对结果计算多层特征图对齐损失Sd；
步骤4.3，对于源域的输入图片，利用图片的真实标注信息求出图片中的缺陷目标所对应的前景区域；对于目标域的图片，利用网络输出的伪标签缺陷包围框当作图片的临时标注信息，求得缺陷包围框在特征图中所对应的前景区域，利用重加权算法
Figure BDA0003732084150000023
对特征图
Figure BDA0003732084150000024
进行重新加权的操作，并基于前景目标损失函数计算得到前景目标损失
Figure BDA0003732084150000031
步骤4.4，将前景目标损失
Figure BDA0003732084150000032
与多层特征图对齐损失Sd的加和作为前景目标对齐模块的总体损失SFO；
步骤4.5，对于布匹瑕疵检测网络解码器的输出
Figure BDA0003732084150000033
以及
Figure BDA0003732084150000034
利用切片的Wasserstein距离计算源域和目标域间的全局特征对齐模块损失SGF，从而实现在减少领域偏移的同时，保留位置信息；
步骤4.6，计算模型的总体损失S，并利用梯度下降算法进行反向传播，以更新整个模型的参数，来最小化损失函数，实现源域样本和目标域样本的特征对齐；
步骤4.7，重复上述步骤4.1-4.6步骤进行训练，直至模型收敛或达到最大迭代次数；
步骤5，将目标域布匹生产线的布匹图像数据输入训练好的布匹瑕疵检测模型中，对目标域的布匹进行瑕疵检测，获得检测结果。
进一步地，步骤4.2中，单层特征图域分类损失
Figure BDA0003732084150000035
的公式表示为：
Figure BDA0003732084150000036
上式(1)中，f表示第f层特征图，
Figure BDA0003732084150000037
表示第f层特征图的域判别器的输出结果，
Figure BDA0003732084150000038
和
Figure BDA0003732084150000039
分别表示源域和目标域特征图在(x，y)位置处的域判别器的输出分类结果值。
进一步地，步骤4.2中，多层特征图对齐损失Sd的公式表示为：
Figure BDA00037320841500000310
上式(2)中，
Figure BDA00037320841500000311
表示第f层特征图的损失。
进一步地，步骤4.3中，重加权算法
Figure BDA00037320841500000312
的公式表示为：
Figure BDA00037320841500000313
Figure BDA00037320841500000314
Figure BDA00037320841500000315
上式(5)中，
Figure BDA00037320841500000316
表示第n张目标域图片的预测结果，
Figure BDA00037320841500000317
代表第zn个预测目标的包围框坐标，
Figure BDA00037320841500000318
表示第zn个预测目标的分类置信度值，上式(4)中，
Figure BDA00037320841500000319
表示第n张目标域图片的预测结果中分类置信度大于阈值
Figure BDA00037320841500000320
的所有预测目标的包围框，上式(3)中，(x，y)表示对应特征图中的位置。
进一步地，步骤4.3中，前景目标损失
Figure BDA0003732084150000041
的公式表示为：
Figure BDA0003732084150000042
上式(6)中，
Figure BDA0003732084150000043
和
Figure BDA0003732084150000044
分别表示源域和目标域特征图在(x，y)位置处的重加权结果，
Figure BDA0003732084150000045
和
Figure BDA0003732084150000046
分别表示源域和目标域特征图在(x，y)位置处的域判别器的输出结果，f表示第f层特征图，
Figure BDA0003732084150000047
表示第f层特征图的域判别器的输出结果。
进一步地，步骤4.4中，前景目标对齐模块的总体损失SFO的公式表示为：
Figure BDA0003732084150000048
上式(7)中，Sd表示多层特征图对齐损失，
Figure BDA0003732084150000049
表示前景目标对齐损失，λ是权衡两个损失贡献的超参数。
进一步地，步骤4.5中，基于全局特征对齐的损失函数SGF的公式表示为：
Figure BDA00037320841500000410
上式(8)中，
Figure BDA00037320841500000411
表示解码器的输出特征，
Figure BDA00037320841500000412
和
Figure BDA00037320841500000413
分别表示来自源域和目标域的第n个解码器的输出特征，fun(·)是将元素从小到大排序的函数，σw表示一种能够将解码器特征映射到一维空间的投影向量。
进一步地，步骤4.6中，模型的总体损失S的公式表示为：
S＝SDet+SFO+δSGF……(9)，
上式(9)中，SDet表示瑕疵检测模块的目标检测损失，SFO表示前景目标对齐模块的总体损失，SGF表示基于全局特征对齐模块的总体损失，δ是权衡损失贡献的超参数。
进一步地，步骤1中，源域Ys和目标域Yt分别表示为：
Figure BDA00037320841500000414
Figure BDA00037320841500000415
上式(10)和(11)中，Ys表示源域，Yt表示目标域，
Figure BDA00037320841500000416
是源域的图片，hs是源域图片的总数，n表示第n张图片，
Figure BDA00037320841500000417
表示源域第n张图片共有zn个目标，
Figure BDA00037320841500000418
代表第zn个目标的包围框坐标，
Figure BDA00037320841500000419
表示第zn个目标的分类标注。
进一步地，步骤4.2中，主干网络输出的多层特征图
Figure BDA0003732084150000051
其中tf表示为：
Figure BDA0003732084150000052
上式(12)中，tf表示第f层特征图，Cf表示第f层特征图的通道数，Wf表示第l层特征图的宽度，Hf表示第f层特征图的高度。
与现有技术相比，本发明的优越效果在于：
1、本发明所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，集成的前景目标对齐模块和全局特征对齐模块，实现了对布匹瑕疵检测任务领域偏差的有效修正，大大提升了模型的泛化性，使得瑕疵检测模型在新的布匹类别上拥有更高的检测精准度；
2、本发明所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，训练所需的目标域图片为无标注的原始图像数据，在提升检测精准度的同时，大大降低了重新收集目标域训练数据并进行标注所产生的人力物力成本；
3、本发明所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，具有很强的普适性和通用性，可以用于更多种类型布匹间的瑕疵检测任务。
附图说明
图1为本发明实施例中所述基于视觉域自适应学习的跨布匹瑕疵精准检测方法的流程的示意图；
图2为本发明实施例中所述基于视觉域自适应学习的编码器、解码器层结构的示意图；
图3为本发明实施例中所述基于视觉域自适应学习的跨布匹瑕疵精准检测方法的框架图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
实施例
所述基于视觉域自适应学习的跨布匹瑕疵精准检测方法主要采用瑕疵检测模块、前景目标对齐模块以及全局特征对齐模块解决技术问题，通过基于具备自注意力机制的编码器和解码器构建了瑕疵检测模块；通过前景目标对齐模块、全局特征对齐模块，实现了对领域偏差的修正，三个模块协同工作，共同提升布匹瑕疵检测模型的泛化性；
其中，瑕疵检测模块实现了基础的瑕疵目标检测的功能；
前景目标对齐模块利用骨干网络输出的伪标签，对前景缺陷区域对齐，得到域不变的前景特征；
全局特征对齐模块利用切片的Wasserstein距离最大限度地保留位置信息，同时最小化解码器输出特征的不同领域间的距离。
通过结合这三个模块，所述方法实现将某一生产线的布匹瑕疵检测模型快速迁移到另一个不同品种的新布匹生产线上使用，同时，需要的新生产线的训练图片为无需标注的原始图片，在提升布匹瑕疵检测结果精准度的同时，大大降低了重新收集新生产线训练数据并进行标注所产生的人力物力成本。
具体的，如图1所示，所述方法包括：
训练数据集，在本实施例中，采用包含一个拥有标注信息的源域
Figure BDA0003732084150000061
Figure BDA0003732084150000062
和没有标注信息的目标域
Figure BDA0003732084150000063
每个域只包括一个类型的布匹图像数据，其中
Figure BDA0003732084150000064
是源域的图片，hs是源域图片的总数，n表示第n张图片，
Figure BDA0003732084150000065
Figure BDA0003732084150000066
表示源域第n张图片共有zn个目标，
Figure BDA0003732084150000067
代表第zn个目标的包围框坐标，
Figure BDA0003732084150000068
表示第zn个目标的分类标注；
本实施例所述方法的瑕疵检测模块由基于具备自注意力机制的编、解码器构成，其编、解码器层结构如图2所示，同时利用融合的多尺度特征来提升模型在小目标上的检测性能。
在模型的参数初始化阶段，瑕疵检测模块使用在ImageNet上预训练的ResNet-50网络模型作为特征提取器G，分别提取ResNet-50网络后三个Block的输出特征
Figure BDA0003732084150000069
进行聚合操作，作为主干网络提取的特征图，其中
Figure BDA00037320841500000610
Figure BDA00037320841500000611
tf表示第f层特征图，Cf表示第f层特征图的通道数，Wf表示第l层特征图的宽度，Hf表示第f层特征图的高度，随后将特征图与位置编码融合并序列化地输入后续模型结构中，数据特征顺序通过编码器和解码器，最后，N个数值不同的维度为d、长宽为H×W的可训练张量输入解码器中，得到N个输出，再经过最后的多层感知机得到N个瑕疵检测预测结果；
特征域自适应，如图3所示，随机采样一个源域样本
Figure BDA0003732084150000071
以及一个目标域样本
Figure BDA0003732084150000072
输入布匹瑕疵检测模型，样本数据经过ResNet-50主干卷积网络后获得多层的输出特征图
Figure BDA0003732084150000073
接着源域和目标域的特征图
Figure BDA0003732084150000074
将首先被输入域判别器D中，获得各自域分类结果，并对这些结果计算多层特征图对齐损失
Figure BDA0003732084150000075
Figure BDA0003732084150000076
Sd表示第f层特征图的损失，
Figure BDA0003732084150000077
Figure BDA0003732084150000078
f表示第f层特征图，
Figure BDA0003732084150000079
Figure BDA00037320841500000710
表示第f层特征图的域判别器的输出结果，
Figure BDA00037320841500000711
和
Figure BDA00037320841500000712
分别表示源域和目标域特征图在(x，y)位置处的域判别器的输出分类结果值；
然后，源域和目标域的特征图
Figure BDA00037320841500000713
还需要输入前景目标对齐模块进行特征的重加权操作，这里的重加权操作首先要提取出特征图上的前景区域(前景区域权重为1)，这里的前景区域的提取只与置信度的值有关，而与其类别无关，因此可以消除目标域图片伪标签错误分类带来的影响，然后遮盖掉其他区域(其他区域权重为0)，将这些特征图送入域判别器进行域分类，并计算分类损失，以此来提升网络对前景区域的特征对齐能力，具体的，对于源域的输入图片，利用其真实标注信息求出图片中的缺陷目标所对应的特征图区域，即前景区域，对于目标域的图片，利用网络输出的伪标签缺陷包围框当作其标注信息，同样求得这些缺陷包围框在特征图中所对应的前景区域，利用重加权算法
Figure BDA00037320841500000714
Figure BDA00037320841500000715
对特征图进行重新加权操作，其中
Figure BDA00037320841500000716
Figure BDA00037320841500000717
Figure BDA00037320841500000718
表示第n张目标域图片的预测结果，
Figure BDA00037320841500000719
代表第zn个预测目标的包围框坐标，
Figure BDA00037320841500000720
表示第zn个预测目标的分类置信度值，
Figure BDA00037320841500000721
表示第n张目标域图片的预测结果中分类置信度大于阈值
Figure BDA00037320841500000722
的所有预测目标的包围框，(x，y)表示对应特征图中的位置，并基于前景目标损失函数计算得到一个新的损失
Figure BDA00037320841500000723
新的损失与之前的多层特征图对齐损失Sd的加和作为前景目标对齐模块的总体损失
Figure BDA00037320841500000724
Sd表示多层特征图对齐损失，
Figure BDA00037320841500000725
表示前景目标对齐损失，λ是权衡两个损失贡献的超参数；
接着，如图2所示，特征将沿着编码器-解码器的方向继续向后传递，最终得到解码器的输出，这里，本实施例中提出全局特征对齐模块，利用Wasserstein距离来实现优化传输距离，Wasserstein距离能够度量离散分布和连续分布之间的距离，其不仅可以输出距离的度量，而且能够连续地把一个分布变换为另一个分布，与此同时，也能够保持分布自身的几何形态特征，本实施例利用Wasserstein距离的这些特性，实现在尽量减少领域偏移的同时，尽可能多地保留位置信息，达到优化特征对齐的目的；
需要说明的是，Wasserstein距离在高维空间的计算复杂度过大，这成为了一个限制其应用的难点，为了解决这一问题，本实施例创新提出利用切片的方式，将解码器的输出映射到一维空间，从而便于Wasserstein距离的计算，具体地，对布匹瑕疵检测网络的解码器输出
Figure BDA0003732084150000081
和
Figure BDA0003732084150000082
利用切片的Wasserstein距离衡量源域和目标域间的最小传输成本
Figure BDA0003732084150000083
Figure BDA0003732084150000084
其中，
Figure BDA0003732084150000085
表示解码器的输出特征，
Figure BDA0003732084150000086
和
Figure BDA0003732084150000087
分别表示来自源域和目标域的第n个解码器的输出特征，fun(·)是将元素从小到大排序的函数，σw表示一种能够将解码器特征映射到一维空间的投影向量；
最后,计算模型的总体损失S＝SDet+SFO+δSGF，其中SDet表示瑕疵检测模块的目标检测损失，SFO表示前景目标对齐模块的总体损失，SGF表示基于全局特征对齐模块的总体损失，δ是权衡损失贡献的超参数,然后利用梯度下降算法进行反向传播，以更新整个模型的参数，来最小化损失函数，实现源域样本和目标域样本的特征对齐训练；
跨布匹瑕疵精准检测方法模型的训练包括：
S1.给定源域Ys和目标域Yt，平衡参数δ，最大迭代次数It；
S2.使用在ImageNet上预训练的ResNet50网络初始化主干网络，同时随机初始化模型的剩余参数；
S3.随机采样一个源域样本
Figure BDA0003732084150000088
以及一个目标域样本
Figure BDA0003732084150000089
输入布匹瑕疵检测模型，得到多层的输出特征图
Figure BDA00037320841500000810
将源域和目标域的特征图
Figure BDA00037320841500000811
将输入域判别器D中，获得各自域分类结果，计算多层特征图对齐损失Sd；
S4.将源域和目标域的特征图
Figure BDA00037320841500000812
输入前景目标对齐模块进行特征的重加权操作，计算得到前景目标损失
Figure BDA00037320841500000813
S5.计算
Figure BDA0003732084150000091
与多层特征图对齐损失Sd的加和作为前景目标对齐模块的总体损失SFO；
S6.对布匹瑕疵检测网络的解码器输出
Figure BDA0003732084150000092
和
Figure BDA0003732084150000093
利用切片的Wasserstein距离衡量源域和目标域间的最小传输成本SGF；
S7.计算模型的总体损失S＝SDet+SFO+δSGF，利用梯度下降算法进行反向传播，更新模型的参数；
S8.重复S3至S7直到达到最大迭代次数It或模型参数达到收敛。
模型的使用阶段：将目标域布匹生产线的布匹图像数据输入完成训练的布匹瑕疵检测模型中，对目标域的布匹进行瑕疵检测，选择模型输出结果中分类置信度大于某一阈值Φ的结果作为最终检测结果。
本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。

Claims (10)

1.一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，包括：
步骤1，定义已有的源域布匹图像数据集为Ys，收集不同于源域布匹图像数据的目标域布匹瑕疵检测数据集，定义目标域布匹瑕疵检测数据集为Yt；
步骤2，基于具备自注意力机制的编码器和解码器构建瑕疵检测模块；
步骤3，构建深度特征域自适应模块：创建前景目标对齐模块，创建全局特征对齐模块；
步骤4，跨布匹瑕疵精准检测方法的训练：
步骤4.1，随机采样一个源域样本以及一个目标域样本输入布匹瑕疵检测模型；
步骤4.2，样本数据经过ResNet-50主干卷积网络后获得多层的输出特征图
Figure FDA0003732084140000011
分别将源域样本的特征图和目标域样本的特征图输入域判别器D中，获得单层特征图各自的域分类结果损失
Figure FDA0003732084140000012
对结果计算多层特征图对齐损失Sd；
步骤4.3，对于源域的输入图片，利用图片的真实标注信息求出图片中的缺陷目标所对应的前景区域；对于目标域的图片，利用网络输出的伪标签缺陷包围框当作图片的临时标注信息，求得缺陷包围框在特征图中所对应的前景区域，利用重加权算法
Figure FDA0003732084140000013
对特征图
Figure FDA0003732084140000014
进行重新加权的操作，并基于前景目标损失函数计算得到前景目标损失
Figure FDA0003732084140000015
步骤4.4，将前景目标损失
Figure FDA0003732084140000016
与多层特征图对齐损失Sd的加和作为前景目标对齐模块的总体损失SFO；
步骤4.5，对于布匹瑕疵检测网络解码器的输出
Figure FDA0003732084140000017
以及
Figure FDA0003732084140000018
利用切片的Wasserstein距离计算源域和目标域间的全局特征对齐模块损失SGF，从而实现在减少领域偏移的同时，保留位置信息；
步骤4.6，计算模型的总体损失S，并利用梯度下降算法进行反向传播，以更新整个模型的参数，来最小化损失函数，实现源域样本和目标域样本的特征对齐；
步骤4.7，重复上述步骤4.1-4.6步骤进行训练，直至模型收敛或达到最大迭代次数；
步骤5，将目标域布匹生产线的布匹图像数据输入训练好的布匹瑕疵检测模型中，对目标域的布匹进行瑕疵检测，获得检测结果。
2.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.2中，单层特征图域分类损失
Figure FDA0003732084140000019
的公式表示为：
Figure FDA00037320841400000110
上式(1)中，f表示第f层特征图，
Figure FDA00037320841400000111
表示第f层特征图的域判别器的输出结果，
Figure FDA00037320841400000112
和
Figure FDA00037320841400000113
分别表示源域和目标域特征图在(x，y)位置处的域判别器的输出分类结果值。
3.根据权利要求2所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.2中，多层特征图对齐损失Sd的公式表示为：
Figure FDA0003732084140000021
上式(2)中，
Figure FDA0003732084140000022
表示第f层特征图的损失。
4.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.3中，重加权算法
Figure FDA0003732084140000023
的公式表示为：
Figure FDA0003732084140000024
Figure FDA0003732084140000025
Figure FDA0003732084140000026
上式(5)中，
Figure FDA0003732084140000027
表示第n张目标域图片的预测结果，
Figure FDA0003732084140000028
代表第zn个预测目标的包围框坐标，
Figure FDA0003732084140000029
表示第zn个预测目标的分类置信度值，上式(4)中，
Figure FDA00037320841400000210
表示第n张目标域图片的预测结果中分类置信度大于阈值
Figure FDA00037320841400000211
的所有预测目标的包围框，上式(3)中，(x，y)表示对应特征图中的位置。
5.根据权利要求4所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.3中，前景目标损失
Figure FDA00037320841400000212
的公式表示为：
Figure FDA00037320841400000213
上式(6)中，
Figure FDA00037320841400000214
和
Figure FDA00037320841400000215
分别表示源域和目标域特征图在(x，y)位置处的重加权结果，
Figure FDA00037320841400000216
和
Figure FDA00037320841400000217
分别表示源域和目标域特征图在(x，y)位置处的域判别器的输出结果，f表示第f层特征图，
Figure FDA00037320841400000218
表示第f层特征图的域判别器的输出结果。
6.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.4中，前景目标对齐模块的总体损失SFO的公式表示为：
Figure FDA00037320841400000219
上式(7)中，Sd表示多层特征图对齐损失，
Figure FDA00037320841400000220
表示前景目标对齐损失，λ是权衡两个损失贡献的超参数。
7.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.5中，基于全局特征对齐的损失函数SGF的公式表示为：
Figure FDA00037320841400000221
上式(8)中，
Figure FDA00037320841400000222
表示解码器的输出特征，
Figure FDA00037320841400000223
和
Figure FDA00037320841400000224
分别表示来自源域和目标域的第n个解码器的输出特征，fun(·)是将元素从小到大排序的函数，σw表示一种能够将解码器特征映射到一维空间的投影向量。
8.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.6中，模型的总体损失S的公式表示为：
S＝SDet+SFO+δSGF……(9)，
上式(9)中，SDet表示瑕疵检测模块的目标检测损失，SFO表示前景目标对齐模块的总体损失，SGF表示基于全局特征对齐模块的总体损失，δ是权衡损失贡献的超参数。
9.根据权利要求1所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤1中，源域Ys和目标域Yt分别表示为：
Figure FDA0003732084140000031
Figure FDA0003732084140000032
上式(10)和(11)中，Ys表示源域，Yt表示目标域，
Figure FDA0003732084140000033
是源域的图片，hs是源域图片的总数，n表示第n张图片，
Figure FDA0003732084140000034
表示源域第n张图片共有zn个目标，
Figure FDA0003732084140000035
代表第zn个目标的包围框坐标，
Figure FDA0003732084140000036
表示第zn个目标的分类标注。
10.根据权利要求3所述的基于视觉域自适应学习的跨布匹瑕疵精准检测方法，其特征在于，步骤4.2中，主干网络输出的多层特征图
Figure FDA0003732084140000037
其中tf表示为：
Figure FDA0003732084140000038
上式(12)中，tf表示第f层特征图，Cf表示第f层特征图的通道数，Wf表示第l层特征图的宽度，Hf表示第f层特征图的高度。
CN202210796258.1A 2022-07-06 2022-07-06 基于视觉域自适应学习的跨布匹瑕疵精准检测方法 Pending CN115393265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796258.1A CN115393265A (zh) 2022-07-06 2022-07-06 基于视觉域自适应学习的跨布匹瑕疵精准检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796258.1A CN115393265A (zh) 2022-07-06 2022-07-06 基于视觉域自适应学习的跨布匹瑕疵精准检测方法

Publications (1)

Publication Number Publication Date
CN115393265A true CN115393265A (zh) 2022-11-25

Family

ID=84116263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796258.1A Pending CN115393265A (zh) 2022-07-06 2022-07-06 基于视觉域自适应学习的跨布匹瑕疵精准检测方法

Country Status (1)

Country Link
CN (1) CN115393265A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统
CN116074844A (zh) * 2023-04-06 2023-05-05 广东电力交易中心有限责任公司 一种基于全流量自适应检测的5g切片逃逸攻击检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统
CN116074844A (zh) * 2023-04-06 2023-05-05 广东电力交易中心有限责任公司 一种基于全流量自适应检测的5g切片逃逸攻击检测方法
CN116074844B (zh) * 2023-04-06 2023-06-09 广东电力交易中心有限责任公司 一种基于全流量自适应检测的5g切片逃逸攻击检测方法

Similar Documents

Publication Publication Date Title
CN112085735B (zh) 一种基于自适应锚框的铝材质图像缺陷检测方法
CN109801256B (zh) 一种基于感兴趣区域和全局特征的图像美学质量评估方法
Kukreja et al. A Deep Neural Network based disease detection scheme for Citrus fruits
CN108985334B (zh) 基于自监督过程改进主动学习的通用物体检测系统及方法
CN115393265A (zh) 基于视觉域自适应学习的跨布匹瑕疵精准检测方法
CN109117883B (zh) 基于长短时记忆网络的sar影像海冰分类方法及系统
CN108021947B (zh) 一种基于视觉的分层极限学习机目标识别方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
US11468266B2 (en) Target identification in large image data
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN110472572A (zh) 一种复杂环境下海上目标的快速识别和分类方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN111161244A (zh) 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN114723994A (zh) 一种基于双分类器对抗增强网络的高光谱图像分类方法
CN114972952A (zh) 一种基于模型轻量化的工业零部件缺陷识别方法
CN111239137A (zh) 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN116403042A (zh) 一种轻量化卫生用品缺陷检测的方法及装置
CN111597878A (zh) 基于bsa-ia-bp的菌落总数预测方法
CN114998360A (zh) 一种基于SUnet算法的脂肪细胞祖细胞分割方法
CN115082726A (zh) 一种基于PointNet优化的座便器陶瓷素坯产品分类方法
Huang et al. Quality control on manufacturing computer keyboards using multilevel deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination