CN116468959B - 工业缺陷分类方法、装置、电子设备及存储介质 - Google Patents
工业缺陷分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116468959B CN116468959B CN202310710019.4A CN202310710019A CN116468959B CN 116468959 B CN116468959 B CN 116468959B CN 202310710019 A CN202310710019 A CN 202310710019A CN 116468959 B CN116468959 B CN 116468959B
- Authority
- CN
- China
- Prior art keywords
- training
- layer
- model
- data
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000013145 classification model Methods 0.000 claims abstract description 33
- 238000013526 transfer learning Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000010257 thawing Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000013508 migration Methods 0.000 abstract description 8
- 230000005012 migration Effects 0.000 abstract description 8
- 238000009826 distribution Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域，特别涉及一种工业缺陷分类方法、装置、电子设备及存储介质，其中，方法包括：获取目标域的训练数据集；设计适用于迁移学习的注意力原型网络；利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，目标域的分类模型由源域的分类模型特征迁移学习得到，根据工业迁移学习数据量小，数据分布有差异等问题添加训练策略；将工业缺陷的数据输入训练完成的分类模型，输出工业缺陷的实际类别。由此，解决了相关技术中工业缺陷分类迁移学习中源域与目标域数据分布差异带来的训练效率低以及已有迁移学习方案精度不高等问题。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种工业缺陷分类方法、装置、电子设备及存储介质。
背景技术
工业制品在现代社会中无处不在，工业缺陷分类，旨在发现各种工业制品的瑕疵，是保障产品质量、维持生产稳定的重要技术之一，近年来，随着工业成像、计算机视觉和深度学习等新的领域技术层出不穷，基于视觉的工业缺陷检测技术得到了很大的发展，也逐渐成为了针对产品外观质检的一种有效的解决方案。
工业场景中常常会面临更换产品线的情况，而不同产品线需要检测的缺陷会有差异，从而使得新的产线没有大量数据可供训练，且再进行大规模标注，则会带来较大的经济和时间成本，针对这种问题，一个有效的解决方法是使用迁移学习，迁移学习是机器学习中解决训练数据不足这一基本问题的重要工具，其中，它可以通过放松训练数据和测试数据必须是独立且同分布的假设，将知识从源域迁移到目标域，迁移学习并不需要对目标域内的模型进行从零开始的训练，就可以显著降低对目标域内训练数据和训练时间的需求，因此这将对许多由于训练数据不足而难以改进的工业缺陷分类任务产生巨大的积极影响。
其中，工业缺陷分类中的迁移学习的学习过程，如图1所示，给定一个基于目标域的缺陷分类任务，通过学习源域的可迁移知识来提高目标域的缺陷分类性能，其中，源域有充足的数据集，所使用的深度学习模型能够收敛，达到较高的性能，而目标域的数据集规模远小于源域数据集规模。此外，工业缺陷分类与常规图像分类任务不同，常规分类样本通常含有大多数类别相关信息，但工业缺陷分类任务常常伴随着检测的部分，通常通过图片局部信息进行缺陷认定，因此，目标域网络模型更易过拟合。
发明内容
本申请提供一种工业缺陷分类方法、装置、电子设备及存储介质，以解决相关技术中工业缺陷分类迁移学习中源域与目标域数据分布差异带来的训练效率低以及已有迁移学习方案精度不高等问题。
本申请第一方面实施例提供一种工业缺陷分类方法，包括以下步骤：获取目标域的训练数据集；设计适用于迁移学习的注意力原型网络；利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结；对预设层中批量归一化层的统计参数解冻，且增加批量归一化动量；将工业缺陷数据输入所述训练完成的分类模型，输出工业缺陷的实际类别。
可选地，在本申请的一个实施例中，在所述获取目标域的训练数据集之后，还包括：设计在线数据增广模块，训练过程中，在每个批次的数据进入网络之前，经过不同增强程度、不同数据增强手段以增强目标域数据的多样性。
可选地，在本申请的一个实施例中，所述设计适用于迁移学习的注意力原型网络，包括：数据经过第一层卷积、批量归一化、激活函数以及最大池化层后，添加注意力模块，所述注意力模块包括全连接层或卷积层、池化层，经过特征提取下采样层后，添加注意力机制，所述注意力机制采用注意力分数，得到最后的特征向量；将所述特征向量输入模型分类全连接层，采用带边缘的激活函数，公式为：
，
其中，表示缩放系数，/>表示边缘系数，/>表示类别总数，/>表示类别/>对应的参数的转置，/>表示类别向量y的第/>个值，/>表示类别向量y的第/>个值，/>表示/>对应的输入特征，/>表示/>对应的输入特征。
可选地，在本申请的一个实施例中，所述根据工业迁移学习数据量小，数据分布有差异等问题添加训练策略，包括：训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结，以引入源域知识；对批量归一化中的统计参数解冻，且增加批量归一化动量。
本申请第二方面实施例提供一种工业缺陷分类模型训练装置，包括：获取模块，用于获取目标域的训练数据集；加载模块，用于加载适用于迁移学习的注意力原型网络；训练模块，用于利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结；对预设层中批量归一化层的统计参数解冻，且增加批量归一化动量；推理模块，用于将工业缺陷数据输入所述训练完成的分类模型，输出工业缺陷的实际类别。
可选地，在本申请的一个实施例中，工业缺陷分类装置可以对上述方法提到的内容进行设置。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的工业缺陷分类方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的工业缺陷分类方法。
由此，本申请至少具有如下有益效果：
本申请实施例可以通过原型设计、有效的特征迁移、数据增强、正则操作，更快的训练出精度更高的模型，从而有效提高训练的效率以及分类结果的精度，能够解决不同工业缺陷分类存在的各种问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为相关技术中缺陷分类迁移学习的流程图；
图2为根据本申请实施例提供的工业缺陷分类方法的流程图；
图3为根据本申请实施例提供的原型网络结构示意图；
图4为根据本申请实施例提供的新旧产线垫片的示例图；
图5为根据本申请实施例提供的工业缺陷分类装置的方框示意图；
图6为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的工业缺陷分类方法、装置、电子设备及存储介质。
其中，图2为本申请实施例所提供的一种工业缺陷分类方法的流程示意图。
如图2所示，该工业缺陷分类方法包括以下步骤：
在步骤S101中，获取目标域的训练数据集，源域分类模型（以ResNet50为基础网络结构）。
在步骤S102中，构建适用于迁移学习的注意力原型网络。
在步骤S103中，利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结。以此引入源域知识；考虑到源域数据分布与目标域数据分布虽然相近，但仍然存在差异，因此对批量归一化中的统计参数解冻，且适量增加批量归一化动量，以到达使模型在训练中，快速学习到目标域数据分布的目的。其中，预设层可以为批次归一化层。
在步骤S104中，将工业缺陷的数据输入训练完成的分类模型，输出工业缺陷的实际类别。
本申请的特点还在于：
步骤S101具体为，获取源域数据集与目标域数据集。设置随机数据增强模块，在训练过程中对每批次的训练数据添加随机数据增强模块，在训练过程中每个批次的数据经过不同的增强程度、不同数据增强手段以增强目标域数据的多样性，相比于训练前对数据集进行数据增广，该方式提高了数据增强方法的灵活性。
步骤S102具体为，图3为本申请实施例设计的原型网络结构示意图，数据经过第一层卷积-批量归一化-激活函数-最大池化（CBRM）池化后，添加注意力模块（CA/SA），经过4个特征提取下采样层后，添加注意力模块，注意力模块包括全连接层或卷积层、池化层，其中注意力机制采用注意力分数Sigmoid，得到最后的特征向量；其中，池化层采用最大池化层。
将特征向量输入模型分类层，其中，分类层由全连接层与激活函数构成。其中，激活函数采用带边缘的Softmax激活函数，提高类间分离程度，减少目标域数据量小引起的过拟合问题。
步骤S103具体按照以下步骤实施：
步骤S103.1、通过源域数据集在基础网络结构训练得到收敛的源域工业缺陷分类模型（简称源域模型）。
步骤S103.2、源域模型作为目标域模型的预训练模型，冻结预设层，但将预设层中批量归一化参数设置为未冻结，并且适量增大批次归一化层更新动量。以此更好地使网络学习目标域数据分布。
步骤S103.3、目标域数据输入模型，将分类层输出结果与训练数据集标签进行损失计算，将损失用于反向训练网络模型。其中损失函数公式为：
，
其中，γ为控制函数曲线的形状，γ的值越大，好分类样本的误差就越小，从而可以把模型的注意力转向那些难以分类的样本上，表示权重因子，选取范围在 (0, 1) 之间，根据实际场景确定，通常取/>= 0.75，/>的计算公式如下：
，
另外，当γ=0时，损失函数为二分类的交叉熵损失函数，p是模型预测出来的分数，取值在(0,1）；y是真实标签值，取值为1或-1，分别表示正例和负例。
根据本申请实施例提出的工业缺陷分类方法，通过有效的原型网络，特征迁移、数据增强、正则操作，更快的训练出精度更高的模型，从而有效提高训练的效率以及分类结果的精度，能够解决不同工业缺陷分类存在的各种问题。
下面通过一个实际实验案例对本申请提出的工业缺陷分类方法进行阐述。
本申请实施例的实际分类场景实验是在更换产线上，第一条产线部署完成后，在进行下一产线的实施过程中，会出现产线产品虽然相同，但是型号会存在差异，差异主要表现在产品布局，零件形状材料等。
其中，本申请实施例进行实验来充分的证明本申请实施例方法的有效性，具体内容如下：
如图4所示，旧产线和新产线是同一产品的不同型号，其中，旧产线检测项目为圆形垫片是否存在缺陷，新产线增加了矩形垫片是否存在缺陷。
其中，旧产线的数据集为源域数据集，类别两类分别为圆形垫片存在缺陷（NG_C），圆形垫片无缺陷（OK_C），分别有1384、1420张图片数据。
本申请实施例为了对比方法在目标域小数据集情况下的效果，将目标域数据集分为对比训练数据和目标训练数据，数据集数量分别为6223和624，其中有四个类别，除了源域类别，还包含了NG_R和OK_R，分别代表为方垫片有缺陷和方圆垫片无缺陷，目标域数据情况如表1所示。其中，表1为圆、方垫片目标域数据详情表。
表1
训练配置参数批次个数为64，最大迭代数为30。采取3次实验结果平均值来衡量本申请实施例所提出的方法的有效性，结果如表2所示，迁移后的模型训练效率上提升了57.19%，而精度保持在0.5%以内的差异，证明了本申请实施例所提出的方法带来的效率上的提升。其中，表2为圆方垫片迁移学习训练结果表。
表2
注：过检漏检对应的标签顺序为NG_C / NG_R / OK_C / OK_R。
其次参照附图描述根据本申请实施例提出的工业缺陷分类装置。
图5是本申请实施例的工业缺陷分类装置的方框示意图。
如图5所示，该工业缺陷分类装置10包括：获取模块100、加载模块200、训练模块300和推理模块400。
其中，获取模块100，用于获取目标域的训练数据集；加载模块200，用于加载适用于迁移学习的注意力原型网络；训练模块300，用于利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结；对预设层中批量归一化层的统计参数解冻，且增加批量归一化动量；推理模块400，用于将工业缺陷数据输入训练完成的分类模型，输出工业缺陷的实际类别。
可选地，在本申请的一个实施例中，工业缺陷分类装置10可以对上述方法提到的内容进行设置。
需要说明的是，前述对工业缺陷分类方法实施例的解释说明也适用于该实施例的工业缺陷分类装置，此处不再赘述。
根据本申请实施例提出的工业缺陷分类装置，通过有效的迁移原型网络设计、数据增强、正则操作，更快的训练出精度更高的模型，从而有效提高训练的效率以及分类结果的精度，能够解决不同工业缺陷分类存在的各种问题。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的工业缺陷分类方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM（Random Access Memory，随机存取存储器）存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA（IndustryStandard Architecture，工业标准体系结构）总线、PCI（Peripheral Component，外部设备互连）总线或EISA（Extended Industry Standard Architecture，扩展工业标准体系结构）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个CPU（Central Processing Unit，中央处理器），或者是ASIC（Application Specific Integrated Circuit，特定集成电路），或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的工业缺陷分类方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种工业缺陷分类方法，其特征在于，包括以下步骤：
获取目标域的训练数据集；
设计适用于迁移学习的注意力原型网络；所述设计适用于迁移学习的注意力原型网络，包括：数据经过第一层卷积、批量归一化、激活函数以及最大池化层后，添加注意力模块，所述注意力模块包括全连接层或卷积层、池化层，经过特征提取下采样层后，添加注意力机制，所述注意力机制采用注意力分数，得到最后的特征向量；激活函数采用带边缘的激活函数；将所述特征向量输入模型分类全连接层，采用带边缘的激活函数，公式为：
，
其中，表示缩放系数，/>表示边缘系数，/>表示类别总数，/>表示类别/>对应的参数的转置，/>表示类别向量y的第/>个值，/>表示类别向量y的第/>个值，/>表示/>对应的输入特征，/>表示/>对应的输入特征；
利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结，以引入源域知识，对预设层中批量归一化层的统计参数解冻，且增加批量归一化动量；
将工业缺陷数据输入所述训练完成的分类模型，输出工业缺陷的实际类别。
2.根据权利要求1所述的工业缺陷分类方法，其特征在于，在所述获取目标域的训练数据集之后，还包括：
设计数据增广模块，训练过程中，在每个批次的数据进入网络之前，经过不同增强程度、不同数据增强手段以增强目标域数据的多样性。
3.一种工业缺陷分类装置，其特征在于，包括：
获取模块，用于获取目标域的训练数据集；
加载模块，用于加载适用于迁移学习的注意力原型网络；所述适用于迁移学习的注意力原型网络，包括：数据经过第一层卷积、批量归一化、激活函数以及最大池化层后，添加注意力模块，所述注意力模块包括全连接层或卷积层、池化层，经过特征提取下采样层后，添加注意力机制，所述注意力机制采用注意力分数，得到最后的特征向量；激活函数采用带边缘的激活函数；将所述特征向量输入模型分类全连接层，采用带边缘的激活函数，公式为：
，
其中，表示缩放系数，/>表示边缘系数，/>表示类别总数，/>表示类别/>对应的参数的转置，/>表示类别向量y的第/>个值，/>表示类别向量y的第/>个值，/>表示/>对应的输入特征，/>表示/>对应的输入特征；
训练模块，用于利用训练数据集训练目标域的分类模型，直到满足预设训练条件时，得到训练完成的分类模型，其中，训练阶段，以源域训练所得缺陷分类模型作为目标域训练模型的预训练模型，将预训练模型中预设层的可学习参数进行冻结，以引入源域知识；对预设层中批量归一化层的统计参数解冻，且增加批量归一化动量；
推理模块，用于将工业缺陷数据输入所述训练完成的分类模型，输出工业缺陷的实际类别。
4.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-2任一项所述的工业缺陷分类方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-2任一项所述的工业缺陷分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710019.4A CN116468959B (zh) | 2023-06-15 | 2023-06-15 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710019.4A CN116468959B (zh) | 2023-06-15 | 2023-06-15 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116468959A CN116468959A (zh) | 2023-07-21 |
| CN116468959B true CN116468959B (zh) | 2023-09-08 |
Family
ID=87181065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310710019.4A Active CN116468959B (zh) | 2023-06-15 | 2023-06-15 | 工业缺陷分类方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468959B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| CN112084887A (zh) * | 2020-08-19 | 2020-12-15 | 北京影谱科技股份有限公司 | 一种基于注意力机制的自适应视频分类方法及系统 |
| WO2021031279A1 (zh) * | 2019-08-20 | 2021-02-25 | 东北大学 | 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法 |
| CN112528830A (zh) * | 2020-12-07 | 2021-03-19 | 南京航空航天大学 | 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法 |
| CN112801066A (zh) * | 2021-04-12 | 2021-05-14 | 北京圣点云信息技术有限公司 | 一种基于多姿态面部静脉的身份识别方法及装置 |
| CN113066047A (zh) * | 2021-02-23 | 2021-07-02 | 青岛科技大学 | 轮胎x射线图像杂质缺陷检测方法 |
| WO2021238262A1 (zh) * | 2020-05-29 | 2021-12-02 | 浪潮(北京)电子信息产业有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
| CN114330571A (zh) * | 2021-12-31 | 2022-04-12 | 华中科技大学 | 基于迁移学习的电力系统主导失稳模式识别方法及系统 |
| CN114429143A (zh) * | 2022-01-14 | 2022-05-03 | 东南大学 | 一种基于强化蒸馏的跨语言属性级情感分类方法 |
| CN114528913A (zh) * | 2022-01-10 | 2022-05-24 | 清华大学 | 基于信任和一致性的模型迁移方法、装置、设备及介质 |
| CN115222685A (zh) * | 2022-07-08 | 2022-10-21 | 哈尔滨理工大学 | 一种基于改进yolox模型的木材缺陷检测方法 |
| CN115414042A (zh) * | 2022-09-08 | 2022-12-02 | 北京邮电大学 | 基于情感信息辅助的多模态焦虑检测方法及装置 |
| CN116310598A (zh) * | 2023-05-16 | 2023-06-23 | 常州海图信息科技股份有限公司 | 一种用于恶劣天气下的障碍物检测方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9984586B2 (en) * | 2015-11-22 | 2018-05-29 | Victor Popa-Simil | Method and device to improve the flying abilities of the airborne devices operator |
| US20190339688A1 (en) * | 2016-05-09 | 2019-11-07 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things |
| CN106874905B (zh) * | 2017-01-12 | 2019-06-11 | 中南大学 | 一种基于自学习色彩聚类的自然场景文本检测的方法 |
| US20200104710A1 (en) * | 2018-09-27 | 2020-04-02 | Google Llc | Training machine learning models using adaptive transfer learning |
| US20200272899A1 (en) * | 2019-02-22 | 2020-08-27 | Ubotica Technologies Limited | Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network |
| CN110647920A (zh) * | 2019-08-29 | 2020-01-03 | 北京百度网讯科技有限公司 | 机器学习中的迁移学习方法及装置、设备与可读介质 |
| US11830193B2 (en) * | 2020-11-23 | 2023-11-28 | Xi'an Creation Keji Co., Ltd. | Recognition method of intracranial vascular lesions based on transfer learning |
| US20220303176A1 (en) * | 2021-03-12 | 2022-09-22 | Cypress Semiconductor Corporation | Efficient optimization for neural network deployment and execution |
-
2023
- 2023-06-15 CN CN202310710019.4A patent/CN116468959B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
| WO2021031279A1 (zh) * | 2019-08-20 | 2021-02-25 | 东北大学 | 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法 |
| WO2021238262A1 (zh) * | 2020-05-29 | 2021-12-02 | 浪潮(北京)电子信息产业有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
| CN112084887A (zh) * | 2020-08-19 | 2020-12-15 | 北京影谱科技股份有限公司 | 一种基于注意力机制的自适应视频分类方法及系统 |
| CN112528830A (zh) * | 2020-12-07 | 2021-03-19 | 南京航空航天大学 | 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法 |
| CN113066047A (zh) * | 2021-02-23 | 2021-07-02 | 青岛科技大学 | 轮胎x射线图像杂质缺陷检测方法 |
| CN112801066A (zh) * | 2021-04-12 | 2021-05-14 | 北京圣点云信息技术有限公司 | 一种基于多姿态面部静脉的身份识别方法及装置 |
| CN114330571A (zh) * | 2021-12-31 | 2022-04-12 | 华中科技大学 | 基于迁移学习的电力系统主导失稳模式识别方法及系统 |
| CN114528913A (zh) * | 2022-01-10 | 2022-05-24 | 清华大学 | 基于信任和一致性的模型迁移方法、装置、设备及介质 |
| CN114429143A (zh) * | 2022-01-14 | 2022-05-03 | 东南大学 | 一种基于强化蒸馏的跨语言属性级情感分类方法 |
| CN115222685A (zh) * | 2022-07-08 | 2022-10-21 | 哈尔滨理工大学 | 一种基于改进yolox模型的木材缺陷检测方法 |
| CN115414042A (zh) * | 2022-09-08 | 2022-12-02 | 北京邮电大学 | 基于情感信息辅助的多模态焦虑检测方法及装置 |
| CN116310598A (zh) * | 2023-05-16 | 2023-06-23 | 常州海图信息科技股份有限公司 | 一种用于恶劣天气下的障碍物检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| A Fast Content-Based Image Retrieval Method Using Deep Visual Features;Hiroki Tanioka;《2019 International Conference on Document Analysis and Recognition Workshops (ICDARW)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116468959A (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | The application of one-class classifier based on CNN in image defect detection | |
| Ishida et al. | Deep learning-based wafer-map failure pattern recognition framework | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN103544506B (zh) | 一种基于卷积神经网络的图像分类方法和装置 | |
| CN111275660B (zh) | 一种平板显示器缺陷检测方法及装置 | |
| US20220414439A1 (en) | Neuromorphic Synthesizer | |
| JP7178513B2 (ja) | ディープラーニングに基づく中国語単語分割方法、装置、記憶媒体及びコンピュータ機器 | |
| Park et al. | MarsNet: multi-label classification network for images of various sizes | |
| CN111078456B (zh) | 设备故障诊断方法、装置、计算机可读存储介质和电子设备 | |
| CN111026544A (zh) | 图网络模型的节点分类方法、装置及终端设备 | |
| CN111223128A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
| US11704561B2 (en) | Method for realizing a neural network | |
| CN110852351A (zh) | 基于图像的垃圾分类方法、装置、终端设备和存储介质 | |
| CN116468959B (zh) | 工业缺陷分类方法、装置、电子设备及存储介质 | |
| CN117994570A (zh) | 基于模型无关适配器提高复杂多样数据分布的识别方法 | |
| Mat Jizat et al. | Evaluation of the transfer learning models in wafer defects classification | |
| WO2020026475A1 (ja) | ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム | |
| Bach et al. | Analyzing classifiers: Fisher vectors and deep neural networks | |
| Patel et al. | Automated damage detection in operational vehicles using mask R-CNN | |
| CN111639659B (zh) | 一种水下沉底小目标融合分类方法 | |
| CN114528906A (zh) | 一种旋转机械的故障诊断方法、装置、设备和介质 | |
| CN114496068A (zh) | 蛋白质二级结构预测方法、装置、设备及存储介质 | |
| Aghaei | A cellular Automata approach for noisy images edge detection under null boundary conditions | |
| Wang et al. | Neuron-level selective context aggregation for scene segmentation | |
| US11568252B2 (en) | Variable input size techniques for neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |