CN116091502B - 基于改进深度残差网络的弱标签工业缺陷图像分类方法 - Google Patents
基于改进深度残差网络的弱标签工业缺陷图像分类方法 Download PDFInfo
- Publication number
- CN116091502B CN116091502B CN202310373074.9A CN202310373074A CN116091502B CN 116091502 B CN116091502 B CN 116091502B CN 202310373074 A CN202310373074 A CN 202310373074A CN 116091502 B CN116091502 B CN 116091502B
- Authority
- CN
- China
- Prior art keywords
- image
- depth residual
- data
- classification
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000013145 classification model Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 29
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 28
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 26
- 238000005457 optimization Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 229920002799 BoPET Polymers 0.000 description 4
- 239000005041 Mylar™ Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003466 welding Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进深度残差网络的弱标签工业缺陷图像分类方法，包括：构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，将数据集分为训练集和测试集；构建结合空间注意力机制的深度残差网络ResNet‑50；将训练集输入到所述深度残差网络ResNet‑50中，经过深度残差网络ResNet‑50提取图像的多尺度和深程度的特征，将提取到的特征输入softmax层进行分类；使用平滑标签损失函数对模型进行迭代，得到分类模型；将测试集输入分类模型中，将图像属于某一类别的概率和图像对应的标签进行对比，输出图像的分类结果。本发明通过改进深度残差网络、改变模型的损失函数及数据均衡化处理解决神经网络在弱标签工业缺陷图像的分类中表现不佳的问题。
Description
技术领域
本发明涉及工业品缺陷检测技术领域，尤其涉及一种基于改进深度残差网络的弱标签工业缺陷图像分类方法。
背景技术
工业中生产线产品的质量检测是进行产品质量控制的关键环节。在产品的生产过程中可能会产生各种难以预料的缺陷，其特征是凹坑、压伤、裂缝，夹杂物，污渍，划痕等缺陷，这些缺陷的分类通常通过人工检查来完成。在大批量生产过程中，检测精度和速度易受检测人员主观因素及经验的影响，检测速度较慢而且准确率不稳定，难以满足工业领域在效率和精度等方面的要求。而传统的工业缺陷图像分类方法主要是基于图像处理的技术，通过对被检测物体的图像进行处理并分类，具有检测速度快、成本低和检测结果可靠等优点。但是在图像处理过程中，也需要人工定义和选择能够准确识别图像中缺陷的特征表示，当出现新的问题时，必须手动设计新的特征，难以满足实际工业要求。而神经网络不需要人工设计特征，仅需要对数据预处理再进行训练即可，特别是当特征提取能力更强的网络模型出现之后，工业界和学术界有了更快更强的分类方法。同时，针对图像的分类问题，有学者收集整理了完备的数据集以供业界测试使用,并提供了相应的评价指标。在统一的测试集中，各种模型大放异彩，均能达到令人可喜的成绩。然而，在工业检测领域中，由于各种不可控的环境因素和应用场景过于分散的原因，并没有一个可以覆盖所有情况的数据集可供使用。而工业缺陷图像本身又存在难以区分、类别混淆的弱标签问题，因此工业缺陷图像的训练和分类也是困扰业界已久的难题。
综上可知，传统的工业缺陷图像分类方法是依赖人工设计的特征对缺陷进行分类，尽管分类的速度较快，但是精度并不高，同时当数据类别增加之后，人工设计规则的数量也要随之增加，模型的泛化能力较弱，无法满足高效、可靠、高精度的要求。随着深度学习的应用，基于神经网络模型的工业缺陷图像分类方法不需要人工设计特征，仅需要在预先分好类的数据上进行训练就能实现较高精度的分类结果。但是该方法在工业缺陷图像检测中的表现并不佳，主要存在以下不足：1、从分类的角度看，工艺误差导致的微小缺陷并不是特别明显的特征，在同一类产品产生的不同缺陷之间的差异也很小，因此人为区分特征在预处理的阶段就存在误分类的问题，直接导致某种类别的数据可能拥有多个标签，影响了模型的训练和推理。2、由于缺陷的产生具有随机性，某一缺陷的样本数量过小导致整体的数据不均衡，进一步增加了数据分类的难度。
目前，通过对数据本身和数据分布进行预处理，并在此基础上改进分类模型成为了一种主流的处理方案。因此本发明人基于该技术线路进行深入研究，提出一种改进深度残差网络的工业缺陷图像分类方法。
发明内容
本发明的目的在于提供一种基于改进深度残差网络的弱标签工业缺陷图像分类方法，该分类方法通过改进深度残差网络、改变模型的损失函数以及数据均衡化处理的方法解决神经网络在弱标签工业缺陷图像的分类中表现不佳的问题。
为达到上述技术目的，本发明采用以下一种技术方案：
基于改进深度残差网络的弱标签工业缺陷图像分类方法，具体包括以下步骤：
S1、构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集；
S2、构建结合空间注意力机制的深度残差网络ResNet-50；
S3、将准备好的训练集输入到所述深度残差网络ResNet-50中，经过深度残差网络ResNet-50提取图像的多尺度和深程度的特征，将提取到的特征输入深度残差网络ResNet-50的softmax层进行分类；
S4、使用平滑标签损失函数对模型进行迭代，得到分类模型；
S5、将测试集输入分类模型中，将图像属于某一类别的概率和图像对应的标签进行对比，输出图像的分类结果。
进一步的，所述构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集，包括：
S11、基于工业缺陷图像构建数据集；
S12、对数据集进行预处理；
S13、对预处理后的数据集进行数据增强操作；
S14、将数据增强后的数据集按比例分为训练集和测试集；
进一步的，所述数据集中包含了若干个文件夹，每个文件夹代表一个类别，每个文件夹分别以类别名字命名
进一步的，所述对数据集进行预处理，包括：对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作。
进一步的，对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作，包括：
图像缩放，先将所有图像尺寸缩放到224×224的大小，将其与网络的输入尺寸对齐；
数据进行均衡化，增加不同类别中相对个数较少的图像张数，使该类别图像在训练集中的占比增加。
进一步的，所述对预处理后的数据集进行数据增强操作，包括：对图像依次进行去噪、滤波、对比度增强、随机水平翻转和随机垂直翻转的操作。
进一步的，所述将数据增强后的数据集按比例分为训练集和测试集，包括：按8：2，7：3，5：5的比例分别从0-200张，200-1000张，1000张以上的数据增强后的数据集中抽取图像作为训练集，其余作为测试集。
进一步的，所述深度残差网络ResNet-50包括依次连接的输入层、第一残差区块、第二残差区块、第三残差区块、第四残差区块、注意力机制块和输出层，所述注意力机制块采用空间注意力机制，所述输出层由平均池化层、全连接层和所述softmax层组成。
进一步的，所述平滑标签损失函数L i为：
其中，
上式中，与/>均为标签，标签/>为标签/>替换所得，/>为迭代训练设置的一个错误率。
如上所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法可以应用于各类工业品缺陷检测。
采用上述方案后，本发明具有以下有益效果：
1）本发明改进了深度残差网络结构，通过在深度残差网络引入空间注意力机制能够使模型更关注有差异的区域，对更多细小的缺陷加以分类，增加模型的特征提取能力，提高了模型分类的准确性。
2）本发明通过改进训练的损失函数，即采用平滑标签损失函数使得图像目标类别的确定性下降，降低了模型过拟合的风险并减少了个别误分类数据对模型最终结果的影响。
3）本发明通过数据增强操作对低数据量的类别进行扩充，减少了数据不均衡对模型训练的不利影响。
总之，本发明的分类模型结合空间注意力机制对深度残差网络进行改进，使网络的特征提取能力更强，同时网络的收敛速度更快。在数据预处理阶段，采用多种数据处理的方法对图像数据进行处理，使得数据集更符合实际的应用场景。在训练阶段，本案使用了平滑损失函数代替交叉熵损失函数，避免了弱标签对模型训练的不利影响，也防止模型在训练集中过拟合。本发明提出的方法能有效的在弱标签工业缺陷图像的数据集中进行分类，在工业检测中具有较高的应用价值。
本发明的分类模型可应用于顶盖焊接视觉检测系统、自动上下料机（通用）、包Mylar机包MylarCCD检测设备、密封钉焊接视觉检测系统、EPD烧录+点灯检AOI设备、电芯外观检测机、刀片电池六面检测系统、二维条码读取器VCR、折弯机、PSA小料贴附机（单通道）等设备或系统的工业品缺陷检测模块中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的变形形式。
图1是本发明基于改进深度残差网络的弱标签工业缺陷图像分类方法的步骤流程图；
图2是优化前的深度残差网络模型ResNet-50结构图；
图3是深度残差网络模型ResNet-50中残差区块的基本组成图；
图4是优化后的深度残差网络ResNet-50结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于改进深度残差网络的弱标签工业缺陷图像分类方法，具体包括以下步骤S1-S5：
S1、构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集；具体包括步骤S11-S14：
S11、基于工业缺陷图像构建数据集；所述数据集中包含了若干个文件夹，每个文件夹代表一个类别，每个文件夹分别以类别名字命名，比如凹坑、压伤、裂缝，污渍，划痕等，其中文件夹中的图像都属于文件夹对应的类别。
S12、对数据集进行预处理，预处理内容包括对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作。具体包括：图像缩放，先将所有图像尺寸缩放到224×224的大小，将其与网络的输入尺寸对齐，不仅可以加快图像数据的加载速度，而且可以减少整个训练过程对内存的使用；数据进行均衡化，通过增加不同类别中相对个数较少的图像张数，使该类别图像在训练集中的占比增加。
S13、对预处理后的数据集进行数据增强操作；本实施例中，数据增强操作包括：对图像依次进行去噪、滤波、对比度增强、随机水平翻转和随机垂直翻转的操作。数据增强操作可以增加数据的多样性，使得最终训练出来的模型泛化性能更好。
S14、将数据增强后的数据集按比例分为训练集和测试集；本实施例中，数据集的划分具体是：按8：2，7：3，5：5的比例分别从0-200张，200-1000张，1000张以上的数据增强后的数据集中抽取图像作为训练集，其余作为测试集。
S2、构建结合空间注意力机制的深度残差网络ResNet-50；
S3、将准备好的训练集输入到所述深度残差网络ResNet-50中，经过深度残差网络ResNet-50提取图像的多尺度和深程度的特征，将提取到的特征输入深度残差网络ResNet-50的softmax层进行分类；
S4、使用平滑标签损失函数对模型进行迭代，得到分类模型；
S5、将测试集输入分类模型中，将图像属于某一类别的概率和图像对应的标签进行对比，输出图像的分类结果。
以下对本发明所采用的结合了空间注意力机制的深度残差网络ResNet-50作进一步说明：
结合图2所示，为优化前的深度残差网络模型ResNet-50，该网络的主干架构是多个残差区块组成的残差网络架构，深度残差网络组成包括依次连接的输入层、第一残差区块conv2_x、第二残差区块conv3_x、第三残差区块conv4_x、第四残差区块conv5_x和输出层。输入层的卷积核数为64、卷积核宽为7、卷积核高为7、步长为2、填充为1，激活函数为Leaky Relu函数；第一残差区块具有3个卷积层，分别由64个1×1卷积核、64个3×3卷积核和256个1×1卷积核组成，激活函数为Leaky Relu函数；第二残差区块具有3个卷积层，分别由128个1×1卷积核、128个3×3卷积核和512个1×1卷积核组成，激活函数为Leaky Relu函数；第三残差区块具有3个卷积层，分别由256个1×1卷积核、256个3×3卷积核和1024个1×1卷积核组成，激活函数为Leaky Relu函数；第四残差区块具有3个卷积层，分别由512个1×1卷积核、512个3×3卷积核和2048个1×1卷积核组成，激活函数为Leaky Relu函数；输出层由平均池化层、全连接层和softmax层组成。网络输入224x224x3的图像，经过输入层得到64×56×56的张量；之后张量进入由3个第一残差区块组成的conv2_x层，输出256×56×56的张量；再经过由4个第二残差区块组成的conv3_x层得到512×28×28的张量；然后再通过由6个第三残差区块组成的conv4_x层，输出1024×14×14的张量；将张量输入由3个第四残差区块组成的conv5_x层，输出2048×7×7的张量；最后对2048×7×7的张量进行全局平均池化操作(Global Average Pooling)和全连接层（Fully Connected Layer）得到维度为2048×1000的张量，再使用softmax分类函数得到网络的输出。其中，深度残差网络模型ResNet-50中残差区块的基本组成如图3所示，每一个层的输入分成两个分支，其中一个分支向前映射，另一个分支与映射的结果相加，称之为残差连接，其引入跳跃连接，允许数据直接流向任何后续项，避免了梯度消失与梯度爆炸，使得网络的层数可以达到更深。
结合图4所示，本发明对深度残差网络ResNet-50进行了优化，根据空间注意力机制块可以插入到网络的任意位置也不会改变其形状的特性，在该网络中即增加了注意力机制块，优化后所述深度残差网络ResNet-50包括依次连接的输入层、第一残差区块、第二残差区块、第三残差区块、第四残差区块、注意力机制块和输出层，所述注意力机制块采用空间注意力机制，所述输出层由平均池化层、全连接层和所述softmax层组成。注意力机制是自深度学习快速发展后广泛应用于自然语言处理、统计学习、图像检测、语音识别等领域的核心技术，例如将注意力机制与RNN结合进行图像分类，将注意力机制运用在自然语言处理中提高翻译精度，注意力机制本质上可实现信息处理资源的高效分配。本发明所使用的注意力机制是空间注意力机制，能够使模型更关注有差异的区域，对更多细小的缺陷加以分类。结合图4，本发明所构建的深度残差网络ResNet-50，在第四残差区块conv5_x之后，输出层的全局平均池化操作(Global Average Pooling)之前，加入了注意力机制块。经过深度残差网络ResNet-50输出2048×7×7大小的张量，在将张量输入注意力机制块中，增加特定区域的特征信息，同时输出的大小和维度保持不变。
如表1所示，与优化前的深度残差网络模型ResNet-50相比，本发明所提出的结合注意力机制块的深度残差网络模型ResNet-50在深度更深的同时，也能够关注到更为关键的区域，使模型的提取能力更强，速度更快。在对比分类结果中最大概率分类和前三个最大概率分类的准确率，优化后的深度残差网络模型均大于优化前深度残差网络模型。
表1 准确率对比
以下对本发明所采用的平滑标签损失函数作进一步说明：
在深度学习中通常会存在少量错误和有冲突的标签，称之为弱标签。在进行多分类模型训练时，如果是采用one-hot标签进行交叉熵计算，若数据集中存在弱标签样本，有极大可能会对训练模型产生负面的影响。因此，本发明引入了平滑标签损失函数替代交叉熵损失，避免错误样本对模型的过度影响。所述平滑标签损失函数L i为：
其中，
其中，标签为标签/>替换所得，在每次训练迭代时，并不直接将/>放入训练集，而是设置一个错误率/>，以1-/>的概率将/>代入训练，以/>的概率将/>代入训练，避免了模型对所有标签的完全匹配。
当标签等于0时，并不将标签0直接放入训练中进行迭代，而是将其替换成一个较小的数/>。同样的，如果标签/>为1时，也将其替换为较接近的数1-/>。此时，在训练模型的输出中，每种类别的概率值输出均不为1或者0，在出现错误样本时，可以减少误差对于模型的影响。同时，由于输出的结果抑制了极值的出现，使得模型不容易陷入局部最优点，一定程度上还可以防止模型在训练集中出现过拟合。同样的，在多分类问题中，需要引入一个k值，k为类别的数量，如式所示，将所有的标签1变为/>，将所有的标签0变为/>即可。
如表2所示，显示了采用交叉熵损失函数和平滑标签损失函数进行模型迭代后的分类结果，在对比分类结果中最大概率分类和前三个最大概率分类的准确率，替换完损失函数之后之后的模型的准确率均大于原先的模型，相较于之前的效果有一定的提升。
表2 模型的准确率
相比于以往的分类模型，本发明的分类模型结合空间注意力机制对深度残差网络进行改进，使网络的特征提取能力更强，同时网络的收敛速度更快。在数据预处理阶段，采用多种数据处理的方法对图像数据进行处理，使得数据集更符合实际的应用场景。在训练阶段，本案使用了平滑损失函数代替交叉熵损失函数，避免了弱标签对模型训练的不利影响，也防止模型在训练集中过拟合。本发明提出的方法能有效的在弱标签工业缺陷图像的数据集中进行分类，在工业检测中具有较高的应用价值。
如上所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法可以应用于各类工业品缺陷检测，例如电子产品、机械设备、精密仪器及其零配件等工业品的缺陷检测，具有可应用于顶盖焊接视觉检测系统、自动上下料机（通用）、包Mylar机包MylarCCD检测设备、密封钉焊接视觉检测系统、EPD烧录+点灯检AOI设备、电芯外观检测机、刀片电池六面检测系统、二维条码读取器VCR、折弯机、PSA小料贴附机（单通道）等设备或系统的工业品缺陷检测模块。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
Claims (7)
1.基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于包括以下步骤：
S1、构建工业缺陷图像数据集，对数据集进行预处理和数据增强操作，然后将数据集分为训练集和测试集，包括：
S11、基于工业缺陷图像构建数据集；
S12、对数据集进行预处理；
S13、对预处理后的数据集进行数据增强操作；
S14、将数据增强后的数据集按比例分为训练集和测试集；
S2、构建结合空间注意力机制的深度残差网络ResNet-50；所述深度残差网络ResNet-50包括依次连接的输入层、第一残差区块、第二残差区块、第三残差区块、第四残差区块、注意力机制块和输出层，所述注意力机制块采用空间注意力机制，所述输出层由平均池化层、全连接层和softmax层组成；
S3、将准备好的训练集输入到所述深度残差网络ResNet-50中，经过深度残差网络ResNet-50提取图像的多尺度和深程度的特征，将提取到的特征输入深度残差网络ResNet-50的softmax层进行分类；
S4、使用平滑标签损失函数对模型进行迭代，得到分类模型；
S5、将测试集输入分类模型中，将图像属于某一类别的概率和图像对应的标签进行对比，输出图像的分类结果。
2.如权利要求1所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于，所述数据集中包含了若干个文件夹，每个文件夹代表一个类别，每个文件夹分别以类别名字命名。
3.如权利要求1所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于，所述对数据集进行预处理，包括：对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作。
4.如权利要求3所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于，对给定的工业缺陷图像数据集进行图像缩放、数据均衡操作，包括：
图像缩放，先将所有图像尺寸缩放到224×224的大小，将其与网络的输入尺寸对齐；
数据进行均衡化，增加不同类别中相对个数较少的图像张数，使该类别图像在训练集中的占比增加。
5.如权利要求1所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于，所述对预处理后的数据集进行数据增强操作，包括：对图像依次进行去噪、滤波、对比度增强、随机水平翻转和随机垂直翻转的操作。
6.如权利要求1所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法，其特征在于，所述平滑标签损失函数L i为：
其中，
上式中，与/>均为标签，标签/>为标签/>替换所得，/>为迭代训练设置的一个错误率。
7.如权利要求1-6任一项所述的基于改进深度残差网络的弱标签工业缺陷图像分类方法在各类工业品缺陷检测中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310373074.9A CN116091502B (zh) | 2023-04-10 | 2023-04-10 | 基于改进深度残差网络的弱标签工业缺陷图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310373074.9A CN116091502B (zh) | 2023-04-10 | 2023-04-10 | 基于改进深度残差网络的弱标签工业缺陷图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091502A CN116091502A (zh) | 2023-05-09 |
| CN116091502B true CN116091502B (zh) | 2023-07-25 |
Family
ID=86210577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310373074.9A Active CN116091502B (zh) | 2023-04-10 | 2023-04-10 | 基于改进深度残差网络的弱标签工业缺陷图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091502B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648310A (zh) * | 2019-08-30 | 2020-01-03 | 上海理工大学 | 基于注意力机制的弱监督铸件缺陷识别方法 |
| CN115311494A (zh) * | 2022-08-05 | 2022-11-08 | 西北大学 | 一种利用分层训练结合标签平滑的文化资源图像分类方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111489334B (zh) * | 2020-04-02 | 2023-08-08 | 暖屋信息科技(苏州)有限公司 | 一种基于卷积注意力神经网络的缺陷工件图像识别方法 |
| CN111754507A (zh) * | 2020-07-03 | 2020-10-09 | 征图智能科技(江苏)有限公司 | 一种轻量化的基于强注意力机制的工业缺陷图像分类方法 |
| KR102417415B1 (ko) * | 2020-11-06 | 2022-07-06 | 한국생산기술연구원 | 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템 |
| CN112163574A (zh) * | 2020-11-23 | 2021-01-01 | 南京航天工业科技有限公司 | 一种基于深度残差网络的etc干扰信号发射机的识别方法及系统 |
-
2023
- 2023-04-10 CN CN202310373074.9A patent/CN116091502B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110648310A (zh) * | 2019-08-30 | 2020-01-03 | 上海理工大学 | 基于注意力机制的弱监督铸件缺陷识别方法 |
| CN115311494A (zh) * | 2022-08-05 | 2022-11-08 | 西北大学 | 一种利用分层训练结合标签平滑的文化资源图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091502A (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107169956B (zh) | 基于卷积神经网络的色织物疵点检测方法 | |
| CN110348384B (zh) | 一种基于特征融合的小目标车辆属性识别方法 | |
| CN114841972B (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN110852395A (zh) | 一种基于自主学习和深度学习的矿石粒度检测方法和系统 | |
| CN106557778A (zh) | 通用物体检测方法和装置、数据处理装置和终端设备 | |
| CN102722713B (zh) | 一种基于李群结构数据的手写体数字识别方法及系统 | |
| CN109784283A (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| CN112561910A (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
| CN116258707A (zh) | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 | |
| CN110245697B (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
| CN102385592A (zh) | 图像概念的检测方法和装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115409797A (zh) | 一种基于改进深度学习算法的pcb缺陷图像检测方法 | |
| CN115984632A (zh) | 一种高光谱塑料垃圾材质快速分类方法、装置及存储介质 | |
| CN113763364B (zh) | 一种基于卷积神经网络的图像缺陷检测方法 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| CN116091502B (zh) | 基于改进深度残差网络的弱标签工业缺陷图像分类方法 | |
| CN111553442B (zh) | 一种分类器链标签序列的优化方法及系统 | |
| CN111242114B (zh) | 文字识别方法及装置 | |
| CN117218121A (zh) | 一种铸件dr图像缺陷识别方法 | |
| CN114663658B (zh) | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 | |
| CN115661042A (zh) | 一种基于注意力机制指导的分层分类缺陷检测方法 | |
| CN115757779A (zh) | 基于深度学习模型的金融风险预警方法及装置 | |
| CN113435389A (zh) | 基于图像特征深度学习的小球藻和金藻分类识别方法 | |
| CN113724261A (zh) | 一种基于卷积神经网络的快速图像构图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |