CN115439446A - 一种外观缺陷检测方法、装置、存储介质及电子设备 - Google Patents

一种外观缺陷检测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115439446A
CN115439446A CN202211084193.4A CN202211084193A CN115439446A CN 115439446 A CN115439446 A CN 115439446A CN 202211084193 A CN202211084193 A CN 202211084193A CN 115439446 A CN115439446 A CN 115439446A
Authority
CN
China
Prior art keywords
feature
fusion
pixel points
image
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211084193.4A
Other languages
English (en)
Inventor
徐明亮
姜晓恒
谷宁波
张云霞
卢洋
贺硕
张文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202211084193.4A priority Critical patent/CN115439446A/zh
Publication of CN115439446A publication Critical patent/CN115439446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请提出一种外观缺陷检测方法、装置、存储介质及电子设备，特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，目标图像为检测对象的采集图像特征融合分支对相邻维度的图像特征进行融合，以获取N‑1个融合特征；解码分支基于N‑1个融合特征进行解码，以获取解码图像结果，其中，解码图像结果包括第一类特征像素点和第二类特征像素点，第一类特征像素点表示缺陷像素点，第二类特征像素点表示非缺陷像素点。可以在低对比度的情况下，即缺陷与背景的差异不明显的情况下，准确地检测到缺陷，能够排除污渍、阴影、光照不均匀等干扰因素对缺陷检测带来的干扰，能够适应各种形状和尺寸的缺陷检测。

Description

一种外观缺陷检测方法、装置、存储介质及电子设备
技术领域
本申请涉及图像领域，具体而言，涉及一种外观缺陷检测方法、装置、存储介质及电子设备。
背景技术
随着社会科技发展和人们生活水平的提高，人们对工业产品质量要求越来越高。表面质量检测是产品出厂前的一个关键环节。传统的检测方式是由有经验的工人对产品进行肉眼检测，记录缺陷产品的编号以进行下一步处理。这种方法存在诸多问题，如工人长时间的肉眼识别很容易疲劳而导致漏检误检，人工检测受主观影响大，检测效率较低等。因此，目前工业生产中迫切需要应用先进的自动、准确、高效的表面缺陷检测系统，有效解放人工劳动力，提高工业生产效率。
发明内容
本申请的目的在于提供一种外观缺陷检测方法、装置、存储介质及电子设备，以至少部分改善上述问题。
为了实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供一种外观缺陷检测方法，应用于电子设备，所述电子设备部署有预训练的网络模型，所述网络模型包括特征提取分支、特征融合分支以及解码分支，所述方法包括：
所述特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，所述目标图像为检测对象的采集图像；
所述特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征；
所述解码分支基于所述N-1个融合特征进行解码，以获取解码图像结果，其中，所述解码图像结果包括第一类特征像素点和第二类特征像素点，所述第一类特征像素点表示缺陷像素点，所述第二类特征像素点表示非缺陷像素点。
第二方面，本申请实施例提供一种外观缺陷检测装置，应用于电子设备，所述装置包括：
特征提取单元用于按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，所述目标图像为检测对象的采集图像；
特征融合单元用于对相邻维度的图像特征进行融合，以获取N-1个融合特征；
解码单元用于基于所述N-1个融合特征进行解码，以获取解码图像结果，其中，所述解码图像结果包括第一类特征像素点和第二类特征像素点，所述第一类特征像素点表示缺陷像素点，所述第二类特征像素点表示非缺陷像素点。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。
第四方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。
相对于现有技术，本申请实施例所提供的一种外观缺陷检测方法、装置、存储介质及电子设备，特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，目标图像为检测对象的采集图像特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征；解码分支基于N-1个融合特征进行解码，以获取解码图像结果，其中，解码图像结果包括第一类特征像素点和第二类特征像素点，第一类特征像素点表示缺陷像素点，第二类特征像素点表示非缺陷像素点。可以在低对比度的情况下，即缺陷与背景的差异不明显的情况下，准确地检测到缺陷，能够排除污渍、阴影、光照不均匀等干扰因素对缺陷检测带来的干扰，能够适应各种形状和尺寸的缺陷检测，从而克服了现有技术所存在的问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的网络模型的结构示意图；
图3为本申请实施例提供的外观缺陷检测方法的流程示意图；
图4为本申请实施例提供的S102的子步骤示意图；
图5为本申请实施例提供的SCA的结构示意图；
图6为本申请实施例提供的S103的子步骤示意图；
图7为本申请实施例提供的CEF的结构示意图；
图8为本申请实施例提供的MT数据集的测试结果图；
图9为本申请实施例提供的NEU-Seg数据集的测试结果图；
图10为本申请实施例提供的道路缺陷数据集的测试结果图；
图11为本申请实施例提供的RSDD数据集的测试结果图；
图12为本申请实施例提供的外观缺陷检测装置的单元示意图。
图中：10-处理器；11-存储器；12-总线；13-通信接口；201-特征提取单元；202-特征融合单元；203-解码单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请的描述中，需要说明的是，术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
近年来，机器视觉和图像处理技术发展迅速，并应用于表面缺陷检测系统中。为了有效地检测缺陷，研究人员提出了基于缺陷特征提取的方法，主要可分为三类：统计方法、光谱方法和基于模型的方法。然而，应该使用什么和多少特征是高度主观的，所选择的特征直接影响缺陷检测的性能。此外，这些方法的检测结果也非常容易受到环境因素的影响。当照明、背景和相机角度发生变化时，对检测性能的影响较大。也就是说，这些传统机器视觉的方法泛化性能很差，且很难准确检测复杂的工业表面缺陷。深度学习和计算机视觉的发展，为复杂缺陷的检测提供了思路和理论支撑。深度学习方法能够自动提取对象的有效特征信息，克服了人工特征选择的缺点。特别是使用多尺度特征融合和注意力机制能够获得更丰富和全面的缺陷特征信息。
但目前利用计算机视觉进行表面缺陷检测仍然存在以下三大挑战，1)低对比度。缺陷与背景的差异不明显，有些缺陷很小，难以区分和检测；2)图像中污渍、阴影、光照不均匀等干扰因素，增加了缺陷检测的复杂性；3)缺陷在形状、尺寸等不同尺度上差异较大。受不同的生产线，图像采集设备等。因素影响，缺陷的产生具有随机性。
针对现有表面缺陷检测的三大挑战，本申请方案提出了一种语义对齐的跨尺度特征增强融合网络(SCFNet)，即下文中的网络模型，该网络模型主要由编码器和解码器组成，用于完成像素二分类的分割任务。在编码器中，提出了新的相邻特征融合方法，对来自Transformer骨干的多级特性，通过提出的语义对齐注意力对每两个相邻层次特征进行融合，并利用通道和空间注意增强最高层次特征。在解码器中，提出了前景增强模块来增强作为前景的缺陷特征。本申请提供的一种多场景适用的工业产品外观缺陷检测方法，可以较为全面地检测出产品的表面缺陷，从而克服上述问题。
本申请实施例提供了一种电子设备，可以是服务器设备、电脑设备以及其他具备信号处理能力的终端设备，例如手机等。电子设备部署有预训练的网络模型，网络模型包括特征提取分支、特征融合分支以及解码分支。
请参照图1，电子设备的结构示意图。电子设备包括处理器10、存储器11、总线12。处理器10、存储器11通过总线12连接，处理器10用于执行存储器11中存储的可执行模块，例如计算机程序。
处理器10可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，外观缺陷检测方法的各步骤可以通过处理器10中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器10可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器11可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
总线12可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线12或一种类型的总线12。
存储器11用于存储程序，例如外观缺陷检测装置对应的程序。外观缺陷检测装置包括至少一个可以软件或固件(firmware)的形式存储于存储器11中或固化在电子设备的操作系统(operating system，OS)中的软件功能模块。处理器10在接收到执行指令后，执行所述程序以实现外观缺陷检测方法。
可能地，本申请实施例提供的电子设备还包括通信接口13。通信接口13通过总线与处理器10连接。通信接口13用于与其他终端进行通信连接，例如基于通信接口13获取其他终端传输的目标图像。
针对于现有利用深度学习进行表面缺陷检测面临的挑战，本申请提出了一种网络模型，为语义对齐的跨尺度融合网络，称为SCFNet(Semantic-aligned Cross-scaleenhanced Fusion Network)。它能够通过交叉注意力对齐多尺度特征，并在解码器中跨尺度增强融合来自编码器的特征，从而提高检测的准确率以及鲁棒性。请参考图2，图2为本申请实施例提供的网络模型的结构示意图。如图2所示，网络模型包括特征提取分支、特征融合分支以及解码分支。特征提取分支包括1个Embeding Blocks和N-1个MergingBlocks，特征融合分支包括N-1个SCA，解码分支包括N-1个CEF。可选地，网络模型还包括CBAM。
图2中最左侧blocks等为骨干Swin Transformer结构，SCA为语义对齐的注意力融合结构，CEF为跨尺度增强融合结构，CBAM为通道和空间注意力结构。
应理解，由于Swin Transformer骨干网络结构简洁高效，无需繁琐的多次或分结构训练，可以直接端到端地训练。所以在本申请方案中，首先加载Swin Transformer骨干网络的预训练参数，作为特征提取分支的参数。该参数是在与缺陷检测无关的ImageNet1k上进行分类训练得到的，在计算机视觉领域广泛使用的迁移方法，网络中的其他参数由pytorch框架中默认的Kaiming初始化方法获得。这一操作是主要为了加快网络收敛的速度，特别对于transformer结构的骨干，加载预训练参数，能大大加快网络训练速度，并可能有一定程度的精度提升。
需要说明的是，图2中以N＝4作为示例进行说明，但并不以此作为限定。图2中的箭头符号表示将箭头末端的输出作为箭头指向单元的输入。
应当理解的是，图1所示的结构仅为电子设备的部分的结构示意图，电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例提供的一种外观缺陷检测方法，可以但不限于应用于图1所示的电子设备，具体的流程，请参考图3，外观缺陷检测方法包括：S101，S102以及S103，具体阐述如下。
S101，特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征。
其中，目标图像为检测对象的采集图像。
可选地，特征提取分支采用预训练的Swin Transformer作为主干网络来提取多尺度特征，将提取的N个阶段特征记为{Ti}，1≤i≤N，Ti表征第i个维度的图像特征，Ti的维度为Ti+1的维度的二倍。Ti的维度大小为
Figure BDA0003834381600000091
其中，H为目标图像的高度，W为目标图像的宽度，C为目标图像的通道数。
可选地，检测对象可以是道路或工件产品，例如热轧带钢、磁瓦以及轨道等等。
经发明人大量实践和总结发现，当N为4时，网络模型的检测效率和准确性最优。
S102，特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征。
可选地，特征融合分支即为网络模型中的编码器。在编码器阶段，利用提出的语义对齐注意力(SCA)融合来自骨干的相邻特征，自适应的学习来自高层和低层的不同特征，避免特征融合中的语义信息错位问题。具体过程，如图2的SCA所示，利用交叉注意力机制融合相邻维度的高低分辨率特征，其中，Q表示来自低维度的高分辨率特征，K表示来自高维度的低分辨率特征，而V来自池化后的高分辨率和低分辨率的特征和。
进而，利用矩阵乘法计算高低层特征的相似性，归一化后用softmax激活函数生成权重矩阵对特征加权后再用加法融合，获取N-1个融合特征。
S103，解码分支基于N-1个融合特征进行解码，以获取解码图像结果。
其中，解码图像结果包括第一类特征像素点和第二类特征像素点，第一类特征像素点表示缺陷像素点，第二类特征像素点表示非缺陷像素点。
应理解，通过第一类特征像素点可以准确地定位外观缺陷。可以在低对比度的情况下，即缺陷与背景的差异不明显的情况下，准确地检测到缺陷，能够排除污渍、阴影、光照不均匀等干扰因素对缺陷检测带来的干扰，能够适应各种形状和尺寸的缺陷检测，从而克服了现有技术所存在的问题。
综上所述，本申请实施例提供的一种外观缺陷检测方法包括：特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，目标图像为检测对象的采集图像特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征；解码分支基于N-1个融合特征进行解码，以获取解码图像结果，其中，解码图像结果包括第一类特征像素点和第二类特征像素点，第一类特征像素点表示缺陷像素点，第二类特征像素点表示非缺陷像素点。可以在低对比度的情况下，即缺陷与背景的差异不明显的情况下，准确地检测到缺陷，能够排除污渍、阴影、光照不均匀等干扰因素对缺陷检测带来的干扰，能够适应各种形状和尺寸的缺陷检测，从而克服了现有技术所存在的问题。
在图3的基础上，对于S102中的内容，本申请实施例还提供了一种可能的实现方式，请参考图4，S102包括：S102-1，S102-2以及S102-3，具体阐述如下。
S102-1，特征融合分支对相邻维度的图像特征的特征和。
可选地，特征和的算式为：
Vh+Vl＝Dc[Maxp(Xh)+Dc(Xl)]；
其中，Vh+Vl表征特征和，Dc表征深度可分离卷积，Maxp表征池化下采样，Xh表征相邻维度中的高维度的图像特征，Xl表征相邻维度中的低维度的图像特征。
具体过程如图2的SCA所示，利用交叉注意力机制融合相邻的高低分辨率特征，其中Q来自低层的高分辨率特征，K来自高层的低分辨率特征，而V来自池化后的高分辨率和低分辨率的特征和。
S102-2，特征融合分支基于相邻维度的图像特征的相似性，确定权重矩阵。
S102-3，特征融合分支基于权重矩阵对特征和进行加权融合，以得到融合特征。
可选地，融合特征的算式为：
Figure BDA0003834381600000121
Q＝Dc(Xh)；
K＝Dc(Xl)；
其中，F表征融合特征，softmax为激活函数，dk表征K的通道维度。
请参考图5，图5为本申请实施例提供的SCA的结构示意图。图5中的HR相当于Xh表征相邻维度中的高维度的图像特征，图5中的LR相当于Xl表征相邻维度中的低维度的图像特征。通过图5所示的SCA可以完成上述的步骤S102-1至S102-3。
可选地，网络模型对高层语义信息(即第N个维度的图像)利用CBAM模块进行空间和通道上增强，进一步丰富了缺陷语义信息。
应理解，来自编码器的多尺度信息(即N-1个融合特征)首先要通过一个跨尺度增强模块(CEF)，利用相邻尺度特征间相似性相互增强，两路特征分别通过上下采样到另一尺度，再将两路特征在不同分辨率下进行点乘操作，缺陷前景信息被大大增强，为减少信息损失，再将原特征加回增强后的特征中去，最后将两路特征拼接，并用通道注意力进一步增强。
在图3的基础上，对于S103中的内容，本申请实施例还提供了一种可能的实现方式，请参考图6，S103包括：S103-1和S103-2，具体阐述如下。
S103-1，解码分支基于第N-1个融合特征和解码参考特征获取第N-1个融合特征对应的第N-1个融合特征对应的解码结果。
其中，解码参考特征为第N个维度的图像特征进行空间和通道增强后的参考特征。
可选地，解码参考特征的算式为：
F′＝Mc(TN)⊙TN；
F″＝Ms(F′)⊙F′；
其中，TN表征第N个维度的图像特征，F″表征解码参考特征，MC和MS分别表示求通道和空间注意力矩阵，⊙表示逐元素相乘。
S103-2，解码分支基于第i个融合特征和第i+1个融合特征对应解码结果，获取第i个融合特征对应的解码结果。
其中，1≤i≤N-2，第1个融合特征对应的解码结果为解码图像结果。
可选地，第i个融合特征对应的解码结果的算式为：
Figure BDA0003834381600000131
Figure BDA0003834381600000132
其中，Fh′和Fl′的拼接结果表征解码结果，Fh表征第i个融合特征，Fl表征第i+1个融合特征对应解码结果，Up表征上采样，Maxp表征池化下采样，Conv(1×1)表征后接批归一化的1×1卷积，δ表征激活函数，⊙表征逐元相乘，
Figure BDA0003834381600000133
表征逐元素相加。
可选地，可以利用通道注意度对Fh′和Fl′的拼接结果进一步增强，将增强后的结果作为解码结果。
可选地，将Fl′上采样后与Fh′直接拼接起来获得解码融合后的特征。为了增强特征表达，减少信息丢失，在拼接后增加了通道注意。具体过程为，首先利用全局平均池化对特征图的全局信息进行积分，通过1×1卷积和softmax激活函数得到一个权值向量。将权值向量与原始特征相乘，得到加权特征。该过程的描述如下：
Ff＝Cat(F′h，Up(F′l))；
F′f＝ε(Conv1×1(Gap(Ff)))×n×Ff；
其中，Cat表示连接操作，Gap表示全局平均池化操作，n表示Ff的通道数，ε表示softmax激活函数。
应理解，第N-1个融合特征对应的解码结果也适用于上述算式，当第N-1个融合特征时，Fh表征第N-1个融合特征，Fl等于F″。
请参考图7，图7为本申请实施例提供的CEF的结构示意图。图7中的HR相当于Fh表征第i个融合特征，图7中的LR相当于Fl表征第i+1个融合特征对应解码结果。通过图7所示的CEF可以完成上述的步骤S103-1至S103-2。
可选地，在本申请方案中解码分支包括N-1个解码器，例如图2中的CEF，第i个解码器用于获取第i个融合特征对应的解码结果。关于网络模型的训练本申请实施例还提供了一种可能的实现方式。需要说明的是，训练过程可以是在电子设备中完成，也可以是在其他终端中完成，在此不做限定。
具体地，根据训练集提供的真实缺陷样本和缺陷对应的像素级标注进行网络训练，像素级图像标注为灰度图，在训练时对标注图进行了归一化，将像素值区间归一化到0到1，也即灰度图中越接近于缺陷的位置值越接近于1，越接近于背景值的位置越接近于0。网络模型输出为一个输入图像大小的单通道灰度图，期望输出灰度图与标注图尽可能保持一致，进而准确地预测缺陷的像素位置。因此，训练需要对上述二者计算损失(误差)，然后根据损失对网络反向传播修正网络参数，减小损失，进行多轮训练重复以上过程直到网络性能足够优秀。
本申请方案中，使用二进制交叉熵损失联合IoU损失计算预测结果与真实分割位置之间的损失，从而根据损失大小修正网络参数。可选地，在SCFNet网络的输出阶段中，当N为4时，将解码器的三级输出分别上采样16、8以及4倍到输入大小与标注图求损失，进行深度监督训练，并用二值交叉熵损失(bce)和IoU损失联合训练，加快训练速度，提升检测精度。
可选地，网络模型的联合损失函数为：
Figure BDA0003834381600000151
其中，Ltotal表征联合损失函数，
Figure BDA0003834381600000152
表征第i个解码器的二进制交叉熵损失，
Figure BDA0003834381600000153
表征第i个解码器的交并比IoU损失。
二进制交叉熵损失应用于二元分类任务中，定义为：
Ibce＝-∑(x,y)[G(x,y)log(S(x,y))+(1-G(x,y))log(1-S(x,y))]
交并比IoU损失用于评估G和S的相似性，定义为：
Figure BDA0003834381600000154
其中，G为像素标注(GT)，S为预测的分割图，即网络模型的输出结果，(x,y)表示像素点坐标。
本申请实施例提供的SCFNet网络结构，在四个当今广泛使用磁瓦缺陷数据集(MT)，热轧带钢表面缺陷数据集(NEU-Seg)，道路缺陷数据集和轨道表面离散缺陷数据集(RSDD)上实验验证，实验表明SCFNet网络结构的检测性能已经达到国内外的最先进水平。
实验验证结果采用工业产品表面缺陷检测方面普遍使用的精确率(Precision)，召回率(Recall)，F-measure，交并比(IoU)对预测的结果进行评价。详细定义如下：
Figure BDA0003834381600000161
Figure BDA0003834381600000162
Figure BDA0003834381600000163
Figure BDA0003834381600000164
其中，TP、FP、FN分别表示正确检测出的缺陷像素点、错误检测到的缺陷像素点和未检测到的缺陷像素点的个数。PR和GT分别是缺陷图像的输出预测值和标注真实值。由于精度与召回率成反比关系，因此利用F-measure更好地评价该方法的性能。实验中这四项指标是测试集上的实验平均值。实验表明SCFNet网络结构的实际性能已经达到国内外的最先进水平。
具体地，请参考图8、图9、图10以及图11，图8为本申请实施例提供的MT数据集的测试结果图，图9为本申请实施例提供的NEU-Seg数据集的测试结果图，图10为本申请实施例提供的道路缺陷数据集的测试结果图，图11为本申请实施例提供的RSDD数据集的测试结果图，每个数据集从左往右，第一列为输入原图像，第二列为标注的真实缺陷位置，第三列为网络的预测缺陷位置，从上往下每一行为不同类型的缺陷。
请参阅图12，图12为本申请实施例提供的一种外观缺陷检测装置，可选的，该外观缺陷检测装置被应用于上文所述的电子设备。
外观缺陷检测装置包括：特征提取单元201、特征融合单元202以及解码单元203，分别相当于上文网络模型中的特征提取分支、特征融合分支以及解码分支。
特征提取单元201用于按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，目标图像为检测对象的采集图像；
特征融合单元202用于对相邻维度的图像特征进行融合，以获取N-1个融合特征；
解码单元203用于基于N-1个融合特征进行解码，以获取解码图像结果，其中，解码图像结果包括第一类特征像素点和第二类特征像素点，第一类特征像素点表示缺陷像素点，第二类特征像素点表示非缺陷像素点。
需要说明的是，本实施例所提供的外观缺陷检测装置，其可以执行上述方法流程实施例所示的方法流程，以实现对应的技术效果。为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
本申请实施例还提供了一种存储介质，该存储介质存储有计算机指令、程序，该计算机指令、程序在被读取并运行时执行上述实施例的外观缺陷检测方法。该存储介质可以包括内存、闪存、寄存器或者其结合等。
下面提供一种电子设备，可以是服务器设备、电脑设备以及其他具备信号处理能力的终端设备，例如手机等，该电子设备如图1所示，可以实现上述的外观缺陷检测方法；具体的，该电子设备包括：处理器10，存储器11、总线12。处理器10可以是CPU。存储器11用于存储一个或多个程序，当一个或多个程序被处理器10执行时，执行上述实施例的外观缺陷检测方法。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种外观缺陷检测方法，其特征在于，应用于电子设备，所述电子设备部署有预训练的网络模型，所述网络模型包括特征提取分支、特征融合分支以及解码分支，所述方法包括：
所述特征提取分支按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，所述目标图像为检测对象的采集图像；
所述特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征；
所述解码分支基于所述N-1个融合特征进行解码，以获取解码图像结果，其中，所述解码图像结果包括第一类特征像素点和第二类特征像素点，所述第一类特征像素点表示缺陷像素点，所述第二类特征像素点表示非缺陷像素点。
2.如权利要求1所述的外观缺陷检测方法，其特征在于，所述特征融合分支对相邻维度的图像特征进行融合，以获取N-1个融合特征的步骤，包括：
所述特征融合分支对相邻维度的图像特征的特征和；
所述特征融合分支基于相邻维度的图像特征的相似性，确定权重矩阵；
所述特征融合分支基于所述权重矩阵对所述特征和进行加权融合，以得到所述融合特征。
3.如权利要求2所述的外观缺陷检测方法，其特征在于，所述特征和的算式为：
Vh+Vl＝Dc[Maxp(Xh)+Dc(Xl)]；
其中，Vh+Vl表征所述特征和，Dc表征深度可分离卷积，Maxp表征池化下采样，Xh表征相邻维度中的高维度的图像特征，Xl表征相邻维度中的低维度的图像特征。
4.如权利要求3所述的外观缺陷检测方法，其特征在于，所述融合特征的算式为：
Figure FDA0003834381590000021
Q＝Dc(Xh)；
K＝Dc(Xl)；
其中，F表征所述融合特征，softmax为激活函数，dk表征K的通道维度。
5.如权利要求1所述的外观缺陷检测方法，其特征在于，所述解码分支基于所述N-1个融合特征进行解码，以获取解码图像结果的步骤，包括：
所述解码分支基于第N-1个融合特征和解码参考特征获取所述第N-1个融合特征对应的第N-1个融合特征对应的解码结果；
其中，所述解码参考特征为第N个维度的图像特征进行空间和通道增强后的参考特征；
所述解码分支基于第i个融合特征和第i+1个融合特征对应解码结果，获取第i个融合特征对应的解码结果；
其中，1≤i≤N-2，第1个融合特征对应的解码结果为解码图像结果。
6.如权利要求5所述的外观缺陷检测方法，其特征在于，第i个融合特征对应的解码结果的算式为：
Figure FDA0003834381590000031
Figure FDA0003834381590000032
其中，F′h和Fl′的拼接结果表征所述解码结果，Fh表征第i个融合特征，Fl表征第i+1个融合特征对应解码结果，Up表征上采样，Maxp表征池化下采样，Conv(1×1)表征后接批归一化的1×1卷积，δ表征激活函数，⊙表征逐元相乘，
Figure FDA0003834381590000033
表征逐元素相加。
7.如权利要求5所述的外观缺陷检测方法，其特征在于，所述解码分支包括N-1个解码器，第i个解码器用于获取第i个融合特征对应的解码结果，所述网络模型的联合损失函数为：
Figure FDA0003834381590000034
其中，Ltotal表征联合损失函数，
Figure FDA0003834381590000035
表征第i个解码器的二进制交叉熵损失，
Figure FDA0003834381590000036
表征第i个解码器的交并比IoU损失。
8.一种外观缺陷检测装置，其特征在于，应用于电子设备，所述装置包括：
特征提取单元用于按照预设尺度对目标图像中的缺陷像素点进行特征提取，以获取N个维度的图像特征，其中，所述目标图像为检测对象的采集图像；
特征融合单元用于对相邻维度的图像特征进行融合，以获取N-1个融合特征；
解码单元用于基于所述N-1个融合特征进行解码，以获取解码图像结果，其中，所述解码图像结果包括第一类特征像素点和第二类特征像素点，所述第一类特征像素点表示缺陷像素点，所述第二类特征像素点表示非缺陷像素点。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
CN202211084193.4A 2022-09-06 2022-09-06 一种外观缺陷检测方法、装置、存储介质及电子设备 Pending CN115439446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211084193.4A CN115439446A (zh) 2022-09-06 2022-09-06 一种外观缺陷检测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211084193.4A CN115439446A (zh) 2022-09-06 2022-09-06 一种外观缺陷检测方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115439446A true CN115439446A (zh) 2022-12-06

Family

ID=84247203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211084193.4A Pending CN115439446A (zh) 2022-09-06 2022-09-06 一种外观缺陷检测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115439446A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117495884B (zh) * 2024-01-02 2024-03-22 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110569899B (zh) 坝面缺陷分类模型训练方法及装置
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN110111334B (zh) 一种裂缝分割方法、装置、电子设备及存储介质
CN111257341B (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN110390340B (zh) 特征编码模型、视觉关系检测模型的训练方法及检测方法
CN113591866B (zh) 基于db与crnn的特种作业证件检测方法及系统
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN111444986A (zh) 建筑图纸构件分类方法、装置、电子设备及存储介质
CN112712079A (zh) 基于渐进式编码的文字识别方法、装置、电子设备
CN115439446A (zh) 一种外观缺陷检测方法、装置、存储介质及电子设备
CN117036271A (zh) 生产线质量监测方法及其系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN115587989B (zh) 一种工件ct图像缺陷检测分割方法及系统
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN115457385A (zh) 一种基于轻量级网络的建筑物变化检测方法
CN115100402A (zh) 小样本分割模型、小目标检测方法、系统、介质及设备
CN114283440A (zh) 户型图识别方法、装置、电子设备及存储介质
CN111443096A (zh) 印刷电路板的缺陷检测方法、系统、电子装置及存储介质
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
CN116543373B (zh) 基于区块链的直播视频大数据智能分析和优化方法及系统
CN117456290B (zh) 缺陷分类方法和装置、电子设备以及存储介质
CN117475262B (zh) 图像生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination