CN115375692A - 基于边界引导的工件表面缺陷分割方法、装置及设备 - Google Patents

基于边界引导的工件表面缺陷分割方法、装置及设备 Download PDF

Info

Publication number
CN115375692A
CN115375692A CN202211321962.8A CN202211321962A CN115375692A CN 115375692 A CN115375692 A CN 115375692A CN 202211321962 A CN202211321962 A CN 202211321962A CN 115375692 A CN115375692 A CN 115375692A
Authority
CN
China
Prior art keywords
features
edge
module
workpiece
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211321962.8A
Other languages
English (en)
Other versions
CN115375692B (zh
Inventor
李朋超
刘惠妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jushi Intelligent Technology Co ltd
Original Assignee
Beijing Jushi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jushi Intelligent Technology Co ltd filed Critical Beijing Jushi Intelligent Technology Co ltd
Priority to CN202211321962.8A priority Critical patent/CN115375692B/zh
Publication of CN115375692A publication Critical patent/CN115375692A/zh
Application granted granted Critical
Publication of CN115375692B publication Critical patent/CN115375692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于边界引导的工件表面缺陷分割方法、装置及设备，属于工件表面缺陷划分技术领域，该方法中预先设置工件表面缺陷分割网络，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果。其中，分割网络采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本申请提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。

Description

基于边界引导的工件表面缺陷分割方法、装置及设备
技术领域
本发明涉及工件表面缺陷划分技术领域，具体涉及一种基于边界引导的工件表面缺陷分割方法、装置及设备。
背景技术
检测工件表面是否达标识保证工件产品质量的重要手段，相关技术中通常通过基于深度学习的工件表面缺陷精细化分割算法来对工件表面缺陷进行检测。其中，基于深度学习的工件表面缺陷精细化分割算法多采用编码器-解码器架构，在这个架构中，编码器使用多个层级的卷积层和池化层，提取分类能力更强的特征，同时特征的空间分辨率逐渐降低，导致特征的空间定位能力变弱；之后的解码器利用多次转置卷积，对特征进行逐层级的上采样，逐渐恢复特征的空间分辨率，并在此过程中融合编码器的多层级特征（深层级的分类能力强的特征、浅层级的定位能力强的特征）。
现有的基于编码器-解码器架构的方法通过编码不同尺度的空间上下文信息来改善目标的分割效果，但是连续的卷积池化操作造成的空间细节信息损失，使得输入图像缺陷区域的分割准确度降低，导致最终的工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用。
发明内容
有鉴于此，本发明的目的在于提供一种基于边界引导的工件表面缺陷分割方法、装置及设备，以克服目前工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用的技术问题。
为实现以上目的，本发明采用如下技术方案：
一方面，一种基于边界引导的工件表面缺陷分割方法，包括：
获取目标工件的表面图像；
将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；
其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
可选的，所述主干卷积神经网络在所述表面图像中提取多级特征；
所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
可选的，所述边缘感知模块，具体用于通过两个1*1卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将所述融合卷积特征通过两个3×3卷积、一个1×1卷积和一个Sigmoid函数得到所述目标工件的表面边缘特征。
可选的，所述边缘引导特征模块，具体用于：分别将所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将所述通道注意力权重与所述初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到所述语义增强后特征。
可选的，所述上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层所述语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将所述初始聚集特征划分为四个特征映射；将所述特征映射进行跨尺度交互学习，预测得到所述目标工件的表面图像的缺陷精细化分割结果。
可选的，所述主干卷积神经网络包括ResNet-50。
可选的，所述低级特征为非首层特征。
又一方面，一种基于边界引导的工件表面缺陷精细化分割装置，包括：
获取模块，用于获取目标工件的表面图像；
分割模块，用于将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
可选的，所述分割模块输入的工件表面缺陷分割网络的所述主干卷积神经网络用于在所述表面图像中提取多级特征；
所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
又一方面，一种基于边界引导的工件表面缺陷精细化分割设备，包括处理器和存储器，所述处理器与存储器相连：
其中，所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器，用于存储所述程序，所述程序至少用于执行上述任一项所述的基于边界引导的工件表面缺陷精细化分割方法。
本发明提供的技术方案至少具备如下有益效果：
本发明实施例提供的基于边界引导的工件表面缺陷分割方法、装置及设备，预先设置工件表面缺陷分割网络，在工件表面缺陷分割网络中设置主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。采用本申请提供的技术方案，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果，其中，采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本申请提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于边界引导的工件表面缺陷分割方法的流程示意图；
图2为本发明实施例提供的一种工件表面缺陷分割网络的网络结构示意图；
图3为本发明实施例提供的一种边缘感知模块的结构示意图；
图4为本发明实施例提供的一种边缘引导特征模块的结构示意图；
图5为本发明实施例提到的一种上下文聚合模块的结构示意图；
图6为本发明实施例提供的一种基于边界引导的工件表面缺陷分割装置的结构示意图；
图7为本发明实施例提供的一种基于边界引导的工件表面缺陷分割设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
检测工件表面是否达标识保证工件产品质量的重要手段，相关技术中通常通过基于深度学习的工件表面缺陷精细化分割算法来对工件表面缺陷进行检测。其中，基于深度学习的工件表面缺陷精细化分割算法多采用编码器-解码器架构，在这个架构中，编码器使用多个层级的卷积层和池化层，提取分类能力更强的特征，同时特征的空间分辨率逐渐降低，导致特征的空间定位能力变弱；之后的解码器利用多次转置卷积，对特征进行逐层级的上采样，逐渐恢复特征的空间分辨率，并在此过程中融合编码器的多层级特征（深层级的分类能力强的特征、浅层级的定位能力强的特征）。
现有的基于编码器-解码器架构的方法通过编码不同尺度的空间上下文信息来改善目标的分割效果，但是连续的卷积池化操作造成的空间细节信息损失，使得输入图像缺陷区域的分割准确度降低，导致最终的工件表面缺陷区域分割结果边缘轮廓粗糙，难以适应工业场景的实际应用。
基于此，本发明实施例提供一种基于边界引导的工件表面缺陷分割方法、装置及设备。
图1为本发明实施例提供的一种基于边界引导的工件表面缺陷分割方法的流程示意图，参阅图1，本发明实施例提供的方法可以包括以下步骤：
步骤S1、获取目标工件的表面图像。
在一个具体的实现过程中，可以以任意一个待检测的工件作为目标工件，通过相机、摄像头等拍摄得到目标工件的表面图像，控制器获取到该表面图像并进行处理。
步骤S2、将目标工件的表面图像输入工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果；其中，工件表面缺陷分割网络包括主干卷积神经网络及附加在主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；边缘感知模块的输出作为输入，输入到边缘引导特征模块中；边缘引导特征模块的输出作为输入，输入到上下文聚合模块中。
在获取得到表面图像后，将表面图像输入到预先构建的工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果。
在一些实施例中，主干卷积神经网络用于在表面图像中提取多级特征。例如，本申请中，主干卷积神经网络可以为ResNet-50，本申请中，以ResNet-50为例，对技术方案进行说明。图2为本发明实施例提供的一种工件表面缺陷分割网络的网络结构示意图，其中，边缘感知模块（EAM）可以为1个、边缘引导特征模块（EFM）可以为4个、上下文聚合模块（CAM）可以为3个。
可以理解的是，采用本申请提供的技术方案，在获取到表面图像后，将表面图像输入到预先设置的工件表面缺陷分割网络中，得到缺陷精细化分割结果，其中，采用边缘感知模块集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节，将多层融合特征自上而下地逐渐聚合，以预测分割结果。采用本申请提供的技术方案，提升工件表面缺陷区域分割结果边缘轮廓准确性，适应工业场景的实际应用。
在一些实施例中，边缘感知模块在多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
边缘引导特征模块用于将表面边缘特征分别与主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
上下文聚合模块用于通过自下而上的方式逐步聚合多层语义增强后特征，并预测得到目标工件的表面图像的缺陷精细化分割结果。
在一些实施例中，边缘感知模块，具体用于通过两个1*1卷积层分别将包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将融合卷积特征通过两个3×3卷积、一个1×1卷积和一个Sigmoid函数得到目标工件的表面边缘特征。
图3为本发明实施例提供的一种边缘感知模块的结构示意图，参阅图3，首先使用两个1×1卷积层将f2和f5的通道改为64（f2 /）和256（f5 /）；然后通过concat运算将f2 /和上采样的f5 /进行融合；最后通过3×3卷积、一个1×1卷积和一个Sigmoid函数得到表面边缘特征。
在一些实施例中，边缘引导特征模块，具体用于：分别将表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将通道注意力权重与初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到语义增强后特征。
图4为本发明实施例提供的一种边缘引导特征模块的结构示意图，参阅图4，给定输入特征fi(i=2,3,4,5)和表面边缘特征fe,首先使用附带跳跃连接的元素级相乘和一个3×3卷积得到初始融合特征，可表示为：
Figure 413642DEST_PATH_IMAGE001
(1)
其中，D表示下采样，Fconv为3×3卷积，
Figure 407005DEST_PATH_IMAGE002
表示元素乘法，
Figure 99018DEST_PATH_IMAGE003
表示元素加法。
随后使用通道全局平均池化（GAP）聚合卷积特征
Figure 836030DEST_PATH_IMAGE004
。然后通过一维卷积和Sigmoid函数获得相应的通道注意力权重。再将通道注意力权重与初始融合特征相乘，并通过1×1卷积减少通道数得到最后的特征：
Figure 297098DEST_PATH_IMAGE005
(2)
其中，Fconv1是1×1卷积F1D k，是核大小为k的一维卷积，σ表示Sigmoid函数。核大小k可以自适应的设置为
Figure 726942DEST_PATH_IMAGE006
，其中
Figure 404786DEST_PATH_IMAGE007
表示最近的奇数，C是通道数。核大小与通道尺寸成正比。可以理解的是，该注意力策略可以突出关键通道，抑制冗余通道或噪声，从而增强语义表示。
在一些实施例中，上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将初始聚集特征划分为四个特征映射；将特征映射进行跨尺度交互学习，预测得到目标工件的表面图像的缺陷精细化分割结果。
图5为本发明实施例提到的一种上下文聚合模块的结构示意图，参阅图5，为了集成多级融合特征以进行工件表面缺陷精细化分割，采用上下文聚合模块上下文聚合模块来挖掘上下文语义以增强工件表面缺陷精细化分割效果。本模块利用几个并行分支来分别提取不同尺度的特征，并考虑各个分支之间的语义相关性，以增强特征表示。
参阅图5，输入可以为
Figure 679910DEST_PATH_IMAGE008
和
Figure 261064DEST_PATH_IMAGE009
，以i=4为例，即以
Figure 596230DEST_PATH_IMAGE010
和
Figure 262835DEST_PATH_IMAGE011
为例，首先上采样
Figure 341649DEST_PATH_IMAGE011
并进行concat运算，然后进行1×1卷积以获得初始聚集特征fm。接下来沿着通道维将fm划分为四个特征映射
Figure 777310DEST_PATH_IMAGE012
，然后进行跨尺度交互学习，及元素级相加，以3*3卷积层进行卷积，通过一系列空洞卷积来集成相邻分支的特征以提取多尺度上下文特征。聚合后，通过1*1卷积层卷积，3*3卷积层卷积，即，采用多个上下文聚合模块以自下而上的方式逐步聚合多层融合特征，并预测得到分割结果图，选择最后一个上下文聚合模块的预测作为最终结果。图5中，d为层次。
值得说明的是，在一些实施例中，述低级特征为非首层特征。本申请中没有采用f1主干特征，因为它接近输入，有很多冗余信息，感受野很小。
本申请中利用边缘感知模块，集成了低级局部边缘信息和高级全局位置信息，在显式边界监督下探索与目标边界相关的边缘语义；然后，引入边缘引导特征模块，将边缘特征与各级主干特征相结合，以引导特征学习，强制网络更加关注目标的结构和细节；然后，将多层融合特征自上而下地逐渐聚合，以预测分割结果；为了增强特征表示，本申请中还采用一个上下文聚合模块，通过一系列空洞卷积来挖掘和聚合多尺度的上下文语义，以产生具有更强、更有效的特征。
基于一个总的发明构思，本发明实施例中还提供一种基于边界引导的工件表面缺陷精细化分割装置。
图6为本发明实施例提供的一种基于边界引导的工件表面缺陷分割装置的结构示意图，参阅图6，本申请提供的装置可以包括：
获取模块61，用于获取目标工件的表面图像；
分割模块62，用于将目标工件的表面图像输入工件表面缺陷分割网络中，得到目标工件的表面图像的缺陷精细化分割结果；其中，工件表面缺陷分割网络包括主干卷积神经网络及附加在主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；边缘感知模块的输出作为输入，输入到边缘引导特征模块中；边缘引导特征模块的输出作为输入，输入到上下文聚合模块中。
可选的，分割模块62输入的工件表面缺陷分割网络的主干卷积神经网络用于在表面图像中提取多级特征；
边缘感知模块用于在多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
边缘引导特征模块用于将表面边缘特征分别与主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
上下文聚合模块用于通过自下而上的方式逐步聚合多层语义增强后特征，并预测得到目标工件的表面图像的缺陷精细化分割结果。
可选的，边缘感知模块，具体用于通过两个1*1卷积层分别将包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将融合卷积特征通过两个3×3卷积、一个1×1卷积和一个Sigmoid函数得到目标工件的表面边缘特征。
可选的，边缘引导特征模块，具体用于：分别将表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将通道注意力权重与初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到语义增强后特征。
可选的，上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将初始聚集特征划分为四个特征映射；将特征映射进行跨尺度交互学习，预测得到目标工件的表面图像的缺陷精细化分割结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于一个总的发明构思，本发明实施例还提供一种基于边界引导的工件表面缺陷分割设备。
本发明还提供了一种基于边界引导的工件表面缺陷分割设备，用于实现上述方法实施例。图7为本发明实施例提供的一种基于边界引导的工件表面缺陷分割设备的结构示意图，参阅图7，本实施例的基于边界引导的工件表面缺陷分割设备包括处理器71和存储器72，处理器71与存储器72相连。其中，处理器71用于调用并执行存储器72中存储的程序；存储器72用于存储程序，程序至少用于执行以上实施例中的基于边界引导的工件表面缺陷分割方法。
本申请实施例提供的基于边界引导的工件表面缺陷分割设备的具体实施方案可以参考以上任意实施例的基于边界引导的工件表面缺陷分割方法的实施方式，此处不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于边界引导的工件表面缺陷分割方法，其特征在于，包括：
获取目标工件的表面图像；
将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；
其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
2.根据权利要求1所述的方法，其特征在于，所述主干卷积神经网络在所述表面图像中提取多级特征；
所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
3.根据权利要求2所述的方法，其特征在于，所述边缘感知模块，具体用于通过两个1*1卷积层分别将所述包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征的通道改为64和256，得到卷积低级特征和卷积高级特征；通过concat运算将通过64通道和256通道的卷积低级特征和卷积高级特征进行融合，得到融合卷积特征；将所述融合卷积特征通过两个3×3卷积、一个1×1卷积和一个Sigmoid函数得到所述目标工件的表面边缘特征。
4.根据权利要求3所述的方法，其特征在于，所述边缘引导特征模块，具体用于：分别将所述表面边缘特征与每个层次的主干特征使用附带跳跃连接的元素级相乘和3*3卷积层卷积，得到初始融合特征；将初始融合特征经过通道全局平均池化聚合卷积特征；通过一维卷积和Sigmoid函数获得对应的通道注意力权重；将所述通道注意力权重与所述初始融合特征相乘，通过1*1卷积层卷积减少通道数，得到所述语义增强后特征。
5.根据权利要求4所述的方法，其特征在于，所述上下文聚合模块，具体用于：通过自下而上的方式将相邻的两层所述语义增强后特征，通过concat运算，进行1*1卷积层卷积获得初始聚集特征；沿通道维将所述初始聚集特征划分为四个特征映射；将所述特征映射进行跨尺度交互学习，预测得到所述目标工件的表面图像的缺陷精细化分割结果。
6.根据权利要求1-5任一所述的方法，其特征在于，所述主干卷积神经网络包括ResNet-50。
7.根据权利要求2-5任一所述的方法，其特征在于，所述低级特征为非首层特征。
8.一种基于边界引导的工件表面缺陷精细化分割装置，其特征在于，包括：
获取模块，用于获取目标工件的表面图像；
分割模块，用于将所述目标工件的表面图像输入工件表面缺陷分割网络中，得到所述目标工件的表面图像的缺陷精细化分割结果；其中，所述工件表面缺陷分割网络包括主干卷积神经网络及附加在所述主干卷积神经网络上的边缘感知模块、边缘引导特征模块和上下文聚合模块；所述边缘感知模块的输出作为输入，输入到所述边缘引导特征模块中；所述边缘引导特征模块的输出作为输入，输入到所述上下文聚合模块中。
9.根据权利要求8所述的装置，其特征在于，所述分割模块输入的工件表面缺陷分割网络的所述主干卷积神经网络用于在所述表面图像中提取多级特征；
所述边缘感知模块用于在所述多级特征中获取包含局部边缘细节的低级特征和包含目标边界监督下的全局位置信息的高级特征，并确定目标工件的表面边缘特征；
所述边缘引导特征模块用于将所述表面边缘特征分别与所述主干卷积神经网络中每个层次的主干特征进行特征融合，得到语义增强后特征；
所述上下文聚合模块用于通过自下而上的方式逐步聚合多层所述语义增强后特征，并预测得到所述目标工件的表面图像的缺陷精细化分割结果。
10.一种基于边界引导的工件表面缺陷精细化分割设备，其特征在于，包括处理器和存储器，所述处理器与存储器相连：
其中，所述处理器，用于调用并执行所述存储器中存储的程序；
所述存储器，用于存储所述程序，所述程序至少用于执行权利要求1-7任一项所述的基于边界引导的工件表面缺陷精细化分割方法。
CN202211321962.8A 2022-10-27 2022-10-27 基于边界引导的工件表面缺陷分割方法、装置及设备 Active CN115375692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211321962.8A CN115375692B (zh) 2022-10-27 2022-10-27 基于边界引导的工件表面缺陷分割方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211321962.8A CN115375692B (zh) 2022-10-27 2022-10-27 基于边界引导的工件表面缺陷分割方法、装置及设备

Publications (2)

Publication Number Publication Date
CN115375692A true CN115375692A (zh) 2022-11-22
CN115375692B CN115375692B (zh) 2023-04-07

Family

ID=84073707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211321962.8A Active CN115375692B (zh) 2022-10-27 2022-10-27 基于边界引导的工件表面缺陷分割方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115375692B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564789A (zh) * 2022-12-01 2023-01-03 北京矩视智能科技有限公司 一种跨级融合的工件缺陷区域分割方法、装置及存储介质
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN117690007A (zh) * 2024-02-01 2024-03-12 成都大学 高频工件图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161884A1 (en) * 2015-12-03 2017-06-08 International Business Machines Corporation Work-piece defect inspection via optical images and ct images
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN111507357A (zh) * 2020-06-17 2020-08-07 熵智科技(深圳)有限公司 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN114419036A (zh) * 2022-03-28 2022-04-29 北京矩视智能科技有限公司 基于边界信息融合的表面缺陷区域分割方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161884A1 (en) * 2015-12-03 2017-06-08 International Business Machines Corporation Work-piece defect inspection via optical images and ct images
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN111507357A (zh) * 2020-06-17 2020-08-07 熵智科技(深圳)有限公司 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN114419036A (zh) * 2022-03-28 2022-04-29 北京矩视智能科技有限公司 基于边界信息融合的表面缺陷区域分割方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564789A (zh) * 2022-12-01 2023-01-03 北京矩视智能科技有限公司 一种跨级融合的工件缺陷区域分割方法、装置及存储介质
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN115984293B (zh) * 2023-02-09 2023-11-07 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN117690007A (zh) * 2024-02-01 2024-03-12 成都大学 高频工件图像识别方法
CN117690007B (zh) * 2024-02-01 2024-04-19 成都大学 高频工件图像识别方法

Also Published As

Publication number Publication date
CN115375692B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN115375692B (zh) 基于边界引导的工件表面缺陷分割方法、装置及设备
US11720798B2 (en) Foreground-background-aware atrous multiscale network for disparity estimation
CN110135307B (zh) 基于注意力机制的交通标志检测方法和装置
CN106204522B (zh) 对单个图像的联合深度估计和语义标注
CN112017189A (zh) 图像分割方法、装置、计算机设备和存储介质
KR20190019822A (ko) 이미지의 시맨틱 분리를 위한 시스템 및 방법
CN114565770B (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及系统
US10831976B1 (en) Predicting local layout effects in circuit design patterns
CN111461145B (zh) 一种基于卷积神经网络进行目标检测的方法
CN113887608B (zh) 一种模型训练的方法、图像检测的方法及装置
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN111027539A (zh) 一种基于空间位置信息的车牌字符分割方法
CN111797711A (zh) 一种模型训练的方法及装置
CN113379767B (zh) 一种构建自我监督点云学习的语义扰动重构网络的方法
CN116721139A (zh) 生成图像数据的深度图像
Yang et al. YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems
CN117197781A (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN116503744B (zh) 高度等级引导的单视角遥感影像建筑高度估计方法和装置
CN116486153A (zh) 图像分类方法、装置、设备及存储介质
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN115909347A (zh) 仪表示数识别方法、装置、设备及介质
US11961249B2 (en) Generating stereo-based dense depth images
CN115311244A (zh) 一种病灶尺寸确定方法、装置、电子设备及存储介质
CN114140671A (zh) 基于多尺度融合的高分辨率芯片图像的分类方法和装置
CN114299074A (zh) 一种视频分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant