CN114419036A - 基于边界信息融合的表面缺陷区域分割方法及装置 - Google Patents

基于边界信息融合的表面缺陷区域分割方法及装置 Download PDF

Info

Publication number
CN114419036A
CN114419036A CN202210308337.3A CN202210308337A CN114419036A CN 114419036 A CN114419036 A CN 114419036A CN 202210308337 A CN202210308337 A CN 202210308337A CN 114419036 A CN114419036 A CN 114419036A
Authority
CN
China
Prior art keywords
context information
boundary
feature map
surface defect
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210308337.3A
Other languages
English (en)
Other versions
CN114419036B (zh
Inventor
弭宝瞳
李朋超
蔡丽蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jushi Intelligent Technology Co ltd
Original Assignee
Beijing Jushi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jushi Intelligent Technology Co ltd filed Critical Beijing Jushi Intelligent Technology Co ltd
Priority to CN202210308337.3A priority Critical patent/CN114419036B/zh
Publication of CN114419036A publication Critical patent/CN114419036A/zh
Application granted granted Critical
Publication of CN114419036B publication Critical patent/CN114419036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本申请涉及一种基于边界信息融合的表面缺陷区域分割方法及装置，基于边界信息融合的表面缺陷区域分割方法包括提取输入图像对应的不同尺度的底层特征图，根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图，根据通道上下文信息获取空间上下文信息，将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果。本申请通过聚合输入图像中空间和通道两个维度的上下文信息，充分利用图像中的上下文信息提高图像工件表面缺陷区域分割的精度，之后利用输入图像中目标的边界信息进一步强化了上下文信息的聚，实现从不同的角度对输入图像中上下文信息的聚合，进一步提高工件表面缺陷区域分割的精度。

Description

基于边界信息融合的表面缺陷区域分割方法及装置
技术领域
本申请属于缺陷检测技术领域，具体涉及一种基于边界信息融合的表面缺陷区域分割方法及装置。
背景技术
工业生产过程中，需要对相关产品进行表面缺陷检测。举例而言，在钢材的生产加工过程中，容易受到原材料、轧制设备、工人操作技术等众多因素的影响，导致孔洞、擦伤、夹杂、划痕、锟印等多种缺陷的产生，这些缺陷的存在影响钢材外观的同时还会对它的抗腐蚀性、耐磨性和疲劳强度等性能造成影响，严重降低钢材质量，因此需要在生产加工过程中及时、准确的检测出钢材表面缺陷，以便分析其产生的原因，进而消除缺陷产生的根源。现有的工件表面缺陷区域分割方法在利用空间上下文信息时由于缺少缺陷区域的边界提取，导致识别出的工件表面缺陷区域不准确，可能会引入无关的干扰信息，影响最终的工件表面缺陷区域分割效果。
发明内容
为至少在一定程度上克服现有的工件表面缺陷区域分割方法在利用空间上下文信息时由于缺少缺陷区域的边界提取，导致识别出的工件表面缺陷区域不准确，影响最终的工件表面缺陷区域分割效果的问题，本申请提供一种基于边界信息融合的表面缺陷区域分割方法及装置。
第一方面，本申请提供一种基于边界信息融合的表面缺陷区域分割方法，包括：
提取输入图像对应的不同尺度的底层特征图；
根据所述不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
根据所述通道上下文信息获取空间上下文信息；
将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果。
进一步的，所述提取输入图像对应的不同尺度的底层特征图，包括：
将所述输入的图像输入预训练的ResNet网络提取到不同尺度的底层特征图，所述底层特征图的大小为所述输入图像的1/8。
进一步的，根据所述不同尺度的底层特征图获取目标边界特征图，包括：
将所述不同尺度的底层特征图输入多尺度边界提取模块，所述多尺度边界提取模块对所述不同尺度的底层特征图进行多层卷积处理得到不同卷积层次输出的特征图；
为所述不同卷积层次输出的特征图匹配对应边界标签；
将不同卷积层次输出的带有边界标签的特征图拼接后得到目标边界特征图。
进一步的，所述根据所述不同尺度的底层特征图获取通道上下文信息，包括：
将所述不同尺度的底层特征图输入通道上下文信息提取模块，所述通道上下文信息提取模块对所述不同尺度的底层特征图进行池化处理，获取包含全局通道信息的第一特征向量；
将所述第一特征向量与底层特征图相乘，得到通道上下文信息特征图。
进一步的，所述根据所述通道上下文信息获取空间上下文信息，包括：
对所述通道上下文信息特征图进行全连接操作处理得到第二特征向量；
将所述第二特征向量与所述第二特征向量对应的转置矩阵相乘得到目标类别矩阵；
将所述目标类别矩阵和所述通道上下文信息特征图输入空间上下文信息模块，所述空间上下文信息模块用于获取不同距离间像素的空间上下文信息，所述空间上下文信息模块对所述目标类别矩阵和通道上下文信息特征图进行降通道数操作，得到降维目标类别特征图和降维通道上下文信息特征图；
根据所述降维通道上下文信息特征图获取空间上下文权重矩阵；
根据所述降维目标类别特征图生成目标类别像素特征矩阵；
将所述目标类别像素特征矩阵与所述空间上下文权重矩阵对应的转置矩阵做点乘，得到空间上下文信息特征图。
进一步的，所述将所述空间上下文信息与所述目标边界特征图进行融合，包括：
将所述空间上下文信息与所述目标边界特征图输入融合模块，所述融合模块对所述空间上下文信息进行卷积操作生成第一空间上下文信息中间特征图，所述融合模块对所述目标边界特征图进行卷积操作生成第一目标边界中间特征图；
对所述第一空间上下文信息中间特征图进行矩阵变换，得到第二空间上下文信息中间特征图，对所述第一目标边界中间特征图进行矩阵变换，得到第二目标边界中间特征图；
将所述第二空间上下文信息中间特征图与对所述第二目标边界中间特征图作矩阵乘法，得到注意力特征图；
对第一空间上下文信息中间特征图进行维度变换得到第三空间上下文信息中间特征图；
对注意力特征图和第三空间上下文信息中间特征图作矩阵乘法，得到第一融合特征图；
将第一融合特征图与第一空间上下文信息中间特征图作矩阵加法，得到第二融合特征图。
进一步的，所述将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果，包括：
将所述第二融合特征图进行上采样操作输出最终表面缺陷区域分割结果。
第二方面，本申请提供一种基于边界信息融合的表面缺陷区域分割装置，包括：
提取模块，用于提取输入图像对应的不同尺度的底层特征图；
第一获取模块，用于根据所述不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
第二获取模块，用于根据所述通道上下文信息获取空间上下文信息；
融合模块，用于将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果。
本申请的实施例提供的技术方案可以包括以下有益效果：
本发明实施例提供的基于边界信息融合的表面缺陷区域分割方法及装置，基于边界信息融合的表面缺陷区域分割方法包括提取输入图像对应的不同尺度的底层特征图，根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图，根据通道上下文信息获取空间上下文信息，将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果，通过聚合输入图像中空间和通道两个维度的上下文信息，充分利用图像中的上下文信息提高图像工件表面缺陷区域分割的精度，之后利用输入图像中目标的边界信息进一步强化了上下文信息的聚，实现从不同的角度对输入图像中上下文信息的聚合，进一步提高工件表面缺陷区域分割的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请一个实施例提供的一种基于边界信息融合的表面缺陷区域分割方法的流程图。
图2为本申请另一个实施例提供的一种基于边界信息融合的表面缺陷区域分割方法的流程图。
图3为本申请一个实施例提供的另一种基于边界信息融合的表面缺陷区域分割方法的流程图。
图4为本申请一个实施例提供的另一种基于边界信息融合的表面缺陷区域分割方法的流程图。
图5为本申请一个实施例提供的另一种基于边界信息融合的表面缺陷区域分割方法的流程图。
图6为本申请一个实施例提供的一种基于边界信息融合的表面缺陷区域分割装置的功能结构图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
图1为本申请一个实施例提供的基于边界信息融合的表面缺陷区域分割方法的流程图，如图1所示，该基于边界信息融合的表面缺陷区域分割方法，包括：
S11：提取输入图像对应的不同尺度的底层特征图；
S12：根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
S13：根据通道上下文信息获取空间上下文信息；
S14：将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果。
现有的工件表面缺陷区域分割方法在利用空间上下文信息时由于缺少缺陷区域的边界提取，导致识别出的工件表面缺陷区域不准确，可能会引入无关的干扰信息，影响最终的工件表面缺陷区域分割效果。
本实施例中，基于边界信息融合的表面缺陷区域分割方法包括提取输入图像对应的不同尺度的底层特征图，根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图，根据通道上下文信息获取空间上下文信息，将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果，通过聚合输入图像中空间和通道两个维度的上下文信息，充分利用图像中的上下文信息提高图像工件表面缺陷区域分割的精度，之后利用输入图像中目标的边界信息进一步强化了上下文信息的聚，实现从不同的角度对输入图像中上下文信息的聚合，进一步提高工件表面缺陷区域分割的精度。
图2为本申请另一个实施例提供的一种基于边界信息融合的表面缺陷区域分割方法的流程图，如图2所示，该基于边界信息融合的表面缺陷区域分割方法，包括：
S21：将输入的图像输入预训练的ResNet网络提取到不同尺度的底层特征图，所述底层特征图的大小为所述输入图像的1/8；
S22：根据不同尺度的底层特征图获取目标边界特征图；
一些实施例中，根据不同尺度的底层特征图获取目标边界特征图包括：
S221：将不同尺度的底层特征图输入多尺度边界提取模块，多尺度边界提取模块对不同尺度的底层特征图进行多层卷积处理得到不同卷积层次输出的特征图；
S222：为不同卷积层次输出的特征图匹配对应边界标签；
S223：将不同卷积层次输出的带有边界标签的特征图拼接后得到目标边界特征图。
将不同尺度的底层特征图输入到多尺度边界提取模块中，利用多尺度边界提取模块预测不同目标的边界。多尺度边界提取模块首先利用
Figure 88541DEST_PATH_IMAGE001
卷积模块，将不同尺度的特征图通道数统一为256，同时通过边界标签对目标边界的获取进行优化约束，边界标签由历史分割结果进行标注获得，将不同层次获得的特征图拼接后获得输出特征图
Figure 625701DEST_PATH_IMAGE002
。
S23：根据不同尺度的底层特征图获取通道上下文信息；
一些实施例中，根据不同尺度的底层特征图获取通道上下文信息，包括：
S231：将不同尺度的底层特征图输入通道上下文信息提取模块，通道上下文信息提取模块对所述不同尺度的底层特征图进行池化处理，获取包含全局通道信息的第一特征向量；
S232：将第一特征向量与底层特征图相乘，得到通道上下文信息特征图。
将底层特征图
Figure 831862DEST_PATH_IMAGE003
，输入通道上下文提取模块，通道上下文提取模块利用池化操作来压缩不同的通道特征，获得包含全局通道信息的特征向量
Figure 138078DEST_PATH_IMAGE004
，之后对
Figure 514702DEST_PATH_IMAGE005
与输入特征图X做通道维度的相乘获得特征图
Figure 666722DEST_PATH_IMAGE006
。
S24：根据通道上下文信息获取空间上下文信息；
一些实施例中，根据通道上下文信息获取空间上下文信息，包括：
S241：对通道上下文信息特征图进行全连接操作处理得到第二特征向量；
S242：将第二特征向量与第二特征向量对应的转置矩阵相乘得到目标类别矩阵；
S243：将目标类别矩阵和通道上下文信息特征图输入空间上下文信息模块，空间上下文信息模块用于获取不同距离间像素的空间上下文信息，空间上下文信息模块对目标类别矩阵和通道上下文信息特征图进行降通道数操作，得到降维目标类别特征图和降维通道上下文信息特征图；
S244：根据降维通道上下文信息特征图获取空间上下文权重矩阵；
S245：根据降维目标类别特征图生成目标类别像素特征矩阵；
S246：将目标类别像素特征矩阵与空间上下文权重矩阵对应的转置矩阵做点乘，得到空间上下文信息特征图。
如图3所示，利用大小为
Figure 419783DEST_PATH_IMAGE007
全连接操作处理特征向量
Figure 911332DEST_PATH_IMAGE008
获得特征向量
Figure 458857DEST_PATH_IMAGE009
，之后对特征向量
Figure 32926DEST_PATH_IMAGE010
做矩阵转置操作，并与特征向量
Figure 592608DEST_PATH_IMAGE005
做矩阵乘法，生成矩阵
Figure 607838DEST_PATH_IMAGE011
，
Figure 529526DEST_PATH_IMAGE012
。
为了进一步获取不同距离间像素的空间上下文信息，同时在不影响最终工件表面缺陷区域分割效果的前提下降低计算复杂度，将
Figure 339961DEST_PATH_IMAGE013
与
Figure 638087DEST_PATH_IMAGE014
作为空间上下文信息模块的输入。空间上下文信息模块首先利用卷积操作降低输入特征图的通道数，获得特征图
Figure 773402DEST_PATH_IMAGE015
与
Figure 931239DEST_PATH_IMAGE016
,以此降低网络的计算复杂度。之后将矩阵B变换为矩阵
Figure 214321DEST_PATH_IMAGE017
,之后利用softmax函数获得空间上下文权重矩阵
Figure 378455DEST_PATH_IMAGE018
，为了进一步提升像素特征的代表性，我们利用类别表示矩阵
Figure 433524DEST_PATH_IMAGE019
重新校准了像素的特征表示。利用
Figure 697015DEST_PATH_IMAGE020
卷积操作处理矩阵M生成新的特征矩阵
Figure 467393DEST_PATH_IMAGE021
，之后对转置后的空间上下文权重矩阵
Figure 906990DEST_PATH_IMAGE022
和特征矩阵
Figure 79214DEST_PATH_IMAGE023
做点乘，获得特征图
Figure 575923DEST_PATH_IMAGE024
。空间上下文权重矩阵
Figure 824809DEST_PATH_IMAGE022
计算公式为
Figure 127483DEST_PATH_IMAGE025
，其中
Figure 219460DEST_PATH_IMAGE027
代表位于
Figure 887071DEST_PATH_IMAGE028
和
Figure 369392DEST_PATH_IMAGE029
两个位置像素点间的上下文关系。特征图
Figure 413441DEST_PATH_IMAGE030
计算公式为
Figure 294678DEST_PATH_IMAGE031
，其中
Figure 136119DEST_PATH_IMAGE032
代表
Figure 368387DEST_PATH_IMAGE033
卷积、BN层和ReLU层。
S25：将空间上下文信息与所述目标边界特征图进行融合；
一些实施例中，将空间上下文信息与所述目标边界特征图进行融合，包括：
S251：将空间上下文信息与目标边界特征图输入融合模块，所述融合模块对空间上下文信息进行卷积操作生成第一空间上下文信息中间特征图，融合模块对所述目标边界特征图进行卷积操作生成第一目标边界中间特征图；
S252：对第一空间上下文信息中间特征图进行矩阵变换，得到第二空间上下文信息中间特征图，对第一目标边界中间特征图进行矩阵变换，得到第二目标边界中间特征图；
S253：将第二空间上下文信息中间特征图与对第二目标边界中间特征图作矩阵乘法，得到注意力特征图；
S254：对第一空间上下文信息中间特征图进行维度变换得到第三空间上下文信息中间特征图；
S255：对注意力特征图和第三空间上下文信息中间特征图作矩阵乘法，得到第一融合特征图；
S256：将第一融合特征图与第一空间上下文信息中间特征图作矩阵加法，得到第二融合特征图。
如图4所示，在实现从空间和通道两个维度上整合上下文信息后，本申请还利用目标的边界信息进一步强化上下文信息的提取。
将特征图
Figure 761933DEST_PATH_IMAGE024
和特征图
Figure 169780DEST_PATH_IMAGE034
首先利用卷积操作处理，获得特征图
Figure 444773DEST_PATH_IMAGE035
,之后对
Figure 167265DEST_PATH_IMAGE036
进行矩阵变换，获得特征图
Figure 553116DEST_PATH_IMAGE037
和
Figure 143367DEST_PATH_IMAGE038
。之后对特征图
Figure 592190DEST_PATH_IMAGE039
和
Figure 267891DEST_PATH_IMAGE040
作矩阵乘法，获得注意力特征图
Figure 191853DEST_PATH_IMAGE041
,之后对特征图
Figure 108381DEST_PATH_IMAGE042
和特征图
Figure 459597DEST_PATH_IMAGE043
变换后的特征图
Figure 622594DEST_PATH_IMAGE044
作矩阵乘法，并将输出特征图与输入特征图
Figure 341458DEST_PATH_IMAGE045
作矩阵加法，获得最终的输出特征图
Figure 171880DEST_PATH_IMAGE046
。注意力特征图
Figure 962506DEST_PATH_IMAGE042
计算公式为：
Figure 737433DEST_PATH_IMAGE047
，其中
Figure 271707DEST_PATH_IMAGE048
代表位于
Figure 956635DEST_PATH_IMAGE028
和
Figure 321757DEST_PATH_IMAGE029
两个边界像素点的之间的关系。输出特征图
Figure 993434DEST_PATH_IMAGE049
的计算公式为：
Figure 62891DEST_PATH_IMAGE050
，其中
Figure 274429DEST_PATH_IMAGE051
代表经边界上下文聚合后的输出特征图。
S26：将第二融合特征图进行上采样操作输出最终表面缺陷区域分割结果。
基于边界信息融合的表面缺陷区域分割整体流程如图5所示。
当前工件表面缺陷区域分割多采用基于深度神经网络的深度学习方法。基于深度学习的方法在区分外形相似的目标时仍存在一些困难，因此近些年来上下文信息被广泛应用于基于深度学习的工件表面缺陷区域分割方法当中。例如PSPNet、DeepLabV3等方法利用不同尺度的卷积与池化操作获取不同尺度的上下文信息，进而实现高精度的工件表面缺陷区域分割。由于像素点与目标类别信息间的关系可以降低上下文信息中的噪声干扰，同时可以增强空间上下文信息的可解释性。然而，现有方法在构建空间上下文信息时，没有充分考虑像素点与目标类别信息间的关系。此外，现有的方法在利用空间上下文信息时会引入无关的类别信息，从而影响最终的工件表面缺陷区域分割效果。
本实施例中，通过利用高层特征图不同特征通道间的丰富语义信息，来优化空间上下文信息的提取，使得网络可以同时获得不同位置的空间像素与位于不同特征通道的像素间的相关性。
本发明实施例提供一种基于边界信息融合的表面缺陷区域分割装置，如图6所示的功能结构图，该基于边界信息融合的表面缺陷区域分割装置包括：
提取模块61，用于提取输入图像对应的不同尺度的底层特征图；
第一获取模块62，用于根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
第二获取模块63，用于根据通道上下文信息获取空间上下文信息；
融合模块64，用于将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果。
本实施例中，通过提取模块提取输入图像对应的不同尺度的底层特征图；第一获取模块根据不同尺度的底层特征图获取通道上下文信息和目标边界特征图；第二获取模块根据通道上下文信息获取空间上下文信息；融合模块将空间上下文信息与目标边界特征图进行融合输出最终表面缺陷区域分割结果，通过聚合输入图像中空间和通道两个维度的上下文信息，充分利用图像中的上下文信息提高图像工件表面缺陷区域分割的精度，之后利用输入图像中目标的边界信息进一步强化了上下文信息的聚，实现从不同的角度对输入图像中上下文信息的聚合，进一步提高工件表面缺陷区域分割的精度。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能组件的形式实现。所述集成的模块如果以软件功能组件的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
需要说明的是，本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (8)

1.一种基于边界信息融合的表面缺陷区域分割方法，其特征在于，包括：
提取输入图像对应的不同尺度的底层特征图；
根据所述不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
根据所述通道上下文信息获取空间上下文信息；
将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果。
2.根据权利要求1所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，所述提取输入图像对应的不同尺度的底层特征图，包括：
将所述输入的图像输入预训练的ResNet网络提取到不同尺度的底层特征图，所述底层特征图的大小为所述输入图像的1/8。
3.根据权利要求1所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，根据所述不同尺度的底层特征图获取目标边界特征图，包括：
将所述不同尺度的底层特征图输入多尺度边界提取模块，所述多尺度边界提取模块对所述不同尺度的底层特征图进行多层卷积处理得到不同卷积层次输出的特征图；
为所述不同卷积层次输出的特征图匹配对应边界标签；
将不同卷积层次输出的带有边界标签的特征图拼接后得到目标边界特征图。
4.根据权利要求1所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，所述根据所述不同尺度的底层特征图获取通道上下文信息，包括：
将所述不同尺度的底层特征图输入通道上下文信息提取模块，所述通道上下文信息提取模块对所述不同尺度的底层特征图进行池化处理，获取包含全局通道信息的第一特征向量；
将所述第一特征向量与底层特征图相乘，得到通道上下文信息特征图。
5.根据权利要求4所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，所述根据所述通道上下文信息获取空间上下文信息，包括：
对所述通道上下文信息特征图进行全连接操作处理得到第二特征向量；
将所述第二特征向量与所述第二特征向量对应的转置矩阵相乘得到目标类别矩阵；
将所述目标类别矩阵和所述通道上下文信息特征图输入空间上下文信息模块，所述空间上下文信息模块用于获取不同距离间像素的空间上下文信息，所述空间上下文信息模块对所述目标类别矩阵和通道上下文信息特征图进行降通道数操作，得到降维目标类别特征图和降维通道上下文信息特征图；
根据所述降维通道上下文信息特征图获取空间上下文权重矩阵；
根据所述降维目标类别特征图生成目标类别像素特征矩阵；
将所述目标类别像素特征矩阵与所述空间上下文权重矩阵对应的转置矩阵做点乘，得到空间上下文信息特征图。
6.根据权利要求5所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，所述将所述空间上下文信息与所述目标边界特征图进行融合，包括：
将所述空间上下文信息与所述目标边界特征图输入融合模块，所述融合模块对所述空间上下文信息进行卷积操作生成第一空间上下文信息中间特征图，所述融合模块对所述目标边界特征图进行卷积操作生成第一目标边界中间特征图；
对所述第一空间上下文信息中间特征图进行矩阵变换，得到第二空间上下文信息中间特征图，对所述第一目标边界中间特征图进行矩阵变换，得到第二目标边界中间特征图；
将所述第二空间上下文信息中间特征图与对所述第二目标边界中间特征图作矩阵乘法，得到注意力特征图；
对第一空间上下文信息中间特征图进行维度变换得到第三空间上下文信息中间特征图；
对注意力特征图和第三空间上下文信息中间特征图作矩阵乘法，得到第一融合特征图；
将第一融合特征图与第一空间上下文信息中间特征图作矩阵加法，得到第二融合特征图。
7.根据权利要求6所述的基于边界信息融合的表面缺陷区域分割方法，其特征在于，所述将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果，包括：
将所述第二融合特征图进行上采样操作输出最终表面缺陷区域分割结果。
8.一种基于边界信息融合的表面缺陷区域分割装置，其特征在于，包括：
提取模块，用于提取输入图像对应的不同尺度的底层特征图；
第一获取模块，用于根据所述不同尺度的底层特征图获取通道上下文信息和目标边界特征图；
第二获取模块，用于根据所述通道上下文信息获取空间上下文信息；
融合模块，用于将所述空间上下文信息与所述目标边界特征图进行融合输出最终表面缺陷区域分割结果。
CN202210308337.3A 2022-03-28 2022-03-28 基于边界信息融合的表面缺陷区域分割方法及装置 Active CN114419036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210308337.3A CN114419036B (zh) 2022-03-28 2022-03-28 基于边界信息融合的表面缺陷区域分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210308337.3A CN114419036B (zh) 2022-03-28 2022-03-28 基于边界信息融合的表面缺陷区域分割方法及装置

Publications (2)

Publication Number Publication Date
CN114419036A true CN114419036A (zh) 2022-04-29
CN114419036B CN114419036B (zh) 2022-06-24

Family

ID=81263354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210308337.3A Active CN114419036B (zh) 2022-03-28 2022-03-28 基于边界信息融合的表面缺陷区域分割方法及装置

Country Status (1)

Country Link
CN (1) CN114419036B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375692A (zh) * 2022-10-27 2022-11-22 北京矩视智能科技有限公司 基于边界引导的工件表面缺陷分割方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法
WO2021145920A1 (en) * 2020-01-17 2021-07-22 Harman International Industries, Incorporated Multi-task face detector and landmark detector
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
WO2021145920A1 (en) * 2020-01-17 2021-07-22 Harman International Industries, Incorporated Multi-task face detector and landmark detector
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐胜军等: "多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割", 《光学精密工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375692A (zh) * 2022-10-27 2022-11-22 北京矩视智能科技有限公司 基于边界引导的工件表面缺陷分割方法、装置及设备

Also Published As

Publication number Publication date
CN114419036B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN110543911B (zh) 一种结合分类任务的弱监督目标分割方法
CN112418236B (zh) 一种基于多任务神经网络的汽车可行驶区域规划方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
EP3443482B1 (en) Classifying entities in digital maps using discrete non-trace positioning data
CN111274981B (zh) 目标检测网络构建方法及装置、目标检测方法
CN110826609B (zh) 一种基于强化学习的双流特征融合图像识别方法
CN112258461B (zh) 一种基于卷积神经网络的肺结节检测方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN113313706B (zh) 基于检测参考点偏移分析的电力设备缺陷图像检测方法
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN114419036B (zh) 基于边界信息融合的表面缺陷区域分割方法及装置
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
Liu et al. Tire appearance defect detection method via combining HOG and LBP features
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Xue et al. A high efficiency deep learning method for the x-ray image defect detection of casting parts
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN114022586A (zh) 一种基于对抗生成网络的缺陷图像生成方法
US11244460B2 (en) Digital image boundary detection
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
CN116994034A (zh) 一种基于特征金字塔的小目标检测算法
CN113808140B (zh) 一种间隙区域感知的铝硅合金显微图像分割方法
Zhang et al. A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant