CN112802038B - 一种基于多尺度边缘注意力的全景分割方法 - Google Patents
一种基于多尺度边缘注意力的全景分割方法 Download PDFInfo
- Publication number
- CN112802038B CN112802038B CN202110100670.0A CN202110100670A CN112802038B CN 112802038 B CN112802038 B CN 112802038B CN 202110100670 A CN202110100670 A CN 202110100670A CN 112802038 B CN112802038 B CN 112802038B
- Authority
- CN
- China
- Prior art keywords
- contour
- segmentation
- edge
- panoramic
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000003708 edge detection Methods 0.000 claims abstract description 9
- 230000000295 complement effect Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 22
- 238000003709 image segmentation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于多尺度边缘注意力的全景分割方法，针对不同尺度的图片进行多尺度边缘检测引导，多尺度的边缘检测引导可以让每个尺度选出较优权重再进行融合得到效果更好的全景分割结果。基于多尺度的边缘注意力模块提取图片的边缘金字塔，更好地提取物体的深层边缘信息。特征金字塔深度参与到全景分割网络的学习中去，与全景分割原本的多维度特征进行多次互补融合，相互影响，不仅能提高全景分割的精度，也可以大幅度提高最终结果中的物体边缘信息识别。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多尺度边缘注意力的全景分割方法。
背景技术
全景分割是2018年何恺明团队提出的新概念，综合了语义分割和实例分割效果。计算机视觉领域提到的分割，指的是针对图中每一个像素，都确定其属于什么类别。语义分割指的是对图像中同类物体能够用同色掩膜标识出来，达到物体的分类，通常整幅图(包括前景和背景)都可以实现用掩膜来标识。而实例分割在此基础上对前景中单个个体，即使是相同种类的也用不同颜色的掩膜标识。全景分割在综合了以上两种分割的基础上，对于图像中的背景部分只做语义分割，而对于图像中物体部分就做实例分割，区分出每一个个体，达到了全景均参与分割的效果。
全景分割适用于目标识别、跟踪、自动驾驶、医学影像处理等各领域，是近年研究的热点。通过深度学习的方法对图像进行全景分割，最重要的是分割准确度的问题，比如分割边缘问题。在何恺明最新2020年顶会CVPR的一篇论文中提出，他用的类似图形学的渲染方式，在边缘部分不确定区域增加判定工作，使图像不会因为尺度变小，图像模糊而边缘被平滑掉，影响分割效果。此外，该方法采用传统图形学算法，网络没有一定的学习能力。虽然采用边缘检测结果去辅助超分辨率重建也是有相关应用，比如拉普拉斯金字塔在超分辨率重建方面的应用，但是由于超分辨率重建注重重建的是细节，用于辅助的边缘没有任何语义信息，即不用确定是边缘还是细节，所以这些边缘是没有权重概念的。也就是说，在传统图像分割任务中，物体边缘的分割往往不够精确，在分割结果中往往掺杂了许许多多细节信息无法过滤。
发明内容
本发明所要解决的是现有全景分割方法存在图像分割不够精确的问题，提供一种基于多尺度边缘注意力的全景分割方法。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于多尺度边缘注意力的全景分割方法，包括步骤如下：
步骤1、在全景分割网络的基础上添加多尺度边缘注意力模块构造出基于多尺度边缘注意力的全景分割模型；
步骤2、将原始训练图像送入到步骤1所构建的基于多尺度边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于多尺度边缘注意力的全景分割模型；其中基于多尺度边缘注意力的全景分割模型的每一次的迭代训练的过程如下：
步骤2.1、将上一次迭代训练所得到的基于多尺度边缘注意力的全景分割模型视为当前模型；
步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的预全景分割掩膜；
步骤2.3、利用当前模型的多尺度边缘注意力模块先对预全景分割掩膜和原始训练图像分别进行多尺度边缘检测，得到预全景分割轮廓和边缘注意力轮廓；再利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正，得到当前模型的物体修正轮廓；
步骤2.4、将基于步骤2.2所得的当前模型的全景分割掩膜所计算的全景分割网络的损失函数L*作为基础项，并将基于2.3所得的当前模型的物体修正轮廓所计算的多尺度边缘注意力模块的损失函数Ledge作为新增项，得到当前模型的损失函数L：
L＝L*+Ledge
步骤2.5、判断当前模型的损失函数是否收敛或迭代训练次数是否达到迭代阈值：如果是，则当前模型即为最终基于多尺度边缘注意力的全景分割模型；否则，通过极小化损失函数对当前模型的优化参数进行优化，并返回步骤2.1；
步骤3、将待分割的图像送入到步骤2所得到的最终基于多尺度边缘注意力的全景分割模型中，完成待分割的图像基于多尺度边缘注意力的全景分割。
上述步骤2.2的具体过程如下：
步骤2.2.1、将输入的原始训练图像送入FPN特征提取网络得到图像的多维度特征融合图；
步骤2.2.2、将多维度特征融合图分别送入实例分割分支和语义分割分支中；在实例分割分支中，先找出多维度特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到实例分割掩膜；在语义分割分支中，通过对多维度特征融合图的每个像素进行细粒度的推理，得到语义掩膜；
步骤2.2.3、将实例分割掩膜和语义掩膜进行融合后得到全景分割掩膜。
上述步骤2.3中，利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正的具体过程如下：
步骤2.3.1、利用边缘注意力轮廓对预全景分割轮廓进行第一次修正，得到1/2S修正轮廓；
步骤2.3.1.1、对边缘注意力轮廓进行下采样，得到1/2S边缘注意力轮廓；
步骤2.3.1.2、将1/2S边缘注意力轮廓与预全景分割轮廓结合，得到1/2S初始轮廓；
步骤2.3.1.3、比较1/2S初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S补充轮廓；
步骤2.3.1.4、将步骤2.3.1.2所得的1/2S初始轮廓和步骤2.3.1.3所得的1/2S补充轮廓进行结合，得到1/2S修正轮廓；
步骤2.3.2、利用1/2S-k+2修正轮廓对预全景分割轮廓进行第k次修正，得到1/2S-k+1修正轮廓；其中k∈[2,S]，S表示设定的尺度个数；
步骤2.3.2.1、对1/2S-k+2修正轮廓进行上采样，得到1/2S-k+1边缘注意力轮廓；
步骤2.3.2.2、将1/2S-k+1边缘注意力轮廓与预全景分割轮廓进行结合，得到1/2S -k+1初始轮廓；
步骤2.3.2.3、比较1/2S-k+1初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S-k+1初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S-k+1补充轮廓；
步骤2.3.2.4、将步骤2.3.2.2所得的1/2S-k+1初始轮廓和步骤2.3.2.3所得的1/2S -k+1补充轮廓进行结合，得到1/2S-k+1修正轮廓；
步骤2.3.3、利用1/2修正轮廓对预全景分割轮廓进行最后一次修正，得到物体修正轮廓；
步骤2.3.3.1、对1/2修正轮廓进行上采样，得到原图边缘注意力轮廓；
步骤2.3.3.2、将原图边缘注意力轮廓与预全景分割轮廓结合，得到物体初始轮廓；
步骤2.3.3.3、比较物体初始轮廓上的像素点与其附近像素点的相似度，一旦物体初始轮廓上的像素点与附近像素点相似，则将附近像素点视为物体补充轮廓；
步骤2.3.3.4、将步骤2.3.3.2所得的物体初始轮廓和步骤2.3.3.3所得的物体补充轮廓进行结合，得到物体修正轮廓。
上述步骤2.4中，多尺度边缘注意力模块的损失函数Ledge为：
式中：edge1(i,j)表示物体修正轮廓的第i行第j列的像素值，edge2(i,j)表示给定的原始训练图像的标签轮廓的第i行第j列的像素值，i∈[1,n],j∈[1,m]，m表示图像的长度即图像横向方向上的像素点数，n表示图像的高度即图像纵向方向上的像素点数。
上述步骤2.5中，当前模型的优化参数的包括全景分割网络的优化参数和多尺度边缘注意力模块的优化参数。
与现有技术相比，本发明着重于针对不同尺度的图片进行多尺度边缘检测引导，多尺度的边缘检测引导可以让每个尺度选出较优权重再进行融合得到效果更好的全景分割结果。基于多尺度的边缘注意力模块提取图片的边缘金字塔，更好地提取物体的深层边缘信息。特征金字塔深度参与到全景分割网络的学习中去，与全景分割原本的多维度特征进行多次互补融合，相互影响，不仅能提高全景分割的精度，也可以大幅度提高最终结果中的物体边缘信息识别。
附图说明
图1为一种基于多尺度边缘注意力的全景分割方法的流程图。
图2为多尺度边缘修正的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
针对传统图像分割任务中，物体边缘的分割往往不够精确的问题，基于特征金字塔思想，本发明提出一种基于多尺度边缘注意力的全景分割方法，如图1所示，包括步骤如下：
步骤1、在全景分割网络的基础上添加多尺度边缘注意力模块构造出基于多尺度边缘注意力的全景分割模型。
多尺度边缘注意力的全景分割模型先通过全景分割网络部分得到预全景分割轮廓，并通过多尺度边缘注意力模块部分得到边缘轮廓，再把预全景分割轮廓和边缘轮廓进行多尺度边缘修正，得到最终的精细化物体轮廓。
步骤2、将原始训练图像送入到步骤1所构建的基于多尺度边缘注意力的全景分割模型中对模型进行训练，得到训练好的基于多尺度边缘注意力的全景分割模型。其中基于多尺度边缘注意力的全景分割模型的每一次的迭代训练的过程如下：
步骤2.1、将上一次迭代训练所得到的基于多尺度边缘注意力的全景分割模型视为当前模型。
步骤2.2、当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的预全景分割掩膜。
步骤2.2.1、将输入的原始训练图像送入FPN特征提取网络得到图像的多维度特征融合图。
步骤2.2.2、将多维度特征融合图分别送入实例分割分支和语义分割分支中。在实例分割分支中，先找出多维度特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到实例分割掩膜。在语义分割分支中，通过对多维度特征融合图的每个像素进行细粒度的推理，得到语义掩膜。
步骤2.2.3、将实例分割掩膜和语义掩膜进行融合后得到全景分割掩膜。
步骤2.3、当前模型的多尺度边缘注意力模块先对预全景分割掩膜和原始训练图像分别进行多尺度边缘检测，得到预全景分割轮廓和边缘注意力轮廓。再利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正，得到当前模型的物体修正轮廓。
上述利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正的具体过程如下：
步骤2.3.1、利用边缘注意力轮廓对预全景分割轮廓进行第一次修正，得到1/2S修正轮廓。
步骤2.3.1.1、对边缘注意力轮廓进行下采样，得到1/2S边缘注意力轮廓。
步骤2.3.1.2、将1/2S边缘注意力轮廓与预全景分割轮廓结合，得到1/2S初始轮廓。
步骤2.3.1.3、比较1/2S初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S补充轮廓。
步骤2.3.1.4、将步骤2.3.1.2所得的1/2S初始轮廓和步骤2.3.1.3所得的1/2S补充轮廓进行结合，得到1/2S修正轮廓。
步骤2.3.2、利用1/2S-k+2修正轮廓对预全景分割轮廓进行第k次修正，得到1/2S-k+1修正轮廓。其中k∈[2,S]，S表示设定的尺度个数。
步骤2.3.2.1、对1/2S-k+2修正轮廓进行上采样，得到1/2S-k+1边缘注意力轮廓。
步骤2.3.2.2、将1/2S-k+1边缘注意力轮廓与预全景分割轮廓进行结合，得到1/2S -k+1初始轮廓。
步骤2.3.2.3、比较1/2S-k+1初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S-k+1初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S-k+1补充轮廓。
步骤2.3.2.4、将步骤2.3.2.2所得的1/2S-k+1初始轮廓和步骤2.3.2.3所得的1/2S -k+1补充轮廓进行结合，得到1/2S-k+1修正轮廓。
步骤2.3.3、利用1/2修正轮廓对预全景分割轮廓进行最后一次修正，得到物体修正轮廓。
步骤2.3.3.1、对1/2修正轮廓进行上采样，得到原图边缘注意力轮廓。
步骤2.3.3.2、将原图边缘注意力轮廓与预全景分割轮廓结合，得到物体初始轮廓。
步骤2.3.3.3、比较物体初始轮廓上的像素点与其附近像素点的相似度，一旦物体初始轮廓上的像素点与附近像素点相似，则将附近像素点视为物体补充轮廓。
步骤2.3.3.4、将步骤2.3.3.2所得的物体初始轮廓和步骤2.3.3.3所得的物体补充轮廓进行结合，得到物体修正轮廓。
上述初始轮廓上的像素点的附近像素点可以是与初始轮廓上的像素点直接相邻的像素点，也可以是间隔一个或者多个的像素点。初始轮廓上的像素点与附近像素点相似是将初始轮廓上的像素点与其附近像素点相似的像素值做差，计算差值。如果差值在设定的颜色阈值，则认为像素点相似，并将附近像素点相似视为轮廓的一部分，否则忽略附近像素点。通过监督邻近像素的预测一致性，直到得到结果框内的物体全部边缘信息，即为修正轮廓。图2是以下采样到原图的1/16为例所绘制的多尺度边缘修正的流程图。
步骤2.4、将基于步骤2.2所得的当前模型的全景分割掩膜所计算的全景分割网络的损失函数L*作为基础项，并将基于2.3所得的当前模型的物体修正轮廓所计算的多尺度边缘注意力模块的损失函数Ledge作为新增项，得到当前模型的损失函数L：
L＝L*+Ledge
L*＝Lcls+Lbox+Lmask
式中：Lcls指的是预测框的分类损失；Lbox指的是预测框的回归损失；Lmask表示Mask部分的损失；表示输入图像物体边缘矩阵的第行第列的值，edge1(i,j)表示物体修正轮廓的第i行第j列的像素值，edge2(i,j)表示给定的原始训练图像的标签轮廓的第i行第j列的像素值，i∈[1,n],j∈[1,m]，m表示图像的长度即图像横向方向上的像素点数，n表示表示图像的高度即图像纵向方向上的像素点数。
损失函数采用原全景分割的损失函数，加上边缘损失函数，边缘损失函数由DICE损失和加权交叉熵损失组成，用于比较边缘图的相似性。将新增损失项加入损失函数进行多任务损失是为了让分割后的结果与边缘检测效果图尽可能在物体或背景边缘接近。
步骤2.5、判断当前模型的损失函数是否收敛或迭代训练次数是否达到迭代阈值：如果是，则当前模型即为最终基于多尺度边缘注意力的全景分割模型。否则，通过极小化损失函数对当前模型的优化参数进行优化，其中当前模型的优化参数的包括全景分割网络的优化参数和多尺度边缘注意力模块的优化参数，并返回步骤2.1。
损失函数L*是否收敛是指损失函数Loss在一定的训练轮次中趋于稳定，不再振荡，此时损失函数Loss取到最小值，得到最优解。
步骤3、将待分割的图像送入到步骤2所得到的最终基于多尺度边缘注意力的全景分割模型中，完成待分割的图像基于多尺度边缘注意力的全景分割。
本发明将输入图像输入边缘特征注意力矩阵，下采样多次，每次都与全景分割得到的物体轮廓进行轮廓修正，获得更高精度的物体边缘信息。本发明根据物体精细化轮廓计算边缘损失值，将该值与全景分割结果的损失项组合，得到新的损失函数。与全景分割结果的到的图像边缘进行交叉相乘、相互比对。反向传播优化，直至损失函数收敛，依据损失函数动态调整预设特征金字塔，由此得到更精确的多尺度边缘提取矩阵，为最终的识别图片的到更精确的物体边缘信息。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。
Claims (4)
1.一种基于多尺度边缘注意力的全景分割方法，其特征是，包括步骤如下：
步骤1、在全景分割网络的基础上添加多尺度边缘注意力模块构造出基于多尺度边缘注意力的全景分割模型；
步骤2、将原始训练图像送入到步骤1所构建的基于多尺度边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于多尺度边缘注意力的全景分割模型；其中基于多尺度边缘注意力的全景分割模型的每一次的迭代训练的过程如下：
步骤2.1、将上一次迭代训练所得到的基于多尺度边缘注意力的全景分割模型视为当前模型；
步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的预全景分割掩膜；
步骤2.3、利用当前模型的多尺度边缘注意力模块先对预全景分割掩膜和原始训练图像分别进行多尺度边缘检测，得到预全景分割轮廓和边缘注意力轮廓；再利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正，得到当前模型的物体修正轮廓；
步骤2.4、将基于步骤2.2所得的当前模型的全景分割掩膜所计算的全景分割网络的损失函数L*作为基础项，并将基于2.3所得的当前模型的物体修正轮廓所计算的多尺度边缘注意力模块的损失函数Ledge作为新增项，得到当前模型的损失函数L：
L＝L*+Ledge
L*＝Lcls+Lbox+Lmask
式中：Lcls表示预测框的分类损失；Lbox表示预测框的回归损失；Lmask表示Mask部分的损失；edge1(i,j)表示物体修正轮廓的第i行第j列的像素值，edge2(i,j)表示给定的原始训练图像的标签轮廓的第i行第j列的像素值，i∈[1,n],j∈[1,m]，m表示图像的长度即图像横向方向上的像素点数，n表示图像的高度即图像纵向方向上的像素点数；
步骤2.5、判断当前模型的损失函数是否收敛或迭代训练次数是否达到迭代阈值：如果是，则当前模型即为最终基于多尺度边缘注意力的全景分割模型；否则，通过极小化损失函数对当前模型的优化参数进行优化，并返回步骤2.1；
步骤3、将待分割的图像送入到步骤2所得到的最终基于多尺度边缘注意力的全景分割模型中，完成待分割的图像基于多尺度边缘注意力的全景分割。
2.根据权利要求1所述的一种基于多尺度边缘注意力的全景分割方法，其特征是，步骤2.2的具体过程如下：
步骤2.2.1、将输入的原始训练图像送入FPN特征提取网络得到图像的多维度特征融合图；
步骤2.2.2、将多维度特征融合图分别送入实例分割分支和语义分割分支中；在实例分割分支中，先找出多维度特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到实例分割掩膜；在语义分割分支中，通过对多维度特征融合图的每个像素进行细粒度的推理，得到语义掩膜；
步骤2.2.3、将实例分割掩膜和语义掩膜进行融合后得到全景分割掩膜。
3.根据权利要求1所述的一种基于多尺度边缘注意力的全景分割方法，其特征是，步骤2.3中，利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正的具体过程如下：
步骤2.3.1、利用边缘注意力轮廓对预全景分割轮廓进行第一次修正，得到1/2S修正轮廓；
步骤2.3.1.1、对边缘注意力轮廓进行下采样，得到1/2S边缘注意力轮廓；
步骤2.3.1.2、将1/2S边缘注意力轮廓与预全景分割轮廓结合，得到1/2S初始轮廓；
步骤2.3.1.3、比较1/2S初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S补充轮廓；
步骤2.3.1.4、将步骤2.3.1.2所得的1/2S初始轮廓和步骤2.3.1.3所得的1/2S补充轮廓进行结合，得到1/2S修正轮廓；
步骤2.3.2、利用1/2S-++2修正轮廓对预全景分割轮廓进行第k次修正，得到1/2S-k+1修正轮廓；其中k∈[2,S]，S表示设定的尺度个数；
步骤2.3.2.1、对1/2S-k+2修正轮廓进行上采样，得到1/2S-k+1边缘注意力轮廓；
步骤2.3.2.2、将1/2S-k+1边缘注意力轮廓与预全景分割轮廓进行结合，得到1/2S-k+1初始轮廓；
步骤2.3.2.3、比较1/2S-k+1初始轮廓上的像素点与其附近像素点的相似度，一旦1/2S-k+1初始轮廓上的像素点与附近像素点相似，则将附近像素点视为1/2S-k+1补充轮廓；
步骤2.3.2.4、将步骤2.3.2.2所得的1/2S-k+1初始轮廓和步骤2.3.2.3所得的1/2S-k+1补充轮廓进行结合，得到1/2S-k+1修正轮廓；
步骤2.3.3、利用1/2修正轮廓对预全景分割轮廓进行最后一次修正，得到物体修正轮廓；
步骤2.3.3.1、对1/2修正轮廓进行上采样，得到原图边缘注意力轮廓；
步骤2.3.3.2、将原图边缘注意力轮廓与预全景分割轮廓结合，得到物体初始轮廓；
步骤2.3.3.3、比较物体初始轮廓上的像素点与其附近像素点的相似度，一旦物体初始轮廓上的像素点与附近像素点相似，则将附近像素点视为物体补充轮廓；
步骤2.3.3.4、将步骤2.3.3.2所得的物体初始轮廓和步骤2.3.3.3所得的物体补充轮廓进行结合，得到物体修正轮廓。
4.根据权利要求1所述的一种基于多尺度边缘注意力的全景分割方法，其特征是，步骤2.5中，当前模型的优化参数的包括全景分割网络的优化参数和多尺度边缘注意力模块的优化参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110100670.0A CN112802038B (zh) | 2021-01-26 | 2021-01-26 | 一种基于多尺度边缘注意力的全景分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110100670.0A CN112802038B (zh) | 2021-01-26 | 2021-01-26 | 一种基于多尺度边缘注意力的全景分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112802038A CN112802038A (zh) | 2021-05-14 |
| CN112802038B true CN112802038B (zh) | 2022-05-24 |
Family
ID=75811681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110100670.0A Active CN112802038B (zh) | 2021-01-26 | 2021-01-26 | 一种基于多尺度边缘注意力的全景分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802038B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292334A (zh) * | 2018-12-10 | 2020-06-16 | 北京地平线机器人技术研发有限公司 | 一种全景图像分割方法、装置及电子设备 |
| CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、系统、设备及存储介质 |
| CN112036555A (zh) * | 2020-11-05 | 2020-12-04 | 北京亮亮视野科技有限公司 | 目标检测框架的优化方法及装置、存储介质、电子设备 |
| WO2020257812A2 (en) * | 2020-09-16 | 2020-12-24 | Google Llc | Modeling dependencies with global self-attention neural networks |
-
2021
- 2021-01-26 CN CN202110100670.0A patent/CN112802038B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292334A (zh) * | 2018-12-10 | 2020-06-16 | 北京地平线机器人技术研发有限公司 | 一种全景图像分割方法、装置及电子设备 |
| CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、系统、设备及存储介质 |
| WO2020257812A2 (en) * | 2020-09-16 | 2020-12-24 | Google Llc | Modeling dependencies with global self-attention neural networks |
| CN112036555A (zh) * | 2020-11-05 | 2020-12-04 | 北京亮亮视野科技有限公司 | 目标检测框架的优化方法及装置、存储介质、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| Attention-Guided Unified Network for Panoptic Segmentation;Yanwei Li等;《 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;IEEE;20200109;7019-7028 * |
| 基于超像素分割和图神经网络的图像语义分割研究;王小雨;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20200515;I138-152 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112802038A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256562B (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| CN111027493B (zh) | 一种基于深度学习多网络软融合的行人检测方法 | |
| CN112800964B (zh) | 基于多模块融合的遥感影像目标检测方法及系统 | |
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN107316031A (zh) | 用于行人重识别的图像特征提取方法 | |
| CN111696110B (zh) | 场景分割方法及系统 | |
| CN112950477B (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
| CN112802039B (zh) | 一种基于全局边缘注意力的全景分割方法 | |
| CN113344000A (zh) | 证件翻拍识别方法、装置、计算机设备和存储介质 | |
| CN110866938A (zh) | 一种全自动视频运动目标分割方法 | |
| CN113393434A (zh) | 一种基于非对称双流网络架构的rgb-d显著性检测方法 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
| CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
| CN112489064B (zh) | 一种基于边缘放缩修正的全景分割方法 | |
| CN114155540A (zh) | 基于深度学习的文字识别方法、装置、设备及存储介质 | |
| CN111986233B (zh) | 基于特征自学习的大场景极小目标遥感视频跟踪方法 | |
| CN112802038B (zh) | 一种基于多尺度边缘注意力的全景分割方法 | |
| Zhu et al. | Semantics and Contour Based Interactive Learning Network For Building Footprint Extraction | |
| CN109636818A (zh) | 一种拉普拉斯正则约束下低秩稀疏优化的目标分割方法 | |
| Chen et al. | Illumination-invariant video cut-out using octagon sensitive optimization | |
| CN108765384A (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| Sanjaya et al. | Semantic segmentation for aerial images: a literature review | |
| CN111640071A (zh) | 基于卷积神经网络修复帧差法获取全景前景目标的方法 | |
| Zhao et al. | Point Based Weakly Supervised Deep Learning for Semantic Segmentation of Remote Sensing Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210514 Assignee: Guilin Sensing Material Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980046110 Denomination of invention: A Panoramic Segmentation Method Based on Multi scale Edge Attention Granted publication date: 20220524 License type: Common License Record date: 20231107 Application publication date: 20210514 Assignee: Guilin Xingyuan Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045835 Denomination of invention: A Panoramic Segmentation Method Based on Multi scale Edge Attention Granted publication date: 20220524 License type: Common License Record date: 20231107 Application publication date: 20210514 Assignee: Guangxi Guilin Yunchen Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2023980045796 Denomination of invention: A Panoramic Segmentation Method Based on Multi scale Edge Attention Granted publication date: 20220524 License type: Common License Record date: 20231108 |