CN111563508A - 一种基于空间信息融合的语义分割方法 - Google Patents

一种基于空间信息融合的语义分割方法 Download PDF

Info

Publication number
CN111563508A
CN111563508A CN202010310940.6A CN202010310940A CN111563508A CN 111563508 A CN111563508 A CN 111563508A CN 202010310940 A CN202010310940 A CN 202010310940A CN 111563508 A CN111563508 A CN 111563508A
Authority
CN
China
Prior art keywords
feature
semantic segmentation
layer
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010310940.6A
Other languages
English (en)
Other versions
CN111563508B (zh
Inventor
李东
蔡皓洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010310940.6A priority Critical patent/CN111563508B/zh
Publication of CN111563508A publication Critical patent/CN111563508A/zh
Application granted granted Critical
Publication of CN111563508B publication Critical patent/CN111563508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间特征融合的语义分割方法，包括：构建深度图像分类网络Resnet并且在图像分类任务上进行预训练；预训练完成后，移除Resnet图像分类网络的全连接层和最后两个池化层，完成特征提取网络的构建；在特征提取网络后添加多尺度特征融合模块；在多尺度特征融合模块后加入跨层空间特征融合模块，并添加语义分割分类层；将模型在语义分割标注数据上进行有监督训练，训练结束后，利用标注数据的验证集对语义分割模型性能进行验证，得到最终的分割模型；将待分割图像送入分割模型进行处理，得到最终的分割结果。本发明通过添加跨层空间融合模块到深度语义分割模型中，显著扩大了特征图上每个像素的感受野，有效提升模型获取上下文信息能力。

Description

一种基于空间信息融合的语义分割方法
技术领域
本发明属于计算机视觉领域中的语义分割领域，尤其涉及一种基于空间特征融合的语义分割方法。
背景技术
图像的语义分割(Image Semantic Segmentation)是计算机视觉领域的关键问题和热门研究方向，它是指基于图像的语义信息，对整幅图像做出像素级的分类预测，通过分割结果，计算机能更有效地理解图像包含的信息。以自动驾驶为例，实现自动驾驶关键一环是系统能及时获得车辆周边环境的综合理解并作出下一步判断，因此自动驾驶成为图像语义分割的重要应用领域。
近年来，随着神经网络理论和深度学习的不断发展和完善，卷积神经网络(CNN)因为其对图像特征的强大提取能力，被广泛应用至计算机视觉的各个领域之中，其中包括语义分割问题。针对语义分割任务，Jonathan Long等提出全卷积神经网络(FullyConvolutional Networks,FCN)。FCN通过将图像分类网络VGG16中的全连接层替换为卷积层，显著提升了语义分割任务的准确率，成为基于深度学习的语义分割方向的标志性成果。全卷积神经网络通过池化层扩大感受野，以丢弃部分位置信息为代价获取更多的上下文信息，最后通过上采样操作恢复部分位置信息，得到和原图尺寸一致的预测图。显而易见，上采样过程中的信息损失会导致全卷积网络的分割结果精度下降，结果较为粗糙。
基于编码器-解码器结构的算法通过一系列的编码器和解码器来恢复图像的语义信息，缓解在上采样过程中空间信息损失的问题。Vijay Badrinarayanan等提出SegNet模型，SegNet通过记录最大值的空间位置，能够在上采样阶段更准确地恢复特征图的空间信息。Olaf Ronneberger等提出的U-net模型通过在编码器和解码器之间进行特征融合，以增强解码器恢复特征细节的能力。
基于获取上下文信息的算法则通过更好地整合不同尺度的特征信息以及结和局部信息和全局信息提升模型性能。Liang-Chieh Chen将空洞卷积引入了语义分割模型中，空洞卷积能够在不引入额外参数的前提下显著增大感受野，使得模型不必大规模采用池化操作以扩大感受野，避免了池化操作所带来的空间信息损失。DeepLabV3,PSPNet以及DenseASPP等模型采取多尺度特征融合的方式更加高效的利用图片的上下文信息。DANet，CCNet,OCNet等模型则利用自注意力机制(self-attention mechanism)，先计算特征图中各个位置像素点的相关然后根据相关性对局部信息和全局信息进行融合，获取完整而丰富的上下文信息。
发明内容
尽可能地获取更丰富的上下文信息是获得更好分类结果的关键，本发明提出一种可以灵活添加在已有网络模型上的跨层空间特征融合(cross-layer sptial featurefusion，CSFF)模块。CSFF模块通过计算特征图不同像素之间的关联性，基于这种关联性对特征图特征进行融合。添加CSFF模块，进一步增强模型获取上下文信息的能力，获得了更好的预测结果。
本发明的目的至少通过如下技术方案之一实现。
一种基于空间特征融合的语义分割方法，包括以下步骤：
步骤1，构建特征提取网络：以图像分类网络Resnet作为特征提取网络的基础，将Resnet模型在图像分割数据集做预训练，预训练完成后移除Resnet模型的全局池化层、全连接层以及最后两个池化层；
步骤2，在预训练后的特征提取网络添加多尺度特征融合模块；
步骤3，在多尺度融合模块后添加空间特征融合模块CSFF，最后再连接上语义分割分类层；
步骤4，将上述步骤构建的语义分割模型在语义相应的标注数据上进行有监督训练，训练结束后，利用标注数据的验证集对语义分割模型性能进行验证，得到最终的语义分割模型；
步骤5，采集待分割图像，将待分割图像送入分割模型进行处理，得到最终的分割结果。
进一步地，对步骤1中所述的图像分类网络Resnet采用ImageNet数据集对其进行预训练；所述神经网络在进行预训练时，图像的特征图经过全局池化层转换为一维向量并且利用全连接层进行分类。
进一步地，步骤2中所述多尺度特征融合模块为ASPP或PPM，ASPP利用不同尺度的分离卷积来提取特征图中不同尺度的语义信息；PPM利用不同的池化层下采样之后上采样，产生不同粒度的特征图。
进一步地，步骤3中添加的空间特征融合模块CSFF利用特征图之间像素的语义相似度对两个特征图进行融合，具体包括：
首先，
Figure BDA0002457565850000021
表示经特征提取网络提取的图像特征，在这里
Figure BDA0002457565850000022
表示特征的形状为C×片×W，下文皆采用这种表达方式；经过多尺度特征融合模块变换的特征图表示为
Figure BDA0002457565850000023
其中C和C′分别代表代表F和F′的通道数，H和W分别代表特征图的高和宽；F和F′分别通过卷积核数量为C/8的1×1卷积层进行变换以及重塑操作得到张量
Figure BDA0002457565850000031
和
Figure BDA0002457565850000032
其中N＝H×W；将A′的转置与A进行矩阵相乘并应用softmax层得到一个空间特征权重图
Figure BDA00024575658500000310
公式如下：
Figure BDA0002457565850000034
A′i代表特征图A′第i位置上的向量，Aj代表特征图A第j位置上的向量，A′i·Aj则表示对A′i向量和Aj向量进行点乘操作，用来计算向量之间的相似性；表示sij代表特征图A第j位置向量和特征图A′第i位置向量的之间的相似性；
此外，F经过额外的1×1卷积层得到特征图
Figure BDA0002457565850000035
然后将B重塑至
Figure BDA0002457565850000036
对B和S的转置执行矩阵乘法并将结果还原至形状
Figure BDA0002457565850000037
得到融合后的特征图；将融合后的特征图乘以缩放因子α并将其与特征图F′进行逐元素求和运算，得到最终的输出特征图D，具体过程如下：
Figure BDA0002457565850000038
式中，α为可学习参数，初始设置为0且会随着训练过程逐渐增大，sij代表特征图A第j位置和特征图A′第i位置的之间的相似性，Bi代表特征图B上第i位置的向量，F′j代表特征图F′上第j位置的向量。从上述公式可以得出CSFF模块输出特征D中每个位置的特征是特征F与特征F’的加权和，因此它们具有全局感受野，能够获取任意位置的语义信息；跨层空间特征融合模块与原有多尺度特征融合模块的结合既保留原有模型从不同尺度特征提取信息的能力，又赋予了模型全局感受野，因此有效提升网络提取上下文语义信息的能力。
进一步地，所述语义分割分类层包括：第一层卷积层为卷积核尺寸为3×3的卷积核，负责对输出特征图中信息的提取，该卷积层后接BatchNorm批归一化层和ReLU非线性激活层；最后通过卷积核尺寸为1×1的分类层输出像素级的分类结果。
进一步地，步骤4中利用标注数据对所构建语义分割模型有监督训练，需要先对标注图像进行数据预处理工作；训练过程中学习率衰减策略采用poly策略，衰减系数为
Figure BDA0002457565850000039
其中iter为当前迭代数，total_iter为总迭代数；训练过程的优化器为带动量的批量SGD优化器，动量设置为0.9，权重衰减系数为0.001。
进一步地，所述数据预处理，具体为对图像进行随机水平翻转、对图像进行0.75倍至2倍尺度的随机缩放并且裁剪至768×768像素，最后进行图像归一化操作。
进一步地，步骤5中将待分割图像送入语义分割模型进行处理时，对图像进行归一化处理。
本发明与现有的技术相比，具有以下有益效果：
针对计算机视觉领域的语义分割任务的研究表明，尽可能多地获取图像特征图中的上下文信息能够有效提升语义分割模型的性能，得到更准确的图像分割结果。针对这个问题，本发明提出了一种基于空间特征融合的语义分割方法来使特征图上的像素根据语义相似性进行融合操作；与现有的获取上下文的语义信息方式相比，本发明提出的方法能使特征图上的每个像素通过计算语义相似度进行有权融合，从而获得全局感受野；这个方法大大增强了模型获取上下文语义信息的能力，有效提升了语义分割结果的准确度。
附图说明
图1为本发明一种基于空间特征融合的语义分割方法流程示意图。
图2为本发明方法整体网络结构示意图。
图3为本发明方法中的跨层空间特征模块结构示意图。
图4为本发明方法分割结果对比图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式做进一步详细描述。以下实例用于说明本发明，但不用来限制本发明的范围。
如图1所示，一种基于空间特征融合的语义分割方法有以下步骤：
步骤1，构建特征提取网络：选取图像分类网络Resnet作为特征提取网络的基础，将Resnet模型在图像分割数据集做预训练，预训练完成后移除Resnet模型的全局池化层、全连接层以及最后两个池化层。
特征提取网络主要承担了从原始的图像中提取高维的特征信息的任务，需要大量的带标签数据进行训练，然而语义分割任务的标注数据往往没有足够数量的标注数据来训练一个特征提取网络，因此需要采用图像分类数据集对特征提取网络进行预训练，本实施例中采用数据量大、类别丰富的ImageNet数据集进行预训练；预训练结束后，去除全局池化层和全连接层，使特征提取网络输出待分割图像的特征图，同时为了保持特征图的分辨率，去除Resnet网络最后两个池化层。
步骤2，在预训练后的特征提取网络添加多尺度特征融合模块，例如ASPP、PPM等。
带孔卷积空间金字塔(Atrous Sptial Pyramid Pooling，ASPP)是语义分割模型DeepLabV2中提出的多尺度特征融合模块，ASPP利用不同扩张比例的分离卷积来提取特征图中不同尺度的语义信息，最后通过一个卷积核尺寸为1×1的层融合各尺度分离卷积的特征图，达到融合多尺度特征的目的。
金字塔池化模块(Pyramid Pooling Module，PPM)则为语义分割模型PSPNet中提出的多尺度特征融合模块，PPM利用不同的池化层下采样之后上采样，产生不同粒度的特征图，以此提升模型提取多尺度信息的能力。
步骤3，在多尺度特征融合模块后添加跨层空间特征融合模块CSFF，最后再连接上语义分割分类层。
空间特征融合模块CSFF基于特征图之间的像素语义相似度对两个特征图进行融合，首先，
Figure BDA0002457565850000051
表示经特征提取网络提取的图像特征，经过多尺度特征融合的模块变换的特征图表示为
Figure BDA0002457565850000052
其中C和C′分别代表代表F和F′的通道数，H和W分别代表特征图的高和宽；F和F′分别通过卷积核数量为C/8的1×1卷积层进行变换以及重塑操作得到张量
Figure BDA0002457565850000053
和
Figure BDA0002457565850000054
其中N＝H×W；将A′的转置与A进行矩阵相乘并应用softmax层得到一个空间特征权重图
Figure BDA0002457565850000055
公式如下：
Figure BDA0002457565850000056
在这里，A′i代表特征图A′第i位置上的向量，Aj代表特征图A第j位置上的向量，A′i·Aj则表示对A′i向量和Aj向量进行点乘操作，用来计算向量之间的相似性；sij代表特征图A第j位置和特征图A′第i位置的之间的相似性，sij越大，可以认为A′的第i像素和A的第j像素的特征表示越相似，它们之间的相关性就越高；
此外，F经过额外的1×1卷积层得到特征图
Figure BDA0002457565850000057
然后将B重塑至
Figure BDA0002457565850000058
对B和S的转置执行矩阵乘法并将结果还原至形状
Figure BDA0002457565850000059
得到融合后的特征图；最终，将融合特征图乘以缩放因子α并将其与特征F′进行逐元素求和运算，得到最终的输出特征图D，具体过程如下：
Figure BDA00024575658500000510
在这里，α为可学习参数，它的初始设置为0且会随着训练过程逐渐增大；从上述公式可以得出CSFF模块输出特征D中每个位置的特征是特征F与特征F’的加权和，因此它们具有全局感受野，能够获取任意位置的语义信息；跨层空间特征融合模块与原有多尺度特征融合模块的结合既保留原有模型从不同尺度特征提取信息的能力，又赋予了模型全局感受野，因此有效提升网络提取上下文语义信息的能力。
最后添加在CSFF模块后方的语义分割分类层由连续两层卷积层组成，第一层卷积层为卷积核尺寸为3×3的卷积核，负责特征图信息的提取，该卷积层后接BatchNorm批归一化层和ReLU非线性激活层；最后通过卷积核尺寸为1×1的分类层输出像素级的分类结果。
步骤4，中利用标注数据对所构建语义分割模型有监督训练，需要先对标注图像进行数据预处理工作，具体为随机水平翻转、对图像进行[0.75，2]尺度的随机缩放并且裁剪至768×768像素以及图像归一化操作；训练过程中学习率衰减策略采用poly策略，衰减系数为
Figure BDA0002457565850000061
训练过程的优化器为带动量的批量SGD优化器，动量设置为0.9，权重衰减系数为0.001。
步骤4中采用的标注数据为CityScapes数据集，它是关于城市街道场景理解的数据集。Cityscapes包含50个城市不同场景、不同背景、不同季节的街景，提供5000张精细标注的图像、20000张粗略标注的图像、19类语义分割标注物体。Cityscapes数据集中的图像分辨率为2048×1024，5000张精细标注图像包含2975张训练图像，500验证图像和1525张测试图像，它采用PASCAL VOC标准的交并比(intersection-over-union，IoU)得分来对算法性能进行评价。
步骤5，将待分割图像送入语义分割模型进行处理，处理时，需对图像进行归一化处理。
为体现本发明的技术效果和优越性，下面将本发明提出的方法应用到实际例子当中，同时与其他同语义分割方法进行对比。
如表1所示，展示了在Cityscapes数据集的验证集上的测试结果。结果采用mIoU得分评价。表1可以看出，在三种不同的多尺度特征融合模块后添加CSFF模块均能有效提升语义分割模型的分割准确度。
表1 CSFF模块在Cityscapes数据集验证集上的实验结果对比
Figure BDA0002457565850000071
如表2所示，展示了不同语义分割方法在Cityscapes数据集的验证集上的测试结果。从表2可以看出，添加了CSFF模块的语义分割模型优于现存的许多基于深度学习的优秀语义分割模型。
表2本文方法与其他模型对比
Figure BDA0002457565850000072
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于空间特征融合的语义分割方法，其特征在于，包括以下步骤：
步骤1，构建特征提取网络：以图像分类网络Resnet作为特征提取网络的基础，将Resnet模型在图像分割数据集做预训练，预训练完成后移除Resnet模型的全局池化层、全连接层以及最后两个池化层；
步骤2，在预训练后的特征提取网络添加多尺度特征融合模块；
步骤3，在多尺度特征融合模块后添加跨层空间特征融合模块CSFF，最后再连接上语义分割分类层；
步骤4，将上述步骤构建的语义分割模型在语义相应的标注数据上进行有监督训练，训练结束后，利用标注数据的验证集对语义分割模型性能进行验证，得到最终的语义分割模型；
步骤5，采集待分割图像，将待分割图像送入分割模型进行处理，得到最终的分割结果。
2.根据权利要求1所述的一种基于空间特征融合的语义分割方法，其特征在于：对步骤1中所述的图像分类网络Resnet采用ImageNet数据集对其进行预训练；在进行预训练时，图像的特征图经过全局池化层转换为一维向量并且利用全连接层进行分类。
3.根据权利要求1所述的一种基于空间特征融合的语义分割方法，其特征在于：步骤2中所述多尺度特征融合模块为ASPP或PPM，ASPP利用不同尺度的分离卷积来提取特征图中不同尺度的语义信息；PPM利用不同的池化层下采样之后上采样，产生不同粒度的特征图。
4.根据权利要求1所述的一种基于空间特征融合的语义分割方法，其特征在于：步骤3中添加的跨层空间特征融合模块CSFF利用特征图之间像素的语义相似度对两个特征图进行融合，具体包括：
首先，
Figure FDA0002457565840000011
表示经特征提取网络提取的图像特征，在这里
Figure FDA0002457565840000012
表示特征的形状为C×H×W；经过多尺度特征融合模块变换的特征图表示为
Figure FDA0002457565840000013
其中C和C′分别代表F和F′的通道数，H和W分别代表特征图的高和宽；F和F′分别通过卷积核数量为C/8的1×1卷积层进行变换以及重塑操作得到张量
Figure FDA0002457565840000014
和
Figure FDA0002457565840000015
其中N＝H×W；将A′的转置与A进行矩阵相乘并应用softmax层得到一个空间特征权重图
Figure FDA0002457565840000016
公式如下:
Figure FDA0002457565840000017
A′i代表特征图A′第i位置上的向量，Aj代表特征图A第j位置上的向量，A′i·Aj则表示对A′i向量和Aj向量进行点乘操作，用来计算向量之间的相似性；sij代表特征图A第j位置向量和特征图A′第i位置向量的之间的相似性；
此外，F经过额外的1×1卷积层得到特征图
Figure FDA0002457565840000021
然后将B重塑至
Figure FDA0002457565840000022
对B和S的转置执行矩阵乘法并将结果还原至形状
Figure FDA0002457565840000023
得到融合后的特征图；将融合后的特征图乘以缩放因子α并将其与特征图F′进行逐元素求和运算，得到最终的输出特征图D，具体过程如下：
Figure FDA0002457565840000024
式中，α为可学习参数，初始设置为0且会随着训练过程逐渐增大，sij代表特征图A第j位置和特征图A′第i位置的之间的相似性，Bi代表特征图B上第i位置的向量，F′j代表特征图F′上第j位置的向量。
5.根据权利要求4所述的一种基于空间特征融合的语义分割方法，其特征在于：所述语义分割分类层包括：
第一层卷积层为卷积核尺寸为3×3的卷积核，负责对输出特征图D中的信息进行提取，该卷积层后接BatchNorm批归一化层和ReLU非线性激活层；最后通过卷积核尺寸为1×1的分类层输出像素级的分类结果。
6.根据权利要求1所述的一种基于空间特征融合的语义分割方法，其特征在于：步骤4中利用标注数据对所构建语义分割模型有监督训练，需要先对标注图像进行数据预处理工作；训练过程中学习率衰减策略采用poly策略，衰减系数为
Figure FDA0002457565840000025
其中iter为当前迭代数，total_iter为总迭代数；训练过程的优化器为带动量的批量SGD优化器，动量设置为0.9，权重衰减系数为0.001。
7.根据权利要求6所述的一种基于空间特征融合语义分割方法，其特征在于：所述数据预处理，具体为对图像进行随机水平翻转、对图像进行0.75倍至2倍尺度的随机缩放并且裁剪至768×768像素，最后进行图像归一化操作。
8.根据权利要求1所述的一种基于空间特征融合的语义分割方法，其特征在于：步骤5中将待分割图像送入语义分割模型进行处理时，对图像进行归一化处理。
CN202010310940.6A 2020-04-20 2020-04-20 一种基于空间信息融合的语义分割方法 Active CN111563508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310940.6A CN111563508B (zh) 2020-04-20 2020-04-20 一种基于空间信息融合的语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310940.6A CN111563508B (zh) 2020-04-20 2020-04-20 一种基于空间信息融合的语义分割方法

Publications (2)

Publication Number Publication Date
CN111563508A true CN111563508A (zh) 2020-08-21
CN111563508B CN111563508B (zh) 2023-05-23

Family

ID=72074355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310940.6A Active CN111563508B (zh) 2020-04-20 2020-04-20 一种基于空间信息融合的语义分割方法

Country Status (1)

Country Link
CN (1) CN111563508B (zh)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233129A (zh) * 2020-10-20 2021-01-15 湘潭大学 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN112241762A (zh) * 2020-10-19 2021-01-19 吉林大学 一种用于病虫害图像分类的细粒度识别方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112348830A (zh) * 2020-11-05 2021-02-09 上海应用技术大学 基于改进3D U-Net的多器官分割方法
CN112365501A (zh) * 2021-01-13 2021-02-12 南京理工大学 一种基于卷积神经网络的焊件轮廓检测算法
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112418227A (zh) * 2020-10-28 2021-02-26 北京工业大学 基于双自注意力机制的监控视频卡车分割方法
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112488132A (zh) * 2020-12-18 2021-03-12 贵州大学 一种基于语义特征增强的细粒度图像分类方法
CN112529081A (zh) * 2020-12-11 2021-03-19 大连大学 基于高效注意力校准的实时语义分割方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN112580649A (zh) * 2020-12-15 2021-03-30 重庆邮电大学 一种基于区域上下文关系模块的语义分割方法
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112634291A (zh) * 2020-12-31 2021-04-09 杭州电子科技大学 一种基于神经网络的烧伤创面区域自动分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通（北京）科技有限公司 一种基于直线分割的表格图像配准方法
CN112818999A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN113076904A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的室外停车场空余车位检测方法
CN113096133A (zh) * 2021-04-30 2021-07-09 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的语义分割网络的构建方法
CN113255678A (zh) * 2021-06-17 2021-08-13 云南航天工程物探检测股份有限公司 一种基于语义分割的道路裂缝自动识别方法
CN113255676A (zh) * 2021-05-21 2021-08-13 福州大学 基于多源数据融合的高分遥感影像语义分割模型及方法
CN113269786A (zh) * 2021-05-19 2021-08-17 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
CN113392840A (zh) * 2021-05-20 2021-09-14 大连大学 基于多尺度分割融合的实时语义分割方法
CN113469099A (zh) * 2021-07-13 2021-10-01 北京航科威视光电信息技术有限公司 目标检测模型的训练方法、检测方法、装置、设备及介质
CN113554655A (zh) * 2021-07-13 2021-10-26 中国科学院空间应用工程与技术中心 基于多特征增强的光学遥感图像分割方法及装置
CN113593525A (zh) * 2021-01-26 2021-11-02 腾讯科技（深圳）有限公司 口音分类模型训练和口音分类方法、装置和存储介质
CN113610097A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于多尺度相似指导网络的sar舰船目标分割方法
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
CN113723474A (zh) * 2021-08-12 2021-11-30 浙江云澎科技有限公司 一种跨通道聚合相似性网络系统
CN113762396A (zh) * 2021-09-10 2021-12-07 西南科技大学 一种二维图像语义分割方法
CN114037674A (zh) * 2021-11-04 2022-02-11 天津大学 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN114140524A (zh) * 2021-11-10 2022-03-04 国网辽宁省电力有限公司电力科学研究院 一种多尺度特征融合的闭环检测系统及方法
CN114332800A (zh) * 2022-03-09 2022-04-12 西南石油大学 一种用于自动驾驶的街道场景解析语义分割方法
CN114387278A (zh) * 2020-10-21 2022-04-22 沈阳航空航天大学 基于rgb-d的相同形状不同尺寸目标的语义分割方法
CN114495571A (zh) * 2022-04-18 2022-05-13 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
CN114581671A (zh) * 2022-04-24 2022-06-03 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN114596273A (zh) * 2022-03-02 2022-06-07 江南大学 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN115131558A (zh) * 2022-06-10 2022-09-30 华南理工大学 一种少样本环境下的语义分割方法
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN116152497A (zh) * 2023-02-24 2023-05-23 智慧眼科技股份有限公司 一种语义分割模型优化方法及系统
CN117408957A (zh) * 2023-10-13 2024-01-16 中车工业研究院有限公司 一种非接触式弓网偏移状态监测方法及装置
WO2024113287A1 (zh) * 2022-11-30 2024-06-06 华为技术有限公司 标注方法与标注装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325534A (zh) * 2018-09-22 2019-02-12 天津大学 一种基于双向多尺度金字塔的语义分割方法
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325534A (zh) * 2018-09-22 2019-02-12 天津大学 一种基于双向多尺度金字塔的语义分割方法
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241762A (zh) * 2020-10-19 2021-01-19 吉林大学 一种用于病虫害图像分类的细粒度识别方法
CN112233129A (zh) * 2020-10-20 2021-01-15 湘潭大学 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN114387278A (zh) * 2020-10-21 2022-04-22 沈阳航空航天大学 基于rgb-d的相同形状不同尺寸目标的语义分割方法
CN112418227A (zh) * 2020-10-28 2021-02-26 北京工业大学 基于双自注意力机制的监控视频卡车分割方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112348830A (zh) * 2020-11-05 2021-02-09 上海应用技术大学 基于改进3D U-Net的多器官分割方法
CN112348830B (zh) * 2020-11-05 2023-09-19 上海应用技术大学 基于改进3D U-Net的多器官分割方法
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112419333B (zh) * 2020-11-17 2022-04-29 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112419333A (zh) * 2020-11-17 2021-02-26 武汉大学 一种遥感影像自适应特征选择分割方法及系统
CN112529081A (zh) * 2020-12-11 2021-03-19 大连大学 基于高效注意力校准的实时语义分割方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN112541503B (zh) * 2020-12-11 2022-08-26 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN112529081B (zh) * 2020-12-11 2023-11-07 大连大学 基于高效注意力校准的实时语义分割方法
CN112580484A (zh) * 2020-12-14 2021-03-30 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112580484B (zh) * 2020-12-14 2024-03-29 中国农业大学 基于深度学习的遥感影像玉米秸秆覆盖识别方法及装置
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112580649A (zh) * 2020-12-15 2021-03-30 重庆邮电大学 一种基于区域上下文关系模块的语义分割方法
CN112488132A (zh) * 2020-12-18 2021-03-12 贵州大学 一种基于语义特征增强的细粒度图像分类方法
CN112598650A (zh) * 2020-12-24 2021-04-02 苏州大学 眼底医学影像中视杯视盘的联合分割方法
CN112614112B (zh) * 2020-12-24 2023-05-12 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法
CN112634291A (zh) * 2020-12-31 2021-04-09 杭州电子科技大学 一种基于神经网络的烧伤创面区域自动分割方法
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN112365501A (zh) * 2021-01-13 2021-02-12 南京理工大学 一种基于卷积神经网络的焊件轮廓检测算法
CN113593525A (zh) * 2021-01-26 2021-11-02 腾讯科技（深圳）有限公司 口音分类模型训练和口音分类方法、装置和存储介质
CN112818999A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN112818999B (zh) * 2021-02-10 2022-10-28 桂林电子科技大学 一种基于卷积神经网络的复杂场景3d点云语义分割方法
CN112819871B (zh) * 2021-03-02 2023-08-18 华融融通（北京）科技有限公司 一种基于直线分割的表格图像配准方法
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通（北京）科技有限公司 一种基于直线分割的表格图像配准方法
CN113076904B (zh) * 2021-04-15 2022-11-29 华南理工大学 一种基于深度学习的室外停车场空余车位检测方法
CN113076904A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的室外停车场空余车位检测方法
CN113096133A (zh) * 2021-04-30 2021-07-09 佛山市南海区广工大数控装备协同创新研究院 一种基于注意力机制的语义分割网络的构建方法
CN113269786A (zh) * 2021-05-19 2021-08-17 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
CN113392840B (zh) * 2021-05-20 2023-07-25 大连大学 基于多尺度分割融合的实时语义分割方法
CN113392840A (zh) * 2021-05-20 2021-09-14 大连大学 基于多尺度分割融合的实时语义分割方法
CN113255676A (zh) * 2021-05-21 2021-08-13 福州大学 基于多源数据融合的高分遥感影像语义分割模型及方法
CN113255678A (zh) * 2021-06-17 2021-08-13 云南航天工程物探检测股份有限公司 一种基于语义分割的道路裂缝自动识别方法
CN113469099B (zh) * 2021-07-13 2024-03-15 北京航科威视光电信息技术有限公司 目标检测模型的训练方法、检测方法、装置、设备及介质
CN113469099A (zh) * 2021-07-13 2021-10-01 北京航科威视光电信息技术有限公司 目标检测模型的训练方法、检测方法、装置、设备及介质
CN113554655A (zh) * 2021-07-13 2021-10-26 中国科学院空间应用工程与技术中心 基于多特征增强的光学遥感图像分割方法及装置
CN113610097B (zh) * 2021-08-09 2023-05-05 西安电子科技大学 基于多尺度相似指导网络的sar舰船目标分割方法
CN113610097A (zh) * 2021-08-09 2021-11-05 西安电子科技大学 基于多尺度相似指导网络的sar舰船目标分割方法
CN113723474A (zh) * 2021-08-12 2021-11-30 浙江云澎科技有限公司 一种跨通道聚合相似性网络系统
CN113705641A (zh) * 2021-08-16 2021-11-26 武汉大学 基于富上下文网络的高光谱图像分类方法
WO2023019698A1 (zh) * 2021-08-16 2023-02-23 武汉大学 基于富上下文网络的高光谱图像分类方法
US11941865B2 (en) 2021-08-16 2024-03-26 Wuhan University Hyperspectral image classification method based on context-rich networks
CN113705641B (zh) * 2021-08-16 2023-11-10 武汉大学 基于富上下文网络的高光谱图像分类方法
CN113762396A (zh) * 2021-09-10 2021-12-07 西南科技大学 一种二维图像语义分割方法
CN114037674A (zh) * 2021-11-04 2022-02-11 天津大学 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN114037674B (zh) * 2021-11-04 2024-04-26 天津大学 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN114140524A (zh) * 2021-11-10 2022-03-04 国网辽宁省电力有限公司电力科学研究院 一种多尺度特征融合的闭环检测系统及方法
CN114140524B (zh) * 2021-11-10 2024-08-23 国网辽宁省电力有限公司电力科学研究院 一种多尺度特征融合的闭环检测系统及方法
CN114596273A (zh) * 2022-03-02 2022-06-07 江南大学 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN114332800A (zh) * 2022-03-09 2022-04-12 西南石油大学 一种用于自动驾驶的街道场景解析语义分割方法
CN114495571A (zh) * 2022-04-18 2022-05-13 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
CN114581671B (zh) * 2022-04-24 2024-09-06 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN114581671A (zh) * 2022-04-24 2022-06-03 湖南师范大学 一种图像的语义分割方法、装置及计算机可读存储介质
CN115131558A (zh) * 2022-06-10 2022-09-30 华南理工大学 一种少样本环境下的语义分割方法
CN115131558B (zh) * 2022-06-10 2024-05-14 华南理工大学 一种少样本环境下的语义分割方法
CN115578360B (zh) * 2022-10-24 2023-12-26 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法
WO2024113287A1 (zh) * 2022-11-30 2024-06-06 华为技术有限公司 标注方法与标注装置
CN116152497A (zh) * 2023-02-24 2023-05-23 智慧眼科技股份有限公司 一种语义分割模型优化方法及系统
CN116152497B (zh) * 2023-02-24 2024-02-27 智慧眼科技股份有限公司 一种语义分割模型优化方法及系统
CN117408957B (zh) * 2023-10-13 2024-06-11 中车工业研究院有限公司 一种非接触式弓网偏移状态监测方法及装置
CN117408957A (zh) * 2023-10-13 2024-01-16 中车工业研究院有限公司 一种非接触式弓网偏移状态监测方法及装置

Also Published As

Publication number Publication date
CN111563508B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111563508B (zh) 一种基于空间信息融合的语义分割方法
CN112634276B (zh) 一种基于多尺度视觉特征提取的轻量级语义分割方法
CN111275711B (zh) 基于轻量级卷积神经网络模型的实时图像语义分割方法
US20230186056A1 (en) Grabbing detection method based on rp-resnet
CN111612008B (zh) 基于卷积网络的图像分割方法
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN111259786A (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN112163498B (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN112364699B (zh) 基于加权损失融合网络的遥感图像分割方法、装置及介质
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN113642390A (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN111310766A (zh) 基于编解码和二维注意力机制的车牌识别方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法
CN113837290A (zh) 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN114049541A (zh) 基于结构化信息特征解耦与知识迁移的视觉场景识别方法
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN116363750A (zh) 人体姿态预测方法、装置、设备及可读存储介质
CN114550014A (zh) 道路分割方法及计算机装置
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN116977712B (zh) 基于知识蒸馏的道路场景分割方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant