CN113449735A - 一种超像素分割的语义分割方法及装置 - Google Patents

一种超像素分割的语义分割方法及装置 Download PDF

Info

Publication number
CN113449735A
CN113449735A CN202110802462.5A CN202110802462A CN113449735A CN 113449735 A CN113449735 A CN 113449735A CN 202110802462 A CN202110802462 A CN 202110802462A CN 113449735 A CN113449735 A CN 113449735A
Authority
CN
China
Prior art keywords
image
segmentation
feature
pixel
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110802462.5A
Other languages
English (en)
Other versions
CN113449735B (zh
Inventor
许海涛
许金燕
林福宏
周贤伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110802462.5A priority Critical patent/CN113449735B/zh
Publication of CN113449735A publication Critical patent/CN113449735A/zh
Application granted granted Critical
Publication of CN113449735B publication Critical patent/CN113449735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种超像素分割的语义分割方法及装置，属于计算机视觉技术领域。该方法及装置为应用于机器人SLAM系统的高效语义分割方法。其中方法包括：提出一种多分支结合的特征提取算法模型，将图像通过不同的神经网络，获得两分支的特征图；设计了新型特征融合模块，使用一个卷积网络以训练学习如何叠加这两个网络来融合不同尺寸的特征，整合空间信息和语义信息；提出使用改进的超像素分割模块来获取边界分割细节，保留了图像的局部信息，又降低了图像分割的计算复杂度来辅助解决边界分割不精确的问题，以此来提高语义分割中的小目标的精确度，获得最终语义分割结果。

Description

一种超像素分割的语义分割方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别是指一种超像素分割的语义分割的方法及装置。
背景技术
基于深度学习的图像语义分割方法可以有效提取图像丰富的利用深层计算模型来学习抽象的图像特征，可以有效提取图像中丰富的低级、中级、高级语义信息，并将语义信息结合分类器进行像素分类，因此通过研究实时高精度图像语义分割方法对具体场景进行语义分割，提取场景的语义信息，捕获上下文的信息，提高分割效果，具有提高工业生产效率、提高用户应用体验、降低设备成本的意义。对于VSLAM系统来说，研究将场景的语义信息应用其中，指导系统的特征选择，可以提高SLAM系统的鲁棒性，提升机器人人机交互能力。
现有的语义分割方法在图像整体分割准确率上已经到达相当不错的水平，但是现有的语义分割方法还面临着许多挑战，例如物体之间的重叠和遮挡使得物体的边缘不能清晰辨认、低层特征包含丰富的空间信息，高层的图像特征包含丰富的语义信息，两者应该如何融合等。
由于神经网络的发展,当前主流方法均采用了深度神经网络作为其主要框架,进一步提升性能，但是仍然存在物体边缘分割不清晰的问题。
发明内容
本发明实施例提供了一种超像素分割的语义分割方法及装置。所述技术方案如下：
一方面，提供了一种超像素分割的语义分割方法，该方法包括：
S1：将待分割图像分别输入语义分割模型的三个分支；
S2：通过第一分支以及第二分支对待分割图像分别进行特征提取；通过第一分支的特征提取层输出第一特征图；通过第二分支的特征提取层输出第二特征图；
S3：将第一特征图以及第二特征图进行特征融合，得到融合特征图；
S4：对融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
S5：通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像；
S6：通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块；
S7：将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图。
可选地，通过第一分支以及第二分支对待分割图像分别进行特征提取，通过第一分支的特征提取层输出第一特征图，通过第二分支的特征提取层输出第二特征图，包括：
S21：将待分割图像输入第一分支，通过卷积神经网络对待分割图像进行特征提取，输出第一特征图；
S22：将待分割图像输入第二分支，通过ResNet-34网络对待分割图像进行特征提取，输出第二特征图。
可选地，将第一特征图以及第二特征图进行特征融合，得到融合特征图，包括：
S31：通过双线性插值法对第二特征图进行上采样，得到与第一特征图相同空间大小的上采样图；
S32：将第一特征图以及上采样图在尺度空间纵向联接；
S33：通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
S34：通过批量归一化BN层以及线性整流函数ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
可选地，通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像，包括：
S51：在待分割图像上选取一像素点作为样本，计算样本均值m(x)；
S52：计算样本均值以及与像素点相邻的像素点之间的偏移量，m(x)_xi；
S53：当像素点与样本均值之间的偏移量小于给定误差ε，结束循环；
否则，令xi＝m(x)，重复执行S51-S53。
可选地，通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块，包括：
S61：根据要分割的超像素区域数k，进行聚类中心的初始化，其中，多个聚类中心在图像中均匀分布，聚类点之间的间隔为S：
Ck＝[lk，ak，bk，xk，yk]T
(1)
其中，Ck为聚类中心，lk、ak、bk为Lab颜色空间中的分量；xk、yk为Ck在图像中的的横、纵坐标；
S62：遍历计算每个聚类中心的邻域像素点i的梯度大小，选择梯度最小的领域像素点i的位置取代上一个聚类中心；
S63：计算每个聚类中心与领域像素点i的距离，通过K-means算法迭代更新聚类中心；
S64：重复执行S61-S63，直至每个聚类中心的位置不再变化或达到预设的迭代次数，迭代停止；初步得到超像素；
S65：对初步得到的超像素进行多层迭代合并；
S66：计算超像素及其邻近超像素之间的色差
Figure BDA0003165172130000031
设定阈值
Figure BDA0003165172130000032
对色差
Figure BDA0003165172130000033
小于阈值
Figure BDA0003165172130000034
的超像素进行多层级迭代合并，生成像素块。
可选地，计算每个聚类中心与领域像素点i的距离，包括：
Figure BDA0003165172130000035
Figure BDA0003165172130000036
Figure BDA0003165172130000037
其中，Ck为聚类中某点与中心点的距离；dc表示颜色聚类距离；ds表示根据空间距离聚类；dt为通过纹理特征计算出的纹理距离；li、ai、bi分别为点i在Lab色彩空间下的值；lj、aj、bj分别为点j在Lab色彩空间下的值；xi、yi为点i在图像中的空间位置；xj、yj为点j在图像中的空间位置；m为空间和像素颜色的相对重要性的度量。
可选地，将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图，包括：
S71：对初步分割图像划分出需要优化的标签像素，通过掩膜对标签像素的覆盖率进行计算；
S72：当掩膜内只包含单标签像素，且覆盖率大于90％时，则将掩膜内的所有像素设置为标签像素；
S73：当掩膜内包含多标签像素时，通过计算每种标签像素的覆盖率，选择总覆盖率最大的标签像素填充掩膜内像素；
S74：生成最终优化后的语义分割图。
一方面，提供了一种超像素分割的语义分割装置，该装置应用于上述的超像素分割的语义分割方法；包括：
特征提取模块，用于通过第一分支以及第二分支对待分割图像分别进行特征提取；通过第一分支的特征提取层输出第一特征图；通过第二分支的特征提取层输出第二特征图；
特征融合模块，用于将第一特征图以及第二特征图进行特征融合，得到融合特征图；
插值放大模块，用于对融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
预处理模块，用于通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像；
超像素分割模块，用于通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块；
边缘优化模块，用于将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图。
可选地，特征提取模块包括：
卷积神经网络，用于对输入第一分支的待分割图像进行特征提取，输出第一特征图；
ResNet-34网络，用于对输入第二分支的待分割图像进行特征提取，输出第二特征图。
可选地，特征融合模块包括：
上采样子模块，用于通过双线性插值法对第二特征图进行上采样，得到与第一特征图相同空间大小的上采样图；
联接层，用于将第一特征图以及上采样图在尺度空间纵向联接；
信息整合子模块，用于通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
特征叠加子模块，用于通过BN层以及ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
本发明实施例提供的技术方案带来的有益效果至少包括：
上述方案中，通过语义分割模型得到初始的分割结果图，使用改进的超像素分割模块来获取边界分割细节，保留了图像的局部信息，又降低了图像分割的计算复杂度来辅助解决边界分割不精确的问题，提高了语义分割中的小目标的精确度；利用超像素分割图对粗糙结果图进行边缘优化，这样可以让网络充分的学习全局信息，获得最终语义分割结果。本发明提供的方法不仅能提供丰富准确的图像边缘信息，并对预测结果进行优化，还能大大提高分割算法的运行效率，有效的融合低层和高层的图像特征。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种超像素分割的语义分割方法的语义分割优化系统模型图；
图2是本发明实施例提供的一种超像素分割的语义分割方法的特征提取流程图；
图3是本发明实施例提供的一种超像素分割的语义分割方法的特征融合流程图；
图4是本发明实施例提供的一种超像素分割的语义分割方法的预处理流程图；
图5是本实施例提供的一种超像素分割的语义分割方法的超像素分割MTS算法图；
图6是本实施例提供的一种超像素分割的语义分割方法的边缘优化流程图；
图7是本实施例提供的一种超像素分割的语义分割装置的语义分割装置框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种超像素分割的语义分割方法及装置，该方法及装置主要是应用于机器人SLAM(Simultaneous localization and mapping，同步定位与建图)系统的高效语义分割方法，针对机器人SLAM系统构建语义地图语义信息缺失的问题，提出一种高效语义分割算法，提高机器人语义认知能力。如图1所示，为该方法的语义分割优化系统模型图。该方法包括：
S1：将待分割图像分别输入语义分割模型的三个分支；
S2：通过第一分支以及第二分支对待分割图像分别进行特征提取；通过第一分支的特征提取层输出第一特征图；通过第二分支的特征提取层输出第二特征图；
S3：将第一特征图以及第二特征图进行特征融合，得到融合特征图；
S4：对融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
S5：通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像；
S6：通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块；
S7：将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图。
在本实施例中，提出一种将SLIC算法和图像纹理特征结合的T-SLIC算法，首先经过Mean shift算法预处理，均值漂移后去除细小噪声点，然后进行超像素分割，为了解决SLIC算法对对纹理不敏感和边缘纹理复杂区域分割不精确的问题；提出了MTS算法和语义分割模型相结合的新型语义分割优化模型，进一步提高对细小目标的边缘分割能力，提升机器人SLAM系统对语义信息的理解。
如图2所示，为本实施例的特征提取流程图。通过第一分支以及第二分支对待分割图像分别进行特征提取；通过第一分支的特征提取层输出第一特征图，通过第二分支的特征提取层输出第二特征图，包括：
S21：将待分割图像输入第一分支，通过卷积神经网络对待分割图像进行特征提取，输出第一特征图；
S22：将待分割图像输入第二分支，通过ResNet-34网络对待分割图像进行特征提取，输出第二特征图。
在本实施例中，输入图像至语义分割优化系统模型的神经网络框架，由于SLAM系统要求语义分割的实时性较高，因此本发明将待分割图像分为三个分支输入。
第一个分支输入到一个层数少的卷积神经网络CNN中。该网络只有4层，前3层的每一层包含一个步长为2的卷积层，每一个卷积层都有对应的批量归一化层BN和激活层ReLU；最后一层为一个“1x1”的卷积层，在保持特征图尺寸不变的情况下增加网络的线性特性，可增加网络的维度。
这样的设计能保证丰富的空间信息不丢失，由于网络结构被简化，提高了实时性。若输入的待分割图像的原始尺寸为W*H，输出的第一特征图的尺寸为原始待分割图像尺寸的W*H/8。
对于第二分支，本发明采用ResNet-34网络去除最大池化层和全连接层，将它分为五个模块，conv、Block1表示浅层、Block2表示中层、Block3和Block4表示高层特征提取模块，高层特征作为语义上下文信息提取模块的输入特征。为了提升网络的感受野，将ResNet-34网络的后两个模块Block3和Block4中的普通卷积替换为扩张卷积，这里的扩张卷积与普通卷积具有相同的参数，扩张率分别为2和4。在ResNet-34中，所有模块存在一个步长为2的卷积，使得最终输出的特征图大小为原始的待分割图像的1/32，由此得到第二特征图。
如图3所示，为本实施例的特征融合流程图。将第一特征图以及第二特征图进行特征融合，得到融合特征图，包括：
S31：通过双线性插值法对第二特征图进行上采样，得到与第一特征图相同空间大小的上采样图；
S32：将第一特征图以及上采样图在尺度空间纵向联接；
S33：通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
S34：通过批量归一化BN层以及线性整流函数ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
本实施例中，提出一种新型的特征融合结构，将不同尺寸的特征图进行特征融合。设计了一个卷积网络以训练学习如何叠加这两个网络来进行特征融合。如图2所示，为特征融合网络架构图。
本发明算法网络先将两路网络的输出在尺度空间上级联，通过双线性插值法对第二特征图进行上采样率为2的上采样，得到与第一特征图相同空间大小的上采样图，这样就可以在尺度空间上将上采样图与第一特征图纵向连接起来，利用一个“1x1”的卷积网络来实现第一特征图和上采样图的信息整合，然后使用对应的BN层和ReLU层来平衡特征的尺度；接着将特征权重与特征图相加，得到融合特征图。
对步骤S3得到的融合特征图进行双线性插值放大8倍后得到与原始的待分割图像大小相等的初步分割图像。
在本实施例中，通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像，包括：
S51：在待分割图像上选取一像素点作为样本，计算样本均值m(x)；
S52：计算样本均值以及与像素点相邻的像素点之间的偏移量，m(x)-xi；
S53：当像素点与样本均值之间的偏移量小于给定误差ε，结束循环；
否则，令xi＝m(x)，重复执行S51-S53。
在本实施例中，如图4所示，为本实施例的预处理流程图。经过Mean shift算法均值漂移后去除细小噪声点。
通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块，包括：
S61：根据要分割的超像素区域数k，进行聚类中心的初始化，其中，多个聚类中心在图像中均匀分布，聚类点之间的间隔为S：
Ck＝[lk，ak，bk，xk，yk]T (1)
其中，Ck为聚类中心，lk、ak、bk为Lab颜色空间中的分量；xk、yk为Ck在图像中的的横、纵坐标；
S62：遍历计算每个聚类中心的邻域像素点i的梯度大小，选择梯度最小的领域像素点i的位置取代上一个聚类中心；
S63：计算每个聚类中心与领域像素点i的距离，通过K-means算法迭代更新聚类中心；
S64：重复执行S61-S63，直至每个聚类中心的位置不再变化或达到预设的迭代次数，迭代停止；初步得到超像素；
S65：对初步得到的超像素进行多层迭代合并；
S66：计算超像素及其邻近超像素之间的色差
Figure BDA0003165172130000091
设定阈值
Figure BDA0003165172130000092
对色差
Figure BDA0003165172130000093
小于阈值
Figure BDA0003165172130000094
的超像素进行多层级迭代合并，生成像素块。
在本实施例中，如图5所示，为本实施例的超像素分割MTS算法图。本发明提出的方法避免了在同一目标区域内确定过多聚类中心而导致过分割问题，利用超像素分割能将图像中颜色、纹理等属性相似的像素集合成超像素；为了解决SLIC算法对对纹理不敏感和边缘纹理复杂区域分割不精确的问题，超像素分割提供了丰富准确的图像边缘信息，还能大大提高分割算法的运行效率。
在本实施例中，在聚类时，综合考虑像素点与周围种子点的纹理、颜色和空间特征向量的距离，将像素点划分到特征向量距离最小的种子点中。本发明提出一种新的计算距离公式为：
计算每个聚类中心与领域像素点i的距离：
Figure BDA0003165172130000101
Figure BDA0003165172130000102
Figure BDA0003165172130000103
其中，Ck为聚类中某点与中心点的距离；dc表示颜色聚类距离；ds表示根据空间距离聚类；dt为通过纹理特征计算出的纹理距离；li、ai、bi分别为点i在Lab色彩空间下的值；lj、aj、bj分别为点j在Lab色彩空间下的值；xi、yi为点i在图像中的空间位置；xj、yj为点j在图像中的空间位置；m为空间和像素颜色的相对重要性的度量。
在本实施例中，需要计算超像素及其邻近的超像素之间的色差
Figure BDA0003165172130000104
设定一个阈值
Figure BDA0003165172130000105
对色差
Figure BDA0003165172130000106
小于阈值
Figure BDA0003165172130000107
的超像素进行多层级迭代合并。对于每一个超像素，其颜色均值的计算公式如下：
Figure BDA0003165172130000108
其中，
Figure BDA0003165172130000109
分别为超像素i中所有像素在l，a，b通道上的均值。
如图6所示，为本实施例的边缘优化流程图。将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图，包括：
S71：对初步分割图像划分出需要优化的标签像素，通过掩膜对标签像素的覆盖率进行计算；
S72：当掩膜内只包含单标签像素，且覆盖率大于90％时，则将掩膜内的所有像素设置为标签像素；
S73：当掩膜内包含多标签像素时，通过计算每种标签像素的覆盖率，选择总覆盖率最大的标签像素填充掩膜内像素；
S74：生成最终优化后的语义分割图。
本实施例中，提出一种生成掩膜的融合多层迭代合并的超像素分割方法为MTS算法。避免了在同一目标区域内确定过多聚类中心而导致的过分割现象，在继承SLIC方法简单、实用等优点的同时进一步提高了分割精度。
利用掩膜进行优化时总体可以分为两种情况，即标签像素在掩膜内和不在掩膜内。其中，若标签像素不在掩膜内可以直接忽略。
当标签像素在掩膜内也可以分为两种情况：即包含单标签像素和包含多标签像素；只包含单标签像素时，通过计算标签像素的覆盖率，若标签像素覆盖率大于90％，则将掩膜内所有像素设置为标签像素，若小于90％直接忽略。包含多标签像素时，首先计算每种标签像素的覆盖率，若总覆盖率小于90％直接忽略，反之利用覆盖率最大的标签像素填充掩膜内像素。
本发明实施例提供一种超像素分割的语义分割装置，该装置应用于上述的超像素分割的语义分割方法；如图7所示，为本实施例的语义分割装置框图，包括：
特征提取模块，用于通过第一分支以及第二分支对待分割图像分别进行特征提取；通过第一分支的特征提取层输出第一特征图；通过第二分支的特征提取层输出第二特征图；
特征融合模块，用于将第一特征图以及第二特征图进行特征融合，得到融合特征图；
插值放大模块，用于对融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
预处理模块，用于通过第三分支对待分割图像进行Mean shift算法预处理，得到预处理后的图像；
超像素分割模块，用于通过超像素分割模块对预处理后的图像提取图像的边缘信息，得到n个像素块；
边缘优化模块，用于将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图。
特征融合模块包括：
卷积神经网络，用于对输入第一分支的待分割图像进行特征提取，输出第一特征图；
ResNet-34网络，用于对输入第二分支的待分割图像进行特征提取，输出第二特征图。
特征融合模块包括：
上采样子模块，用于通过双线性插值法对第二特征图进行上采样，得到与第一特征图相同空间大小的上采样图；
联接层，用于将第一特征图以及上采样图在尺度空间纵向联接；
信息整合子模块，用于通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
特征叠加子模块，用于通过BN层以及ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
本实施例中，通过语义分割模型得到初始的分割结果图，利用超像素分割模块图对粗糙结果图进行边缘优化，这样可以让网络充分的学习全局信息，最终得到完整的分割结果图。不仅能提供丰富准确的图像边缘信息对预测结果进行优化，还能大大提高分割算法的运行效率，有效的融合低层和高层的图像特征。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种超像素分割的语义分割方法，其特征在于，所述方法包括：
S1：将待分割图像分别输入语义分割模型的三个分支；
S2：通过第一分支以及第二分支对所述待分割图像分别进行特征提取；通过所述第一分支的特征提取层输出第一特征图；通过所述第二分支的特征提取层输出第二特征图；
S3：将所述第一特征图以及第二特征图进行特征融合，得到融合特征图；
S4：对所述融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
S5：通过第三分支对所述待分割图像进行Mean shift算法预处理，得到预处理后的图像；
S6：通过超像素分割模块对所述预处理后的图像提取图像的边缘信息，得到n个像素块；
S7：将所述n个像素块作为掩膜，通过每块掩膜对所述初步分割图像进行边缘优化，得到最终分割图。
2.根据权利要求1所述的超像素分割的语义分割方法，其特征在于，所述通过第一分支以及第二分支对所述待分割图像分别进行特征提取，通过所述第一分支的特征提取层输出第一特征图，通过所述第二分支的特征提取层输出第二特征图，包括：
S21：将待分割图像输入第一分支，通过卷积神经网络对待分割图像进行特征提取，输出第一特征图；
S22：将待分割图像输入第二分支，通过ResNet-34网络对待分割图像进行特征提取，输出第二特征图。
3.根据权利要求1所述的超像素分割的语义分割方法，其特征在于，所述将所述第一特征图以及第二特征图进行特征融合，得到融合特征图，包括：
S31：通过双线性插值法对第二特征图进行上采样，得到与所述第一特征图相同空间大小的上采样图；
S32：将第一特征图以及上采样图在尺度空间纵向联接；
S33：通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
S34：通过批量归一化BN层以及线性整流函数ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
4.根据权利要求1所述的超像素分割的语义分割方法，其特征在于，所述通过第三分支对所述待分割图像进行Mean shift算法预处理，得到预处理后的图像，包括：
S51：在待分割图像上选取一像素点作为样本，计算样本均值m(x)；
S52：计算样本均值以及与所述像素点相邻的像素点之间的偏移量，m(x)-xi；
S53：当像素点与样本均值之间的偏移量小于给定误差ε，结束循环；否则，令xi＝m(x)，重复执行S51-S53。
5.根据权利要求1所述的超像素分割的语义分割方法，其特征在于，所述通过超像素分割模块对所述预处理后的图像提取图像的边缘信息，得到n个像素块，包括：
S61：根据要分割的超像素区域数k，进行聚类中心的初始化，其中，多个聚类中心在图像中均匀分布，聚类点之间的间隔为S：
Ck＝[lk，ak，bk，xk，yk]T (1)
其中，Ck为聚类中心，lk、ak、bk为Lab颜色空间中的分量；xk、yk为Ck在图像中的的横、纵坐标；
S62：遍历计算每个聚类中心的邻域像素点i的梯度大小，选择梯度最小的领域像素点i的位置取代上一个聚类中心；
S63：计算每个聚类中心与领域像素点i的距离，通过K-means算法迭代更新聚类中心；
S64：重复执行S61-S63，直至每个聚类中心的位置不再变化或达到预设的迭代次数，迭代停止；初步得到超像素；
S65：对初步得到的超像素进行多层迭代合并；
S66：计算超像素及其邻近超像素之间的色差
Figure FDA0003165172120000031
设定阈值
Figure FDA0003165172120000032
对色差
Figure FDA0003165172120000033
小于阈值
Figure FDA0003165172120000034
的超像素进行多层级迭代合并，生成像素块。
6.根据权利要求5所述的超像素分割的语义分割方法，其特征在于，所述计算每个聚类中心与领域像素点i的距离，包括：
Figure FDA0003165172120000035
Figure FDA0003165172120000036
Figure FDA0003165172120000037
其中，Ck为聚类中某点与中心点的距离；dc表示颜色聚类距离；ds表示根据空间距离聚类；dt为通过纹理特征计算出的纹理距离；li、ai、bi分别为点i在Lab色彩空间下的值；lj、aj、bj分别为点j在Lab色彩空间下的值；xi、yi为点i在图像中的空间位置；xj、yj为点j在图像中的空间位置；m为空间和像素颜色的相对重要性的度量。
7.根据权利要求1所述的超像素分割的语义分割方法，其特征在于，所述将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图，包括：
S71：对初步分割图像划分出需要优化的标签像素，通过掩膜对标签像素的覆盖率进行计算；
S72：当掩膜内只包含单标签像素，且覆盖率大于90％时，则将掩膜内的所有像素设置为标签像素；
S73：当掩膜内包含多标签像素时，通过计算每种标签像素的覆盖率，选择总覆盖率最大的标签像素填充掩膜内像素；
S74：生成最终优化后的最终分割图。
8.一种超像素分割的语义分割装置，其特征在于，所述装置应用于如权利要求1-7所述的超像素分割的语义分割方法；包括：
特征提取模块，用于通过第一分支以及第二分支对所述待分割图像分别进行特征提取；通过所述第一分支的特征提取层输出第一特征图；通过所述第二分支的特征提取层输出第二特征图；
特征融合模块，用于将所述第一特征图以及第二特征图进行特征融合，得到融合特征图；
插值放大模块，用于对融合特征图进行双线性插值放大，得到与待分割图像大小相等的初步分割图像；
预处理模块，用于通过第三分支对所述待分割图像进行Mean shift算法预处理，得到预处理后的图像；
超像素分割模块，用于通过超像素分割模块对所述预处理后的图像提取图像的边缘信息，得到n个像素块；
边缘优化模块，用于将n个像素块作为掩膜，通过每块掩膜对初步分割图像进行边缘优化，得到最终分割图。
9.根据权利要求8所述的超像素分割的语义分割装置，其特征在于，所述特征提取模块包括：
卷积神经网络，用于对输入第一分支的待分割图像进行特征提取，输出第一特征图；
ResNet-34网络，用于对输入第二分支的待分割图像进行特征提取，输出第二特征图。
10.根据权利要求9所述的超像素分割的语义分割装置，其特征在于，所述特征融合模块包括：
上采样子模块，用于通过双线性插值法对第二特征图进行上采样，得到与所述第一特征图相同空间大小的上采样图；
联接层，用于将第一特征图以及上采样图在尺度空间纵向联接；
信息整合子模块，用于通过1x1的卷积网络进行第一特征图和上采样图的信息整合，得到整合后特征图以及特征权重；
特征叠加子模块，用于通过BN层以及ReLU层平衡整合后特征图的尺度；将特征权重与整合后特征图相加，得到融合后的融合特征图。
CN202110802462.5A 2021-07-15 2021-07-15 一种超像素分割的语义分割方法及装置 Active CN113449735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802462.5A CN113449735B (zh) 2021-07-15 2021-07-15 一种超像素分割的语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802462.5A CN113449735B (zh) 2021-07-15 2021-07-15 一种超像素分割的语义分割方法及装置

Publications (2)

Publication Number Publication Date
CN113449735A true CN113449735A (zh) 2021-09-28
CN113449735B CN113449735B (zh) 2023-10-31

Family

ID=77816372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802462.5A Active CN113449735B (zh) 2021-07-15 2021-07-15 一种超像素分割的语义分割方法及装置

Country Status (1)

Country Link
CN (1) CN113449735B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质
CN114925746A (zh) * 2022-04-19 2022-08-19 淮阴工学院 一种基于Air-Net的目标检测方法
WO2023070495A1 (zh) * 2021-10-29 2023-05-04 京东方科技集团股份有限公司 图像处理方法、电子设备和非瞬态计算机可读介质
CN116630820A (zh) * 2023-05-11 2023-08-22 北京卫星信息工程研究所 光学遥感数据星上并行处理方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709924A (zh) * 2016-11-18 2017-05-24 中国人民解放军信息工程大学 基于深度卷积神经网络和超像素的图像语义分割方法
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
US20190197344A1 (en) * 2016-08-03 2019-06-27 Jiangsu University Saliency-based method for extracting road target from night vision infrared image
CN110598560A (zh) * 2019-08-15 2019-12-20 重庆特斯联智慧科技股份有限公司 基于神经网络增强的夜间监控识别方法和系统
CN112001391A (zh) * 2020-05-11 2020-11-27 江苏鲲博智行科技有限公司 一种图像特征融合图像语义分割的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197344A1 (en) * 2016-08-03 2019-06-27 Jiangsu University Saliency-based method for extracting road target from night vision infrared image
CN106709924A (zh) * 2016-11-18 2017-05-24 中国人民解放军信息工程大学 基于深度卷积神经网络和超像素的图像语义分割方法
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN110598560A (zh) * 2019-08-15 2019-12-20 重庆特斯联智慧科技股份有限公司 基于神经网络增强的夜间监控识别方法和系统
CN112001391A (zh) * 2020-05-11 2020-11-27 江苏鲲博智行科技有限公司 一种图像特征融合图像语义分割的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAIXIA LIU等: "Pathological lung segmentation based on random forest combined with deep model and multi-scale superpixels", 《NEURAL PROCESSING LETTERS》, pages 1631 *
JIE CHEN等: "SPMF-Net: Weakly Supervised Building Segmentation by Combining Superpixel Pooling and Multi-Scale Feature Fusion", 《REMOTE SENSING》, vol. 12, no. 6, pages 1 - 13 *
张刚: "基于深度学习的遥感图像语义分割关键技术研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 08, pages 028 - 9 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023070495A1 (zh) * 2021-10-29 2023-05-04 京东方科技集团股份有限公司 图像处理方法、电子设备和非瞬态计算机可读介质
CN113963337A (zh) * 2021-12-22 2022-01-21 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN113963337B (zh) * 2021-12-22 2022-04-08 中国科学院自动化研究所 物体图像轮廓基元提取方法和装置
CN114925746A (zh) * 2022-04-19 2022-08-19 淮阴工学院 一种基于Air-Net的目标检测方法
CN114925746B (zh) * 2022-04-19 2023-08-01 淮阴工学院 一种基于Air-Net的目标检测方法
CN114648668A (zh) * 2022-05-18 2022-06-21 浙江大华技术股份有限公司 目标对象的属性分类方法、设备及计算机可读存储介质
CN116630820A (zh) * 2023-05-11 2023-08-22 北京卫星信息工程研究所 光学遥感数据星上并行处理方法与装置
CN116630820B (zh) * 2023-05-11 2024-02-06 北京卫星信息工程研究所 光学遥感数据星上并行处理方法与装置

Also Published As

Publication number Publication date
CN113449735B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN113449735B (zh) 一种超像素分割的语义分割方法及装置
CN111126202B (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN111126472A (zh) 一种基于ssd改进的目标检测方法
CN111861880B (zh) 基于区域信息增强与块自注意力的图像超分与融合方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN111368769A (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN110909615B (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN111931857B (zh) 一种基于mscff的低照度目标检测方法
CN111899203B (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN114299101A (zh) 图像的目标区域获取方法、装置、设备、介质和程序产品
CN116935226A (zh) 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN113780305A (zh) 一种基于两种线索交互的显著性目标检测方法
CN115147806A (zh) 一种基于关键点检测车辆伪3d边界框的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant