CN107424159A - 基于超像素边缘和全卷积网络的图像语义分割方法 - Google Patents

基于超像素边缘和全卷积网络的图像语义分割方法 Download PDF

Info

Publication number
CN107424159A
CN107424159A CN201710630636.8A CN201710630636A CN107424159A CN 107424159 A CN107424159 A CN 107424159A CN 201710630636 A CN201710630636 A CN 201710630636A CN 107424159 A CN107424159 A CN 107424159A
Authority
CN
China
Prior art keywords
pixel
semantic
super
convolutional network
full convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710630636.8A
Other languages
English (en)
Other versions
CN107424159B (zh
Inventor
张敏
王海
傅
傅一
彭雄友
刘岩
闫郁瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710630636.8A priority Critical patent/CN107424159B/zh
Publication of CN107424159A publication Critical patent/CN107424159A/zh
Application granted granted Critical
Publication of CN107424159B publication Critical patent/CN107424159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于超像素边缘和全卷积网络的图像语义分割方法，用于解决现有图像语义分割方法中存在的准确度低的技术问题，实现步骤为：构建训练、测试和验证样本集，训练、测试并验证输出像素级语义标记的全卷积网络，利用已验证的输出像素级语义标记的全卷积网络对待分割图像进行语义分割，获得像素级语义标记，并对待分割图像进行BSLIC超像素分割，利用像素级语义标记对BSLIC超像素进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割结果。本发明既保持了原始全卷积网络分割准确度，又提高了对细小边缘的分割准确度，进而提升了图像分割准确率，可用于分类、识别、跟踪等要求检测目标的场合。

Description

基于超像素边缘和全卷积网络的图像语义分割方法
技术领域
本发明属于图像处理技术领域，涉及一种图像语义分割方法，具体涉及一种基于超像素边缘和全卷积网络的图像语义分割方法，可用于图像分类、目标识别、目标跟踪等要求检测目标的场合。
背景技术
在数字图像处理领域，与分割相关的应用有目标分割、前景分割、图像分割以及图像语义分割，其中目标分割旨在将图像中的主要目标分割出来；前景分割指的是将视频或图像序列中感兴趣区域分割出来；图像分割是将图像划分为若干个互不交迭的且属性不同的区域，在图像分割中，像素被划分到任一区域的可能性是相同的，像素最后被划分到哪一区域只取决于像素的灰度、颜色、纹理等特征。而图像语义分割是指将图像分割为若干个互不重叠的、具有一定视觉意义的区域，同时对这些区域进行语义标注。本质上，语义分割实现的是像素级的分类，通过对每个像素点进行分类，实现整幅图像的语义标注。从应用的角度来讲，图像语义分割是指将图像中不同的目标进行分割，同时对不同目标做不同的标记。
早期图像语义分割方法主要采用条件随机场模型(Condition Random Fields,CRF)，CRF模型的缺点是不能定位到单个目标，难以利用图像的全局形状特征，容易造成误识，导致分割准确率降低。2010年，深度卷积神经网络AlexNet提出后，基于分类网络的图像语义分割算法诞生，如Girshick等提出的R-CNN模型和Hariharan等提出的SDS模型，这类算法的缺点是分割准确率会不可避免地受到自底向上的区域生成算法性能的限制。2015年，Long等人提出的FCN模型，对网络最后一个卷积层的输出进行上采样，上采样的结果恢复到与输入图像相同的尺寸，从而对每个像素产生了一个预测，然后进行逐像素分类实现图像的语义分割，在PASCAL VOC 2012挑战赛中达到了62.7％的分割准确率。尽管FCN模型能够实现像素级的分类，但是该模型由于只用到了深度神经网络抽象出的高级图像特征，对图像低级边缘信息的运用较少，导致它对细小边缘的分割定位准确度有所欠缺，如果能够在使用高级图像特征的同时，还能保留图像内的边缘信息，则图像分割准确率将会有所提升。
在图像平面内，超像素是一系列位置相邻且亮度、颜色、纹理等特征相似的像素点组成的连续的、互不重叠的区域，这些区域的像素点通常属于同一物体或平面。超像素具有良好的局部特征表达能力，能够提取图像的中层特征，并方便地表达图像的边缘信息。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出了一种基于超像素边缘和全卷积网络的图像语义分割方法，用于解决现有图像语义分割方法中存在的准确度低的技术问题。
本发明的技术思路是：构建训练、测试和验证样本集，训练、测试并验证输出像素级语义标记的全卷积网络，利用已验证的输出像素级语义标记的全卷积网络对待分割图像进行语义分割，获得像素级语义标记，并对待分割图像进行BSLIC超像素分割，利用像素级语义标记对BSLIC超像素进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割结果，具体步骤包括：
(1)构建训练样本集、验证样本集和测试样本集：
(1a)获取图像样本集：获取包含原始彩色图像以及与原始彩色图像对应的真实语义分割数据的图像样本集；
(1b)从图像样本集中选择多数样本作为训练样本集，其余样本的部分作为验证样本集，另一部分作为测试样本集；
(2)搭建输出像素级语义标记的全卷积网络：
(2a)获取待搭建全卷积网络的基础网络和初始值：将VGG-16网络作为待搭建全卷积网络的基础网络，同时将MatConvNet工具箱中的VGG-16网络预训练权值作为待搭建全卷积网络的初始值；
(2b)搭建全卷积网络：将待搭建全卷积网络中的全连接层FC-4096转换为4096个卷积核大小为1×1、卷积步长为1个像素的卷积层，全连接层FC-1000转换为1000个卷积核大小为1×1、卷积步长为1个像素的卷积层，得到全卷积网络；
(2c)获取输出像素级语义标记的全卷积网络：
(2c1)获取FCN-32s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行32倍上采样，得到FCN-32s模型下的输出像素级语义标记的全卷积网络；
(2c2)获取FCN-16s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行2倍上采样，并将上采样结果与第4个池化层输出的特征映射进行融合，再将融合结果进行16倍上采样，得到FCN-16s模型下的输出像素级语义标记的全卷积网络；
(2c3)获取FCN-8s模型下的输出像素级语义标记的全卷积网络：分别将全卷积网络的第4、5个池化层输出的特征映射进行2倍、4倍上采样，并将上采样结果与第3个池化层输出的特征映射融合，再将融合结果进行8倍上采样，得到FCN-8s模型下的输出像素级语义标记的全卷积网络；
(3)对输出像素级语义标记的全卷积网络进行训练、测试和验证，得到验证后的输出像素级语义标记的全卷积网络：
(3a)设定语义分割正确率阈值；
(3b)对输出像素级语义标记的全卷积网络进行训练：利用训练样本集对输出像素级语义标记的全卷积网络进行若干次迭代监督训练，得到训练后的输出像素级语义标记的全卷积网络；
(3c)对输出像素级语义标记的全卷积网络进行测试：将测试样本集中的所有原始彩色图像输入到训练后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与测试样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到测试后的输出像素级语义标记的全卷积网络，并执行步骤(3d)，否则执行步骤(3b)；
(3d)对输出像素级语义标记的全卷积网络进行验证：将验证样本集中的所有原始彩色图像输入到测试后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与验证样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到验证后的输出像素级语义标记的全卷积网络，并执行步骤(4)，否则执行步骤(3b)；
(4)将待分割彩色图像I输入到验证后的输出像素级语义标记的全卷积网络中，得到待分割彩色图像I的像素级语义标记；
(5)对待分割彩色图像I进行BSLIC超像素分割：
(5a)对待分割彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像Ilab；
(5b)按照六边形分布，在转换彩色图像Ilab上进行初始化，得到平面聚类中心Pa，其中，a表示平面聚类中心编号，且a＝1,2,...,NP，NP为平面聚类中心总数；
(5c)在平面聚类中心Pa的范围内搜索边界点，并从搜索到的所有边界点里随机选取一个中值点作为边界聚类中心Eb，其中，b表示边界聚类中心编号，且b＝1,2,...,NE，NE为边界聚类中心总数；
(5d)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心Pa′和边界聚类中心Eb′，然后将更新后的平面聚类中心Pa′和边界聚类中心Eb′作为初始值，利用局部k-means算法对转换彩色图像Ilab的像素点进行分类标记；
(5e)判断平面聚类中心Pa与更新后的平面聚类中心Pa′之间的相对误差值是否小于5％，若是，则将转换彩色图像Ilab的像素点的分类标记作为待分割彩色图像I的最终分类标记，并执行步骤(5f)，否则执行步骤(5d)；
(5f)将待分割彩色图像I里所有具有相同分类标记的像素点分别标记为一个超像素，得到多个BSLIC超像素；
(6)利用步骤(4)得到的像素级语义标记对步骤(5f)得到的多个BSLIC超像素分别进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割数据，标注规则为：
(i)若超像素中没有边缘，且超像素中所有像素点的语义标记相同，采用步骤(4)得到的语义标记对超像素进行语义标注；
(ii)若超像素中没有边缘，但超像素中像素点的语义标记不同，采用占比最多的语义标记对超像素进行语义标注；
(iii)若超像素中有边缘，且超像素中所有像素点的语义标记相同，则忽略边缘信息，采用步骤(4)得到的语义标记对超像素进行语义标注；
(iv)若超像素中有边缘，同时超像素中像素点的语义标记不同，采用由不同语义标记的占比确定的语义标记对超像素进行语义标注。
本发明与现有的技术相比，具有以下优点：
1.本发明在获得像素级语义标记的过程中，考虑到图像的超像素对图像的局部边缘有非常好的贴合度，将图像的超像素边缘信息与全卷积网络输出的像素级语义标记进行融合。结果表明，本发明在继承了现有基于全卷积网络的图像语义分割技术优异的特征抽象能力的同时，提升了对图像边缘的分割准确度，进而提升了整体图像分割准确率。
2.本发明在搭建全卷积网络时将VGG-16网络的全连接层转换为卷积层，去除了现有基于分类网络的图像分割方法对输入图像的宽度和高度限制，大大降低了构建图像样本集时的工作量，同时扩大了样本集的选择范围。
附图说明
图1是本发明的实现流程框图；
图2是本发明中训练输出像素级语义标记的全卷积网络时分割准确率随迭代次数的变化曲线图；
图3是本发明中FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记结果图；
图4是本发明与现有基于全卷积网络的语义分割方法的分割结果对比图；
图5是本发明与现有基于全卷积网络的语义分割方法的区域分割准确率和像素分割准确率的对比柱状图。
具体实施方案
下面结合附图和具体实施例，对本发明作进一步详细描述：
参照图1，基于超像素边缘和全卷积网络的图像语义分割方法，包括如下步骤：
步骤1构建训练样本集、验证样本集和测试样本集：
为了扩大样本集的规模，本实例将现有的最常用的样本集BSDS500和PASCAL VOC2011取并集，共得到12023张图像，随机选取其中的11223(90％)张图片作为训练样本集，400(5％)张作为验证样本集，剩余的400(5％)张作为测试样本集。在进行训练时，只能只用训练样本集；在进行测试时，只能只用测试样本集；同样，在进行验证时，只能使用验证样本集。
步骤2搭建输出像素级语义标记的全卷积网络：
全卷积网络由分类网络转换而来，本实例将VGG-16网络转换为全卷积网络，与其他深度卷积神经网络相比，如ResNet(152层)、GooleNet(22层)、VGG-19(19层)、AlexNet(8层)等，VGG-16网络在特征提取和训练效率之间能取得更好的平衡。ResNet和GooleNet虽然能提取更高级的图像特征，但是由于网络层数太多，在对大规模样本集进行训练时，模型容易过拟合，并易出现梯度弥散现象；VGG-16网络由于采用了更小的3×3卷积核，提高了模型的非线性表达能力，在一定程度上弥补了网络层数较小带来的特征抽象能力的不足的缺点。在多个样本集上的测试结果表明，VGG-16与VGG-19的top-1错误率均为24.4％，top-5错误率则分别为7.2％和7.1％，19层的网络对识别率的提升并不明显，选择VGG-16在保证网络识别能力的同时，使网络层数更低，所以选择前者更合理。
(2a)获取待搭建全卷积网络的基础网络和初始值：将VGG-16网络作为待搭建全卷积网络的基础网络，同时将MatConvNet工具箱中的VGG-16网络预训练权值作为待搭建全卷积网络的初始值；
(2b)搭建全卷积网络：将待搭建全卷积网络中的全连接层FC-4096转换为4096个卷积核大小为1×1、卷积步长为1个像素的卷积层，全连接层FC-1000转换为1000个卷积核大小为1×1、卷积步长为1个像素的卷积层，得到全卷积网络；
(2c)获取输出像素级语义标记的全卷积网络：
(2c1)获取FCN-32s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行32倍上采样，得到FCN-32s模型下的输出像素级语义标记的全卷积网络；
(2c2)获取FCN-16s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行2倍上采样，并将上采样结果与第4个池化层输出的特征映射进行融合，再将融合结果进行16倍上采样，得到FCN-16s模型下的输出像素级语义标记的全卷积网络；
(2c3)获取FCN-8s模型下的输出像素级语义标记的全卷积网络：分别将全卷积网络的第4、5个池化层输出的特征映射进行2倍、4倍上采样，并将上采样结果与第3个池化层输出的特征映射融合，再将融合结果进行8倍上采样，得到FCN-8s模型下的输出像素级语义标记的全卷积网络；
步骤3对输出像素级语义标记的全卷积网络进行训练、测试和验证，得到验证后的输出像素级语义标记的全卷积网络：
(3a)本实例设定语义分割的区域准确率为60％、像素准确率为70％；
(3b)对输出像素级语义标记的全卷积网络进行训练；利用11223张测试图像及其真是语义标签数据对全卷积网络进行监督训练，为了使网络学习到的图像特征更高级抽象，本实例对训练样本集进行50次迭代监督训练，即前一次训练完成后的模型作为下次训练时的模型初始值。迭代训练需要保证每一个训练样本被迭代的次数相同，否则模型会对迭代次数多的图像更熟悉，导致模型对与之同类型的测试图像的分割性能更好；
(3c)对输出像素级语义标记的全卷积网络进行测试；将测试样本集中的400幅图像输入到已训练好的模型中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的语义分割结果；
(3d)对输出像素级语义标记的全卷积网络进行验证：将验证样本集中的400幅图像输入到已测试的网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的语义分割结果，并将其与验证样本集中的真实语义分割数据进行比对，本实例中得到的语义分割正确率大于设定的语义分割正确率阈值；
步骤4将待分割彩色图像I输入到验证后的输出像素级语义标记的全卷积网络中，得到待分割彩色图像I的像素级语义标记：
将测试图像输入验证后的输出像素级语义标记的全卷积网络中，获得测试图像像素级的语义标记；
步骤5对待分割彩色图像I进行BSLIC超像素分割：
本实例为了获得边缘贴合度更好的超像素，利用改进后的BSLIC超像素分割算法对待分割图像进行超像素分割。由于测试图像的分辨率从320×210到500×440不等，所以，在实际的超像素分割过程中，超像素的数目会根据平均大小15×15浮动地设定。例如，分辨率为500×333的测试图像，本文将其期望生成的超像素数目设为500，实际生成的超像素数目为610，生成的超像素平均大小为16×16；16×16与15×15大小的局部区域对分辨率为500×333的测试图像而言，几乎相等。具体步骤如下：
(5a)计算待分割彩色图像I的二值化边界图像B；
(5b)对待分割彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像Ilab；
(5c)按照六边形分布，在转换彩色图像Ilab上进行初始化，得到平面聚类中心Pa：
(5c1)以像素为单位分别计算平面聚类中心的水平步长Sh和垂直步长Sv：
其中，N为图像像素点总数，K为期望的超像素数目；
(5c2)对平面聚类中心进行行向初始化，即在转换彩色图像Ilab平面内，从Sv行像素开始，每间隔Sv行，选定一行像素作为平面聚类中心所在行；
(5c3)对平面聚类中心进行列向初始化：
对于奇数行，从Sh列像素开始，每间隔Sh列，选定一个像素作为平面聚类中心初始值；
对于偶数行，从Sh列像素开始，每间隔Sh列，选定一个像素作为平面聚类中心初始值；
(5c4)将步骤(5c2)～(5c3)产生的平面聚类中心标记为Pa，a＝1,2,...,NP，NP为平面聚类中心总数；
(5d)在平面聚类中心的局部范围内初始化边界聚类中心Eb：
(5d1)在转换彩色图像Ilab平面内确定搜索窗口：
在转换彩色图像Ilab平面内，将以平面聚类中心Pa为中心的Sh×Sh邻域范围作为搜索窗口WP，并记录WP在图像平面内的几何位置，记为[r0,c0,Δr,Δc]，其中r0、c0分别为搜索窗口左上角像素点的行号、列号，Δr、Δc分别为搜索窗口的行宽、列宽；
(5d2)在二值化边界图像B平面内确定边界窗口：
在二值化边界图像B平面内，将左上角像素坐标为[r0,c0]，行宽为Δr，列宽为Δc的矩形范围作为边界窗口WB；
(5d3)在转换彩色图像Ilab平面内初始化边界聚类中心：
将WP与WB进行与运算，若运算结果中含有非零元素，说明平面聚类中心Pa的Sh×Sh邻域范围内存在边界点，随机选取边界点的一个中值点，将其作为边界聚类中心的初始值；若运算结果中没有非零元素，说明平面聚类中心Pa的Sh×Sh邻域范围内没有边界点，则不产生任何边界聚类中心；
(5d4)将步骤(5dc)产生的边界聚类中心标记为Eb，b＝1,2,...,NE，NE为边界聚类中心总数；
(5e)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心Pa′和边界聚类中心Eb′；
(5f)将更新后的平面聚类中心Pa′和边界聚类中心Eb′作为初始值，利用局部k-means算法对转换彩色图像Ilab的像素点进行分类标记；
(5g)循环迭代步骤(5f)的分类标记过程，直至连续两次的平面聚类中心和边界聚类中心的误差之和不超过5％，得到所有像素点的最终标记；
(5h)将具有相同标记的像素点看成一个超像素，在图像平面内画出所有超像素的边界，得到待分割图像I的超像素分割结果。
步骤6利用步骤(4)得到的像素级语义标记对步骤(5f)得到的多个BSLIC超像素分别进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割数据：
BSLIC算法赋予给超像素的数字标记没有包含任何语义信息，在利用全卷积网络的像素级语义标记对超像素进行语义标注时，分如下几种情况：(1)超像素中没有图像边缘，且所有像素点的FCN语义标记相同；(2)超像素中没有图像边缘，但像素点的FCN语义标记不同；(3)超像素中有图像边缘，但所有像素点的语义标记相同；(4)超像素中有边缘，同时像素点的语义标记不同。下面对这四种情况分别进行说明：
(6a)针对第一种超像素，可以直接用该语义标记对超像素进行语义标注。这类超像素通常为背景或某一目标的主体区域，也可能为图像中超像素边缘贴合度非常高的地方，如清晰的、平滑边缘等处；
(6b)第二种超像素没有边缘，代表该超像素为背景或目标的主体部分，或者为目标边缘清晰突出且平滑的地方。这类超像素中的像素点的语义类别不同，是由全卷积网络模型在对低级信息进行预测时，上采样过程中复制操作带来的扩散误差，通常表现为语义分割的结果在目标边缘的拐点处将部分背景像素标记为目标类别。针对这类超像素，可以用概率最大的语义类别对超像素进行标记；
(6c)第三种超像素中的像素点的语义类别一致，说明该超像素为某一语义类别下的目标的主体部分，超像素内的边缘则为该类别目标自带的边缘特征。输入图像最开始由像素的灰度值等低级特征表达，在全卷积网络模型的逐层特征抽象过程中，表达图像的特征越来越高级，这种高级特征表达通常对光照、形变具有鲁棒性；所以，这类超像素中的边缘特征可以由全卷积网络模型进行修正，这类超像素中的像素语义标注即为全卷积网络模型输出的像素类别；
(6d)第四种超像素既跨越了图像边缘又具有不同的语义标记类别，这类超像素即为“跨边界超像素”，通常出现在图像的结构发生突变或图像的虚弱边缘等处，这类超像素的语义标注分如下两种情况说明：
(6d1)若其中超过80％的像素隶属同一类，则用该概率最大的类别对超像素进行语义标注，这类超像素由于只有不到20％的像素属于其他类别，所以通常出现于图像结构发生突变的地方，如细缝等，这种结构上的细小突变在FCN模型的高层特征映射中无法体现，所以这类结构的准确定位依赖于BSLIC超像素提供的边缘信息；
(6d2)超像素中有边缘，像素的语义类别不一致，但不同类别的像素在超像素中占据的比例相差不大，即没有哪一类的概率高达80％。这类超像素往往出现在图像虚弱边缘处，由于处在这些边缘两侧的目标和背景相似度太高，所以超像素无法将二者进行有效区分；FCN模型能够赋予这类超像素中的像素不同的语义类别，源于FCN模型通过高层的抽象特征对两种类别进行了有效的区分所以，对这类超像素可以直接用FCN模型给出的标记结果对超像素中的像素进行标记。
以下结合仿真试验，对本发明的效果作进一步说明：
1.仿真条件和内容
实验数据采用伯克利计算机视觉研究组的BSDS500图像库和PASCAL VOC 2011图像库，本实施例的算法仿真平台为：主频为4.00GHz的CPU，20.0GB的内存，SamSung 840 PRO的固态硬盘，Windows 7(64位)操作系统，Matlab 2014a开发平台，MatConvNet深度学习工具箱的beta23版本。
仿真1，对训练样本集进行50次迭代监督训练，并记录每次训练后的分割准确率，其准确率如图2所示；然后将测试样本集中的400幅图像输入到已训练好的网络中，其输出的语义分割结果如图3所示；
仿真2，从BSDS500和PASCAL VOC 2011样本集构成的测试样本集中选择若干幅含有细小边缘的图像作为输入图像，期望的超像素数目K＝1000，加权因子m＝5，用本发明与现有基于全卷积网络的语义分割方法分别进行语义分割，其结果如图4所示；
仿真3，基于区域分割准确率和像素分割准确率两个性能参数，用本发明与现有基于全卷积网络的语义分割方法对400幅测试图像作准确率对比实验，其结果如图5所示。
2.仿真结果分析
参照图2，可以看出随着训练迭代次数的增加，分割准确率在逐渐提高，从准确率曲线可以看出，本实例对训练样本集进行50次迭代监督训练足以达到测试时的准确率阈值要求；
参照图3，其中：
图3(a)为原始图像；图3(b)、图3(c)、图3(d)分别为FCN-32s、FCN-16s、FCN-8s三种模型下的语义分割结果；
图3(e)为真实(Ground Truth)语义标签数据；
将图3(b)、图3(c)、图3(d)与图3(e)对比可以看出，相比FCN-32s和FCN-16s两种模型，FCN-8s的语义分割效果最好，对目标边缘的刻画最细致；
参照图4，其中：
图4(a)为待分割的测试图像；
图4(b)为采用BSLIC方法的超像素分割结果图；
图4(c)为采用现有基于全卷积网络的语义分割方法的分割结果图；
图4(d)为采用本发明的语义分割结果图；
图4(e)为待分割图像的真实语义分割数据。
比较图4(c)、图4(d)两列的语义分割结果，本发明比FCN-8s的分割效果更好，尤其对图像中细小边缘的定位更准确，如图中椭圆形标记的区域所示。改进后的模型继承了全卷积网络模型的语义识别准确度和目标形状的整体定位精度，由图4(c)、图4(d)两列中目标的颜色标记相同和目标形状整体相似可以看出。本发明对细小边缘、细缝等结构的定位精度更高，如飞机的机轮、鸟的脚、羊的耳朵、汽车的前视镜等，全卷积网络模型对这些结构无法准确分割是因为提取的高级抽象特征在预测低级特征时有扩散误差，表现为图像中的细小结构向背景区域扩散，使背景像素划分到目标区域，实际分割结果的区域比真实结果的更大。本发明通过对图像进行超像素分割，尤其使用对图像细小边缘更贴合的BSLIC超像素分割，能够向全卷积网络模型提供更丰富准确的图像边缘信息，能够给全卷积网络模型预测低级特征时提供参考，从而提高模型对边缘的定位精度。
上述对本发明和现有基于全卷积网络的语义分割方法的分割结果的定性分析表明，本发明能良好地继承FCN模型优异的图像高级语义信息的提取能力，同时由于该模型充分利用了图像边缘等位置信息，其对图像中的细小边缘、细缝等结构有更准确的定位。
参照图5，从中可以看出，相比现有基于全卷积网络的语义分割方法，本发明在平均区域准确率上达到了65.20％，有了2.51％的提升。其中，类别2(自行车)、类别13(马)和类别17(羊)的改进效果较好，这三个类别的区域准确率分别提升了8.14％、6.02％和4.28％。本发明在像素准确率上达到了77.14％，相比现有基于全卷积网络的语义分割方法有了1.29％的提升。

Claims (2)

1.一种基于超像素边缘和全卷积网络的图像语义分割方法，包括如下步骤：
(1)构建训练样本集、验证样本集和测试样本集：
(1a)获取图像样本集：获取包含原始彩色图像以及与原始彩色图像对应的真实语义分割数据的图像样本集；
(1b)从图像样本集中选择多数样本作为训练样本集，其余样本的部分作为验证样本集，另一部分作为测试样本集；
(2)搭建输出像素级语义标记的全卷积网络：
(2a)获取待搭建全卷积网络的基础网络和初始值：将VGG-16网络作为待搭建全卷积网络的基础网络，同时将MatConvNet工具箱中的VGG-16网络预训练权值作为待搭建全卷积网络的初始值；
(2b)搭建全卷积网络：将待搭建全卷积网络中的全连接层FC-4096转换为4096个卷积核大小为1×1、卷积步长为1个像素的卷积层，全连接层FC-1000转换为1000个卷积核大小为1×1、卷积步长为1个像素的卷积层，得到全卷积网络；
(2c)获取输出像素级语义标记的全卷积网络：
(2c1)获取FCN-32s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行32倍上采样，得到FCN-32s模型下的输出像素级语义标记的全卷积网络；
(2c2)获取FCN-16s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行2倍上采样，并将上采样结果与第4个池化层输出的特征映射进行融合，再将融合结果进行16倍上采样，得到FCN-16s模型下的输出像素级语义标记的全卷积网络；
(2c3)获取FCN-8s模型下的输出像素级语义标记的全卷积网络：分别将全卷积网络的第4、5个池化层输出的特征映射进行2倍、4倍上采样，并将上采样结果与第3个池化层输出的特征映射融合，再将融合结果进行8倍上采样，得到FCN-8s模型下的输出像素级语义标记的全卷积网络；
(3)对输出像素级语义标记的全卷积网络进行训练、测试和验证，得到验证后的输出像素级语义标记的全卷积网络：
(3a)设定语义分割正确率阈值；
(3b)对输出像素级语义标记的全卷积网络进行训练：利用训练样本集对输出像素级语义标记的全卷积网络进行若干次迭代监督训练，得到训练后的输出像素级语义标记的全卷积网络；
(3c)对输出像素级语义标记的全卷积网络进行测试：将测试样本集中的所有原始彩色图像输入到训练后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与测试样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到测试后的输出像素级语义标记的全卷积网络，并执行步骤(3d)，否则执行步骤(3b)；
(3d)对输出像素级语义标记的全卷积网络进行验证：将验证样本集中的所有原始彩色图像输入到测试后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与验证样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到验证后的输出像素级语义标记的全卷积网络，并执行步骤(4)，否则执行步骤(3b)；
(4)将待分割彩色图像I输入到验证后的输出像素级语义标记的全卷积网络中，得到待分割彩色图像I的像素级语义标记；
(5)对待分割彩色图像I进行BSLIC超像素分割：
(5a)对待分割彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像Ilab；
(5b)按照六边形分布，在转换彩色图像Ilab上进行初始化，得到平面聚类中心Pa，其中，a表示平面聚类中心编号，且a＝1,2,...,NP，NP为平面聚类中心总数；
(5c)在平面聚类中心Pa的范围内搜索边界点，并从搜索到的所有边界点里随机选取一个中值点作为边界聚类中心Eb，其中，b表示边界聚类中心编号，且b＝1,2,...,NE，NE为边界聚类中心总数；
(5d)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心Pa′和边界聚类中心Eb′，然后将更新后的平面聚类中心Pa′和边界聚类中心Eb′作为初始值，利用局部k-means算法对转换彩色图像Ilab的像素点进行分类标记；
(5e)判断平面聚类中心Pa与更新后的平面聚类中心Pa′之间的相对误差值是否小于5％，若是，则将转换彩色图像Ilab的像素点的分类标记作为待分割彩色图像I的最终分类标记，并执行步骤(5f)，否则执行步骤(5d)；
(5f)将待分割彩色图像I里所有具有相同分类标记的像素点分别标记为一个超像素，得到多个BSLIC超像素；
(6)利用步骤(4)得到的像素级语义标记对步骤(5f)得到的多个BSLIC超像素分别进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割数据，标注规则为：
(i)若超像素中没有边缘，且超像素中所有像素点的语义标记相同，采用步骤(4)得到的语义标记对超像素进行语义标注；
(ii)若超像素中没有边缘，但超像素中像素点的语义标记不同，采用占比最多的语义标记对超像素进行语义标注；
(iii)若超像素中有边缘，且超像素中所有像素点的语义标记相同，则忽略边缘信息，采用步骤(4)得到的语义标记对超像素进行语义标注；
(iv)若超像素中有边缘，同时超像素中像素点的语义标记不同，采用由不同语义标记的占比确定的语义标记对超像素进行语义标注。
2.根据权利要求1所述的基于超像素边缘和全卷积网络的图像语义分割方法，其特征在于，步骤(6)中所述的采用由不同语义标记的占比确定的语义标记对超像素进行语义标注：
(i)若一类语义标记的占比大于其他语义标记占比的总和，则忽略边缘信息，直接用该占比最大的语义标记对超像素进行语义标注；
(ii)若没有一类语义标记的占比大于其他语义标记占比的总和，则直接用像素级语义标记对超像素中的像素进行语义标注。
CN201710630636.8A 2017-07-28 2017-07-28 基于超像素边缘和全卷积网络的图像语义分割方法 Active CN107424159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710630636.8A CN107424159B (zh) 2017-07-28 2017-07-28 基于超像素边缘和全卷积网络的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710630636.8A CN107424159B (zh) 2017-07-28 2017-07-28 基于超像素边缘和全卷积网络的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN107424159A true CN107424159A (zh) 2017-12-01
CN107424159B CN107424159B (zh) 2020-02-07

Family

ID=60431383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710630636.8A Active CN107424159B (zh) 2017-07-28 2017-07-28 基于超像素边缘和全卷积网络的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN107424159B (zh)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108305266A (zh) * 2017-12-26 2018-07-20 浙江工业大学 基于条件随机场图结构学习的语义图像分割方法
CN108319985A (zh) * 2018-02-07 2018-07-24 北京航空航天大学 图像语义标注的方法和装置
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108491889A (zh) * 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法
CN108761843A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种用于水面和水坑检测的盲人辅助眼镜
CN109003289A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种基于颜色标签的目标跟踪快速初始化方法
CN109063557A (zh) * 2018-06-27 2018-12-21 北京红云智胜科技有限公司 快速构建心脏冠脉血管识别数据集的方法
CN109145713A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种结合目标检测的小目标语义分割方法
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109241951A (zh) * 2018-10-26 2019-01-18 北京陌上花科技有限公司 色情图片识别方法、识别模型构建方法及识别模型和计算机可读存储介质
CN109377494A (zh) * 2018-09-14 2019-02-22 阿里巴巴集团控股有限公司 一种用于图像的语义分割方法和装置
CN109377509A (zh) * 2018-09-26 2019-02-22 深圳前海达闼云端智能科技有限公司 图像语义分割标注的方法、装置、存储介质和设备
WO2019109524A1 (zh) * 2017-12-07 2019-06-13 平安科技（深圳）有限公司 入侵检测方法、应用服务器及计算机可读存储介质
CN109977253A (zh) * 2019-03-29 2019-07-05 哈尔滨工业大学 一种基于语义和内容的快速图像检索方法及装置
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
CN110097555A (zh) * 2019-04-26 2019-08-06 绵阳慧视光电技术有限责任公司 基于测温点阵融合可见光图像的电子设备安全监控方法
CN110097552A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光图像的自动分割方法
WO2019154201A1 (zh) * 2018-02-09 2019-08-15 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110163239A (zh) * 2019-01-25 2019-08-23 太原理工大学 一种基于超像素和条件随机场的弱监督图像语义分割方法
CN110263604A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 一种基于像素级别分离行人图片背景的方法及装置
CN110502738A (zh) * 2018-05-18 2019-11-26 阿里巴巴集团控股有限公司 中文命名实体识别方法、装置、设备和查询系统
CN110723433A (zh) * 2019-12-16 2020-01-24 清华大学 垃圾分类回收方法及系统
CN110874598A (zh) * 2019-11-05 2020-03-10 西南交通大学 一种基于深度学习的高速公路水痕检测方法
CN111199547A (zh) * 2018-11-20 2020-05-26 Tcl集团股份有限公司 图像分割的方法、装置和终端设备
CN111259805A (zh) * 2020-01-16 2020-06-09 武汉轻工大学 肉类检测方法、装置、设备和存储介质
CN111325811A (zh) * 2018-12-14 2020-06-23 广东星舆科技有限公司 一种车道线数据的处理方法及处理装置
CN111368669A (zh) * 2020-02-26 2020-07-03 福建师范大学 一种基于深度学习和特征增强的非线性光学图像识别方法
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111612802A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于现有图像语义分割模型的再优化训练方法及应用
CN111669492A (zh) * 2019-03-06 2020-09-15 青岛海信移动通信技术股份有限公司 一种终端对拍摄的数字图像进行处理的方法及终端
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111886600A (zh) * 2018-04-10 2020-11-03 华为技术有限公司 一种用于图像的实例级别分割的设备和方法
CN111915629A (zh) * 2020-07-06 2020-11-10 天津大学 基于边界检测的超像素分割方法
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112381811A (zh) * 2020-11-20 2021-02-19 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
CN112396619A (zh) * 2019-08-15 2021-02-23 电子科技大学 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN112689763A (zh) * 2018-09-20 2021-04-20 美国西门子医学诊断股份有限公司 用于样本分类的假设与验证网络和方法
CN112686105A (zh) * 2020-12-18 2021-04-20 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN112966748A (zh) * 2021-03-09 2021-06-15 中国电子科技集团公司第五十四研究所 基于边缘感知双分支fcn的极化sar图像分类方法
CN113033571A (zh) * 2021-03-31 2021-06-25 太原科技大学 基于增强特征融合的交通场景图像语义分割方法
CN113160177A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于超像素和图卷积网络的平面分割方法
CN113449735A (zh) * 2021-07-15 2021-09-28 北京科技大学 一种超像素分割的语义分割方法及装置
CN113450311A (zh) * 2021-06-01 2021-09-28 国网河南省电力公司漯河供电公司 基于语义分割和空间关系的带销螺丝缺陷检测方法及系统
CN113554638A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种芯片表面缺陷检测模型建立方法和系统
CN113643200A (zh) * 2021-07-27 2021-11-12 天津大学 基于递归图神经网络解决边缘过平滑的方法及装置
WO2021233021A1 (zh) * 2020-05-18 2021-11-25 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN114092494A (zh) * 2021-11-29 2022-02-25 长春工业大学 一种基于超像素和全卷积神经网络的脑部mr图像分割方法
CN114677567A (zh) * 2022-05-27 2022-06-28 成都数联云算科技有限公司 模型训练方法、装置、存储介质及电子设备
CN115019045A (zh) * 2022-06-24 2022-09-06 哈尔滨工业大学 一种基于多成分邻域的小数据甲状腺超声图像分割方法
CN115294102A (zh) * 2022-09-26 2022-11-04 如东延峰钢结构有限公司 基于机器视觉的不锈钢制品异常识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104881681A (zh) * 2015-05-22 2015-09-02 浙江大学 基于混合图模型的图像序列类别标注方法
CN106056155A (zh) * 2016-05-30 2016-10-26 西安电子科技大学 基于边界信息融合的超像素分割方法
US20160358339A1 (en) * 2014-01-17 2016-12-08 Htc Corporation Image segmentation device, image segmentation method, and depth map generating method
CN106683102A (zh) * 2016-12-30 2017-05-17 西安电子科技大学 基于脊波滤波器和卷积结构模型的sar图像分割方法
CN106920243A (zh) * 2017-03-09 2017-07-04 桂林电子科技大学 改进的全卷积神经网络的陶瓷材质件序列图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358339A1 (en) * 2014-01-17 2016-12-08 Htc Corporation Image segmentation device, image segmentation method, and depth map generating method
CN104881681A (zh) * 2015-05-22 2015-09-02 浙江大学 基于混合图模型的图像序列类别标注方法
CN106056155A (zh) * 2016-05-30 2016-10-26 西安电子科技大学 基于边界信息融合的超像素分割方法
CN106683102A (zh) * 2016-12-30 2017-05-17 西安电子科技大学 基于脊波滤波器和卷积结构模型的sar图像分割方法
CN106920243A (zh) * 2017-03-09 2017-07-04 桂林电子科技大学 改进的全卷积神经网络的陶瓷材质件序列图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAI WANG.ETC: "BSLIC: SLIC Superpixels Based on Boundary Term", 《SYMMETRY》 *
姜枫: "基于内容的图像分割方法综述", 《软件学报》 *

Cited By (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109524A1 (zh) * 2017-12-07 2019-06-13 平安科技（深圳）有限公司 入侵检测方法、应用服务器及计算机可读存储介质
CN109003289B (zh) * 2017-12-11 2021-04-30 罗普特科技集团股份有限公司 一种基于颜色标签的目标跟踪快速初始化方法
CN109003289A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种基于颜色标签的目标跟踪快速初始化方法
CN108305266A (zh) * 2017-12-26 2018-07-20 浙江工业大学 基于条件随机场图结构学习的语义图像分割方法
CN108305266B (zh) * 2017-12-26 2020-08-18 浙江工业大学 基于条件随机场图结构学习的语义图像分割方法
CN110009556A (zh) * 2018-01-05 2019-07-12 广东欧珀移动通信有限公司 图像背景虚化方法、装置、存储介质及电子设备
US11410277B2 (en) 2018-01-05 2022-08-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for blurring image background, storage medium and electronic apparatus
CN108062756A (zh) * 2018-01-29 2018-05-22 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN108416353A (zh) * 2018-02-03 2018-08-17 华中农业大学 基于深度全卷积神经网络的大田稻穗快速分割方法
CN108319985B (zh) * 2018-02-07 2022-05-17 北京航空航天大学 图像语义标注的方法和装置
CN108319985A (zh) * 2018-02-07 2018-07-24 北京航空航天大学 图像语义标注的方法和装置
US11270158B2 (en) 2018-02-09 2022-03-08 Beijing Sensetime Technology Development Co., Ltd. Instance segmentation methods and apparatuses, electronic devices, programs, and media
WO2019154201A1 (zh) * 2018-02-09 2019-08-15 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
CN108491889A (zh) * 2018-04-02 2018-09-04 深圳市易成自动驾驶技术有限公司 图像语义分割方法、装置及计算机可读存储介质
CN111886600A (zh) * 2018-04-10 2020-11-03 华为技术有限公司 一种用于图像的实例级别分割的设备和方法
CN111886600B (zh) * 2018-04-10 2024-09-20 华为技术有限公司 一种用于图像的实例级别分割的设备和方法
CN108510012B (zh) * 2018-05-04 2022-04-01 四川大学 一种基于多尺度特征图的目标快速检测方法
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法
CN110263604A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 一种基于像素级别分离行人图片背景的方法及装置
CN110502738A (zh) * 2018-05-18 2019-11-26 阿里巴巴集团控股有限公司 中文命名实体识别方法、装置、设备和查询系统
CN108761843A (zh) * 2018-05-29 2018-11-06 杭州视氪科技有限公司 一种用于水面和水坑检测的盲人辅助眼镜
CN110097552A (zh) * 2018-06-21 2019-08-06 北京大学 一种小鼠前额叶神经元双光子荧光图像的自动分割方法
CN109063557B (zh) * 2018-06-27 2021-07-09 北京红云智胜科技有限公司 快速构建心脏冠脉血管识别数据集的方法
CN109063557A (zh) * 2018-06-27 2018-12-21 北京红云智胜科技有限公司 快速构建心脏冠脉血管识别数据集的方法
CN109145939B (zh) * 2018-07-02 2021-11-02 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109145713A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种结合目标检测的小目标语义分割方法
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109377494A (zh) * 2018-09-14 2019-02-22 阿里巴巴集团控股有限公司 一种用于图像的语义分割方法和装置
CN109377494B (zh) * 2018-09-14 2022-06-28 创新先进技术有限公司 一种用于图像的语义分割方法和装置
CN112689763B (zh) * 2018-09-20 2024-09-20 美国西门子医学诊断股份有限公司 用于样本分类的假设与验证网络和方法
CN112689763A (zh) * 2018-09-20 2021-04-20 美国西门子医学诊断股份有限公司 用于样本分类的假设与验证网络和方法
CN109377509A (zh) * 2018-09-26 2019-02-22 深圳前海达闼云端智能科技有限公司 图像语义分割标注的方法、装置、存储介质和设备
CN109377509B (zh) * 2018-09-26 2021-03-26 达闼机器人有限公司 图像语义分割标注的方法、装置、存储介质和设备
CN109241951A (zh) * 2018-10-26 2019-01-18 北京陌上花科技有限公司 色情图片识别方法、识别模型构建方法及识别模型和计算机可读存储介质
CN111199547B (zh) * 2018-11-20 2024-01-23 Tcl科技集团股份有限公司 图像分割的方法、装置和终端设备
CN111199547A (zh) * 2018-11-20 2020-05-26 Tcl集团股份有限公司 图像分割的方法、装置和终端设备
CN111325811A (zh) * 2018-12-14 2020-06-23 广东星舆科技有限公司 一种车道线数据的处理方法及处理装置
CN110163239A (zh) * 2019-01-25 2019-08-23 太原理工大学 一种基于超像素和条件随机场的弱监督图像语义分割方法
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111669492A (zh) * 2019-03-06 2020-09-15 青岛海信移动通信技术股份有限公司 一种终端对拍摄的数字图像进行处理的方法及终端
CN109977253A (zh) * 2019-03-29 2019-07-05 哈尔滨工业大学 一种基于语义和内容的快速图像检索方法及装置
CN109977253B (zh) * 2019-03-29 2022-10-28 哈尔滨工业大学 一种基于语义和内容的快速图像检索方法及装置
CN110097555A (zh) * 2019-04-26 2019-08-06 绵阳慧视光电技术有限责任公司 基于测温点阵融合可见光图像的电子设备安全监控方法
CN110136154B (zh) * 2019-05-16 2022-12-06 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN112396619B (zh) * 2019-08-15 2022-05-10 电子科技大学 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN112396619A (zh) * 2019-08-15 2021-02-23 电子科技大学 一种基于语义分割的内部复杂组成的小型颗粒分割方法
CN110874598A (zh) * 2019-11-05 2020-03-10 西南交通大学 一种基于深度学习的高速公路水痕检测方法
CN110874598B (zh) * 2019-11-05 2022-09-27 西南交通大学 一种基于深度学习的高速公路水痕检测方法
CN110723433A (zh) * 2019-12-16 2020-01-24 清华大学 垃圾分类回收方法及系统
CN110723433B (zh) * 2019-12-16 2020-05-05 清华大学 垃圾分类回收方法及系统
CN111259805A (zh) * 2020-01-16 2020-06-09 武汉轻工大学 肉类检测方法、装置、设备和存储介质
CN111368669B (zh) * 2020-02-26 2023-07-18 福建师范大学 一种基于深度学习和特征增强的非线性光学图像识别方法
CN111368669A (zh) * 2020-02-26 2020-07-03 福建师范大学 一种基于深度学习和特征增强的非线性光学图像识别方法
CN111612802A (zh) * 2020-04-29 2020-09-01 杭州电子科技大学 一种基于现有图像语义分割模型的再优化训练方法及应用
WO2021233021A1 (zh) * 2020-05-18 2021-11-25 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
US20220222932A1 (en) * 2020-05-18 2022-07-14 Tencent Technology (Shenzhen) Company Limited Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus
CN111738310B (zh) * 2020-06-04 2023-12-01 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111738310A (zh) * 2020-06-04 2020-10-02 科大讯飞股份有限公司 物料分类方法、装置、电子设备和存储介质
CN111915629A (zh) * 2020-07-06 2020-11-10 天津大学 基于边界检测的超像素分割方法
CN111915629B (zh) * 2020-07-06 2023-11-21 天津大学 基于边界检测的超像素分割方法
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN111931782B (zh) * 2020-08-12 2024-03-01 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN112381811A (zh) * 2020-11-20 2021-02-19 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
CN112381811B (zh) * 2020-11-20 2024-05-28 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
CN112686105A (zh) * 2020-12-18 2021-04-20 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法
CN112966748A (zh) * 2021-03-09 2021-06-15 中国电子科技集团公司第五十四研究所 基于边缘感知双分支fcn的极化sar图像分类方法
CN113033571A (zh) * 2021-03-31 2021-06-25 太原科技大学 基于增强特征融合的交通场景图像语义分割方法
CN113160177A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于超像素和图卷积网络的平面分割方法
CN113450311A (zh) * 2021-06-01 2021-09-28 国网河南省电力公司漯河供电公司 基于语义分割和空间关系的带销螺丝缺陷检测方法及系统
CN113449735B (zh) * 2021-07-15 2023-10-31 北京科技大学 一种超像素分割的语义分割方法及装置
CN113449735A (zh) * 2021-07-15 2021-09-28 北京科技大学 一种超像素分割的语义分割方法及装置
CN113643200B (zh) * 2021-07-27 2023-07-07 天津大学 基于递归图神经网络解决边缘过平滑的方法及装置
CN113643200A (zh) * 2021-07-27 2021-11-12 天津大学 基于递归图神经网络解决边缘过平滑的方法及装置
CN113554638A (zh) * 2021-07-30 2021-10-26 西安电子科技大学 一种芯片表面缺陷检测模型建立方法和系统
CN114092494A (zh) * 2021-11-29 2022-02-25 长春工业大学 一种基于超像素和全卷积神经网络的脑部mr图像分割方法
CN114677567B (zh) * 2022-05-27 2022-10-14 成都数联云算科技有限公司 模型训练方法、装置、存储介质及电子设备
CN114677567A (zh) * 2022-05-27 2022-06-28 成都数联云算科技有限公司 模型训练方法、装置、存储介质及电子设备
CN115019045A (zh) * 2022-06-24 2022-09-06 哈尔滨工业大学 一种基于多成分邻域的小数据甲状腺超声图像分割方法
CN115294102A (zh) * 2022-09-26 2022-11-04 如东延峰钢结构有限公司 基于机器视觉的不锈钢制品异常识别方法

Also Published As

Publication number Publication date
CN107424159B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN107424159A (zh) 基于超像素边缘和全卷积网络的图像语义分割方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN109583425A (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN101667245B (zh) 基于支持向量新颖检测分类器级联的人脸检测方法
US20210065367A1 (en) Automatic abnormal cell recognition method based on image splicing
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN106815604A (zh) 基于多层信息融合的注视点检测方法
CN106023220A (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN103020265B (zh) 图像检索的方法和系统
CN102034107B (zh) 基于鲁棒视觉注意特征与稀疏表示的不良图像判别方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN106778687A (zh) 基于局部评估和全局优化的注视点检测方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN111160205A (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN106022254A (zh) 图像识别技术
CN110929621B (zh) 一种基于拓扑信息细化的道路提取方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN112686104A (zh) 基于深度学习的多声部乐谱识别方法
CN107247952A (zh) 基于深层监督的循环卷积神经网络的视觉显著性检测方法
CN106096658A (zh) 基于无监督深度空间特征编码的航拍图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant