CN106709924B - 基于深度卷积神经网络和超像素的图像语义分割方法 - Google Patents

基于深度卷积神经网络和超像素的图像语义分割方法 Download PDF

Info

Publication number
CN106709924B
CN106709924B CN201611020101.0A CN201611020101A CN106709924B CN 106709924 B CN106709924 B CN 106709924B CN 201611020101 A CN201611020101 A CN 201611020101A CN 106709924 B CN106709924 B CN 106709924B
Authority
CN
China
Prior art keywords
image
semantic
pixel
super
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611020101.0A
Other languages
English (en)
Other versions
CN106709924A (zh
Inventor
闫镔
陈健
曾磊
乔凯
徐一夫
李中国
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201611020101.0A priority Critical patent/CN106709924B/zh
Publication of CN106709924A publication Critical patent/CN106709924A/zh
Application granted granted Critical
Publication of CN106709924B publication Critical patent/CN106709924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络和超像素的图像语义分割方法，克服了现有技术中，现有语义分割方法的精度仍待提高的问题。该发明含有如下步骤：1：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；2：在深度卷积神经网络分类模型中加入反卷积层，在图像语义分割数据集上进行微调训练，实现从图像到图像语义分割结果的映射；3：将测试图像输入深度卷积神经网络语义分割模型中，得到各个像素的语义标签，同时将测试图像送入超像素分割算法，得到若干超像素区域；4：把超像素和语义标签进行融合，得到最终改善的语义分割结果。本方法改善现有图像语义分割方法的精度，在图像识别和应用中具有重要意义。

Description

基于深度卷积神经网络和超像素的图像语义分割方法
技术领域
该发明涉及一种图像语义分割方法，特别是涉及一种基于深度卷积神经网络和超像素的图像语义分割方法。
背景技术
随着卷积神经网络在公开数据集上分类错误率的不断下降，研究者开始关注图像像素级的分割，即图像语义分割。语义特征是一种更加高层的特征，将图像中每一像素标记为相应的类别，通用方法是通过对图像区域判别从而实现语义分割。Carreira等人、Farabet等人、Girshick等人通过使用超像素等手段把图像分成若干区域，通过深度卷积神经网络提取区域特征对其分类从而实现对整幅图像的语义分割。2015年Long等人基于深度卷积神经网络模型提出了一种端到端的语义分割模型。基于深度卷积神经网络的分类模型主要通过卷积层、池化层的堆叠以及最后若干的全连接层，完成特征表达和分类。为了实现图像级的预测，通过池化操作降低了输出尺寸，全连接层舍弃了图像空间信息。
使用卷积层替代分类网络中的全连接层，从而保留空间信息，在其后增加反卷积层对特征进行上采样从而实现逐像素的预测。该网络中的所有操作均可以看作卷积操作，因此称为Fully convolutional networks(FCN)。Long等人考虑了三种分类性能得到认可的模型，通过在训练好的分类网络上进行语义分割微调训练，从而减少了对大规模图像逐像素标记数据集的依赖。为了提高分割精度，FCN提出了skip结构，综合低层的细节信息和高层的抽象全局信息来通过反卷积对图像像素进行预测，分割精度得到了改善。Chen等人通过CRF来对分割结果进一步改善。2015年，Hyeonwoo等人基于FCN中反卷积层的思路，提出了对称的反卷积网络模型。通过反卷积层堆叠操作实现对特征图像的逐级上采样，该方法的上采样不同与FCN网络的直接一次上采样，因此分割精度得到了提高。2016年，Pim等人基于深度卷积神经网络通过对逐像素进行分类实现语义分割，该方法在MR图像分割上取得了较好的结果，且一定程度上解决了图像像素级标注数据集较小的问题。通过从几十张图像标注数据集中，可以取出足够数量的图像区域，用图像区域的中心像素类别标记该区域，进而训练分类网络实现对像素类别的预测。采用滑动的方式可以对图像中每个像素进行分类判别，最终实现对整幅图像的语义分割。采用多尺度的思想提高分类性能，以待判别像素为中心取三个尺寸的图像区域，通过特征提取和融合提高语义分割的鲁棒性。虽然基于深度卷积神经网络的语义分割模型取得了一系列较好的结果，但是在边缘等细节部分的分割精度仍然较低，需要进一步提高。
发明内容
本发明克服了现有技术中，现有语义分割方法的精度仍待提高的问题，提供一种使用效果较好的基于深度卷积神经网络和超像素的图像语义分割方法。
本发明的技术解决方案是，提供一种具有以下步骤的基于深度卷积神经网络和超像素的图像语义分割方法：含有如下步骤：
步骤1：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；
步骤2：在深度卷积神经网络分类模型中加入反卷积层，在图像语义分割数据集上进行微调训练，实现从图像到图像语义分割结果的映射；
步骤3：将测试图像输入深度卷积神经网络语义分割模型中，得到各个像素的语义标签，同时将测试图像送入超像素分割算法，得到若干超像素区域；
步骤4：把超像素和语义标签进行融合，得到最终改善的语义分割结果。
所述加入反卷积层的具体方法为：训练得到的深度卷积神经网络包含卷积层、矫正线性单元层、池化层和全连接层等，为了保留特征的空间信息，去掉分类网络中的全连接层，在最后一层池化层后面加入反卷积层，对特征上采样，实现图像到图像语义分割结果的端到端映射。
所述微调训练的具体方法为：基于分类网络构建语义分割模型的过程中，全连接层之前的模型保持不变，同样是用来特征提取和表达，在语义分割模型训练时，分类网络训练好的参数用来对语义分割模型相应参数初始化；然后在语义分割数据集上进行端到端的微调训练，得到语义分割模型。
所述超像素和语义标签进行融合的具体方法为：基于卷积神经网络的语义分割模型得到的语义分割结果较为粗糙，而超像素对于边缘等细节的保持性较好，对于某个像素的标签，通过其所在超像素区域所有像素的语义标签的平均作为该超像素的语义结果，从而纠正了基于卷积神经网络的图像语义分割结果中的错误分割结果。
与现有技术相比，本发明基于深度卷积神经网络和超像素的图像语义分割方法具有以下优点：本方法创新性综合深度卷积神经网络的高层语义标签和超像素在图像具有较好目标边缘贴合度的特点，提出了一种融合策略，从而改善现有图像语义分割方法的精度，在图像识别和应用中具有重要意义。
附图说明
图1是本发明基于深度卷积神经网络和超像素的图像语义分割方法的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明基于深度卷积神经网络和超像素的图像语义分割方法作进一步说明：如图所示，本实施例中含有如下步骤：
步骤1：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；
步骤2：在深度卷积神经网络分类模型中加入反卷积层，在图像语义分割数据集上进行微调训练，实现从图像到图像语义分割结果的映射；
步骤3：将测试图像输入深度卷积神经网络语义分割模型中，得到各个像素的语义标签，同时将测试图像送入超像素分割算法，得到若干超像素区域；
步骤4：把超像素和语义标签进行融合，得到最终改善的语义分割结果。
步骤1中：在图像分类数据集上，训练一个由图像到类别标签的深度卷积网络分类模型，实现特征提取和分类的端到端映射，获得较好的分类结果。
步骤2中：加入反卷积层的具体方法为：训练得到的深度卷积神经网络包含卷积层、矫正线性单元(rectified linear units,ReLU)层、池化层和全连接层等，为了保留特征的空间信息，去掉分类网络中的全连接层，在最后一层池化层后面加入反卷积层，对特征上采样，弥补由于池化带来的图像特征尺寸降低的特点，从而实现图像到图像语义分割结果的端到端映射。
步骤3中：微调训练的具体方法为：基于分类网络构建语义分割模型的过程中，全连接层之前的模型保持不变，同样是用来特征提取和表达，在语义分割模型训练时，分类网络训练好的参数用来对语义分割模型相应参数初始化。然后在语义分割数据集上进行端到端的微调训练，得到语义分割模型。
步骤4中：超像素和语义标签融合的具体方法为：基于卷积神经网络的语义分割模型得到的语义分割结果较为粗糙，而超像素对于边缘等细节的保持性较好，对于某个像素的标签，通过其所在超像素区域所有像素的语义标签的平均作为该像素的语义结果，从而融合超像素对语义分割结果中的错误分割结果进行了纠正。

Claims (2)

1.一种基于深度卷积神经网络和超像素的图像语义分割方法，其特征在于：含有如下步骤：
步骤1：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；
步骤2：在深度卷积神经网络分类模型中加入反卷积层，在图像语义分割数据集上进行微调训练，实现从图像到图像语义分割结果的映射；所述加入反卷积层的具体方法为：训练得到的深度卷积神经网络包含卷积层、矫正线性单元层、池化层和全连接层，为了保留特征的空间信息，去掉分类网络中的全连接层，在最后一层池化层后面加入反卷积层，对特征上采样，实现图像到图像语义分割结果的端到端映射；所述微调训练的具体方法为：基于分类网络构建语义分割模型的过程中，分类网络训练好的参数用来对语义分割模型相应参数初始化；然后在语义分割数据集上进行端到端的微调训练，得到语义分割模型；
步骤3：将测试图像输入深度卷积神经网络语义分割模型中，得到各个像素的语义标签，同时将测试图像送入超像素分割算法，得到若干超像素区域；
步骤4：把超像素和语义标签进行融合，得到最终改善的语义分割结果。
2.根据权利要求1所述的基于深度卷积神经网络和超像素的图像语义分割方法，其特征在于：所述步骤4中超像素和语义标签进行融合的具体方法为：基于卷积神经网络的语义分割模型得到的语义分割结果粗糙，而超像素对于边缘细节的保持性好，对于某个像素的标签，通过其所在超像素区域所有像素的语义标签的平均作为该超像素的语义结果，从而纠正了基于卷积神经网络的图像语义分割结果中的错误分割结果。
CN201611020101.0A 2016-11-18 2016-11-18 基于深度卷积神经网络和超像素的图像语义分割方法 Active CN106709924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611020101.0A CN106709924B (zh) 2016-11-18 2016-11-18 基于深度卷积神经网络和超像素的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611020101.0A CN106709924B (zh) 2016-11-18 2016-11-18 基于深度卷积神经网络和超像素的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN106709924A CN106709924A (zh) 2017-05-24
CN106709924B true CN106709924B (zh) 2019-11-22

Family

ID=58940077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611020101.0A Active CN106709924B (zh) 2016-11-18 2016-11-18 基于深度卷积神经网络和超像素的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN106709924B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107273502B (zh) * 2017-06-19 2020-05-12 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
CN107564025B (zh) * 2017-08-09 2020-05-29 浙江大学 一种基于深度神经网络的电力设备红外图像语义分割方法
CN108009506A (zh) * 2017-12-07 2018-05-08 平安科技（深圳）有限公司 入侵检测方法、应用服务器及计算机可读存储介质
WO2019136760A1 (zh) * 2018-01-15 2019-07-18 深圳鲲云信息科技有限公司 图像语义分割方法、可编程逻辑电路、系统及电子设备
CN108427951B (zh) * 2018-02-08 2023-08-04 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
JP7032536B2 (ja) 2018-02-09 2022-03-08 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体
CN108335305B (zh) * 2018-02-09 2020-10-30 北京市商汤科技开发有限公司 图像分割方法和装置、电子设备、程序和介质
CN109063723B (zh) * 2018-06-11 2020-04-28 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
WO2019237342A1 (zh) * 2018-06-15 2019-12-19 富士通株式会社 用于语义分割的分类神经网络的训练方法及装置、电子设备
CN109002837A (zh) * 2018-06-21 2018-12-14 网易（杭州）网络有限公司 一种图像语义分类方法、介质、装置和计算设备
CN109145939B (zh) * 2018-07-02 2021-11-02 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109003299A (zh) * 2018-07-05 2018-12-14 北京推想科技有限公司 一种基于深度学习的计算脑出血量的方法
CN109241865B (zh) * 2018-08-14 2022-05-31 长安大学 一种弱对比度交通场景下的车辆检测分割算法
CN109253722B (zh) * 2018-08-22 2021-07-02 顺丰科技有限公司 融合语义分割的单目测距系统、方法、设备及存储介质
CN109284779A (zh) * 2018-09-04 2019-01-29 中国人民解放军陆军工程大学 基于深度全卷积网络的物体检测方法
DE102018217091A1 (de) * 2018-10-05 2020-04-09 Robert Bosch Gmbh Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
CN109544554B (zh) * 2018-10-18 2020-01-31 中国科学院空间应用工程与技术中心 一种植物图像分割及叶片骨架提取方法及系统
CN111199547B (zh) * 2018-11-20 2024-01-23 Tcl科技集团股份有限公司 图像分割的方法、装置和终端设备
CN109741341B (zh) * 2018-12-20 2022-11-01 华东师范大学 一种基于超像素和长短时记忆网络的图像分割方法
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN109934147B (zh) * 2019-03-05 2020-11-06 北京联合大学 基于深度神经网络的目标检测方法、系统及装置
CN110097555A (zh) * 2019-04-26 2019-08-06 绵阳慧视光电技术有限责任公司 基于测温点阵融合可见光图像的电子设备安全监控方法
CN110390251B (zh) * 2019-05-15 2022-09-30 上海海事大学 一种基于多神经网络模型融合处理的图像文字语义分割方法
CN110889857A (zh) * 2019-11-15 2020-03-17 北京邮电大学 一种移动Web实时视频帧分割方法及系统
CN111932529B (zh) * 2020-09-10 2020-12-29 腾讯科技（深圳）有限公司 一种图像分类分割方法、装置及系统
CN112598676B (zh) * 2020-12-29 2022-11-22 北京市商汤科技开发有限公司 图像分割方法及装置、电子设备和存储介质
CN113052247A (zh) * 2021-03-31 2021-06-29 清华苏州环境创新研究院 基于多标签图像识别的垃圾分类方法及垃圾分类器
CN113449735B (zh) * 2021-07-15 2023-10-31 北京科技大学 一种超像素分割的语义分割方法及装置
CN113421262B (zh) * 2021-08-23 2021-12-21 深圳市信润富联数字科技有限公司 轮毂缺陷检测方法、装置、电子设备及存储介质
CN113935369A (zh) * 2021-10-20 2022-01-14 华南农业大学 一种山地果茶园道路识别语义分割模型构建方法
CN114092494A (zh) * 2021-11-29 2022-02-25 长春工业大学 一种基于超像素和全卷积神经网络的脑部mr图像分割方法
CN113936141B (zh) * 2021-12-17 2022-02-22 深圳佑驾创新科技有限公司 图像语义分割方法及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Saliency Detection via Combining Region-Level and Pixel-Level Predictions with CNNs;Youbao Tang et.al;《Computer Vision–ECCV 2016》;20160917(第1期);第809-825页 *
基于RGB_D图像的室内场景语义分割方法;冯希龙;《中国优秀硕士学位论文全文数据库信息科技辑》;20160515(第05期);第I138-1246页 *

Also Published As

Publication number Publication date
CN106709924A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106709924B (zh) 基于深度卷积神经网络和超像素的图像语义分割方法
CN112348783B (zh) 基于图像的人物识别方法、装置及计算机可读存储介质
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN106780536A (zh) 一种基于对象掩码网络的形状感知实例分割方法
CN110728682A (zh) 一种基于残差金字塔池化神经网络的语义分割方法
CN111340080B (zh) 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统
CN104899830A (zh) 一种图像超分辨方法
CN110443763A (zh) 一种基于卷积神经网络的图像阴影去除方法
CN107749048B (zh) 图像矫正系统及方法、色盲图像矫正系统及方法
CN114821069A (zh) 融合富尺度特征的双分支网络遥感图像建筑语义分割方法
CN106910202A (zh) 一种遥感图像地物的图像分割方法及系统
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN113723457A (zh) 图像识别方法和装置、存储介质及电子装置
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及系统
CN111091122B (zh) 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN104992407B (zh) 一种图像超分辨方法
CN115331012A (zh) 基于零样本学习的联合生成式图像实例分割方法及系统
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN117315541B (zh) 一种地面垃圾识别方法及系统
CN105447477B (zh) 基于公式库的公式识别方法及装置
CN117746079B (zh) 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN103929629A (zh) 一种基于图像主要颜色的图像处理方法
CN117746130A (zh) 一种基于遥感影像点状语义标签的弱监督深度学习分类方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN103310452B (zh) 一种权重自动选择的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant