CN106023145A - 基于超像素标注的遥感图像的分割与识别方法 - Google Patents

基于超像素标注的遥感图像的分割与识别方法 Download PDF

Info

Publication number
CN106023145A
CN106023145A CN201610297891.0A CN201610297891A CN106023145A CN 106023145 A CN106023145 A CN 106023145A CN 201610297891 A CN201610297891 A CN 201610297891A CN 106023145 A CN106023145 A CN 106023145A
Authority
CN
China
Prior art keywords
super
remote sensing
segmentation
sensing images
superpixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610297891.0A
Other languages
English (en)
Inventor
刘咏梅
李香
罗扬理
李金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201610297891.0A priority Critical patent/CN106023145A/zh
Publication of CN106023145A publication Critical patent/CN106023145A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供的是一种基于超像素标注的遥感图像的分割与识别方法。利用超像素分割算法对遥感图像进行过分割，获得超像素分割结果，对超像素块进行类别标注，获得学习样本。然后提取超像素样本的视觉特征，以其标注结果为教师信号用分类器对这些学习样本进行训练，并保存训练好的分类器信息。对待分析的遥感图像进行过分割获得超像素结果，对每个超像素提取视觉特征后送入分类器进行分类，在每个超像素块都获得了类别标记后，合并相同类别标记的超像素块，即待分析图像的所有区域都得到了类别信息。本发明避免了直接对遥感图像进行分割，极大程度上的保留了实际区域的边缘信息，融合了分割和识别过程，具有更加优秀的分割和识别能力。

Description

基于超像素标注的遥感图像的分割与识别方法
技术领域
本发明涉及的是一种遥感图像的分割和识别方法。
背景技术
遥感图像是地物目标综合信息的直观载体，随着遥感技术的发展，对遥感图像进行处理，从中获取各种信息是当期面临的一个迫切而复杂的问题。遥感图像的分析在地质勘探、农林业等各个方面有着重要作用。遥感图像的分割和识别是遥感数字图像处理领域重要的研究课题，区域的分割和分类描述可以达到对图像信息进行识别、分类解译的目的，有非常重要的军事和民用价值。目前存在多种遥感图像的分割和识别方法，但仍然没有适用性较好且具有较高准确度的方法，因此遥感图像的分割和识别问题同时也具有很高的科学研究价值。
现有的遥感图像分割与识别方法主要有以下几种：基于主题模型的方法、基于分类的方法、基于稀疏编码的方法以及基于概率图模型的方法等。这些方法大都是通过学习样本来建立遥感图像底层特征与高层语义之间的关联信息，而基于神经网络的分类方法和基于概率图模型的方法目前能够取得相对较好的结果。但是，概率图模型需要针对像素点进行建模，计算量非常大。基于神经网络等分类器的分类方法需要提取遥感图像的底层视觉特征，在特征提取步骤之前，需要对图像进行固定划分或图像分割。其中，基于固定划分的方法直接把遥感图像划分成矩形的小区块来提取特征，丢失了遥感图像实际区域的边界信息。重叠划分是在固定划分基础上的一种改进方法，虽然能够一定程度上提高精度，但是仍然会损失实际区域的边界信息。另一方面，目前的图像分割方法和技术对遥感图像尚无法达到一个很好的分割效果。这些因素均限制了现有方法在遥感图像分割与识别中的应用。
与本发明相关的背景技术为：P.Duygulu,K Barnard,J.F.G de Freitas,and D.AForsyth.Object Recognition as Machine Translation:Learning a lexicon for a fixedImage vocabulary.Proc.the 7th European Conferenee on Computer Vision,2002,2353(6):97-112。
发明内容
本发明的目的在于提供一种具有优秀的分割和识别能力的基于超像素标注的遥感图像的分割与识别方法。
本发明的目的是这样实现的：
步骤1：使用SLIC方法对遥感图像库中所有训练用的遥感图像进行过分割，生成超像素，将每一个超像素块作为训练的样本；
步骤2：对每个训练用图像的每一个超像素块进行标注，添加的类别标记作为该训练样本的教师信号；
步骤3：提取所有已标注的超像素块的视觉特征；
步骤4：将所有超像素块的视觉特征以及教师信号送入反向传播(BackPropagation,BP)神经网络进行训练，保存训练后的网络权值以及网络结构；
步骤5：对要进行分割和识别的待分析遥感图像进行SLIC方法的超像素过分割，对每个超像素块按步骤3提取视觉特征；
步骤6：将待分析遥感图像的每个超像素块的视觉特征送入已训练好的BP神经网络，正向传播计算输出值，得到每个超像素块的类别标记，根据类别标记进行超像素块的合并，得到遥感图像的分割和识别结果。
超像素是对图像进行过分割所得到的若干小区域，要求同一小区域内的像素点具有高度的视觉一致性。单个像素点的语义信息匮乏，而超像素实际上体现了物体级的局部语义信息。超像素合并后就可以构成与物体级语义对应的图像区域，体现了完整的物体级语义信息。相对于固定划分和传统的图像分割的方法，超像素方法能够有效地避免欠分割现象，极大地保留了实际物体的边缘信息，而且超像素的生成方法较为简单，有很高的计算效率。
本发明采用对超像素进行标注来获得学习样本的策略，来避免直接对遥感图像进行分割，然后提取超像素标注样本的视觉特征，用神经网络等分类器进行训练。对待分割和识别的遥感图像，首先获得该图像的超像素分割结果，通过训练好的分类器来对图像中的超像素块进行类别标注，在每个超像素块都获得了类别标记后，合并相同类别标记的超像素块，这样，图像的分割和识别结果就同时获得了。本发明的发明成果也可以应用到医学图像的计算机辅助诊断、多媒体信息检索等实际应用领域。
本发明的内容主要涉及三个部分：遥感图像的超像素学习样本的标注、分类器的训练和待分析遥感图像的分割和识别。主要特征包括：(1)首先收集一定数量的训练用遥感图像，利用超像素分割算法对这些遥感图像进行过分割，获得超像素分割结果，利用手工对超像素块进行类别标注，获得学习样本。(2)然后提取超像素样本的视觉特征，以其标注结果为教师信号用神经网络等分类器对这些学习样本进行训练，并保存训练好的分类器信息。(3)对待分析的遥感图像进行过分割获得超像素结果，对每个超像素提取视觉特征后送入分类器进行分类，每个超像素得到一个类别标注信息。在每个超像素块都获得了类别标记后，合并相同类别标记的超像素块，即待分析图像的所有区域都得到了类别信息，这样就完成了遥感图像的分割和识别。
本发明基于超像素标注实现了遥感图像的分割和识别，避免了直接对遥感图像进行分割，从而规避了分割存在的一系列问题，极大程度上的保留了实际区域的边缘信息，融合了分割和识别过程，具有更加优秀的分割和识别能力。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。
步骤1：使用SLIC(Simple Linear Iterative Clustering)方法对遥感图像库中所有训练用的遥感图像进行过分割，生成超像素。超像素的数目取决于遥感图像的分辨率较大，包含区域较广的遥感图像可以适当分成较多的超像素块。将每一个超像素块作为训练的样本。
步骤2：对每个训练用图像的每一个超像素块进行手工标注，添加的类别标记作为该训练样本的教师信号。
步骤3：提取所有已标注的超像素块(即学习样本)的视觉特征。采用Duygulu提供的图像视觉描述方式(参见文献[1])，对每个超像素块提取6维形状特征、18维颜色特征、12维纹理特征，共36维特征。
步骤4：将所有超像素块的视觉特征以及教师信号送入反向传播(BackPropagation,BP)神经网络进行训练，网络结构为三层，输入层节点个数为36，中间层和输出层节点个数可以根据需要分类的类别数目进行调整。保存训练后的网络权值以及网络结构。
步骤5：对要进行分割和识别的待分析遥感图像进行SLIC方法的超像素过分割，对每个超像素块按步骤3提取视觉特征。
步骤6：将待分析遥感图像的每个超像素块的视觉特征送入已训练好的BP神经网络，正向传播计算输出值，得到每个超像素块的类别标记。根据类别标记进行超像素块的合并，得到遥感图像的分割和识别结果。

Claims (2)

1.一种基于超像素标注的遥感图像的分割与识别方法，其特征是：
步骤1：使用SLIC方法对遥感图像库中所有训练用的遥感图像进行过分割，生成超像素，将每一个超像素块作为训练的样本；
步骤2：对每个训练用图像的每一个超像素块进行标注，添加的类别标记作为该训练样本的教师信号；
步骤3：提取所有已标注的超像素块的视觉特征；
步骤4：将所有超像素块的视觉特征以及教师信号送入BP神经网络进行训练，保存训练后的网络权值以及网络结构；
步骤5：对要进行分割和识别的待分析遥感图像进行SLIC方法的超像素过分割，对每个超像素块按步骤3提取视觉特征；
步骤6：将待分析遥感图像的每个超像素块的视觉特征送入已训练好的BP神经网络，正向传播计算输出值，得到每个超像素块的类别标记，根据类别标记进行超像素块的合并，得到遥感图像的分割和识别结果。
2.根据权利要求1所述的基于超像素标注的遥感图像的分割与识别方法，其特征是所述的提取所有已标注的超像素块的视觉特征是：对每个超像素块提取6维形状特征、18维颜色特征、12维纹理特征，共36维特征。
CN201610297891.0A 2016-05-06 2016-05-06 基于超像素标注的遥感图像的分割与识别方法 Pending CN106023145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610297891.0A CN106023145A (zh) 2016-05-06 2016-05-06 基于超像素标注的遥感图像的分割与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610297891.0A CN106023145A (zh) 2016-05-06 2016-05-06 基于超像素标注的遥感图像的分割与识别方法

Publications (1)

Publication Number Publication Date
CN106023145A true CN106023145A (zh) 2016-10-12

Family

ID=57081377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610297891.0A Pending CN106023145A (zh) 2016-05-06 2016-05-06 基于超像素标注的遥感图像的分割与识别方法

Country Status (1)

Country Link
CN (1) CN106023145A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN106875395A (zh) * 2017-01-12 2017-06-20 西安电子科技大学 基于深度神经网络的超像素级sar图像变化检测方法
CN107273928A (zh) * 2017-06-14 2017-10-20 上海海洋大学 一种基于权重特征融合的遥感图像自动标注方法
CN107545577A (zh) * 2017-08-23 2018-01-05 电子科技大学 基于神经网络的沉积相图像分割方法
CN107767383A (zh) * 2017-11-01 2018-03-06 太原理工大学 一种基于超像素的道路图像分割方法
CN107784657A (zh) * 2017-09-29 2018-03-09 西安因诺航空科技有限公司 一种基于颜色空间分类的无人机遥感图像分割方法
CN108229467A (zh) * 2017-01-23 2018-06-29 北京市商汤科技开发有限公司 解译遥感图像的方法、装置和电子设备
CN108427912A (zh) * 2018-02-05 2018-08-21 西安电子科技大学 基于稠密目标特征学习的光学遥感图像目标检测方法
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109684932A (zh) * 2018-11-30 2019-04-26 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109934838A (zh) * 2019-02-28 2019-06-25 湖北亿咖通科技有限公司 一种基于超像素的图片语义分割标注方法及装置
CN110189333A (zh) * 2019-05-22 2019-08-30 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110322436A (zh) * 2019-06-19 2019-10-11 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923653A (zh) * 2010-08-17 2010-12-22 北京大学 一种基于多层次内容描述的图像分类方法
CN102436583A (zh) * 2011-09-26 2012-05-02 哈尔滨工程大学 基于对标注图像学习的图像分割方法
CN103198333A (zh) * 2013-04-15 2013-07-10 中国科学院电子学研究所 一种高分辨率遥感图像自动语义标记方法
CN103310195A (zh) * 2013-06-09 2013-09-18 西北工业大学 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN104700100A (zh) * 2015-04-01 2015-06-10 哈尔滨工业大学 面向高空间分辨率遥感大数据的特征提取方法
CN105139395A (zh) * 2015-08-19 2015-12-09 西安电子科技大学 基于小波池化卷积神经网络的sar图像分割方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923653A (zh) * 2010-08-17 2010-12-22 北京大学 一种基于多层次内容描述的图像分类方法
CN102436583A (zh) * 2011-09-26 2012-05-02 哈尔滨工程大学 基于对标注图像学习的图像分割方法
CN103198333A (zh) * 2013-04-15 2013-07-10 中国科学院电子学研究所 一种高分辨率遥感图像自动语义标记方法
CN103310195A (zh) * 2013-06-09 2013-09-18 西北工业大学 车辆高分遥感图像的基于llc特征的弱监督识别方法
CN104700100A (zh) * 2015-04-01 2015-06-10 哈尔滨工业大学 面向高空间分辨率遥感大数据的特征提取方法
CN105139395A (zh) * 2015-08-19 2015-12-09 西安电子科技大学 基于小波池化卷积神经网络的sar图像分割方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《传感器与微系统(TRANSDUCER AND MICMSYSTEM TECHNOLOGIES)》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN106875395B (zh) * 2017-01-12 2020-04-14 西安电子科技大学 基于深度神经网络的超像素级sar图像变化检测方法
CN106875395A (zh) * 2017-01-12 2017-06-20 西安电子科技大学 基于深度神经网络的超像素级sar图像变化检测方法
CN108229467B (zh) * 2017-01-23 2020-11-27 北京市商汤科技开发有限公司 解译遥感图像的方法、装置和电子设备
CN108229467A (zh) * 2017-01-23 2018-06-29 北京市商汤科技开发有限公司 解译遥感图像的方法、装置和电子设备
CN107273928A (zh) * 2017-06-14 2017-10-20 上海海洋大学 一种基于权重特征融合的遥感图像自动标注方法
CN107545577B (zh) * 2017-08-23 2021-05-04 电子科技大学 基于神经网络的沉积相图像分割方法
CN107545577A (zh) * 2017-08-23 2018-01-05 电子科技大学 基于神经网络的沉积相图像分割方法
CN107784657A (zh) * 2017-09-29 2018-03-09 西安因诺航空科技有限公司 一种基于颜色空间分类的无人机遥感图像分割方法
CN107767383B (zh) * 2017-11-01 2021-05-11 太原理工大学 一种基于超像素的道路图像分割方法
CN107767383A (zh) * 2017-11-01 2018-03-06 太原理工大学 一种基于超像素的道路图像分割方法
CN108427912B (zh) * 2018-02-05 2020-06-05 西安电子科技大学 基于稠密目标特征学习的光学遥感图像目标检测方法
CN108427912A (zh) * 2018-02-05 2018-08-21 西安电子科技大学 基于稠密目标特征学习的光学遥感图像目标检测方法
CN109063723A (zh) * 2018-06-11 2018-12-21 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN108985247B (zh) * 2018-07-26 2021-12-21 北方工业大学 多光谱图像城市道路识别方法
CN108985247A (zh) * 2018-07-26 2018-12-11 北方工业大学 多光谱图像城市道路识别方法
CN109684932A (zh) * 2018-11-30 2019-04-26 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109684932B (zh) * 2018-11-30 2023-05-23 华南农业大学 一种基于双目视觉的托盘位姿识别方法
CN109934838A (zh) * 2019-02-28 2019-06-25 湖北亿咖通科技有限公司 一种基于超像素的图片语义分割标注方法及装置
CN109934838B (zh) * 2019-02-28 2021-07-13 湖北亿咖通科技有限公司 一种基于超像素的图片语义分割标注方法及装置
CN110189333A (zh) * 2019-05-22 2019-08-30 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110189333B (zh) * 2019-05-22 2022-03-15 湖北亿咖通科技有限公司 一种图片语义分割半自动标注方法及装置
CN110322436B (zh) * 2019-06-19 2020-10-02 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备
CN110322436A (zh) * 2019-06-19 2019-10-11 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN111860173B (zh) * 2020-06-22 2021-10-15 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统

Similar Documents

Publication Publication Date Title
CN106023145A (zh) 基于超像素标注的遥感图像的分割与识别方法
CN108427912B (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
WO2020224424A1 (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107563381B (zh) 基于全卷积网络的多特征融合的目标检测方法
Amit et al. Disaster detection from aerial imagery with convolutional neural network
CN106408030B (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
Ke et al. A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing
CN109685067A (zh) 一种基于区域和深度残差网络的图像语义分割方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN109685115A (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN102651128B (zh) 一种基于采样的图像集分割方法
CN104462494B (zh) 一种基于无监督特征学习的遥感图像检索方法及系统
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN107680678A (zh) 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN105957066A (zh) 基于自动上下文模型的ct图像肝脏分割方法及系统
CN107346420A (zh) 一种基于深度学习的自然场景下文字检测定位方法
CN107292314A (zh) 一种基于cnn的鳞翅目昆虫种类自动鉴别方法
CN105608454A (zh) 基于文字结构部件检测神经网络的文字检测方法及系统
CN110765833A (zh) 一种基于深度学习的人群密度估计方法
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN109635812B (zh) 图像的实例分割方法及装置
CN107527054B (zh) 基于多视角融合的前景自动提取方法
CN102663757A (zh) 基于核传递的半自动图像分割方法
CN109299303B (zh) 基于可变形卷积与深度网络的手绘草图检索方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012

RJ01 Rejection of invention patent application after publication