CN107392925A - 基于超像素编码和卷积神经网络的遥感影像地物分类方法 - Google Patents

基于超像素编码和卷积神经网络的遥感影像地物分类方法 Download PDF

Info

Publication number
CN107392925A
CN107392925A CN201710647905.1A CN201710647905A CN107392925A CN 107392925 A CN107392925 A CN 107392925A CN 201710647905 A CN201710647905 A CN 201710647905A CN 107392925 A CN107392925 A CN 107392925A
Authority
CN
China
Prior art keywords
pixel
super
mrow
mtd
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710647905.1A
Other languages
English (en)
Other versions
CN107392925B (zh
Inventor
焦李成
屈嵘
李阁
张丹
唐旭
陈璞花
马文萍
侯彪
杨淑媛
尚荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710647905.1A priority Critical patent/CN107392925B/zh
Publication of CN107392925A publication Critical patent/CN107392925A/zh
Application granted granted Critical
Publication of CN107392925B publication Critical patent/CN107392925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超像素编码和卷积神经网络的遥感影像地物分类方法,使用自适应超像素编码和双通道卷积神经网络,首先利用超像素算法进行图像预分割,然后使用聚类方法将相邻且相似的超像素块合并,设定取块尺寸,构建三个输入尺寸不同的双通道卷积神经网络,将取块尺寸不同的样本输入相应的网络,用卷积神经网络分别提取两个传感器数据的特征,然后将提取的特征进行融合用于分类,根据合并之后的像素块大小确定样本的取块尺寸,实现自适应地选择所利用的邻域信息。实现自适应地选择所利用的邻域信息,使邻域信息起到正反馈作用,更好地利用邻域信息,根据邻域信息将样本送入不同网络,使分布相似的样本进入同一个网络,有效提高分类精度。

Description

基于超像素编码和卷积神经网络的遥感影像地物分类方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于超像素编码和卷积神经网络,可用于多城市多光谱遥感影像的地物分类方法。
背景技术
基于多光谱数据的特征提取及分类技术一直是遥感领域研究的热点问题之一。基于深度学习的卷积神经网络模型被广泛用于多光谱图像分类中,该模型利用多个卷积层和池化层从多光谱数据中提取对多种变形具有高度不变性的非线性特征,进而实现多光谱数据的地物分类。为充分利用多光谱感知所提供的空间信息,将像素点的邻域信息考虑在内,即提取目标像元周围的n×n方形邻域内的全部谱信息,然后输入到网络中用于分类,利用空间信息对多光谱数据进行分类。
对于训练数据和测试数据属于同一区域的分类任务是比较容易的,使用卷积神经网络模型分类精度可以达到95%以上,但是对于训练数据和测试数据属于不同城市的地物分类任务是很困难的,分类精度很低。主要是由于不同城市相同地物的分布特征不同,另外,图像块的邻域信息是为中心点服务的,由于各类地物的分布特征差异较大,使用固定尺寸对目标像元取块,其邻域信息不一定都对中心点起正反馈作用。为了提高该类任务的分类精度,需要使用去城市化的策略,使得提取到的特征更好的符合遥感图像的特性。
超像素概念是2003年Xiaofeng Ren提出和发展起来的图像分割技术,是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。它利用像素之间特征的相似性将像素分组,用少量的超像素代替大量的像素来表达图片特征,很大程度上降低了图像后处理的复杂度。SLIC(simple linear iterativeclustering)是一种常见的超像素分割方法,即简单的线性迭代聚类。它是2010年提出的一种思想简单、实现方便的算法,将彩色图像转化为CIELAB颜色空间和XY坐标下的5维特征向量,然后对5维特征向量构造距离度量标准,对图像像素进行局部聚类的过程。SLIC算法能生成紧凑、近似均匀的超像素,在运算速度,物体轮廓保持、超像素形状方面具有较高的综合评价,比较符合人们期望的分割效果。
DBSCAN算法是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。该算法利用基于密度的聚类(或者类cluster)概念,即要求聚类空间中的一定区域内所包含对象(点或其它空间对象)的数目不小于某一给定阈值。DBSCAN算法的显著优点是聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于超像素编码和卷积神经网络的遥感影像地物分类方法,以提高分类精度。
本发明采用以下技术方案:
基于超像素编码和卷积神经网络的遥感影像地物分类方法,使用自适应超像素编码和双通道卷积神经网络,首先利用超像素算法进行图像预分割,然后使用聚类方法将相邻且相似的超像素块合并,设定取块尺寸,构建三个输入尺寸不同的双通道卷积神经网络,将取块尺寸不同的样本输入相应的网络,用卷积神经网络分别提取两个传感器数据的特征,然后将提取的特征进行融合用于分类,根据合并之后的像素块大小确定样本的取块尺寸,实现自适应地选择所利用的邻域信息。
优选的,包括以下步骤:
S1、生成训练城市和测试城市的RGB彩色图像;
S2、对步骤S1得到的RGB彩色图像进行超像素分割;
S3、使用DBSCAN聚类方法对步骤S2分割的每张图像的超像素块进行合并;
S4、设置三种取块尺寸,根据步骤S3合并之后的像素块大小确定每个像素块内像素点的取块尺寸,得到与原图像大小相同的取块尺寸矩阵;
S5、对训练城市的数据进行归一化处理,根据步骤S4得到的取块尺寸矩阵,以有类标的样本为中心进行取块,生成用于训练网络的数据;
S6、根据训练数据的三种取块尺寸,构建三个双通道CNN模型,两个通道分别输入两个传感器的数据;
S7、将步骤S6三种取块尺寸的训练样本分别输入三个双通道CNN模型进行训练;
S8、将测试城市的数据按照与训练数据相同的归一化方式进行处理,根据取块尺寸矩阵将数据分成三部分,分别送入相应的双通道CNN模型进行分类,得到三个类标图;
S9、将步骤S8三个类标图对应位置叠加,得到完整的类标图,根据类标图得到彩色的分类图,选取其中有类标的点,计算分类精度和Kappa系数。
优选的,步骤S2中,使用SLIC超像素分割算法对每张彩色图像进行分割,具体步骤如下:
S21、将RGB彩色图像转化为Lab色彩图;
S22、初始化种子点,在图像内均匀地分配种子点;
S23、在种子点的n*n邻域内重新选择种子点,计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方;
S24、在每个种子点周围的邻域内为每个像素点分配类标签,搜索范围限制为2S*2S;
S25、距离度量,包括颜色距离和空间距离,对于每个搜索到的像素点,分别计算像素点和该种子点的距离D';
S26、迭代优化,上述步骤不断迭代直到误差收敛,即每个像素点聚类中心不再发生变化为止;
S27、增强连通性,将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素。
优选的,所述SLIC超像素分割算法使用vlfeat工具包中的vl_slic函数实现,其中region参数值为5,rate参数值为1,迭代优化过程中迭代次数为10。
优选的,步骤S3中,DBSCAN聚类的对象为超像素块,聚类距离为两个超像素块的Lab颜色距离,两个超像素块的聚类距离的计算如下:
其中,L1、L2、a1、a2、b1、b2分别为两个超像素块中L、a、b的均值。
优选的,如果两个超像素块相邻,则聚类距离是两个超像素块的Lab颜色距离;如果两个超像素块不相邻,则聚类距离定义为无穷大,设置MinPts为1,设置距离阈值为5。
优选的,步骤S4中,设置三种取块尺寸为16×16、24×24和32×32,则每个图像块内像素点的取块尺寸计算如下:
其中,w为像素点的取块尺寸,S为合并后像素块的面积,e1、e2为阈值,e1=10,e2=32。
优选的,步骤S6中,双通道CNN模型中单通道的卷积神经网络的结构为4层,表示为:输入层→卷积层→池化层→卷积层→池化层,其中,第1层输入层输出特征映射图为9或10;第2层卷积层输出特征映射图为32,滤波器尺寸为5;第3层池化层的下采样尺度为2,第4层卷积层输出特征映射图为64,滤波器尺寸为5;第5层池化层的下采样尺度为2。
优选的,全连接层的结构如下:第1层特征融合层的输出特征映射图=(输入图像尺寸/4)^2*64*2;第2层全连接层的输出特征映射图=512;第3层softmax分类器的输出特征映射图=17。
优选的,步骤S7中,迭代次数设为120,batchsize为30,学习率为0.001,衰减率为0.95。
与现有技术相比,本发明至少具有以下有益效果:
本发明使用了自适应超像素编码,首先对图像进行超像素分割,然后使用聚类方法将相邻且相似的超像素块合并,根据合并之后的像素块大小确定样本的取块尺寸,实现自适应地选择所利用的邻域信息,使邻域信息起到正反馈作用,更好地利用了其邻域信息,根据邻域信息将样本送入不同的网络,可以使分布相似的样本进入同一个网络,可以有效提高分类精度,由于构造了双通道卷积神经网络,使用了两个传感器的数据,将从两个传感器提取到的特征进行了融合,两个传感器的信息相互弥补,使分类结果更准确。
进一步的,在超像素分割的过程中,设置超像素块面积的初始值较小,并且设置参数使其形状比较规则,这样可以保证每个超像素块内的像素点比较相似,有利于下一步的合并操作。在合并超像素块的过程中,使用基于密度的聚类方法DBSCAN算法,为了将相邻的超像素块合并,只计算相邻超像素块的距离,设置合适的距离阈值,可以将所有“可连接”的超像素块合并。
进一步的,卷积神经网络采用局部连接和权重共享,大大减少了网络的参数个数,通过输入图像块,利用了像素点的空间信息,利用多个卷积层和池化层从数据中提取对多种变形具有高度不变性的非线性特征,进而实现对地物的分类。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的网络模型图;
图2为合并后的超像素图;
图3为本发明中对待分类图像的人工标记图;
图4为用本发明对待分类图像的分类结果图;
图5为本方法分类方法流程图。
具体实施方式
本发明提供了一种基于超像素编码和卷积神经网络的遥感影像地物分类方法,使用自适应超像素编码和双通道卷积神经网络,首先利用超像素算法进行图像预分割,然后使用聚类方法将相邻且相似的超像素块合并,根据合并之后的像素块大小确定样本的取块尺寸,实现自适应地选择所利用的邻域信息。为了使分类结果更加准确,使用了双通道卷积神经网络,用卷积神经网络分别提取两个传感器数据的特征,然后将提取的特征进行融合用于分类。设定三种取块尺寸,相应地构建三个输入尺寸不同的双通道卷积神经网络,将取块尺寸不同的样本输入相应的网络。
请参阅图1和图5,本发明基于自适应超像素编码和双通道卷积神经网络的多城市遥感影像地物分类,包括以下步骤:
S1、输入训练城市和测试城市Landsat8传感器的多光谱图像,使用遥感图像处理平台ENVI堆叠Landsat8传感器的B4、B3、B2三个波段,得到相应的RGB彩色图像。
S2、对得到的RGB彩色图像进行超像素分割,使用SLIC超像素分割算法对每张彩色图像进行分割。
S21、将RGB彩色图像转化为Lab色彩图;
S22、初始化种子点(聚类中心),在图像内均匀地分配种子点;
S23、在种子点的n*n邻域内重新选择种子点(取n=3),计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方;
S24、在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心),搜索范围限制为2S*2S;
S25、距离度量,包括颜色距离和空间距离,对于每个搜索到的像素点,分别计算它和该种子点的距离,距离计算方法如下:
其中,l、a、b为Lab颜色空间中的三个分量,l代表像素的亮度,a代表从红色到绿色的范围,b代表从黄色到蓝色的范围,x和y为像素点的坐标,dc代表第i个种子点和第j个像素点的颜色距离,ds代表第i个种子点和第j个像素点的空间距离,Nc是最大颜色距离,Ns是类内最大空间距离;D'是像素点和该种子点的距离。
S26、迭代优化,上述步骤不断迭代直到误差收敛,即每个像素点聚类中心不再发生变化为止;
S27、增强连通性,将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素。
S3、使用DBSCAN聚类方法对每张图像的超像素块进行聚类,在确定超像素块的邻域时,使用以下标准:
如果两个超像素块相邻,则聚类距离是两个超像素块的Lab颜色距离。如果两个超像素块不相邻,则聚类距离定义为无穷大,设置MinPts为1,设置距离阈值为5,所以每个超像素块都是一个核心对象,与该超像素块相邻并且距离小于距离阈值的超像素块由该超像素块密度可达,以任一核心对象为出发点找出由其密度可达的样本生成聚类簇,直到所有的核心对象被访问过为止。
S4、以每个合并之后的像素块为单位,根据像素块的面积大小确定像素块内每个像素点的取块尺寸,得到与原图像大小相同的取块尺寸矩阵,设置三种取块尺寸为16×16、24×24、32×32,设置两个阈值e1、e2,根据以下公式确定每个图像块内像素点的取块尺寸:
其中,w为像素点的取块尺寸,S为合并后像素块的面积,e1=10,e2=32。
S5、对训练城市两个传感器的数据分别进行归一化处理,生成用于训练网络的数据。
首先对训练城市两个传感器的数据分别进行归一化处理,每个波段的像素值都归一化到[0,1]区间,利用公式进行归一化,由于各个城市像素值分布差异较大,为了使不同城市同一类别的像素值处于同一量级,因此采取对每个波段进行归一化的方法,即综合考虑每个城市图像的相同波段,确定用于归一化的最小值和最大值,观察每个波段像素值的分布,发现有一些像素值很大或很小的像素点的数量很少,因此把这些点作为噪点处理,确定最大值或最小值时不考虑这些点,将它们的值赋为0或1。
然后生成用于训练网络的数据,以有类标的样本为中心,根据步骤S4得到的取块尺寸矩阵对中心点进行取块,两个传感器均得到三种尺寸的图像块,并且将两个传感器的图像块与类标相对应。在选取训练样本时,尽量做到每类样本数量比较均衡。
S6、对于训练数据的三种取块尺寸,构建三个双通道CNN模型,三个模型网络结构相同,只是输入数据的尺寸不同,两个通道分别输入两个传感器的数据,两个通道的CNN网络具有相同的网络结构,由两个卷积层和两个池化层组成,以第一个模型为例,第一个通道输入的尺寸为16×16@9,输出为1024×1,第二个通道输入的尺寸为16×16@10,输出为1024×1,然后将两个特征级联为2048×1,然后经过两个全连接层以及softmax分类器,输出分类结果,激活函数采用RELU函数,为了防止过拟合,在最后一层全连接层加入Dropout。
S7、将三种尺寸的训练样本分别输入三个双通道CNN模型,分别训练三个双通道CNN模型,迭代次数设为120,batchsize为30,学习率为0.001,衰减率为0.95。
S8、将测试城市的数据按照与训练数据相同的归一化方式进行处理,根据取块尺寸矩阵将数据分成三部分,分别送入相应的双通道CNN模型,得到三个类标图。
S9、将三个类标图对应位置叠加,得到完整的类标图,然后根据类标图得到彩色的分类图,选取其中有类标的点,计算分类精度和Kappa系数。
仿真条件
硬件平台为:Intel(R)Xeon(R)CPU E5-2630,2.40GHz*16,内存为64G。
软件平台为:Tensorflow。
本发明的仿真实验中采用的图像数据为2017IEEE GRSS数据融合竞赛提供的数据,数据是多源、多时相、多场景的。
训练城市包含柏林、香港、巴黎、罗马、圣保罗五个城市,对于每个城市提供了Landsat8和Sentinel2两个传感器的数据。Landsat数据具有8个多光谱带(即可见光,短红外波长和长红外波长),分辨率为100m;Sentinel2数据具有9个多光谱带(即可见光,植被红色边缘和短红外波长)。每个城市的Landsat 8数据包含多个时相,Sentinel2数据只有一个时相,一共有17类地物,但是每个城市并不包括所有的类别,每个城市只有其中一些类别。
2.仿真内容与结果:
用本发明方法在上述仿真条件下进行实验,使用柏林、巴黎、罗马、圣保罗四个城市训练,用香港测试,使用Landsat8和Sentinel2两个传感器的数据。选择16×16、24×24、32×32三种取块尺寸,每种尺寸的样本每类选1000个,如果该尺寸某类样本数量不足,增加其他尺寸的样本,如果仍然不足1000个,全部选取,最终16×16尺寸选取了15445个样本,24×24尺寸选取了16000个样本,32×32尺寸选取了16000个样本。
对比实验:同样使用柏林、巴黎、罗马、圣保罗四个城市训练,香港测试,每类取3000个样本,取样本时尽量使每个城市每类的样本数量相同,选取的样本数为48003,分别使用三种尺寸16×16、24×24、32×32对像素点进行取块。
本发明与对比试验的分类精度和Kappa系数如下表
从分类结果可以看出:
对于训练和测试数据属于不同城市的分类任务,分类精度较低,这主要是由于不同城市相同地物的分布特性不同,使测试数据和训练数据差异较大,另外,图像块中像素点的邻域是为中心点服务的,由于不同类别的分布特性不相同,使用相同尺寸来取块是不合理的。比较分别使用三种尺寸16×16、24×24、32×32对像素点进行取块的实验结果,发现取块尺寸并不是越大越好,这可能是由于像素点的邻域起到负反馈作用。而使用自适应超像素编码,可以使所利用的邻域信息与中心点尽量相似,起到正反馈作用,可以使分布相似的样本进入同一个网络,因此,本发明的分类精度和Kappa系数比与使用单一的尺寸取块的结果都要好。
由图2可以看出,每个合并之后的超像素块内的像素点都比较相似,验证了超像素分割与聚类算法的有效性,从图3与图4比较的视觉效果可以看出,不同的类别用不同的颜色标出,通过比较图3与图4中相同位置的颜色,可以看出采用本发明的分类结果图与实际类标图比较接近。
综上所述,本发明通过使用了自适应超像素编码,使分布相似的样本进入同一个网络,充分利用了像素点的邻域信息,更好地拟合了遥感图像的特性,使得提取到的特征更有效,通过使用双通道卷积神经网络,利用了更多的信息,使两个传感器的信息相互弥补,有效提高了分类精度。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,使用自适应超像素编码和双通道卷积神经网络,首先利用超像素算法进行图像预分割,然后使用聚类方法将相邻且相似的超像素块合并,设定取块尺寸,构建三个输入尺寸不同的双通道卷积神经网络,将取块尺寸不同的样本输入相应的网络,用卷积神经网络分别提取两个传感器数据的特征,然后将提取的特征进行融合用于分类,根据合并之后的像素块大小确定样本的取块尺寸,实现自适应地选择所利用的邻域信息。
2.根据权利要求1所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,包括以下步骤:
S1、生成训练城市和测试城市的RGB彩色图像;
S2、对步骤S1得到的RGB彩色图像进行超像素分割;
S3、使用DBSCAN聚类方法对步骤S2分割的每张图像的超像素块进行合并;
S4、设置三种取块尺寸,根据步骤S3合并之后的像素块大小确定每个像素块内像素点的取块尺寸,得到与原图像大小相同的取块尺寸矩阵;
S5、对训练城市的数据进行归一化处理,根据步骤S4得到的取块尺寸矩阵,以有类标的样本为中心进行取块,生成用于训练网络的数据;
S6、根据训练数据的三种取块尺寸,构建三个双通道CNN模型,两个通道分别输入两个传感器的数据;
S7、将步骤S6三种取块尺寸的训练样本分别输入三个双通道CNN模型进行训练;
S8、将测试城市的数据按照与训练数据相同的归一化方式进行处理,根据取块尺寸矩阵将数据分成三部分,分别送入相应的双通道CNN模型进行分类,得到三个类标图;
S9、将步骤S8三个类标图对应位置叠加,得到完整的类标图,根据类标图得到彩色的分类图,选取其中有类标的点,计算分类精度和Kappa系数。
3.根据权利要求2所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,步骤S2中,使用SLIC超像素分割算法对每张彩色图像进行分割,具体步骤如下:
S21、将RGB彩色图像转化为Lab色彩图;
S22、初始化种子点,在图像内均匀地分配种子点;
S23、在种子点的n*n邻域内重新选择种子点,计算该邻域内所有像素点的梯度值,将种子点移到该邻域内梯度最小的地方;
S24、在每个种子点周围的邻域内为每个像素点分配类标签,搜索范围限制为2S*2S;
S25、距离度量,包括颜色距离和空间距离,对于每个搜索到的像素点,分别计算像素点和该种子点的距离D';
S26、迭代优化,上述步骤不断迭代直到误差收敛,即每个像素点聚类中心不再发生变化为止;
S27、增强连通性,将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素。
4.根据权利要求3所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,所述SLIC超像素分割算法使用vlfeat工具包中的vl_slic函数实现,其中region参数值为5,rate参数值为1,迭代优化过程中迭代次数为10。
5.根据权利要求2所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,步骤S3中,DBSCAN聚类的对象为超像素块,聚类距离为两个超像素块的Lab颜色距离,两个超像素块的聚类距离的计算如下:
<mrow> <mi>D</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>L</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>b</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
其中,L1、L2、a1、a2、b1、b2分别为两个超像素块中L、a、b的均值。
6.根据权利要求5所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,如果两个超像素块相邻,则聚类距离是两个超像素块的Lab颜色距离;如果两个超像素块不相邻,则聚类距离定义为无穷大,设置MinPts为1,设置距离阈值为5。
7.根据权利要求1所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,步骤S4中,设置三种取块尺寸为16×16、24×24和32×32,则每个图像块内像素点的取块尺寸计算如下:
<mrow> <mi>w</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>16</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mi>S</mi> <mo>&lt;</mo> <msup> <msub> <mi>e</mi> <mn>1</mn> </msub> <mn>2</mn> </msup> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>32</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mi>S</mi> <mo>&lt;</mo> <msup> <msub> <mi>e</mi> <mn>2</mn> </msub> <mn>2</mn> </msup> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>24</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中,w为像素点的取块尺寸,S为合并后像素块的面积,e1、e2为阈值,e1=10,e2=32。
8.根据权利要求1所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,步骤S6中,双通道CNN模型中单通道的卷积神经网络的结构为4层,表示为:输入层→卷积层→池化层→卷积层→池化层,其中,第1层输入层输出特征映射图为9或10;第2层卷积层输出特征映射图为32,滤波器尺寸为5;第3层池化层的下采样尺度为2,第4层卷积层输出特征映射图为64,滤波器尺寸为5;第5层池化层的下采样尺度为2。
9.根据权利要求8所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,全连接层的结构如下:第1层特征融合层的输出特征映射图=(输入图像尺寸/4)^2*64*2;第2层全连接层的输出特征映射图=512;第3层softmax分类器的输出特征映射图=17。
10.根据权利要求1所述基于超像素编码和卷积神经网络的遥感影像地物分类方法,其特征在于,步骤S7中,迭代次数设为120,batchsize为30,学习率为0.001,衰减率为0.95。
CN201710647905.1A 2017-08-01 2017-08-01 基于超像素编码和卷积神经网络的遥感影像地物分类方法 Active CN107392925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710647905.1A CN107392925B (zh) 2017-08-01 2017-08-01 基于超像素编码和卷积神经网络的遥感影像地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710647905.1A CN107392925B (zh) 2017-08-01 2017-08-01 基于超像素编码和卷积神经网络的遥感影像地物分类方法

Publications (2)

Publication Number Publication Date
CN107392925A true CN107392925A (zh) 2017-11-24
CN107392925B CN107392925B (zh) 2020-07-07

Family

ID=60343603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710647905.1A Active CN107392925B (zh) 2017-08-01 2017-08-01 基于超像素编码和卷积神经网络的遥感影像地物分类方法

Country Status (1)

Country Link
CN (1) CN107392925B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052962A (zh) * 2017-11-29 2018-05-18 西安建筑科技大学 一种基于改进编辑距离的光谱匹配算法
CN108052876A (zh) * 2017-11-28 2018-05-18 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置
CN108804616A (zh) * 2018-05-30 2018-11-13 中国科学院空间应用工程与技术中心 一种空间有效载荷在轨图像数据挖掘的装置和方法
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109711382A (zh) * 2019-01-07 2019-05-03 哈尔滨理工大学 一种基于深度学习的可视化定位方法
CN109829423A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种结冰湖泊红外成像检测方法
CN109919171A (zh) * 2018-12-21 2019-06-21 广东电网有限责任公司 一种基于小波神经网络的红外图像识别方法
CN110211138A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于置信点的遥感图像分割方法
CN110390255A (zh) * 2019-05-29 2019-10-29 中国铁路设计集团有限公司 基于多维度特征提取的高铁环境变化监测方法
CN110428422A (zh) * 2018-05-01 2019-11-08 辉达公司 超像素采样网络
CN110647939A (zh) * 2019-09-24 2020-01-03 广州大学 一种半监督智能分类方法、装置、存储介质及终端设备
CN111186656A (zh) * 2020-01-10 2020-05-22 上海电力大学 一种目标垃圾分类方法及智能垃圾桶
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111837140A (zh) * 2018-09-18 2020-10-27 谷歌有限责任公司 视频代码化的感受野一致卷积模型
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN112767292A (zh) * 2021-01-05 2021-05-07 同济大学 一种用于时空融合的地理加权空间混合分解方法
CN112893159A (zh) * 2021-01-14 2021-06-04 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN110096960B (zh) * 2019-04-03 2021-06-08 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN113065412A (zh) * 2021-03-12 2021-07-02 武汉大学 基于改进的Deeplabv3+的航拍图像电磁介质语义识别方法及装置
CN113657415A (zh) * 2021-10-21 2021-11-16 西安交通大学城市学院 一种面向示意图的对象检测方法
CN115457050A (zh) * 2022-08-29 2022-12-09 武汉纺织大学 一种基于超像素的古代壁画图像优化分割方法及系统
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN117196446A (zh) * 2023-11-06 2023-12-08 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069779A (zh) * 2015-07-20 2015-11-18 童垸林 一种建筑陶瓷表面花纹图案质量检测方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN106934455A (zh) * 2017-02-14 2017-07-07 华中科技大学 基于cnn的遥感影像光学适配结构选取方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069779A (zh) * 2015-07-20 2015-11-18 童垸林 一种建筑陶瓷表面花纹图案质量检测方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105844228A (zh) * 2016-03-21 2016-08-10 北京航空航天大学 一种基于卷积神经网络的遥感图像云检测方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN106934455A (zh) * 2017-02-14 2017-07-07 华中科技大学 基于cnn的遥感影像光学适配结构选取方法及系统
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ACHANTA R ET AL: "SLIC Superpixels Compared to State-Of-the-Art Superpixel Methods", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ALVAREZ JM ET AL: "Semantic Road Segmentation via Multi-scale Ensembles of Learned Features", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
LIU Y Z, CAO G, SUN Q S, SIEGEL M: "Hyperspectral classi¯cation via deep networks and superpixel segmentation", 《INTERNATIONAL JOURNAL OF REMOTE SENSING》 *
李岳云: "深度卷积神经网络的显著性检测", 《中国图象图形学报》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052876A (zh) * 2017-11-28 2018-05-18 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置
CN108052876B (zh) * 2017-11-28 2022-02-11 广东数相智能科技有限公司 基于图像识别的区域发展评估方法及装置
CN108052962A (zh) * 2017-11-29 2018-05-18 西安建筑科技大学 一种基于改进编辑距离的光谱匹配算法
CN110428422A (zh) * 2018-05-01 2019-11-08 辉达公司 超像素采样网络
CN110428422B (zh) * 2018-05-01 2024-05-24 辉达公司 超像素采样网络
CN108804616A (zh) * 2018-05-30 2018-11-13 中国科学院空间应用工程与技术中心 一种空间有效载荷在轨图像数据挖掘的装置和方法
CN109034224A (zh) * 2018-07-16 2018-12-18 西安电子科技大学 基于双分支网络的高光谱分类方法
CN109034224B (zh) * 2018-07-16 2022-03-11 西安电子科技大学 基于双分支网络的高光谱分类方法
CN111837140A (zh) * 2018-09-18 2020-10-27 谷歌有限责任公司 视频代码化的感受野一致卷积模型
CN109086753A (zh) * 2018-10-08 2018-12-25 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109086753B (zh) * 2018-10-08 2022-05-10 新疆大学 基于双通道卷积神经网络的交通标志识别方法、装置
CN109919171A (zh) * 2018-12-21 2019-06-21 广东电网有限责任公司 一种基于小波神经网络的红外图像识别方法
CN109711382A (zh) * 2019-01-07 2019-05-03 哈尔滨理工大学 一种基于深度学习的可视化定位方法
CN109829423B (zh) * 2019-01-18 2023-03-07 电子科技大学 一种结冰湖泊红外成像检测方法
CN109829423A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种结冰湖泊红外成像检测方法
CN110096960B (zh) * 2019-04-03 2021-06-08 罗克佳华科技集团股份有限公司 目标检测方法及装置
CN110390255A (zh) * 2019-05-29 2019-10-29 中国铁路设计集团有限公司 基于多维度特征提取的高铁环境变化监测方法
CN110211138A (zh) * 2019-06-08 2019-09-06 西安电子科技大学 基于置信点的遥感图像分割方法
CN110211138B (zh) * 2019-06-08 2022-12-02 西安电子科技大学 基于置信点的遥感图像分割方法
CN110647939A (zh) * 2019-09-24 2020-01-03 广州大学 一种半监督智能分类方法、装置、存储介质及终端设备
CN111186656A (zh) * 2020-01-10 2020-05-22 上海电力大学 一种目标垃圾分类方法及智能垃圾桶
CN111325165A (zh) * 2020-02-26 2020-06-23 中南大学 考虑空间关系信息的城市遥感影像场景分类方法
CN111860173B (zh) * 2020-06-22 2021-10-15 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN111860173A (zh) * 2020-06-22 2020-10-30 中国科学院空天信息创新研究院 一种基于弱监督的遥感图像地物要素提取方法及系统
CN112767292A (zh) * 2021-01-05 2021-05-07 同济大学 一种用于时空融合的地理加权空间混合分解方法
CN112767292B (zh) * 2021-01-05 2022-09-16 同济大学 一种用于时空融合的地理加权空间混合分解方法
CN112893159A (zh) * 2021-01-14 2021-06-04 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN112893159B (zh) * 2021-01-14 2023-01-06 陕西陕煤曹家滩矿业有限公司 一种基于图像识别的煤矸石分拣方法
CN113065412A (zh) * 2021-03-12 2021-07-02 武汉大学 基于改进的Deeplabv3+的航拍图像电磁介质语义识别方法及装置
CN113657415A (zh) * 2021-10-21 2021-11-16 西安交通大学城市学院 一种面向示意图的对象检测方法
CN115457050A (zh) * 2022-08-29 2022-12-09 武汉纺织大学 一种基于超像素的古代壁画图像优化分割方法及系统
CN116824282A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN116824282B (zh) * 2023-08-31 2023-11-10 中国石油大学(华东) 融合多跳图卷积和注意力的半监督高光谱图像分类方法
CN117196446A (zh) * 2023-11-06 2023-12-08 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台
CN117196446B (zh) * 2023-11-06 2024-01-19 北京中海通科技有限公司 一种基于大数据的产品风险实时监测平台

Also Published As

Publication number Publication date
CN107392925B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN107392925A (zh) 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN107220657B (zh) 一种面向小数据集的高分辨率遥感影像场景分类的方法
CN112836773B (zh) 一种基于全局注意力残差网络的高光谱图像分类方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN108399362A (zh) 一种快速行人检测方法及装置
CN107610141A (zh) 一种基于深度学习的遥感图像语义分割方法
CN105657402B (zh) 一种深度图恢复方法
CN108010034A (zh) 商品图像分割方法及装置
CN105427309B (zh) 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法
CN106650830A (zh) 基于深层模型和浅层模型决策融合的肺结节ct图像自动分类方法
CN108549891A (zh) 基于背景与目标先验的多尺度扩散显著目标检测方法
CN108288035A (zh) 基于深度学习的多通道图像特征融合的人体动作识别方法
CN104680173B (zh) 一种遥感图像场景分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN111523521A (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN109409435A (zh) 一种基于卷积神经网络的深度感知显著性检测方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN108537239A (zh) 一种图像显著性目标检测的方法
CN105469098A (zh) 一种自适应特征权重合成的lidar数据地物精确分类方法
CN105761202B (zh) 一种彩色图像颜色迁移方法
CN109472757A (zh) 一种基于生成对抗神经网络的图像去台标方法
CN107832797A (zh) 基于深度融合残差网的多光谱图像分类方法
CN107516103A (zh) 一种影像分类方法和系统
CN109034233A (zh) 一种结合OpenStreetMap的高分辨率遥感影像多分类器联合分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant