CN107358204A - 基于数据再编码和深度融合卷积网络的多光谱图像分类方法 - Google Patents

基于数据再编码和深度融合卷积网络的多光谱图像分类方法 Download PDF

Info

Publication number
CN107358204A
CN107358204A CN201710572135.9A CN201710572135A CN107358204A CN 107358204 A CN107358204 A CN 107358204A CN 201710572135 A CN201710572135 A CN 201710572135A CN 107358204 A CN107358204 A CN 107358204A
Authority
CN
China
Prior art keywords
classification
eigenmatrix
data
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710572135.9A
Other languages
English (en)
Other versions
CN107358204B (zh
Inventor
焦李成
屈嵘
侯瑶淇
马文萍
杨淑媛
侯彪
刘芳
尚荣华
张向荣
张丹
唐旭
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710572135.9A priority Critical patent/CN107358204B/zh
Publication of CN107358204A publication Critical patent/CN107358204A/zh
Application granted granted Critical
Publication of CN107358204B publication Critical patent/CN107358204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于数据再编码和深度融合卷积网络的多光谱图像分类方法，将待分类的多光谱图像中不同波段的数据堆叠到一起，得到三维图像特征FA；输入待分类多光谱图像的分类辅助数据；再进行编码，得到三维图像特征FB；将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F；对F归一化，并对归一化后的特征矩阵F1中的每个元素取块，构成基于图像块的特征矩阵F2；根据F2得到训练数据集的特征矩阵W1和测试数据集的特征矩阵W2；构造基于多尺度深度滤波器的分类模型；用训练数据集的特征矩阵W1对分类模型进行训练；利用训练好的分类模型对测试数据集的特征矩阵W2分类。本发明提高了多光谱遥感图像的分类精度，可用于地物分类。

Description

基于数据再编码和深度融合卷积网络的多光谱图像分类方法
技术领域
本发明属于图像处理领域，具体涉及一种基于数据再编码和深度融合卷积网络的多光谱图像分类方法。
背景技术
多光谱图像是利用卫星的多光谱对地扫描系统扫描获得的遥感图像，通常含有两个以上波谱通道对地物进行同步成像。
随着经济的快速发展，土地利用情况也在不断的发展变化。通过人力实时监测土地利用情况的难度也越来越高。而卫星遥感技术的发展在一定程度上解决了这一问题。通过高空扫描成像，卫星遥感能够实时获得地面情况的信息，在土地利用监测等方面得到了越来越广泛的应用。多光谱图像作为一种重要的遥感数据源，对其进行地物分类也得到了研究人员的关注。
用于多光谱遥感图像分类的传统方法有很多，如：最大似然分类法、最小距离分类法、决策树分类法、支撑向量机分类法等。传统方法需要针对图像本身特点设计分类特征，对人力的要求较高。此外，由于多光谱遥感图像本身存在的“同物异谱、同谱异物”的现象，导致了图像本身的分类难度较高。因此，传统方法对多光谱遥感图像分类的精度不高。
深度学习的兴起，突破了传统的遥感图像分类方法的限制。深度学习通过神经元之间的连接权值的训练，能够自动提取待分类图像从底层到高层的特征，降低了特征设计的工作量，提高了分类精度。卷积神经网络是近些年来发展最快的深度神经网络之一。在图像处理领域，卷积神经网络及其各种变体，已经成为了应用最为广泛的深度神经网络。
然而，传统的卷积神经网络在多光谱遥感图像处理中，对于同样的目标，只提取一个尺度上的特征并进行特征再提取，没有考虑到不同尺度的信息融合问题，不能够充分利用已有的数据信息，难以达到较高的分类精度。
发明内容
本发明的目的在于克服上述不足，提供一种基于数据再编码和深度融合卷积网络的多光谱图像分类方法，以提高分类精度。
为了达到上述目的，本发明包括以下步骤：
步骤一，输入待分类的多光谱图像；
步骤二，将多光谱图像中不同波段的数据堆叠到一起，得到三维图像特征FA；
步骤三，输入待分类多光谱图像的分类辅助数据；
步骤四，对分类辅助数据进行再编码，得到三维图像特征FB；
步骤五，将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F＝{FA，FB}；
步骤六，使用最大值归一化，将基于像素点的特征矩阵F中的元素值归一化到[0，1]之间，记作F1＝{FA1，FB1}；
步骤七，用归一化后的特征矩阵F1中每个元素取周围17×17的块代表原来的元素值，构成基于图像块的特征矩阵F2＝{FA2，FB2}；
步骤八，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}；
步骤九，构造基于深度融合网络的分类模型；
步骤十，用训练数据集对分类模型进行训练，得到训练好的模型；
步骤十一，利用训练好的模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。
所述步骤一中，待分类的图像选用了Sentinel-2卫星获得若干待测地区的多光谱图像，并给确定的多光谱图像进行了标记，标记类别共有17类。
所述步骤三中，分类辅助数据采用步骤一中待测地区相对应的Osm Raster数据。
所述步骤四中，再编码方式具体如下：
第一步，统计Osm Raster数据中出现的每一个数据值，得到一个列向量a＝{a1，a2，…，ai，…，aN}，N为出现的数据值的总个数；
第二步，对于多光谱图像中的每个像素点，在Osm Raster数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个列向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；
第三步，对每个像素点进行第二步所述操作，得到该数据源的三维图像特征FB。
所述步骤六中，归一化的具体方法如下；
先求出基于像素点的特征矩阵FA、FB的最大值max(FA)、max(FB)；再将基于像素点的特征矩阵FA、FB中的每个元素均除以相应的最大值max(FA)、max(FB)，得到归一化后的特征矩阵F1＝{FA1，FB1}。
所述步骤八中，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}的具体方法如下：
第一步，根据给定的图像标记，将地物分为17类，记录每个类别对应的像素点在待分类图像中的位置，生成17种对应不同类地物像素点的位置A＝{A1、A2、……、A16、A17}，其中Ai对应第i类地物像素点在待分类图像中的位置；
第二步，从位置A的每个类别像素点位置Ai中随机选取10％的元素，生成17种对应不同类地物被选作训练数据集的像素点的位置B＝{B1、B2、……、B16、B17}，其中Bi为对应第i类地物中被选作训练数据集的像素点在待分类图像中的位置；
第三步，用位置A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、……、C16、C17}，其中Ci为对应第i类地物中被选作测试数据集的像素点在待分类图像中的位置；
第四步，定义训练数据集D的特征矩阵W1，在基于图像块的特征矩阵F2中依据B取对应位置上的值，并赋值给训练数据集D的特征矩阵W1＝{WA1，WB1}；
第五步，定义测试数据集T的特征矩阵W2，在基于图像块的特征矩阵F2中依据C取对应位置上的值，并赋值给测试数据集T的特征矩阵W2＝{WA2，WB2}。
所述步骤九中，构造基于深度融合网络的分类模型的具体方法如下：
第一步，选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1、N1-2、N1-3、N1-4、N1-5、N1-6、N1-7、N1-8、N1-10，其中N1-1、N1-2、N1-3、N1-4、N1-5的输入为特征矩阵WA，N1-6、N1-7、N1-8、N1-10的输入为特征矩阵WB；
第二步，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10的输出联合起来，作为融合特征WF1；
第三步，将WF1输入到五个由第二卷积层→第二池化层组成的子网络N2-1，N2-2，N2-3，N2-4，N2-5，其中N2-1，N2-2，N2-3，N2-4，N2-5具有不同的网络参数；
第四步，将N2-1，N2-2，N2-3，N2-4，N2-5的输出联合起来，作为融合特征WF2；
第五步，将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C中，该网络的输出作为整个深度融合网络的输出。
所述步骤十中，用训练数据集对分类模型进行训练，得到训练好的分类模型的具体方法如下：
将训练数据集D的特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型，训练参数为：损失函数为二值交叉熵，优化算法为自适应学习率调整算法，迭代次数为300次。
所述步骤十一中，将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。
与现有技术相比，本发明由于对辅助数据进行了再编码处理，得到了利于卷积神经网络处理的数据。通过对再编码后的辅助数据进行卷积，得到了更多特征信息，提高了分类精度；本发明由于使用了多个子网络用于提取不同尺度的特征信息并进行了融合，能得到具有多尺度、多分辨特性的图像特征，增强了模型的泛化能力，提高了分类精度。
附图说明
图1为本发明的实现流程图；
图2为本发明中对待分类图像的人工标记图；其中，a为柏林，b为香港，c为巴黎，d为罗马，e为圣保罗；
图3为用本发明对待分类图像的分类结果图；其中，a为柏林，b为香港，c为巴黎，d为罗马，e为圣保罗。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1，本发明的具体实现步骤如下：
步骤1，输入待分类的多光谱图像。
待分类的图像选用了Sentinel-2卫星获得的五个城市的多光谱图像。这五个城市分别为：德国柏林(Berlin)，中国香港(Hong Kong)，法国巴黎(Paris)，意大利罗马(Rome)，巴西圣保罗(Sao Paulo)。给定的多光谱图像进行了部分标记。标记类别共有17类。
步骤2，将给定的每个城市图像中不同波段的数据堆叠到一起，得到该数据源的三维图像特征FA。
步骤3，输入待分类多光谱图像的分类辅助数据。
分类辅助数据选用了步骤1中五个城市相对应的Osm Raster数据。Osm Raster数据来源于Open Street Map(OSM)，分辨率为Sentinel-2卫星获得的多光谱图像的20倍。
步骤4，对分类辅助数据进行再编码，得到该数据源的三维图像特征FB。再编码方式具体如下：
(4a)统计Osm Raster数据中出现的每一个数据值，得到一个列向量a＝{a1，a2，…，ai，…，aN}，N为出现的数据值的总个数；
(4b)对于多光谱图像中的每个像素点，在Osm Raster数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个列向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；
(4c)对每个像素点进行(4b)所述操作，得到该数据源的三维图像特征FB。
步骤5，将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F＝{FA，FB}；
步骤6，对基于像素点的特征矩阵F归一化。
常用的归一化方法有：特征线性缩放法、特征标准化和特征白化。
本实例采用特征线性缩放法，对F＝{FA，FB}中的FA和FB分别进行归一化。即先求出基于像素点的特征矩阵FA、FB的最大值max(FA)、max(FB)；再将基于像素点的特征矩阵FA、FB中的每个元素均除以相应的最大值max(FA)、max(FB)，得到归一化后的特征矩阵F1＝{FA1，FB1}。
步骤7，对于归一化后的每个城市对应的特征矩阵F1＝{FA1，FB1}，选择有标记的所有元素组成元素集合S＝{S1，S2，S3，S4，S5}，其中S1，S2，S3，S4，S5分别表示五个城市中的有标记元素。对于S中的每个元素，取周围17×17的块代表原来的元素值，构成基于图像块的包含所有城市有标记样本的特征矩阵F2＝{FA2，FB2}。
步骤8，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}。
(8a)根据给定的图像标记，将地物分为17类，记录每个类别对应的像素点在待分类图像中的位置，生成17种对应不同类地物像素点的位置A＝{A1、A2、……、A16、A17}，其中Ai对应第i类地物像素点在待分类图像中的位置；
(8b)从所述A的每个类别像素点位置Ai中随机选取10％的元素，生成17种对应不同类地物被选作训练数据集的像素点的位置B＝{B1、B2、……、B16、B17}，其中Bi为对应第i类地物中被选作训练数据集的像素点在待分类图像中的位置；
(8c)用所述A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、……、C16、C17}，其中Ci为对应第i类地物中被选作测试数据集的像素点在待分类图像中的位置；
(8d)定义训练数据集D的特征矩阵W1，在基于图像块的特征矩阵F2中依据B取对应位置上的值，并赋值给训练数据集D的特征矩阵W1＝{WA1，WB1}；
(8e)定义测试数据集T的特征矩阵W2，在基于图像块的特征矩阵F2中依据C取对应位置上的值，并赋值给测试数据集T的特征矩阵W2＝{WA2，WB2}。
步骤9，构造基于深度融合网络的分类模型。
(9a)选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10。其中N1-1，N1-2，N1-3，N1-4，N1-5的输入为特征矩阵WA，N1-6，N1-7，N1-8，N1-10的输入为特征矩阵WB。具体的参数设置如下：
对于子网络N1-1，第一卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-2，第一卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-3，第一卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-4，第一卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-5，第一卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-6，第一卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-7，第一卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-8，第一卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-9，第一卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
对于子网络N1-10，第一卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；
(9b)将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10的输出联合起来，作为融合特征WF1。联合方式为简单堆叠，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10输出的特征图堆叠起来，作为一组新的融合特征图；
(9c)将WF1输入到五个由输入层→第二卷积层→第二池化层组成的子网络N2-1，N2-2，N2-3，N2-4，N2-5。五个子网络的输入层是相同的，均为WF1。五个子网络具有不同的网络参数。具体的参数设置如下：
对于子网络N2-1，第二卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；
对于子网络N2-2，第二卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；
对于子网络N2-3，第二卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；
对于子网络N2-4，第二卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；
对于子网络N2-5，第二卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；
(9d)将N2-1，N2-2，N2-3，N2-4，N2-5的输出联合起来，作为融合特征WF2。联合方式为简单堆叠，将N2-1，N2-2，N2-3，N2-4，N2-5输出的特征图堆叠起来，作为一组新的融合特征图；
(9e)将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C中，该网络的输出作为整个深度融合网络的输出。分类子网络C的具体参数如下：
第三卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；
全连接层特征映射图数目为64；
Softmax分类器特征映射图数目为17.
步骤10，用训练数据集对分类模型进行训练，得到训练好的分类模型。
将训练数据集D的特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。具体的训练参数为：损失函数为二值交叉熵，优化算法为自适应学习率调整算法，迭代次数为300代。人工标记的正确类标如图2所示。
步骤11，利用训练好的分类模型对测试数据集进行分类。
将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。
本发明的效果可以通过以下仿真实验进一步说明：
1、仿真条件：
硬件平台为：惠普Z840。
软件平台为：Keras。
2、仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，即分别从多光谱数据的每个类别中随机选取10％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本。图2为真实标记图，图3为本文方法的分类结果图。
从图3可以看出：绝大多数区域得到了准确分类，区域一致性较好。
再依次减少训练样本，使训练样本占样本总数的5％、3％，将本发明与卷积神经网络(没有利用辅助数据再编码)、深度融合卷积网络(没有利用辅助数据再编码)以及卷积神经网络(利用辅助数据再编码)的测试数据集分类精度进行对比，结果如表1所示：
表1
从表1可见，训练样本占样本总数的10％、5％、3％时，本发明的测试数据集分类精度均高于卷积神经网络、深度融合卷积网络以及卷积神经网络(使用辅助数据)。
综上，本发明通过引入了数据再编码和深度融合卷积网络，有效利用了图像数据中的信息，提高了图像特征的表达能力，增强了模型的泛化能力，提高了分类精度。

Claims (9)

1.基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，包括以下步骤：
步骤一，输入待分类的多光谱图像；
步骤二，将多光谱图像中不同波段的数据堆叠到一起，得到三维图像特征FA；
步骤三，输入待分类多光谱图像的分类辅助数据；
步骤四，对分类辅助数据进行再编码，得到三维图像特征FB；
步骤五，将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F＝{FA，FB}；
步骤六，使用最大值归一化，将基于像素点的特征矩阵F中的元素值归一化到[0，1]之间，记作F1＝{FA1，FB1}；
步骤七，用归一化后的特征矩阵F1中每个元素取周围17×17的块代表原来的元素值，构成基于图像块的特征矩阵F2＝{FA2，FB2}；
步骤八，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}；
步骤九，构造基于深度融合网络的分类模型；
步骤十，用训练数据集对分类模型进行训练，得到训练好的模型；
步骤十一，利用训练好的模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。
2.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤一中，待分类的图像选用了Sentinel-2卫星获得若干待测地区的多光谱图像，并给确定的多光谱图像进行了标记，标记类别共有17类。
3.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤三中，分类辅助数据采用步骤一中待测地区相对应的Osm Raster数据。
4.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤四中，再编码方式具体如下：
第一步，统计Osm Raster数据中出现的每一个数据值，得到一个列向量a＝{a1，a2，…，ai，…，aN}，N为出现的数据值的总个数；
第二步，对于多光谱图像中的每个像素点，在Osm Raster数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个列向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；
第三步，对每个像素点进行第二步所述操作，得到该数据源的三维图像特征FB。
5.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤六中，归一化的具体方法如下；
先求出基于像素点的特征矩阵FA、FB的最大值max(FA)、max(FB)；再将基于像素点的特征矩阵FA、FB中的每个元素均除以相应的最大值max(FA)、max(FB)，得到归一化后的特征矩阵F1＝{FA1，FB1}。
6.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤八中，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}的具体方法如下：
第一步，根据给定的图像标记，将地物分为17类，记录每个类别对应的像素点在待分类图像中的位置，生成17种对应不同类地物像素点的位置A＝{A1、A2、……、A16、A17}，其中Ai对应第i类地物像素点在待分类图像中的位置；
第二步，从位置A的每个类别像素点位置Ai中随机选取10％的元素，生成17种对应不同类地物被选作训练数据集的像素点的位置B＝{B1、B2、……、B16、B17}，其中Bi为对应第i类地物中被选作训练数据集的像素点在待分类图像中的位置；
第三步，用位置A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、……、C16、C17}，其中Ci为对应第i类地物中被选作测试数据集的像素点在待分类图像中的位置；
第四步，定义训练数据集D的特征矩阵W1，在基于图像块的特征矩阵F2中依据B取对应位置上的值，并赋值给训练数据集D的特征矩阵W1＝{WA1，WB1}；
第五步，定义测试数据集T的特征矩阵W2，在基于图像块的特征矩阵F2中依据C取对应位置上的值，并赋值给测试数据集T的特征矩阵W2＝{WA2，WB2}。
7.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤九中，构造基于深度融合网络的分类模型的具体方法如下：
第一步，选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1、N1-2、N1-3、N1-4、N1-5、N1-6、N1-7、N1-8、N1-10，其中N1-1、N1-2、N1-3、N1-4、N1-5的输入为特征矩阵WA，N1-6、N1-7、N1-8、N1-10的输入为特征矩阵WB；
第二步，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10的输出联合起来，作为融合特征WF1；
第三步，将WF1输入到五个由第二卷积层→第二池化层组成的子网络N2-1，N2-2，N2-3，N2-4，N2-5，其中N2-1，N2-2，N2-3，N2-4，N2-5具有不同的网络参数；
第四步，将N2-1，N2-2，N2-3，N2-4，N2-5的输出联合起来，作为融合特征WF2；
第五步，将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C中，该网络的输出作为整个深度融合网络的输出。
8.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤十中，用训练数据集对分类模型进行训练，得到训练好的分类模型的具体方法如下：
将训练数据集D的特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型，训练参数为：损失函数为二值交叉熵，优化算法为自适应学习率调整算法，迭代次数为300次。
9.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤十一中，将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。
CN201710572135.9A 2017-07-13 2017-07-13 基于再编码和深度融合卷积网络的多光谱图像分类方法 Active CN107358204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710572135.9A CN107358204B (zh) 2017-07-13 2017-07-13 基于再编码和深度融合卷积网络的多光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710572135.9A CN107358204B (zh) 2017-07-13 2017-07-13 基于再编码和深度融合卷积网络的多光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN107358204A true CN107358204A (zh) 2017-11-17
CN107358204B CN107358204B (zh) 2020-11-03

Family

ID=60292959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710572135.9A Active CN107358204B (zh) 2017-07-13 2017-07-13 基于再编码和深度融合卷积网络的多光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN107358204B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734116A (zh) * 2018-05-04 2018-11-02 江南大学 一种基于变速学习深度自编码网络的人脸识别方法
CN110298348A (zh) * 2019-06-12 2019-10-01 苏州中科天启遥感科技有限公司 遥感影像建筑物样本区域提取方法及系统、存储介质、设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116766A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于增量神经网络和子图编码的图像分类方法
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
US20140348386A1 (en) * 2013-05-22 2014-11-27 Osram Gmbh Method and a system for occupancy location
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116766A (zh) * 2013-03-20 2013-05-22 南京大学 一种基于增量神经网络和子图编码的图像分类方法
CN103177265A (zh) * 2013-03-25 2013-06-26 中山大学 基于核函数与稀疏编码的高清图像分类方法
US20140348386A1 (en) * 2013-05-22 2014-11-27 Osram Gmbh Method and a system for occupancy location
CN106778821A (zh) * 2016-11-25 2017-05-31 西安电子科技大学 基于slic和改进的cnn的极化sar图像分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734116A (zh) * 2018-05-04 2018-11-02 江南大学 一种基于变速学习深度自编码网络的人脸识别方法
CN108734116B (zh) * 2018-05-04 2021-12-03 江南大学 一种基于变速学习深度自编码网络的人脸识别方法
CN110298348A (zh) * 2019-06-12 2019-10-01 苏州中科天启遥感科技有限公司 遥感影像建筑物样本区域提取方法及系统、存储介质、设备

Also Published As

Publication number Publication date
CN107358204B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
Yang et al. Building extraction at scale using convolutional neural network: Mapping of the united states
CN107463948A (zh) 基于双通道多特征融合网络的多光谱图像分类方法
CN111368896A (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN106780466A (zh) 一种基于卷积神经网络的宫颈细胞图像识别方法
CN106127702A (zh) 一种基于深度学习的图像去雾算法
CN107506740A (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN107273938B (zh) 基于双通道卷积阶梯网的多源遥感影像地物分类方法
CN106446942A (zh) 基于增量学习的农作物病害识别方法
CN109948547A (zh) 城市绿地景观评价方法、装置、存储介质及终端设备
CN106934404A (zh) 一种基于cnn卷积神经网络的图像火焰识别系统
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN107657281A (zh) 一种基于改进的卷积神经网络的图像识别方法
CN108596892A (zh) 一种基于改进LeNet-5模型的焊缝缺陷识别方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN106203444B (zh) 基于条带波与卷积神经网络的极化sar图像分类方法
CN107516103A (zh) 一种影像分类方法和系统
CN107292336A (zh) 一种基于dcgan的极化sar图像分类方法
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN107832797A (zh) 基于深度融合残差网的多光谱图像分类方法
CN107657285A (zh) 基于三维卷积神经网络的高光谱图像分类方法
Jiang et al. Application of back propagation neural network in the classification of high resolution remote sensing image: take remote sensing image of Beijing for instance
CN105447274A (zh) 一种利用面向对象分类技术对中等分辨率遥感图像进行滨海湿地制图的方法
Swetanisha et al. Land use/land cover classification using machine learning models.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant