CN107358204B

CN107358204B - 基于再编码和深度融合卷积网络的多光谱图像分类方法

Info

Publication number: CN107358204B
Application number: CN201710572135.9A
Authority: CN
Inventors: 焦李成; 屈嵘; 侯瑶淇; 马文萍; 杨淑媛; 侯彪; 刘芳; 尚荣华; 张向荣; 张丹; 唐旭; 马晶晶
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2020-11-03
Anticipated expiration: 2037-07-13
Also published as: CN107358204A

Abstract

本发明公开了基于数据再编码和深度融合卷积网络的多光谱图像分类方法，将待分类的多光谱图像中不同波段的数据堆叠到一起，得到三维图像特征FA；输入待分类多光谱图像的分类辅助数据；再进行编码，得到三维图像特征FB；将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F；对F归一化，并对归一化后的特征矩阵F1中的每个元素取块，构成基于图像块的特征矩阵F2；根据F2得到训练数据集的特征矩阵W1和测试数据集的特征矩阵W2；构造基于多尺度深度滤波器的分类模型；用训练数据集的特征矩阵W1对分类模型进行训练；利用训练好的分类模型对测试数据集的特征矩阵W2分类。本发明提高了多光谱遥感图像的分类精度，可用于地物分类。

Description

基于再编码和深度融合卷积网络的多光谱图像分类方法

技术领域

本发明属于图像处理领域，具体涉及一种基于数据再编码和深度融合卷积网络的多光谱图像分类方法。

背景技术

多光谱图像是利用卫星的多光谱对地扫描系统扫描获得的遥感图像，通常含有两个以上波谱通道对地物进行同步成像。

随着经济的快速发展，土地利用情况也在不断的发展变化。通过人力实时监测土地利用情况的难度也越来越高。而卫星遥感技术的发展在一定程度上解决了这一问题。通过高空扫描成像，卫星遥感能够实时获得地面情况的信息，在土地利用监测等方面得到了越来越广泛的应用。多光谱图像作为一种重要的遥感数据源，对其进行地物分类也得到了研究人员的关注。

用于多光谱遥感图像分类的传统方法有很多，如：最大似然分类法、最小距离分类法、决策树分类法、支撑向量机分类法等。传统方法需要针对图像本身特点设计分类特征，对人力的要求较高。此外，由于多光谱遥感图像本身存在的“同物异谱、同谱异物”的现象，导致了图像本身的分类难度较高。因此，传统方法对多光谱遥感图像分类的精度不高。

深度学习的兴起，突破了传统的遥感图像分类方法的限制。深度学习通过神经元之间的连接权值的训练，能够自动提取待分类图像从底层到高层的特征，降低了特征设计的工作量，提高了分类精度。卷积神经网络是近些年来发展最快的深度神经网络之一。在图像处理领域，卷积神经网络及其各种变体，已经成为了应用最为广泛的深度神经网络。

然而，传统的卷积神经网络在多光谱遥感图像处理中，对于同样的目标，只提取一个尺度上的特征并进行特征再提取，没有考虑到不同尺度的信息融合问题，不能够充分利用已有的数据信息，难以达到较高的分类精度。

发明内容

本发明的目的在于克服上述不足，提供一种基于数据再编码和深度融合卷积网络的多光谱图像分类方法，以提高分类精度。

为了达到上述目的，本发明包括以下步骤：

步骤一，输入待分类的多光谱图像；

步骤二，将多光谱图像中不同波段的数据堆叠到一起，得到三维图像特征FA；

步骤三，输入待分类多光谱图像的分类辅助数据；

步骤四，对分类辅助数据进行再编码，得到三维图像特征FB；

步骤五，将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F＝{FA，FB}；

步骤六，使用最大值归一化，将基于像素点的特征矩阵F中的元素值归一化到[0，1]之间，记作F1＝{FA1，FB1}；

步骤七，用归一化后的特征矩阵F1中每个元素取周围17×17的块代表原来的元素值，构成基于图像块的特征矩阵F2＝{FA2，FB2}；

步骤八，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}；

步骤九，构造基于深度融合网络的分类模型；

步骤十，用训练数据集对分类模型进行训练，得到训练好的模型；

步骤十一，利用训练好的模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。

所述步骤一中，待分类的图像选用了Sentinel-2卫星获得若干待测地区的多光谱图像，并给确定的多光谱图像进行了标记，标记类别共有17类。

所述步骤三中，分类辅助数据采用步骤一中待测地区相对应的Osm Raster数据。

所述步骤四中，再编码方式具体如下：

第一步，统计Osm Raster数据中出现的每一个数据值，得到一个列向量a＝{a1，a2，…，ai，…，aN}，N为出现的数据值的总个数；

第二步，对于多光谱图像中的每个像素点，在Osm Raster数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个列向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；

第三步，对每个像素点进行第二步所述操作，得到该数据源的三维图像特征FB。

所述步骤六中，归一化的具体方法如下；

先求出基于像素点的特征矩阵FA、FB的最大值max(FA)、max(FB)；再将基于像素点的特征矩阵FA、FB中的每个元素均除以相应的最大值max(FA)、max(FB)，得到归一化后的特征矩阵F1＝{FA1，FB1}。

所述步骤八中，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}的具体方法如下：

第一步，根据给定的图像标记，将地物分为17类，记录每个类别对应的像素点在待分类图像中的位置，生成17种对应不同类地物像素点的位置A＝{A1、A2、……、A16、A17}，其中Ai对应第i类地物像素点在待分类图像中的位置；

第二步，从位置A的每个类别像素点位置Ai中随机选取10％的元素，生成17种对应不同类地物被选作训练数据集的像素点的位置B＝{B1、B2、……、B16、B17}，其中Bi为对应第i类地物中被选作训练数据集的像素点在待分类图像中的位置；

第三步，用位置A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、……、C16、C17}，其中Ci为对应第i 类地物中被选作测试数据集的像素点在待分类图像中的位置；

第四步，定义训练数据集D的特征矩阵W1，在基于图像块的特征矩阵F2中依据B取对应位置上的值，并赋值给训练数据集D的特征矩阵W1＝{WA1，WB1}；

第五步，定义测试数据集T的特征矩阵W2，在基于图像块的特征矩阵F2中依据C取对应位置上的值，并赋值给测试数据集T的特征矩阵W2＝{WA2，WB2}。

所述步骤九中，构造基于深度融合网络的分类模型的具体方法如下：

第一步，选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1、N1-2、N1-3、 N1-4、N1-5、N1-6、N1-7、N1-8、N1-10，其中N1-1、N1-2、N1-3、N1-4、N1-5的输入为特征矩阵WA，N1-6、N1-7、N1-8、N1-10的输入为特征矩阵WB；

第二步，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10的输出联合起来，作为融合特征WF1；

第三步，将WF1输入到五个由第二卷积层→第二池化层组成的子网络N2-1，N2-2，N2- 3，N2-4，N2-5，其中N2-1，N2-2，N2-3，N2-4，N2-5具有不同的网络参数；

第四步，将N2-1，N2-2，N2-3，N2-4，N2-5的输出联合起来，作为融合特征WF2；

第五步，将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C 中，该网络的输出作为整个深度融合网络的输出。

所述步骤十中，用训练数据集对分类模型进行训练，得到训练好的分类模型的具体方法如下：

将训练数据集D的特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型，训练参数为：损失函数为二值交叉熵，优化算法为自适应学习率调整算法，迭代次数为300次。

所述步骤十一中，将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。

与现有技术相比，本发明由于对辅助数据进行了再编码处理，得到了利于卷积神经网络处理的数据。通过对再编码后的辅助数据进行卷积，得到了更多特征信息，提高了分类精度；本发明由于使用了多个子网络用于提取不同尺度的特征信息并进行了融合，能得到具有多尺度、多分辨特性的图像特征，增强了模型的泛化能力，提高了分类精度。

附图说明

图1为本发明的实现流程图；

图2为本发明中对待分类图像的人工标记图；其中，a为柏林，b为香港，c为巴黎，d为罗马，e为圣保罗；

图3为用本发明对待分类图像的分类结果图；其中，a为柏林，b为香港，c为巴黎，d为罗马，e为圣保罗。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1，本发明的具体实现步骤如下：

步骤1，输入待分类的多光谱图像。

待分类的图像选用了Sentinel-2卫星获得的五个城市的多光谱图像。这五个城市分别为：德国柏林(Berlin)，中国香港(Hong Kong)，法国巴黎(Paris)，意大利罗马(Rome)，巴西圣保罗(Sao Paulo)。给定的多光谱图像进行了部分标记。标记类别共有17类。

步骤2，将给定的每个城市图像中不同波段的数据堆叠到一起，得到该数据源的三维图像特征FA。

步骤3，输入待分类多光谱图像的分类辅助数据。

分类辅助数据选用了步骤1中五个城市相对应的Osm Raster数据。Osm Raster数据来源于Open Street Map(OSM)，分辨率为Sentinel-2卫星获得的多光谱图像的20倍。

步骤4，对分类辅助数据进行再编码，得到该数据源的三维图像特征FB。再编码方式具体如下：

(4a)统计Osm Raster数据中出现的每一个数据值，得到一个列向量a＝{a1，a2，…， ai，…，aN}，N为出现的数据值的总个数；

(4b)对于多光谱图像中的每个像素点，在Osm Raster数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个列向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；

(4c)对每个像素点进行(4b)所述操作，得到该数据源的三维图像特征FB。

步骤5，将两种数据源处理后得到的三维特征矩阵FA、FB联合，作为输入特征F＝{FA， FB}；

步骤6，对基于像素点的特征矩阵F归一化。

常用的归一化方法有：特征线性缩放法、特征标准化和特征白化。

本实例采用特征线性缩放法，对F＝{FA，FB}中的FA和FB分别进行归一化。即先求出基于像素点的特征矩阵FA、FB的最大值max(FA)、max(FB)；再将基于像素点的特征矩阵FA、FB中的每个元素均除以相应的最大值max(FA)、max(FB)，得到归一化后的特征矩阵F1＝{FA1，FB1}。

步骤7，对于归一化后的每个城市对应的特征矩阵F1＝{FA1，FB1}，选择有标记的所有元素组成元素集合S＝{S1，S2，S3，S4，S5}，其中S1，S2，S3，S4，S5分别表示五个城市中的有标记元素。对于S中的每个元素，取周围17×17的块代表原来的元素值，构成基于图像块的包含所有城市有标记样本的特征矩阵F2＝{FA2，FB2}。

步骤8，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}。

(8a)根据给定的图像标记，将地物分为17类，记录每个类别对应的像素点在待分类图像中的位置，生成17种对应不同类地物像素点的位置A＝{A1、A2、……、A16、A17}，其中Ai对应第i类地物像素点在待分类图像中的位置；

(8b)从所述A的每个类别像素点位置Ai中随机选取10％的元素，生成17种对应不同类地物被选作训练数据集的像素点的位置B＝{B1、B2、……、B16、B17}，其中Bi为对应第i类地物中被选作训练数据集的像素点在待分类图像中的位置；

(8c)用所述A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、……、C16、C17}，其中Ci为对应第i类地物中被选作测试数据集的像素点在待分类图像中的位置；

(8d)定义训练数据集D的特征矩阵W1，在基于图像块的特征矩阵F2中依据B取对应位置上的值，并赋值给训练数据集D的特征矩阵W1＝{WA1，WB1}；

(8e)定义测试数据集T的特征矩阵W2，在基于图像块的特征矩阵F2中依据C取对应位置上的值，并赋值给测试数据集T的特征矩阵W2＝{WA2，WB2}。

步骤9，构造基于深度融合网络的分类模型。

(9a)选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1，N1-2，N1-3， N1-4，N1-5，N1-6，N1-7，N1-8，N1-10。其中N1-1，N1-2，N1-3，N1-4，N1-5的输入为特征矩阵WA，N1-6，N1-7，N1-8，N1-10的输入为特征矩阵WB。具体的参数设置如下：

对于子网络N1-1，第一卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-2，第一卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-3，第一卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-4，第一卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-5，第一卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-6，第一卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-7，第一卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-8，第一卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-9，第一卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

对于子网络N1-10，第一卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第一池化层下采样尺寸为2；

(9b)将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-10的输出联合起来，作为融合特征WF1。联合方式为简单堆叠，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1- 7，N1-8，N1-10输出的特征图堆叠起来，作为一组新的融合特征图；

(9c)将WF1输入到五个由输入层→第二卷积层→第二池化层组成的子网络N2-1，N2- 2，N2-3，N2-4，N2-5。五个子网络的输入层是相同的，均为WF1。五个子网络具有不同的网络参数。具体的参数设置如下：

对于子网络N2-1，第二卷积层映射图数目为16，滤波器尺寸为1，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；

对于子网络N2-2，第二卷积层映射图数目为16，滤波器尺寸为2，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；

对于子网络N2-3，第二卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；

对于子网络N2-4，第二卷积层映射图数目为16，滤波器尺寸为4，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；

对于子网络N2-5，第二卷积层映射图数目为16，滤波器尺寸为5，相邻局部接受域的大小为1，激活函数为Relu函数；第二池化层下采样尺寸为2；

(9d)将N2-1，N2-2，N2-3，N2-4，N2-5的输出联合起来，作为融合特征WF2。联合方式为简单堆叠，将N2-1，N2-2，N2-3，N2-4，N2-5输出的特征图堆叠起来，作为一组新的融合特征图；

(9e)将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C中，该网络的输出作为整个深度融合网络的输出。分类子网络C的具体参数如下：

第三卷积层映射图数目为16，滤波器尺寸为3，相邻局部接受域的大小为1，激活函数为 Relu函数；

全连接层特征映射图数目为64；

Softmax分类器特征映射图数目为17.

步骤10，用训练数据集对分类模型进行训练，得到训练好的分类模型。

将训练数据集D的特征矩阵W1作为分类模型的输入，训练数据集D中每个像素点的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。具体的训练参数为：损失函数为二值交叉熵，优化算法为自适应学习率调整算法，迭代次数为300代。人工标记的正确类标如图2所示。

步骤11，利用训练好的分类模型对测试数据集进行分类。

将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。

本发明的效果可以通过以下仿真实验进一步说明：

1、仿真条件：

硬件平台为：惠普Z840。

软件平台为：Keras。

2、仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，即分别从多光谱数据的每个类别中随机选取 10％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本。图2为真实标记图，图3为本文方法的分类结果图。

从图3可以看出：绝大多数区域得到了准确分类，区域一致性较好。

再依次减少训练样本，使训练样本占样本总数的5％、3％，将本发明与卷积神经网络(没有利用辅助数据再编码)、深度融合卷积网络(没有利用辅助数据再编码)以及卷积神经网络 (利用辅助数据再编码)的测试数据集分类精度进行对比，结果如表1所示：

表1

从表1可见，训练样本占样本总数的10％、5％、3％时，本发明的测试数据集分类精度均高于卷积神经网络、深度融合卷积网络以及卷积神经网络(使用辅助数据)。

综上，本发明通过引入了数据再编码和深度融合卷积网络，有效利用了图像数据中的信息，提高了图像特征的表达能力，增强了模型的泛化能力，提高了分类精度。

Claims

1.基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，包括以下步骤：

步骤一，输入待分类的多光谱图像；

步骤三，输入待分类多光谱图像的分类辅助数据；

步骤四，对分类辅助数据进行再编码，得到三维图像特征FB；再编码方式具体如下：

第一步，统计分类辅助数据中出现的每一个数据值，得到一个行向量a＝{a1，a2，…，ai，…，aN}，N为出现的数据值的总个数；

第二步，对于多光谱图像中的每个像素点，在分类辅助数据中找到对应的20×20的数据块，统计a中每个数值在该数据块中出现的次数，得到一个行向量b＝{b1，b2，…，bi，…，bN}作为该像素点的特征；

第三步，对每个像素点进行第二步的操作，得到分类辅助数据的三维图像特征FB；

步骤八，根据基于图像块的特征矩阵F2，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}，其中WA1和WB1为基于图像块的特征矩阵F2中依据不同类地物被选作训练数据集的像素点，并赋值给训练数据集D的特征值，WA2和WB2为位于图像块的特征矩阵F2中依据不同类地物被选作测试数据集的像素点，并赋值给测试数据集T的的特征值；

步骤九，构造基于深度融合卷积网络的分类模型；

2.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤一中，待分类的图像选用了Sentinel-2卫星获得若干待测地区的多光谱图像，并给确定的多光谱图像进行了标记，标记类别共有17类。

3.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤三中，分类辅助数据采用步骤一中待测地区相对应的Osm Raster数据。

4.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤六中，归一化的具体方法如下；

5.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤八中，构造训练数据集D的特征矩阵W1＝{WA1，WB1}和测试数据集T的特征矩阵W2＝{WA2，WB2}的具体方法如下：

第三步，用位置A＝{A1、A2、……、A16、A17}中其余90％的元素生成3种对应不同类地物被选作测试数据集的像素点的位置C＝{C1、C2、C3}，其中Ci为对应第i类地物中被选作测试数据集的像素点在待分类图像中的位置；

6.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤九中，构造基于深度融合卷积网络的分类模型的具体方法如下：

第一步，选择十个由输入层→第一卷积层→第一池化层组成的子网络N1-1、N1-2、N1-3、N1-4、N1-5、N1-6、N1-7、N1-8、N1-9、N1-10，其中N1-1、N1-2、N1-3、N1-4、N1-5的输入为特征矩阵WA，N1-6、N1-7、N1-8、N1-10的输入为特征矩阵WB；

第二步，将N1-1，N1-2，N1-3，N1-4，N1-5，N1-6，N1-7，N1-8，N1-9，N1-10的输出联合起来，作为融合特征WF1；

第三步，将WF1输入到五个由第二卷积层→第二池化层组成的子网络N2-1，N2-2，N2-3，N2-4，N2-5，其中N2-1，N2-2，N2-3，N2-4，N2-5具有不同的网络参数；

第五步，将WF2输入到一个由第三卷积层→全连接层→softmax分类器的分类子网络C中，该网络的输出作为整个深度融合网络的输出。

7.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤十中，用训练数据集对分类模型进行训练，得到训练好的分类模型的具体方法如下：

8.根据权利要求1所述的基于数据再编码和深度融合卷积网络的多光谱图像分类方法，其特征在于，所述步骤十一中，将测试数据集T的特征矩阵W2作为训练好的分类模型的输入，训练好的分类模型的输出为对测试数据集中每个像素点进行分类得到的分类类别。