CN111191735A

CN111191735A - 基于数据差异和多尺度特征的卷积神经网络影像分类方法

Info

Publication number: CN111191735A
Application number: CN202010007511.1A
Authority: CN
Inventors: 马文萍; 沈建超; 朱浩; 武越; 赵继樑
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2020-01-04
Filing date: 2020-01-04
Publication date: 2020-05-22
Anticipated expiration: 2040-01-04
Also published as: CN111191735B

Abstract

本发明公开了一种基于数据差异和多尺度特征的卷积神经网络影像分类方法，对输入的多光谱数据预处理，并对数据进行融合，减少数据间的差异性；对数据进行归一化操作，并对归一化后的图像矩阵中每个像素用滑窗法进行区块，构成基于图像块的特征矩阵；选取训练数据集和测试数据集；构造基于双通道二阶相关性的多尺度特征融合的卷积神经网络的分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。本发明引入的基于IHS图像锐化的数据差异减少和二阶相关性多尺度特征按通道逐位相加的特征融合，提高了分类精度，可用于多光谱图像融合分类的数据差异性降低和特征融合。

Description

基于数据差异和多尺度特征的卷积神经网络影像分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于双通道数据差异减少和二阶相关性的多尺度特征融合的卷积神经网络多光谱影像分类方法。

背景技术

在遥感应用中，通过遥感图像分析与解译来识别各种地物是遥感图像处理的最终目的。分类问题也是遥感图像信息提取中的最基本的问题之一。无论地物提取、土地动态变化监测，还是专题地图制作和遥感图像库的建立都离不开分类，许多方面的应用都会涉及分类。通过遥感图像的分类识别后可以更加精确地描述地物的属性和特征，在农作物估产、土地利用、环境监测、工程勘测、自然灾害监测、基础设施布局、交通规划管理、旅游开发以及各类资源的调查研究都会产生积极的作用，从而更好的为这些领域服务。

卷积神经网络的布局是最接近实体生物大脑的神经网络，在处理任务时具有优越性。与一般的神经网络相比较，卷积神经网络在进行图像处理方面有着突触的表现：

(1)通过神经元的局部连接和权值共享模式减少了网络的连接数和训练参数，提高了运行效率，同时简单的网络结构更能够适应多种分类任务；

(2)统一层的权值共享利于网络的并行运算；

(3)网络拓扑结构适合图像数据的输入，可以直接对图像的二维矩阵进行处理；

(4)特征提取过程和模式分类过程可在训练过程中同时进行，回避了复杂的、随机的、不靠谱的显式的特征提取过程。

残差网作为卷积神经网络组合构建的优秀图像识别分类网络之一，在前述卷积神经网络的优点基础上，提出了残差学习的概念。通过使用旁路连接，使网络可以近似学习恒等映射，解决了梯度爆炸和网络模型退化的问题。使得网络层数可以不断加深，提高网络的分类精度。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于双通道数据差异减少和特征融合的卷积神经网络来进行多光谱影像和全色图中地物的分类，减少了多光谱数据和全色图的差异，一定程度上减轻了网络的负担，同时利用双通道进行特征融合和参数共享，并且用按二阶相关性的多尺度特征融合方式，提升了网络对小尺度物体的分类能力，从而提升了网络的分类精度。

本发明采用以下技术方案：

基于数据差异和多尺度特征的卷积神经网络影像分类方法，包括以下步骤：

S1、从数据集中读入多光谱影像和全色影像，以及对应的只有部分区域的类标ground truth图进行训练，训练完成后使用所有有标记数据测试样本分类性能；

S2、对多光谱数据进行双三次插值上采样，进行归一化处理和直方图匹配，根据多光谱数据和全色数据每个点的梯度及边缘提取算子得到融合图像；

S3、数据归一化，将融合图像矩阵中所有像素点的值归一化到[0，1]之间；

S4、在归一化后的图像中找到有对应类标的像素点作为样本块，每个块的邻域为中心点的分类所服务，选取训练数据集和测试数据集进行训练；

S5、根据步骤S4的测试数据集构造双通道二阶相关性多尺度特征融合的卷积神经网络的分类模型；

S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；

S7、将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别，计算相应的分类指标，完成测试数据集分类。

具体的，步骤S1中，选择标记数据中的20％作为训练样本，剩余的80％作为验证样本，训练完成后把所有有标记样本作为测试样本测试模型分类性能，其中，ground truth图以多光谱数据为基准进行标注。

具体的，步骤S2具体为：

S201、对多光谱数据进行双三次插值上采样，得到与全色图尺寸相同的多光谱数据；

S202、对得到的上采样多光谱和全色数据进行归一化到[0,1]之间；

S203、对全色图和多光谱数据进行直方图匹配，得到匹配后的全色数据P_m；

S204、根据归一化和匹配的全色图P_m和归一化后的多光谱数据M_i确定线性因子α₁,…α_n；

S205、计算多光谱数据和全色数据每个点的梯度grad(x(i,j))；

S206、计算全色图的边缘提取算子W_P和多光谱图的边缘提取算子W_M；

S207、得到融合图像MSf和PANf。

具体的，步骤S207中，根据下式得到融合图像：

其中，MSf_i，PANf分别代表差异减少后的多光谱数据第i个通道和全色图，MS表示上采样的多光谱数据，W_p,

分别表示全色图和多光谱数据第i个通道的边缘提取算子。

具体的，步骤S3中，采用min-max标准化，对原始数据进行线性变化，使结果值映射到0到1之间；转换函数如下：

其中，x_i为多光谱或全色影像的第i个待归一化的像素，max为多光谱或全色影像的最大像素值，min为多光谱或全色影像的最小像素值。

具体的，步骤S4中，以每个像素为中心取邻域64×64的区域作为样本块，按照等比例取点的方式，每类选取20％样本作为训练数据集，剩余80％作为验证集，训练完成后，把所有有对应类标的像素点作为测试数据集。

具体的，步骤S5具体为：

S501、选择ResNet18作为分类网络扩展至双通道，每个通道由输入层，三个残差块组成。输入层由一层卷积层，批归一化层，非线性激活层以及池化层组成；第二部分是网络主体，由8个残差块两两一组构成4层残差层组成，每个残差块由两个基本块通过旁路连接构成，每个基本块由卷积层，批归一化层，激活层，卷积层，批归一化层组成。接下来将第二层残差层和第三层残差层的特征融合备用；再将第三个残差层的融合特征输入第四个残差层；

S502、将后三层残差层的输出特征两两融合，将融合后的特征输入到全连接层，得到最终的分类结果；给定各层的特征映射图，确定个卷积层的滤波器尺寸并随机初始化滤波器。给定经过降通道的待融合特征，首先将其尺寸通过采样变得一致，然后计算特征间的协方差矩阵，根据协方差矩阵确定融合系数，然后将系数分别与对应特征相乘后逐通道对应相加替换原来直接逐点累加的方式。得到双通道二阶相关性特征融合的分类模型。

进一步的，步骤S501中，第一个卷积神经网络通道第二层残差块输出的64维特征和第二个卷积神经网络通道第二层残差块输出的64维特征，计算特征之间的协方差矩阵，然后分别求协方差矩阵的行和和列和，然后将行和和列和输入到下式得到特征的加权系数：

将系数分别与对应特征相乘后按点相加进行特征融合，将融合好的64维特征作为第一级尺度的特征保留；两个通道第三层残差块的输出融合得到128维的特征作为第二级尺度的特征保留。

进一步的，步骤S502中，将后三层残差块的特征通过1*1的卷积层降至64维；然后将第四层残差块输出的8*8特征通过双线性插值上采样至第三层融合特征的尺寸16*16，然后融合得到16*16*64维的特征，再将融合特征与第二层残差块的输出特征进行融合得到32*32*64的特征，最后经过一层3*3的卷积进行特征平滑后再将输出的特征经过全局池化后输入到全连接层进行分类。

具体的，步骤S6中，将训练数据集的样本块作为分类器的输入，将属于多光谱数据的样本块输入到第一个通道，将属于全色图的样本块输入到第二个通道，训练数据集中每个像素点的分类结果作为分类模型的输出，通过求解类别与地面实况图上所对应的真实类别之间的误差，对误差进行反向传播优化分类模型的网络参数，得到训练好的分类模型。

与现有技术相比，本发明至少具有以下有益效果：

本发明基于数据差异和多尺度特征的卷积神经网络影像分类方法，由于对样本进行了数据差异减少，使得多光谱数据和全色数据分别增加了各自不具有的信息，进而提高了多光谱影像地物分类的准确率；采用双通道进行特征融合，并且采用二阶相关性进行特征融合，与之前的和简单对应相加和级联形式的特征融合相比，更加合理的利用了特征，提高了分类精度。

进一步的，步骤S1的中读入数据并将数据分为训练集与测试集进行分类模型的训练与测试，按比例选取样本的做法可以提升模型的性能，原因在于，不同类别的样本数量上会有差异，人为按比例选取训练集可以保持样本原始的数量不均衡，以增加模型训练的难度，以此来提升模型对小样本数据的分类能力。

进一步的，对输入的多光谱和全色数据进行了差异减少的操作。该算法可以解决原始多光谱和全色数据尺寸不一致以及信息差异大的问题。相较于传统的上采样算法，我们提出的算法可以使多光谱数据在尺寸提升时既保持原有的光谱信息又能提升空间信息分辨率，全色影像则在一定程度上补充了多光谱数据的光谱信息。因此更有利于后续的分类算法的精度提高。

进一步的，对数据进行了归一化，归一化的目的在于减轻深度学习模型训练时的计算负担，并且可以排除数据数值上的绝对差异对分类造成的影响。

进一步的，设置了获取训练图像块的方法。考虑到数据的分辨率，为了更好的利用邻域信息，所以选择以每个像素为中心取邻域64×64的区域作为样本块。

进一步的，双通道的残差网络是融合分类的基础，基于二阶相关性的多尺度特征融合是为了提高网络对不同尺度物体的分类性能所做的改进。具体来说，二阶相关性是基于特征间的协方差矩阵计算得出，协方差的行和和列和分别对应融合特征1和融合特征2的每个通道相对于彼此的冗余程度，值越大则代表该通道越冗余，所以后续的融合系数通过y＝1-sigmoid(x)获取，该函数单调递减，且值域在[0,1]之间，符合我们对于冗余性的判断。据此获得的融合系数更有针对性，抑制相对冗余特征，加强独立特征，所以可以提高分类的精度。

进一步的，将融合方法应用到多尺度的特征融合中。已有论文指出，多尺度特征有利于提升模型对不同尺度的物体的识别能力，因此为了提高模型对不同尺度物体的识别能力，我们将特征融合方法应用到多尺度特征中，实验结果表明，我们的方法确实可以提升分类模型对不同尺度物体的识别能力。

综上所述，本发明提出的数据差异减少算法，减少了数据差异的同时较好的保留了数据自身的信息；基于二阶相关性的多尺度特征融合利用了特征间的协方差矩阵实现了对冗余特征的抑制以及对独立特征的加强。通过以上两个算法以及替他步骤的合理设置，本发明可以提高多光谱和全色图像融合分类的精度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现流程图；

图2为用本发明对待分类图像的分类结果图。

具体实施方式

本发明提供了一种基于数据差异和多尺度特征的卷积神经网络影像分类方法，从数据集中读入多光谱影像和全色图；得到图像矩阵后，对样本进行差异减少；对数据进行归一化操作，并对归一化后的图像矩阵中每个像素取块，构成基于图像块的特征矩阵；选取训练数据集和测试数据集；构造基于双通道数据差异减少和二阶想关性的多尺度特征融合的卷积神经网络的分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。

请参阅图1，本发明一种基于数据差异和多尺度特征的卷积神经网络影像分类方法，包括以下步骤：

S1、从数据集中读入多光谱影像和全色影像，以及对应的只有部分区域的类标ground truth图，这两种影像数据和ground truth图对应的是同一个区域的地物，全色图只有一个通道，而对应的多光谱数据有四个通道，即四个光谱带。选择标记数据中的20％作为训练样本，剩余的80％作为验证样本。训练完成后使用所有有标记数据测试样本分类性能。

S2、样本差异减少

S202、对得到的上采样多光谱和全色数据进行归一化到[0,1]之间，通过如下min-max标准化公式进行：

其中，

表示多光谱数据第i个通道的第k个像素数值，

表示多光谱数据第i个通道像素的最大值，

表示多光谱数据第i个通道像素的最小值，PAN^k表示全色图的第k个像素，PAN^max表示全色图的像素最大值，PAN^min表示全色图的像素最小值；

S203、对全色图和多光谱数据进行直方图匹配，通过如下匹配公式进行：

其中，P_m代表匹配后的全色数据，σ_I表示多光谱数据的标准差，σ_P表示全色图的标准差，P表示全色图，μ_P和μ_I分别表示全色图和多光谱图的均值；

S204、通过优化下式得到线性因子α₁,…α_n：

s.t.α₁≥0,…α_n≥0

其中，P代表经过归一化和匹配的全色图，M_i代表归一化后的多光谱数据；

S205、按下式计算多光谱数据和全色数据每个点的梯度：

X(i,j)表示多光谱数据和全色数据中的像素点；

S206、按下式计算边缘提取算子：

其中，W_P表示全色图的边缘提取算子，

表示多光谱数据第i个通道的边缘提取算子，▽P,▽M_i分别表示全色图和多光谱数据第i个通道的梯度，λ是控制梯度大小的参数和ε是用来保证分母不为0的参数，合适的值分别为λ＝10^-9,ε＝10^-10；

S207、根据下式得到融合图像：

分别表示全色图和多光谱数据第i个通道的边缘提取算子。

S3、数据归一化

分别对多光谱数据和全色数据图像进行归一化处理。采用min-max标准化，对原始数据进行线性变化，使结果值映射到0到1之间；转换函数如下：

S4、选取训练数据集和测试数据集

选取训练数据集和测试数据集，在归一化后的图像中找到有对应类标的像素点，以每个像素为中心取邻域64×64的区域作为样本块，每个块的邻域为中心点的分类所服务。按照等比例取点的方式，每类选取20％样本作为训练数据集，剩余80％作为验证集。训练完成后，把所有有对应类标的像素点作为测试数据集。

S5、构造双通道二阶相关性多尺度特征融合的卷积神经网络的分类模型。

S501、选择ResNet18作为分类网络扩展至双通道。每个通道由输入层，三个残差块组成。输入层由一层卷积层，批归一化层，非线性激活层以及池化层组成；第二部分是网络主体，由8个残差块两两一组构成4层残差层组成，每个残差块由两个基本块通过旁路连接构成，每个基本块由卷积层，批归一化层，激活层，卷积层，批归一化层组成。接下来将第二层残差层和第三层残差层的特征融合备用；再将第三个残差层的融合特征输入第四个残差层；

步骤S501中按二阶相关性特征融合具体是指，首先第一个卷积神经网络通道第二层残差块输出的64维特征和第二个卷积神经网络通道第二层残差块输出的64维特征，首先计算特征之间的协方差矩阵，然后分别求协方差矩阵的行和和列和，然后将行和和列和输入到下式得到特征的加权系数：

将系数分别与对应特征相乘后按点相加进行特征融合，将融合好的64维特征作为第一级尺度的特征保留。两个通道第三层残差块的输出也与第二层按类似的方法融合得到128维的特征作为第二级尺度的特征保留。

S502、将后三层残差层的输出特征两两融合，借鉴多尺度特征金字塔的思想将不同尺寸大小的特征融合。将融合后的特征输入到全连接层，得到最终的分类结果。给定各层的特征映射图，确定个卷积层的滤波器尺寸并随机初始化滤波器。给定经过降通道的待融合特征，首先将其尺寸通过采样变得一致，然后计算特征间的协方差矩阵，根据协方差矩阵确定融合系数，然后将系数分别与对应特征相乘后逐通道对应相加替换原来直接逐点累加的方式。提高了分类精度。这样就得到了双通道二阶相关性特征融合的分类模型。

步骤S502中的二阶相关性多尺度特征融合具体是指首先将后三层残差块的特征通过1*1的卷积层降至64维；然后将第四层残差块输出的8*8特征通过双线性插值上采样至第三层融合特征的尺寸16*16，然后按照前述(5a)的融合方法进行融合得到16*16*64维的特征，再将该融合特征按上述方法与第二层残差块的输出特征进行融合得到32*32*64的特征，最后经过一层3*3的卷积进行特征平滑后再将输出的特征经过全局池化后输入到全连接层进行分类。

第一个通道每层的参数如下：

对于输入层，设置特征映射图数目为32，设置滤波器尺寸为3，设置下采样尺寸为2；

对于第一层残差层，设置特征映射图数目为64，设置滤波器尺寸为3；

对于第二层残差层，设置特征映射图数目为64，设置滤波器尺寸为3，设置下采样尺寸为2；

对于第三层残差层，设置特征映射图数目为128，设置滤波器尺寸为3，设置下采样尺寸为2；

第二个通道每层的参数如下：

对于融合层参数设置如下：

对于第四层残差层，设置特征映射图数目为256，设置滤波器尺寸为3，设置下采样尺寸为2；

对于平滑层，设置滤波器尺寸为3；

对于全连接层，设置特征映射图数目为64。

S6、用训练数据集对分类模型进行训练，得到训练好的分类模型。

将训练数据集的样本块作为分类器的输入，其中将属于多光谱数据的样本块输入到第一个通道，将属于全色图的样本块输入到第二个通道，训练数据集中每个像素点的分类结果作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。

S7、利用训练好的分类模型对测试数据集进行分类。

将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别，并计算相应的分类指标。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

硬件平台为：Intel(R)Xeon(R)CPU E5-2620，2.10GHz×32，内存为128G，GPU型号为：英伟达GeForce RTX 2080Ti。

软件平台为：Pytorch。

2.仿真内容与结果：

本发明仿真实验的多光谱和全色影像数据集是2008年5月30日在中国西安上空从Quick bird卫星上获取的。它包含了一个分辨率为0.61m的全色图和分辨率为2.44m的多光谱图。它是西安东部的城区。多光谱图的尺寸是800*830*4，全色图的尺寸是3200*3320。其中Ground truth是根据多光谱图像标注而成。根据之前的选取训练样本的方式在前多光谱数据中选取带标记的像素点的20％作为训练样本，将所有带标记的像素点剩余的80％作为测试样本。用本发明方法在上述仿真条件下进行实验，得到如图2的分类结果。

本发明的仿真实验是将待分类的多光谱影像中的地物分为7类，主要包括建筑，平地，道路，建筑阴影，土壤，绿色植被以及水域，有标记样本占总像素数的47.18％，共计313245。

表一是分别为采用双通道残差网络分类方法和采用基于双通道差异减少以及二阶相关性的多尺度特征融合的卷积神经网络方法对多光谱影像中地物分类准确率和kappa系数等指标的统计。表中F1表示采用双通道残差网络分类方法，F2表示采用基于双通道差异减少以及二阶相关性的多尺度特征融合的卷积神经网络方法。

表1.两种方法在仿真中得到的分类正确率和kappa系数

从表1中可以看出，用本发明方法相比于基本的残差网络分类方法，在总统分类精度上提高了0.57个百分点，平均分类精度上提高了0.61个百分点，kappa系数提高了0.74个百分点。充分说明了该方法的有效减少了数据差异，提高了网络对小尺度物体的分类能力。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，包括以下步骤：

S1、从数据集中读入多光谱影像和全色影像，以及对应的只有部分区域的类标groundtruth图进行训练，训练完成后使用所有有标记数据测试样本分类性能；

2.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S1中，选择标记数据中的20％作为训练样本，剩余的80％作为验证样本，训练完成后把所有有标记样本作为测试样本测试模型分类性能，其中，ground truth图以多光谱数据为基准进行标注。

3.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S2具体为：

S205、计算多光谱数据和全色数据每个点的梯度grad(x(i,j))；

S207、得到融合图像MSf和PANf。

4.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S207中，根据下式得到融合图像：

分别表示全色图和多光谱数据第i个通道的边缘提取算子。

5.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S3中，采用min-max标准化，对原始数据进行线性变化，使结果值映射到0到1之间；转换函数如下：

6.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S4中，以每个像素为中心取邻域64×64的区域作为样本块，按照等比例取点的方式，每类选取20％样本作为训练数据集，剩余80％作为验证集，训练完成后，把所有有对应类标的像素点作为测试数据集。

7.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S5具体为：

S501、选择ResNet18作为分类网络扩展至双通道，每个通道由输入层，三个残差块组成；输入层由一层卷积层，批归一化层，非线性激活层以及池化层组成；第二部分是网络主体，由8个残差块两两一组构成4层残差层组成，每个残差块由两个基本块通过旁路连接构成，每个基本块由卷积层，批归一化层，激活层，卷积层，批归一化层组成；接下来将第二层残差层和第三层残差层的特征融合备用；再将第三个残差层的融合特征输入第四个残差层；

S502、将后三层残差层的输出特征两两融合，将融合后的特征输入到全连接层，得到最终的分类结果；给定各层的特征映射图，确定个卷积层的滤波器尺寸并随机初始化滤波器；给定经过降通道的待融合特征，首先将其尺寸通过采样变得一致，然后计算特征间的协方差矩阵，根据协方差矩阵确定融合系数，然后将系数分别与对应特征相乘后逐通道对应相加替换原来直接逐点累加的方式；得到双通道二阶相关性特征融合的分类模型。

8.根据权利要求7所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S501中，第一个卷积神经网络通道第二层残差块输出的64维特征和第二个卷积神经网络通道第二层残差块输出的64维特征，计算特征之间的协方差矩阵，然后分别求协方差矩阵的行和和列和，然后将行和和列和输入到下式得到特征的加权系数：

9.根据权利要求7所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S502中，将后三层残差块的特征通过1*1的卷积层降至64维；然后将第四层残差块输出的8*8特征通过双线性插值上采样至第三层融合特征的尺寸16*16，然后融合得到16*16*64维的特征，再将融合特征与第二层残差块的输出特征进行融合得到32*32*64的特征，最后经过一层3*3的卷积进行特征平滑后再将输出的特征经过全局池化后输入到全连接层进行分类。

10.根据权利要求1所述的基于数据差异和多尺度特征的卷积神经网络影像分类方法，其特征在于，步骤S6中，将训练数据集的样本块作为分类器的输入，将属于多光谱数据的样本块输入到第一个通道，将属于全色图的样本块输入到第二个通道，训练数据集中每个像素点的分类结果作为分类模型的输出，通过求解类别与地面实况图上所对应的真实类别之间的误差，对误差进行反向传播优化分类模型的网络参数，得到训练好的分类模型。