CN112232297A

CN112232297A - 基于深度联合卷积激活的遥感图像场景分类方法

Info

Publication number: CN112232297A
Application number: CN202011243048.7A
Authority: CN
Inventors: 高昆; 王红; 闵蕾; 李维; 张晓典; 何林; 吴穹
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2020-11-09
Filing date: 2020-11-09
Publication date: 2021-01-15
Anticipated expiration: 2040-11-09
Also published as: CN112232297B

Abstract

本发明公开了基于深度联合卷积激活的遥感图像场景分类方法，包括：利用至少两个卷积层中的卷积激活图进行特征提取，得到图像浅层纹理信息；利用图像浅层纹理信息和全连接层进行拼接，得到对应遥感场景图像的特征向量；基于遥感场景图像的特征向量训练分类器，得到遥感场景图像分类模型；获取测试遥感场景图像的特征向量，将测试遥感场景图像的特征向量输入至遥感场景图像分类模型，得到遥感场景图像分类结果。通过卷积激活图和全连接层进行特征表示，能够将图像浅层纹理信息和图像深层语义信息有效地结合到训练遥感场景图像的特征向量中，达到有效挖掘图像显著特征信息和几何结构信息的目的，从而提高遥感图像场景分类的正确率。

Description

基于深度联合卷积激活的遥感图像场景分类方法

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于深度联合卷积激活的遥感图像场景分类方法。

背景技术

遥感图像场景分类在模式识别领域扮演着重要的角色，它可以直接应用到自然灾害监测、土地使用和土地覆盖、地理空间物体检测等领域。在实际应用中，遥感图像场景分类是一个很有挑战性的研究方向，因为遥感图像场景存在类内差异性和类间相似性，还受到视角、空间分辨率多样性和复杂的背景等因素的影响。

近几十年遥感图像场景分类被广泛研究，一些早期的方法利用人工设计的特征结合各种分类器进行遥感图像场景分类。如Yang和Newsam等人从图像中提取SIFT(scaleinvariant feature transform，SIFT)描述子，并利用词包模型(bag of visual words，BOVW)获取图像最终的特征向量。但是，人工设计的特征有很大的局限性，只能获取单一的图像特征信息，不适用于复杂的场景。

随着深度学习技术的突破，大量基于深度学习技术的遥感图像场景分类方法被提出，并取得了很大的进步。其中，最有代表性的工作是基于卷积神经网络的遥感图像场景分类方法，如Cheng等人提出由交叉熵损失、权重衰减和度量学习正则项三部分组成的目标函数来训练一个判别性的卷积神经网络(discriminative convolutional neuralnetworks，D-CNNs)，以解决遥感场景图像类内差异性和类间相似性等问题。D-CNNs将卷积神经网络中的最后一个全连接层中的值作为图像的特征向量，获取了较好的遥感图像场景分类性能。为了挖掘更加完备的图像信息，研究者提出从卷积神经网络的卷积层挖掘互补的深层特征信息，如Cao等人利用注意力层对卷积神经网络的卷积层进行加权，以获取显著的图像特征信息，并进一步的利用支持向量机(super vector machine，SVM)获取遥感图像场景分类结果。He等人提取多层叠加协方差池化(multilayer stacked covariancepooling，MSCP)方法进行遥感图像场景分类。虽然以上方法取得了较大的成功，但是大部分方法仅仅使用单一卷积层中的卷积激活图进行特征表示而忽略了其他卷积层提供的信息，所以不能够充分保留图像显著特征信息和几何结构信息，从而影响了遥感图像场景分类的正确性。

发明内容

有鉴于此，本发明提供了一种基于深度联合卷积激活的遥感图像场景分类方法。

技术方案如下：一种基于深度联合卷积激活的遥感图像场景分类方法，其特征在于，该方法包括以下步骤：

S1，输入训练遥感场景图像到卷积神经网络，得到卷积激活图和全连接层；

S2，利用至少两个卷积层中的卷积激活图进行特征提取，得到图像浅层纹理信息；

S3，利用所述图像浅层纹理信息和所述全连接层进行拼接，得到对应遥感场景图像的特征向量；

S4，基于所述遥感场景图像的特征向量训练分类器，得到遥感场景图像分类模型；

S5，按照所述步骤S1-S3获取测试遥感场景图像的特征向量，将所述测试遥感场景图像的特征向量输入至所述遥感场景图像分类模型，得到遥感场景图像分类结果。

优选的，所述步骤S1中输入训练遥感场景图像到卷积神经网络，得到卷积激活图和全连接层包括：

S11，将输入所述训练遥感场景图像的大小归一化为H×W，其中，H和W分别表示训练遥感场景图像的高度和宽度；

S12，将归一化后的所述训练遥感场景图像输入至所述卷积神经网络。

优选的，所述步骤S2中利用至少两个卷积层中的卷积激活图进行特征提取，得到图像浅层纹理信息包括：

S21，获取三个所述卷积层中的卷积激活图M_t1，M_t2和M_t3，M_t1，M_t2和M_t3的大小分别为H_t1×W_t1×N_t1，H_t2×W_t2×N_t2和H_t3×W_t3×N_t3，其中，下标t1，t2和t3表示三个卷积层的序号，(H_t1，H_t2，H_t3)和(W_t1，W_t2，W_t3)分别表示三个卷积激活图的高度和宽度，N_t1，N_t2和N_t3表示三个卷积激活图的数量；

S22，将所述卷积激活图M_t1中的N_t1个大小为H_t1×W_t1卷积激活图对应位置相加，得到卷积求和图C_t1；

S23，基于所述卷积求和图C_t1，得到双边卷积激活图B_t1；

S24，将所述双边卷积激活图B_t1表示成一个特征向量f_t1；

S25，按照所述步骤S22-S24分别从所述卷积激活图M_t2和M_t3中提取特征向量f_t2和特征向量f_t3，并将所述特征向量f_t1，所述特征向量f_t2和所述特征向量f_t3进行拼接，得到所述图像浅层纹理信息f_t。

优选的，所述卷积求和图表示为：

其中，

表示所求卷积求和图的第i个响应值，N_t1是卷积激活图M_t1中卷积图的总数目，

表示卷积激活图M_t1中的第n个卷积图的第i个响应值。

优选的，所述双边卷积图表示为：

其中，

表示所求双边卷积图，i和j表示卷积激活图中响应值对应的索引，A_ij为

的权重。

优选的，所述权重A_ij表示为：

其中，

和

分别是响应值

和

对应的位置信息，λ是调整空间相似度影响的参数，α和β是分别控制两个响应值的差值和空间距离对A_ij影响的参数。

优选的，利用下式获取所述特征向量f_t1：

其中，

表示均匀旋转不变的LBP特征，P表示均匀分布在半径为R的圆区域上像素点，h_p(p＝0，1，...，P-1)是第p个像素点的灰度值，h_c是中心像素点的灰度值，U(LBP_P，R)表示按位0/1的转换跳变次数：

其中，h₀和h_p-1是第0个像素点和第P-1个像素点的灰度值；当x≥0时，g(x)的值为1，反之，g(x)的值为0；

的统计直方图即为所求特征向量f_t1。

优选的，所述图像浅层纹理信息f_t表示为：

f_t＝(f_t1，f_t2，f_t3)，

其中，特征向量f_t1，f_t2和f_t3是分别从卷积激活图M_t1，M_t2和M_t3中获取的

的统计直方图。

优选的，所述步骤S3中利用所述图像浅层纹理信息和所述全连接层，得到对应遥感场景图像的特征向量包括：

S31，获取一个全连接层FC_k，将所述全连接层FC_k作为图像深层语义信息；

S32，将所述图像深层语义信息与所述图像浅层纹理信息进行拼接，得到对应遥感场景图像的特征向量：

F＝(f_t，FC_k)，

其中，f_t表示图像浅层纹理信息，FC_k表示图像深层语义信息，F表示所述遥感场景图像最终的特征向量。

与现有技术相比，本发明提供的，至少实现了如下的有益效果：

利用卷积激活图和全连接层进行特征表示，能够将图像浅层纹理信息和图像深层语义信息有效地结合到训练遥感场景图像的特征向量中，达到有效挖掘图像显著特征信息和几何结构信息的目的，从而提高遥感图像场景分类的正确率。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

图1是根据本发明一实施例提出的基于深度联合卷积激活的遥感图像场景分类方法的流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是根据本发明一实施例提出的基于深度联合卷积激活的遥感图像场景分类方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明的方法是一种基于深度联合卷积激活的遥感图像场景分类方法，其具体步骤包括：

步骤S1，输入训练遥感场景图像到卷积神经网络，得到卷积激活图和全连接层；

其中，所述步骤S1中输入训练遥感场景图像到卷积神经网络，得到卷积激活图和全连接层包括以下步骤：

步骤S11，将输入训练遥感场景图像的大小归一化为H×W，其中，H和W分别表示训练遥感场景图像的高度和宽度；

在本发明一实施例中，所述训练遥感场景图像的大小归一化为224×224的彩色图像。

步骤S12，将归一化后的训练遥感场景图像输入到卷积神经网络，得到卷积激活图和全连接层。

在本发明一实施例中，所使用的卷积神经网络的网络结构图如表1所示。在该实施例中，选择VGG16作为基础网络，该网络由13个卷积层、5个最大池化层和3个全连接层组成。所述卷积神经网络的输入是224×224的彩色遥感场景图像；对于卷积层，滤波器的大小为3×3，滑动步长为1；对于每个最大池化层，应用一个大小为2×2，滑动步长为2的滑动窗口；对于全连接层，第一个全连接层包含4096个神经元，第二个全连接层包含2048个神经元，最后一个全连层包含45个神经元，45个神经元对应于遥感图像场景分类数据集的图像类别数。

表1

步骤S2，利用至少两个卷积层中的卷积激活图进行特征提取，得到图像浅层纹理信息；

进一步地，所述步骤S2中利用至少两个卷积层中的卷积激活图进行特征提取，得到图像浅层纹理信息包括以下步骤：

步骤S21，获取三个卷积层中的卷积激活图M_t1，M_t2和M_t3，M_t1，M_t2和M_t3的大小分别为H_t1×W_t1×N_t1，H_t2×W_t2×N_t2和H_t3×W_t3×N_t3，其中，下标t1，t2和t3表示三个卷积层的序号，(H_t1，H_t2，H_t3)和(W_t1，W_t2，W_t3)分别表示三个卷积激活图的高度和宽度，N_t1，N_t2和N_t3表示三个卷积激活图的数量，当然，也可以获取两个卷积层中的卷积激活图，或者五个卷积层中的卷积激活图；在此以三个卷积层中的卷积激活图进行详细阐述；

在本发明一实施例中，参见表1所示，三个卷积层可以从所述卷积神经网络中的前几层中进行选择，例如选择卷积层1_2，2_2和3_3中的卷积激活图，也就是说，所述三个卷积层为1_2，2_2和3_3，此时，三个卷积激活图的大小分别为H_{1_2}×W_{1_2}×N_{1_2}，H_{2_2}×W_{2_2}×N_{2_2}和H_{3_3}×W_{3_3}×N_{3_3}，更具体地，可分别取为224×224×64，112×112×128和56×56×256。

步骤S22，将卷积激活图M_t1中的N_t1个大小为H_t1×W_t1卷积图对应位置相加，得到卷积求和图C_t1；

进一步地，所述卷积求和图表示为：

其中，

表示卷积激活图M_t1中的第n个卷积图的第i个响应值。

步骤S23，基于卷积求和图C_t1，得到双边卷积激活图B_t1；

进一步地，所述双边卷积图表示为：

其中，

表示所求双边卷积图，i和j为表示卷积激活图中响应值对应的索引，A_ij为

的权重。

在本发明一实施例中，权重A_ij表示为：

其中，

和

分别是响应值

和

步骤S24，将双边卷积激活图B_t1表示成一个特征向量f_t1，即从双边卷积激活图中提取LBP，获取特征向量；

进一步地，利用下式获取特征向量f_t1：

其中，

表示均匀旋转不变的LBP特征，riu2表示使用旋转不变一致模式，P表示均匀分布在半径为R的圆区域上像素点，h_p(p＝0，1，...，P-1)是第p个像素点的灰度值，h_c是中心像素点的灰度值，U(LBP_P，R)表示按位0/1的转换跳变次数：

其中，h₀和h_p-1是第0个像素点和第P-1个像素点的灰度值。当x≥0时，g(x)的值为1，反之，g(x)的值为0。

的统计直方图即为所求特征向量f_t1。

在本发明一实施例中，有P＝8个像素点均匀分布在半径为R＝1的圆区域上。

步骤S25，按照所述步骤S22-S24分别从卷积激活图M_t2和M_t3中提取特征向量f_t2和f_t3，并将特征向量f_t1，f_t2和f_t3进行拼接，得到图像浅层纹理信息f_t。

进一步地，图像浅层纹理信息f_t表示为：

f_t＝(f_t1，f_t2，f_t3)，

的统计直方图。

在本发明一实施例中，所述图像浅层纹理信息的特征维度为256×3＝768。

步骤S3，利用图像浅层纹理信息和一个全连接层，得到对应遥感场景图像的特征向量；

进一步地，所述步骤S3中利用图像浅层纹理信息和全连接层，得到对应遥感场景图像的特征向量包括以下步骤：

步骤S31，获取一个全连接层FC_k，全连接层FC_k是一个维度为D的向量，将该向量作为图像深层语义信息；

所述全连接层可以从所述卷积神经网络中的几个全连接层中进行选择，在本发明一实施例中，选择第2个全连接层，也就是说，所述全连接层为第2个全连接层，此时，所述全连接层的大小为FC₂，更具体地，可取为2048。

步骤S32，将图像深层语义信息和图像浅层纹理信息进行拼接，得到对应遥感场景图像的特征向量：

F＝(f_t，FC_k)，

其中，f_t表示图像浅层纹理信息，FC_k表示图像深层语义信息，F表示遥感场景图像的特征向量，特征向量的维度为2816维。

步骤S4，基于遥感场景图像的特征向量利用分类器训练得到遥感场景图像分类模型，其中，分类器可以选用K近邻分类器和支持向量机，采用K近邻分类器的效果更好；

步骤S5，按照所述步骤S1-S3获取测试遥感场景图像的特征向量，输入至所述遥感场景图像分类模型，得到遥感场景图像分类结果。

以网上公开的遥感图像场景分类数据库作为测试对象，比如在NWPU-RESISC45数据库上，当H×W＝224×224，H_{1_2}×W_{1_2}×N_{1_2}＝224×224×64，H_{2_2}×W_{2_2}×N_{2_2}＝112×112×128和H_{3_3}×W_{3_3}×N_{3_3}＝56×56x256，α＝0.05，β＝6，λ＝1.5时，遥感图像场景分类数据集划分为训练集10％(20％)、测试集90％(80％)下的正确率为90.02％(92.62％)，由此可见本发明方法的有效性。

通过上述实施例可知，本发明提供的，至少实现了如下的有益效果：

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。