CN110263644A

CN110263644A - 基于三胞胎网络的遥感图像分类方法、系统、设备及介质

Info

Publication number: CN110263644A
Application number: CN201910424565.5A
Authority: CN
Inventors: 刘应斌; 刘亦书; 丁利旺; 陈聪慧
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2019-09-20
Anticipated expiration: 2039-05-21
Also published as: CN110263644B

Abstract

本发明公开了一种基于三胞胎网络的遥感图像分类方法、系统、设备及介质，所述方法包括：搭建第一三胞胎网络和第二三胞胎网络；从训练集中选择图像三元组，并将图像三元组输入第一三胞胎网络，使用损失函数对第一三胞胎网络进行训练；将图像三元组输入第二三胞胎网络，对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，得到规范化离散余弦变换矩阵；根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；根据尺度不变的特征向量和训练后的第一三胞胎网络的权重文件，对第二三胞胎网络进行微调；利用微调后的第二三胞胎网络对待分类遥感图像进行分类。本发明可以获得具有较强尺度不变性的全局特征，以及获得较优的遥感图像分类结果。

Description

基于三胞胎网络的遥感图像分类方法、系统、设备及介质

技术领域

本发明涉及一种遥感图像分类方法，尤其是一种基于三胞胎网络的遥感图像分类方法、系统、设备及介质，属于深度学习和遥感图像分类领域。

背景技术

随着计算机硬件的提升，卷积神经网络越来越多的应用到了图像分类、图像检索、目标检测、图像分割等等领域并取得了很好的成果。同样，使用卷积神经网络对遥感图像进行分类也成为了学术界和业界首选的方法。对遥感图像进行快速准确的自动分类能够大大节省人力，从而减少成本。

遥感图像由空中平台搭载的各式各样的传感器获取，影像质量受到飞行器的高度、传感器类型以及飞行器飞行姿态的影响，对同一目标地物会产生不同尺度的图像。如何解决同一目标地物的多尺度问题依然是遥感图像分类所面临的重大难题。

使用卷积神经网络(Convolutional Neural Network，简称CNN)进行遥感图像分类可以分为以下几类：

1)对固定尺度的图像进行训练

张德元等通过搭建浅层网络来直接训练遥感数据。直接训练卷积神经网络需要大量的带标签样本，然而目前能够获得的公开遥感数据库的数据量都不大，直接训练很难收敛。只对固定尺度的数据进行训练很难学习到图像的尺度不变特征，当输入数据尺度更改后尤其是尺度变小后，网络性能会出现明显的下降。

2)对固定尺度的图像进行微调

Cheng等利用预训练好的卷积神经网络模型，结合遥感数据来进行微调。研究表明，在数据量较少的情况下，利用预训练模型来微调遥感数据比直接使用遥感数据来训练能获得更好的结果。但是微调要求网络的输入与预训练模型的输入尺度相同，这在一定程度上限制了网络输入的灵活性，同时也不会学习图像的尺度不变特征。

3)多尺度特征融合

卷积神经网络要求输入的尺度固定，为了获得图像的多尺度特征，有学者基于不同尺度的图像训练多个CNN模型，随后利用多个CNN模型分别提取图像不同尺度的特征利用特征融合技术将其融合成具有一定尺度不变性的全局特征。然而当图像的尺度变化范围很大时，该方法就需要花费大量时间训练非常多个不同尺度的卷积神经网络模型，因此该方法在实际应用中不具有现实意义。

3)度量学习和深度学习结合

有的研究者利用多分支网络来学习图像特征。孪生网络是一种双分支网络，网络学习的是一幅图像是否和另一幅图像来自同一类。这种策略不要求遥感数据带有具体的类别标签，仅仅需要{0，1}标签来表明两幅图像是否匹配。孪生网络把匹配的图像之间的距离拉近，把不匹配的图像之间的距离推远。三胞胎网络则是拥有三个分支的CNN网络，三胞胎网络不需要任何标签信息，其三个分支分为锚样本分支、正样本分支和负样本分支，网络将锚样本和正样本的距离拉近，把锚样本和负样本的距离拉远。

Liu等使用二分支网络来学习图像的尺度不变特征，其中一个分支输入固定大小的数据，另外一个分支输入尺度变化的数据。该方法的弊端在于网络拉近的是尺度变化的图像和固定尺度图像之间的距离，当分类图像尺度和其固定尺度不同时，该方法的性能会下降。Gong等利用孪生网络来学习同一尺度下图像之间的类间和类内关系，但该方法没有考虑遥感图像的多尺度特点。Liu等利用三胞胎网络来学习同一尺度下图像之间的类间和类内关系。同样该方法没有考虑图像的多尺度特点。

发明内容

本发明的第一个目的在于提供一种基于三胞胎网络的遥感图像分类方法，该方法使用基于三胞胎网络的监督分类方法，利用离散余弦变换来提取二维图像的尺度不变手工特征，最后融合卷积神经的深度特征和离散余弦变换的尺度不变手工特征，获得具有较强尺度不变性的全局特征，以及获得较优的遥感图像分类结果。

本发明的第二个目的在于提供一种基于三胞胎网络的遥感图像分类系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于三胞胎网络的遥感图像分类方法，所述方法包括：

获取遥感图像库的训练集；

搭建第一三胞胎网络和第二三胞胎网络；其中，所述第一三胞胎网络和第二三胞胎网络基于卷积神经网络搭建，且第二三胞胎网络接入离散余弦变换尺度不变手工特征；

从训练集中选择图像三元组，并将图像三元组输入第一三胞胎网络，使用损失函数对第一三胞胎网络进行训练；

将图像三元组输入第二三胞胎网络，对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，得到规范化离散余弦变换矩阵；

根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；

根据尺度不变的特征向量和训练后的第一三胞胎网络的权值文件，使用损失函数对第二三胞胎网络进行微调；

利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

进一步的，所述获取遥感图像库的训练集，具体包括：

获取原始遥感图像库；

对原始遥感图像库进行多次尺度变换；

从变换后的遥感图像库中选取部分遥感图像作为训练集。

进一步的，所述规范化离散余弦变换矩阵，得到尺度不变的特征向量，具体为：选择规范化离散余弦变换矩阵左上角a×b的子区域，并将该子区域按行拼接为尺度不变的特征向量，且a和b要远远小于变换矩阵的行数和列数，a和b可以相等，也可以不相等。

进一步的，所述图像三元组在输入第一三胞胎网络和第二三胞胎网络的任意一个后，在卷积层和全连接层之间通过空间金字塔池化对卷积层的特征图进行不同尺度的均匀分割，得到多个子区域，对所有子区域进行一次最大值池化，并将输出值拼接为特征向量，以对多尺度输入进行学习。

进一步的，所述第一三胞胎网络和第二三胞胎网络均包括分支网络，所述分支网络包括锚样本分支、正样本分支和负样本分支，其中锚样本分支和正样本分支输入类别相同、尺度不同的遥感图像数据，负样本分支输入与锚样本分支类别不同、尺度不同的遥感图像数据，三个分支网络共享一套参数。

进一步的，所述损失函数包括三元组损失函数和分类损失函数；

所述三元组损失函数，如下式：

L₁＝max(0,T+||p₁-p₂||₂-||p₁-n||₂)

其中，L₁为三元组损失，T为人为设定的阈值且T＞0，p₁为锚样本分支倒数第二层全连接的特征向量，p₂为正样本分支倒数第二层全连接的特征向量，n为负样本分支倒数第二层全连接的特征向量；

所述分类损失函数，如下式：

其中，L₂为分类损失，y_j为一个向量，只有一个维度的值为1，其余的值都为0，S_j为属于第j类的概率，如下式：

其中，a_j为输入第j维度上的值。

进一步的，所述对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，如下式：

其中，M和N分别为图像的行数和列数，f(u,v)为二维的余弦离散变换。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于三胞胎网络的遥感图像分类系统，所述系统包括：

第一获取模块，用于获取遥感图像库的训练集；

搭建模块，用于搭建第一三胞胎网络和第二三胞胎网络；其中，所述第一三胞胎网络和第二三胞胎网络基于卷积神经网络搭建，且第二三胞胎网络接入离散余弦变换尺度不变手工特征；

训练模块，用于从训练集中选择图像三元组，并将图像三元组输入第一三胞胎网络，使用损失函数对第一三胞胎网络进行训练；

离散余弦变换模块，用于将图像三元组输入第二三胞胎网络，对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，得到规范化离散余弦变换矩阵；

第二获取模块，用于根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；

微调模块，用于根据尺度不变的特征向量和训练后的第一三胞胎网络的权值文件，使用损失函数对第二三胞胎网络进行微调；

分类模块，用于利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

进一步的，所述第一获取模块具体包括：

获取单元，用于获取原始遥感图像库；

尺度变换单元，用于对原始遥感图像库进行多次尺度变换；

选取单元，用于从变换后的遥感图像库中选取部分遥感图像作为训练集。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的遥感图像分类方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的遥感图像分类方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明搭建了两个三胞胎网络，其中一个三胞胎网络接入离散余弦变换，从训练集中选择图像三元组，分别输入两个三胞胎网络，在接入离散余弦变换的三胞胎网络中，对图像三元组中的每一幅图像进行二维离散余弦变换，得到离散余弦变换矩阵，从而得到尺度不变的特征向量，最后融合另一个三胞胎网络输出的深度特征和离散余弦变换的尺度不变的特征向量，获得具有较强尺度不变性的全局特征，并获得较优的遥感图像分类结果。

2、本发明搭建的两个三胞胎网络均包括分支网络，分支网络包括锚样本分支、正样本分支和负样本分支，其中锚样本分支和正样本分支输入类别相同、尺度不同的遥感图像数据，负样本分支输入与锚样本分支类别不同、尺度不同的遥感图像数据，通过三元组损失函数将锚样本的特征向量和正样本的特征向量之间的距离拉近，将锚样本分支的特征向量和负样本分支的特征向量之间的距离推远，从而提高网络对各种尺度同类与不同类图像之间的区分度，实现尺度不变特征的学习。

3、本发明在训练集中选择的图像三元组在输入两个三胞胎网络的任意一个后，在卷积层和全连接层之间通过空间金字塔池化对卷积层的特征图进行不同尺度的均匀分割，得到多个子区域，对所有子区域进行一次最大值池化，并将输出值拼接为特征向量，使得两个三胞胎网络可以输入任意尺度的遥感图像，以兼顾遥感图像的类间类内关系和多尺度特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的基于三胞胎网络的遥感图像分类方法的流程图。

图2为本发明实施例1的划分数据集和尺度变换的原理图。

图3为本发明实施例1的三胞胎网络训练和应用的原理图。

图4为本发明实施例1的第二三胞胎网络的结构示意图。

图5为本发明实施例1的VGG-16网络结构图。

图6为本发明实施例1的空间金字塔池化流程图。

图7为本发明实施例1的同类不同尺度图像相似性比较曲线图。

图8为本发明实施例1的不同类不同尺度图像相似性比较曲线图。

图9为本发明实施例1的同一幅图像不同尺度与VGG-16要求输入尺度相似性比较曲线图。

图10为本发明实施例2的基于三胞胎网络的遥感图像分类系统的结构框图。

图11为本发明实施例2的第一获取模块的结构框图。

图12为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供了一种基于三胞胎网络的遥感图像分类方法，该方法包括以下步骤：

S101、获取遥感图像库的训练集。

如图2所示，该步骤S101具体包括：

S1011、获取原始遥感图像库。

本实施例的原始遥感图像库为AID遥感图像库，AID遥感图像库由武汉大学CAPTAIN研究组公开发表，该遥感图像库包含30种地类(机场、裸地、棒球场、沙塘、桥梁、中心区、教堂、商业区、密集住宅区、沙漠、农场、森林、工业区、牧场、中密度住宅区、山脉、公园、停车场、操场、池塘、港口、火车站、度假村、河流、学校、低密度住宅区、花园、体育馆、储罐区和高架桥)的遥感图像，分辨率为600×600，共10000张。

S1012、对原始遥感图像库进行多次尺度变换。

本实施例的对AID遥感图像库的每一幅图像进行十三次尺度变换，分别为164×164、174×174、184×184、194×194、204×204、214×214、224×224、234×234、244×244、254×254、264×264、274×274、284×284，形成AID遥感图像库容量13倍的尺度变换的遥感图像库。

S1013、从变换后的遥感图像库中选取部分遥感图像作为训练集。

本步骤中，使用变换后的遥感图像库50％的数据来训练，50％的剩余数据细分为验证集和测试集，其中验证集的数据量为变换后的遥感图像库的40％，测试集的数据量为变换后的遥感图像库的10％，比例为5:4:1，即从变换后的遥感图像库中选取65000幅遥感图像作为训练集，剩余的52000幅作为验证集，13000幅作为测试集，如下表1所示。

表1遥感图像库的细节

本领域技术人员可以理解的是，获取遥感图像库的训练集也可以直接获取多幅不同尺度的遥感图像作为训练集。

S102、搭建第一三胞胎网络和第二三胞胎网络。

如图3所示，本步骤的第一三胞胎网络和第二三胞胎网络以经典的卷积神经网络(Convolutional Neural Networks，简称CNN)为基础进行搭建，这样的好处是可以使用预训练的模型权重来初始化网络的参数，加快网络的收敛，第一三胞胎网络和第二三胞胎网络均为尺度不变的三胞胎网络(Scale-invariant Based Triplet Convolutional NeuralNetworks，简称SBT-CNN)，其中第一三胞胎网络不接入尺度不变手工特征，记为SBT-CNN-ND，第二三胞胎网络接入离散余弦变换(Discrete Cosine Transform，简称DCT)尺度不变手工特征，记为SBT-CNN，第二三胞胎网络的结构如图4所示，在SBT-CNN中还为尺度不变手工特征搭建了一个浅层的全连接网络，该网络的作用为在进行特征融合之前对手工特征做一些预处理的工作。

第一三胞胎网络和第二三胞胎网络均包括分支网络，考虑到网络的复杂程度和对计算机资源的消耗以及分支网络的性能，选择了VGG-16作为三胞胎网络的分支网络，VGG-16于2014年提出，并在当年的ILSVRC比赛中取得了92.3％的Top-5正确率，其结构如图5所示。

本实施例的分支网络包括锚样本分支、正样本分支和负样本分支，其中锚样本分支和正样本分支输入类别相同、尺度不同的遥感图像数据，负样本分支输入与锚样本分支类别不同、尺度不同的遥感图像数据。

S103、从训练集中选择图像三元组，并将图像三元组输入第一三胞胎网络，使用损失函数对第一三胞胎网络进行训练。

根据步骤S102对锚样本分支、正样本分支和负样本分支的说明，本步骤中的图像三元组分为锚样本、正样本和负样本，锚样本和正样本的类别相同，但尺度不作限制，锚样本和负样本的类别不同，并且尺度不作限制。

卷积神经网络可以分为两大部分，卷积部分和全连接部分。对于卷积层而言，可以输入任意尺寸的图像，而对于全连接层而言，其输入的图像尺寸必须固定。由于全连接层的限制，导致了传统的卷积神经网络的输入必须是尺寸固定的图像数据。

空间金字塔池化(Spatial Pyramid Pooling，简称SPP)技术可以解决上述问题，空间金字塔池化使得任意大小的特征图都能够转换成固定大小的特征向量，送入全连接层，其具体流程如图6所示。

空间金字塔池化的主要思想是将特征图进行不同尺度的均匀分割，随后再用与子区域同样大小的窗口对子区域做最大值池化(max pooling)由此得到一个输出。对所有子区域都进行一次最大值池化后再将输出值拼接为特征向量，这个特征向量就是定长的，本实施例的图像三元组输入第一三胞胎网络后，在卷积层和全连接层之间通过空间金字塔池化对卷积层的特征图进行不同尺度的均匀分割，得到多个子区域，对所有子区域进行一次最大值池化，并将输出值拼接为特征向量，以对多尺度输入进行学习。

本步骤中的损失函数包括三元组损失(Tripletloss)函数和分类损失(Softmaxwithloss)函数；

三元组损失函数，如下式：

L₁＝max(0,T+||p₁-p₂||₂-||p₁-n||₂) (1)

其中，L₁为三元组损失，T为人为设定的阈值且T＞0，p₁为锚样本分支倒数第二层全连接的特征向量，p₂为正样本分支倒数第二层全连接的特征向量，n为负样本分支倒数第二层全连接的特征向量。

由于卷积神经网络只能输入尺寸固定的数据，当对一幅遥感图像进行缩放或裁剪成卷积神经网络的输入大小时，会造成大量的信息损失而影响卷积神经网络的性能，因此三元组损失函数将锚样本的特征向量和正样本的特征向量之间的距离拉近，将锚样本分支的特征向量和负样本分支的特征向量之间的距离推远，实现尺度不变特征的学习。

分类损失函数先将网络的最后一层输出用Softmax函数转为概率，随后计算交叉熵，如下式：

其中，a_j为输入第j维度上的值。

因此，总损失L为L₁和L₂之和，第一三胞胎网络的损失为min(L)。

S104、将图像三元组输入第二三胞胎网络，对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，得到规范化离散余弦变换矩阵。

本实施例在将图像三元组输入第二三胞胎网络后，同样采用步骤S103的空间金字塔池化，在此不再一一赘述。

离散余弦变换主要用于数据或图像的压缩，能够将空域的信号转换到频域上，具有良好的去相关性的性能。

一维离散余弦变换变换共有8种形式，其中最常用的是第二种形式，由于其运算简单、适用范围广，在这里只讨论这种形式，其表达式如下：

其中，f(i)为原始信号，F(u)是DCT变化后的系数，L为原始信号的点数，c(u)是一个补偿系数。其规范化后的表达式如下：

假设F∈R^sL，G＝S^tL(s,t,L∈N)，记F和G的第q个元素分别为F_q和G_q，如果对任意的k∈{1,2,K,L},m∈{0,1,K,s-1}和n∈{0,1,Kt-1}，有

F_ks-m＝G_kt-n (6)

那么我们称F为G的尺度因子为的缩放版本。

上式告诉我们，F的每s个元素对应于G的每t个元素。

定理1：假设F∈R^sL是G∈R^tL的尺度因子为的缩放版本(s,t,L∈N)，那么利用余弦函数的泰勒级数展开式可证明F和G的第q个规范化DCT系数满足

对于一维数据而言，当q(q为规范化离散余弦变换系数的前q个系数)的个数远远小于N时，那么这q个规范化的离散余弦变换系数几乎是尺度不变的。

二维情况下的离散余弦变换表达式如下：

其中，M和N是该图像的行数和列数，f(i,j)为图像对应位置的灰度值。

因此，对于二维离散余弦变换而言，其规范化后的表达式如下：

二维离散余弦变换相当于分别在图像的行方向和列方向进行两次的一维离散余弦变换，同理可得：

假设f∈R^sM,tN是g∈R^M,N在宽度和高度上分别缩放s和t倍的版本，那么f和g的第(i,j)个规范化离散余弦变换系数满足：

定理2

由定理2知当i远远小于M且j远远小于N时，该图像的第(i,j)个规范化后的离散余弦变换系数是尺度不变的。

实验表明，对于二维情况下的离散余弦变换而言，同样在一定范围内，其规范化后的离散余弦变换系数具有尺度不变的特性。

S105、根据规范化离散余弦变换矩阵，得到尺度不变的特征向量。

本实施例选择离散余弦变换矩阵左上角30×30(30行和30列)的子区域作为对应图像尺度不变的特征，并将该子区域按行拼接为尺度不变的900维特征向量。

S106、根据尺度不变的特征向量和训练后的第一三胞胎网络的权值文件，使用损失函数对第二三胞胎网络进行微调。

具体地，将尺度不变的特征向量和训练后的第一三胞胎网络输出的特征进行融合，将融合的特征输入第二三胞胎网络，使用损失函数对第二三胞胎网络进行训练，损失函数同步骤S103的损失函数，在此不再一一赘述。

本实施例利用验证集和测试集对训练后的第二三胞胎网络进行分类性能的测试，与现有算法的对比如下表2所示。

表2分类性能对比

对实验重复进行了5次，由表2可以看出，SBT-CNN模型在处理多尺度遥感影像分类任务中有明显的优势，三胞胎损失将同类的不同尺度图像之间的距离拉近，将不同尺度不同类的图像距离推远，从而实现了尺度不变特征的学习。

使用VGG-16和SBT-CNN提取17对任意尺度来自同一类的图像和17对任意尺度来自不同类的图像的FC7层特征并计算其欧式距离。由图7可以看出，SBT-CNN拉近了不同尺度之间同类图像的距离，使得不同尺度的同类图像更相似。图8表明，SBT-CNN与普通的VGG16相比，能够针对不同类图像获得更具判别能力的特征。图9表明，SBT-CNN能有效拉近同一幅图像与其尺度变换版本之间的距离，证明了其学习尺度不变特征的有效性。

在上述步骤S101～S105中，超参数的设置如下：

1)学习率：0.001

2)批处理大小(batchsize)：30

3)学习策略：每隔10000次迭代学习率下降一半

4)最大迭代次数：100000

5)动量：0.90

6)权重衰减：0.0005

7)Softmaxwithloss权重：0.2

8)Tripletloss权重：0.4

9)Tripletloss margin：1.4

10)优化算法：SGD(随机梯度下降法)

S107、利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

上述步骤S101～S106为离线阶段，即训练阶段，步骤S107为应用阶段。可以理解，上述步骤S101～S106在一台计算机设备(如服务器、计算机等)完成，可以在该计算机设备上进入步骤S107的应用阶段，也可以将该台计算机设备训练得到的第二三胞胎网络分享给其他的计算机设备，在其他的计算机设备上进入步骤S107的应用阶段。

本实施例的S101～S107在一台AMAX工作站上完成，该工作站配备两个GPU(NVIDIATitan X)和128G的内存，开发框架是caffe。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图10所示，本实施例提供了一种基于三胞胎网络的遥感图像分类系统，该系统包括第一获取模块1001、搭建模块1002、训练模块1003、离散余弦变换模块1004、第二获取模块1005、微调模块1006和分类模块1007，各个模块的具体功能如下：

所述第一获取模块1001，用于获取遥感图像库的训练集。

所述搭建模块1002，用于搭建第一三胞胎网络和第二三胞胎网络；其中，所述第一三胞胎网络和第二三胞胎网络基于卷积神经网络搭建，且第二三胞胎网络接入离散余弦变换尺度不变手工特征。

所述训练模块1003，用于从训练集中选择图像三元组，并将图像三元组输入第一三胞胎网络，使用损失函数对第一三胞胎网络进行训练。

所述离散余弦变换模块1004，用于将图像三元组输入第二三胞胎网络，对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，得到规范化离散余弦变换矩阵。

所述第二获取模块1005，用于根据规范化离散余弦变换矩阵，得到尺度不变的特征向量。

所述微调模块1006，用于根据尺度不变的特征向量和训练后的第一三胞胎网络的权值文件，使用损失函数对第二三胞胎网络进行微调。

所述分类模块1007，用于利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

如图11所示，所述第一获取模块1001具体包括：

获取单元10011，用于获取原始遥感图像库；

尺度变换单元10012，用于对原始遥感图像库进行多次尺度变换；

选取单元10013，用于从变换后的遥感图像库中选取部分遥感图像作为训练集。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配给不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

可以理解，上述系统所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一获取模块称为第二获取模块，且类似地，可将第二获取模块称为第一获取模块，第一获取模块和第二获取模块两者都是获取模块，但其不是同一获取模块。

实施例3：

如图12所示，本实施例提供了一种计算机设备，该计算机设备可以是服务器、计算机等，包括通过系统总线1201连接的处理器1202、存储器、输入装置1203、显示器1204和网络接口1205。其中，处理器1202用于提供计算和控制能力，存储器包括非易失性存储介质1206和内存储器1207，该非易失性存储介质1206存储有操作系统、计算机程序和数据库，该内存储器1207为非易失性存储介质1206中的操作系统和计算机程序的运行提供环境，计算机程序被处理器1202执行时，实现上述实施例1的遥感图像检索方法，如下：

获取遥感图像库的训练集；

根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；

利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

实施例4：

本实施例提供一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的遥感图像检索方法，如下：

获取遥感图像库的训练集；

根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；

利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

本实施例所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

综上所述，本发明搭建了两个三胞胎网络，其中一个三胞胎网络接入离散余弦变换，从训练集中选择图像三元组，分别输入两个三胞胎网络，在接入离散余弦变换的三胞胎网络中，对图像三元组中的每一幅图像进行二维离散余弦变换，得到离散余弦变换矩阵，从而得到尺度不变的特征向量，最后融合另一个三胞胎网络输出的深度特征和离散余弦变换的尺度不变的特征向量，获得具有较强尺度不变性的全局特征，并获得较优的遥感图像分类结果。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种基于三胞胎网络的遥感图像分类方法，其特征在于，所述方法包括：

获取遥感图像库的训练集；

根据规范化离散余弦变换矩阵，得到尺度不变的特征向量；

利用微调后的第二三胞胎网络对待分类遥感图像进行分类。

2.根据权利要求1所述的遥感图像分类方法，其特征在于，所述获取遥感图像库的训练集，具体包括：

获取原始遥感图像库；

对原始遥感图像库进行多次尺度变换；

从变换后的遥感图像库中选取部分遥感图像作为训练集。

3.根据权利要求1所述的遥感图像分类方法，其特征在于，所述规范化离散余弦变换矩阵，得到尺度不变的特征向量，具体为：选择规范化离散余弦变换矩阵左上角a×b的子区域，并将该子区域按行拼接为尺度不变的特征向量，且a和b要远远小于变换矩阵的行数和列数。

4.根据权利要求1所述的遥感图像分类方法，其特征在于，所述图像三元组在输入第一三胞胎网络和第二三胞胎网络的任意一个后，在卷积层和全连接层之间通过空间金字塔池化对卷积层的特征图进行不同尺度的均匀分割，得到多个子区域，对所有子区域进行一次最大值池化，并将输出值拼接为特征向量，以对多尺度输入进行学习。

5.根据权利要求1-4任一项所述的遥感图像分类方法，其特征在于，所述第一三胞胎网络和第二三胞胎网络均包括分支网络，所述分支网络包括锚样本分支、正样本分支和负样本分支，其中锚样本分支和正样本分支输入类别相同、尺度不同的遥感图像数据，负样本分支输入与锚样本分支类别不同、尺度不同的遥感图像数据，三个分支网络共享一套参数。

6.根据权利要求5所述的遥感图像分类方法，其特征在于，所述损失函数包括三元组损失函数和分类损失函数；

所述三元组损失函数，如下式：

L₁＝max(0,T+||p₁-p₂||₂-||p₁-n||₂)

所述分类损失函数，如下式：

其中，a_j为输入第j维度上的值。

7.根据权利要求1-4任一项所述的遥感图像分类方法，其特征在于，所述对图像三元组中的每一幅图像进行二维离散余弦变换和规范化，如下式：

其中，M和N分别为图像的行数和列数，f(u,v)为二维离散余弦变换。

8.一种基于三胞胎网络的遥感图像分类系统，其特征在于，所述系统包括：

第一获取模块，用于获取遥感图像库的训练集；

9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的遥感图像分类方法。

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的遥感图像分类方法。