CN112115806B - 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 - Google Patents

基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 Download PDF

Info

Publication number
CN112115806B
CN112115806B CN202010883679.9A CN202010883679A CN112115806B CN 112115806 B CN112115806 B CN 112115806B CN 202010883679 A CN202010883679 A CN 202010883679A CN 112115806 B CN112115806 B CN 112115806B
Authority
CN
China
Prior art keywords
layer
image
remote sensing
label
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010883679.9A
Other languages
English (en)
Other versions
CN112115806A (zh
Inventor
王鑫
段林
张之露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010883679.9A priority Critical patent/CN112115806B/zh
Publication of CN112115806A publication Critical patent/CN112115806A/zh
Application granted granted Critical
Publication of CN112115806B publication Critical patent/CN112115806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Dual‑ResNet小样本学习的遥感影像场景精确分类方法，首先，对同时输入的两幅遥感场景图像X1和X2，采用ResNet‑18对其进行特征提取分别得到特征Gw(X1)和Gw(X2)，两个ResNet‑18在训练过程中共享权重。其次，计算两个ResNet‑18网络提取特征之间的距离，然后，通过将该组特征之间的距离与预设定的阈值相比较得到预测的类别标签，最后输出预测的类别标签。本发明利用Dual‑ResNet同时对输入的两幅遥感图像进行训练，分别学习得到的两幅图像之间的特征距离，与普通的深度学习相比，这种方法能够在学习图像特征的同时减小类内距离并增大类间距离，改进了深度学习对数据量大小的依赖性，该发明对于小样本数据量的遥感图像场景分类具有很好的效果。

Description

基于Dual-ResNet小样本学习的遥感影像场景精确分类方法
技术领域
本发明属于图像处理领域，尤其涉及一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法。
背景技术
遥感图像场景分类是图像处理领域的一个研究热点，也是计算机视觉中的一个极具挑战的任务，随着遥感影像技术的快速发展，光学遥感影像数据量获得快速增长，遥感图像包含的信息非常丰富,如空间信息、纹理信息、地物的几何结构信息等。影像中的地物目标具有同类差异大和部分类间相似度高的特点，因而如何有效地自动对遥感图像场景进行分类识别已经吸引了众多研究者的关注。随着各种深度卷积神经网络模型的发展，遥感图像的场景分类方法也从传统的手工特征提取逐渐向深度学习不断过渡。
然而当下的深度学习的性能在很大程度上受到数据驱动的影响，但是否能获取到大量的数据以及高额的人工标注成本都是一个很大的问题，所以在有限的数据中实现一个任务的精确识别是很重要的。在对测试实例进行预测之前，通过只观察每个可能类的一个或少许几个示例来学习这些类间的差异和类内的共性，这种技术被称为小样本学习。
公开号为CN110046575A，发明名称为基于改进残差网络的遥感图像场景分类方法的专利，通过对残差网络结构进行改进，用训练集中的图像对改进后的残差网络进行训练，通过训练不断优化残差网络结构，训练完成后用测试集图像测试残差网络的准确率，然后用训练后的残差网络结构对遥感图像进行场景分类。该方法虽然能够有效地解决遥感图像在深度学习中梯度消失的问题，但是，该网络对图像分类利用的特征仅仅考虑了遥感图像高层的语义特征，而没有考虑遥感图像的类别分布不均匀以及类间的差异等因素，该方法对于少样本的遥感图像很难达到理想的分类精度。
公开号为CN110414377A，发明名称为一种基于尺度注意力网络的遥感图像场景分类方法的专利，通过将数据集输入到注意力模块中进行显著性检测，产生注意力图；然后，利用预训练模型初始化尺度注意力网络参数，并使用训练集和注意力图微调尺度注意力网络，保存训练好的网络模型；最后，使用微调后的尺度注意力网络预测待分类图像场景的类别。该基于尺度注意力网络的遥感图像场景分类方法，通过多次利用多尺度注意力图给特征图加权，又通过提取多尺度图像特征并融合，产生了判别力增强的特征表示，这种方法虽然在部分遥感图像场景分类上取得了较好的效果。但是这种网络在训练过程中计算量较大，而且对样本的数据量依赖很强，对于部分具有长尾现象以及分布不均衡的遥感场景图像效果会很不理想。
综上，现有的遥感图像场景分类方法，存在的诸多局限性主要表现在：
(1)深度神经网络的设计复杂，从而增加了训练过程中的运算时间，且过深的神经网络容易导致过拟合、梯度消失等现象。
(2)没有很好地考虑遥感图像数据的分布情况，对于遥感图像的场景分类，遥感图像在每一类中的样本数常常存在分布不均衡的情况，如果在训练过程中忽视了这一点，很容易导致分布较少的样本类别的预测精度较低。
(3)神经网络的训练过程对样本的数量依赖性较强，一般地，样本数量越丰富训练出的神经网络最终预测的结果也就更好，但是对于遥感这一类图像，高额的人工标注成本使得供训练的遥感图像数据量并不是特别大，所以小样本学习将会成为遥感领域以至计算机视觉邻域的一个重大发展方向。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法。该方法可以避免深度神经网络设计复杂、遥感图像样本不均对分类精度的影响以及训练过程对数据量的过分依赖问题，同时还能通过少量样本来学习类间差异与类内共性，从而提升分类的准确性。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，具体步骤如下：
(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test；
(2)构建ResNet-18卷积神经网络，将训练集中任意两张图像X1,X2输入该神经网络，得到两张图像的特征向量Gw(X1)和Gw(X2)；X1,X2的类别标签为Label1,Label2；
(3)计算两个特征向量Gw(X1)和Gw(X2)之间的距离；将该组特征之间的距离与训练的样本已知标签Label1,Label2的关系构建一个对比损失函数；
(4)设定训练次数，输入训练集图像至卷积神经网络，通过最小化对比损失函数训练网络，更新网络参数，直到参数取值收敛；收敛条件为对比损失函数的值较前一次训练计算的值不再减小；
(5)将测试集输入到训练好的卷积神经网络，得到测试集中每张图像的特征向量；将该特征向量分别与训练集中每个类别的任一张图像的特征向量进行距离计算；
(6)将步骤(5)中计算的各距离与预设阈值进行比较，若距离值小于或等于预设阈值，该距离对应的训练集图像所属的类别作为相应的测试集图像的预测类别。
进一步的，所述步骤(1)中，构建样本集合以及集合分类方法如下：
(1.1)构建遥感场景图像样本数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei为第i类遥感场景图像的集合，Labeli为第i类遥感场景图像的标签；
(1.2)将数据集分为训练集Train和测试集Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集，则有Train＝[Train1,…,Traini,…,TrainN],Test＝[Test1,…,Testi,…,TestN]；其中Traini为第i类遥感影像的训练集合，包括m张图像；Testi为第i类遥感影像的测试集合，包括n-m张图像。
进一步的，所述步骤(2)中，ResNet-18卷积神经网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为224×224大小；
(2.2)在第一层的卷积层中，定义64个尺寸为7×7的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.3)在第二层的池化层中，池化方法设为MAX pooling；
(2.4)在第三、四、五、六层的卷积层中，均分别定义64个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.5)在第七层的卷积层中，定义128个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.6)在第八、九、十层的卷积层中，均分别定义128个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.7)在第十一层的卷积层中，定义256个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.8)在第十二、十三、十四层的卷积层中，均分别定义256个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.9)在第十五层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.10)在第十六、十七、十八层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.11)在第十九层的池化层中，池化方法设为Avg pooling；
(2.12)第二十层为全连接层。
进一步的，所述步骤(2)中，特征向量计算方法如下：
对于输入图像x，ResNet-18卷积神经网络第十八层的卷积层学习得到512个7×7大小的特征图fi，其中i＝1,…,512；对每个特征图fi通过ResNet-18卷积神经网络第十九层的平均池化层，得到的特征图fi所对应池化的结果为：
Figure BDA0002654927220000031
其中
Figure BDA0002654927220000032
为特征图fi第j行k列的元素值；将每个特征图池化的结果组合成一个长度为512的列向量(AP1,AP2,...,AP512)即为池化后的特征向量；将池化后的特征向量输入全连接层，得到降维后的特征向量(FC1,FC2,...,FCr)，其中r为全连接层的神经元个数；该特征向量即为ResNet-18卷积神经网络学习到的遥感图像的特征向量Gw(x)。
进一步的，所述步骤(3)中，两个特征向量之间的距离计算公式如下：
Distance＜Gw(X1),Gw(X2)＞＝||Gw(X1)-Gw(X2)||，
其中||Gw(X1)-Gw(X2)||是图像X1,X2的特征向量Gw(X1),Gw(X2)的欧氏距离。
进一步的，所述步骤(3)中，对比损失函数表达式为：
L＝y(X1,X2)log(d)+(1-y(X1,X2))log(1-d)，
其中d为两个特征向量之间的距离，当Label1＝Label2时，图像X1,X2属于同一类别，y(X1,X2)＝1；当Label1≠Label2时，图像X1,X2属于不同类别，y(X1,X2)＝0。
有益效果：本发明采用上述技术方案，具有以下有益效果：
(1)本发明的方法直接将原始遥感场景图像输入到ResNet-18卷积神经网络中，进行特征的自动学习，避免了对图像的复杂前期预处理和不同种类特征提取过程，同时该网络结构能够很好地避免训练过程中的梯度消失问题，最终学习得到的深度特征涵盖信息完整且具有较强的表现图像特征的能力。
(2)本方法针对双路网络设计，从损失函数的角度来优化增大类间的差异和缩小类内的共性，并且在训练过程中两路ResNet-18卷积神经网络权重共享，减小了运算需求和资源的消耗，且在遥感图像场景分类的应用上具有较理想的实验结果。
(3)本方法基于小样本学习，在训练过程中只需要遥感场景图像每个类别中的一张或少许几张图像即可，避免了深度学习受数据制约的影响，同时也缩短了训练时间。
附图说明
图1是本发明实施例的框架图；
图2是搭建的ResNet-18网络结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明所述的基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，具体包括如下步骤：
(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test。本实施例选用遥感场景图像公共数据集UCMerced_LandUse进行实验，该数据集包含21类遥感场景图像。
构建样本集合以及集合分类方法如下：
(1.1)构建遥感场景图像样本数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei为第i类遥感场景图像的集合，Labeli为第i类遥感场景图像的标签；
(1.2)将数据集分为训练集Train和测试集Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集，则有Train＝[Train1,…,Traini,…,TrainN],Test＝[Test1,…,Testi,…,TestN]；其中Traini为第i类遥感影像的训练集合，包括m张图像；Testi为第i类遥感影像的测试集合，包括n-m张图像。本实施例中，n＝100,m＝20。
(2)构建ResNet-18卷积神经网络，将训练集中任意两张图像X1,X2输入该神经网络，得到两张图像的特征向量Gw(X1)和Gw(X2)；X1,X2的类别标签为Label1,Label2。
如图2所示，构建的ResNet-18卷积神经网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为224×224大小；
(2.2)在第一层的卷积层中，定义64个尺寸为7×7的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.3)在第二层的池化层中，池化方法设为MAX pooling；
(2.4)在第三、四、五、六层的卷积层中，均分别定义64个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.5)在第七层的卷积层中，定义128个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.6)在第八、九、十层的卷积层中，均分别定义128个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.7)在第十一层的卷积层中，定义256个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.8)在第十二、十三、十四层的卷积层中，均分别定义256个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.9)在第十五层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.10)在第十六、十七、十八层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.11)在第十九层的池化层中，池化方法设为Avg pooling；
(2.12)第二十层为全连接层。
此外，需要注意的是，其中所提到的池化，其本质是下采样，通过池化层可以对输入的特征图选择某种方式进行压缩。池化的意义一方面在于减少网络参数，减少计算量；另一方面在于使训练出的特征具有旋转不变性，增强网络鲁棒性和抗干扰能力。全连接层在整个卷积神经网络中起到对特征向量降维的作用。可将卷积层、池化层和激活函数层学到的“分布式特征”表示映射到低维空间。
特征向量计算方法如下：
对于输入图像x，ResNet-18卷积神经网络第十八层的卷积层学习得到512个7×7大小的特征图fi，其中i＝1,…,512；第i个特征图fi表示为：
Figure BDA0002654927220000061
对每个特征图fi通过ResNet-18卷积神经网络第十九层的平均池化层，得到的特征图fi所对应池化的结果为：
Figure BDA0002654927220000062
其中
Figure BDA0002654927220000063
为特征图fi第j行k列的元素值；
将每个特征图池化的结果组合成一个长度为512的列向量(AP1,AP2,...,AP512)即为池化后的特征向量；
将池化后的特征向量输入全连接层，得到降维后的特征向量(FC1,FC2,...,FCr)，其中，FCi(i＝1,2,...,r)表示通过全连接层后得到的值，把这些值拼接起来即为全连接层降维后的特征向量(FC1,FC2,...,FCr)，r为全连接层的神经元个数；该特征向量即为该卷积神经网络学习到的遥感图像的特征向量Gw(x)＝(FC1,FC2,...,FCr)。
(3)计算两个特征向量Gw(X1)和Gw(X2)之间的距离；将该组特征之间的距离与训练的样本已知标签Label1,Label2的关系构建一个对比损失(Contrastive Loss)函数。
两个特征向量之间的距离计算公式如下：
Distance＜Gw(X1),Gw(X2)＞＝||Gw(X1)-Gw(X2)||，
其中||Gw(X1)-Gw(X2)||是图像X1,X2的特征向量Gw(X1),Gw(X2)的欧氏距离。
所述对比损失函数表达式为：
L＝y(X1,X2)log(d)+(1-y(X1,X2))log(1-d)，
其中d为两个特征向量之间的距离，当Label1＝Label2时，图像X1,X2属于同一类别，y(X1,X2)＝1；当Label1≠Label2时，图像X1,X2属于不同类别，y(X1,X2)＝0。
(4)设定训练次数，输入训练集图像至卷积神经网络，通过最小化对比损失函数训练网络，更新网络参数，直到参数取值收敛；收敛条件为对比损失函数的值较前一次训练计算的值不再减小；为了保证神经网络的拟合效果，本实施例中设定的训练次数为200次，能足以保证网络达到收敛的条件。
训练一个卷积神经网络，实际意义上是在训练该网络每一个卷积层的卷积核，使这些卷积核能检测到图像中的特征，从而达到训练整个网络的目的。
在开始训练之前，随机初始化卷积核，例如将两幅场景图像输入到卷积神经网络中，随机初始化的卷积神经网络训练，得到两幅图像的特征向量并计算出它们之间的距离，通过距离与类别关系构建的损失函数来不断反向传播更新ResNet-18网络中的参数，使得下一次输入网络的两幅图像有以下关系：如果两幅图像是同一类场景，两路网络的输出特征向量之间的距离会趋向最小化，如果两幅图像是不同类别的场景，两路网络的输出特征向量之间的距离会趋向最大化。
(5)将测试集输入到训练好的卷积神经网络，得到测试集中每张图像的特征向量；将该特征向量分别与训练集中每个类别的任一张图像的特征向量进行距离计算；
(6)将步骤(5)中计算的各距离与预设阈值进行比较，若距离值小于或等于预设阈值，该距离对应的训练集图像所属的类别作为相应的测试集图像的预测类别。在本实施例中阈值设定为固定值0.3。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，其特征在于：该方法包括以下步骤：
(1)构建遥感场景图像样本数据集，并制作相应的样本类别标签集合，将遥感场景图像样本数据集分为训练集Train和测试集Test；
(2)构建ResNet-18卷积神经网络，将训练集中任意两张图像X1,X2输入该神经网络，得到两张图像的特征向量Gw(X1)和Gw(X2)；X1,X2的类别标签为Label1,Label2；
ResNet-18卷积神经网络结构如下：
(2.1)在输入层中，将每一个遥感场景图像归一化为224×224大小；
(2.2)在第一层的卷积层中，定义64个尺寸为7×7的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.3)在第二层的池化层中，池化方法设为MAX pooling；
(2.4)在第三、四、五、六层的卷积层中，均分别定义64个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.5)在第七层的卷积层中，定义128个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.6)在第八、九、十层的卷积层中，均分别定义128个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.7)在第十一层的卷积层中，定义256个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.8)在第十二、十三、十四层的卷积层中，均分别定义256个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.9)在第十五层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为2，填充模式设置为SAME，激活函数设置为Relu；
(2.10)在第十六、十七、十八层的卷积层中，均分别定义512个尺寸为3×3的卷积核，设定步长为1，填充模式设置为SAME，激活函数设置为Relu；
(2.11)在第十九层的池化层中，池化方法设为Avg pooling；
(2.12)第二十层为全连接层；
其中，特征向量计算方法如下：
对于输入图像x，ResNet-18卷积神经网络第十八层的卷积层学习得到512个7×7大小的特征图fi，其中i＝1,…,512；对每个特征图fi通过ResNet-18卷积神经网络第十九层的平均池化层，得到的特征图fi所对应池化的结果为：
Figure FDA0003697562770000011
其中
Figure FDA0003697562770000021
为特征图fi第j行k列的元素值；将每个特征图池化的结果组合成一个长度为512的列向量(AP1,AP2,...,AP512)即为池化后的特征向量；将池化后的特征向量输入全连接层，得到降维后的特征向量(FC1,FC2,...,FCr)，其中r为全连接层的神经元个数；该特征向量即为ResNet-18卷积神经网络学习到的遥感图像的特征向量Gw(x)；
(3)计算两个特征向量Gw(X1)和Gw(X2)之间的距离；将该两个特征之间的距离与训练的样本已知标签Label1,Label2的关系构建一个对比损失函数；
(4)设定训练次数，输入训练集图像至卷积神经网络，通过最小化对比损失函数训练网络，更新网络参数，直到参数取值收敛；收敛条件为对比损失函数的值较前一次训练计算的值不再减小；
(5)将测试集输入到训练好的卷积神经网络，得到测试集中每张图像的特征向量；将该特征向量分别与训练集中每个类别的任一张图像的特征向量进行距离计算；
(6)将步骤(5)中计算的各距离与预设阈值进行比较，若距离值小于或等于预设阈值，该距离对应的训练集图像所属的类别作为相应的测试集图像的预测类别。
2.根据权利要求1所述的一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，其特征在于：所述步骤(1)中，构建样本集合以及集合分类方法如下：
(1.1)构建遥感场景图像样本数据集Image＝[Image1,…,Imagei,…,ImageN]，并制作相应的样本标签Label＝[Label1,…,Labeli,…,LabelN]，其中N表示N类遥感场景图像，Imagei为第i类遥感场景图像的集合，Labeli为第i类遥感场景图像的标签；
(1.2)将数据集分为训练集Train和测试集Test，针对数据集中每类遥感影像，设其样本总数为n，从中随机抽取m张图像构建训练集，其余n-m张图像构建测试集，则有Train＝[Train1,…,Traini,…,TrainN],Test＝[Test1,…,Testi,…,TestN]；其中Traini为第i类遥感影像的训练集合，包括m张图像；Testi为第i类遥感影像的测试集合，包括n-m张图像。
3.根据权利要求1或2所述的一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，其特征在于：所述步骤(3)中，两个特征向量之间的距离计算公式如下：
Distance＜Gw(X1),Gw(X2)＞＝||Gw(X1)-Gw(X2)||，
其中||Gw(X1)-Gw(X2)||是图像X1,X2的特征向量Gw(X1),Gw(X2)的欧氏距离。
4.根据权利要求1或2所述的一种基于Dual-ResNet小样本学习的遥感影像场景精确分类方法，其特征在于：所述步骤(3)中，对比损失函数表达式为：
L＝y(X1,X2)log(d)+(1-y(X1,X2))log(1-d)，
其中d为两个特征向量之间的距离，当Label1＝Label2时，图像X1,X2属于同一类别，y(X1,X2)＝1；当Label1≠Label2时，图像X1,X2属于不同类别，y(X1,X2)＝0。
CN202010883679.9A 2020-08-28 2020-08-28 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法 Active CN112115806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010883679.9A CN112115806B (zh) 2020-08-28 2020-08-28 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010883679.9A CN112115806B (zh) 2020-08-28 2020-08-28 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法

Publications (2)

Publication Number Publication Date
CN112115806A CN112115806A (zh) 2020-12-22
CN112115806B true CN112115806B (zh) 2022-08-19

Family

ID=73803863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010883679.9A Active CN112115806B (zh) 2020-08-28 2020-08-28 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法

Country Status (1)

Country Link
CN (1) CN112115806B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408463B (zh) * 2021-06-30 2022-05-10 吉林大学 一种基于距离度量的细胞图像小样本分类系统
CN114187477A (zh) * 2021-12-16 2022-03-15 西安交通大学 一种基于监督自对比学习的小样本高光谱图像分类方法
CN115100462A (zh) * 2022-06-20 2022-09-23 浙江方圆检测集团股份有限公司 一种基于回归预测的插座分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252667A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd 動画イベント検出装置
CN110046656A (zh) * 2019-03-28 2019-07-23 南京邮电大学 基于深度学习的多模态场景识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252667A (ja) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd 動画イベント検出装置
CN110046656A (zh) * 2019-03-28 2019-07-23 南京邮电大学 基于深度学习的多模态场景识别方法

Also Published As

Publication number Publication date
CN112115806A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN108830296B (zh) 一种改进的基于深度学习的高分遥感影像分类方法
CN112115806B (zh) 基于Dual-ResNet小样本学习的遥感影像场景精确分类方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN109375186B (zh) 基于深度残差多尺度一维卷积神经网络的雷达目标识别方法
CN109671070B (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN112200121B (zh) 基于evm和深度学习的高光谱未知目标检测方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN112232151B (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN102385592B (zh) 图像概念的检测方法和装置
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN112434628B (zh) 基于主动学习和协同表示的小样本图像分类方法
CN113343974A (zh) 考虑模态间语义距离度量的多模态融合分类优化方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN113743417A (zh) 语义分割方法和语义分割装置
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN115564996A (zh) 一种基于注意力联合网络的高光谱遥感图像分类方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN112163114A (zh) 一种基于特征融合的图像检索方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN115861595A (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant