CN111695468B - 一种基于K-shot学习的极化SAR地物分类方法 - Google Patents

一种基于K-shot学习的极化SAR地物分类方法 Download PDF

Info

Publication number
CN111695468B
CN111695468B CN202010485730.0A CN202010485730A CN111695468B CN 111695468 B CN111695468 B CN 111695468B CN 202010485730 A CN202010485730 A CN 202010485730A CN 111695468 B CN111695468 B CN 111695468B
Authority
CN
China
Prior art keywords
loss function
network
training
function
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010485730.0A
Other languages
English (en)
Other versions
CN111695468A (zh
Inventor
郭岩河
宋国鑫
王爽
赵永强
王尧
臧琪
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010485730.0A priority Critical patent/CN111695468B/zh
Publication of CN111695468A publication Critical patent/CN111695468A/zh
Application granted granted Critical
Publication of CN111695468B publication Critical patent/CN111695468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于K‑shot学习的极化SAR地物分类方法,先准备图像分类数据集;再图像预处理;然后制作图像训练数据集;搭建DN4网络;构造损失函数;训练搭建好的网络;预测分类效果图;最后评估网络的性能。有效克服了现有技术中面对新的数据集不能够进行快速解译的问题,并通过改进后的损失函数解决了之前对特征空间中样本特征间的距离问题的忽视,极大的提高了网络的性能,同时提升了网络的训练效率,增强了网络的鲁棒性。

Description

一种基于K-shot学习的极化SAR地物分类方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于K-shot学习的极化SAR地物分类方法。
背景技术
随着极化SAR系统的技术越来越先进,获取到的极化SAR图像中包含的地物信息也越来越丰富,这使得研究极化SAR雷达解译成为当前雷达图像领域研究的热点。目前,极化SAR地物分类的方法日趋完善与先进,可以大致分为无监督分类方法、有监督分类方法和半监督分类方法。随着极化SAR雷达的发展,海量的极化SAR数据出现。因此,在面对新的极化SAR数据如何快速地进行准确分类成为了新的问题。
无论是无监督方法、有监督方法还是半监督方法,在解决极化SAR地物分类问题时采取的策略与流程是基本一致的。除了与常规的分类问题中的构建规则提取数据特征、构建分类器得到分类结果一致的部分外,有两种方法被常用于基础极化SAR数据集合的构建。一种是基于图像分类的方法,另一种则是基于图像分割的方法。然而无监督分类方法分类精度较低,一般来说并不能得到可以直接使用的分类结果;有监督方法依赖大量的人工标注,而囿于极化SAR数据的特殊之处,新获取到的极化SAR数据无法进行快速、大规模的标注;半监督方法虽然可以降低对有标签数据的依赖程度,然而现如今大量的可靠半监督学习方法均需要在数据集上进行训练,以得到专一性的分类器,而当应用至多种参数、多种极化模式的极化SAR数据的快速解译问题上便略显吃力。
现有方法需要在数据集上进行训练,对于快速解译就还存在一定的局限性,并不能够实现快速解译的目的,在应用时也因此会存在实用性的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于K-shot学习的极化SAR地物分类方法,解决了面对新的极化SAR数据时如何快速地进行准确分类的问题。
本发明采用以下技术方案:
一种基于K-shot学习的极化SAR地物分类方法,包括以下步骤:
S1、准备数据集,以Flevoland I数据集作为训练集进行训练,以Flevoland II和San Francisco数据集作为测试集进行测试;
S2、对极化SAR数据进行精致Lee滤波处理,对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,逐像素有重叠地进行切块操作;
S3、搭建包括深度嵌入模块Ψ和图像级度量模块Φ的DN4网络;
S4、构造交叉熵损失和Hinge Loss损失函数,实现对特征样本的类内距离缩小与类间距离增大;
S5、采用基于步骤S3的网络结构得到分类结果,采用基于步骤S4的两个损失函数迭代优化整个网络,得到最优模型;
S6、将步骤S5中训练好的最优模型权重参数载入到基于步骤S3构造的DN4网络模型中,并依次读取所有测试集数据,预测测试集中图像的分类结果图,实现对全图的地物分类。
具体的,步骤S1中,测试集中的样本共有C类,每类K个样本,训练集中样本类别为M,M>K,每类样本个数为D,D>C,选取stembeans,rapessed,baresoil,potatoes,beet,wheat2,peas,wheat3,lucerne,barley的样本作为训练数据,剩余的五类即wheat,grasses,forest,water,buildings划分为验证集合。
具体的,步骤S2中,对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,而后逐像素有重叠地,以15×15的窗口大小进行切块,得到若干个尺寸为15×15×9的图像块。
进一步的,T矩阵为:
Figure BDA0002519100590000031
其中,T表示极化相干矩阵,H表示水平方向极化,V表示垂直方向极化,SHH表示雷达水平发射水平接收的散射分量,SVV表示雷达垂直发射垂直接收的散射分量,SHV表示雷达水平发射垂直接收的散射分量,<·>表示按极化视数取平均值,|·|2表示取模的平方操作,(·)*表示复数的共轭操作。
具体的,步骤S3中,深度嵌入模块Ψ用以学习询问集合和支撑集合的图像的特征表示,包含四个卷积块,每个卷积块由一个卷积层,一个批处理规范化层和一个Leaky ReLU层组成,前两个卷积块分别附加一个额外的2×2最大池化层,具体为:
Ψ(X)=[x1,...,xm]∈Rd×m
其中,Xi是第i个深度局部描述子。
具体的,步骤S3中,图像级度量模块Φ使用来自某一类中所有的训练图像的深度局部描述子来构造用于该类别的局部描述子空间,具体为:
Figure BDA0002519100590000032
其中,k为超参数,m为局部描述子的集合个数,xi为描述子,
Figure BDA0002519100590000042
为描述子在第c类中第k以内近邻的描述子,c为类别,q为询问集合图片。
具体的,步骤S4中,将交叉熵函数与Hinge Loss进行线性组合,当w(t)函数为正值的设置时,表示在模型训练初期以Hinge Loss损失函数为主,而后逐渐以交叉熵损失函数为主要损失;当w(t)函数为负值的设置时,表示在模型训练初期以交叉熵损失函数为主,而后逐渐以Hinge Loss损失函数为主要损失。
进一步的,交叉熵函数与Hinge Loss进行线性组合具体为:
L(y)=w(t)LC+[1-w(t)]LH
其中,LC表示交叉熵损失函数,LH为Hinge Loss损失函数,w(t)为随着迭代时间的增加,线性增长或者降低的权重函数,最小值为0,最大值为1。
进一步的,Hinge Loss损失函数为:
Figure BDA0002519100590000041
其中,m为最大间隔,p为指数,N为样本总数,
Figure BDA0002519100590000043
为任意样本,xi为另一个不同的任意样本。
一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至9所述的方法中的任一方法。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于K-shot学习的极化SAR地物分类方法,将K-shot学习中的DN4模型引入到小样本的图像分类过程中,使得在有更多的极化SAR数据涌现的时候,使用K-shot学习方法可以在面对新的数据集分类任务时,在提高足够分类精度的前提下,降低对人工标注的依赖。
进一步的,由于所使用的DN4模型进行极化SAR地物分类需要一个拥有较多类别和样本的数据集合作为训练集以在每个Episode中选取对应的类别与样本作为支撑集合和询问集合。因此,本发明的全部实验均选取来自AIRSAR获取的Flevoland农田极化SAR数据作为训练集合。测试样本集则选择RADARSAT-2获取的Flevoland农田极化SAR数据与金门大桥极化SAR数据。
进一步的,选取抗噪能力更强的取patch块操作的极化SAR地物分类方法,在输入数据的层面上引入了邻域信息,相比对单个像素点的分类,对地物类别的表征能力在理论上也相对较强。并且由于极化SAR数据的成像特点使得极化SAR图像中含有大量的乘性噪声,而样本又是极少量的,则噪声的影响变得非常的明显,对这些数据进行精致Lee滤波处理,可去除数据中相干斑噪声影响。
进一步的,选用基于度量的K-shot学习方法,并且用了其中的DN4网络,能够在尽可能降低对有标记样本的需求的前提下,快速地对新获取到的极化SAR数据进行分类,节省了大量的计算资源和时间消耗,其通过现有的数据集进行训练直接对类别无交集的测试集合进行测试并获得较高准确率。
进一步的,把交叉熵损失和Hinge Loss函数进行了结合,单纯对于交叉熵损失函数来说,其可以使正确分类的置信度最大化,而极化SAR数据类内差异有大有小,个别类别间的差异非常小,加入Hinge Loss可以使类间保持一定的阈值,在正确分类的前提下,最大化类间差距。
进一步的,用改进了损失函数后的DN4网络去训练,而损失函数作为衡量预测结果与真实情况差距的函数,对于深度学习网络模型是十分重要的,所以改进后的模型训练对结果有很大影响,提高了整体的分类精度。
综上所述,本发明有效克服了现有技术中面对新的数据集不能够进行快速解译的问题,并通过改进后的损失函数解决了之前对特征空间中样本特征间的距离问题的忽视,极大的提高了网络的性能,同时提升了网络的训练效率,增强了网络的鲁棒性。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的网络结构图;
图2为本发明在仿真实验中使用的Flevoland I数据集;
图3为本发明在仿真实验中使用的Flevoland II数据集;
图4为本发明在仿真实验中使用的San Francisco数据集;
图5为本发明在Flevoland II数据集上的预测结果;
图6为本发明在San Francisco数据集上的预测结果。
具体实施方式
目前,对于越来越多的极化SAR,会有更多的极化SAR数据涌现。然而,传统的方法的精度较低,先进的一般深度学习方法则依赖于大规模的数据集合和人工标注。对于极化SAR的数据标注,人工比一般的自然图像数据集更加耗费时间与精力。常规的深度学习方法于面对新获取的极化SAR数据的情况时,批量标注数据的成本较高,且进行网络的训练需要大量的计算资源和时间消耗。这对于快速解译新极化SAR数据是效率极低、成本极高的。鉴于在极化SAR地物分类领域已经具备大量的完备数据集合,使用K-shot学习方法可以在面对新的数据集分类任务时,其通过现有的数据集进行训练直接对类别无交集的测试集合进行测试,在提高足够分类精度的前提下,降低对人工标注的依赖。
本发明提供了一种基于K-shot学习的极化SAR地物分类方法,准备图像分类数据集;图像预处理;制作图像训练数据集;搭建DN4网络;构造损失函数;训练搭建好的网络;预测分类效果图;评估网络的性能。本发明有效克服了现有技术中面对新的数据集不能够进行快速解译的问题,并通过改进后的损失函数解决了之前对特征空间中样本特征间的距离问题的忽视,极大的提高了网络的性能,同时提升了网络的训练效率,增强了网络的鲁棒性。
请参阅图所示,本发明一种基于K-shot学习的极化SAR地物分类方法,将K-shot学习中的DN4模型引入极化SAR图像分类网络,并且改进了损失函数,将交叉熵损失和HingeLoss函数结合,极大的提高了同领域极化SAR图像分类的准确率,包括以下步骤:
S1、准备数据集
使用公开的Flevoland I数据集、Flevoland II数据集和San Francisco数据集,以Flevoland I数据集作为训练集进行训练,以Flevoland II和San Francisco数据集作为测试集进行测试;
Flevoland I数据集有15种不同的地形类型,分别为:括water,rapeseed,grasses,bare soil,potatoes,beet,wheat,lucerne,forest,peas,buildings和stembeans。
Flevoland II数据集有4种不同的地形类型,分别为:water,urban,forest和cropland;
San Francisco数据集有5种不同的地形类型,分别为:water,vegetation,low-density urban,high-density urban,developed;
由于K-shot学习是C-way K-shot问题,即测试样本集中的样本共有C类,每类K个样本,训练样本集合中样本类别为M(M>K),每类样本个数为D(D>C),则发明中选取stembeans,rapessed,bare soil,potatoes,beet,wheat2,peas,wheat3,lucerne,barley这十类的样本作为训练数据,剩余的五类即wheat,grasses,forest,water,buildings划分为验证集合。
S2、图像预处理
对极化SAR数据(T矩阵)进行精致Lee滤波处理,而后对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,逐像素有重叠地进行切块操作;
S201、先对极化SAR数据(T矩阵)进行精致Lee滤波处理,以去除相干斑噪声的影响,其中滤波窗口采用7×7的尺寸,所述生成的极化相干矩阵(T矩阵)的表达式如下;
Figure BDA0002519100590000081
其中,T表示极化相干矩阵,H和V表示电磁波极化方式,H表示水平方向极化,V表示垂直方向极化,SHH表示雷达水平发射水平接收的散射分量,SVV表示雷达垂直发射垂直接收的散射分量,SHV表示雷达水平发射垂直接收的散射分量,〈·〉表示按极化视数取平均值,|·|2表示取模的平方操作,(·)*表示复数的共轭操作;
S202、对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,而后逐像素有重叠地,以15×15的窗口大小进行切块,得到若干个尺寸为15×15×9的图像块。
S3、DN4网络结构
请参阅图1,DN4的基本网络结构由两个模块组成,深度嵌入模块Ψ和图像级度量模块Φ。深度嵌入模块Ψ用来学习描述所有图像的局部描述子,图像级度量模块Ψ可以计算上述图像到其对应类别的度量;
DN4将深度嵌入模块与图像级度量模块集成整合到一个统一的网络中以进行完整的端到端的训练。同时,深度嵌入模块实为一个即插即用模块,即可以被任意一种或一类可以实现表征学习和特征提取的模块所替代。
深度嵌入模块Ψ用以学习询问集合和支撑集合的图像的特征表示,任何合适的CNN网络都可以作为深度嵌入模块。对于模块Ψ来说,因其实现的是特征表示和提取的功能模块,计算图像到其类别的度量完全依靠图像级度量模块完成,所以深度嵌入模块只包含卷积层,而不具有全连接层。
对于图像X,深度嵌入模块将其编码为一个尺寸为h×w×d的向量Ψ(X),可将其视为m(m=h×w)个d维局部描述子的集合,即
Ψ(X)=[x1,...,xm]∈Rd×m
其中,Xi是第i个深度局部描述子。
图像级度量模块Φ使用来自某一类中所有的训练图像的深度局部描述子来构造用于该类别的局部描述子空间。在此空间中,DNN通过K-NN计算询问集合的图像与此类别之间的图像类相似度(或距离)。
根据上述深度嵌入模块的原理,给定一张询问集合的图片q,其将被编码为Ψ(q)=[x1,...,xm]∈Rd×m,对于每一个描述子Xi,DN4实现寻找其在第c类中第k以内近邻的描述子,并计算相似度,将其累加起来作为询问集合图片q与类别c之间的图像级到类别级之间的相似度(距离),具体表达式如下:
Figure BDA0002519100590000091
从上述公式中可以看出,图像级度量模块是一个无参数学习的模块,它完全依靠K-NN的方法规则来度量图像与某一类别之间的相似度。在K-shot学习问题中,由于其每类样本的极少数量的设置,大量的网络参数学习很容易出现过拟合的情况。因此,相比于其他参数学习的度量方法,如在大多数K-shot学习网络中经常使用的利用全连接层完成图像级别的度量方法,使用无参数学习的图像类别级度量模块可以降低过拟合情况发生的风险。
本发明中将常用的四层卷积神经网络作为嵌入模块。它包含四个卷积块,每个卷积块由一个卷积层,一个批处理规范化层和一个Leaky ReLU层组成。此外,对于前两个卷积块,还分别附加了一个额外的2×2最大池化层。因为每个卷积层中有64个大小为3×3的滤波器,该嵌入网络被称为Conv-64F。对于图像级度量模块,唯一的超参数是参数k。
S4、构造损失函数
构造交叉熵损失和Hinge Loss函数,在保证输出预测分布与真实标签分布保持一致的前提下,实现对特征样本的类内距离缩小与类间距离增大;
针对基于DN4模型中使用交叉熵损失函数忽视了特征空间中样本特征间的距离的问题,提出将Hinge Loss引入,进行结合。实现对特征样本的类内距离缩小与类间距离增大的效果,同时也保证了输出预测分布与真实标签分布依旧保持一致。
当预测正确时候,该损失函数为0,当预测错误时,该损失函数会线性增大。在多分类问题中,Hinge Loss或被称为Multi-Margin Loss,其形式如下:
Figure BDA0002519100590000101
其中,m为最大间隔,p为指数,均为损失函数中可调整的超参数。一般来说,最大间隔与指数均设置为1。Hinge loss可以起到增大类间差异,减小类内差异的作用。HingeLoss依靠缩小类内距离增大类间距离计算损失,从而优化网络,最大间隔距离的设置使类别间的数据保持一定的距离,这种情况对于K-shot学习方法是有意义的。
将交叉熵函数与Hinge Loss按照如下方法进行线性组合:
L(y)=w(t)LC+[1-w(t)]LH
其中,LC表示交叉熵损失函数,LH为Hinge Loss损失函数,w(t)为随着迭代时间的增加,线性增长或者降低的权重函数,其最小值为0,最大值为1。
当w(t)函数为正值的设置时,表示在模型训练初期以Hinge Loss损失函数为主,而后逐渐以交叉熵损失函数为主要损失;当w(t)函数为负值的设置时,表示在模型训练初期以交叉熵损失函数为主,而后逐渐以Hinge Loss损失函数为主要损失。
S5、训练DN4网络
用基于步骤S3的网络结构,通过读取训练集数据得到分类结果,用基于步骤S4的两个损失函数迭代优化整个网络,得到最优模型;
S6、预测分类效果图
将步骤S5中训练好的权重载入到改进后的DN4网络模型中,并依次读取所有测试集数据,预测测试集中图像的分类结果图,对于每一张测试集中的图像数据,训练好的DN4模型将赋予图像中每一个像素点的类别属性,最终实现对全图的地物分类结果;
S7、评估网络性能
通过步骤S6得到预测的分类结果图以后,分别计算测试集上的整体准确度与Kappa系数,通过两个指标来评估此网络在这个数据集上的性能。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合仿真对本发明的技术效果再做说明。
仿真实验条件
本发明仿真实验的硬件平台:
戴尔计算机Intel(R)Core5处理器,主频3.20GHz,内存64GB;
仿真软件平台:
Spyder软件(Python3.6)版。
请参阅图2、图3和图4,本发明在实验中以Flevoland I数据集作为训练集,测试Flevoland II数据集与San Francisco数据集。并且Flevoland I数据集中训练的时候选取其中的十类的样本作为训练数据,剩余的五类作为验证集。为了探究修改后的损失函数的有效性,我们分析了单独使用Hinge Loss的DN4模型(DN4hinge),先用Hinge Loss训练而后逐渐增大交叉熵函数权重的DN4模型(DN4+),先用交叉熵函数训练而后逐渐增大HingeLoss权重的DN4模型(DN4-)。
仿真实验1
本发明与现有技术的在所用数据集上的性能对比。采用本发明与现有技术中的极化SAR图像分类方法,在相同的测试集样本中对各种方法进行精度的评价。评价结果如表1所示,表中的数据为各算法在每个地物类别上的的分类情况及整体准确度与Kappa系数。
表1 Flevoland II数据集每类分类精度、总体精度与Kappa系数
DN4 IM-Co-DT-PP IM-Co-AD-PP DN4_hinge DN4+ DN4-
Urban 71.73 87.68 60.57 44.93 78.32 82.06
Water 90.96 98.38 98.42 99.99 91.27 91.26
Forest 86.72 77.42 96.59 94.60 85.38 83.65
Cropland 76.38 65.24 88.95 59.04 82.29 78.50
OA 83.29 85.91 86.32 74.64 84.31 83.87
Kappa 0.7703 0.8062 0.8122 0.6105 0.7600 0.7514
请参阅图5,在训练初期以交叉熵损失为主而后逐渐增大Hinge Loss函数权重的DN4-模型的分类精度达到83.87%,Kappa系数达到0.7514,略低于DN4+模型的结果。与DN4+模型相比,DN4模型提高了对Urban区域预测的精度,然而Cropland区域有所下降。实验结果的直接事实显示,对交叉熵函数和Hinge Loss损失函数进行线性组合可以有效提高K-shot模型的学习能力。
仿真实验2
此实验中以Flevoland I数据集进行训练,在San Francisco数据集上的测试结果,以及各指标的精度计算,评价结果如表2所示,表中的数据为各算法在每个地物类别上的的分类情况及整体准确度与Kappa系数。
表2 San Francisco数据集每类分类精度、总体精度与Kappa系数
DN4 IM-Co-DT-PP IM-Co-AD-PP DN4_hinge DN4+ DN4-
Water 99.03 99.61 99.58 77.61 99.38 92.87
Vegetation 87.31 91.31 91.88 91.25 87.98 78.74
Low-Density 38.39 89.52 90.12 76.24 40.80 74.01
High-Density 88.49 62.20 60.50 65.31 77.63 80.43
Developed 77.13 90.03 88.41 80.19 93.86 85.73
OA 84.40 86.53 86.10 77.11 86.27 86.29
Kappa 0.7695 0.8060 0.7976 0.6739 0.7944 0.7974
表2中在San Francisco上的结果与Flevoland II数据集合上的表现保持一致,DN4 hinge的结果有着很明显的下降。而DN4+与DN4-模型的精度均提升了2%左右。且DN4+模型的效果略优于DN4-。
请参阅图6,改进的DN4模型的结果于先进的极化SAR地物分类模型相比更加接近,甚至DN4+和DN4-超过了IM-Co-AD-PP模型的精度。这是因为San Francisco数据集与Flevoland I数据集的波段相同,分辨率相似。数据的散射特性更为接近,因此使用Flevoland I数据集合训练的DN4模型在San Francisco数据集合上的表现会更好,表现为整体的分类精度更高,改进方法的提升也更加明显。从每类的分类精度上发现,DN4+模型对于Low-Density与High-Density之间的差距相比原始的DN4模型有所缩小,但两类的整体精度均有所下降。DN4-模型缩小的幅度更大,但两类别整体分类情况提高,分别达到了74.01%与80.43%。结果显示,DN4-模型对相似度较高的类别的区分能力是优于DN4+模型的。再一次证明了损失函数改进的有效性。
综上所述,本发明一种基于K-shot学习的极化SAR地物分类方法,不仅在性能上优于其他方法,而且在训练效率上也优于其他方法,能够实现快速解译,有效克服了现有技术中面对新的数据集不能够进行快速解译的问题,并通过改进后的损失函数解决了之前对特征空间中样本特征间的距离问题的忽视,极大的提高了网络的性能,同时提升了网络的训练效率,增强了网络的鲁棒性。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于K-shot学习的极化SAR地物分类方法,其特征在于,包括以下步骤:
S1、准备数据集,以Flevoland I数据集作为训练集进行训练,以Flevoland II和SanFrancisco数据集作为测试集进行测试;
S2、对极化SAR数据进行精致Lee滤波处理,对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,逐像素有重叠地进行切块操作;
S3、搭建包括深度嵌入模块Ψ和图像级度量模块Φ的DN4网络,深度嵌入模块Ψ用以学习询问集合和支撑集合的图像的特征表示,包含四个卷积块,每个卷积块由一个卷积层,一个批处理规范化层和一个Leaky ReLU层组成,前两个卷积块分别附加一个额外的2×2最大池化层,具体为:
Ψ(X)=[x1,...,xm]∈Rd×m
其中,Xi是第i个深度局部描述子;
图像级度量模块Φ使用来自某一类中所有的训练图像的深度局部描述子来构造用于该类别的局部描述子空间,具体为:
Figure FDA0004041968660000011
其中,k为超参数,m为局部描述子的集合个数,xi为描述子,
Figure FDA0004041968660000012
为描述子在第c类中第k以内近邻的描述子,c为类别,q为询问集合图片;
S4、构造交叉熵损失和Hinge Loss损失函数,实现对特征样本的类内距离缩小与类间距离增大,将交叉熵函数与Hinge Loss进行线性组合,当w(t)函数为正值的设置时,表示在模型训练初期以Hinge Loss损失函数为主,而后逐渐以交叉熵损失函数为主要损失;当w(t)函数为负值的设置时,表示在模型训练初期以交叉熵损失函数为主,而后逐渐以HingeLoss损失函数为主要损失,交叉熵函数与Hinge Loss进行线性组合具体为:
L(y)=w(t)LC+[1-w(t)]LH
其中,LC表示交叉熵损失函数,LH为Hinge Loss损失函数,w(t)为随着迭代时间的增加,线性增长或者降低的权重函数,最小值为0,最大值为1;Hinge Loss损失函数为:
Figure FDA0004041968660000021
其中,m为最大间隔,p为指数,N为样本总数,
Figure FDA0004041968660000022
为任意样本,xi为另一个不同的任意样本;
S5、采用基于步骤S3的网络结构得到分类结果,采用基于步骤S4的两个损失函数迭代优化整个网络,得到最优模型;
S6、将步骤S5中训练好的最优模型权重参数载入到基于步骤S3构造的DN4网络模型中,并依次读取所有测试集数据,预测测试集中图像的分类结果图,实现对全图的地物分类。
2.根据权利要求1所述的基于K-shot学习的极化SAR地物分类方法,其特征在于,步骤S1中,测试集中的样本共有C类,每类K个样本,训练集中样本类别为M,M>K,每类样本个数为D,D>C,选取stembeans,rapessed,bare soil,potatoes,beet,wheat2,peas,wheat3,lucerne,barley的样本作为训练数据,剩余的五类即wheat,grasses,forest,water,buildings划分为验证集合。
3.根据权利要求1所述的基于K-shot学习的极化SAR地物分类方法,其特征在于,步骤S2中,对经过Lee滤波的9维特征向量,即滤波后的T矩阵复制边界进行填充,而后逐像素有重叠地,以15×15的窗口大小进行切块,得到若干个尺寸为15×15×9的图像块。
4.根据权利要求3所述的基于K-shot学习的极化SAR地物分类方法,其特征在于,T矩阵为:
Figure FDA0004041968660000023
其中,T表示极化相干矩阵,H表示水平方向极化,V表示垂直方向极化,SHH表示雷达水平发射水平接收的散射分量,SVV表示雷达垂直发射垂直接收的散射分量,SHV表示雷达水平发射垂直接收的散射分量,<·>表示按极化视数取平均值,|·|2表示取模的平方操作,(·)*表示复数的共轭操作。
5.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。
CN202010485730.0A 2020-06-01 2020-06-01 一种基于K-shot学习的极化SAR地物分类方法 Active CN111695468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010485730.0A CN111695468B (zh) 2020-06-01 2020-06-01 一种基于K-shot学习的极化SAR地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010485730.0A CN111695468B (zh) 2020-06-01 2020-06-01 一种基于K-shot学习的极化SAR地物分类方法

Publications (2)

Publication Number Publication Date
CN111695468A CN111695468A (zh) 2020-09-22
CN111695468B true CN111695468B (zh) 2023-04-18

Family

ID=72479146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010485730.0A Active CN111695468B (zh) 2020-06-01 2020-06-01 一种基于K-shot学习的极化SAR地物分类方法

Country Status (1)

Country Link
CN (1) CN111695468B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733965B (zh) * 2021-02-03 2023-04-07 西安理工大学 一种基于小样本学习的无标签图像分类方法
CN112949740B (zh) * 2021-03-17 2022-11-25 重庆邮电大学 一种基于多级度量的小样本图像分类方法
CN114724030B (zh) * 2022-04-06 2023-06-02 西安电子科技大学 基于对比学习的极化sar地物分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194336A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 基于半监督深度距离度量网络的极化sar图像分类方法
CN108133173A (zh) * 2017-11-24 2018-06-08 西安电子科技大学 基于半监督梯形网络的极化sar图像分类方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717354B (zh) * 2018-07-11 2023-05-12 哈尔滨工业大学 基于半监督k-svd与多尺度稀疏表示的超像元分类方法
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统
CA3061717A1 (en) * 2018-11-16 2020-05-16 Royal Bank Of Canada System and method for a convolutional neural network for multi-label classification with partial annotations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194336A (zh) * 2017-05-11 2017-09-22 西安电子科技大学 基于半监督深度距离度量网络的极化sar图像分类方法
CN108133173A (zh) * 2017-11-24 2018-06-08 西安电子科技大学 基于半监督梯形网络的极化sar图像分类方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵泉华 ; 谢凯浪 ; 王光辉 ; 李玉 ; .全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类.测绘学报.2020,(01),全文. *
黄旭 ; 凌志刚 ; 李绣心 ; .融合判别式深度特征学习的图像识别算法.中国图象图形学报.2018,(04),全文. *

Also Published As

Publication number Publication date
CN111695468A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111695468B (zh) 一种基于K-shot学习的极化SAR地物分类方法
Zhou et al. Polarimetric SAR image classification using deep convolutional neural networks
CN103020978B (zh) 结合多阈值分割与模糊聚类的sar图像变化检测方法
CN103440505B (zh) 空间邻域信息加权的高光谱遥感图像分类方法
CN102938072B (zh) 一种基于分块低秩张量分析的高光谱图像降维和分类方法
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
Wang et al. SSRNet: In-field counting wheat ears using multi-stage convolutional neural network
Cai et al. Efficient graph convolutional self-representation for band selection of hyperspectral image
CN103366184B (zh) 基于混合分类器的极化sar数据分类方法及系统
CN110309780A (zh) 基于bfd-iga-svm模型的高分辨率影像房屋信息快速监督识别
CN104732244A (zh) 基于小波变换、多策略pso和svm集成的遥感图像分类方法
CN104252625A (zh) 样本自适应多特征加权的遥感图像分类方法
CN103839073A (zh) 一种基于极化特征和近邻传播聚类的极化sar图像分类方法
CN104820841A (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN105760900A (zh) 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN109446894A (zh) 基于概率分割及高斯混合聚类的多光谱图像变化检测方法
Wang et al. The PAN and MS image fusion algorithm based on adaptive guided filtering and gradient information regulation
CN114037891A (zh) 基于u型注意力控制网络的高分辨率遥感影像建筑物提取方法及装置
CN112270285B (zh) 一种基于稀疏表示和胶囊网络的sar图像变化检测方法
CN113191996A (zh) 一种遥感影像变化检测方法、装置及其电子设备
Chen et al. Regional classification of urban land use based on fuzzy rough set in remote sensing images
CN116681927A (zh) 结合深度学习模型和传统分类器的用于PolSAR数据的分类方法及系统
Li et al. Standardized object-based dual CNNs for very high-resolution remote sensing image classification and standardization combination effect analysis
CN112419266B (zh) 一种地表覆盖类别约束的遥感影像变化检测方法
Zhan et al. Robust regression-based Markov random field for hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant