CN110096994A - 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 - Google Patents

一种基于模糊标签语义先验的小样本PolSAR图像分类方法 Download PDF

Info

Publication number
CN110096994A
CN110096994A CN201910349436.4A CN201910349436A CN110096994A CN 110096994 A CN110096994 A CN 110096994A CN 201910349436 A CN201910349436 A CN 201910349436A CN 110096994 A CN110096994 A CN 110096994A
Authority
CN
China
Prior art keywords
matrix
classification
fcn
sample
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910349436.4A
Other languages
English (en)
Other versions
CN110096994B (zh
Inventor
侯彪
焦李成
关娇娇
吴倩
马文萍
白静
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910349436.4A priority Critical patent/CN110096994B/zh
Publication of CN110096994A publication Critical patent/CN110096994A/zh
Application granted granted Critical
Publication of CN110096994B publication Critical patent/CN110096994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Abstract

本发明公开了一种基于模糊标签语义先验的小样本PolSAR图像分类方法,准备待分类的PolSAR图像;然后得到实数化的极化特征作为网络的输入数据;获得记录训练样本位置的采样矩阵和记录相应位置处像素标签信息的采样标签矩阵;利用采样标签矩阵初始化分类搭建全卷积网络FCN;再将实数化的输入数据、采样矩阵、采样标签矩阵和分类矩阵送入搭建好的全卷积网络FCN中进行训练;利用FCN的预测结果、采样矩阵、采样标签矩阵和分类矩阵的当前状态更新分类矩阵;重复操作直至满足最大迭代次数;输出最后的分类矩阵;计算分类准确率和分类结果图完成图像分类。本发明对深度全卷积网络参数和标签类别变量进行交替迭代训练,解决了小样本问题下PolSAR分类精度不高的问题。

Description

一种基于模糊标签语义先验的小样本PolSAR图像分类方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于模糊标签语义先验的小样本PolSAR图像分类方法,可用于PolSAR遥感影像的地物分类或目标识别。
背景技术
极化合成孔径雷达PolSAR是一种主动式对地观测系统,通过测量和记录不同极化状态的发射波和回波的间幅度和相位差信息,能够对目标进行全极化测量成像。相比于传统光学、红外等被动式成像系统,具有全天时、全天候的工作能力,不受烟雾、云雨、观测距离等条件的限制,并具有一定的穿透能力。因此,PolSAR系统广泛应用于灾害监测,海洋监测,农作物监测和军事目标检测等方面。
PolSAR图像分类是PolSAR图像解译的关键技术。PolSAR分类就是将PolSAR图像中的每一个像素划分到某些特定的类别。在过去的几十年中,人们提出了许多针对于PolSAR的算法。常见的方法有基于极化统计规律的无监督分类方法和基于SVM、Whisart等的监督分类方法。基于无监督学习的PolSAR分类算法虽然简单、快速,但是分类结果往往不太准确,一般只用于PolSAR图像的初级分析。而SVM、Wishart等基于像素点的分类方法,没有考虑到图像区域内像素与像素之间的联系。
深度学习在自然图像领域中取得压倒性优势后,深度学习也被引入到了遥感图像领域中。但是深度学习的高性能是以大量标注的样本为代价的。如果减少标注样本的数量,那么深度学习的分类准确率就会大大减小。但是由于PolSAR成像机理的复杂性,因此PolSAR图像并不像自然图像那么直观,往往需要专家进行标注任务,成本代价高。因此标注的PolSAR样本资源非常稀缺。如何利用少量标注的样准确地对PolSAR图像进行分类,已经成为PolSAR图像自动解译中的研究关键。
现有基于深度卷积网络、极化特征驱动的PolSAR图像分类方法,将目标散射机制和挖掘到的极化特征融合来帮助深度CNN分类器训练,从而实现改善分类性能的目的。相比与之前的深度学习方法,当训练样本比例为1%时分类准确率大体上令人满意,但是该方法本质上还只是一个简单的基于监督学习的CNN分类问题,并没有从根本上解决当训练的标注样本过少是如何对深度网络进行充分的训练。因此当图像中某一类目标的像素个数很小时,该类别的分类准确率并不高。另外,该方法对原始PolSAR数据进行极化特征提取,将提取的极化特征作为网络的输入而非原始数据,违背了现在的主流学习模式“端到端”的方式。
现有基于图的半监督PolSAR图像分类,将图像建模成一个无向图,在一个交替迭代过程中分别进行基于CNN的极化特征学习和基于图的标签传播子过程。该方法在进行基于图的标签传播子过程中使用的是CNN确定的标签类别,而非模糊的标签。但是PolSAR由于成像分辨率的限制,因此一个像元中包含很多类别的信息,使用确定的标签类别会丢失很多信息。另外,正如该论文中所指出,该方法的分类效果严重依赖于标签矩阵的初始状态,标签矩阵的不同初始状态会导致该方法的性能差异很大。最后一个问题,该方法更新标签矩阵Y的过程是基于图的标签传播是一个NP难问题,无法得到精确解,只能利用图切法或者置信传播法得到近似解。
现有基于生成对抗网络的PolSAR分类方法,通过生成对抗网络产生与真实样本足够接近的虚假样本来扩充训练样本集。该方法在一定程度上解决了标注的训练样本缺少的问题,但是现如今是遥感大数据时代,训练过程的标注样本虽然少,但是训练过程中未标注的样本是海量的。扩充训练样本集,增添了计算量。另外,扩充样本的个数没有一个确定的标准,具体扩充多少样本合适仍是一个问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于模糊标签语义先验的小样本PolSAR图像分类方法,将基于深度全卷积的分类网络和语义标签先验进行联合学习,通过对神经网络和分类矩阵进行交替迭代训练,解决了小样本问题下PolSAR分类精度不高的问题。
本发明采用以下技术方案:
一种基于模糊标签语义先验的小样本PolSAR图像分类方法,准备待分类的PolSAR图像;然后对该PolSAR图像的复数相干矩阵取模,得到实数化的极化特征作为网络的输入数据;再从每一个目标类别中随机选取带有标签信息的训练样本,获得记录训练样本位置的采样矩阵和记录相应位置处像素标签信息的采样标签矩阵;然后利用采样标签矩阵初始化分类;搭建全卷积网络FCN;再将实数化的输入数据、采样矩阵、采样标签矩阵和分类矩阵送入搭建好的全卷积网络FCN中进行训练;根据最优参数输出训练后的FCN预测结果,每个元素代表该像素划分为每个类别的概率;然后利用FCN的预测结果、采样矩阵、采样标签矩阵和分类矩阵的当前状态更新分类矩阵;重复以上训练FCN操作至更新分类矩阵操作直至满足最大迭代次数;输出最后的分类矩阵;计算分类准确率和分类结果图完成图像分类。
具体的,根据PolSAR图像的相干矩阵得到实数化的网络输入数据的具体步骤如下:
S201、将待分类PolSAR图像中的每个像素用3x3的相干矩阵T如下:
S202、根据POLSAR数据的相干矩阵T,提取对应元素的极化特征向量x如下:
x=(|T1,1|,|T1,2|,|T1,3|,|T2,1|,|T2,2|,|T2,3|,|T3,1|,|T3,2|,|T3,3|)
S203、所有像素的极化特征向量x按照像素在图像中的空间位置,组成数据X∈RM *N*9,M为图像的行数,N为图像的列数。
具体的,获得记录训练样本位置的采样矩阵和记录训练样本标签的采样标签矩阵具体如下:
S301、从待分类PolSAR图像中每一个目标类别中随机选取该类0.01的样本作为有标签的训练样本,得到记录相应位置处样本标签信息的采样标签矩阵
S302、找出所有被选为有标签训练样本的像素的位置,并用一个采样矩阵A来记录,如果图像中第i行、第j列的像素被选为训练的标注样本,那么Ai,j是一个元素全为1的向量;反之,Ai,j是一个零向量。
进一步的,步骤S301中,采样标签矩阵计算如下:
其中,M是图像的行数,N是图像的列数,C是图像类别数;是采样标签矩阵中第i行、第j列的元素,如果第i行、第j列的像素没有被选为标注的训练样本,那么就是一个零向量;反之,就是一个One-Hot向量。
进一步的,步骤S302中,采样矩阵A计算如下:
A∈RM*N*C
其中,M是图像的行数,N是图像的列数,C是类别数,Ai,j∈RC是A中第i行、第j列的元素。
具体的,搭建FCN网络的具体步骤如下:
S501、搭建第1个卷积层,卷积核的个数设置为30,卷积核大小为7*7;
S502、搭建第2个卷积层,卷积核的个数设置为50,卷积核大小为5*5;
S503、搭建第3个卷积层,卷积核的个数设置为待分类PolSAR图像的类别数,卷积核大小为5*5,激活函数为线性函数;
S504、softmax层作为FCN的输出层。
具体的,训练FCN网络具体为:
利用输入数据X、采样矩阵A、采样标签矩阵和分类矩阵Y,最小化全卷积网络的损失函数,利用梯度下降法多次迭代优化深度卷积网络的损失函数,计算最优网络参数W*,在最优参数W*下得到全卷积网络关于输入图像的输出YFCN
进一步的,最小化全卷积网络的损失函数如下:
其中,⊙代表逐元素点乘,α>0、β>0是超参数,W是深度卷积网络的参数,YFCN∈RM *N*C是全卷积网络的输出,是YFCN第i行第j列的元素,是YFCN在一维索引下的第i个元素,Y∈RM*N*C是分类矩阵,Yj∈RC是Y在一维索引下的第j个元素,Nei(i)代表第i个像素的8邻域,损失函数中的第一项为训练FCN网络提供监督信息,损失函数第二项MRF项利用区域一致性先验,约束FCN的网络输出YFCN与当前状态的分类矩阵Y区域一致平滑,损失函数的第三项Laplace(YFCN)计算FCN的网络输出YFCN的锐度,用于维持FCN网络输出YFCN的边缘信息。
具体的,更新分类矩阵的步骤如下:
S801、利用采样矩阵A、采样标签矩阵分类矩阵Y和全卷积网络的输出YFCN,最小化目标函数得到最优的Y*;
S802、然后用步骤S801中得到的最优Y*更新分类矩阵Y。
进一步的,步骤S801中,最小化的目标函数如下:
其中,Yi,j∈RC是分类矩阵Y第i行第j列的元素,目标函数中第一项为更新分类矩阵Y提供监督信息,目标函数中第二项区域一致性先验约束分类矩阵Y与上一阶段训练好的FCN网络的输出YFCN保持区域平滑一致,Laplace(Y)计算分类矩阵Y的锐度,用于维持分类结果的边缘信息,||A⊙Y-A⊙YFCN||将上一阶段训练好的FCN的输出耦合进分类矩阵的更新过程中,作为更新分类矩阵过程中新的约束信息;令上述目标函数对Y的导函数等于零,得到最优Y*如下:
其中,α、β、γ是超参数;YNN8的每个元素定义如下:
DV(Y)中的每个元素vi,j定义如下:
其中,
M是图像行数,N是图像列数。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于模糊标签语义先验的小样本PolSAR图像分类方法,利用模糊标签语义先验实现小样本PolSAR的分类。在遥感大数据的背景下,使用模糊标签语义作为先验知识,避免了现有的针对于小样本问题通过扩充样本集来增添监督信息方法所带来的计算量增加的问题;利用深度网络的自适应特征学习能力,避免了人工挑选和调整特征的过程,实现了小样本问题的“端到端”学习方式;将MRF区域平滑与Laplace锐度先验结合起来,不仅考虑到区域平滑,也考虑到区域过度平滑会导致图像细节信息丢失的问题。利用Laplace锐度先验对MRF区域平滑进行约束,一定程度上保持了图像区域内的一致性和类别边界的清晰性和完整性。
进一步的,在训练FCN的代价函数和更新标签矩阵的目标函数中,标签矩阵与采样矩阵逐元素点乘为训练FCN和更新分类矩阵过程提供监督约束信息。
进一步的,网络结构选用FCN而非传统的CNN,可以将整张图输入网络并输出相同大小的测试结果,克服了现有技术中通常采用像素块作为训练样本时重复存储和计算卷积的问题,使得本发明中网络的训练速度更快且达到端到端的分类效果。
进一步的,在交替迭代训练FCN和更新分类矩阵的过程中,训练FCN时分类矩阵为训练网络提供约束信息,而训练好的FCN网络为更新分类矩阵提供新的约束信息,随着迭代次数的增加,网络捕获数据分布的能力越来越强,为更新分类矩阵提供的信息也就越来越准确,分类矩阵更新的结果也就越来越准确。反过来,更新的分类矩阵进一步帮助FCN的训练。
进一步的,本发明针对分类矩阵更新的子问题,提出了一个可导的目标函数,可以通过一步就得到闭式解,无需通过复杂的优化过程得到近似解,大大减小了算法的计算复杂性。
综上所述,本发明通过全卷积网络对PolSAR图像进行空间特征学习、抑制相干斑噪声和多视噪声,利用MRF和Laplace对分类结果分别进行区域平滑约束和图像边缘保持约束,同时MRF和Laplace缓解了FCN的过拟合现象,通过对神经网络和分类矩阵进行交替迭代训练,解决了小样本问题下PolSAR分类精度不高的问题。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程示意图;
图2为本发明中构建的深度卷积网络结构图;
图3为本发明仿真使用的PolSAR图,其中,(a)为PolSAR图像对应的Pauli图,(b)为PolSAR图像对应的真实地物标记图,(c)为不同颜色代表不同的地物类别;
图4为本发明的实验结果对比图,其中,(a)为本发明方法进行分类预测,(b)为使用监督SVM方法进行分类预测,(c)为使用Wishart方法进行分类预测。
具体实施方式
本发明提供了一种基于模糊标签语义先验的小样本PolSAR图像分类方法,准备待分类的PolSAR图像;对相干矩阵T取模,得到实数化的网络输入数据X;再从数据X中选取带有标签信息的训练样本,每个类别的采样比例为百分之一,获得记录带有标签信息训练样本位置信息的采样矩阵A和记录相应位置处像素标签信息的采样标签矩阵然后利用采样标签矩阵初始化分类矩阵Y;搭建全卷积网络FCN;再将数据集X送入到搭建好的FCN中,利用采样的监督信息和分类矩阵Y对FCN进行训练;输出训练后的FCN预测结果YFCN,每个元素代表该像素划分为每个类别的概率;然后利用FCN的预测结果YFCN、采样矩阵A、采样标签矩阵和分类矩阵Y的当前状态更新分类矩阵Y;重复直至满足最大迭代次数;最后输出最后的分类矩阵Y;计算分类准确率和分类结果图,本发明基于深度卷积分类网络和语义先验联合学习的统一框架,解决了小样本情况下PolSAR图像的分类任务,可用于PolSAR图像的目标分类、检测和识别。
请参阅图1,本发明一种基于模糊标签语义先验的小样本PolSAR图像分类方法,包括以下步骤:
S1、准备待分类的PolSAR图像;
S2、从待分类PolSAR图像的复数相干矩阵获得实数化的特征向量组成输入数据;
S201、将待分类PolSAR图像中的每个像素用3x3的相干矩阵T表示如下:
S202、根据PolSAR数据的相干矩阵T,提取对应元素的极化特征向量x如下:
x=(|T1,1|,|T1,2|,|T1,3|,|T2,1|,|T2,2|,|T2,3|,|T3,1|,|T3,2|,|T3,3|)
S203、所有像素的极化特征向量x按照像素在图像中的空间位置,组成数据X∈RM *N*9,M是图像的行数,N是图像的列数。
S3、获取记录带有标签信息的训练样本位置采样矩阵A和记录训练相应样本标签的采样标签矩阵;
S301、从待分类PolSAR图像中每一类别中随机选取该类0.01的样本作为标注的训练样本,组成获取记录相应位置像素标签信息的采样标签矩阵如下:
其中,M是行数,N是列数,C是图像类别数。
是采样标签矩阵中第i行、第j列的元素,如果第i行、第j列的像素没有被选为标注的训练样本,那么就是一个零向量。反之,就是一个One-Hot向量;
S302、根据采样像素的位置得到采样矩阵A;
找出所有被选为标注样本的像素的位置,并用一个采样矩阵A来记录。A∈RM*N*C,M是图像的行数,N是图像的列数,C是类别数。
Ai,j∈RC是A中第i行、第j列的元素。
如果图像中第i行、第j列的像素被选为训练的标注样本,那么Ai,j是一个元素全为1的向量;反之,Ai,j是一个零向量。
S4、用采样标签矩阵初始化分类矩阵Y;
S5、搭建FCN网络;
请参阅图2,具体步骤如下:
S501、搭建第1个卷积层,卷积核的个数设置为30,卷积核大小为7*7;
S502、搭建第2个卷积层,卷积核的个数设置为50,卷积核大小为5*5;
S503、搭建第3个卷积层,卷积核的个数设置为待分类PolSAR图像的类别数,卷积核大小为5*5,激活函数为线性函数;
S504、softmax层作为FCN的输出层。
S6、训练FCN网络;
实现该步骤的具体过程如下:
利用输入数据X、采样矩阵A、采样标签矩阵和分类矩阵Y,最小化如下的全卷积网络的损失函数:
其中,
⊙代表逐元素点乘,α>0、β>0是超参数,W是深度卷积网络的参数,YFCN∈RM*N*C是全卷积网络的输出,是YFCN第i行第j列的元素,是YFCN在一维索引下的第i个元素,Y∈RM*N*C是分类矩阵,Yj∈RC是Y在一维索引下的第j个元素,Nei(i)代表第i个像素的8邻域。损失函数中的第一项为训练FCN网络提供监督信息,损失函数第二项MRF项约束FCN的网络输出YFCN与当前状态的分类矩阵Y区域一致平滑,损失函数的第三项Laplace(YFCN)计算FCN的网络输出YFCN的锐度,用于维持FCN网络输出YFCN的边缘信息;利用梯度下降法多次迭代优化深度卷积网络的损失函数,求得最优网络参数W*
S7、在步骤S6得到的最优参数W*下得到深度卷积网络关于输入图像的输出YFCN
S8、更新分类矩阵Y;
S801、利用采样矩阵A、采样标签矩阵分类矩阵Y和步骤S7得到的YFCN,最小化如下的损失函数:
其中,
Yi,j∈RC是分类矩阵Y第i行第j列的元素,目标函数中第一项为更新分类矩阵Y提供监督信息,目标函数中第二项约束分类矩阵Y与上一阶段训练好的FCN网络的输出YFCN保持区域平滑一致,Laplace(Y)计算分类矩阵Y的锐度,用于维持分类结果的边缘信息,||A⊙Y-A⊙YFCN||将上一阶段训练好的FCN的输出耦合进分类矩阵的更新过程中,作为更新分类矩阵过程中新的约束信息;令上述目标函数对Y的导函数等于零,得到最优Y*如下:
其中,α、β、γ是超参数;YNN8的每个元素定义如下:
DV(Y)中的每个元素vi,j定义如下:
其中,
;M是行数,N是列数。
S802、然后用步骤S801中得到的最优Y*更新分类矩阵Y。
S9、重复步骤S6至步骤S8,直至满足迭代终止条件,输出分类矩阵Y,计算分类准确率和分类结果图。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
仿真条件
本实验的仿真代码是在Python和深度学习框架Tensorflow基础上实现的。
请参阅图3,待分类PolSAR图像是一幅Flevoland地区的农田图像。该幅农田图的待分类地物类别包括水,大麦,豌豆,兰花,甜菜,森林,裸土,草,油菜籽,苜蓿,小麦1,小麦2,建筑,马铃薯和小麦3。图3(a)是该PolSAR图像对应的Pauli图。图3(b)为该PolSAR图像对应的真实地物标记图,图3(b)不同颜色代表不同的地物类别。
仿真内容
仿真实验1,根据图3(b),从每个类别的像素中随机选取1%的标记样本作为训练标注数据,使用本发明方法进行分类预测,结果如图4(a),分类准确率见下表。
仿真实验2,从每个类别的像素中随机选取5%的标记样本作为训练标注数据,使用监督SVM方法进行分类预测,其分类结果如图4(b)所示,分类准确率见下表。
仿真实验3,从每个类别的像素中随机选取1%的标记样本作为训练标注数据,使用Wishart方法进行分类预测,其分类结果如图4(c)所示。
仿真实验4,从每个类别的像素中随机选取1%的标记样本作为训练标注数据,使用基于图方法进行分类预测,其分类准确率如下表所示。
仿真实验5,从每个类别的像素中随机选取1%的标记样本作为训练标注数据,使用基于卷积神经网络、极化特征驱动的方法进行分类预测,其分类准确率下表所示。
仿真结果分析
将分类结果图3(a)与图3(b)、图3(c)相比,可以看出本发明的分类结果有较好的主观视觉效果,区域一致性高、分类效果好。
从上表可以看出,本发明实验在总体分类准确率上与Wishart和监督SVM方法相比有明显的优势,分类准确率得到很大的提升。与1%标注比例的KWGranphCNN和SFCNN相比,KWGranphCNN和SFCNN中分类准确率在86%以下的类别,本方法的分类准确率到90%以上。
由以上的仿真实验可以说明,针对极化SAR图像的分类,本发明在深度全卷积分类网络和模糊标签语义先验联合学习的框架下,克服了现有针对于小样本PolSAR分类技术复杂的人工挑选特征过程和扩充样本集带来的计算量增加的问题,在百分之一的标注比例下获得了较高的分类准确率。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,准备待分类的PolSAR图像;然后对该PolSAR图像的复数相干矩阵取模,得到实数化的极化特征作为网络的输入数据;再从每一个目标类别中随机选取带有标签信息的训练样本,获得记录训练样本位置的采样矩阵和记录相应位置处像素标签信息的采样标签矩阵;然后利用采样标签矩阵初始化分类矩阵;搭建全卷积网络FCN;再将实数化的输入数据、采样矩阵、采样标签矩阵和分类矩阵送入搭建好的全卷积网络FCN中进行训练;根据最优参数输出训练后的FCN预测结果,每个元素代表该像素划分为每个类别的概率;然后利用FCN的预测结果、采样矩阵、采样标签矩阵和分类矩阵的当前状态更新分类矩阵;重复以上训练FCN操作至更新分类矩阵操作直至满足最大迭代次数;输出最后的分类矩阵;计算分类准确率和分类结果图完成图像分类。
2.根据权利要求1所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,根据PolSAR图像的相干矩阵得到实数化的网络输入数据的具体步骤如下:
S201、将待分类PolSAR图像中的每个像素用3x3的相干矩阵T如下:
S202、根据PolSAR数据的相干矩阵T,提取对应元素的极化特征向量x如下:
x=(|T1,1|,|T1,2|,|T1,3|,|T2,1|,|T2,2|,|T2,3|,|T3,1|,|T3,2|,|T3,3|);
S203、所有像素的极化特征向量x按照像素在图像中的空间位置,组成数据X∈RM*N*9,M为图像的行数,N为图像的列数。
3.根据权利要求1所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,获得记录训练样本位置的采样矩阵和记录训练样本标签的采样标签矩阵具体如下:
S301、从待分类PolSAR图像中每一个目标类别中随机选取该类0.01的样本作为有标签的训练样本,得到记录相应位置处样本标签信息的采样标签矩阵
S302、找出所有被选为有标签训练样本的像素的位置,并用一个采样矩阵A来记录,如果图像中第i行、第j列的像素被选为训练的标注样本,那么Ai,j是一个元素全为1的向量;反之,Ai,j是一个零向量。
4.根据权利要求3所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,步骤S301中,采样标签矩阵计算如下:
其中,M是图像的行数,N是图像的列数,C是图像类别数;是采样标签矩阵中第i行、第j列的元素,如果第i行、第j列的像素没有被选为标注的训练样本,那么就是一个零向量;反之,就是一个One-Hot向量。
5.根据权利要求3所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,步骤S302中,采样矩阵A计算如下:
A∈RM*N*C
其中,M是图像的行数,N是图像的列数,C是类别数,Ai,j∈RC是A中第i行、第j列的元素。
6.根据权利要求1所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,搭建FCN网络的具体步骤如下:
S501、搭建第1个卷积层,卷积核的个数设置为30,卷积核大小为7*7;
S502、搭建第2个卷积层,卷积核的个数设置为50,卷积核大小为5*5;
S503、搭建第3个卷积层,卷积核的个数设置为待分类PolSAR图像的类别数,卷积核大小为5*5,激活函数为线性函数;
S504、softmax层作为FCN的输出层。
7.根据权利要求1所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,训练FCN网络具体为:
利用输入数据X、采样矩阵A、采样标签矩阵和分类矩阵Y,最小化全卷积网络的损失函数,利用梯度下降法多次迭代优化深度卷积网络的损失函数,计算最优网络参数W*,在最优参数W*下得到全卷积网络关于输入图像的输出YFCN
8.根据权利要求7所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,最小化全卷积网络的损失函数如下:
其中,⊙代表逐元素点乘,α>0、β>0是超参数,W是深度卷积网络的参数,YFCN∈RM*N*C是全卷积网络的输出,是YFCN第i行第j列的元素,是YFCN在一维索引下的第i个元素,Y∈RM*N*C是分类矩阵,Yj∈RC是Y在一维索引下的第j个元素,Nei(i)代表第i个像素的8邻域,损失函数中的第一项为训练FCN网络提供监督信息,损失函数第二项MRF项利用区域一致性先验,约束FCN的网络输出YFCN与当前状态的分类矩阵Y区域一致平滑,损失函数的第三项Laplace(YFCN)计算FCN的网络输出YFCN的锐度,用于维持FCN网络输出YFCN的边缘信息。
9.根据权利要求1所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,更新分类矩阵的步骤如下:
S801、利用采样矩阵A、采样标签矩阵分类矩阵Y和全卷积网络的输出YFCN,最小化目标函数得到最优的Y*
S802、然后用步骤S801中得到的最优Y*更新分类矩阵Y。
10.根据权利要求9所述的基于模糊标签语义先验的小样本PolSAR图像分类方法,其特征在于,步骤S801中,最小化的目标函数如下:
其中,Yi,j∈RC是分类矩阵Y第i行第j列的元素,目标函数中第一项为更新分类矩阵Y提供监督信息,目标函数中第二项区域一致性先验约束分类矩阵Y与上一阶段训练好的FCN网络的输出YFCN保持区域平滑一致,Laplace(Y)计算分类矩阵Y的锐度,用于维持分类结果的边缘信息,||A⊙Y-A⊙YFCN||将上一阶段训练好的FCN的输出耦合进分类矩阵的更新过程中,作为更新分类矩阵过程中新的约束信息;令上述目标函数对Y的导函数等于零,得到最优Y*如下:
其中,α、β、γ是超参数;YNN8的每个元素定义如下:
DV(Y)中的每个元素vi,j定义如下:
其中,
M是图像行数,N是图像列数。
CN201910349436.4A 2019-04-28 2019-04-28 一种基于模糊标签语义先验的小样本PolSAR图像分类方法 Active CN110096994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910349436.4A CN110096994B (zh) 2019-04-28 2019-04-28 一种基于模糊标签语义先验的小样本PolSAR图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910349436.4A CN110096994B (zh) 2019-04-28 2019-04-28 一种基于模糊标签语义先验的小样本PolSAR图像分类方法

Publications (2)

Publication Number Publication Date
CN110096994A true CN110096994A (zh) 2019-08-06
CN110096994B CN110096994B (zh) 2021-07-23

Family

ID=67446089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910349436.4A Active CN110096994B (zh) 2019-04-28 2019-04-28 一种基于模糊标签语义先验的小样本PolSAR图像分类方法

Country Status (1)

Country Link
CN (1) CN110096994B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647804A (zh) * 2019-08-09 2020-01-03 中国传媒大学 一种暴力视频识别方法、计算机系统和存储介质
CN110942091A (zh) * 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN112712050A (zh) * 2021-01-12 2021-04-27 西安电子科技大学 基于ds证据融合的极化sar图像语义变化检测方法
CN112801153A (zh) * 2021-01-19 2021-05-14 南京邮电大学 一种嵌入lbp特征的图的半监督图像分类方法及系统
CN112926397A (zh) * 2021-01-28 2021-06-08 中国石油大学(华东) 基于两轮投票策略集成学习的sar图像海冰类型分类方法
CN113420817A (zh) * 2021-06-25 2021-09-21 西安电子科技大学 基于网络结构特征归纳的半监督调制类型识别方法、装置及介质
CN113627480A (zh) * 2021-07-09 2021-11-09 武汉大学 一种基于强化学习的极化sar影像分类方法
CN113987236A (zh) * 2021-12-24 2022-01-28 中科视语(北京)科技有限公司 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN114612717A (zh) * 2022-03-09 2022-06-10 四川大学华西医院 Ai模型训练标签生成方法、训练方法、使用方法及设备
CN114898159A (zh) * 2022-06-01 2022-08-12 西北工业大学 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120213440A1 (en) * 2010-11-22 2012-08-23 University Of Central Florida Research Foundation, Inc. Systems and Methods for Automatically Identifying Shadows in Images
CN107239797A (zh) * 2017-05-23 2017-10-10 西安电子科技大学 基于全卷积神经网络的极化sar地物分类方法
CN107368852A (zh) * 2017-07-13 2017-11-21 西安电子科技大学 一种基于非下采样轮廓波dcgan的极化sar图像分类方法
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法
CN107491793A (zh) * 2017-09-04 2017-12-19 西安电子科技大学 一种基于稀疏散射全卷积的极化sar图像分类方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN108537192A (zh) * 2018-04-17 2018-09-14 福州大学 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109492668A (zh) * 2018-10-10 2019-03-19 华中科技大学 基于多通道卷积神经网络的mri不同期多模图像表征方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120213440A1 (en) * 2010-11-22 2012-08-23 University Of Central Florida Research Foundation, Inc. Systems and Methods for Automatically Identifying Shadows in Images
CN107239797A (zh) * 2017-05-23 2017-10-10 西安电子科技大学 基于全卷积神经网络的极化sar地物分类方法
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法
CN107368852A (zh) * 2017-07-13 2017-11-21 西安电子科技大学 一种基于非下采样轮廓波dcgan的极化sar图像分类方法
CN107491793A (zh) * 2017-09-04 2017-12-19 西安电子科技大学 一种基于稀疏散射全卷积的极化sar图像分类方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN108537192A (zh) * 2018-04-17 2018-09-14 福州大学 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN109190684A (zh) * 2018-08-15 2019-01-11 西安电子科技大学 基于素描及结构生成对抗网络的sar图像样本生成方法
CN109492668A (zh) * 2018-10-10 2019-03-19 华中科技大学 基于多通道卷积神经网络的mri不同期多模图像表征方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUANYUAN WANG等: "Integrating H-A-α with fully convolutional networks for fully PolSAR classification", 《2017 INTERNATIONAL WORKSHOP ON REMOTE SENSING WITH INTELLIGENT PROCESSING》 *
王海军: "深度卷积神经网络在遥感影像分类的应用研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647804A (zh) * 2019-08-09 2020-01-03 中国传媒大学 一种暴力视频识别方法、计算机系统和存储介质
CN110942091A (zh) * 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN110942091B (zh) * 2019-11-15 2023-11-21 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN111915613B (zh) * 2020-08-11 2023-06-13 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN112712050A (zh) * 2021-01-12 2021-04-27 西安电子科技大学 基于ds证据融合的极化sar图像语义变化检测方法
CN112712050B (zh) * 2021-01-12 2023-05-16 西安电子科技大学 基于ds证据融合的极化sar图像语义变化检测方法
CN112801153B (zh) * 2021-01-19 2022-08-26 南京邮电大学 一种嵌入lbp特征的图的半监督图像分类方法及系统
CN112801153A (zh) * 2021-01-19 2021-05-14 南京邮电大学 一种嵌入lbp特征的图的半监督图像分类方法及系统
CN112926397A (zh) * 2021-01-28 2021-06-08 中国石油大学(华东) 基于两轮投票策略集成学习的sar图像海冰类型分类方法
CN113420817B (zh) * 2021-06-25 2023-04-04 西安电子科技大学 基于网络结构特征归纳的半监督调制类型识别方法、装置及介质
CN113420817A (zh) * 2021-06-25 2021-09-21 西安电子科技大学 基于网络结构特征归纳的半监督调制类型识别方法、装置及介质
CN113627480A (zh) * 2021-07-09 2021-11-09 武汉大学 一种基于强化学习的极化sar影像分类方法
CN113627480B (zh) * 2021-07-09 2023-08-08 武汉大学 一种基于强化学习的极化sar影像分类方法
CN113987236A (zh) * 2021-12-24 2022-01-28 中科视语(北京)科技有限公司 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN114612717A (zh) * 2022-03-09 2022-06-10 四川大学华西医院 Ai模型训练标签生成方法、训练方法、使用方法及设备
CN114612717B (zh) * 2022-03-09 2023-05-26 四川大学华西医院 Ai模型训练标签生成方法、训练方法、使用方法及设备
CN114898159A (zh) * 2022-06-01 2022-08-12 西北工业大学 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法
CN114898159B (zh) * 2022-06-01 2024-03-08 西北工业大学 基于解耦表征生成对抗网络的sar图像可解释性特征提取方法

Also Published As

Publication number Publication date
CN110096994B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110096994A (zh) 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
Haridasan et al. Deep learning system for paddy plant disease detection and classification
Kukreja et al. A Deep Neural Network based disease detection scheme for Citrus fruits
Onoro-Rubio et al. Towards perspective-free object counting with deep learning
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
Chug et al. A novel framework for image-based plant disease detection using hybrid deep learning approach
Ayalew et al. Unsupervised domain adaptation for plant organ counting
Kim et al. Deep learning-based monitoring of overshooting cloud tops from geostationary satellite data
Agarwal et al. Efficient NetB3 for Automated Pest Detection in Agriculture
Varghese et al. INFOPLANT: Plant recognition using convolutional neural networks
Mostafa et al. Leveraging guided backpropagation to select convolutional neural networks for plant classification
Rani et al. Classification for Crop Pest on U-SegNet
Jadhav et al. Comprehensive review on machine learning for plant disease identification and classification with image processing
Farooque et al. A dual attention driven multiscale-multilevel feature fusion approach for hyperspectral image classification
Joseph et al. Cnn-based early blight and late blight disease detection on potato leaves
Sharma et al. Self-attention vision transformer with transfer learning for efficient crops and weeds classification
Bhurtel et al. Deep learning based seed quality tester
Seethalakshmi et al. Complex type seed variety identification and recognition using optimized image processing techniques
Islamy et al. Performance Evaluation of Coffee Bean Binary Classification through Deep Learning Techniques
Awad et al. Multicomponent image segmentation: a comparative analysis between a hybrid genetic algorithm and self‐organizing maps
Brinthakumari et al. mCNN: An Approach for Plant Disease Detection Using Modified Convolutional Neural Network
Sahoo et al. An efficient approach for enhancing contrast level and segmenting satellite images: HNN and FCM approach
David et al. Global wheat head detection challenges: Winning models and application for head counting
Høivang DiffMet: Diffusion models and deep learning for precipitation nowcasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant