CN113408628A - 基于多模型联合学习网络的PolSAR图像分类方法 - Google Patents

基于多模型联合学习网络的PolSAR图像分类方法 Download PDF

Info

Publication number
CN113408628A
CN113408628A CN202110693333.7A CN202110693333A CN113408628A CN 113408628 A CN113408628 A CN 113408628A CN 202110693333 A CN202110693333 A CN 202110693333A CN 113408628 A CN113408628 A CN 113408628A
Authority
CN
China
Prior art keywords
layer
model
dimensional
convolution
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110693333.7A
Other languages
English (en)
Other versions
CN113408628B (zh
Inventor
赵凤
田敏
刘汉强
谢雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202110693333.7A priority Critical patent/CN113408628B/zh
Publication of CN113408628A publication Critical patent/CN113408628A/zh
Application granted granted Critical
Publication of CN113408628B publication Critical patent/CN113408628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模型联合学习网络的PolSAR图像分类方法,主要解决现有PolSAR图像分类方法分类结果不理想的问题。其方案是:输入待分类的PolSAR图像,并对其进行数据预处理;从预处理后的数据中选取5%的数据得到两个训练样本集s1 T、s2 T和标记矩阵sl T;构建全卷积神经网络FCN模型,并将s1 T和sl T输入到该模型;分别构建复值全卷积神经网络CVFCN模型和复值堆栈空洞全卷积神经网络CVSDFCN模型,并将s2 T和sl T均输入到这两个模型;对所述的三个模型通过前向传播和反向传播进行特征学习,得到三种不同的期望结果矩阵xa,xb,xc,再将这三者融合,得到最终的分类结果。本发明有效地提高了PolSAR图像分类的准确率,可用于图像识别。

Description

基于多模型联合学习网络的PolSAR图像分类方法
技术领域
本发明属于图像处理技术领域,具体涉及一种PolSAR图像分类方法,可用于图像识别。
背景技术
极化合成孔径雷达PolSAR采用多频率、多通道的成像方式,几乎能够在所有条件下不分昼夜地进行对地监测,同时还具有穿透力强、分辨率高的优点。在多种收发组合下,PolSAR能够全面地描述地物目标的散射特性,并且能够更加精确地反演目标的物理特性、几何特性和电解因子等参数。作为PolSAR影像解译的关键技术之一,PolSAR图像分类一直是近些年来研究的热点。PolSAR图像分类是根据极化信息和空间位置将每个像素划分为不同的类,例如农田、草地、城市、河流等。一般来说,属于同一地形的像素具有相似的物理特征并且在空间上具有连续性。按照近些年来PolSAR图像研究的趋势,将PolSAR图像分类方法可以分为三大类:基于目标分解的分类方法、基于统计分析的分类方法和基于机器学习的分类方法,其中基于机器学习的分类方法是近些年研究的重点。机器学习利用实例数据和过去的经验使计算机学习或者模拟人的行为的研究,已经发展为人工智能领域的研究热点,吸引着越来越多研究者的注意。而深度学习作为机器学习的一个重要分支,提供了一个强大的框架,通过多层表示学习自动提取更深层次的特征并且能够发现高维数据中的复杂结构,进一步推动了PolSAR图像分类的发展。
Chen等人在2018年提出的将卷积神经网络CNN应用到PolSAR图像分类时,存在两个问题:第一个问题是忽略了PolSAR图像中相位信息的重要性,相位信息对于PolSAR图像的分类效果具有重要的作用;第二个问题是CNN对于PolSAR图像分类是将每一个像素的邻域作为输入用于模型的训练和预测,因此存在重复计算和内存占用的缺点。为了解决第一个问题,Zhang等人在2017年充分利用PolSAR图像的幅值和相位,将CNN的各个要素拓展到复数域,提出了基于复值卷积神经网络的PolSAR图像分类方法,但是该方法仍然没有解决重复计算和内存占用的缺点。为了解决第二个问题,Li等人在2018年将端到端、像素到像素的密集分类网络—全卷积神经网络FCN应用于PolSAR图像分类,提出基于稀疏编码和滑窗全卷积神经网络的PolSAR图像分类方法,但是该方法没有考虑PolSAR图像的相位信息,导致PolSAR图像的分类精度不佳。为此,2019年Cao等人将全卷积神经网络的各个要素拓展到复数域,提出复值全卷积神经网络CVFCN,但是该方法依然存在对于连续的下采样引起的PolSAR图像细节信息损失过多的问题,导致PolSAR图像的分类结果图不够精细。除此之外,以上方法均提取的是单一的特征,无法充分地挖掘PolSAR图像的多尺度特征,导致PolSAR图像的分类效果不够理想。
发明内容
本发明的目的在于针对上有技术存在的不足,提供一种基于多模型联合学习网络的PolSAR图像分类方法,以通过利用PolSAR图像的幅值信息和相位信息,将多个模型提取到的不同特征进行融合,提高PolSAR图像的分类精度。
为实现上述目的,本发明的技术方案包括:
1.一种基于多模型联合学习网络的PolSAR图像分类方法,其特征在于,包括:
(1)输入待分类的极化合成孔径雷达PolSAR图像,利用半监督模糊聚类算法对PolSAR图像的标签矩阵进行扩充,以得到待分类PolSAR图像中无类标像素的伪类标,将扩充后的标签矩阵记为lp
(2)分别提取PolSAR图像中每个像素的相干矩阵Ti的向量,即先提取Ti上三角元素的实部和虚部构成9维向量xi1,再提取Ti的上三角元素构成6维向量xi2;再对xi1和xi2向量的每一维度均使用z-score函数进行归一化,得到归一化后的9维向量x'i1和6维向量x'i2
(3)对x'i1、x'i2以及lp均使用相同的滑窗操作分别得到三个对应的数据集s1,s2和sl,再将这三个数据集以同样的方式进行随机打乱,并从s1和s2中均选取前5%的数据得到训练样本集s1 T、s2 T,再从sl中选取前5%的数据得到s1 T和s2 T对应的标记矩阵sl T
(4)利用均值为0、标准差为0.02的高斯分布随机初始化9维卷积核和6维卷积核,并根据初始化后的9维卷积核和6维卷积核分别构造全卷积神经网络FCN模型和复值全卷积神经网络CVFCN模型,该FCN模型和CVFCN模型均包括7层卷积层,且前四层卷积层后面均依次级联有池化层、Relu激活函数层及Batch归一化层;
(5)构造空洞卷积层,即将空洞因子分别为1、2、3的空洞卷积依次级联,并将CVFCN中前四层中的卷积层替换成空洞卷积层构成复值堆栈空洞全卷积神经网络CVSDFCN模型;
(6)将上述FCN模型、CVFCN模型和CVSDFCN模型分别作为联合学习网络的子模型,并将9维训练样本集s1 T和其对应的标记矩阵sl T均输入到FCN模型,将6维训练样本集s2 T和其所对应的标记矩阵sl T均输入到CVFCN和CVSDFCN模型,对这三个子模型均利用前向传播算法和反向传播算法进行特征学习,得到三种不同的期望结果矩阵xa,xb,xc
(7)将得到的三种期望结果矩阵xa,xb,xc进行融合得到一个3维矩阵M,并初始化一个3×1的权值N,再将M和N相乘得到最终的分类结果。
本发明与现有技术相比,具有以下优点:
第一,本发明将半监督模糊聚类引入PolSAR图像的预处理,得到了无类标标签的伪类标从而扩充了标记样本。
第二,本发明构造空洞卷积层来提取PolSAR图像的多尺度特征,提高了PolSAR图像的分类精度。
第三,本发明将三个独立的全卷积神经网络FCN、复值全卷积神经网络CVFCN和复值堆栈全卷积神经网络CVSDFCN进行融合,能够进一步得到比单一模型更好的分类结果。
附图说明
图1为本发明的实现流程图;
图2为用本发明和现有方法对西安渭河地区PolSAR图像的分类结果对比图;
图3为用本发明和现有方法对德国ESAR地区PolSAR图像的分类结果对比图;
图4为用本发明和现有方法对美国旧金山地区PolSAR图像的分类结果对比图。
具体实施方式
以下结合附图对发明的实施和效果作进一步详细描述:
参见图1,本实例的实现步骤包括如下:
步骤1:输入待分类的PolSAR图像X和其所对应的人工标记矩阵l,进行数据预处理。
1.1)利用半监督模糊聚类对PolSAR图像进行标签扩充:
1.1.1)设置参数:分类数为C,最大迭代次数为50;
1.1.2)在已标记的像素中随机选取1%的像素作为监督信息,根据监督信息得到PolSAR图像的监督隶属度矩阵
Figure BDA0003127498950000041
Figure BDA0003127498950000042
其中,
Figure BDA0003127498950000043
表示第i个像素xi属于第j个聚类中心vj的监督隶属度,
Figure BDA0003127498950000044
表示作为监督信息的像素,
Figure BDA0003127498950000045
表示监督信息之外的其余像素,N是输入的PolSAR图像X的像素总个数;
1.1.3)通过最大熵正则化构造类内紧致目标函数,并在目标函数中引入监督信息,得到引入监督信息后的目标函数J:
Figure BDA0003127498950000046
其中,d(xi,vj)表示第i个像素xi和第j个聚类中心vj之间的Wishart距离,λ表示模糊因子,uij表示第i个像素xi属于第j个聚类中心vj的隶属度,
Figure BDA0003127498950000047
表示第i个像素xi属于第j个聚类中心vj的监督隶属度,i∈{1,···,N},j∈{1,···,C},λ=2;
1.1.4)对公式2)分别求关于隶属度uij和聚类中心vj的偏导数,得到uij和vj的更新公式分别如下:
Figure BDA0003127498950000048
Figure BDA0003127498950000049
1.1.5)根据式3)和式4)分别更新隶属度uij和聚类中心vj,直到迭代次数达到50次时,得到最终更新后的隶属度uij'和聚类中心vj’;
1.1.6)根据最终更新后的隶属度uij'和聚类中心vj’,对输入的PolSAR图像X进行聚类得到结果矩阵l';
1.1.7)根据结果矩阵l',在人工标记矩阵l中设置未标记像素的伪类标,得到扩充后的标记矩阵lp
1.2)对输入的PolSAR图像X进行归一化:
1.2.1)PolSAR图像X中的每个像素是由3×3的相干矩阵Ti表示,分别提取相干矩阵Ti上三角元素的实部和虚部,构成9维向量xi1
xi1=[Ti 11,Ti 22,Ti 33,Re(Ti 12),Re(Ti 13),Re(Ti 23),Im(Ti 12),Im(Ti 13),Im(Ti 23)],
其中,Re(·)表示复数域的实部,Im(·)表示复数域的虚部,
Figure BDA0003127498950000051
1.2.2)提取Ti的上三角元素,构成6维向量xi2
xi2=[Ti 11,Ti 12,Ti 13,Ti 22,Ti 23,Ti 24],
其中,Ti 11,Ti 12,Ti 13表示相干矩阵Ti的主对角线元素,Ti 22,Ti 23,Ti 24表示相干矩阵Ti的副对角线元素;
1.2.3)对xi1和xi2向量的每一维度均使用z-score进行归一化,分别得到归一化后的9维向量x'i1和6维向量x'i2
步骤2:从归一化后的9维向量x'i1、6维向量x'i2和扩充后的人工标记矩阵l'中选取训练样本集。
2.1)对归一化后的9维向量x'i1、6维向量x'i2以及人工标记矩阵lp均使用相同的滑窗操作分别得到三个对应的数据集s1,s2和sl,滑窗操作的公式如下:
Num=(ceil((H-W)/S)+1)·(ceil((W-L)/S)+1)
其中,ceil表示向上取整函数,H和W分别表示输入的PolSAR图像X的高和宽,L为滑动窗口的大小,S表示滑动步长,本实例取但不限于W=128,S=32;
2.2)将上述三个数据集s1,s2和sl中的数据随机打乱;
2.3)从s1和s2中均选取前5%的数据得到训练样本集s1 T、s2 T,再从sl中选取前5%的数据得到s1 T和s2 T对应的标记矩阵sl T
步骤3:分别构建全卷积神经网络FCN模型、复值全卷积神经网络CVFCN模型和堆栈空洞全卷积神经网络CVSDFCN模型。
3.1)构建全卷积神经网络FCN模型:
3.1.1)设置FCN模型的超参数:学习率为10-3,批大小为32;
3.1.2)利用均值为0、标准差为0.02的高斯分布随机初始化9维卷积核;
3.1.3)根据初始化后的9维卷积核构造全卷积神经网络FCN模型,该FCN模型包括7层卷积层,且前四层卷积层后面均依次级联有池化层、Relu激活函数层及Batch归一化层,具体结构如下:
9维卷积层→第一池化层→第一Relu激活函数层→第一Batch归一化层→60维卷积层→第二池化层→第二Relu激活函数层→第二Batch归一化层→120维卷积层→第三池化层→第三Relu激活函数层→第三Batch归一化层→240维卷积层→第四池化层→第四Relu激活函数层→第四Batch归一化层→240维卷积层→1024维卷积层→1024维卷积层;
每个卷积层中的卷积核的大小均为3×3,每个池化层的步长均为2;
3.2)构建复值全卷积神经网络CVFCN模型:
3.2.1)设置CVFCN模型的超参数:学习率为10-3,批大小为32;
3.2.2)利用均值为0、标准差为0.02的高斯分布随机初始化6维卷积核;
3.2.3)根据初始化后的6维卷积核构造复值全卷积神经网络CVFCN模型,该CVFCN模型均包括7层卷积层,且前四层卷积层后面均依次级联有池化层、Relu激活函数层及Batch归一化层,具体结构如下:
6维卷积层→第1池化层→第1Relu激活函数层→第1Batch归一化层→60维卷积层→第2池化层→第2Relu激活函数层→第2Batch归一化层→120维卷积层→第3池化层→第3Relu激活函数层→第3Batch归一化层→240维卷积层→第4池化层→第4Relu激活函数层→第4Batch归一化层→240维卷积层→1024维卷积层→1024维卷积层;
每个卷积层中的卷积核的大小均为3×3,每个池化层的步长均为2;
3.3)构建复值堆栈空洞全卷积神经网络CVSDFCN模型:
3.3.1)设置CVFCN模型的超参数:学习率为10-3,批大小为32;
3.3.2)构造空洞卷积层,即将空洞因子分别为1、2、3的空洞卷积依次级联,得到空洞卷积层;
3.3.3)将CVFCN中前四层中的卷积层替换成空洞卷积层构成CVSDFCN模型,具体结构如下:
6维空洞卷积层→第1池化层→第1Relu激活函数层→第1Batch归一化层→60维空洞卷积层→第2池化层→第2Relu激活函数层→第2Batch归一化层→120空洞维卷积层→第3池化层→第3Relu激活函数层→第3Batch归一化层→240维空洞卷积层→第4池化层→第4Relu激活函数层→第4Batch归一化层→240维卷积层→1024维卷积层→1024维卷积层;
每个空洞卷积层中的卷积核的大小均为3×3,每个池化层的步长均为2。
步骤四:利用上述三个模型得到最终的分类结果。
4.1)将9维训练样本集s1 T和其对应的标记矩阵sl T均输入到全卷积神经网络FCN模型;
4.2)将6维训练样本集s2 T和其所对应的标记矩阵sl T均输入到复值全卷积神经网路CVFCN模型和复值堆栈空洞全卷积神经网络CVSDFCN模型;
4.3)将全卷积神经网络FCN、复值全卷积神经网络CVFCN和复值堆栈全卷积神经网络CVSDFCN这三个模型均利用前向传播算法和反向传播算法进行特征学习,得到三种不同的期望结果矩阵xa,xb,xc,其中xa表示全卷积神经网络FCN模型的期望结果矩阵,xb表示复值全卷积神经网络CVFCN模型的期望结果矩阵,xc表示复值堆栈全卷积神经网络CVSDFCN模型的期望结果矩阵;
4.4)将得到的三种期望结果矩阵xa,xb,xc使用Stacking方法进行融合,得到一个3维矩阵M,表示为M(i,j,3)
Figure BDA0003127498950000071
其中,i,j表示这三种不同的期望结果矩阵xa,xb,xc第i行和第j列的位置;
4.5)初始化一个3×1的权值N,再将3维矩阵M和权值N相乘得到最终的分类结果。
以下结合仿真实验,对本发明的技术效果作进一步说明:
1.仿真条件:
仿真实验在计算机Inter(R)Core(TM)i9-9900K 3.60GHZ CPU,32G内存,Tensorflow1.13.1软件环境下进行。
2.仿真内容:
仿真1,选取西安渭河地区PolSAR图像,用本发明与现有SVM方法、Wishart方法、Bagging方法、CNN方法、FCN方法、CVFCN方法分别对西安渭河地区PolSAR图像进行分类,结果如图2所示,其中:
2(a)是西安渭河地区PolSAR图像的人工标记图;
2(b)是用现有SVM方法对西安渭河地区PolSAR图像的分类结果图;
2(c)是用现有Wishart方法对西安渭河地区PolSAR图像的分类结果图;
2(d)是用现有Bagging方法对西安渭河地区PolSAR图像的分类结果图;
2(e)是用现有CNN方法对西安渭河地区PolSAR图像的分类结果图;
2(f)是用现有FCN方法对西安渭河地区PolSAR图像的分类结果图;
2(g)是用现有CVFCN方法对西安渭河地区PolSAR图像的分类结果图;
2(h)是用本发明对西安渭河地区PolSAR图像的分类结果图;
从图2可以看出,使用SVM、Wishart和Bagging得到的分类结果图存在大量的错分像素,且存在大量的独立像素点;CNN模型的分类结果虽说相比于前三种算法更加连续,独立的像素点明显减少,比如由椭圆框出来的草地地物,但是仍然存在很多的错分像素;FCN模型的结果图整体上相比于前几种方法更加清晰,但是在河流地物的分类中仍然存在很多错分像素;CVFCN在椭圆突出显示的水域比使用FCN表现得更好;本发明分类结果图相较于其它方法更加平滑,能够清晰地分出西安数据集的每一类地物,尤其在用椭圆和正方形框出来的区域表现更为突出。
仿真2,选取德国ESAR地区PolSAR图像,用本发明与现有SVM方法、Wishart方法、Bagging方法、CNN方法、FCN方法、CVFCN方法分别对其进行分类,结果如图3所示,其中:
3(a)是德国ESAR地区PolSAR图像的人工标记图;
3(b)是用现有SVM方法对德国ESAR地区的分类结果图;
3(c)是用现有Wishart方法对德国ESAR地区的分类结果图;
3(d)是用现有Bagging方法对德国ESAR地区PolSAR图像的分类结果图;
3(e)是用现有CNN方法对德国ESAR地区PolSAR图像的分类结果图;
3(f)是用现有FCN方法对德国ESAR地区PolSAR图像的分类结果图;
3(g)是用现有CVFCN方法对德国ESAR地区PolSAR图像的分类结果图;
3(h)是用本发明对德国ESAR地区PolSAR图像的分类结果图;
从图3可以看出,使用SVM、Wishart和Bagging算法的分类结果图在建筑区、开放区和林区三种地物之间混合十分严重;CNN的分类结果图从整体上来说该结果图要比前三幅结果图清楚,但是仍然存在许多错分像素,例如,用椭圆框起来的区域中,建筑区地物的很多像素被错分成开放区和林区地物;使用FCN模型的分类结果图整体上比前四中算法平滑,尤其是在连续区域地物的分类中表现更为明显,但是对于建筑区地物,比如用矩形框出来的区域,仍然存在很多的错分像素;CVFCN模型的分类结果优于FCN模型;本发明的分类结果图更接近于的人工标记图,且相对于其它算法更加平滑。
仿真3,选取美国旧金山地区PolSAR图像,用本发明与现有SVM方法、Wishart方法、Bagging方法、CNN方法、FCN方法、CVFCN方法分别对其进行分类,结果如图3所示,其中:
4(a)是美国旧金山地区PolSAR图像的人工标记图;
4(b)是用现有SVM方法对美国旧金山地区的分类结果图;
4(c)是用现有Wishart方法对美国旧金山地区的分类结果图;
3(d)是用现有Bagging方法对美国旧金山地区PolSAR图像的分类结果图;
4(e)是用现有CNN方法对美国旧金山地区PolSAR图像的分类结果图;
4(f)是用现有FCN方法对美国旧金山地区PolSAR图像的分类结果图;
4(g)是用现有CVFCN方法对美国旧金山地区PolSAR图像的分类结果图;
4(h)是用本发明对美国旧金山地区PolSAR图像的分类结果图;
从图3可以看出,SVM和Wishart的分类结果图中的错分现象非常严重,例如用矩形框出来的区域,很多的发达城市地物中的像素被错分成植物地物;Bagging的分类结果图在低密度城市和高密度城市地物中存在很多的错分像素;从CNN的结果图中可以明显地看到CNN的结果图的轮廓相比前三种算法清楚,但是在高密度城市和发达城市地物中仍存在很多错分像素;FCN的分类结果图在发达城市地物的分类效果较差;CVFCN在低密度城市的分类有效性优于前几种算法;本发明的分类结果图在连续区域中更加清楚和平滑,也更加接近于人工标记图。

Claims (8)

1.一种基于多模型联合学习网络的PolSAR图像分类方法,其特征在于,包括:
(1)输入待分类的极化合成孔径雷达PolSAR图像,利用半监督模糊聚类算法对PolSAR图像的标签矩阵进行扩充,以得到待分类PolSAR图像中无类标像素的伪类标,将扩充后的标签矩阵记为lp
(2)分别提取PolSAR图像中每个像素的相干矩阵Ti的向量,即先提取Ti上三角元素的实部和虚部构成9维向量xi1,再提取Ti的上三角元素构成6维向量xi2;再对xi1和xi2向量的每一维度均使用z-score函数进行归一化,得到归一化后的9维向量xi'1和6维向量xi'2
(3)对xi'1、xi'2以及lp均使用相同的滑窗操作分别得到三个对应的数据集s1,s2和sl,再将这三个数据集以同样的方式进行随机打乱,并从s1和s2中均选取前5%的数据得到训练样本集s1 T、s2 T,再从sl中选取前5%的数据得到s1 T和s2 T对应的标记矩阵sl T
(4)利用均值为0、标准差为0.02的高斯分布随机初始化9维卷积核和6维卷积核,并根据初始化后的9维卷积核和6维卷积核分别构造全卷积神经网络FCN模型和复值全卷积神经网络CVFCN模型,该FCN模型和CVFCN模型均包括7层卷积层,且前四层卷积层后面均依次级联有池化层、Relu激活函数层及Batch归一化层;
(5)构造空洞卷积层,即将空洞因子分别为1、2、3的空洞卷积依次级联,并将CVFCN中前四层中的卷积层替换成空洞卷积层构成复值堆栈空洞全卷积神经网络CVSDFCN模型;
(6)将上述FCN模型、CVFCN模型和CVSDFCN模型分别作为联合学习网络的子模型,并将9维训练样本集s1 T和其对应的标记矩阵sl T均输入到FCN模型,将6维训练样本集s2 T和其所对应的标记矩阵sl T均输入到CVFCN和CVSDFCN模型,对这三个子模型均利用前向传播算法和反向传播算法进行特征学习,得到三种不同的期望结果矩阵xa,xb,xc
(7)将得到的三种期望结果矩阵xa,xb,xc进行融合得到一个3维矩阵M,并初始化一个3×1的权值N,再将M和N相乘得到最终的分类结果。
2.根据权利要求书1所述的方法,其特征在于,所述(1)中利用半监督模糊聚类算法对PolSAR图像的标签矩阵进行扩充,实现如下:
(1a)设置参数:分类数为C,最大迭代次数为50;
(1b)在已标记的像素中随机选取1%的像素作为监督信息,根据监督信息得到PolSAR图像的监督隶属度矩阵
Figure FDA0003127498940000021
Figure FDA0003127498940000022
其中,
Figure FDA0003127498940000023
表示作为监督信息的像素,
Figure FDA0003127498940000024
表示监督信息之外的其余像素;
(1c)通过最大熵正则化构造类内紧致目标函数,并在目标函数中引入监督信息,得到引入监督信息后的目标函数J:
Figure FDA0003127498940000025
其中,d(xi,vj)表示第i个像素xi和第j个聚类中心vj之间的Wishart距离,参数λ表示模糊因子,uij代表xi属于vj的隶属度,
Figure FDA0003127498940000026
代表xi属于vj的监督隶属度,i∈{1,···,N},j∈{1,···,C},λ>0;
(1d)对公式2)分别求关于隶属度uij和聚类中心vj的偏导数,得到uij和vj的更新公式分别如下:
Figure FDA0003127498940000027
Figure FDA0003127498940000028
(1e)根据式3)和式4)分别更新隶属度uij和聚类中心vj,当迭代次数达到50时,得到最终更新后的uij'和vj’;
(1f)根据最终更新后的uij'和vj’,对所有的像素进行聚类得到结果矩阵l';
(1g)根据结果矩阵l',在人工标记矩阵l中设置未标记像素的伪类标,得到扩充后的标记矩阵lp
3.根据权利要求1所述的方法,其特征在于,所述(2)中的相干矩阵Ti和9维向量xi1分别表示如下:
Figure FDA0003127498940000031
xi1=[Ti 11,Ti 22,Ti 33,Re(Ti 12),Re(Ti 13),Re(Ti 23),Im(Ti 12),Im(Ti 13),Im(Ti 23)],
其中,Re(·)表示复数域的实部,Im(·)表示复数域的虚部。
4.根据权利要求1所述的方法,其特征在于,所述(2)中的6维向量xi2表示如下:
xi2=[Ti 11,Ti 12,Ti 13,Ti 22,Ti 23,Ti 24],
其中,Ti 11,Ti 12,Ti 13表示相干矩阵Ti的主对角线元素,Ti 22,Ti 23,Ti 24表示相干矩阵Ti的副对角线元素。
5.根据权利要求1所述的方法,其特征在于,所述(3)中的滑窗操作,公式如下:
Num=(ceil((H-W)/S)+1)·(ceil((W-L)/S)+1)
其中,ceil表示向上取整函数,H和W分别表示输入PolSAR图像的高和宽,L为滑动窗口的大小,S表示滑动步长。
6.根据权利要求1所述的方法,其特征在于,所述(6)中的全卷积神经网络FCN模型,结构如下:
9维卷积层→第一池化层→第一Relu激活函数层→第一Batch归一化层→60维卷积层→第二池化层→第二Relu激活函数层→第二Batch归一化层→120维卷积层→第三池化层→第三Relu激活函数层→第三Batch归一化层→240维卷积层→第四池化层→第四Relu激活函数层→第四Batch归一化层→240维卷积层→1024维卷积层→1024维卷积层;
每个卷积层中的卷积核的大小均为3×3,每个池化层的步长均为2。
7.根据权利要求1所述的方法,其特征在于,所述(6)中的CVFCN模型,结构如下:
6维卷积层→第1池化层→第1Relu激活函数层→第1Batch归一化层→60维卷积层→第2池化层→第2Relu激活函数层→第2Batch归一化层→120维卷积层→第3池化层→第3Relu激活函数层→第3Batch归一化层→240维卷积层→第4池化层→第4Relu激活函数层→第4Batch归一化层→240维卷积层→1024维卷积层→1024维卷积层;
每个卷积层中的卷积核的大小均为3×3,每个池化层的步长均为2。
8.根据权利要求1所述的方法,其特征在于,所述(7)中将三种不同的期望结果矩阵xa,xb,xc利用Stacking方式进行融合得到一个3维矩阵M,表示为M(i,j,3)
Figure FDA0003127498940000041
其中,i,j表示这三种不同的期望结果矩阵xa,xb,xc第i行和第j列的位置。
CN202110693333.7A 2021-06-22 2021-06-22 基于多模型联合学习网络的PolSAR图像分类方法 Active CN113408628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693333.7A CN113408628B (zh) 2021-06-22 2021-06-22 基于多模型联合学习网络的PolSAR图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693333.7A CN113408628B (zh) 2021-06-22 2021-06-22 基于多模型联合学习网络的PolSAR图像分类方法

Publications (2)

Publication Number Publication Date
CN113408628A true CN113408628A (zh) 2021-09-17
CN113408628B CN113408628B (zh) 2023-01-31

Family

ID=77682309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693333.7A Active CN113408628B (zh) 2021-06-22 2021-06-22 基于多模型联合学习网络的PolSAR图像分类方法

Country Status (1)

Country Link
CN (1) CN113408628B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
CN110020693A (zh) * 2019-04-15 2019-07-16 西安电子科技大学 基于特征注意和特征改善网络的极化sar图像分类方法
CN110728324A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于深度复值全卷积神经网络的极化sar图像分类方法
US20200142057A1 (en) * 2018-11-06 2020-05-07 The Board Of Trustees Of The Leland Stanford Junior University DeepSAR: Specific Absorption Rate (SAR) prediction and management with a neural network approach
CN112052754A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于自监督表征学习的极化sar影像地物分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934419A (zh) * 2017-03-09 2017-07-07 西安电子科技大学 基于复数轮廓波卷积神经网络的极化sar图像分类方法
US20200142057A1 (en) * 2018-11-06 2020-05-07 The Board Of Trustees Of The Leland Stanford Junior University DeepSAR: Specific Absorption Rate (SAR) prediction and management with a neural network approach
CN110020693A (zh) * 2019-04-15 2019-07-16 西安电子科技大学 基于特征注意和特征改善网络的极化sar图像分类方法
CN110728324A (zh) * 2019-10-12 2020-01-24 西安电子科技大学 基于深度复值全卷积神经网络的极化sar图像分类方法
CN112052754A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于自监督表征学习的极化sar影像地物分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADUGNA G. MULLISSA 等: "Despeckling Polarimetric SAR Data Using a Multistream Complex-Valued Fully Convolutional Network", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS 》 *
乔良才: "结合多分辨率表示和复数域CNN的SAR图像目标识别方法", 《激光与光电子学进展》 *
赵泉华 等: "全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类", 《测绘学报》 *

Also Published As

Publication number Publication date
CN113408628B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
Tong et al. Channel-attention-based DenseNet network for remote sensing image scene classification
Othman et al. Domain adaptation network for cross-scene classification
Hosseinpour et al. CMGFNet: A deep cross-modal gated fusion network for building extraction from very high-resolution remote sensing images
CN112052754B (zh) 基于自监督表征学习的极化sar影像地物分类方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN103258324B (zh) 基于可控核回归和超像素分割的遥感图像变化检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
Bandara et al. Spin road mapper: Extracting roads from aerial images via spatial and interaction space graph reasoning for autonomous driving
CN113095417B (zh) 基于融合图卷积和卷积神经网络的sar目标识别方法
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN104050680B (zh) 基于迭代自组织和多智能体遗传聚类算法的图像分割方法
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
Hu et al. A novel framework of CNN integrated with AdaBoost for remote sensing scene classification
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN116206306A (zh) 一种类间表征对比驱动的图卷积点云语义标注方法
Liu et al. Image retrieval using CNN and low-level feature fusion for crime scene investigation image database
CN112381144A (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN116152678A (zh) 小样本条件下基于孪生神经网络的海洋承灾体识别方法
Ouadiay et al. Simultaneous object detection and localization using convolutional neural networks
CN104537660B (zh) 基于多目标智能体进化聚类算法的图像分割方法
CN113408628B (zh) 基于多模型联合学习网络的PolSAR图像分类方法
CN116883741A (zh) 一种基于金字塔注意力机制的小样本虫害检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant