CN108446716B - 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 - Google Patents

基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 Download PDF

Info

Publication number
CN108446716B
CN108446716B CN201810124693.3A CN201810124693A CN108446716B CN 108446716 B CN108446716 B CN 108446716B CN 201810124693 A CN201810124693 A CN 201810124693A CN 108446716 B CN108446716 B CN 108446716B
Authority
CN
China
Prior art keywords
matrix
layers
sparse
fcn
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810124693.3A
Other languages
English (en)
Other versions
CN108446716A (zh
Inventor
何楚
王彦
刘新龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810124693.3A priority Critical patent/CN108446716B/zh
Publication of CN108446716A publication Critical patent/CN108446716A/zh
Application granted granted Critical
Publication of CN108446716B publication Critical patent/CN108446716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于FCN与稀疏‑低秩子空间表示融合的PolSAR图像分类方法，充分利用了FCN能够从PolSAR数据本身自动地学习非线性的深层多尺度空间特征的强大能力，以及基于稀疏‑低秩图嵌入的线性降维算法能够在一个低维子空间中同时捕获PolSAR数据的局部和全局结构信息的优势，并对FCN和稀疏‑低秩子空间表示进行有效地融合，解决了PolSAR图像的非线性深层空间特征提取问题、降维问题，以及极化信息和空间信息的有效融合问题，并有效解决PolSAR图像的分类问题。本发明获得的融合的多层次子空间特征含有多种类型的信息，包括线性的和非线性的、浅层的和深层的、局部的和全局的，以及极化的和多尺度空间的，因此具有很强的判别性，能够大大提高PolSAR图像的分类准确率。

Description

基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
技术领域
本发明属于图像处理技术领域，尤其涉及全卷积神经网络与稀疏-低秩子空间表示的PolSAR图像分类方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)凭借其几乎全天时、全天候的成像能力，在农林管理、城市规划、灾害监测和环境保护等各种地面观测应用中发挥着重要作用。全极化SAR(Polarimetric SAR，PolSAR)是一种先进的SAR系统，能够测量介质的复散射矩阵。该散射矩阵集目标的幅度、相位和极化特性为一体，因而用于图像分类任务中能够大大改善对不同地物目标的辨别能力。PolSAR图像分类是遥感图像解译的一个重要组成部分,也是遥感社区的一个研究热点。
在过去的几十年中，研究者们已经提出了许多基于逐像素点的极化目标参数分解的分类方法，但是由于相干斑噪声的影响，这些方法的性能并不理想。为了解决噪声问题，诸如空间关系、形状、纹理等语义信息应该被考虑进来。于是，许多基于区域的方法被提出来，一种通常的做法是使用马尔科夫随机场、条件随机场来建立像素点的空间关系，或者对图像进行超像素分割。虽然这些方法能够明显改善分类结果，但是它们的浅层结构决定了它们只能从原始数据中提取低级的手工设计的空间特征，而这种特征的表示能力和判别能力通常是有限的。特别是对于具有较高空间分辨率的PolSAR图像，随着分辨率的增加，类间变化减少，类内变化增大，将会导致大部分的浅层方法失效。因此，人们需要使用一个深层的模型来深入理解PolSAR数据所包含的物理模型，以及从数据本身自适应地学习更高层的空间表示。
近来，深度学习因其具有从数据本身自动地学习判别性的多层特征的强大潜能，被成功应用于计算机视觉的各个领域。受此启发，研究者们也开始探索如何有效地把深度学习应用于遥感领域。截至目前，关于深度学习在遥感数据分析中的应用研究尚未深入，许多问题还有待解决。归纳起来，主要面临着四个挑战：(1)高质量的、标记好的遥感数据的缺乏；(2)遥感数据的复杂性妨碍了健壮的判别性特征的学习；(3)来自不同传感器的数据之间如何迁移的问题；(4)在计算时间和训练数据有限的情况下如何选择合适的模型深度。因此，目前完全依靠深度学习来解决PolSAR图像分类问题可能不太现实。
发明内容
针对PolSAR图像分类任务亟待解决的降维问题和深层空间特征提取问题，以及极化信息和空间信息的有效融合问题，本发明基于深度学习强大的数据驱动能力，同时考虑稀疏和低秩表示能够携带对分类任务有价值的信息，提出了一种基于全卷积神经网络(Fully Convolutional Network，FCN)与稀疏-低秩子空间表示融合的PolSAR图像分类方法。
FCN是深度学习的一个重要分支，并且已在光学图像的语义分割应用中获得了巨大成功。鉴于逐像素点的PolSAR图像分类与语义分割的相似性(即为每一个像素点分配一个标签)，把FCN应用于PolSAR图像分类任务是有很大潜力的，但是相关方面的研究甚少。而且在目前的情形下，直接使用FCN去执行PolSAR分类得到的未经后处理的结果很不理想，因为仅有的少量标记好的PolSAR数据使得从头开始训练一个有效的FCN是不可能的。此外，即使使用可得的PolSAR训练数据去微调一个在光学图像上预先训练好的FCN模型，也很难获得令人满意的分类结果，因为光学图像和PolSAR图像的成像机制不同，使得大部分的预训练模型参数不再适合PolSAR数据，最终导致PolSAR数据独特的极化信息没有得到很好地保留。然而，必须指出的是，FCN具有强大的学习非线性的深层空间表示的潜能，虽然是在光学图像上训练的模型，但是这种探索空间特性的潜能对于其他类型的图像也是有效的。
在实际应用中，为了尽可能准确地描述研究场景中不同类型的地物目标，一种合理的做法是把多种不同的极化目标分解特征堆叠在一起来表示PolSAR图像，因为不同的极化分解方法只对几种特定的目标有益。然而，这种堆叠起来的特征具有较高的维度和大量的冗余性，因此，一种有效且高效的降维方法需要被用来捕获PolSAR数据在低维空间中的本质结构，同时去除冗余的特征。此外，土地覆盖物在空间上通常具有连续性，并且PolSAR图像中的相邻像素点具有很大的属于相同类别的概率，因此空间特征的使用将会大大提高PolSAR图像分类的准确率，但是传统的具有浅层结构的方法不能提取健壮的深层空间特征。
本发明的技术方案为基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于，包含以下步骤：
步骤1，准备待分类的PolSAR图像数据集，从待分类图像中提取极化相干矩阵和极化散射矩阵；
步骤2，对待分类图像的极化散射矩阵进行Pauli分解，将分解得到的奇次散射、偶次散射和体散射系数分别作为B、R、G通道合成Pauli伪彩图；
步骤3，把步骤2得到的Pauli伪彩图输入一个在光学图像上训练好的深度FCN模型，以提取PolSAR图像的非线性深层多尺度空间特征；
步骤4，对待分类图像的极化相干矩阵和极化散射矩阵分别进行极化分解，形成高维极化特征描述基元来表示PolSAR图像；
步骤5，使用浅层稀疏-低秩图嵌入线性降维模型对步骤4中的高维极化特征进行降维，得到稀疏-低秩的子空间特征；
步骤6，对步骤3中得到的非线性深层多尺度空间特征和步骤5中得到的线性稀疏-低秩的子空间特征进行归一化和加权处理，得到一个融合的多层次子空间特征；
步骤7，对步骤6中得到的融合的多层次子空间特征进行分类。
进一步的，步骤3的具体实现包括以下子步骤，
步骤3.1，构建一个深度FCN，主要包含卷积1_1层、卷积1_2层、池化1层、卷积2_1层、卷积2_2层、池化2层、卷积3_1层、卷积3_2层、卷积3_3层、池化3层、卷积4_1层、卷积4_2层、卷积4_3层、池化4层、卷积5_1层、卷积5_2层、卷积5_3层、池化5层、卷积6层(fc6)、卷积7层(fc7)、卷积层(score_wy)、反卷积层(upscore2)、卷积层(score_pool4)、Eltwise层(融合层)、反卷积层(upscore_pool4)、卷积层(score_pool3)、Eltwise层(融合层)、反卷积层(upscore_pool3)、裁剪层(score)、SoftmaxWithLoss层；
步骤3.2，使用具有21个类别的光学图像数据集PASCAL VOC 2011预先训练步骤3.1中的FCN；
步骤3.3，把步骤2得到的Pauli伪彩图输入步骤3.2中训练好的FCN模型，提取score层输出的21维特征图，作为深层多尺度空间特征，设为Ffcm，其中M表示像素点个数，即每个像素点使用一个21维的空间特征矢量来表示。
进一步的，步骤4的具体实现包括以下子步骤，
步骤4.1，对待分类PolSAR数据的极化散射矩阵S进行多种相干目标分解，包括Cloude分解、Pauli分解和SDH分解；
步骤4.2，对待分类的PolSAR数据的极化相干矩阵T进行多种非相干目标分解，包括H-A-α分解、Freeman-Durden分解、Huynen分解和Yamaguchi分解；
步骤4.3，提取极化相干矩阵T的主对角线元素，以及非对角线上的每一个元素的实部和虚部的模作为极化统计特征；
步骤4.4，将步骤4.1、4.2、4.3中得到的三种特征进行归一化处理，然后堆叠形成一个高维极化特征描述基元来表示PolSAR图像，设为X，其中M表示像素点个数，N表示极化特征的维度，即每个像素点使用N个极化特征来表示。
进一步的，步骤5的具体实现包括以下子步骤，
步骤5.1，对待分类的PolSAR数据进行随机采样，每一类的采样比例相同，把数据分为训练样本和测试样本并保存采样位置为L，其中M1和M2分别为训练样本和测试样本的个数，且满足其中M1+M2＝M，M表示像素点个数；
步骤5.2，使用训练样本构建一个本征图GI＝{Xtrain，WI}和惩罚图GP＝{Xtrain，WP}，其中WI表示相似矩阵，WP表示约束矩阵；
步骤5.3，对本征图的相似矩阵WI施加稀疏和低秩约束，以分别捕获数据的局部和全局结构信息；其中，稀疏约束和低秩约束分别使用矩阵的范数和核范数优化问题来实现，从而构造求解相似矩阵的目标函数：
其中，||·||*表示核范数，||·||1表示范数，||·||2，1表示范数；μ和α是正则化参数，μ用来平衡稀疏项和低秩项的作用，α用来控制稀疏表示的误差正则项；Xtrain＝XtrainWI+E是基于字典Xtrain的稀疏表示，WI为M1×M1的实对称稀疏表示系数矩阵，E为稀疏表示误差矩阵，相似矩阵的主对角线上的元素为0，即表示使用除了样本自己之外的其他样本来构成稀疏表示的字典原子；
步骤5.4，使用具有自适应惩罚项的线性交替方向法优化求解步骤5.3中的目标函数，得到一个最优的相似矩阵WI*；
步骤5.5，选定约束矩阵WP为M1×M1的单位矩阵，并解决关于WI*的广义特征值分解问题：
其中，LI和LP分别为本征图GI和惩罚图GP的拉普拉斯矩阵，定义为LI＝DI-WI，LP＝DP-WP，DI和DP是对角矩阵，其对角元素分别为和Q为基于图嵌入模型的线性降维算法所寻求的投影矩阵，它表示原始高维特征空间到经过稀疏-低秩图嵌入的降维模型降维后的一个子空间的线性映射关系，即 K＜＜N，K表示降维后的子空间维度，为Xtrain在低维子空间中的稀疏-低秩表示；λ＝diag(λ1，λ2，…，λN)为矩阵Q的特征值对角矩阵，设其对应的特征向量矩阵按照特征值从小到大排列后为V＝[V1，V2，…VN]；
步骤5.6，选择特征向量矩阵V的前K个向量构成投影矩阵Q，即Q＝[V1，V2，…VK]；
步骤5.7，使用步骤5.6中得到的投影矩阵Q将测试样本映射到低维子空间中，即
进一步的，步骤6的具体实现包括以下子步骤，
步骤6.1，根据步骤5.1中保存的采样位置L对非线性深层多尺度空间特征Ffcn进行采样，分为训练样本的特征F1和测试样本的特征F2，即Ffcn＝[F1，F2]；
步骤6.2，将步骤6.1中的非线性深层多尺度空间特征Ffch＝[F1，F2]使用Z-分数进行归一化处理，归一化以后的特征设为Ffcn *；
步骤6.3，将浅层稀疏-低秩子空间特征使用Z-分数进行归一化处理，归一化以后的特征设为Fsl *；
步骤6.4，将步骤6.2和步骤6.3中的特征进行加权融合得到融合的多层次子空间特征其中，和是加权融合系数，满足
进一步的，步骤7中使用支持向量机对步骤6中得到的融合的多层次子空间特征进行分类。
与现有技术相比，本发明的优点和有益效果为：本方法充分利用了FCN能够从数据本身自动地学习深层空间特征的强大能力，以及稀疏和低秩表示能够同时捕获数据的局部和全局结构的特性，并把FCN与稀疏-低秩表示有效地融合起来使它们能够优势互补。通过本方法获得的分类特征包含了从线性到非线性、从浅层到深层、从局部到全局以及从极化到空间等多种类型的信息，因此判别性更强，分类准确率更高。
附图说明
图1是本发明实施例的PolSAR图像分类方法的整体框图。
图2是本发明实施例的使用全卷积神经网络提取非线性的深层多尺度空间特征流程图。
图3是本发明实施例的使用稀疏-低秩图嵌入降维模型对高维极化特征降维的示意图。
图4是本发明实施例的多层次子空间特征加权融合及分类的示意图。
具体实施方式
为了便于本领域相关技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的方法能够用计算机软件技术实现流程自动运行，如图1所示，主要包含三个过程：非线性的深层多尺度空间特征的提取过程，线性的浅层稀疏-低秩子空间特征的提取过程，以及非线性深层多尺度空间特征与线性浅层稀疏-低秩子空间特征的加权融合与分类过程。
过程1：本发明实施例的非线性深层多尺度空间特征的提取，如图2，包含以下几个步骤：
1.1)准备待分类的PolSAR图像数据集，对待分类图像的极化散射矩阵S进行Pauli分解；
1.2)将步骤1.1)Pauli分解得到的奇次散射系数、偶次散射系数和体散射系数分别作为B、R、G通道合成Pauli伪彩图；
1.3)构建一个深度FCN，主要包含卷积1_1层、卷积1_2层、池化1层、卷积2_1层、卷积2_2层、池化2层、卷积3_1层、卷积3_2层、卷积3_3层、池化3层、卷积4_1层、卷积4_2层、卷积4_3层、池化4层、卷积5_1层、卷积5_2层、卷积5_3层、池化5层、卷积6层(fc6层)、卷积7层(fc7层)、卷积层(score_wy)、反卷积层(upscore2)、卷积层(score_pool4)、Eltwise层(融合层)、反卷积层(upscore_pool4)、卷积层(score_pool3)、Eltwise层(融合层)、反卷积层(upscore_pool3)、裁剪层(score)、SoftmaxWithLoss层。
1.4)使用具有21个类别的光学图像数据集PASCAL VOC 2011训练步骤3)中的FCN；
1.5)将步骤1.2)中的Pauli伪彩图输入步骤1.4)中训练好的全卷积神经网络模型，提取score层输出的21维特征图，作为非线性深层多尺度空间特征，设为Ffcn，其中M表示像素点个数，即每个像素点使用一个21维的空间特征矢量来表示；
过程2：本发明实施例的线性浅层稀疏-低秩子空间特征的提取，如图3，包含以下几个步骤：
过程2.1：实施例的高维极化特征的准备，包括以下几个步骤：
2.1.1)对待分类PolSAR数据的极化散射矩阵S进行多种相干目标分解，包括Cloude分解、Pauli分解和SDH分解；
2.1.2)从待分类的PolSAR数据集中提取极化相干矩阵T，对极化相干矩阵T进行多种非相干目标分解，包括H-A-α分解、Freeman-Durden分解、Huynen分解和Yamaguchi分解；
2.1.3)提取极化相干矩阵T的主对角线元素，以及非对角线上的每一个元素的实部和虚部的模作为极化统计特征；
2.1.4)把步骤2.1.1)、步骤2.1.2)和步骤2.1.3)中得到的三种特征进行归一化处理，然后堆叠形成一个高维极化特征描述基元来表示PolSAR图像，设为X，其中M表示像素点个数，N表示极化特征的维度，即每个像素点使用N个极化特征来表示；
过程2.2：使用线性浅层的稀疏-低秩图嵌入降维模型对高维极化特征进行降维，具体包括：
2.2.1)对待分类的PolSAR数据进行随机采样(每一类的采样比例相同)，把数据分为训练样本和测试样本并保存采样位置为L，其中M1和M2分别为训练样本和测试样本的个数，且满足为M1+M2＝M，M表示像素点个数；
2.2.2)使用训练样本分别构建一个本征图GI＝{Xtrain，WI}和惩罚图GP＝{Xtrain，WP}，其中WI表示相似矩阵，WP表示约束矩阵；
2.2.3)对本征图的相似矩阵WI施加稀疏和低秩约束，以分别捕获数据的局部和全局结构信息。其中，稀疏约束和低秩约束分别使用矩阵的范数和核范数优化问题来实现，从而构造求解相似矩阵的目标函数：
其中，||·||*表示核范数，||·||1表示范数，||·||2，1表示范数。μ和α是正则化参数，μ用来平衡稀疏项和低秩项的作用，α用来控制稀疏表示的误差正则项。Xtrain＝XtrainWI+E是基于字典Xtrain的稀疏表示，WI为M1×M1的实对称稀疏表示系数矩阵，E为稀疏表示误差矩阵，相似矩阵的主对角线上的元素为0，即表示使用除了样本自己之外的其他样本来构成稀疏表示的字典原子。
2.2.4)使用具有自适应惩罚项的线性交替方向法(linearized alternatingdirection method with adaptive penalty,LADMAP)优化求解步骤2.2.3)中的目标函数，得到一个最优的相似矩阵WI*；
2.2.5)选定约束矩阵WP为M1×M1的单位矩阵，并解决关于WI*的广义特征值分解问题：
其中，LI和LP分别为本征图GI和惩罚图GP的拉普拉斯矩阵，定义为LI＝DI-WI，LP＝DP-WP，DI和DP是对角矩阵，其对角元素分别为和Q为基于图嵌入模型的线性降维算法所寻求的投影矩阵，它表示原始高维特征空间到经过稀疏-低秩图嵌入的降维模型降维后的一个子空间的线性映射关系，即 K＜＜N，K表示降维后的子空间维度，为Xtrain在低维子空间中的稀疏-低秩表示。λ＝diag(λ1，λ2，…，λN)为矩阵Q的特征值对角矩阵，设其对应的特征向量矩阵按照特征值从小到大排列后为V＝[V1，V2，…VN]；
2.2.6)选择特征向量矩阵V的前K个向量构成投影矩阵Q，即Q＝[V1，V2，…VK]；
2.2.7)使用步骤2.2.6)中得到的投影矩阵Q将测试样本映射到低维子空间中，即
过程3：非线性深层多尺度空间特征与线性浅层稀疏-低秩子空间特征的加权融合与分类，如图4，包括以下几个步骤：
3.1)根据过程2.2的步骤2.2.1)中保存的采样位置L对非线性深层多尺度空间特征Ffcn进行采样，分为训练样本的特征F1和测试样本的特征F2，即Ffcn＝[F1，F2]；
3.2)将步骤3.1)中的非线性深层多尺度空间特征Ffcn＝[F1，F2]使用Z-分数进行归一化处理，归一化以后的特征设为Ffcn *；
3.3)将浅层稀疏-低秩子空间特征使用Z-分数进行归一化处理，归一化以后的特征高为Fsl *；
3.4)将步骤3.2)和步骤3.3)中的特片进行加权融合得到多层次融合子空间特征其中，和是加权融合系数，满足
3.5)将上一步中得到的多层次融合子空间特征F输入支持向量机，进行最后的分类；
虽然FCN能够提取对分类非常有利的非线性深层多尺度的空间特征，但是其相对较大的感受野决定了它不能很好地处理边缘和其他细节问题；而稀疏-低秩图嵌入降维模型能够捕获局部细节信息，但是它是一种线性的方法，对于非线性的PolSAR图像分类问题，其特征辨别能力有限。因此，通过过程3对FCN和稀疏-低秩图嵌入降维模型的有效融合，正好使得它们二者能够优势互补，进一步增强了最后的分类特征的判别能力，从而提高分类准确率。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，但仅仅是对本发明精神作举例说明，并不能因此而认为是对本发明专利保护范围的限制。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于，包括以下步骤：
步骤1，准备待分类的PolSAR图像数据集，从待分类图像中提取极化相干矩阵和极化散射矩阵；
步骤2，对待分类图像的极化散射矩阵进行Pauli分解，将分解得到的奇次散射、偶次散射和体散射系数分别作为B、R、G通道合成Pauli伪彩图；
步骤3，把步骤2得到的Pauli伪彩图输入一个在光学图像上训练好的深度FCN模型，以提取PolSAR图像的非线性深层多尺度空间特征，具体实现包括以下子步骤，
步骤3.1，构建一个深度FCN，包含卷积1_1层、卷积1_2层、池化1层、卷积2_1层、卷积2_2层、池化2层、卷积3_1层、卷积3_2层、卷积3_3层、池化3层、卷积4_1层、卷积4_2层、卷积4_3层、池化4层、卷积5_1层、卷积5_2层、卷积5_3层、池化5层、卷积6层、卷积7层、卷积层、反卷积层、卷积层、Eltwise层、反卷积层、卷积层、Eltwise层、反卷积层、裁剪层、SoftmaxWithLoss层；
步骤3.2，使用具有21个类别的光学图像数据集PASCAL VOC 2011预先训练步骤3.1中的FCN；
步骤3.3，把步骤2得到的Pauli伪彩图输入步骤3.2中训练好的FCN模型，提取裁剪层输出的21维特征图，作为深层多尺度空间特征，设为其中M表示像素点个数，即每个像素点使用一个21维的空间特征矢量来表示；
步骤4，对待分类图像的极化相干矩阵和极化散射矩阵分别进行极化分解，形成高维极化特征描述基元来表示PolSAR图像；
步骤5，使用浅层稀疏-低秩图嵌入线性降维模型对步骤4中的高维极化特征进行降维，得到稀疏-低秩的子空间特征；
步骤6，对步骤3中得到的非线性深层多尺度空间特征和步骤5中得到的线性稀疏-低秩的子空间特征进行归一化和加权处理，得到一个融合的多层次子空间特征；
步骤7，对步骤6中得到的融合的多层次子空间特征进行分类。
2.根据权利要求1所述的基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于：步骤4的具体实现包括以下子步骤，
步骤4.1，对待分类PolSAR数据的极化散射矩阵S进行多种相干目标分解，包括Cloude分解、Pauli分解和SDH分解；
步骤4.2，对待分类的PolSAR数据的极化相干矩阵T进行多种非相干目标分解，包括H-A-α分解、Freeman-Durden分解、Huynen分解和Yamaguchi分解；
步骤4.3，提取极化相干矩阵T的主对角线元素，以及非对角线上的每一个元素的实部和虚部的模作为极化统计特征；
步骤4.4，将步骤4.1、4.2、4.3中得到的三种特征进行归一化处理，然后堆叠形成一个高维极化特征描述基元来表示PolSAR图像，设为其中M表示像素点个数，N表示极化特征的维度，即每个像素点使用N个极化特征来表示。
3.根据权利要求2所述的基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于：步骤5的具体实现包括以下子步骤，
步骤5.1，对待分类的PolSAR数据进行随机采样，每一类的采样比例相同，把数据分为训练样本和测试样本并保存采样位置为L，其中M1和M2分别为训练样本和测试样本的个数，且满足其中M1+M2＝M，M表示像素点个数；
步骤5.2，使用训练样本构建一个本征图GI＝{Xtrain，WI}和惩罚图GP＝{Xtrain，WP}，其中WI表示相似矩阵，WP表示约束矩阵；
步骤5.3，对本征图的相似矩阵WI施加稀疏和低秩约束，以分别捕获数据的局部和全局结构信息；其中，稀疏约束和低秩约束分别使用矩阵的范数和核范数优化问题来实现，从而构造求解相似矩阵的目标函数：
其中，||·||*表示核范数，||·||1表示范数，||·||2，1表示范数；μ和α是正则化参数，μ用来平衡稀疏项和低秩项的作用，α用来控制稀疏表示的误差正则项；Xtrain＝XtrainWI+E是基于字典Xtrain的稀疏表示，WI为M1×M1的实对称稀疏表示系数矩阵，E为稀疏表示误差矩阵，相似矩阵的主对角线上的元素为0，即表示使用除了样本自己之外的其他样本来构成稀疏表示的字典原子；
步骤5.4，使用具有自适应惩罚项的线性交替方向法优化求解步骤5.3中的目标函数，得到一个最优的相似矩阵WI*；
步骤5.5，选定约束矩阵WP为M1×M1的单位矩阵，并解决关于WI*的广义特征值分解问题：
其中，LI和LP分别为本征图GI和惩罚图GP的拉普拉斯矩阵，定义为LI＝DI-WI，LP＝DP-WP，DI和DP是对角矩阵，其对角元素分别为和Q为基于图嵌入模型的线性降维算法所寻求的投影矩阵，它表示原始高维特征空间到经过稀疏-低秩图嵌入的降维模型降维后的一个子空间的线性映射关系，即K表示降维后的子空间维度，为Xtrain在低维子空间中的稀疏-低秩表示；λ＝diag(λ1，λ2，…，λN)为矩阵Q的特征值对角矩阵，设其对应的特征向量矩阵按照特征值从小到大排列后为V＝[V1，V2，…VN]；
步骤5.6，选择特征向量矩阵V的前K个向量构成投影矩阵Q，即Q＝[V1，V2，…VK]；
步骤5.7，使用步骤5.6中得到的投影矩阵Q将测试样本映射到低维子空间中，即
4.根据权利要求3所述的基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于：步骤6的具体实现包括以下子步骤，
步骤6.1，根据步骤5.1中保存的采样位置L对非线性深层多尺度空间特征Ffcn进行采样，分为训练样本的特征F1和测试样本的特征F2，即Ffcn＝[F1，F2]；
步骤6.2，将步骤6.1中的非线性深层多尺度空间特征Ffcn＝[F1，F2]使用Z-分数进行归一化处理，归一化以后的特征设为Ffcn *；
步骤6.3，将浅层稀疏-低秩子空间特征使用Z-分数进行归一化处理，归一化以后的特征设为Fsl *；
步骤6.4，将步骤6.2和步骤6.3中的特征进行加权融合得到融合的多层次子空间特征其中，和是加权融合系数，满足
5.根据权利要求1-4任一所述的基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法，其特征在于：步骤7中使用支持向量机对步骤6中得到的融合的多层次子空间特征进行分类。
CN201810124693.3A 2018-02-07 2018-02-07 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法 Active CN108446716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810124693.3A CN108446716B (zh) 2018-02-07 2018-02-07 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810124693.3A CN108446716B (zh) 2018-02-07 2018-02-07 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法

Publications (2)

Publication Number Publication Date
CN108446716A CN108446716A (zh) 2018-08-24
CN108446716B true CN108446716B (zh) 2019-09-10

Family

ID=63191772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810124693.3A Active CN108446716B (zh) 2018-02-07 2018-02-07 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法

Country Status (1)

Country Link
CN (1) CN108446716B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359525B (zh) * 2018-09-07 2021-01-29 西安电子科技大学 基于稀疏低秩的判别谱聚类的极化sar图像分类方法
CN109145870B (zh) * 2018-09-12 2021-06-25 中国农业大学 基于sar极化分解和卷积神经网络的两阶段盐碱地监测方法
CN109460788B (zh) * 2018-10-29 2020-12-08 西安电子科技大学 基于低秩-稀疏信息组合网络的高光谱图像分类方法
CN109726671B (zh) * 2018-12-27 2020-08-04 上海交通大学 从全局到类别特征表达学习的动作识别方法和系统
CN111753949A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 一种数据块处理方法、装置及电子设备
CN110096994B (zh) * 2019-04-28 2021-07-23 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN111476272B (zh) * 2020-03-11 2023-02-21 重庆邮电大学 一种基于结构约束对称低秩保留投影的降维方法
CN111680731B (zh) * 2020-06-01 2023-06-27 厦门大学 基于几何感知判别词典学习的极化sar图像监督分类方法
CN111833284B (zh) * 2020-07-16 2022-10-14 昆明理工大学 一种基于低秩分解和卷积稀疏编码的多源图像融合的方法
CN111860356B (zh) * 2020-07-23 2022-07-01 中国电子科技集团公司第五十四研究所 基于非线性投影字典对学习的极化sar图像分类方法
CN112052754B (zh) * 2020-08-24 2023-05-05 西安电子科技大学 基于自监督表征学习的极化sar影像地物分类方法
CN112183561B (zh) * 2020-11-09 2024-04-30 山东中医药大学 一种用于图像特征提取的联合融减自动编码器算法
CN112712050B (zh) * 2021-01-12 2023-05-16 西安电子科技大学 基于ds证据融合的极化sar图像语义变化检测方法
CN112884007B (zh) * 2021-01-22 2022-08-09 重庆交通大学 一种像素级统计描述学习的sar图像分类方法
CN112926448B (zh) * 2021-02-24 2022-06-14 重庆交通大学 一种相干斑模式起伏稳健的sar图像分类方法
CN114387439B (zh) * 2022-01-13 2023-09-12 中国电子科技集团公司第五十四研究所 一种基于光学和PolSAR特征融合的语义分割网络
CN115410093A (zh) * 2022-08-31 2022-11-29 西安理工大学 基于双通道编码网络和条件随机场的遥感图像分类方法
CN117173584A (zh) * 2023-08-02 2023-12-05 宁波大学 一种PolSAR与Pan影像融合的陆面小微水体提取方法与装置
CN117095309B (zh) * 2023-10-20 2024-01-16 武汉工程大学 一种极化sar影像旋转域特征表达提取与分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574548A (zh) * 2015-12-23 2016-05-11 北京化工大学 一种基于稀疏和低秩表示图的高光谱数据降维方法
CN107169492A (zh) * 2017-05-26 2017-09-15 西安电子科技大学 基于fcn‑crf主从网络的极化sar目标检测方法
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574548A (zh) * 2015-12-23 2016-05-11 北京化工大学 一种基于稀疏和低秩表示图的高光谱数据降维方法
CN107169492A (zh) * 2017-05-26 2017-09-15 西安电子科技大学 基于fcn‑crf主从网络的极化sar目标检测方法
CN107392122A (zh) * 2017-07-07 2017-11-24 西安电子科技大学 基于多极化特征和fcn‑crf融合网络的极化sar影像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A low-rank fully convolutional network for classification based on a multi-dimensional description primitive of time series polarimetric sar images;Chu He et.al;《2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20171204(第1期);第3101-3104页
基于稀疏表示的高维数据无监督挖掘研究;冯小东;《中国博士学位论文全文数据库信息科技辑》;20150915(第09期);第I138-15页

Also Published As

Publication number Publication date
CN108446716A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108446716B (zh) 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
Saha et al. Unsupervised deep change vector analysis for multiple-change detection in VHR images
CN113936339B (zh) 基于双通道交叉注意力机制的打架识别方法和装置
CN103996047B (zh) 基于压缩谱聚类集成的高光谱图像分类方法
CN108564115A (zh) 基于全卷积gan的半监督极化sar地物分类方法
CN107679509A (zh) 一种小环藻识别方法及装置
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
CN107092884A (zh) 一种快速粗精级联行人检测方法
Neagoe et al. Concurrent self-organizing maps for supervised/unsupervised change detection in remote sensing images
Abozeid et al. A large-scale dataset and deep learning model for detecting and counting olive trees in satellite imagery
CN105989336A (zh) 基于带权重的解卷积深度网络学习的场景识别方法
He et al. Object-oriented mangrove species classification using hyperspectral data and 3-D Siamese residual network
US20230053911A1 (en) Detecting an object in an image using multiband and multidirectional filtering
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN103049767A (zh) 基于生物激发特征和流形学习的极光图像分类方法
CN103268484A (zh) 用于高精度人脸识别的分类器设计方法
CN107341505A (zh) 一种基于图像显著性与Object Bank的场景分类方法
Li et al. Object-oriented classification of polarimetric SAR imagery based on statistical region merging and support vector machine
Kiruthika et al. Image quality assessment based fake face detection
Tao et al. Deep Learning for Hyperspectral Image Analysis and Classification
Duffner et al. A neural scheme for robust detection of transparent logos in TV programs
Nogueira et al. Coffee crop recognition using multi-scale convolutional neural networks
Tohill et al. A Robust Study of High-redshift Galaxies: Unsupervised Machine Learning for Characterizing Morphology with JWST up to z∼ 8
Walder et al. Neural network based methods for cloud classification on AVHRR images
Voelsen et al. Investigations on feature similarity and the impact of training data for land cover classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant