CN112052754B - 基于自监督表征学习的极化sar影像地物分类方法 - Google Patents

基于自监督表征学习的极化sar影像地物分类方法 Download PDF

Info

Publication number
CN112052754B
CN112052754B CN202010854358.6A CN202010854358A CN112052754B CN 112052754 B CN112052754 B CN 112052754B CN 202010854358 A CN202010854358 A CN 202010854358A CN 112052754 B CN112052754 B CN 112052754B
Authority
CN
China
Prior art keywords
layer
characterization
network model
convolution
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010854358.6A
Other languages
English (en)
Other versions
CN112052754A (zh
Inventor
任博
赵阳阳
侯彪
焦李成
马晶晶
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010854358.6A priority Critical patent/CN112052754B/zh
Publication of CN112052754A publication Critical patent/CN112052754A/zh
Application granted granted Critical
Publication of CN112052754B publication Critical patent/CN112052754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于自监督表征学习的极化SAR影像地物分类方法，主要解决现有极化SAR深度卷积网络分类所需标签数多、鲁棒性差的问题。其方案是：对极化SAR原始数据进行极化相干矩阵模态表征提取和Pauli色彩模态表征提取；设计自监督表征学习损失函数及网络框架，并在不使用标签数据的情况下对该框架进行训练；将训练好的网络框架权重值迁移到深度卷积分类网络模型中；使用少量有标签样本对该深度卷积分类网络进行微调训练，得到训练好的分类器；将测试数据输入到训练好的分类器，得到最终的分类结果。本发明减少了对标签数据量的需求，提高了极化SAR深度卷积网络的分类精度和鲁棒性，可用于指导农业和海洋监测。

Description

基于自监督表征学习的极化SAR影像地物分类方法
技术领域
本发明属于图像处理技术领域，特别涉及一种极化SAR影像地物分类方法，可用指导农业和海洋监测。
背景技术
极化SAR图像地物分类任务是将获取的极化SAR图像的每一个像素点划分为不同的地形类别。在城市规划、海洋监测、地质勘探以及农作物生长状况评估等领域，得到了广泛的应用并且有着广阔的前景。
目前，极化SAR地物分类技术可以分为三个方向：第一种是基于极化散射机制来对极化SAR数据分类。大多数的此种分类方法都是基于Pauli分解、Freeman分解以及H/α分解这些极化目标分解理论对极化目标进行分解，从而提取具有相关物理意义的极化散射特征，这些特征可以很好的对极化SAR地物进行分类。第二类方法是基于极化相干矩阵的数学统计特性而提出的。研究表明，极化SAR数据的极化相干矩阵服从复Wishart分布，其通过计算数据之间的Wishart距离，可以完成对极化SAR数据的分类。第三类方法是利用机器学习的方法来对高维极化SAR数据进行特征提取，从而实现对极化SAR数据地物分类。
所述机器学习相关方法在自然图像处理领域取得了令人瞩目的成就，且在迁移到极化SAR数据处理任务中，同样也展示了优越性。使用支持向量机SVM和主成分分析PCA等方法结合极化SAR目标的散射特性，对高维极化SAR数据进行特征提取，极大地提高了极化SAR数据的分类精度。随着深度神经网络的发展，SiZhe Chen,Haipeng Wang,Feng Xu,Ya-QiuJin，在其发表的论文“Polarimetric SAR Image Classification Using DeepConvolutional Neural Networks”中提出了基于深度卷积网络的极化SAR目标分类方法。该方法可以自动提取极化SAR数据中的高级特征语义表示，显著的提高了极化SAR数据的地物分类精度。
尽管基于深度卷积网络的极化SAR地物分类方法取得了优异的成绩。然而，训练基于深度卷积网络的分类器需要大量的标签数据参与。当标签数据有限时，训练出的分类器分类精度不高、鲁棒性差。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于自监督表示学习模型的极化SAR地物分类方法，以在标签数据有限情况下，提高极化SAR地物分类的准确率和鲁棒性。
本发明的技术思路是：通过设计合理的辅助任务和网络模型提取极化SAR数据的两种模态表示之间的互信息。通过该互信息为深度卷积网络分类器提供极化SAR数据的先验知识，在先验知识的帮助下，使用有限的标签数据对网络进行训练，得到准确率高的分类器。
根据上述思路，本发明的步骤如下：
(1)通过不同卫星获取极化SAR影像数据，从影像数据中选取一个图像子块作为数据集S，从该数据集中，随机选取5％的无标签像素点数据作为自监督表征学习的训练集S1，随机选取1％的含标签信息像素点数据作为深度卷积网络分类器的训练集S2，剩下99％的含标签信息数据用作测试集S3；
(2)提取数据集S的相干矩阵T，并利用相干矩阵的元素构建9维向量特征表征，再对该特征表征周围进行宽度为7的“0”填充后，使用15×15大小的窗口对其进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×9的相干矩阵模态向量表征X；
(3)利用PolSARPro软件对数据集S进行Pauli分解，得到Pauli伪彩图，对该伪彩图的周围先进行宽度为7的“0”填充，再使用15×15大小的窗口进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×3的色彩模态特征向量表征Y；
(4)搭建极化SAR自监督表征学习网络框架M：
(4a)构建结构依次为：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第一全连层、第二全连层、第三全连接层的第一深度卷积网络模型M1，
(4b)构建除输入层外，网络结构关系与第一深度卷积网络模型M1相同的第二深度卷积网络模型M2，
(4c)构建与M1网络结构和参数相同的第三深度卷积网络模型M3；
(4d)构建与M2网络结构和参数相同的第四深度卷积网络模型M4；
(4e)将M1、M2、M3、M4这四个网络模型的输出端并联连接，构建一个四流输入的自监督表征学习网络框架M；
(5)设计自监督表征学习的损失函数L:
Figure BDA0002645859520000031
其中，xi表示第i个样本的相干矩阵模态表征，xj表示第j个样本的相干矩阵模态表征，(xi,xj)∈X，且xi≠xj，yi表示第i个样本的Pauli色彩模态表征，yj表示第j个样本的Pauli色彩模态表征，(yi,yj)∈Y，且yi≠yj，f(xi)表示xi输入到第一深度卷积网络模型M1中得到的第一相干矩阵模态向量表征，g(yi)表示yi输入到第二深度卷积网络模型M2中得到的第一Pauli色彩模态向量表征，f(xj)表示xj输入到第三深度卷积网络模型M3中得到的第二相干矩阵模态向量表征，g(yj)表示yj输入到第四深度卷积网络模型M4中得到的第二Pauli色彩模态向量表征，d(f(xi),g(yi))表示f(xi)与g(yi)之间的余弦距离，d(f(xj),g(yj))表示f(xj)与g(yj)之间的余弦距离，d(f(xi),f(xj))表示f(xi)与f(xj)之间的余弦距离，d(g(yi),g(yj))表示f(yi)与f(yj)之间的余弦距离；
(6)将自监督表征学习训练集S1输入到搭建好的极化SAR自监督表征学习网络框架M中，利用损失函数L对其进行训练，得到训练好的第一深度卷积网络模型M1的权重值；
(7)构建与M1网络结构相同的第五深度卷积网络模型M5，并将M5中第三全连接层的输出节点个数更改为数据集S的样本类别值，并利用(6)得到的训练好的模型权重值对M5的权重值进行初始化；
(8)将上述深度卷积网络分类器训练集S2输入到第五深度卷积网络模型M5，利用交叉熵损失函数F对其进行训练，得到训练好的极化SAR深度卷积网络分类器；
(9)将测试集S3输入训练好的分类器得到分类结果。
本发明与现有技术相比具有以下优点：
1、本发明利用极化SAR数据多模态表征的特性，设计适用极化SAR数据的自监督表征学习损失函数与网络模型框架，利用无标签数据对深度卷积网络模型进行预训练，减少了该模型在训练过程中对标签数据的需求量。
2、本发明在标签数据有限的情况下，利用设计的损失函数与网络框架，提取极化SAR数据的多模态表征间的互信息，为深度卷积网络模型提供先验知识，提高了深度卷积网络分类器的分类精度，增强了分类器的鲁棒性。
附图说明
图1是本发明的实现流程图；
图2是本发明中设计的极化SAR自监督表征学习深度卷积网络框架图；
图3是本发明仿真使用的西安西部地区Pauli伪彩图和Ground truth图；
图4是用现有方法和本发明方法对西安西部地区极化SAR图像的分类结果图。
具体实施方式
本实例的实现方案是：选取极化SAR数据的两个模态特征表示，在不使用标签信息的情况下，利用设计好的损失函数和深度卷积网络框架，对其进行自监督表征学习特征提取训练，再用学到的参数初始化深度卷积网络分类器，然后用有标签的训练样本对该分类器进行微调，最终对测试样本进行分类。
参照图1，本实例的具体实现步骤如下：
步骤1，划分训练集和测试集。
通过不同卫星获取极化SAR影像数据，从影像数据中选取一个图像子块作为数据集S，从该数据集中，随机选取5％的无标签像素点数据作为自监督表征学习的训练集S1，随机选取1％的含标签信息像素点数据作为深度卷积网络分类器的训练集S2，剩下99％的含标签信息数据用作测试集S3。
步骤2，对数据进行多模态特征提取。
2.1)提取数据集S的相干矩阵T，表示如下:
Figure BDA0002645859520000041
其中，T是一个9维复数对称矩阵，分别提取其实部和虚部，构建一个9维实数向量表示为：[T11,T22,T33,real(T12),real(T13),real(T23),image(T12),image(T13),image(T23)]，再对该特征表征周围进行宽度为7的“0”填充后，使用15×15大小的窗口对其进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×9的相干矩阵模态特征向量表征X；
2.2)利用PolSARPro软件对数据集S进行Pauli分解，得到Pauli伪彩图，对该伪彩图的周围先进行宽度为7的“0”填充，再使用15×15大小的窗口进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×3的色彩模态特征向量表征Y。
本实例通过RADARSAT-2卫星从西安西部地区，获取极化SAR图像数据，选择其中一个512×512大小的子块，包括河流，农田和城区3个地域类别，如图3所示。对该子块数据进行多模态特征提取得到该数据集的色彩模态特征和相干矩阵模态特征。
步骤3,搭建极化SAR自监督表征学习深度卷积网络框架M。
3.1)构建结构依次为：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第一全连层、第二全连层、第三全连接层的第一深度卷积网络模型M1，每层的参数设置如下：
输入层的输入尺寸为15*15*9；
第一卷积层的特征图总数为96，卷积核大小为3*3，步长为1*1；
第一池化层的池化核大小为3*3，步长为1*1；
第二卷积层的特征图总数为256，卷积核大小为3*3，步长为1*1；
第二池化层的池化核大小为3*3，步长为1*1；
第三卷积层的特征图总数为384，卷积核大小为3*3，步长为1*1；
第四卷积层的特征图总数为384，卷积核大小为3*3，步长为1*1；
第五卷积层的特征图总数为256，卷积核大小为3*3，步长为1*1；
第三池化层的池化核大小为3*3，步长为2*2；
第一全连层的输入节点个数为6400，输出节点个数为4096；
第二全连层的输入节点个数为4096，输出节点个数为4096；
第三全连层的输入节点个数为4096，输出节点个数为1000。
3.2)构建除输入层外，网络结构关系与第一深度卷积网络模型M1相同的第二深度卷积网络模型M2，输入层的输入尺寸为15*15*9；
3.3)构建与M1网络结构和参数相同的第三深度卷积网络模型M3；
3.4)构建与M2网络结构和参数相同的第四深度卷积网络模型M4；
3.5)将M1、M2、M3、M4这四个网络模型的输出端并联连接，构建一个四流输入的自监督表征学习网络框架M，如图2中的虚线框所示。
步骤4，设计自监督表征学习的损失函数L。
参照图2，本步骤的具体实现如下：
4.1)将自监督表征学习训练集S1的第i个样本相干矩阵模态表征xi，输入到第一深度卷积网络模型M1中，得到第一相干矩阵模态向量表征f(xi)，xi∈X；
4.2)将自监督表征学习训练集S1的第i个样本Pauli色彩模态表征yi，输入到第二深度卷积网络模型M2中，得到第一Pauli色彩模态向量表征g(yi)，yi∈Y；
4.3)将自监督表征学习训练集S1的第j个样本相干矩阵模态表征xj，输入到第三深度卷积网络模型M3中，得到第二相干矩阵模态向量表征f(xj)，xj∈X，j≠i；
4.4)将自监督表征学习训练集S1的第j个样本Pauli色彩模态表征yj，输入到第四深度卷积网络模型M4中，得到第二Pauli色彩模态向量表征g(yj)，yj∈Y；
4.5)利用余弦距离，计算色彩模态向量表征与相干矩阵模态向量表征之间的损失函数：
Figure BDA0002645859520000061
其中，d(f(xi),g(yi))表示第一相干矩阵模态向量表征f(xi)与第一Pauli色彩模态向量表征g(yi)之间的余弦距离，d(f(xj),g(yj))表示第二相干矩阵模态向量表征f(xj)与第二Pauli色彩模态g(yj)之间的余弦距离；
4.6)计算样本间损失函数：
Figure BDA0002645859520000062
其中，d(f(xi),f(xj))表示第一相干矩阵模态向量表征f(xi)与第二相干矩阵模态向量表征f(xj)之间的余弦距离，d(g(yi),g(yj))表示第一Pauli色彩模态向量表征f(yi)与第二Pauli色彩模态f(yj)之间的余弦距离；
4.7)将上述两类损失函数相加得到最终的损失函数L：
Figure BDA0002645859520000063
步骤5，利用损失函数L对搭建好的极化SAR自监督表征学习网络框架M进行训练。
本步骤的具体实现如下：
5.1)设置训练参数：学习率为0.001，批大小为100，迭代次数为50；
5.2)从自监督表征学习的训练集S1中随机选取两个样本点作为一组训练样本对，选取批大小为100的训练样本对，输入到网络框架M；
5.3)根据设计的损失函数L，利用反向传播算法，更新网络框架M的权重值，在更新过程中，第一深度卷积网络模型M1与第三深度卷积网络模型M3共享权重值，第二深度卷积网络模型M2与第四深度卷积网络模型M4共享权重值；
5.4)重复步骤5.2)与5.3)共50次，完成对自监督学习网络框架M的训练，得到训练好的深度卷积网络模型M的权重值，其中包括第一深度卷积网络模型M1的权重值、第二深度卷积网络模型M2的权重值、第三深度卷积网络模型M3的权重值、第四深度卷积网络模型M4的权重值。
步骤6，构建与M1网络结构相同的第五深度卷积网络模型M5，并将M5中第三全连接层的输出节点值更改为数据集S的样本类别值，并利用步骤5得到训练好的第一深度卷积网络模型M1的权重值对M5的权重值进行初始化。
步骤7，利用有标签信息的深度卷积网络分类器训练集S2对第五深度卷积网络模型M5进行训练，得到训练好的极化SAR深度卷积网络分类器。
本步骤的具体实现如下：
7.1)设置交叉熵损失函数F，表示如下：
Figure BDA0002645859520000071
其中，y表示深度卷积网络分类器的训练集S2中训练样本的输出类别概率，
Figure BDA0002645859520000072
表示该训练样本的One-hot标签。
7.2)设置学习率为0.001，批大小为100，迭代次数为50；
7.3)从深度卷积网络分类器训练集S2中随机选取批大小为100的训练样本；
7.4)根据交叉熵损失函数F，利用反向传播算法，更新深度卷积网络模型M5的权重值；
7.5)重复步骤7.3)与7.4)共50次，完成对深度卷积网络模型M5的训练，得到训练好的极化SAR深度卷积网络分类器。
步骤8，将测试集S3输入训练好的分类器，得到分类结果。
以下结合仿真实验，对本发明的技术效果作进一步说明。
1.仿真条件：
1.1)硬件平台为：Intel Core i7 CPU，主频2.60GHz，内存64.0GB，软件平台为：Ubuntu 16.04操作系统和PyTorch的软件环境下进行的。
1.2)仿真实验数据集通过RADARSAT-2卫星从西安西部地区采集，选择其中一个512×512大小的子块，其包括河流，农田和城区3个地域类别，如图3所示，其中图3(a)是Pauli伪彩图，图3(b)是该地区的Ground truth图。
2.仿真内容：
在上述仿真条件下，用本发明方法和现有卷积神经网络分类的方法对如图3所示西安地区的极化SAR图像进行分类仿真实验，其中现有深度卷积网络方法与本发明方法均采用1％的有标签数据进行训练，最后的得到的仿真分类结果图如图4所示，其中图4(a)是现有方法的分类结果图，图4(b)是本发明方法的分类结果图，与图3(b)的Ground truth图进行对比，可以看到本发明的方法分类准确率明显优于现有方法。
对各个地形类别的分类准确率和总体分类准确率进行统计，结果如表1所示。
表1.分类准确率结果
地形类别 农田 城区 河流 总体分类准确率
现有方法 92.05 94.97 91.32 92.97
本发明方法 97.31 98.30 95.61 97.41
从表1可以看到在采用1％的有标签数据时，本发明提出的基于自监督表征学习的极化SAR影像地物分类方法，各类地形分类准确率和总体分类准确率，都高于现有方法。

Claims (8)

1.一种基于自监督表征学习的极化SAR影像地物分类方法，其特征在于，包括如下：
(1)通过不同卫星获取极化SAR影像数据，从影像数据中选取一个图像子块作为数据集S，从该数据集中，随机选取5％的无标签像素点数据作为自监督表征学习的训练集S1，随机选取1％的含标签信息像素点数据作为深度卷积网络分类器的训练集S2，剩下99％的含标签信息数据用作测试集S3；
(2)提取数据集S的相干矩阵T，并利用相干矩阵的元素构建9维向量特征表征，再对该特征表征周围进行宽度为7的“0”填充后，使用15×15大小的窗口对其进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×9的相干矩阵模态向量表征X；
(3)利用PolSARPro软件对数据集S进行Pauli分解，得到Pauli伪彩图，对该伪彩图的周围先进行宽度为7的“0”填充，再使用15×15大小的窗口进行滑动取窗裁剪，得到每个像素点以自身为中心，且大小为15×15×3的色彩模态特征向量表征Y；
(4)搭建极化SAR自监督表征学习网络框架M：
(4a)构建结构依次为：输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第一全连层、第二全连层、第三全连接层的第一深度卷积网络模型M1，
(4b)构建除输入层外，网络结构关系与第一深度卷积网络模型M1相同的第二深度卷积网络模型M2，
(4c)构建与M1网络结构和参数相同的第三深度卷积网络模型M3；
(4d)构建与M2网络结构和参数相同的第四深度卷积网络模型M4；
(4e)将M1、M2、M3、M4这四个网络模型的输出端并联连接，构建一个四流输入的自监督表征学习网络框架M；
(5)设计自监督表征学习的损失函数L:
Figure FDA0002645859510000011
其中，xi表示第i个样本的相干矩阵模态表征，xj表示第j个样本的相干矩阵模态表征，(xi,xj)∈X，且xi≠xj，yi表示第i个样本的Pauli色彩模态表征，yj表示第j个样本的Pauli色彩模态表征，(yi,yj)∈Y，且yi≠yj，f(xi)表示xi输入到第一深度卷积网络模型M1中得到的第一相干矩阵模态向量表征，g(yi)表示yi输入到第二深度卷积网络模型M2中得到的第一Pauli色彩模态向量表征，f(xj)表示xj输入到第三深度卷积网络模型M3中得到的第二相干矩阵模态向量表征，g(yj)表示yj输入到第四深度卷积网络模型M4中得到的第二Pauli色彩模态向量表征，d(f(xi),g(yi))表示f(xi)与g(yi)之间的余弦距离，d(f(xj),g(yj))表示f(xj)与g(yj)之间的余弦距离，d(f(xi),f(xj))表示f(xi)与f(xj)之间的余弦距离，d(g(yi),g(yj))表示f(yi)与f(yj)之间的余弦距离；
(6)将自监督表征学习训练集S1输入到搭建好的极化SAR自监督表征学习网络框架M中，利用损失函数L对其进行训练，得到训练好的第一深度卷积网络模型M1的权重值；
(7)构建与M1网络结构相同的第五深度卷积网络模型M5，并将M5中第三全连接层的输出节点个数更改为数据集S的样本类别值，并利用(6)得到的训练好的模型权重值对M5的权重值进行初始化；
(8)将上述深度卷积网络分类器训练集S2输入到第五深度卷积网络模型M5，利用交叉熵损失函数F对其进行训练，得到训练好的极化SAR深度卷积网络分类器；
(9)将测试集S3输入训练好的分类器得到分类结果。
2.根据权利要求书1中所述的方法，其中(2)中的相干矩阵,表示如下:
Figure FDA0002645859510000021
其中，T是一个9维复数对称矩阵，分别提取其实部和虚部，构建一个9维实数向量表示为：[T11,T22,T33,real(T12),real(T13),real(T23),image(T12),image(T13),image(T23)]。
3.根据权利要求书1中所述的方法，其中(5)中设计自监督表征学习的损失函数，实现如下：
首先，计算色彩模态向量表征与相干矩阵模态向量表征之间的损失函数：
Figure FDA0002645859510000031
其次，计算样本间损失函数：
Figure FDA0002645859510000032
最后，将上述两类损失函数相加得到最终的损失函数：
Figure FDA0002645859510000033
4.根据权利要求书1中所述的方法，其中(4a)中第一深度卷积网络模型M1，其各层参数设置如下：
输入层的输入尺寸为15*15*9；
第一卷积层的特征图总数为96，卷积核大小为3*3，步长为1*1；
第一池化层的池化核大小为3*3，步长为1*1；
第二卷积层的特征图总数为256，卷积核大小为3*3，步长为1*1；
第二池化层的池化核大小为3*3，步长为1*1；
第三卷积层的特征图总数为384，卷积核大小为3*3，步长为1*1；
第四卷积层的特征图总数为384，卷积核大小为3*3，步长为1*1；
第五卷积层的特征图总数为256，卷积核大小为3*3，步长为1*1；
第三池化层的池化核大小为3*3，步长为2*2；
第一全连层的输入节点个数为6400，输出节点个数为4096；
第二全连层的输入节点个数为4096，输出节点个数为4096；
第三全连层的输入节点个数为4096，输出节点个数为1000。
5.根据权利要求书1中所述的方法，其中(4b)中第二深度卷积网络模型M2的各层参数设置如下：
输入层输入尺寸为15*15*3，
其它各层的参数与第一深度卷积网络模型M1相同。
6.根据权利要求书1所述的方法，其中(6)利用损失函数L对网络框架M进行训练，其实现如下：
(6a)设置学习率为0.001，批大小为100，迭代次数为50；
(6b)从自监督表征学习的训练集S1中随机选取两个样本点作为一组训练样本对，选取批大小为100的训练样本对；
(6c)根据设置的损失函数L，利用反向传播算法，更新M各层的参数；
(6d)重复(6b)到(6c)50次，完成对自监督学习网络框架的训练，并保存更新好的第一深度卷积网络模型M1的权重值。
7.根据权利要求书1所述的方法，其中(8)中的交叉熵损失函数F，表示如下：
Figure FDA0002645859510000041
其中，y表示深度卷积网络分类器的训练集S2中训练样本的输出类别概率，
Figure FDA0002645859510000042
表示该训练样本的One-hot标签。
8.根据权利要求书1所述的方法，其中(8)中利用损失函数F对第五深度卷积网络模型M5进行训练，其实现如下：
(8a)设置学习率为0.001，批大小为100，迭代次数为50；
(8b)从深度卷积网络分类器的训练集S2中随机选取批大小为100的有标签训练样本；
(8c)根据交叉熵损失函数F，利用反向传播算法，更新M5各层的权重值；
(8d)重复(8b)到(8c)共50次，完成对深度卷积网络模型M5的训练，并保存M5更新后的各层权重值。
CN202010854358.6A 2020-08-24 2020-08-24 基于自监督表征学习的极化sar影像地物分类方法 Active CN112052754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010854358.6A CN112052754B (zh) 2020-08-24 2020-08-24 基于自监督表征学习的极化sar影像地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010854358.6A CN112052754B (zh) 2020-08-24 2020-08-24 基于自监督表征学习的极化sar影像地物分类方法

Publications (2)

Publication Number Publication Date
CN112052754A CN112052754A (zh) 2020-12-08
CN112052754B true CN112052754B (zh) 2023-05-05

Family

ID=73599795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010854358.6A Active CN112052754B (zh) 2020-08-24 2020-08-24 基于自监督表征学习的极化sar影像地物分类方法

Country Status (1)

Country Link
CN (1) CN112052754B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651916A (zh) * 2020-12-25 2021-04-13 上海交通大学 自监督模型预训练方法、系统及介质
CN112837701B (zh) * 2020-12-31 2022-12-27 西安电子科技大学 基于多分类器交互学习的语音情感识别方法
CN113033609B (zh) * 2021-02-16 2022-11-29 浙江大学 一种基于多任务dcgan的sar图像分类方法
CN112949583A (zh) * 2021-03-30 2021-06-11 京科互联科技(山东)有限公司 复杂城市场景的目标检测方法、系统、设备及存储介质
CN113255734B (zh) * 2021-04-29 2024-03-22 浙江工业大学 一种基于自监督学习和迁移学习的抑郁症分类方法
CN113408628B (zh) * 2021-06-22 2023-01-31 西安邮电大学 基于多模型联合学习网络的PolSAR图像分类方法
CN113469077A (zh) * 2021-07-07 2021-10-01 西安电子科技大学 基于NCSAE的PolSAR数据压缩农作物分类方法
CN114724030B (zh) * 2022-04-06 2023-06-02 西安电子科技大学 基于对比学习的极化sar地物分类方法
CN115620157A (zh) * 2022-09-21 2023-01-17 清华大学 一种卫星图像的表征学习方法及装置
CN116385813B (zh) * 2023-06-07 2023-08-29 南京隼眼电子科技有限公司 基于无监督对比学习的isar图像空间目标分类方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN108564006A (zh) * 2018-03-26 2018-09-21 西安电子科技大学 基于自步学习卷积神经网络的极化sar地物分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1394733B1 (it) * 2009-07-08 2012-07-13 Milano Politecnico Procedimento per il filtraggio di interferogrammi generati da immagini sar acquisite sulla stessa area.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563422A (zh) * 2017-08-23 2018-01-09 西安电子科技大学 一种基于半监督卷积神经网络的极化sar分类方法
CN108446716A (zh) * 2018-02-07 2018-08-24 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN108564006A (zh) * 2018-03-26 2018-09-21 西安电子科技大学 基于自步学习卷积神经网络的极化sar地物分类方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
PolSAR Image Classification Using Polarimetric-Feature-Driven Deep Convolutional Neural Network;Siwei Chen et al;《 IEEE Geoscience and Remote Sensing Letters》;20180215;全文 *
Representation Learning with Contrastive Predictive Coding;Aaron van den Oord et al;《arXiv》;20180710;全文 *
全卷积网络和条件随机场相结合的全极化SAR土地覆盖分类;赵泉华等;《测绘学报》;20200115(第01期);全文 *
基于主动深度学习的极化SAR图像分类;徐佳等;《国土资源遥感》;20180203(第01期);全文 *
基于去取向理论的全极化SAR图像模糊非监督聚类;康欣等;《电子与信息学报》;20070430(第04期);全文 *
基于散射能量和Wishart的深度学习极化SAR分类;刘永坤;《中国优秀硕士学位论文全文数据库》;20190515;全文 *

Also Published As

Publication number Publication date
CN112052754A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112052754B (zh) 基于自监督表征学习的极化sar影像地物分类方法
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
CN103955702B (zh) 基于深度rbf网络的sar图像地物分类方法
Jin et al. Object-oriented method combined with deep convolutional neural networks for land-use-type classification of remote sensing images
CN104915676B (zh) 基于深层特征学习和分水岭的sar图像分类方法
Ming et al. Land cover classification using random forest with genetic algorithm-based parameter optimization
CN109034224B (zh) 基于双分支网络的高光谱分类方法
CN103413151B (zh) 基于图正则低秩表示维数约简的高光谱图像分类方法
CN106529721B (zh) 一种深度特征提取的广告点击率预测系统及其预测方法
CN104794730B (zh) 基于超像素的sar图像分割方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN105335975B (zh) 基于低秩分解和直方图统计的极化sar图像分割方法
CN104298999B (zh) 基于递归自动编码的高光谱特征学习方法
CN105069796B (zh) 基于小波散射网络的sar图像分割方法
CN103985112B (zh) 基于改进多目标粒子群优化聚类的图像分割方法
CN102945553B (zh) 基于自动差分聚类算法的遥感图像分割方法
CN105184297B (zh) 基于张量和稀疏自编码器的极化sar图像分类方法
CN106846322A (zh) 基于曲线波滤波器和卷积结构学习的sar图像分割方法
CN109359525A (zh) 基于稀疏低秩的判别谱聚类的极化sar图像分类方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN105184314A (zh) 基于像素聚类的wrapper式高光谱波段选择方法
Weng et al. Land use/land cover recognition in arid zone using a multi-dimensional multi-grained residual Forest☆
CN111325158B (zh) 一种基于cnn和rfc的集成学习的极化sar图像分类方法
Zhang et al. Simulation model of vegetation dynamics by combining static and dynamic data using the gated recurrent unit neural network-based method
CN102436642B (zh) 结合mrf和神经网络的多尺度彩色纹理图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant