CN114724030B - 基于对比学习的极化sar地物分类方法 - Google Patents

Abstract

本发明提出了一种基于对比学习的极化SAR地物分类方法，主要解决现有技术获取极化SAR数据标签样本难度大的问题。其实现方案为：将极化SAR数据集分为预训练数据集、微调数据集；对预训练数据进行增强并构建由残差网络和多层感知机组成的预训练模型；使用预训练数据集通过梯度下降法对预训练模型进行预训练；在训练好的预训练模型上增加一层全连接网络构成微调模型，使用微调数据集通过梯度下降法对其训练，得到训练好的微调模型；将整个极化SAR数据集输入到训练好的微调模型，完成极化SAR地物分类。本发明避免了使用大量的标签数据，减小了人力物力消耗，提高了极化SAR地物分类的效率和精度，可用于城市建设规划，海洋监测。

Description

基于对比学习的极化SAR地物分类方法

技术领域

本发明属于遥感图像处理技术领域，特别涉及一种极化SAR地物分类方法，可用于城市建设规划，海洋监测。

背景技术

遥感图像的地物分类不论在军用还是民用方面都有着巨大的研究价值和意义。而随着遥感成像技术的不断发展，遥感成像的方式也日趋多样化，并且其分辨率也逐渐提高。极化合成孔径雷达PolSAR是一种微波成像雷达,它采用主动成像方式，不受天气、光线以及云层的影响,能够实现全天时、全天候的成像。因此,极化SAR图像已经广泛应用于遥感图像地物分类。由于其独特的优点，使得合成孔径雷达图像无论是在民用方面还是在军用方面都有着巨大的潜力和战略意义。

极化SAR地物分类任务的目标是将每一个数据像素点分配一种特定的所属类别。近年来随着深度学习技术的发展，遥感图像分类技术也取得了十足的进步。极化SAR图像已经被越来越广泛地应用在全球地表覆盖，城市建设规划，海洋监测等方面。基于卷积神经网络CNN的分类算法，在极化SAR地物分类领域，展现出了不俗的性能。然而，基于CNN的地物分类算法，需要大量的标签数据参与训练，才能获得较高的分类性能。获取极化SAR数据标签的过程往往耗费大量的人力物力。而且随着遥感技术的迅速发展，每天都会有大量的遥感数据产生，显然，对其进行人工标注是不现实的。因此研究如何充分利用这些无标签的数据为地物分类任务提供有用的信息，且如何在标签数据较少的情况下，利用深度学习技术对极化SAR数据进行鲁棒的地物分类，依然是现在亟待解决的问题。在申请公布号为CN110516728A，名称为“基于去噪卷积神经网络的极化SAR地物分类方法”的专利申请中，公开了一种基于去噪卷积神经网络的极化SAR地物分类方法。该发明的基本思路是首先对极化SAR图像进行分解，生成相干矩阵组成特征向量图；然后，使用特征向量图生成均值图；最后，用去噪卷积神经网络对特征向量图和均值图进行去噪、特征提取和分类。该发明虽说减少了去噪过程对地物信息的损失，保留了更多极化散射信息，提高了分类精度。但是该发明属于监督式学习，在训练过程中需要使用大量的有标签数据，而获取极化SAR数据标签往往需要耗费大量的人力物力。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于对比学习的极化SAR地物分类方法，以减小人力物力的消耗，在无需大量标签数据的情况下，达到更优的分类性能。

本发明的技术方案是：根据极化SAR数据独特的散射特性，设计可行的数据增强方式，通过设计辅助任务对无标签的数据进行预训练，得到比较好的预训练模型；通过使用少量有标签的数据对预训练模型进行微调，使其更好地应用在极化SAR图像的地物分类任务中，具体实现包括如下：

(1)对AIRSAR Flevoland数据集进行分类：

(1a)对AIRSAR Flevoland数据集进行滑窗预处理，得到预处理后的极化SAR数据集；

(1b)从预处理得到的极化SAR数据集中选取5％的无标签数据作为预训练数据集，选取1％的有标签数据作为微调数据集，选取99％的有标签数据作为测试集；

(2)对预训练数据集进行增强：

(2a)将极化SAR数据表示为极化相干矩阵T，并提取该矩阵中的实部元素

和虚部元素/>

其中T₁₁,T₂₂,T₃₃为矩阵主对角线的三个元素，/>

为矩阵上部三角的三个元素实部，/>

为矩阵上部三角的三个元素虚部；

(2b)对预训练数据做Pauli分解，得到预训练数据在不同方向的三个散射能量，即奇次散射能量|a|²、偶次散射能量|b|²，体散射能量|c|²，并将其分别与(2a)得到的实部元素和虚部元素进行特征拼接，得到预训练数据的实部增强特征x和虚部增强特征x′：

(3)构建预训练模型CVA_CL：

(3a)使用卷积神经网络模型ResNet50作为编码器，分别对预训练数据的实部增强特征x和虚部增强特征x′进行编码，得到x的表征向量h和x′的表征向量h′；

(3b)使用多层感知机将表征向量h和h′投影到低维空间中，得到低维向量z和z′；

(3c)使用低维向量z和z′定义损失函数：

其中，τ为温度控制参数，Sim(z_i,z′_i)是两个向量的内积，Ι∈{0,1}是一个指示函数，其值只有0和1这两种结果，如果k不等于i时其值为1，否则为0，N为一个训练批次中的样本数量；

(3d)将编码器和多层感知机进行级联构成预训练模型CVA_CL，并将(3c)定义的损失函数作为该模型的损失函数；

(4)使用预训练数据集，通过随机梯度下降法对预训练模型CVA_CL进行预训练，得到训练好的预训练模型；

(5)在训练好的预训练模型基础上增加一层全连接网络作为微调模型，使用微调数据集，通过随机梯度下降法对微调模型进行训练，得到训练好的微调模型；

(6)将AIRSAR Flevoland数据集输入到微调模型，生成分类结果，每一类分类结果设置一个相对应的红绿蓝三个颜色通道值RGB，生成分类结果图，完成极化SAR地物分类。

本发明与现有技术相比，具有如下优点：

1)本发明由于使用卷积神经网络模型ResNet50作为编码器，可以更好地提取预训练数据的特征；

2)本发明针对极化SAR数据标签样本获取难度大的问题，构建了预训练模型CVA_CL和微调模型，仅使用少量的标签数据就可达到更高的分类精度，避免了使用大量的标签数据，减小了人力物力的消耗，有效提高了极化SAR地物分类的效率和精度。

附图说明

图1为本发明的实现流程图；

图2为本发明中对极化SAR数据进行数据增强的子流程图；

图3为本发明中的仿真实验结果图。

具体实施方式

以下结合附图对本发明的具体实施例作进一步详细描述。

参照图1，本实例的实现步骤如下：

步骤1，对AIRSAR Flevoland数据集进行分类。

1.1)设置窗口尺寸为15*15，步长设置为1，对于图像的每一个像素点，均以该像素点为中心，边缘不足部分使用零填充，采用滑窗的方法对公开的AIRSAR Flevoland数据集进行滑动取窗裁剪，获得167712幅裁剪图像，每幅图像的尺寸为15*15；

1.2)将得到的167712幅图像随机选取5％的无标签数据作为预训练数据集，随机选取1％的有标签数据和99％的有标签数据作为微调数据集和测试集。

步骤2，对预训练数据集进行增强。

参照图2，本步骤的具体实施如下：

2.1)将极化SAR数据表示为极化相干矩阵T，公式如下：

其中，H表示水平方向极化，V表示垂直方向极化，S_HH表示雷达水平发射水平接收的散射分量，S_VV表示雷达垂直发射垂直接收的散射分量，S_HV表示雷达水平发射垂直接收的散射分量，<·>表示按极化视数取平均值，|·|²表示取模的平方操作，(·)^*表示复数的共轭操作；

令A＝S_HH+S_VV,B＝S_HH-S_VV,C＝2S_HV,则上式表示如下：

2.2)提取极化相干矩阵T中的实部元素

和虚部元素

其中T₁₁,T₂₂,T₃₃为矩阵主对角线的三个元素，/>

为矩阵上部三角的三个元素实部，/>

为矩阵上部三角的三个元素虚部；/>

2.3)对预训练数据做Pauli分解：

2.3.1)将散射矩阵S定义如下：

其中，S_HH表示雷达水平发射水平接收的散射分量，S_VV表示雷达垂直发射垂直接收的散射分量，S_HV表示雷达水平发射垂直接收的散射分量；

2.3.2)按照下式，对散射矩阵S进行Pauli分解，得到不同方向四个散射系数的向量组合形式K：

其中，a表示极化SAR图像散射矩阵奇次散射系数，b表示极化SAR图像散射矩阵偶次散射系数，c表示极化SAR图像散射矩阵45度角偶次散射系数，d表示极化SAR图像交叉极化的散射系数；

在满足互易条件时，根据S_HV＝S_VH的情况，得到d的值为0，故将Pauli分解不同方向三个散射系数向量形式简化为：

2.3.3)计算Pauli分解在不同方向的三个散射能量：

|c|²＝2(S_HV)²

其中，|a|²表示极化SAR图像散射矩阵奇次散射的散射能量，|b|²表示极化SAR图像散射矩阵偶次散射的散射能量，|c|²表示极化SAR图像散射矩阵45度角偶次散射的散射能量，|·|表示取绝对值操作。

2.4)将2.2)得到的实部元素

和虚部元素/>

分别与2.3)得到的预训练数据在不同方向的三个散射能量|a|²，|b|²，|c|²拼接，得到预训练数据的实部增强特征x和虚部增强特征x′：

步骤3，构建预训练模型CVA_CL。

3.1)使用卷积神经网络模型ResNet50作为编码器，分别对预训练数据的实部增强特征x和虚部增强特征x′进行编码，得到x的表征向量h和x′的表征向量h′，分别表示如下：

h＝f(x)＝ResNet(x)

h′＝f(x′)＝ResNet(x′)；

其中，f(x)表示对实部增强特征编码，f(x′)表示对虚部增强特征编码；

3.2)使用多层感知机将上述两个表征向量h和h′投影到低维空间中，得到实部增强特征对应的低维向量z和虚部增强特征对应的低维向量z′：

z＝W⁽²⁾Relu(W⁽¹⁾h)

z′＝W⁽²⁾Relu(W⁽¹⁾h′)

其中，W⁽²⁾表示多层感知机中的第二个全连接层、W⁽¹⁾表示多层感知机中第一个全连接层，Relu表示Relu激活函数，其表示为：

Relu(x)＝max(0,x)

其中，max(0,x)表示取最大值函数；

3.3)根据上述两个低维向量z和z′定义如下损失函数：

其中，τ为温度控制参数，Sim(z_i,z′_i)是两个向量的内积，N为一个训练批次中的样本数量；z_i表示在一个训练批次中第i个样本实部增强特征对应的低维向量，z_i′表示在一个训练批次中第i个样本虚部增强特征对应的低维向量，i的取值范围为0～N，z_k表示在一个训练批次中的第k个低维向量，k的取值范围为0～2N；Ι∈{0,1}是一个指示函数，且只有0和1这两种结果，如果k不等于i时，其值为1，否则为0；

3.4)将编码器和多层感知机进行级联构成预训练模型CVA_CL，并将3.3)定义的损失函数作为该模型的损失函数。

步骤4，使用预训练数据集，对预训练模型CVA_CL进行预训练，得到训练好的预训练模型。

4.1)设置数据批量大小为100，将预训练数据集按照批量大小分割成多批数据，并依次送入预训练模型CVA_CL；

4.2)设置初始学习率为0.09，权重衰减为1e^-5，采用随机梯度下降法最小化预训练模型CVA_CL的损失函数；

4.3)设置最大迭代次数为100，重复(4.1)和(4.2)共100次，得到训练好的预训练模型。

步骤5，根据训练好的预训练模型构建微调模型，并对其进行训练。

5.1)设置一层包含15个神经元的全连接网络作为输出层，将训练好的预训练模型与输出层级联构成微调模型，并将交叉熵损失作为该微调模型的损失函数；

5.2)使用微调数据集，对微调模型进行训练，得到训练好的微调模型。

5.2.1)设置数据批量大小为100，将微调数据集按照批量大小分割成多批数据，并依次送入微调模型；

5.2.2)设置初始学习率为0.09，权重衰减为1e^-5，采用随机梯度下降法最小化微调模型的损失函数；

5.2.3)设置最大迭代次数为100，重复(5.2.1)和(5.2.2)共100次，得到训练好的微调模型。

步骤6，利用训练好的微调模型完成对AIRSAR Flevoland数据集的地物分类。

AIRSAR Flevoland数据集尺寸为750*1024，数据集中包含15个不同的区域，分别为：大豆田，土豆田，草地，小麦田，油菜田，森林，苜蓿田，小麦田3，小麦田2，建筑，大麦田，豌豆田，甜菜地，裸地，通过本发明训练好的微调模型最终要把存在于该数据集的不同区域类别区分开来，并以图像的形式标注出来，完成对数据集的地物分类，具体实现如下：

6.1)将AIRSAR Flevoland数据集输入到训练好的微调模型，得到分类结果，将分类结果组合为一个维度为750*1024的分类结果数组；

6.2)对数据集的15个区域类别设置相对应的红绿蓝通道值RGB，对应关系如下表：

表1：区域类别-RGB值对照表

大豆田：[255,0,0]	土豆田:[255,255,0]	草地：[0,255,0]	水体：[0,0,255]
				小麦田：[255,182,229]	油菜田：[255,128,0]	森林：[0,131,74]	苜蓿田：[0,252,255]
小麦田3：[191,255,191]	小麦田2：[191,191,255]	建筑：[255,217,157]	大麦田：[128,0,0]
				豌豆田：[90,11,255]	甜菜地：[183,0,255]	裸地:[171,138,80]

6.3)使用6.1)得到的分类结果数组，根据6.2)表1设置的区域类别-RGB值对照表，将数组中的每一个元素与一个通道值RGB相对应，使用红绿蓝通道值RGB合成分类结果图，完成极化SAR地物分类，如图3所示。

下面结合仿真实验对本发明的效果作进一步说明。

1.仿真条件

本发明仿真实验所使用的硬件测试平台是：处理器为

Core^TM i7-9700KCPU，主频为3.6GHz，内存64GB，显卡型号为NVIDIA GeForce RTX 2080TI；软件平台为:Python 3.8，Pytorch 1.8；操作系统是Ubuntu 16.04LTS 64位操作系统。

仿真实验中用到的极化SAR数据集为公开数据集AIRSAR Flevoland数据集，数据集的尺寸为750*1024，总共包含15个不同的区域，分别为：大豆田，土豆田，草地，小麦田，油菜田，森林，苜蓿田，小麦田3，小麦田2，建筑，大麦田，豌豆田，甜菜地，裸地。采用滑动取窗裁剪的方法获取到167712幅裁剪后的子图像，每幅子图像的尺寸为15*15。随机选取5％的无标签数据作为预训练数据集用于训练预训练模型，选取1％的有标签数据作为微调数据集用于训练微调模型，99％的有标签数据作为测试集用于测试训练好的微调模型的总体精度。

仿真实验在采用总体精度作为评价指标，在测试集上采用总体精度来衡量微调模型的好坏，总体精度定义如下：

其中，OA表示总体精度，TP表示分类正确的数据样本数量，N表示测试集样本个数。

2.仿真实验内容

分别用本发明和现有四种方法SimCLR、BYOL、SimSiam、MOCO v2计算每个方法在测试集上的总体精度，结果如下表

表2：仿真结果对照表

评价指标	SimCLR	BYOL	SimSiam	MOCO v2	本发明
						总体精度(％)	96.58	90.70	96.55	88.17	98.03

其中，SimCLR来自于Chen，Ting等人发表的论文“A simple framework forcontrastive learning of visual representations”。

BYOL来自于Grill J B,Strub F等人发表的论文“Bootstrap your own latent-anew approach to self-supervised learning”。

SimSiam来自于Chen X等人发表的论文“Exploring simple siameserepresentation learning”。

MOCO v2来自于Chen X，Fan H等人发表的论文“Improved baselines withmomentum contrastive learning”。

由表2可以看出，本发明使用AIRSAR Flevoland数据集的总体精度可以达到98.03％，优于现有的一些方法。综合上述仿真结果的分析，本发明提出的基于对比学习的极化SAR地物分类方法有效解决了标签样本获取难度大的问题，减小了人力物力的消耗，实现了极化SAR地物分类精度的提高。

Claims (7)

1.一种基于对比学习的极化SAR地物分类方法，其特征在于，包括：

(1)对AIRSAR Flevoland数据集进行分类：

(1a)对AIRSAR Flevoland数据集进行滑窗预处理，得到预处理后的极化SAR数据集；

(1b)从预处理得到的极化SAR数据集中选取5％的无标签数据作为预训练数据集，选取1％的有标签数据作为微调数据集，选取99％的有标签数据作为测试集；

(2)对预训练数据集进行增强：

(2a)将极化SAR数据表示为极化相干矩阵T，并提取该矩阵中的实部元素

和虚部元素/>

其中T₁₁,T₂₂,T₃₃为矩阵主对角线的三个元素，/>

为矩阵上部三角的三个元素实部，/>

为矩阵上部三角的三个元素虚部；

(2b)对预训练数据做Pauli分解，得到预训练数据在不同方向的三个散射能量，即奇次散射能量|a|²、偶次散射能量|b|²，体散射能量|c|²，并将其分别与(2a)得到的实部元素和虚部元素进行特征拼接，得到预训练数据的实部增强特征x和虚部增强特征x′：

(3)构建预训练模型CVA_CL：

(3a)使用卷积神经网络模型ResNet50作为编码器，分别对预训练数据的实部增强特征x和虚部增强特征x′进行编码，得到x的表征向量h和x′的表征向量h′；

(3b)使用多层感知机将表征向量h和h′投影到低维空间中，得到低维向量z和z′；

(3c)使用低维向量z和z′定义损失函数：

其中，τ为温度控制参数，Sim(z_i,z′_i)是两个向量的内积，Ι∈{0,1}是一个指示函数，其值只有0和1这两种结果，如果k不等于i时其值为1，否则为0，N为一个训练批次中的样本数量；

(3d)将编码器和多层感知机进行级联构成预训练模型CVA_CL，并将(3c)定义的损失函数作为该模型的损失函数；

(4)使用预训练数据集，通过随机梯度下降法对预训练模型CVA_CL进行预训练，得到训练好的预训练模型；

(5)在训练好的预训练模型基础上增加一层全连接网络作为微调模型，使用微调数据集，通过随机梯度下降法对微调模型进行训练，得到训练好的微调模型；

(6)将AIRSAR Flevoland数据集输入到微调模型，生成分类结果，每一类分类结果设置一个相对应的红绿蓝三个颜色通道值RGB，生成分类结果图，完成极化SAR地物分类。

2.根据权利要求1所述的方法，其特征在于，所述(1a)中对AIRSAR Flevoland数据集进行滑窗预处理，实现如下：

(1a1)设置窗口尺寸为15*15，步长设置为1，对于图像的每一个像素点，均以该像素点为中心，边缘不足部分使用零填充；

(1a2)对AIRSAR Flevoland数据集按照(1a1)设定的参数进行滑动取窗裁剪，用裁剪后的图像组成预处理后的极化SAR数据集。

3.根据权利要求1所述的方法，其特征在于，所述(2a)中将极化SAR数据表示为极化相干矩阵T，公式如下：

其中，H表示水平方向极化，V表示垂直方向极化，S_HH表示雷达水平发射水平接收的散射分量，S_VV表示雷达垂直发射垂直接收的散射分量，S_HV表示雷达水平发射垂直接收的散射分量，<·>表示按极化视数取平均值，|·|²表示取模的平方操作，(·)^*表示复数的共轭操作；

令A＝S_HH+S_VV,B＝S_HH-S_VV,C＝2S_HV,则上式表示如下：

4.根据权利要求1所述的方法，其特征在于，所述(2b)中对预训练数据做Pauli分解，得到奇次散射能量|a|²、偶次散射能量|b|²，体散射能量|c|²，分别表示如下：

|c|²＝2(S_HV)²

其中，S_HH表示雷达水平发射水平接收的散射分量，S_VV表示雷达垂直发射垂直接收的散射分量，S_HV表示雷达水平发射垂直接收的散射分量。

5.根据权利要求1所述的方法，其特征在于，所述(3a)通过使用卷积神经网络模型ResNet50对预训练数据编码，得到实部增强特征x的表征向量h和虚部增强特征x′的表征向量h′，分别表示如下：

h＝f(x)＝ResNet(x)

h′＝f(x′)＝ResNet(x′)；

其中，f(x)表示对实部增强特征编码，f(x′)表示对虚部增强特征编码。

6.根据权利要求1所述的方法，其特征在于，所述(4)中使用预训练数据集，通过随机梯度下降法对预训练模型CVA_CL进行预训练，实现如下：

(4a)设置数据批量大小为100，将数据集按照批量大小分割成多批数据，并依次送入预训练模型CVA_CL；

(4b)设置初始学习率为0.09，权重衰减为1e^-5，采用随机梯度下降法最小化预训练模型CVA_CL的损失函数；

(4c)设置最大迭代次数为100，重复(4a)和(4b)共100次，得到训练好的预训练模型。

7.根据权利要求1所述的方法，其特征在于，所述(5)中通过随机梯度下降法对微调模型进行训练，实现如下：

(5a)设置数据批量大小为100，将数据集按照批量大小分割成多批数据，并依次送入微调模型；

(5b)设置初始学习率为0.09，权重衰减为1e^-5，采用随机梯度下降法最小化微调模型的损失函数；

(5c)设置最大迭代次数为100，重复(5a)和(5b)共100次，得到训练好的微调模型。

Images