CN112949384A - 一种基于对抗性特征提取的遥感图像场景分类方法 - Google Patents

Abstract

本发明涉及一种基于对抗性特征提取的遥感图像场景分类方法，先获取待分类的遥感图像场景分类数据集并进行预处理；然后构建对抗性特征提取模型；在对抗性特征提取模型中的生成器生成与正样本相似的难分负样本，判别器尽力将生成的难分负样本与正样本区分开，在生成器和判别器的对抗训练中，生成的样本逐渐变难，同时判别器的分辨性能逐渐变强，从而提升模型的分类性能。本发明可以解决遥感图像场景分类中存在的类内差异性和类间相似性、难分负样本数量少的问题，提高分类的准确性。

Description

一种基于对抗性特征提取的遥感图像场景分类方法

技术领域

本发明属于属于遥感图像处理技术领域，涉及一种基于对抗性特征提取的遥感图像场景分类方法。

背景技术

高分遥感图像场景分类是遥感图像信息挖掘的关键技术之一，也是诸多应用如土地使用、城市规划、环境监测等的难点问题之一。遥感图像场景分类是根据遥感图像的场景信息将其对应分成不同的场景类别。在实际运用中，高分遥感图像包含大量的语义场景类型构成复杂并容易受光照、气候、天气等影响，使得这些场景类别存在较高的类内差异性和类间相似性，为寻求有效的图像特征提取算法带来新的挑战。

遥感图像场景分类根据特征提取方式可以分为基于传统特征的分类方法和基于深度特征的分类方法。基于传统特征的分类方法根据图像的形状、颜色、纹理等信息实现特征提取，由于遥感图像背景复杂且需要根据经验进行特征描述符的设计，因而准确率低。随着深度学习的发展，基于卷积神经网络(Convolutional Neural Networks,CNN)的特征提取方式成为目前图像特征提取技术的主流。研究发现，在使用CNN进行图像特征提取时难分负样本在进行梯度下降时会产生较大的梯度，易分样本会产生很小或者接近零的梯度。然而，这些难分负样本在数据集中通常占比很小，而大量的易分样本隐含信息未能得到充分挖掘。因此，基于深度学习的场景分类算法面临以下几个关键性问题需要解决：(1)高分遥感图像场景构成复杂，使这些图像场景中存在较高的类内差异性和类间相似性问题，增大了特征提取的难度；(2)分类性能依赖于难分负样本，但难分负样本数量有限，而大量的简单易分样本又未能充分挖掘利用，限制了分类性能的提升。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于对抗性特征提取的遥感图像场景分类方法，用以解决上述背景技术中图像场景方法存在的类内差异性和类间相似性、难分负样本数量少等问题。

技术方案

一种基于对抗性特征提取的遥感图像场景分类方法，其特征在于步骤如下：

步骤1：图像三元组加载器根据给定的遥感图像场景分类数据集中训练集标签，先随机选择一种图像类别，在选定图像类别中按照图像加载顺序选择一个图像作为锚样本，然后在本类别的其他图像中随机选择一个图像作为正样本，最后在其它类别的所有图像中随机选择一个图像作为负样本，最终锚样本、正样本、负样本组合成一个图像三元组；

步骤2：构建对抗性卷积神经网络模型，包括骨干网络、对抗性特征提取网络和分类网络；

所述骨干网络是：在ImageNet数据集上预训练的网络模型舍弃最后一层分类层，输出特征维度为k；

所述对抗性特征提取网络由生成器和判别器组成，生成器和判别器均由全连接网络和激活函数组成；其中激活函数在全连接网络之间；生成器和判别器的输入特征维度和输出特征维度均为k；

所述分类网络由一层全连接网络和Softmax函数构成，输入特征维度为k，输出维度为n，n表示图像类别；

步骤3：将图像三元组输入到对抗性卷积神经网络模型中的骨干网络中，得到图像三元组特征，接着将图像三元组特征输入到对抗性特征提取网络中的生成器中，生成与正样本相似的难分负样本，判别器将生成的难分负样本与正样本区分开；

步骤4：重复步骤3对图像进行识别，直至对抗性卷积神经网络模型损失收敛，得到最终的对抗性卷积神经网络模型，用此模型完成对遥感图像的分类任务。

所述步骤3的具体步骤为：

S31、将训练数据输入到骨干网络中得到相应的特征表示：

{y_a,y_p,y_n}＝F(θ_f；{x,x⁺,x^-})

其中F表示骨干网络，θ_f表示骨干网络的参数，{x,x⁺,x^-}表示图像三元组，其中x表示锚样本，x⁺表示正样本，x^-表示负样本，{y_a,y_p,y_n}表示经过骨干网络提取到的特征三元组，与图像三元组中元素一一对应；

S32、将提取到的特征三元组{y_a,y_p,y_n}输入到对抗性特征提取网络的生成器中：

y_fake＝G(θ_g；{y_a,y_p,y_n})

其中G表示生成器，θ_g表示生成器的参数，y_fake表示生成器通过特征三元组生成的难分负样本特征；

S33、将难分负样本特征y_fake与特征三元组中锚样本特征和正样本特征组成新的特征三元组，输入到对抗性特征提取网络的判别器中：

{z_a,z_p,z_fake}＝D(θ_d；{y_a,y_p,y_fake})

其中D表示判别器，θ_d表示判别器的参数，判别器的输出为对抗性特征{z_a,z_p,z_fake}；

S34、计算生成器的损失：

计算判别器的损失：

其中N表示三元组样本数，λ₁、λ₂表示权重，α表示阈值；

S35、最后将z_a输入到分类网络中完成分类结果预测，并计算损失：

其中l_i表示为分类one-hot标签，p_i表示分类网络预测的各类得分。

所述步骤4中的损失函数为：J＝J_gen+J_dis+J_class。

有益效果

本发明提出的一种基于对抗性特征提取的遥感图像场景分类方法，先获取待分类的遥感图像场景分类数据集并进行预处理；然后构建对抗性特征提取模型；在对抗性特征提取模型中的生成器生成与正样本相似的难分负样本，判别器尽力将生成的难分负样本与正样本区分开，在生成器和判别器的对抗训练中，生成的样本逐渐变难，同时判别器的分辨性能逐渐变强，从而提升模型的分类性能。本发明可以解决遥感图像场景分类中存在的类内差异性和类间相似性、难分负样本数量少的问题，提高分类的准确性。

与现有技术相比，本发明具有以下优点：

(1)本发明通过构建对抗性特征提取网络，从大量简单易分的图像中生成潜在的难分负样本，弥补了普通图像场景分类方法特征空间中难分负样本的不足。

(2)本发明通过对抗训练的方式，提升特征表达的鲁棒性，减少遥感图像场景的类内差异性和类间相似性问题。

(3)本发明可以显著提升遥感图像场景分类性能。如表1所示，使用本发明在AID、NWPU-RESISC45数据集上进行实验，分别可以达到94.14％、91.10％的准确率，相比于使用相同的骨干网络(GoogLeNet)和分类器(Softmax层)性能提升2.47％、1.86％。

附图说明

图1：本发明方法的基本流程简图。

图2：本发明方法的结构设计图。

图3：本发明方法的网络训练流程图。

图4：本发明实施例提供的遥感图像分类训练流程图。

图5：本发明实施例提供的判别性特征提取网络中的生成网络图。

图6：本发明实施例提供的判别性特征提取网络中的判别网络图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

请参照附图4，图4表示本发明实施例所提供的遥感图像分类训练流程简图。本发明实施例在PyTorch的开发环境中执行。用于实施的数据是AID数据集，包含30类遥感影像，每类220到420张图像不等，图像大小600×600像素，相同类别图像在同一文件夹下。

步骤S1所述，将数据集随机划分成20％训练，剩余80％测试，其中每个类别的20％训练，剩余80％用于测试。将训练集图像通过裁剪、平移、旋转、翻转等操作进行数据扩充。将增强后的固定尺寸大小的图像读取为张量数据，并按照批大小为32划分成若干批，其中每一批为32个图像三元组{x,x⁺,x^-}，每组包括锚样本x、正样本x⁺、负样本x^-各一个，锚样本和正样本属于同一类别，负样本属于不同类别。为了保证所有的锚样本包含所有的训练集图像，正样本和负样本在训练集中随机抽取。

步骤S2所述，如图2，构建对抗性卷积神经网络模型。选用GoogLeNet作为骨干网络，其中GoogLeNet有22层卷积层，由1×1、3×3、5×5三种不同大小的卷积核构造的Inception结构而组成。Inception结构不仅增加了网络的宽度，而且使网络具有不同的感受野，提升特征提取的性能。如图5，构建对抗性特征提取网络中的生成网络，其由两层全连接层和ReLU构成。如图6，构建对抗性特征提取网络中的判别网络，其由两层全连接层、ReLU和一层分类器组成，其中分类器为全连接层和Softmax函数构成。

步骤S31所述，将步骤S1获得的训练数据三元组输入到骨干网络中提取特征：

{y_a,y_p,y_n}＝F(θ_f；{x,x⁺,x^-})

其中F表示骨干网络，θ_f表示骨干网络的参数，{x,x⁺,x^-}表示图像三元组，其中x表示锚样本，x⁺表示正样本，x^-表示负样本，{y_a,y_p,y_n}表示经过骨干网络提取到的特征三元组，与图像三元组中元素一一对应；

步骤S32所述，将提取到的特征三元组{y_a,y_p,y_n}输入到对抗性特征提取网络的生成网络中：

y_fake＝G(θ_g；{y_ai,y_pi,y_ni})

其中G表示上述中的生成网络，θ_g为生成网络的参数，y_fake为经过生成网络生成的难分负样本。

步骤S33所述，将生成的难分负样本特征y_fake与特征三元组{y_a,y_p,y_n}组成新的特征三元组{y_a,y_p,y_fake}，并将其输入到对抗性特征提取网络的判别网络中：

{z_a,z_p,z_fake}＝D(θ_d；{y_a,y_p,y_fake})

其中D表示上述中的判别网络，θ_d表示判别网络的参数，{z_a,z_p,z_fake}表示经过判别网络提取的判别性特征。

步骤S34所述，计算生成网络的期望的损失函数：

其中λ₁、λ₂和λ₃表示参数，这里均设置为1；第一项

使生成的对抗性特征与锚样本特征相似，第二项

使生成的对抗性特征与负样本相似，在前两项的共同作用下，生成的难分负样本与正样本、负样本极具有混淆性；第三项

为经过判别网络提取判别性特征之后，使得生成网络能够生成混淆判别网络的样本；

计算判别网络的期望的损失函数为：

其中

表示判别网络尽力将生成网络生成的对抗性特征与锚样本、正样本区分开，提升网络的判别性特征表达能力；

对抗性特征提取网络中生成网络损失函数J_gen的第三项和判别网络损失函数J_dis的第一项作用相反，在两者的对抗训练下，生成网络可以生成难分负样本特征，而判别网络可以对特征进行度量提取对抗性性特征，提升特征可区分性，提高网络的特征表达能力，从而提升模型分类性能。

进一步的，使用SGD(Stochastic Gradient Descent)优化器、Adam(Adaptivemoment estimation)优化器分别对骨干网络和对抗性特征提取网络进行梯度更新，优化参数。

值得注意的是，此过程对抗性特征提取网络中的骨干网络、生成网络、判别网络、损失函数等所有组件参数的设计仅仅是本发明的一种实施例，通常在步骤S3和附图的描述下可以以各种不同的参数、网络结构、损失函数进行布置设计。

将上述中的测试集作为步骤S4更新后的对抗性特征提取网络的输入进行测试，得到测试结果。所述步骤S4中的损失函数为：J＝J_gen+J_dis+J_class。

下表是本发明所提出方法的在AID、NWPU-RESISC45数据集上的测试结果(Top1)与使用GoogLeNet+Softmax进行微调的结果进行比较，结果如表1所示，表明了本发明方法的有效性。

表1检测结果评价

Claims (3)

1.一种基于对抗性特征提取的遥感图像场景分类方法，其特征在于步骤如下：

步骤1：图像三元组加载器根据给定的遥感图像场景分类数据集中训练集标签，先随机选择一种图像类别，在选定图像类别中按照图像加载顺序选择一个图像作为锚样本，然后在本类别的其他图像中随机选择一个图像作为正样本，最后在其它类别的所有图像中随机选择一个图像作为负样本，最终锚样本、正样本、负样本组合成一个图像三元组；

步骤2：构建对抗性卷积神经网络模型，包括骨干网络、对抗性特征提取网络和分类网络；

所述骨干网络是：在ImageNet数据集上预训练的网络模型舍弃最后一层分类层，输出特征维度为k；

所述对抗性特征提取网络由生成器和判别器组成，生成器和判别器均由全连接网络和激活函数组成；其中激活函数在全连接网络之间；生成器和判别器的输入特征维度和输出特征维度均为k；

所述分类网络由一层全连接网络和Softmax函数构成，输入特征维度为k，输出维度为n，n表示图像类别；

步骤3：将图像三元组输入到对抗性卷积神经网络模型中的骨干网络中，得到图像三元组特征，接着将图像三元组特征输入到对抗性特征提取网络中的生成器中，生成与正样本相似的难分负样本，判别器将生成的难分负样本与正样本区分开；

步骤4：重复步骤3对图像进行识别，直至对抗性卷积神经网络模型损失收敛，得到最终的对抗性卷积神经网络模型，用此模型完成对遥感图像的分类任务。

2.根据权利要求1所述基于对抗性特征提取的遥感图像场景分类方法，其特征在于：

所述步骤3的具体步骤为：

S31、将训练数据输入到骨干网络中得到相应的特征表示：

{y_a,y_p,y_n}＝F(θ_f；{x,x⁺,x^-})

其中F表示骨干网络，θ_f表示骨干网络的参数，{x,x⁺,x^-}表示图像三元组，其中x表示锚样本，x⁺表示正样本，x^-表示负样本，{y_a,y_p,y_n}表示经过骨干网络提取到的特征三元组，与图像三元组中元素一一对应；

S32、将提取到的特征三元组{y_a,y_p,y_n}输入到对抗性特征提取网络的生成器中：

y_fake＝G(θ_g；{y_a,y_p,y_n})

其中G表示生成器，θ_g表示生成器的参数，y_fake表示生成器通过特征三元组生成的难分负样本特征；

S33、将难分负样本特征y_fake与特征三元组中锚样本特征和正样本特征组成新的特征三元组，输入到对抗性特征提取网络的判别器中：

{z_a,z_p,z_fake}＝D(θ_d；{y_a,y_p,y_fake})

其中D表示判别器，θ_d表示判别器的参数，判别器的输出为对抗性特征{z_a,z_p,z_fake}；

S34、计算生成器的损失：

计算判别器的损失：

其中N表示三元组样本数，λ₁、λ₂表示权重，α表示阈值；

S35、最后将z_a输入到分类网络中完成分类结果预测，并计算损失：

其中l_i表示为分类one-hot标签，p_i表示分类网络预测的各类得分。

3.根据权利要求1所述基于对抗性特征提取的遥感图像场景分类方法，其特征在于：所述步骤4中的损失函数为：J＝J_gen+J_dis+J_class。

Images