CN113409351B - 基于最优传输的无监督领域自适应遥感图像分割方法 - Google Patents

Abstract

本发明公开一种基于最优传输的无监督领域自适应遥感图像分割方法，首先提出一种分割准确性权重计算，基于步骤一中提出的遥感图像分割准确性权重计算方法，进行遥感图像最优样本子集选择。对步骤二获得的遥感图像最优样本子集，进行最优传输特征选择。对步骤三获得的遥感图像特征选择结果，进行无监督领域自适应图像分割。本发明保证了两个域特征的整体性，同时衡量前景区域特征要比通常的样本特征更有针对性且更适合分割样本，更加准确，分割准确性权重能够更好地适应分割图像，能够使属于同一类别的两个域的分割图像更相近，从而提高熵正则化进行分割图像特征最优传输的精确度。

Description

基于最优传输的无监督领域自适应遥感图像分割方法

技术领域

本发明涉及使用最优传输、无监督领域自适应和遥感图像分割。

背景技术

随着遥感技术的发展和完善，全球范围内遥感数据不间断地产出。海量遥感数据已经成为人类认知世界的重要信息来源，在环境检测、城市规划、土地分割等众多领域发挥着重要作用。为了有效挖掘海量遥感数据所提供的丰富信息，遥感图像分割已经成为了相关领域研究热点之一。

近年来，高分辨率遥感卫星的发射使得遥感影像的空间分辨率不断增加，地物空间细节显著提高，为地物精细目标分割提供了可能。高分辨率影像相对中低分辨率遥感影像表现出很多不同的特性：如建筑物、道路、植被等地物类别具有明显的几何纹理特征；成像光谱波段变少，“同物异谱”、“同谱异物”现象大量发生；地物类内方差变大，类间方差变小。

由于遥感图像采集时的物理条件(如光照、大气、传感器参数等)不可能完全相同，因而不同区域或同一场景上不同时刻获得的图像都会存在一定的差异性，即同一地物类别在同一语义场景中底层特征变化明显。不同的数据特征反映了不同的概率分布。因而通常认为多源遥感数据处于不同概率分布。

对于处于不同概率分布的多源遥感数据，传统分割方法难以建立多源影像底层特征到其高层语义信息的直接映射，导致分割模型精度提升受限。因此，多源遥感图像分割精度提升的关键在于求解多个不同概率分布之间的转化，将多源数据映射到同一概率分布。迁移学习是解决这一数学问题的重要方法，通过求解概率分布之间的映射函数实现多源分布到单源分布的转化，进而在转化后的概率分布上学习模型。

多源遥感图像分割任务的关键问题在于如何利用迁移学习技术将处于不同概率分布的地物目标映射到同一分布，并在映射后的数据特征上构建分割模型。领域自适应(Domain Adaptation，DA)是迁移学习中一种最具代表性的问题，侧重于解决特征空间一致、类别空间一致，仅特征分布不一致的问题。

现在领域自适应的常用方法大多从这两个角度出发：数据分布和特征变换。从数据分布角度出发，也就是当源域和目标域的概率分布相似时，采用最小化概率分布距离方法；从特征变换角度出发，当源域和目标域共享某些子空间时，把两个域变换到相同的子空间去。当前技术的局限性在于：在领域自适应模型的特征提取阶段所提取的所有特征均会应用于领域自适应模型中，然而并不是每个特征都会在自适应模型中产生积极影响，不正确地涉及所有特征甚至会导致性能下降。虽然目前在领域自适应任务中已存在一些特征选择方法，但大多方法都在有监督的分割模型下进行，其中大部分方法还忽略了原始特征信息，其有效性大大降低。

综上所述，我们提出基于最优传输的无监督领域自适应遥感图像分割方法。首先，利用分割准确性权重引导加权的最优传输进行两个域样本间传输，增加两个域表示空间的相似性；然后利用熵正则化最优传输进行特征间的传输，选择出域不变特征，将选择后的特征进行无监督领域自适应图像分割，使其分割性能得到提高并且减少了该自适应算法的计算复杂度。

发明内容：

为解决现有的分割模型对于多源遥感数据分割结果不理想的问题，本文发明了一种基于最优传输的无监督领域自适应遥感图像分割方法，发明内容主要包括：分割图像类中心信息矩阵，引导最优传输的分割准确性权重，加权最优传输的子样本选择算法，熵正则化最优传输的特征选择算法，利用特征选择结果进行无监督领域自适应遥感图像分割。

一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：至少包括以下步骤：

步骤一、提出一种遥感图像分割准确性权重计算方法。先将已标记的源域样本和未标记的目标域样本输入由源域训练的U-net分割网络，得到源域前景区域特征以及背景区域特征。根据其计算每个类别对应的类中心

利用目标样本前景区域特征与之前求得其所属类别的类中心进行比较，计算目标样本图像的前景区域被正确分割的概率P，进而得到引导用于分割的遥感图像样本最优传输的分割准确性权重。

步骤二、基于步骤一中提出的遥感图像分割准确性权重计算方法，进行遥感图像最优样本子集选择。先将最优传输的代价矩阵变为原代价矩阵与分割准确性权重的乘积，再将源域和目标域样本集合进行以分割准确性为权重引导的加权最优传输，得到最优的耦合矩阵，根据耦合矩阵γ^*的性质分析其值，选择出适用于遥感图像分割样本的最优样本子集。

步骤三、对步骤二获得的遥感图像最优样本子集，进行最优传输特征选择。首先利用预训练的FCN全卷积网络作为特征提取器，提取步骤二所选最优样本子集的特征，再将最优样本子集的特征分布进行离散化，并利用熵正则化最优传输问题将源特征分布传输到目标特征分布，得到特征传输的最优耦合矩阵，通过分析比较两个域相同特征的相似性，即分析耦合矩阵γ^*f对角线上的值，得到特征相似性降序列表F，进而选择出两个域的域不变特征。

步骤四、对步骤三获得的遥感图像特征选择结果，进行无监督领域自适应图像分割。根据步骤三中FCN全卷积网络下采样输出的高维特征排序后得到的列表F，选择其前d^*个特征(d^*＜d)，将选择后的低维特征输入到该FCN分割网络的上采样阶段，确定能同时执行分割和适应任务的全局损失函数，获得无监督领域自适应分割模型，对遥感图像进行图像分割。使用选择后的特征有助于该模型学习前去掉两个域的域无关特征，进而提高该无监督领域自适应遥感图像分割模型的准确性。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、定义分割准确性权重。分割准确性权重计算中包括图像分割样本各类的类中心计算，在概率信息矩阵P中使用其与目标样本前景区域特征进行比较，保证了两个域特征的整体性，同时衡量前景区域特征要比通常的样本特征更有针对性且更适合分割样本，更加准确.

2、分割准确性权重引导最优传输与其他加权最优传输相比：分割准确性权重能够更好地适应分割图像，能够使属于同一类别的两个域的分割图像更相近，从而提高熵正则化进行分割图像特征最优传输的精确度。

3、使用熵正则化最优传输进行特征间传输。熵正则化会促进多数、小流量的路径进行传输，而抑制少数、大流量的路径，使传输版本更加平滑，传输更加准确。同时利用最优传输进行特征选择能够有效利用原始特征信息。

4、该基于最优传输特征选择的无监督领域自适应方法，能够作为任意一种面向图像分割的无监督领域自适应模型的预处理步骤，保留了其他模型的良好效果，并在此之上提高该模型性能，减少自适应算法计算复杂度。

附图说明：

图1.方法框架流程图

图2.分割准确性权重计算流程图

具体实施方式：

步骤一、提出一种遥感图像分割准确性权重计算方法。

先用已标记的源域样本训练U-net遥感图像分割网络，再将已标记的源域遥感图像样本

和未标记的目标域遥感图像样本

输入由源域遥感图像训练的U-net分割网络，从中提取源域以及目标域的分割特征图，得到源域前景区域特征以及背景区域特征

表示前景区域，k＝2表示背景区域，g＝6表示遥感图像的六个不同类别)。利用针对遥感图像的分割准确性权重来度量分割遥感图像的跨域差异，其目的是使目标域样本在使用源域训练分割网络时避免前景区域被错误分割，以下是分割准确性权重计算过程：

(1)计算类中心，具体公式为：

(此处a随每个类别的具体样本数变化)

(2)比较目标样本前景区域特征与类中心，计算目标样本图像的前景区域被正确分割的概率，在此由矩阵P给出其具体定义，其中g为样本所属类别:

(3)其中

是目标域样本类别g的前景区域特征

和源域两种区域的类中心

的距离.同时

被定义为如下形式:

其中K(x^s,x^t)＝<φ(x^s),φ(x^t)>是与特征映射φ相关的特征核。

(4)定义分割准确性权重具体公式R为:R(j)＝1-P(j)

步骤二、基于步骤一中提出的遥感图像分割准确性权重计算方法，进行遥感图像最优样本子集选择。

假设有源域样本集合S(N_s×d维矩阵)目标域样本集合T(N_t×d维矩阵)。并将源域和目标域上样本的边缘概率分布μ_s，μ_t以离散的形式表示出来，考虑均匀分布的情况，即令

这是两个经验概率度量，其定义是在两个点集

和

所定义的位置上具有质量的Diracs均匀加权和。

(1)最优传输目的是求解令两个经验分布的概率耦合γ和代价矩阵C的Frobenius点积最小时的最优耦合。在此利用步骤一中得到的权重R，将原始最优传输代价矩阵变为加权的代价矩阵，分割准确性加权最优传输具体公式为:

其中<·，>是Frobenius点积，C是代价矩阵，原代价矩阵

定义了移动概率质量

到

的代价，加入分割准确性权重后代价矩阵变为

表示为两个经验分布的概率耦合。

(2)根据最优传输进行特征传输的计算性质，同时为避免两个域存在表示空间差异，需在特征传输前选取相等数量的源域和目标域样本，在此将描述源特征的N_s个样本与描述目标特征的N_t个样本之间，基于分割准确性加权最优传输进行匹配，即将(1)中公式进行计算，此时其最优解γ^*为通过分割准确性权重引导的加权最优传输耦合矩阵。

(3)分析耦合矩阵最优解γ^*的值，此矩阵各个元素表示为第i个源样本传输到第j个目标样本的概率质量大小。为了使最优传输公式最小化，被传输的样本对代价越小，其在耦合矩阵γ^*中传输质量越大，由此选择与源域每个样本对应的在γ^*中值最大的目标域样本集合T_u(此时N_s＞N_t，当N_s＜N_t时求S_u)。通过分割准确性加权最优传输使分割图像样本精确匹配，以此选出的目标域(源域)样本，是更适合描述源域和目标域特征的样本。

步骤三、对步骤二获得的遥感图像最优样本子集，进行最优传输特征选择。

采用基于VGG16的FCN网络作为特征提取器，利用ImageNet预训练参数进行初始化，进而对提取到的特征进行传输。源域样本和目标域样本(即S和T)应从二维乘积空间X_s×F_s和X_t×F_t中提取，其中X_s,X_t为d维矩阵)，F_s为N_s维矩阵且F_t为N_t维矩阵。

(1)首先和样本分布离散化一样，将两个域选择后的最优样本子集特征分布离散化，定义如下两个经验概率度量：

其中

和

分别是基于源域和目标域的特征。

(2)在此定义下，利用熵正则化最优传输将源特征分布

传输到目标特征分布

上：

其中

(3)通过解决(2)中公式，得到特征传输最优耦合矩阵γ^*f并分析其值。与分析耦合矩阵γ^*不同的是，在分析γ^*f的值时，由于只比较两个域相同特征的相似性，因此只需分析耦合矩阵γ^*f对角线上的值即可。

(4)当源域和目标域的特征相似时，这个源域特征传输的大部分质量都会在其相应的目标特征上找到，即耦合矩阵γ^*f对角线上的值越大，该特征在源域和目标域上就越相似。根据以上思想，构造特征相似性降序列表F，其中特征所属编号用i表示，特征i按其为第j个对角线上最高耦合值的顺序进行排列，显然i＝j，构造结果如下：

F＝arg sort({{diag(γ^*f)}_ij|i,j∈{1,...,d})

步骤四、对步骤三获得的遥感图像最优样本特征选择结果，进行无监督领域自适应图像分割。

(1)为了同时执行分割和适应任务，利用步骤三中的FCN网络，FCN网络的全局损失函数由分割损失和域适应损失两部分构成，具体公式如下：

该函数的第二项为最优传输公式，γ的乘积里第一项可以避免源域性能的下降导致灾难性遗忘；第二项确保与目标样本连接的源样本的输出与欧氏距离意义上的目标样本的真实分段相差不大。

(2)根据步骤三所得的列表F，选择其前d^*个特征(d^*＜d)，来处理手头领域自适应遥感图像分割问题，该方法丢弃了两个域完全不同的特征。即将步骤三中的FCN网络下采样输出的高维特征进行选择，将选择后的低维特征输入到该模型分割网络的上采样部分，其全局损失函数变为：

最后利用上述无监督领域自适应图像分割模型进行遥感图像分割，并且利用本文基于最优传输的无监督领域自适应方法后的分割模型性能要比未使用时效果好，且自适应算法复杂度明显降低，模型分割准确性提高。

Claims (5)

1.一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：至少包括以下步骤：

步骤一：计算遥感图像分割准确性权重，先将已标记的源域样本和未标记的目标域样本输入由源域训练的分割网络，得到源域前景区域特征以及背景区域特征，并计算类中心，利用目标样本前景区域特征与求得其所属类别的类中心进行比较，计算目标样本图像的前景区域被正确分割的概率，进而得到引导用于分割的遥感图像样本最优传输的分割准确性权重；

步骤二：基于步骤一中计算的遥感图像分割准确性权重进行遥感图像最优样本子集选择，先将最优传输的代价矩阵变为原代价矩阵与分割准确性权重的乘积，使其变为分割准确性加权最优传输，再将源域和目标域样本集合进行以分割准确性为权重引导的加权最优传输，得到最优的耦合矩阵，根据耦合矩阵性质分析其值，选择出适用于遥感图像分割样本的最优样本子集；

步骤三：对步骤二获得的遥感图像最优样本子集，进行最优传输特征选择，首先利用预训练的全卷积网络作为特征提取器，提取步骤二所选最优样本子集的特征，再将最优样本子集的特征分布进行离散化，并利用熵正则化最优传输将源特征分布传输到目标特征分布，得到特征传输最优耦合矩阵，通过分析比较两个域相同特征的相似性得到特征相似性降序列表，进而选择出两个域的域不变特征；

步骤四：对步骤三获得的遥感图像特征选择结果，进行无监督领域自适应图像分割，从步骤三中全卷积网络下采样输出的高维特征排序后得到的列表，选择其前d^*个特征，将选择后的低维特征输入到该分割网络的上采样部分，确定能同时执行图像分割和领域自适应任务的全局损失函数，获得无监督领域自适应遥感图像分割模型，对遥感图像进行图像分割。

2.根据权利要求1所述的一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：步骤一中计算遥感图像分割准确性权重，先用已标记的源域样本训练U-net遥感图像分割网络，再将源域样本和目标域样本输入，从中提取源域以及目标域的特征图，利用针对遥感图像的分割准确性权重来度量分割遥感图像的跨域差异，分割准确性权重计算过程为计算类中心、比较目标样本前景区域特征与类中心、计算目标样本图像正确分割概率、定义分割准确性权重。

3.根据权利要求1所述的一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：步骤二中选择遥感图像最优样本子集，首先将源域和目标域样本的边缘概率分布离散化，然后通过求解最优传输问题获得两个经验分布的概率耦合和代价矩阵的Frobenius最小点积的最优耦合，再利用步骤一所获得权重将原始最优传输代价矩阵变为加权的代价矩阵，最后以加权后的最优传输进行源域和目标域样本之间的匹配，得到耦合矩阵最优解，分析耦合矩阵最优解的值，从而选择出最优样本子集。

4.根据权利要求1所述的一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：步骤三中选择最优传输特征，首先利用预训练的全卷积网络作为特征提取器，提取步骤二所选最优样本子集的特征，进而和样本分布离散化一样，将两个域选择后的最优样本子集特征分布进行离散化，利用熵正则化最优传输将源特征分布传输到目标特征分布上，得到特征传输最优耦合矩阵γ^*f，与分析耦合矩阵γ^*不同的是，在分析γ^*f的值时，由于只比较两个域相同特征的相似性，因此只需分析耦合矩阵γ^*f对角线上的值即可，最后得到特征相似性的降序列表F。

5.根据权利要求1所述的一种基于最优传输的无监督领域自适应遥感图像分割方法，其特征在于：步骤四中基于步骤三特征选择结果进行无监督领域自适应图像分割，根据步骤三所得的列表F，选择其前d^*个特征，输入步骤三中的全卷积网络的上采样阶段，全卷积网络的全局损失函数由分割损失和域适应损失两部分构成，最后全卷积网络输出遥感图像分割结果。

Images