CN112861722A - 一种半监督深度图卷积的遥感土地利用语义分割方法 - Google Patents

Abstract

本发明公开了一种半监督深度图卷积的遥感土地利用语义分割方法，包括以下处理过程：数据采集，确定样本的抽样方案及多尺度网络模型；划分监督及非监督学习样本，并设置训练、验证及测试样本；设立多样本多尺度的深层编码‑解码CNN模型，并进行预训练；设立门控循环的图卷积网络，并连接成深度残差网络模型；采用监督样本对进行监督学习；采用监督及非监督样本进行半监督学习；判断精度或训练次数是否达标；若达标，进入模型的尺度转换应用。本发明提高了图像分割模型在遥感图像土地利用语义分割的效率，且减少分割过程中的噪点，提高遥感土地利用分割的质量。

Description

一种半监督深度图卷积的遥感土地利用语义分割方法

技术领域

本发明涉及一种语义分割方法，尤其涉及一种半监督深度图卷积的遥感土地利用语义分割方法。

背景技术

虽然深度学习在计算机视觉、图像处理及医学影像等领域取得了不错的效果，但是应用在遥感图像分类方面还是比较有限的。由于处理的影响数据波段特性差异，即普通光学RGB-D的4波段影像同遥感波谱影像及其特征的较大差别，导致许多深度学习算法及预处理模型不能直接用于处理遥感图像，一些较新的技术在遥感土地利用分割应用有限。因此，充分利用先进的深度学习技术，提高遥感土地利用分割的效果，是当前遥感图像处理领域的前沿技术。遥感图像土地利用分割精度的提高，对提高土地覆盖监控、城市土地规划、交通路线规划及农作物监测等具有重要意义。

同传统的方法比较，深度学习在语义分割方面的效率及精度上均取得了突出的进展。例如，全卷积网络(fully convolutional network，简写FCN)取代了传统的“图像-补丁”(image-patch)方法，通过全连接层极大提高了图像语义分割的效率。此外，SegNet通过从编码层复制信息到解码层提高分割效果，而空洞卷积(dilated convolution)提高感受野(receptive field)。此外，DeepLab第一版及第二版分别提出空洞层、多孔空间金字塔池(atrous spatial pyramidpooling，简写ASPP)及充分连接的条件随机层提高语义分割的精度。现有技术提出的RefinedNet采用了残差块提高存储效率，以及现有技术提出的全局卷积提高分类及分割精度。虽然深度学习图像语义分割总体精度提高了，但是在一些局部细节方面还需要后处理，条件随机场(conditional random field，简称CRF)提出来采用概率模型建模空间对象(点)之间的依赖关系。CRF以RNN方式嵌入模型，卷积条件随机场则将条件随机场引入深层卷积建模。Conv-LSTM则采用LSTM(Long-short term memory，简写LSTM)结合卷积神经网络(Convolutional neural network，简写CNN)提高分割精度。现有技术还采用有对抗网络GAN进行图像分割，但泛化性有限。虽然后处理如条件随机场同深度网络融合提高精度，但邻近点信息依赖于已有的先验知识或关系，信息传播效率提高有限。

条件随机场作为一种图建模技术提高有限，作为图建模新方法的图卷积网络则提供了更强大的不规则节点的建模及优化技术。图卷积网络通过建模最近邻依赖关系，可以提高节点之间的邻近关系建模。对于栅格的图建模方法，连接的建立确定在图像节点的位置，大幅提高图建模的效率。现有技术已有将深层特征引入图卷积的输入，采用门卷积进行建筑物图像分割，从而提高了建筑物的语义分割。

此外，许多语义分割模型是基于单模型的，相对多模型，由于单模型基于单一尺度样本建模，而单一样本训练受到抽样偏差影响，预测具有一定的不确定性，在实际应用中泛化性有限。有的则是采用多个分离单模型的简单聚集，也提高了语义分割的精度。对遥感土地利用的图像分割，一个普遍的主要问题是样本获取的困难，通常采用手工方式划分边界获得标注样本。然而，手工方式获取样本花费大量的时间，获得样本数有限，标注的准确性也受到人为判断失误的影响。而且还有大量的非标注样本，如何有效的将这些样本利用起来提高分割的精度，也是遥感土地利用语义分割方面亟需解决的问题。

综上可知，现代深度学习促进了图像分割技术的发展，包括遥感土地利用高分辨率的图像语义分割。但现有方法虽然提高了遥感图像分割精度，但对较为细微物体的分割精度偏低，识别率不高。为此，采用了条件随机场进行后处理，但条件随机场没有充分的后向传播机制，处理的效果有限。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种半监督深度图卷积的遥感土地利用语义分割方法。

为了解决以上技术问题，本发明采用的技术方案是：一种半监督深度图卷积的遥感土地利用语义分割方法，包括以下步骤：

步骤一、数据采集，确定样本的抽样方案及尺度变化；

步骤二、划分监督及非监督学习样本，并设置训练、验证及测试样本；

步骤三、设立多样本多尺度的深层编码-解码CNN模型；

步骤四、对由步骤三建立的深层编码-解码CNN模型进行预训练；

步骤五、设立门控循环的图卷积网络，并与深层编码-解码CNN模型连接成深度残差CNN-GCN模型；

步骤六、采用监督样本对深度残差网络模型进行监督学习；

步骤七、在步骤六的基础上，采用监督及非监督样本进行半监督学习；

步骤八、判断精度或训练次数是否达标；若不达标，转到步骤七，进行半监督的循环学习；若达标，进入下一步；

步骤九、模型的尺度转换应用。

进一步地，步骤一中，采集的数据为卫星遥感数据，包括常规的RGB三波段或高光谱波段图像；根据卫星遥感数据的分辨率，确定语义分割最终分辨率及需要的尺度变换S个，确定从小到大需要的空间分辨率尺度；对于每个尺度，抽样方案按照bootstrap重采样方式抽取样本集合共B个，最后得到S*B个数据集。

进一步地，步骤二中，将数据集中的标注样本设置成监督学习样本，非标注样本设置成非监督学习样本；对每个数据集，将其具有的标注样本等分成m份，其中，将等分的m份样本按比例划分成训练样本、验证样本、测试样本。

4、根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤三中，根据数据的复杂程度，确定深层编码-解码CNN模型的层数及每层的节点数；深层编码-解码CNN模型采用对称结构的编码-解码模型，其中，残差连接采用同等映射方式。

进一步地，步骤四中，采用每个数据集划分的训练、验证及测试样本进行深层编码-解码CNN模型的预训练，对每个深层编码-解码CNN模型分别进行预训练，采用以下的叉熵损失函数：

式中，L_L(θ)为标注样本对应的损失函数，n为样本的个数，k为土地利用要分类的类别数，

是第i个样本属于第j类的真实值(0或1)，

则是第i个样本属于第j类的概率，i为样本索引，j为类别索引,通过式2的softmax函数得到；

式2则是softmax的计算，其中，

代表第i个样本的网络最后层第a类对应节点的输出值，a为类别的节点索引，

则表示对

取指数；

代表第i个样本的网络最后层第j类对应节点的输出值的指数值；k为分类的类别数，Ω_θ为参数集θ正则化项，采用弹性网络进行正则化，得到训练结果。

进一步地，步骤五中，图卷积网络的输入特征包括：原始输入的图像波段，以及多尺度多样本的深层编码-解码CNN模型结果输出节点构成的特征；

当深层编码-解码CNN模型的输出同图卷积网络的尺度不一致时，加入尺度调整层，通过双线性插值修正获得图卷积的目标尺度。

进一步地，将图卷积网络同深层编码-解码CNN模型连接，得到深度残差网络模型；连接方式分为两种：1)多个输出结果同图卷积网络静态连接，多尺度多样本的输出结果作为图卷积网络的输入，图卷积合成多输出；2)直接将深层编码-解码CNN模型连接到图卷积网络的输入端，图卷积的分割结果继续后向传播传递到深层的CNN层进行参数更新。

进一步地，为提高学习训练效率，图卷积网络进行残差连接，并通过门控循环单元GRU进行循环推理，实现长短依赖关系的建模，具体过程为：

a)图卷积运算：

令A是展示网络的节点拓扑，A＝{a_ij}代表节点i及节点j之间是否连接，D为网络的度矩阵，D＝{d_ij}，得图的拉普拉斯矩阵：

L＝D-A 式3

对式3进行特征分解：

L＝UΛU^T 式4

式中，∧为特征矢量U对应的特征值，T表示矩阵的转置操作，U^T表示对矩阵U进行转置；

对图提取得到的特征值进行图傅里叶变换：

式中，

代表傅里叶变换，x为节点的信号，即特征输入；

令g_θ＝diag(θ)为图卷积过滤器，其中，θ为参数集，diag为对角矩阵，即在矩阵对角上的元素为θ，其余值为0；得到其卷积运算公式：

g_θ*x＝U(U^Tg_θ·U^Tx) 式6

式中，*代表卷积操作，将卷积函数g_θ定义为拉普拉斯矩阵特征向量的函数，即g_θ(Λ)；将U^Tg_θ看作是拉普拉斯特征值函数，参数为θ；

对过滤器采用切比雪夫多项式进行近似求解：

式中，

为前文提到的拉普拉斯矩阵L的最大特征值(即λ_max，代表谱半径)缩放后的特征向量，I_N为N阶单位矩阵；

表示一个切比雪夫向量，而g_θ′(Λ)表示采用切比雪夫多项式对原图谱卷积g_θ(Λ)近似函数，θ_k′表示切比雪夫向量的第k个元素；T_k为切比雪夫多项式，采用多项式递归拟合；K代表拟合的阶数，k表示阶数索引；

令K＝1，则得一阶的图卷积的的切比雪夫拟合公式：

其中，考虑图节点的自连接，即

其中，A是展示网络的节点拓扑，I为单位矩阵，

代表矩阵

中的第i行第j列的元素；H^l为第l个隐藏层，W^l为第l个隐藏层H^l的权重系数，采用更新的度矩阵

σ为激活函数；

b)网络优化的信息传播

网络优化的信息传播采用残余的门控循环进行，采用

代表第i个节点的邻居节点在时间点t传递给其的信息，其函数为：

其中，N_i代表节点i的邻近点集；如上式所示信息函数

通过前一步的图卷积即式8获得，而σ_r代表ReLU激活函数；M(…)代表信息传播函数；

代表节点i的第j个邻近节点在时间点t-1隐藏层的输出；j为节点i的邻近节点索引；

得到t时刻的更新函数：

式中，

及

分别代表t时刻第i节点重启门及更新门控制参数，U、V、U_z、V_z、U_r及V_r分别代表可学习的门权重系数，σ_s为西格玛激活函数；

代表Hadamard逐点乘法算子；

代表在时间点t-1的节点i本身的隐层输出，

代表在时间点t的节点i的输出，

则代表节点i在时间点t汇总所有邻近点信息的隐层输出；式13中右边最后一项，即

代表了来自上一卷积层的残差连接，采用同等连接映射实现，用于图网络的加速计算。

c)总体分割损失函数

采用softmax判定最大的概率作为分类类别，采用了多类叉熵损失函数，如式1及2所示；其中式2的

为前面一步b)的图卷积网络最后时间点T的输出层。

进一步地，步骤七中，在监督样本监督学习的基础上，进行半监督学习，将训练得到的模型预测非标记样本结果作为伪标记样本，非标记样本即为非监督样本，连同标记样本一起进行训练，采用以下的混合损失函数：

其中，L表示标记样本数据集{x,y}，而U表示非标记样本数据集{x′}，n_L为标记样本数，而n_U为非标记样本数，λ为未标记样本损失权重(缺省为0.5)，θ为要优化的参数集，y_i′^(j)为上一轮监督学习器预测得到的标记，作为伪真实的标记用于模型优化，而

为真实标记样本；

则为网络模型估计的第i个实例输入第j类的概率，y′代表非标记样本需要估计的分类，x_i代表第i个样本的输入特征矢量，i为样本索引，j为分类类别索引，k为分类类别总数。

进一步地，步骤八中，半监督的循环学习的具体过程是：根据训练好的模型，先固定其模型参数预测非标记样本的分类结果；然后将分类结果连同标记样本一起混合去更新模型；

每次迭代的结果都会提高数据的条件概率，也会提高分类精度：

式中，θ代表前述深度网络模型的参数集，q为欲求的简化的分布函数，p即为原分布函数；KL(q|p)代表了q与p之间K-L的散度，X代表了数据集(包括标注样本Y)，由于KL(q|p)≥0，

代表了数据概率似然性的下界：

式中，Y′代表了非标注样本的分类；当固定参数集θ时，采用网络模型得到分类结果，此时将后验分类结果p(Y′|X,θ)取代先验结果q(Y′)，导致KL(q|p)＝0，下界

将取最大值；当将分类结果作为真实值更新θ时，假定优化取得更好的结果使得

较大，而θ的变化将使得KL(q|p)>0，从而使得数据的对数似然函数逐步增加。

本发明公开了一种半监督深度图卷积的遥感土地利用语义分割方法，具有以下优点：1)设计了多尺度及多样本的深度编码-解码CNN网络提取多方面的特征，使得模型适应尺度及样本的变化，避免了单一模型可能导致的抽样及尺度偏差，提高了图像分割的抗噪功能；2)将深度编码-解码CNN网络抽象特征学习能力、图卷积网络(GCN)的邻近点归纳能力、门控循环GRU的长依赖建模以及残差学习功能结合，充分发挥各项技术的优势互补，通过端-端的训练提高模型语义分割的效果；3)通过半监督学习循环训练，充分提高了非标注样本的利用效率，同时通过加入非标注样本减低过拟合，提高模型的泛化功能。

总结起来，通过多尺度及多样本的多深度残差CNN-GCN的一体化的建模，提高了图像分割模型在遥感图像土地利用语义分割的效率，而通过半监督学习及长短依赖关系的建模，减少语义分割过程中的噪点，提高遥感土地利用分割的质量。

附图说明

图1为本发明的流程示意图。

图2为本发明深层编码-解码CNN模型典型的模型结构图。

图3为本发明残差门控循环的图卷积网络的构建过程示意图。

图4展示为本发明实施例的研究区域的影像及地理范围示意图。

图5为本发明实施例的部分分割结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明针对当前遥感图像土地利用语义分割方法的不足，提出了一种半监督深度图卷积的遥感土地利用语义分割方法。充分考虑了单尺度及单样本建模的不足，嵌入了多尺度及多样本的深度残差网络提取特征，通过循环图残差卷积网络实现短及长的邻近点关系提取，通过半监督学习训练模型更有效地实现了遥感土地利用的高精度分割。

同现有的遥感图像土地利用分割方法相比，本发明主要解决以下四个问题：

1)采用了深度学习的新技术进行遥感土地利用图像语义分割，大幅提高图像分割的精度。将深度残差卷积网同图卷积结合，充分发挥深度卷积提取有效特征的能力及图卷积的邻近点关系建模的能力，可以避免采用条件随机场的后处理步骤，采用端到端训练，而残差网络结构的设计可以更高效地获得优化参数，提高图像分割效果。

2)针对现有单一模型分割预测不确定性，提出了采用类似于引导聚集算法(bootstrap aggregating，简称bagging)重采样方法提取多尺度多样本训练多残差深度卷积网络，将这些不同深层建模结果融入到图卷积的输入层进行图卷积邻近点关系建模，充分发挥了多尺度多样本深层模型优势，减少预测不确定性，提高分割精度的功能。

3)针对图卷积邻近点关系深度建模的局限，在图卷积网络序列的推导过程采用了门控循环单元(gated recurrentunits，简写GRU)，同时融入了残差连接提高学习效率，采用此循环推理方式便于图网络记录像素之间的长依赖关系，同图本身的邻近点关系建模结合可起到条件随机场的概率推理的类似作用，但基于GRU的图卷积具有更强的长短依赖的建模功能及优化功能，有利于图像分割效果的提高。

4)本发明设计了半监督学习的循环学习模式，可以充分发挥较少的标注样本同非标注样本的作用。避免现在遥感图像分割标注数据成本较高样本较少的缺陷，通过本发明的半监督学习，使得本专利在实际应用中比现有技术有更好的优势，可以减少样本数较少导致训练不充分的缺陷。

下面结合图1所展示的流程图，对本发明的处理步骤进行介绍，主要包括以下处理步骤：

步骤一、数据采集，确定样本的抽样方案及尺度变化；

采集的数据为卫星遥感数据，包括常规的RGB三波段或高光谱波段图像；

根据卫星遥感数据的分辨率，确定语义分割最终分辨率及需要的尺度变换S个，确定从小到大需要的空间分辨率尺度；对于每个尺度，抽样方案按照bootstrap重采样方式抽取样本集合共B个，最后得到S*B个数据集。

步骤二、划分监督及非监督学习样本，并设置训练、验证及测试样本；

将数据集中的标注样本设置成监督学习样本，非标注样本设置成非监督学习样本；对每个数据集，将其具有的标注样本等分成m份，其中，将等分的m份样本按比例划分成训练样本、验证样本、测试样本；例如，将每个数据集中的标注样本等分成10份，其中，6等份是训练样本，2等份是验证模型的验证样本，2等份是独立测试样本，确保训练样本的比重超过50％。

同时，还对数据集进行了降噪、数据正则化等预处理。

步骤三、设置多样本多尺度的深层编码-解码CNN模型；

根据数据的复杂程度，确定深层编码-解码CNN模型的层数及每层的节点数；深层编码-解码CNN模型采用对称结构的编码-解码模型，图2展现了经典的模型结构，其中，残差连接实现了长短连接，长连接是通过同等映射从编码层到解码层进行映射；而短连接则是在每个残差块内实施，每个残差单元包含3个卷积层，每个卷积层大小如图2所示，残差连接从第一卷积层输出同等映射连接到第三卷积层的输出。在编码层，每层节点个数逐层减少，但特征数逐层增加，以便于表征(representation)的提取；而解码层刚好相反，每层节点数逐层增加，恢复输入栅格的大小；中间层为表征提取层。输入及输出层包含了一个尺度转换层(resizing layer)，便于将图像输入层转换成深层网络确定的大小，以及将隐层输出转换成原输入图像大小。

步骤四、对深层编码-解码CNN模型进行预训练；

对由步骤三建立的深层编码-解码CNN模型，采用每个数据集划分的训练、验证及测试样本进行预训练，以便于获得预训练的输出结果作为下一步图卷积层的输入；由于对每个模型都进行了预训练，得到了包含多尺度多样本的输出结果，由多尺度多样本的输出结果一起作为下一步图卷积层的输入。

模型的预训练需要对每个深层编码-解码CNN模型分别进行预训练，采用以下的叉熵损失函数：

式中，L_L(θ)为通过标注样本的损失函数，n为样本的个数，k为土地利用要分类的类别数，

是第i个样本属于第j类的真实值(0或1)，

则是第i个样本属于第j类的概率，i为样本索引，j为类别索引,通过式2的softmax函数得到；

式2则是softmax的计算，其中，

代表第i个样本的网络最后层第a类对应节点的输出值，a为类别的节点索引，

则表示对

取指数；

代表第i个样本的网络最后层第j类的输出值的指数值；k为分类的类别数，Ω_θ为参数集θ正则化项，采用弹性网络进行正则化，得到训练结果。

步骤五、设立门控循环的图卷积网络，并连接成深度残差CNN-GCN模型；

如图3所示，总共T步。图卷积网络的每个节点对应了输入矩阵的一项(即对应输入栅格的一个像素点)，特征包括原始输入的图像波段，以及多尺度多样本的深层编码-解码CNN模型结果输出节点构成的特征。图卷积网络尺度按照目标分辨率设置，如目标分辨率为10米，则图卷积的每个节点之间的距离就是10米；对于深层编码-解码CNN模型的输出同图卷积尺度不一致的，则加入尺度调整层(即resize层)，通过双线性插值修正获得图卷积的目标尺度。

将图卷积同深层编码-解码CNN模型连接，得到深度残差网络模型。在同深层编码-解码CNN模型连接方面，采用两种连接方式进行连接：一种方式是多个输出结果同图卷积网络静态连接，多尺度多样本的输出结果作为图卷积网络的输入，图卷积合成多输出结果，本方法的优点是可以融合许多合成模型输出进行预测，缺点是缺乏“深层网络-图卷积”一体化的优化过程；另一种方法是直接将深层编码-解码CNN模型连接到图卷积网络的输入端，图卷积的分割结果可以继续后向传播传递到深层的CNN层进行参数更新，实现一体化的端到端的训练优化过程，但是这种方法缺点是多尺度多样本连接可能导致庞大的网络无法放入内存进行训练，同第一种方式比较，由于受到存储空间的限制，连接的多尺度多样本的模型较少。

为提高学习训练效率，图卷积网络进行残差连接，并通过门控循环单元GRU进行循环推理，实现长短依赖关系的建模，具体过程为：

a)图卷积运算，即图卷积网络的卷积过程：

令A是展示网络的节点拓扑，A＝{a_ij}代表节点i及节点j之间是否连接(1：连接，0：不连接)，D为网络的度矩阵，D＝{d_ij}(d_ij＝0如i≠j；d_ij＝∑_ja_ij如i＝j)，则可得图的拉普拉斯矩阵：

L＝D-A 式3

根据定义，图的拉普拉斯矩阵对称、正值及半正定，对其进行特征分解：

L＝UΛU^T 式4

式中，∧为特征矢量U对应的特征值，T表示矩阵的转置操作，U^T表示对矩阵U进行转置；对图提取得到的特征值进行图傅里叶变换：

式中，

代表傅里叶变换，x为节点的信号，即特征输入；

令g_θ＝diag(θ)为图卷积过滤器(filter)，其中，θ为参数集，diag为对角矩阵，即在矩阵对角上的元素为θ，其余值为0；则可得到其卷积运算公式：

g_θ*x＝U(U^Tg_θ·U^Tx) 式6

式中，*代表卷积操作，而卷积函数g_θ可以设置使得图模型具有较好的局部性，可将其定义为拉普拉斯矩阵特征向量的函数即g_θ(Λ)，将U^Tg_θ看作是拉普拉斯特征值函数，参数为θ；

为降低图卷积计算的复杂度，对过滤器采用切比雪夫多项式进行近似求解，避免特征值的海量计算：

式中，

为前文提到的拉普拉斯矩阵L的最大特征值(即λ_max，代表谱半径)缩放后的特征向量，I_N为N阶单位矩阵；

表示一个切比雪夫向量，而g_θ′(Λ)表示采用切比雪夫多项式对原图谱卷积g_θ(Λ)近似函数，θ_k′表示切比雪夫向量的第k个元素；T_k为切比雪夫(Chebyshev)多项式，采用多项式递归拟合，即T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中，T₀(x)＝1且T₁＝x；K代表拟合的阶数，其值越大表明拟合越高，计算复杂度提高；k表示阶数索引。

令K＝1，则得一阶的图卷积的的切比雪夫拟合公式：

其中，考虑图节点的自连接，即

其中，A是展示网络的节点拓扑，I为单位矩阵，

代表矩阵

中的第i行第j列的元素；H^l为第l个隐藏层，W^l为第l个隐藏层H^l的权重系数，采用更新的度矩阵

σ为激活函数；

b)网络优化的信息传播

网络优化的信息传播采用残余的门控循环进行，采用

代表第i个节点的邻居节点在时间点t传递给其的信息，其函数为：

其中，N_i代表节点i的邻近点集；如上式所示信息函数

通过前一步的图卷积即式8获得，而σ_r代表ReLU激活函数；M(…)代表信息传播函数；

代表节点i的第j个邻近节点在时间点t-1隐藏层的输出；j为节点i的邻近节点索引；

可以得到t时刻的更新函数：

式中，

及

分别代表t时刻第i节点重启门及更新门控制参数，U、V、U_z、V_z、U_r及V_r分别代表可学习的门权重系数，σ_s为西格玛激活函数；

代表Hadamard逐点乘法算子；

代表在时间点t-1的节点i本身的隐层输出，

代表在时间点t的节点i的输出，

则代表节点i在时间点t汇总所有邻近点信息的隐层输出。式13中右边最后一项，即

代表了来自上一卷积层的残差连接，采用同等连接映射实现，用于图网络的加速计算。

c)总体分割损失函数

节点的多类问题，采用softmax判定最大的概率作为分类类别。对单个的监督模型的学习，采用了多类叉熵损失函数，如式1及2所示。其中式2的

为前面一步b)的图卷积网络最后时间点T的输出层。

步骤六、采用监督样本进行监督学习；

标记样本设置成监督样本，根据标记样本及步骤五获取的网络模型，如图3所示，采用监督样本进行监督学习，同时进行最优超参数的敏感性分析，求取最优的超参数，包括学习率、小批量样本数、训练批次等。在该步骤，将监督学习得到的模型保存，以便于下一步的半监督学习应用。

步骤七、采用监督及非监督样本进行半监督学习；

在上述监督样本训练模型的基础上，利用监督学习得到的模型预测非标注样本，得到的结果作为这些非标注样本的伪标记，非标注样本即为非监督样本，连同原来的标注样本一起用于半监督学习，采用以下的混合损失函数：

其中，L表示标记样本数据集{x,y}，而U表示非标记样本数据集{x′}，n_L为标记样本数，而n_U为非标记样本数，λ为未标记样本损失权重(缺省为0.5)，θ为要优化的参数集，y_i′^(j)为上一轮监督学习器预测得到的标记，作为伪真实的标记用于模型优化，而

为真实标记样本，

则为网络模型估计的第i个实例输入第j类的概率，y′代表非标记样本需要估计的分类，x_i代表第i个样本的输入特征矢量，i为样本索引，j为分类类别索引，k为分类类别总数。

模型训练中可以进行敏感性分析，求取最优的超参数，包括每批次训练标记样本同非标记样本的比例、学习率、小批量样本数、λ值以及训练批次等。

在该步骤，采用式14的目标损失函数进行训练，更新网络参数，形成新的半监督学习得到的模型，同时记录模型的测试精度acc。

步骤八、判断网络模型的测试精度acc或训练次数是否达标；

如果训练测试精度未达标或者训练次数未到最大限制值，则转到步骤七步进行半监督的循环学习；

具体是：根据训练好的模型，先固定其模型参数预测非标记样本的分类结果；然后将分类结果连同标记样本一起混合去更新模型；

每次迭代的结果都会提高数据的条件概率，也会提高分类精度：

式中，θ代表前述深度网络模型的参数集，q为欲求的简化的分布函数，p即为原分布函数；KL(q|p)代表了q与p之间K-L的散度(Kullback-Leibler Divergence)，X代表了数据集(包括标注样本Y)，由于KL(q|p)≥0，

代表了数据概率似然性的下界：

式中，Y′代表了非标注样本的分类；当固定参数集θ时，采用网络模型得到分类结果，此时将后验分类结果p(Y′|X,θ)取代先验结果q(Y′)，导致KL(q|p)＝0，下界

将取最大值；当将分类结果作为真实值更新θ时，假定优化取得更好的结果使得

较大，而θ的变化将使得KL(q|p)>0，从而使得数据的对数似然函数逐步增加；从而，从理论上本专利说明了通过半监督的学习，由于采用了深度卷积-图卷积网络提高分类精度，每次迭代可取得较优的模型，使得本专利设计的半监督方法可逐步循环提高建模分类的精度，将非标记数据利用起来提高训练效果。

如果训练达标，则进入下一步；

步骤九、模型的尺度转换应用；

模型训练达标，保存模型，以便用于以后的类似地区的语义分割。

对于本发明所公开的一种半监督的深度图卷积的遥感土地利用语义分割方法，与现有技术相比，具有以下优势：

1)现有的许多方法基于单模型，缺乏尺度的变化，抽样偏差也会导致预测的不确定性，在实际应用中随着应用上下文变化而出现偏差。本发明的模型嵌入了多尺度、多样本的多模型提取输入影像的深度特征，有助于缓解单模型建模中引入的抽样偏差及尺度偏差，提高预测的效果；

2)现有的深度网络后处理则采用了条件随机场进行处理，一些方法采用了CNN或RNN连接条件随机场形成端-端训练，但条件随机场模型结构有限，优化不充分，理论上不及图卷积网络的建模能力强。本发明采用残差图卷积网络建模邻近点关系，并通过门控循环推理及残差建模长依赖关系，完成类似条件随机场的后处理功能，长短依赖关系的建模功能有助于本专利方法取得更好的后处理效果；

3)针对现有的遥感图像的土地利用样本获取耗时费力的难题，本发明设计了半监督学习，通过循环的半监督学习，充分提高非标注样本的利用效率，提高了遥感图像土地利用监督样本学习的利用效率。而融入非标注样本的半监督学习，也有助于提高模型的泛化功能。

4)关于学习效率方面，现有的U-Net方法采用了跳转连接，学习效率提升但是参数过多，这可能潜在导致过拟合。本专利将残差连接应用于CNN的深层网络及循环的图网络GCN，通过残差学习大幅提高了学习效率。本发明通过CNN的深层学习提取样本的典型特征，而同GCN连接完成对节点(像素)之间长-短依赖的建模，具有较强的学习及预测泛化能力。

【实施例】

本实施例是以覆盖湖北省阳新县的土地利用的土地分割为例，对本发明做进一步详细的说明。

步骤一、数据采集；从Google Earth采集覆盖湖北省阳新县的高分辨率的RGB遥感数据集，图像分辨率为1米x1米；图4展现了本实施例的研究区域的影像及地理范围，像素点个数为46686x35596。设定从小到大10个尺度的分辨率，即10米、20米、30米、50米、100米、200米、300米、500米、800米、1000米。每种尺度确定bagging的模型数目为20个。经过这些样本双线性插值处理等，总计共获得200个数据集提取输出的特征变量。采用了Python的gdal库处理地理坐标数据，结合Open CV2库进行图像的尺度转换，同时将不同尺度的放缩图像切割成256x256大小的小块(patch)，设置每个patch允许15％的重叠，以使得模型可以提取每个patch边界的特征，每种尺度及重复抽样抽取的样本构成一个数据集。执行时编制了Python并行处理的模块加快样本抽取的进度。

步骤二、对每个数据集，按照6:2:2的份额将数据划分为训练样本、验证样本及测试样本。本实施例采用Python的sklearn包处理样本的划分、降噪及数据正则化等预处理功能。

步骤三、设置多尺度、多样本的残差编码-解码图像分割模型(即深层编码-解码CNN模型)，采用图2所示的结构。在残差的模块内采用了短的残差连接，而编码层与解码层之间采用了长的残差连接。节点的输入通过尺度调整层将输入矩阵调整为256x256的大小，在每个残差块由三个同样的卷积层组成，以便于其中的第一层及第三层卷积层之间建立残差的短连接。网络总层数为33层，每个残差块大小(width x height)及特征数(channel)分别为：3x56x256x32、3x128x128x64、3x64x64x128、3x32x32x256、3x16x16x512、3x8x8x1024、3x16x16x512、3x32x32x256、3x64x64x128、3x128x128x64、3x256x256x32。模型建立采用了Python的深度学习库PyTorch建立了基于全残差编码-解码的图像分割模型。

步骤四、对由步骤三建立的分割模型，采用每个数据集划分的训练、验证及测试样本进行分割模型的预训练，采用式1及式2所示的损失函数，记录训练精度，采用弹性网络进行正则化处理，获取输出结果。实施采用了4个GPU(graphics processing unit，专门用于提升深度学习效率的图形处理卡)加速了学习建模的过程。表1展示不同尺度的模型训练的平均测试精度及其标准变差的结果。

表1不同尺度的模型训练的测试精度

步骤五、建立门控循环的图卷积网络，总共T步，输入图像大小为256x256，特征输入维度为203，包括原始的RGB三波段以及多尺度多样本的单模型总计200个模型的输出。考虑到维度较多，此处采用了静态连接方式，此外，也单独测试了仅连接10个尺度的单模型进行敏感性测试。图卷积及门控循环网络均采用PyTorch及其Geometric的图网络库(https://pytorch-geometric.readthedocs.io)进行实现，具体实施时派生其GatedGraphConv类，在其信息前馈传递方面加入了残差连接，实现残余的门控循环的图卷积网络，通过残差连接进一步提高了学习训练的效率。

在深层编码-解码CNN模型(简称深层CNN)同图卷积网络连接方面，如果采用静态连接方式，将多尺度多样本输出作为图卷积的输入，则训练的重点在残余的门控循环的图网络方面；而如果采用动态连接方式，即将深层CNN同图卷积(GCN)连接在一起，误差信息传递从输出传回GCN，再继续回传到深层CNN，优化整个深层CNN-GCN的参数，参数传递更为复杂，也需要更多的GPU训练的内存空间。

步骤六、采用监督样本进行监督学习步骤五所建立的网络。采用监督样本学习步骤5所建立的模型，仍采用多类叉熵作为目标损失函数，在数据输入方面，通过尺度调整(resizing)层实现多尺度多样本模型融合。对于静态连接方式，先将输入数据输入到各个尺度及样本的深层CNN得到输出结果，再将输出与原输入组合成残余的图卷积网络输入，进行残余的门控循环的图卷积训练；而对于动态连接方式，直接输入原始数据，深层CNN同GCN连接直接进行模型训练，最后得到结果。

此处，采用敏感性分析，通过启发性的参数学习(heuristic parameterlearning)获得优化的超参数：学习率r＝0.01，批学习样本大小n_b＝32(太大的样本大小将导致内存溢出)，循环次数T＝10，网络优化方法采用Adam的优化器，学习批次为500。将学习得到的模型保存，以便于下一步的半监督学习应用。

步骤七、将训练好的模型预测非标注样本，估计值作为非标注样本的伪标记，连同原来的标注样本用于下步的半监督学习。

步骤八、在第六步监督学习的基础上进行半监督学习。此处设置标记样本同非标记样本的比例为0.6:0.4，即将60％的标记样本同40％的非(伪)标记样本组合成半监督学习样本集，其中，非标记样本采用第六步监督学习得到的模型进行预测，预测的分类作为伪标记的结果，即式14中的y′，输入到模型进行一次半监督学习，初始的非标记样本的权重参数λ设置为0.5，可以通过敏感性分析获得较优的值。训练采用式14的目标损失函数，更新网络参数，形成新的半监督学习得到的模型，同时记录模型的测试精度acc。

步骤九、判断网络模型的测试精度acc是否达标或训练次数达到限制值(此处设置最大循环训练次数为300)，如果已经达标，表明训练模型达到要求，则将模型保存，如果不达标，则将重新转至步骤七进行半监督的模型训练的循环，直至测试精度达到要求或达到最大的循环次数。

步骤十、将训练完成的模型及其测试结果保存，便于之后的影像模型分割的应用。总体上本实施例的半监督训练循环进行了100次，取得较为理想的分割精度(0.98)，训练每次循环都在一定程度上提高了测试精度，公式14中的λ＝0.3，可取得较好的半监督训练结果。总体上采用图卷积后处理提高了8％的分割精度，图5展示了部分分割的结果，由图可见，本实施例的分割结果减少了噪声的生成，生成分割的结果分布同手工分类数据比较较为一致，精度较高，表明了本发明专利的方法取得了比较好的效果。敏感性测试表示动态连接的总精度达到0.97，比模型合成要低1％，主要的原因是由于GPU的限制，每个尺度仅仅连接了一个单一样本模型，这影响了最终分割结果的精度。在增加GPU存储空间情况下，增加动态连接的模型数量，这可提高最终的模型训练精度。

由此，通过实施例可知，本发明所公开的半监督深度图卷积的遥感土地利用语义分割方法实现了以下效果：

1)设计了多尺度多样本的深度语义分割一体化的网络结构，该结构考虑尺度变化及抽样偏差导致的不确定性，通过多尺度多样本的语义特征输入，连接深度的CNN及GCN，充分利用两种建模的优势，可缓解常用的单模型建模由于尺度及样本单一引入的预测偏差，提高预测的效果。

2)建立了基于门控循环单元的残差图卷积网络进行图像分割的像素之间关系的建模，将图网络的邻近点的依赖关系建模能力同门控循环单元的长依赖关系建模能力充分结合起来，更好地完成了类似条件随机场的后处理功能，结果表明采用循环图网络得到的结果具有更少的噪点，精度高。

3)设计了半监督的学习方法，通过半监督学习的循环训练，充分提高了非标注样本的利用效率，通过加入非标注样本减低过拟合，进一步提高了优秀的分割模型的泛化功能，理论与实践上证明了本发明的半监督学习对结果的提高。

4)本发明引入了多级残差连接到深度CNN及图卷积网络之中，通过残差提高学习效率，同已有的跳转连接比较，残差连接参数更少，误差信息的后向传递高效，可避免潜在的参数过多导致的过拟合。

5)将深度的编码-解码的CNN抽象特征学习能力、GCN的邻近点归纳能力、门控循环GRU的长依赖建模以及残差学习功能结合，充分发挥各项技术的优势互补，通过端-端的训练，提高语义分割的效果，减少分割应用中噪点的输出。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (10)

1.一种半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：包括以下步骤：

步骤一、数据采集，确定样本的抽样方案及尺度变化；

步骤二、划分监督及非监督学习样本，并设置训练、验证及测试样本；

步骤三、设立多样本多尺度的深层编码-解码CNN模型；

步骤四、对由步骤三建立的深层编码-解码CNN模型进行预训练；

步骤五、设立门控循环的图卷积网络，并与深层编码-解码CNN模型连接成深度残差CNN-GCN模型；

步骤六、采用监督样本对深度残差网络模型进行监督学习；

步骤七、在步骤六的基础上，采用监督及非监督样本进行半监督学习；

步骤八、判断精度或训练次数是否达标；若不达标，转到步骤七，进行半监督的循环学习；若达标，进入下一步；

步骤九、模型的尺度转换应用。

2.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤一中，采集的数据为卫星遥感数据，包括常规的RGB三波段或高光谱波段图像；根据卫星遥感数据的分辨率，确定语义分割最终分辨率及需要的尺度变换S个，确定从小到大需要的空间分辨率尺度；对于每个尺度，抽样方案按照bootstrap重采样方式抽取样本集合共B个，最后得到S*B个数据集。

3.根据权利要求2所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤二中，将数据集中的标注样本设置成监督学习样本，非标注样本设置成非监督学习样本；对每个数据集，将其具有的标注样本等分成m份，其中，将等分的m份样本按比例划分成训练样本、验证样本、测试样本。

4.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤三中，根据数据的复杂程度，确定深层编码-解码CNN模型的层数及每层的节点数；深层编码-解码CNN模型采用对称结构的编码-解码模型，其中，残差连接采用同等映射方式。

5.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤四中，采用每个数据集划分的训练、验证及测试样本进行深层编码-解码CNN模型的预训练，对每个深层编码-解码CNN模型分别进行预训练，采用以下的叉熵损失函数：

式中，L_L(θ)为标注样本对应的损失函数，n为样本的个数，k为土地利用要分类的类别数，

是第i个样本属于第j类的真实值(0或1)，

则是第i个样本属于第j类的概率，i为样本索引，j为类别索引,通过式2的softmax函数得到；

式2则是softmax的计算，其中，

代表第i个样本的网络最后层第a类对应节点的输出值，a为类别的节点索引，

则表示对

取指数；

代表第i个样本的网络最后层第j类对应节点的输出值的指数值；k为分类的类别数，Ω_θ为参数集θ正则化项，采用弹性网络进行正则化，得到训练结果。

6.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤五中，图卷积网络的输入特征包括：原始输入的图像波段，以及多尺度多样本的深层编码-解码CNN模型结果输出节点构成的特征；

当深层编码-解码CNN模型的输出同图卷积网络的尺度不一致时，加入尺度调整层，通过双线性插值修正获得图卷积的目标尺度。

7.根据权利要求6所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：将图卷积网络同深层编码-解码CNN模型连接，得到深度残差网络模型；连接方式分为两种：1)多个输出结果同图卷积网络静态连接，多尺度多样本的输出结果作为图卷积网络的输入，图卷积合成多输出；2)直接将深层编码-解码CNN模型连接到图卷积网络的输入端，图卷积的分割结果继续后向传播传递到深层的CNN层进行参数更新。

8.根据权利要求7所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：为提高学习训练效率，图卷积网络进行残差连接，并通过门控循环单元GRU进行循环推理，实现长短依赖关系的建模，具体过程为：

a)图卷积运算：

令A是展示网络的节点拓扑，A＝{a_ij}代表节点i及节点j之间是否连接，D为网络的度矩阵，D＝{d_ij}，得图的拉普拉斯矩阵：

L＝D-A 式3

对式3进行特征分解：

L＝UΛU^T 式4

式中，∧为特征矢量U对应的特征值，T表示矩阵的转置操作，U^T表示对矩阵U进行转置；

对图提取得到的特征值进行图傅里叶变换：

式中，

代表傅里叶变换，x为节点的信号，即特征输入；

令g_θ＝diag(θ)为图卷积过滤器，其中，θ为参数集，diag为对角矩阵，即在矩阵对角上的元素为θ，其余值为0；得到其卷积运算公式：

g_θ*x＝U(U^Tg_θ·U^Tx) 式6

式中，*代表卷积操作，将卷积函数g_θ定义为拉普拉斯矩阵特征向量的函数，即g_θ(Λ)；将U^Tg_θ看作是拉普拉斯特征值函数，参数为θ；

对过滤器采用切比雪夫多项式进行近似求解：

式中，

为前文提到的拉普拉斯矩阵L的最大特征值(即λ_max，代表谱半径)缩放后的特征向量，I_N为N阶单位矩阵；

表示一个切比雪夫向量，而g_θ′(Λ)表示采用切比雪夫多项式对原图谱卷积g_θ(Λ)近似函数，θ_k′表示切比雪夫向量的第k个元素；T_k为切比雪夫多项式，采用多项式递归拟合；K代表拟合的阶数，k表示阶数索引；

令K＝1，则得一阶的图卷积的的切比雪夫拟合公式：

其中，考虑图节点的自连接，即

其中，A是展示网络的节点拓扑，I为单位矩阵，

代表矩阵

中的第i行第j列的元素；H^l为第l个隐藏层，W^l为第l个隐藏层H^l的权重系数，采用更新的度矩阵

σ为激活函数；

b)网络优化的信息传播

网络优化的信息传播采用残余的门控循环进行，采用

代表第i个节点的邻居节点在时间点t传递给其的信息，其函数为：

其中，N_i代表节点i的邻近点集；如上式所示信息函数

通过前一步的图卷积即式8获得，而σ_r代表ReLU激活函数；M(…)代表信息传播函数；

代表节点i的第j个邻近节点在时间点t-1隐藏层的输出；j为节点i的邻近节点索引；

得到t时刻的更新函数：

式中，

及r_i ^t分别代表t时刻第i节点重启门及更新门控制参数，U、V、U_z、V_z、U_r及V_r分别代表可学习的门权重系数，σ_s为西格玛激活函数；

代表Hadamard逐点乘法算子；

代表在时间点t-1的节点i本身的隐层输出，

代表在时间点t的节点i的输出，

则代表节点i在时间点t汇总所有邻近点信息的隐层输出；式13中右边最后一项，即

代表了来自上一卷积层的残差连接，采用同等连接映射实现，用于图网络的加速计算。

c)总体分割损失函数

采用softmax判定最大的概率作为分类类别，采用了多类叉熵损失函数，如式1及2所示；其中式2的

为前面一步b)的图卷积网络最后时间点T的输出层。

9.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤七中，在监督样本监督学习的基础上，进行半监督学习，将训练得到的模型预测非标记样本结果作为伪标记样本，非标记样本即为非监督样本，连同标记样本一起进行训练，采用以下的混合损失函数：

其中，L表示标记样本数据集{x,y}，而U表示非标记样本数据集{x′}，n_L为标记样本数，而n_U为非标记样本数，λ为未标记样本损失权重(缺省为0.5)，θ为要优化的参数集，

为上一轮监督学习器预测得到的标记，作为伪真实的标记用于模型优化，而

为真实标记样本；

则为网络模型估计的第i个实例输入第j类的概率，y′代表非标记样本需要估计的分类，x_i代表第i个样本的输入特征矢量，i为样本索引，j为分类类别索引，k为分类类别总数。

10.根据权利要求1所述的半监督深度图卷积的遥感土地利用语义分割方法，其特征在于：步骤八中，半监督的循环学习的具体过程是：根据训练好的模型，先固定其模型参数预测非标记样本的分类结果；然后将分类结果连同标记样本一起混合去更新模型；

每次迭代的结果都会提高数据的条件概率，也会提高分类精度：

式中，θ代表前述深度网络模型的参数集，q为欲求的简化的分布函数，p即为原分布函数；KL(q|p)代表了q与p之间K-L的散度，X代表了数据集(包括标注样本Y)，由于KL(q|p)≥0，

代表了数据概率似然性的下界：

式中，Y′代表了非标注样本的分类；当固定参数集θ时，采用网络模型得到分类结果，此时将后验分类结果p(Y′|X,θ)取代先验结果q(Y′)，导致KL(q|p)＝0，下界

将取最大值；当将分类结果作为真实值更新θ时，假定优化取得更好的结果使得

较大，而θ的变化将使得KL(q|p)>0，从而使得数据的对数似然函数逐步增加。

Images