CN113378731A - 基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络和边缘约束能量优化的端到端的绿地水系矢量提取方法，设计适用于遥感影像的绿地水系提取网络架构。该架构包括遥感影像上下文特征抽取与融合，实现待处理区域影像基础特征抽取；在抽取丰富特征的基础上，结合卷积层和上采样层，并采用端到端的以能量优化迭代的方式，得到较精细且平滑的绿地水系边缘；最终使用全连接层或图卷积层微调至精细的绿地水系边缘。另外，本发明采用两种损失交叉熵和Dice损失用于绿地水系的语义识别，并在全卷积网络端和边缘能量约束优化端对识别结果进行约束，以及提出多层坐标点匹配损失函数实现对轮廓点的约束，使得模型能够让预测的结点更好地接近真值轮廓点。

Description

基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取 方法

技术领域

本发明涉及一种端到端的绿地水系矢量化提取及边界优化方法，用于遥感影像的绿地和水系轮廓自动提取。

背景技术

近年来，随着深度学习和大数据技术的迅速发展以及计算机硬件技术的显著提高，针对遥感影像典型地物的提取技术取得了突破性发展。其中，图像分类、目标检测、语义分割等技术在遥感智能应用中被广泛关注和深入研究。图像分类和目标检测技术难以应用于遥感影像中地物轮廓的提取。语义分割技术为待解译影像上每一个像元赋予对应的语义标签值，这为遥感地物轮廓的提取任务提供基本的方案。因此遥感影像语义分割技术可广泛应用于减灾、农作物估产、地表覆盖分类等任务，具有巨大的实际应用价值。

在遥感影像分割任务中，卷积神经网络(Convolutional Neural Network,CNN)由于其强大的特征表示能力，达到了较高的精度，逐渐占据主流。但在地理信息系统(Geographic Information System,GIS)和测绘领域中，遥感地物一般采用矢量面要素表示，而非CNN网络输出的栅格图。在实际应用中，生产单位往往依赖于人工勾画以及对历史矢量数据的更新。而目前学界主要有两种解决思路，一是对CNN输出的栅格预测概率图进行矢量化，然后对矢量边界使用如道格拉斯-扑克法等方法进行优化，这类方法典型的有ASIPpolygonization；二是使用深度学习技术直接学习得出矢量化的边界，这类方法典型的有Curve-GCN和PolyMapper。虽然这两种思路都可以得到矢量化的结果，但前者需要进行一系列后处理操作，如栅格的矢量化、轮廓的简化及优化；而后者可以实现对目标的端到端矢量化提取。

当前，已有的研究仍聚焦于自然影像或遥感影像上简单、规则的地物，如道路、房屋等，没有探索水体和绿地等遥感影像中常见地物的矢量提取。在遥感影像中，水体和绿地两种地物具有相似特点，如形状多变(团状、细长状，凹型等)，边缘不规则；面积大小不一，范围变化较大。而且，这两种地物提取应该更多地应关注边缘问题，而其内部是一个次要的问题。同时水体和绿地也存在一些差异。绿地内部的纹理丰富、植被生长密度局部区域较均匀、整体差异明显、光谱差异突出等，而大部分水体内部是无纹理的。但在水体的边缘，混合像元现象明显，如田埂与水田、河岸与河水、水渠与地面、阴影与杂草遮挡等。因此，基于遥感影像绿地、水系的精确矢量边缘提取面临重大挑战。

发明内容

本发明为了克服上述问题，提出一种基于卷积神经网络和边缘能量约束优化的绿地水系的端到端矢量提取方法，针对遥感影像上水体及绿地的典型特征，使用卷积神经网络和影像上下文特征抽取与融合模块实现待影像的特征抽取与绿地水系识别，然后利用边缘能量约束优化层迭代得到较准确且平滑的边缘结点信息，并采用全连接结构或图卷积结构微调至绿地水系精确的边缘上。

本发明提供一种基于卷积神经网络和边缘能量约束优化的端到端的绿地水系矢量提取方法，包括如下步骤：

步骤1，建立训练集样本库，根据研究区域或者试验区域的遥感影像以及历史资料库，选取典型的绿地水系样本，制作对应标签，然后根据硬件计算资源大小，将影像裁剪合适的切片大小，同时制作对应的栅格标签和矢量标签；

步骤2，构建VTE模型，所述VTE表示基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取；

所述VTE模型包括全卷积网络端、边缘能量约束优化端以及矢量节点微调端；

所述全卷积网络端用于获取绿地、水系空间场景上下文和语义信息，并为边缘能量约束优化端提供初始检测结果和可学习的lambda参数以及提供多层次特征；

所述边缘能量约束优化端处理初始检测结果和可学习的lambda参数，进行基于能量约束的边界优化，迭代获取较准确且平滑的绿地水系边缘节点；

所述矢量节点微调端将提供的多层次特征进行节点特征抽取，利用全连接层或图卷积层微调得到精确的绿地水系边缘矢量结果；

步骤3，进行VTE模型训练与测试，实现对遥感影像中绿地和水系的轮廓检测和边缘节点精细调整。

进一步的，所述全卷积网络端包括编码器、解码器和输出层三大部分；编码器包括n个残差连接的卷积层和密集空洞卷积连接层，解码器与编码器对应，输出层包括空间上下文特征抽取模块和两个lambda参数输出层，所述空间上下文特征抽取模块是对输入特征分配K个最优描述子，包括3个过程，首先采用半正定权重矩阵映射进行特征空间映射BiMap；然后对映射的特征进行SVD分解ReEig，实现特征降维，即分配的最优描述子；最后从优化后的特征空间，映射到语义分割任务上；两个lambda参数学习层具有相同的结构，由3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元和1×1的卷积核大小和步长为1的卷积层组成。

进一步的，所述编码器的处理过程具体包括4个阶段，每个阶段由1个残差连接卷积层组成，最后一个阶段还包括密集空洞卷积连接层，共4个残差连接卷积层、3个池化层和1个密集空洞卷积连接层组成，在残差连接卷积层之前包含由1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元用以扩增特征图的数量；每个残差连接卷积层紧跟1个池化层，除了最后一个残差连接卷积层以外；上述残差连接卷积层由两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元组成，并将结果加上该层的输入特征图；解码器同样包括4个阶段，第一个阶段是经过密集空洞卷积连接层处理的结果，之后的每个阶段包括1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元用以减少特征图的数量，上采样大小为2，步长为2的双线性上采样层和两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元。

进一步的，所述边缘能量约束优化端对全卷积网络的分割结果进行基于能量约束的边界优化，采用变分法，使全卷积网络得到的初始轮廓沿着能量最小的方向以迭代的方式进行曲线演化；

演化的能量方程为：

F(c₁，c₂，C)＝μLength(C)+vArea(inside(C))

+λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (1)

其中，f(p)为某一图像，p指图像中的像素，μ，v，λ₁，λ₂为自定义的参数，封闭曲线C为图像中一个闭合区域ω的边界，inside(C)表示ω内部，outside(C)表示ω外部，曲线C内外所有像素被分别赋予两个恒定的值：

c₁和c₂分别为曲线C内部和外部像素值的均值；

总的能量方程可分解为三部分：

曲线C的长度约束项μLength(C)

ω的面积约束项vArea(inside(C))

曲线C与ω的位置关系约束项λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp

实际应用中，面积项和长度项可省略，因此，最终构建的能量泛函方程为：

F(c₁，c₂，C)＝λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (3)

引入水平集函数φ(x,y)定义如下：

(x,y)为图像上像素p的坐标，Ω指整幅图像组成的实数域，定义阶跃函数Heaviside Fucntion：

综合式(3)(4)(5)，能量方程变形为

F(φ(x,y))＝λ₁∫_Ω|I₀(x,y)-c₁|²H(φ(x,y))dxdy

+λ₂∫_Ω|I₀(x,y)-c₂|²(1-H(φ(x,y)))dxdy (6)

其中I₀(x,y)为图像上(x,y)处的像素值，c₁和c₂计算表达式为，

在实践中，函数H定义为代替函数：

其中，t为步长，∈为可变系数，当∈越小，代替函数越接近阶跃函数H；

综合上述泛函方程的各部分细节，利用变分法和梯度下降法可得到此能量泛函的偏微分方程：

此外，利用矩阵Ws约束位置关系项，以获得局部信息，Ws定义如下：

其中(x,y)和(u,v)为两个独立点的坐标；

因此，能量泛函偏微分方程为：

基于式(13)，以全卷积网络端输出的分割结果

为初始轮廓，对目标边界进行优化，式中的参数λ₁和λ₂均由全卷积网络端学习得到。

进一步的，所述矢量节点微调端具体包含特征表示模块、节点表示模块和节点优化模块；所述特征表示模块表示对全卷积网络端多层次特征输出做一步特征融合的处理；节点表示模块表示林地水系轮廓节点在特征表示模块处理结果上对应位置的点特征抽取；节点优化模块表示采用全连接层或图卷积层对点特征进行学习，该层结构包含三层相同结构的全连接结构或图卷积结构，以微调对应的林地水系轮廓节点。

进一步的，所述特征表示模块具体地将不同尺度的特征采样至原始影像的大小的1/4，并将使用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元依次将特征图的数量减少至相同大小，以保证每个层次的特征图的影响相等；然后采用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元对串联的不同层次特征进行融合得到下阶段所需要的特征表示。

进一步的，所述的全连接结构由1个局部连接模块和1个全连接模块组成，所述局部连接模块是对输入的神经元节点个数N进行分组，在每个小组内部进行采用全连接层，为保证每个小组之间有信息流动，采取对所有节点进行循环移动，具体地，对于输入有N个神经元节点，每组K个神经元，为保证输入的神经元节点个数是K的整数倍，如果N％K不等于0，则对输入补充K-N％K个神经元；接着采用两层全连接层对神经元进行全局的连接运算，激活函数为GELU，然后对神经元进逆时针移动K/2个，并对所有神经元进行分组，在组内完成所有连接运算，所述的连接运算如下公式(14)所示；

这里，x_i表示某一组K个神经元结点中的第i结点，y_j表示该组K个结点经过全连接运算后对应的第j个输出。w_ij表示第i结点对第j个输出的权重。

所述的全连接模块由两个全连接层组成，第一个全连接层后面连接GELU激活函数层，两个后面均跟着一个随机失活层，随机失活率默认为0.1。

进一步的，所述的图卷积结构是6个带残差连接的图卷积层，2个图卷积层和1个全连接层组成，所述的图卷积层用于学习水系绿地轮廓结点之间的关系，在图卷积层中，每个结点与邻结点的关系如下公式(15)所示，其中

表示结点i在第l+1层的特征；

表示结点i的所有邻接结点和自身在第l层的特征；δ为ReLU的非线性变换；A是结点i对应的邻接矩阵；

为A+I，表是自循环，指每个结点从自身出发，又指向自己；

表示

对应的度矩阵；N_i指结点i所有相邻的结点，包括自己；W^l表示第l层的权重；b^l表示第l层的截距；

所述的带残差连接的图卷积层是由2层图卷积层组成，具体地对于输入大小为B×N×C特征矩阵X，其中B表示有B个绿地水系矢量轮廓，N表示轮廓点的数量，C表示结点的特征，在经过两次GCN运算后将结果与输入相加，整个过程公式如下：

X^l+1＝ReLU(GCN(ReLU(GCN(X^l)))+X^l) (16)

对于具体的图卷积结构而言，首先输入轮廓点特征经过1个GCN层进行特征数量调整，然后依次经过6次带残差连接的图卷积层，再通过1个GCN层进行特征数量的再调整，最后使用全连接层输出结果。

进一步的，所述VTE模型训练过程中采用的损失函数设计如下：假设gt是影像切片对应的栅格真值，predict为全卷积网络端识别的语义结果，target为边缘能量约束优化端迭代的结果，预测的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量，损失函数包括三种，林地水系检测损失函数、边缘能量约束优化端的损失函数以及多层坐标点匹配损失函数；

(1)林地水系检测损失函数，即全卷积网络端损失函数如下：

L_segce＝-(gt×log(sigmoid(predict))+(1-gt)×log(1-sigmoid(predict))) (17)

其中gt表示地面真值，predict表示全卷积网络端的语义输出，Sigmoid(.)表示激活函数；

(2)边缘能量约束优化端的损失函数包括交叉熵损失函数和Dice损失函数，Dice函数用于进行一步对target进行约束，其表达式如下：

其中smooth为任意极小值，防止L_{seg_dice}为零；

(3)多层坐标点匹配损失函数，即矢量节点微调端损失函数，是用于对学习得到的林地或水体轮廓点与真值轮廓点进行损失计算，以学习初始轮廓点的调整状态，由于提出的方法得到的初始轮廓点已具备相对的连接关系，则节点优化模块的目的是将初始的林地或水体轮廓点微调至合适位置；假设点数相等，点的顺序关系一致的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量，注意初始轮廓点和真值轮廓点的起点并不一定对应，所以坐标点匹配损失函数为：

对于M层的坐标点匹配损失函数为：

最后，多个任务的损失函数最终表达式如下，

本发明从绿地水系语义识别、边缘能量约束优化以及轮廓结点微调三个方面，提出一种基于卷积神经网络和边缘能量约束优化的VTE结构，使其能够直接预测遥感影像中绿地和水系的矢量结果。另外，本发明采用两种损失交叉熵和Dice损失用于绿地水系的语义识别，并在全卷积网络端和边缘能量约束优化端对识别结果进行约束，以及提出多层坐标点匹配损失函数实现对轮廓点的约束，使得模型能够让预测的结点更好地接近真值轮廓点。

附图说明

图1为本发明实施例用于绿地水系精确矢量边缘提取VTE模型示意图；

图2为本发明的边缘能量约束优化端示意图。

具体实施方式

为了更好地理解本发明的技术方案，下面将结合附图和实施例对本发明技术方案做详细说明。

本发明采用基于卷积神经网络和边缘能量约束优化的端到端的绿地水系矢量提取的方法，首先使用全卷积网络和影像上下文特征抽取与融合模块，实现影像特征抽取与绿地水系识别；然后设计边缘能量约束优化层，迭代得到较准确且平滑的绿地水系边缘结点信息；最后通过采取全连接层或图卷积层将较粗略的绿地水系边缘微调至精确的边缘上。从而获取遥感影像上精确的绿地水系矢量结果。

基于该模型的结构，本发明实施例提供一种基于卷积神经网络和边缘能量约束优化的端到端的绿地水系矢量提取的方法。具体实施步骤如下：

步骤1.建立训练集样本库

首先需要准备好正射或纠正后的遥感影像以及对应的绿地和水体标注矢量数据。然后对数据进行数据预处理，即对绿地水体标注矢量数据进行栅格化、对影像和标注栅格数据进行重采样和裁剪得到分辨率合适、大小一致的影像和标注栅格对。最后结合计算机显存资源、地物的特性等因素，制作切片大小合适(如大小为512×512，或256×256)的训练样本库。考虑到水体样本内部特征不明显，边缘特征显著的特点，在进行水系提取过程中，建议影像切片大小为512×512或者更大；绿地由于内部特征呈局部一致、整体多样的特性以及边缘特征较为一致的特点，可采用256×256大小的切片。此外利用数据预处理对待预测影像进行相同的重采样处理，建立影像预测库，以供后续模型直接进行预测。注意①影像预测库不含水体标注数据；②影像预测库不需影像进行裁剪，在模型预测阶段，对于一张任意大小的影像，采取分块读取，同步进行预测，并将结果逐一写入预测对应的Shapefile文件中。

步骤2.VTE模型训练与测试

通过设计全卷积网络和特征空间上下文抽取层，提取绿地、水系空间场景上下文和语义信息，并为边缘能量约束优化层提供初始检测结果和可学习的lambda参数以及为全连接层提供多层次特征。然后利用边缘能量约束优化层处理初始检测结果和可学习的lambda参数，迭代获取较准确且平滑的绿地水系边缘结点。接着将提供的多层次特征进行结点特征抽取，利用全连接层或图卷积层微调得到精确的绿地水系边缘矢量结果。并设计合理的损失函数为驱动，学习有标签的数据特征分布。实施例中具体模块和步骤如下：

2.1全卷积网络端设计

图1中对涉及到的结构做简要示意，其包括编码器、解码器和输出层三大部分。编码器包括4个阶段，每个阶段由1个残差连接卷积层组成，最后一个阶段还包括密集空洞卷积连接层，共有4个残差连接卷积层、3个池化层和1个密集空洞卷积连接层。在残差连接卷积层之前包含由1×1的卷积核大小和步长为1的卷积层(Convolution Layer)、批归一化层(Batch Normalization,BN)以及修正线性单元(Rectified Linear Unit,ReLU)用以扩增特征图的数量。每个残差连接卷积层紧跟1个池化层，除了最后一个残差连接卷积层以外。上述残差连接卷积层由两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元组成，并将结果加上该层的输入特征图。上述编码器每个阶段特征通道数有两种：一是(64,128,256,512)；二是(32,64,128,256)，可根据硬件水平进行选择。解码器同样包括4个阶段，第一个阶段是经过密集空洞卷积连接层处理的结果，之后的每个阶段包括1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元用以减少特征图的数量，上采样大小为2，步长为2的双线性上采样层和两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元。输出层包括空间上下文特征抽取模块(高阶流形排序优化)和两个lambda参数输出层。上述空间上下文特征抽取模块是对输入特征分配K个最优描述子，包括3个过程，首先采用半正定权重矩阵映射进行特征空间映射；然后对映射的特征进行SVD分解，实现特征降维，即分配的最优描述子；最后从优化后的特征空间，映射到语义分割任务上。两个lambda参数学习层具有相同的结构，由3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元和1×1的卷积核大小和步长为1的卷积层组成。

2.2边缘能量约束优化端设计。

该模块对全卷积网络的分割结果进行基于能量约束的边界优化，具体方法为活动轮廓模型(Active Contour Model,ACM)系列中Chan-Vese模型的变种。原版Chan-Vese模型采用变分法，使全卷积网络得到的初始轮廓沿着能量最小的方向以迭代的方式进行曲线演化。演化的能量方程为：

F(c₁，c₂，C)＝μLength(C)+vArea(inside(C))

+λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (1)

其中，f(p)为某一图像，p指图像中的像素，μ，v，λ₁，λ₂为自定义的参数，封闭曲线C为图像中一个闭合区域ω的边界，inside(C)表示ω内部，outside(C)表示ω外部，曲线C内外所有像素被分别赋予两个恒定的值：

c₁和c₂分别为曲线C内部和外部像素值的均值；

总的能量方程可分解为三部分：

曲线C的长度约束项μLength(C)

ω的面积约束项vArea(inside(C))

曲线C与ω的位置关系约束项λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp

在本发明中，面积项和长度项在实验中被证明可省略，因此，本发明中最终构建的能量泛函方程为：

F(c₁，c₂，C)＝λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (3)

引入水平集函数φ(x,y)定义如下：

(x,y)为图像上像素p的坐标，Ω指整幅图像组成的实数域，定义HeavisideFucntion(阶跃函数)：

综合式(3)(4)(5)，能量方程变形为

F(φ(x,y))＝λ₁∫_Ω|I₀(x,y)-c₁|²H(φ(x,y))dxdy

+λ₂∫_Ω|I₀(x,y)-c₂|²(1-H(φ(x,y)))dxdy (6)

其中I₀(x,y)为图像上(x,y)处的像素值，c₁和c₂计算表达式为，

在实践中，函数H定义为代替函数：

其中，t为步长，∈为可变系数，当∈越小，代替函数越接近阶跃函数H；

综合上述泛函方程的各部分细节，利用变分法和梯度下降法可得到此能量泛函的偏微分方程：

此外本发明中采用窗口为7的矩阵w_S约束位置关系项，以获得局部信息，w_S定义如下：

其中(x,y)和(u,v)为两个独立点的坐标。

因此，本发明的能量泛函偏微分方程为

在本模块中，基于式(13)，以全卷积网络端输出的分割结果

为初始轮廓，对目标边界进行优化，式中的参数λ₁和λ₂均由全卷积网络端学习得到。具体算法的伪代码如下：

用于边界迭代优化的边缘能量约束优化端示意图如图2所示。

2.3矢量节点微调端设计

该部分由特征表示模块、结点表示模块和结点优化模块组成。所述特征表示模块是将全卷积网络端提供的多尺度高阶语义特征进行融合，具体地将不同尺度的特征采样至原始影像的大小的1/4，并将使用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元依次将特征图的数量减少至相同大小，以保证每个层次的特征图的作用相等；然后采用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元对串联的不同层次特征进行融合得到下阶段所需要的特征表示。所述结点表示模块是根据边缘能量约束优化端提供的较粗略且平滑的绿地水系轮廓点依次取出特征表示中对应位置的点特征。由于轮廓点的数量不统一会导致在训练或测试中无法进行批量处理。为了便于快速训练和预测，我们将轮廓点的数量进行固定，比如1280个。因此我们对预测的轮廓点和对应真值轮廓点进行线性插值，以达到相同数量点。此外由于特征表示的大小为原始影像大小的1/4，所以我们对预测的轮廓点归化到相同尺度，然后进行点特征抽取。所述结点优化模块是由全连接层或图卷积层组成，该模块包含M个(M默认为3)相同全连接结构或图卷积结构。

所述的全连接结构由1个局部连接模块和1个全连接模块组成。上述局部连接模块是对输入的神经元结点个数N进行分组，在每个小组内部进行使用全连接运算。为保证每个小组之间有信息流动，采取对所有结点进行循环移动。具体地，对于输入有N个神经元结点，每组K个神经元，为保证输入的神经元结点个数是K的整数倍，如果N％K不等于0，则对输入补充K-N％K个神经元；接着采用两层全连接层对神经元进行全局的连接运算，激活函数为GELU(Gaussian Error Linear Units)。然后对神经元进逆时针移动K/2个，并对所有神经元进行分组，在组内完成所有连接运算，完成运算后，再对神经元进行顺时针移动K/2个，并恢复到N个神经元结点。所述的全连接运算如下公式(14)所示。

这里，x_i表示某一组K个神经元结点中的第i结点，y_j表示该组K个结点经过全连接运算后对应的第j个输出。w_ij表示第i结点对第j个输出的权重。

所述的全连接模块由两个全连接层组成，第一个全连接层后面连接GELU激活函数层，两个后面均跟着一个随机失活层(Dropout)，随机失活率默认为0.1。

所述的图卷积结构是6个带残差连接的图卷积层，2个图卷积层和1个全连接层组成。所述的图卷积层用于学习水系绿地轮廓结点之间的关系。在图卷积层中，每个结点与邻结点的关系如下公式(11)所示，其中

表示结点i在第l+1层的特征；

表示结点i的所有邻接结点和自身在第l层的特征；δ为ReLU的非线性变换；A是结点i对应的邻接矩阵；

为A+I，表是自循环，指每个结点从自身出发，又指向自己；

表示

对应的度矩阵；N_i指结点i所有相邻的结点，包括自己；W^l表示第l层的权重；b^l表示第l层的截距。

所述的带残差连接的图卷积层是由2层图卷积层组成，具体地对于输入大小为B×N×C特征矩阵X，其中B表示有B个绿地水系矢量轮廓，N表示轮廓点的数量，C表示结点的特征，在经过两次GCN运算后将结果与输入相加，整个过程公式如下：

X^l+1＝ReLU(GCN(ReLU(GCN(X^l)))+X^l) (16)

对于具体的图卷积结构而言，首先输入轮廓点特征经过1个GCN层进行特征数量调整，然后依次经过6次带残差连接的图卷积层，再通过1个GCN层进行特征数量的再调整，最后使用全连接层输出结果。

2.4多任务约束的损失函数设计

损失函数是对本发明VTE模型训练的关键，假设gt是影像切片对应的栅格真值，predict为全卷积网络端识别的语义结果，target为边缘能量约束优化端迭代的结果，预测的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量。损失函数包括三种类型，即交叉熵损失函数、Dice函数以及多层坐标点匹配损失函数，在各部分的使用情况如下。

(1)全卷积网络端损失函数主要是交叉熵损失函数，具体如下：

其中gt表示地面真值，predict表示全卷积网络端的语义输出，Sigmoid(.)表示激活函数。

(2)边缘能量约束优化端包括交叉熵损失函数和Dice损失函数，Dice函数用于进行一步对target进行约束，其表达式如下：

其中smooth为任意极小值，防止L_{seg_dice}为零，实践中取smooth＝10^-5。

(3)多层坐标点匹配损失函数是用于对学习得到的绿地或水体轮廓点与真值轮廓点进行损失计算，以学习初始轮廓点的调整状态。由于提出的方法得到的初始轮廓点已具备相对的连接关系，则结点优化模块的目的是将初始的绿地或水体轮廓点微调至合适位置。假设点数相等，点的顺序关系(顺时针或者逆时针顺序)一致的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量。注意初始轮廓点和真值轮廓点的起点并不一定对应，所以坐标点匹配损失函数为：

对于M层的坐标点匹配损失函数为：

最后，多个任务的损失函数最终表达式如下，

2.5 VTE模型测试

步骤2.1-2.3设计的VTE模型，通过步骤2.4的多任务约束的损失函数，采用Adam优化器，可以有效地对VTE模型进行训练。训练完成后，利用训练好的模型对影像预测库进行绿地、水体提取，即可得到遥感影像绿地、水体的矢量提取结果。

具体实施时，本发明可采用计算机软件技术实现自动运行流程，运行本发明流程的装置也应当在保护范围内。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于，包括如下步骤：

步骤1，建立训练集样本库，根据研究区域或者试验区域的遥感影像以及历史资料库，选取典型的绿地水系样本，制作对应标签，然后根据硬件计算资源大小，将影像裁剪合适的切片大小，同时制作对应的栅格标签和矢量标签；

步骤2，构建VTE模型，所述VTE表示基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取；

所述VTE模型包括全卷积网络端、边缘能量约束优化端以及矢量节点微调端；

所述全卷积网络端用于获取绿地、水系空间场景上下文和语义信息，并为边缘能量约束优化端提供初始检测结果和可学习的lambda参数以及提供多层次特征；

所述边缘能量约束优化端处理初始检测结果和可学习的lambda参数，进行基于能量约束的边界优化，迭代获取较准确且平滑的绿地水系边缘节点；

所述矢量节点微调端将提供的多层次特征进行节点特征抽取，利用全连接层或图卷积层微调得到精确的绿地水系边缘矢量结果；

步骤3，进行VTE模型训练与测试，实现对遥感影像中绿地和水系的轮廓检测和边缘节点精细调整。

2.如权利要求1所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：所述全卷积网络端包括编码器、解码器和输出层三大部分；编码器包括n个残差连接的卷积层和密集空洞卷积连接层，解码器与编码器对应，输出层包括空间上下文特征抽取模块和两个lambda参数输出层，所述空间上下文特征抽取模块是对输入特征分配K个最优描述子，包括3个过程，首先采用半正定权重矩阵映射进行特征空间映射BiMap；然后对映射的特征进行SVD分解ReEig，实现特征降维，即分配的最优描述子；最后从优化后的特征空间，映射到语义分割任务上；两个lambda参数学习层具有相同的结构，由3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元和1×1的卷积核大小和步长为1的卷积层组成。

3.如权利要求2所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述编码器的处理过程具体包括4个阶段，每个阶段由1个残差连接卷积层组成，最后一个阶段还包括密集空洞卷积连接层，共4个残差连接卷积层、3个池化层和1个密集空洞卷积连接层组成，在残差连接卷积层之前包含由1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元用以扩增特征图的数量；每个残差连接卷积层紧跟1个池化层，除了最后一个残差连接卷积层以外；上述残差连接卷积层由两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元组成，并将结果加上该层的输入特征图；解码器同样包括4个阶段，第一个阶段是经过密集空洞卷积连接层处理的结果，之后的每个阶段包括1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元用以减少特征图的数量，上采样大小为2，步长为2的双线性上采样层和两组3×3的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元。

4.如权利要求1所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述边缘能量约束优化端对全卷积网络的分割结果进行基于能量约束的边界优化，采用变分法，使全卷积网络得到的初始轮廓沿着能量最小的方向以迭代的方式进行曲线演化；

演化的能量方程为：

F(c₁，c₂，C)＝μLength(C)+vArea(inside(C))+λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (1)

其中，f(p)为某一图像，p指图像中的像素，μ，v，λ₁，λ₂为自定义的参数，封闭曲线C为图像中一个闭合区域ω的边界，inside(C)表示ω内部，outside(C)表示ω外部，曲线C内外所有像素被分别赋予两个恒定的值：

c₁和c₂分别为曲线C内部和外部像素值的均值；

总的能量方程可分解为三部分：

曲线C的长度约束项μLength(C)；

ω的面积约束项vArea(inside(C))；

曲线C与ω的位置关系约束项λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp；

实际应用中，面积项和长度项省略，因此，最终构建的能量泛函方程为：

F(c₁，c₂，C)＝λ₁∫_inside(C)|f(p)-c₁|²dp+λ₂∫_outside(C)|f(p)-c₂|²dp (3)

引入水平集函数φ(x,y)定义如下：

(x,y)为图像上像素p的坐标，Ω指整幅图像组成的实数域，定义阶跃函数HeavisideFucntion：

综合式(3)(4)(5)，能量方程变形为

其中I₀(x,y)为图像上(x,y)处的像素值，c₁和c₂计算表达式为，

在实践中，函数H定义为代替函数：

其中，t为步长，∈为可变系数，当∈越小，代替函数越接近阶跃函数H；

综合上述泛函方程的各部分细节，利用变分法和梯度下降法可得到此能量泛函的偏微分方程：

此外，利用矩阵Ws约束位置关系项，以获得局部信息，Ws定义如下：

其中(x,y)和(u,v)为两个独立点的坐标；

因此，能量泛函偏微分方程为：

基于式(13)，以全卷积网络端输出的分割结果

为初始轮廓，对目标边界进行优化，式中的参数λ₁和λ₂均由全卷积网络端学习得到。

5.如权利要求1所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述矢量节点微调端具体包含特征表示模块、节点表示模块和节点优化模块；所述特征表示模块表示对全卷积网络端多层次特征输出做一步特征融合的处理；节点表示模块表示林地水系轮廓节点在特征表示模块处理结果上对应位置的点特征抽取；节点优化模块表示采用全连接层或图卷积层对点特征进行学习，该层结构包含三层相同结构的全连接结构或图卷积结构，以微调对应的林地水系轮廓节点。

6.如权利要求5所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述特征表示模块具体地将不同尺度的特征采样至原始影像的大小的1/4，并将使用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元依次将特征图的数量减少至相同大小，以保证每个层次的特征图的影响相等；然后采用1×1的卷积核大小和步长为1的卷积层、批归一化层以及修正线性单元对串联的不同层次特征进行融合得到下阶段所需要的特征表示。

7.如权利要求5所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述的全连接结构由1个局部连接模块和1个全连接模块组成，所述局部连接模块是对输入的神经元节点个数N进行分组，在每个小组内部进行采用全连接层，为保证每个小组之间有信息流动，采取对所有节点进行循环移动，具体地，对于输入有N个神经元节点，每组K个神经元，为保证输入的神经元节点个数是K的整数倍，如果N％K不等于0，则对输入补充K-N％K个神经元；接着采用两层全连接层对神经元进行全局的连接运算，激活函数为GELU，然后对神经元进逆时针移动K/2个，并对所有神经元进行分组，在组内完成所有连接运算，所述的连接运算如下公式(14)所示；

这里，x_i表示某一组K个神经元结点中的第i结点，y_j表示该组K个结点经过全连接运算后对应的第j个输出。w_ij表示第i结点对第j个输出的权重。

所述的全连接模块由两个全连接层组成，第一个全连接层后面连接GELU激活函数层，两个后面均跟着一个随机失活层，随机失活率默认为0.1。

8.如权利要求5所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述的图卷积结构是6个带残差连接的图卷积层，2个图卷积层和1个全连接层组成，所述的图卷积层用于学习水系绿地轮廓结点之间的关系，在图卷积层中，每个结点与邻结点的关系如下公式(15)所示，其中

表示结点i在第l+1层的特征；

表示结点i的所有邻接结点和自身在第l层的特征；δ为ReLU的非线性变换；A是结点i对应的邻接矩阵；

为A+I，表是自循环，指每个结点从自身出发，又指向自己；

表示

对应的度矩阵；N_i指结点i所有相邻的结点，包括自己；W^l表示第l层的权重；b^l表示第l层的截距；

所述的带残差连接的图卷积层是由2层图卷积层组成，具体地对于输入大小为B×N×C特征矩阵X，其中B表示有B个绿地水系矢量轮廓，N表示轮廓点的数量，C表示结点的特征，在经过两次GCN运算后将结果与输入相加，整个过程公式如下：

X^l+1＝ReLU(GCN(ReLU(GCN(X^l)))+X^l) (16)

对于具体的图卷积结构而言，首先输入轮廓点特征经过1个GCN层进行特征数量调整，然后依次经过6次带残差连接的图卷积层，再通过1个GCN层进行特征数量的再调整，最后使用全连接层输出结果。

9.如权利要求1所述基于卷积神经网络及边缘能量约束优化的绿地水系矢量提取方法，其特征在于：

所述VTE模型训练过程中采用的损失函数设计如下：假设gt是影像切片对应的栅格真值，predict为全卷积网络端识别的语义结果，target为边缘能量约束优化端迭代的结果，预测的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量，损失函数包括三种，林地水系检测损失函数、边缘能量约束优化端的损失函数以及多层坐标点匹配损失函数；

(1)林地水系检测损失函数，即全卷积网络端损失函数如下：

其中gt表示地面真值，predict表示全卷积网络端的语义输出，Sigmoid(.)表示激活函数；

(2)边缘能量约束优化端的损失函数包括交叉熵损失函数和Dice损失函数，Dice函数用于进行一步对target进行约束，其表达式如下：

其中smooth为任意极小值，防止L_{seg_dice}为零；

(3)多层坐标点匹配损失函数，即矢量节点微调端损失函数，是用于对学习得到的林地或水体轮廓点与真值轮廓点进行损失计算，以学习初始轮廓点的调整状态，由于提出的方法得到的初始轮廓点已具备相对的连接关系，则节点优化模块的目的是将初始的林地或水体轮廓点微调至合适位置；假设点数相等，点的顺序关系一致的初始轮廓点P＝{p₀,p₁,p₂,…,p_N-1}，以及相应的真值轮廓点P′＝{p′₀,p′₁,p′₂,…,p′_N-1}，N表示点的数量，注意初始轮廓点和真值轮廓点的起点并不一定对应，所以坐标点匹配损失函数为：

对于M层的坐标点匹配损失函数为：

最后，多个任务的损失函数最终表达式如下，

Images