CN114694019A - 基于异常检测的遥感影像建筑物迁移提取方法 - Google Patents

Abstract

本发明涉及遥感图像检测，公开了基于异常检测的遥感影像建筑物迁移提取方法，包括以下步骤:S1、利用开放数据集对深度语义分割网络模型进行训练，将遥感影像输入训练好的语义分割模型中，得到输出结果；S2、提取输出结果中的建筑预测结果和道路预测结果，并对建筑预测结果进行预处理，得到建筑层、非建筑层和待分层；S3、对建筑层进行异常检测并剔除异常后得到建筑样本，并将非建筑层作为非建筑样本；S4、将道路预测结果从待分层中擦除，结合建筑样本和非建筑样本对待分层进行重分类，得到重分类后的建筑物分类结果；S5、将建筑物分类结果与建筑样本叠加，得到建筑物迁移提取结果。本发明能够从遥感影像中提取建筑物，保证建筑物提取的总体精度。

Description

基于异常检测的遥感影像建筑物迁移提取方法

技术领域

本发明涉及遥感图像检测，尤其是涉及基于异常检测的遥感影像建筑物迁移提取方法。

背景技术

建筑物是变化较为频繁的重要地物要素之一，因此自动、准确、高效地提取建筑物在城市规划、数据更新和灾害评估等方面都有重要意义。遥感技术的发展与计算机图像处理技术的逐渐成熟促进了地物要素智能提取，建筑物提取也成为学者们研究的热点。

从高空间分辨率影像中提取建筑物的相关研究已经大量开展，传统工作主要集中在利用具有高区分度的地物特征设计各种监督分类器和提取方法的集成使用上。Jin等综合了图像中的光谱信息、结构信息和上下文信息等，采用数学形态学方法提取建筑物。Wegner等提出结合区域分割和马尔科夫随机场的算法优势，进行图像场景建模和建筑物提取。

近年来鉴于卷积神经网络在计算机视觉目标分类、图像分割等方面表现出的卓越性能，不少学者将基于CNN的语义分割算法应用到遥感领域，并逐渐得到令人满意的实验结果。Long等在卷积神经网络内部使用下采样和上采样结合的方式，提出了全卷积神经网络(FCN)，成功实现了图像的语义分割。季顺平等基于UNet和FPN进行设计，提出的SUNet模型在一定程度上解决了从高空间分辨率影像中提取建筑物时的多尺度问题。吴目宇等在LinkNet框架上结合空洞卷积、注意力机制和多尺度预测，提出的ADLinkNet进一步细化了建筑物的提取结果。但是基于深度学习的地物要素方法需要大量样本训练模型。武花等在测试其提出的融合多特征改进型PSPNet模型时，人工标注建筑物后分割得到了3万张576×576像素的图像。罗李焱等利用ArcGIS手工描绘建筑物矢量图，整个区域被无重叠地分割出53220个256×256像素的瓦片，便于其深度学习网络的应用。郭文等训练模型时选取了200景高分卫星遥感影像制作建筑物样本数据，样本标签由地理国情监测成果中建筑物相关图斑综合得到，精度相比人工标注的数据集较低。然而，构建完成的深度学习模型在训练数据集之外的区域使用时仍然依赖高质量的人工标注数据进行微调甚至再次训练，否则其实际精度依然达不到要求。因此学者们也开始着眼于小样本学习、迁移学习等研究方向。Zhang等针对深卷积神经网络模型泛化能力有限的问题，以马萨诸塞州航空影像建筑数据集做训练，结合少量目标区域建筑影像数据样本对模型微调参数后提取建筑物。Xia等使用少量标记样本和大量未标记图像的半监督方法联合训练，基于标记样本训练专家级语义边缘分割模型，引导未标记图像自动生成伪标签，利用自动生成的标签集和手动标记的样本一起用于微调语义边缘模型。Li等从图像级标签生成伪掩模，应用全连通条件随机场提高伪掩模精度，然后由伪掩模训练分割网络，将弱监督语义分割应用到具有图像级标签的高分辨率遥感图像中。Na等结合了域自适应转移和对抗攻击的方法，将输入图像分布转移到目标图像分布，同时将图像转化为针对目标网络的对抗样例以克服域间隙导致的性能下降。虽然目前已有众多模型迁移方法，却依然存在着需要一定数量的高质量目标区域样本、计算难度过大、模型迁移性的可信度，即精度不高等问题。

发明内容

本发明所要解决的主要问题是提供了基于异常检测的遥感影像建筑物迁移提取方法，能够从高分辨率遥感影像中提取建筑物，且保证建筑物提取的总体精度。

为了解决上述技术问题，本发明提供了一种基于异常检测的遥感影像建筑物迁移提取方法，包括以下步骤:

S1、利用开放数据集对深度语义分割网络模型进行训练，将遥感影像输入训练好的深度语义分割网络模型中，得到所述遥感影像的输出结果；

S2、提取输出结果中的建筑预测结果和道路预测结果，并对所述建筑预测结果进行预处理，得到建筑层、非建筑层和待分层；

S3、对所述建筑层进行异常检测，剔除异常对象后得到建筑样本，并将非建筑层作为非建筑样本；

S4、将所述道路预测结果从待分层中擦除，结合所述建筑样本和非建筑样本对待分层对象进行重分类，得到重分类后的建筑物分类结果；

S5、将所述建筑物分类结果与所述建筑样本相叠加，得到建筑物迁移提取结果。

优选地，S2中，所述预处理按照预测概率阈值对建筑预测结果进行分层处理。

进一步优选地，所述建筑层、非建筑层和待分层内的样本对象采用影像分割处理，所述影像分割处理的算法为分型网络演化算法。

优选地，所述建筑预测结果由输入的遥感影像和开放数据集训练得到的深度语义分割网络模型确定，通过将所述输出结果与输入的遥感影像中的像素坐标相对应，得到输出结果与输入的遥感影像中相对应的像素属于建筑物的概率，每个像素的取值范围为[0,1]，表示每个像素为建筑物的预测概率。

进一步优选地，所述建筑层为概率大于0.6的像素区域，所述非建筑层为概率小于0.2的像素区域，所述待分层为概率在0.2～0.6之间的像素区域。

优选地，S3中异常检测包括以下分步骤：

S31、计算建筑层中对象的光谱、纹理等特征值；

S32、根据计算得到的特征值利用异常检测算法将建筑层中的对象进行异常剔除，得到建筑样本。

进一步优选地，所述异常剔除采用孤立森林算法对所述建筑样本中的异常对象进行剔除，所述孤立森林算法通过下述公式对该算法所构成的孤立树中的叶子节点到根节点的路径长度进行归一化处理，具体公式如下：

H(i)＝ln(i)+0.577

其中：p(x，n)是节点x的异常分数，并且所述异常分数p(x，n)为l(x)的单调递减函数，p的取值范围为[0，1]；E(l(x))是节点x在多棵孤立树中l(x)的期望值；C(n)为给定样本数n后路径长度的平均值，用来标准化样本x的路径长度；H(i)为调和数；0.577是欧拉常数。

优选地，所述重分类采用监督分类器对待分层内的对象进行重分类。

进一步优选地，所述S4中重分类包括以下分步骤：

S41、去除待分层中的道路预测结果；

S42、将建筑层中剔除的异常对象加入待分层中；

S43、提取建筑样本和非建筑样本中的特征值并将提取到的特征值输入监督分类器内作为参照对象；

S44、将待分层内的对象输入监督分类器内进行重分类，获取其中的建筑物分类结果。

优选地，S43中，所述特征值包括建筑物的颜色、纹理特征以及建筑物相关的指数特征，其中，待分层内的对象根据颜色特征进行重分类的计算公式如下所示：

其中f_ij是第j个图像像素的第i个颜色分量的颜色值；N是图像中的像素总数；μ_i、σ_i、γ_i(i＝1，2，3)分别表示图像每个通道的平均值、标准偏差和偏度。

通过上述技术方案，本发明提供了基于异常检测的遥感影像建筑物迁移提取方法，通过深度语义分割网络模型对开放数据集进行训练，得到基础的建筑物提取模型，然后将遥感影像输入到该模型中进行建筑物提取，并在提取的过程中加入异常检测的步骤，通过将输出的预测结果进行分层，然后对分层后的建筑物遥感影像进行异常剔除，以此来提高建筑物的样本准确度，另外还需要将待分类对象与建筑层中被剔除的异常对象相叠加，并将建筑样本和非建筑样本作为参照对象，通过对待分类样本进行重分类以此来提高建筑物的提取精度，再将异常检测后的建筑物对象和重分类得到的建筑物对象进行合并，从而得到建筑物最终的高精度提取结果。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

图1为本发明的提取方法的流程示意图；

图2为本发明的提取方法的流程的具体处理过程示意图；

图3为本发明的训练数据与实验数据的建筑物预测结果；

图4为本发明的建筑物预测结果与分层显示；

图5为本发明实验一的建筑物提取结果。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明的基于异常检测的遥感影像建筑物迁移提取方法的一个实施例，如图1至图2所示，主要包括以下步骤：

S1、利用开放数据集对深度语义分割网络模型进行训练，将遥感影像输入训练好的深度语义分割网络模型中，得到所述遥感影像的输出结果；

S2、提取输出结果中的建筑预测结果和道路预测结果，并对所述建筑预测结果进行预处理，得到建筑层、非建筑层和待分层；

S3、对所述建筑层进行异常检测，剔除异常对象后得到建筑样本，并将非建筑层作为非建筑样本；

S4、将所述道路预测结果从待分层中擦除，结合所述建筑样本和非建筑样本对待分层对象进行重分类，得到重分类后的建筑物分类结果；

S5、将所述建筑物分类结果与所述建筑样本相叠加，得到建筑物迁移提取结果。

具体地，在S1中，语义分割是给每个图像像素点赋予相应的对象类别标识，以实现像素级分类。全卷积神经网络(FCN)的提出首次实现了端到端的图像语义分割，因此在遥感地物的语义分割领域，目前主流方法都是采用包含大量标签图的影像数据监督训练全卷积神经网络(FCN)，全卷积神经网络(FCN)采用卷积神经网络(CNN)的结构，随着网络层数的加深，浅层学习的低维特征可以近似理解为颜色、纹理、几何形状等中低层级特征，深层学习的高维特征可以理解为抽象的语义特征。本文所采用的深度语义分割网络模型为UNet网络模型，该网络模型借鉴了FCN融合浅层特征和深层特征的思想，同时引入了编码与解编码的思路构成深度网络模型，其中，在该深度网络模型中，包括编码结构和解编码结构，其中，编码结构包括四个降采样层，通过四个降采样层对输入的图像进行降维，从而减少网络模型需要学习的参数数量，防止过度拟合，提高网络模型的处理效率；解编码结构通过上述采样操作能够将编码后的结果还原为输入图像大小。

进行建筑物的提取时，首先利用开放数据集对上述的UNet深度语义分割网络模型进行训练，得到训练好的深度语义分割网络模型，将遥感影像输入训练好的深度语义分割网络模型中，得到输出结果。本发明所使用的UNet深度语义分割网络模型的末层使用1×1的卷积层并加入sigmoid激活函数对输出结果进行处理，以保证输出结果的图像与输入图像的大小一致。

具体地，在S2中，预处理按照预测概率阈值对建筑预测结果进行分层处理，经过分层后，将建筑物预测结果分成建筑层、非建筑层和待分层，并对建筑层、非建筑层和待分层采用影像分割处理形成对象，影像分割处理的算法为分型网络演化算法，其中，建筑层、非建筑层和待分层的分层依据是由输出影像中的像素与所对应的输入影像中的像素属于建筑物的概率来决定的，在一些利用深度学习网络提取地物要素的方法中，通过前景及背景的预测概率或生成独热码后判断，具体可表现为像素的前景预测概率值大于等于0.5时判定该像素点属于前景目标要素，小于0.5则属于背景，从而将两者进行区别分类最终得到提取结果。在本发明中，将Inria Aerial Image Labeling Dataset作为训练数据，选取UNet作为深度语义分割网络模型，实验对象如图3所示，其中，图3-a是来自训练数据集中的测试数据，图3-d是来自深圳市内某区域的遥感影像，影像空间分辨率为0.5m，通过将两幅图输入UNet语义分割网络模型中，分别得到两幅图的预测结果图3-b和图3-e，随后将图3-b和图3-e分别进行分层处理，得到对应的建筑物提取结果图3-c和图3-f，将预测结果进行分层处理的具体处理流程如图4所示，图4-a为原始影像，图4-b为预测结果，图4-c为分层结果，当预测结果中建筑物概率值小于0.2时，预测结果中几乎不存在建筑物对象，实验数据与训练数据差别较大的条件下，将概率值大于0.5的部分作为建筑物，但其中还有可能存在一定数量的非建筑，因此本发明中将0.2与0.6作为阈值，将概率大于0.6的像素区域划分为建筑层；将概率小于0.2的像素区域划分为非建筑层；0.2～0.6之间的像素区域划分为待分层。

具体地，S3中异常检测包括以下分步骤：

S31、计算建筑层中对象的光谱、纹理等特征值；

S32、根据计算得到的特征值利用异常检测算法将建筑层中的对象进行异常剔除，得到建筑样本。

在S32中，异常剔除采用孤立森林算法对建筑层的非建筑部分进行剔除。孤立森林算法是用一个随机超平面切割数据空间以形成两个子空间，再对子空间进行切割，直至每个子空间中只有一个数据节点，由此形成的孤立树，每个孤立树上的叶子节点中都只包含一个数据节点，离群点处的数据密度很低，因此很快就会停到一个子空间中，根据叶子节点x到根节点的路径l(x)长度判断数据x是否是离群点。孤立森林由多个孤立树组成，对于一个含有n个数据点的数据集，构造的孤立树的高度最大值为n-1，最小值为log(n)，路径l(x)的最大可能高度随n线性增大，平均高度随log(n)增大，根据孤立树和二叉搜索树的相似性，利用下式对叶子节点到根节点的路径长度l(x)进行归一化处理，具体公式如下：

H(i)＝ln(i)+0.577

其中：p(x，n)是节点x的异常分数，并且所述异常分数p(x，n)为l(x)的单调递减函数，p的取值范围为[0，1]；E(l(x))是节点x在多棵孤立树中l(x)的期望值；C(n)为给定样本数n后路径长度的平均值，用来标准化样本x的路径长度；H(i)为调和数；0.577是欧拉常数。

在S4中，重分类采用监督分类器对待分层内的对象进行重分类，该监督分类器可选用随机森林分类器。具体地，重分类包括以下分步骤：

S41、去除待分层中的道路预测结果；

S42、将建筑层中剔除的异常对象加入待分层中；

S43、提取建筑样本和非建筑样本中的特征值并将提取到的特征值输入监督分类器内作为参照对象；

S44、将待分层内的对象输入监督分类器内进行重分类，获取其中的建筑物分类结果。

通过将建筑样本和非建筑样本整体作为参照对象输入待分层内与待分层中的对象特征信息进行对比，其中，首先将待分层中的道路预测结果剔除，能够有效提高待分层样本中的建筑物提取效率，另外，将建筑样本和非建筑样本作为参照对象对待分层样本中的建筑物和非建筑物进行重分类操作，保证了待分层样本中建筑物的提取精度。由于每种地物在影像中都对应着独有的特征，通过分割后的对象的特征描述，可以对其类别进行归类，并基于高分辨率的遥感图像中建筑物的各种图像特征(颜色、形状、纹理与空间关系等其他与建筑物相关的指数特征)建立不同的提取方案。

本发明中，主要在用色彩和纹理等对图像对象特征进行表达，色彩做作为图像最重要的特征之一，本发明利用颜色矩中的均值、标准差和偏态表达对象的颜色特征，因此，待分层内的样本对象根据颜色特征进行重分类的计算公式如下所示：

其中f_ij是第j个图像像素的第i个颜色分量的颜色值；N是图像中的像素总数；μ_i、σ_i、γ_i(i＝1，2，3)分别表示图像每个通道的平均值、标准偏差和偏度。

同样的，纹理是人类视觉系统识别和解释目标时的主要特征之一，本发明采用的灰度共生矩阵计算法，该矩阵能够统计某个方向的灰度值是否有规律性变化，该灰度共生矩阵的表达式如下所示：

其中，p(i，j)表示灰度值。另外，除了传统特征以外，针对特定对象的指数特征也能够被引入地物要素的提取方法中，通过形态学阴影指数能够去除分割的图像斑块中的阴影部分，从而能够提高建筑物提取的精度，并且由于本发明将建筑物的指数特征和阴影特征相结合，进一步增强了建筑物类别与其他类别之间的区分度，使得对建筑物的提取更加简单有效。

本发明的基于异常检测的遥感影像建筑物迁移提取方法的一个实施例，如图5所示，在本发明实验中，通过将三个实验区域分别利用UNet、PSPNet、LinkNet三种语义分割网络进行设计，以验证本文算法在不同场景下的适用性，由于某些深度语义分割网络模型对实验对象的尺度以及空间分辨率敏感性较高，因此，对过高分辨率影像进行预测时可能出现仅仅提取出建筑物边缘区域的问题，因此可以采用对影像重采样以适当降低空间分辨率，以使得高分辨率影像接近训练数据集常规水平来解决问题。另外，在对预测结果中的待分层提取对象时，需要对遥感影像进行分割操作，以便对待分层进行重分类以及利用非建筑层和剔除异常后的建筑层自动选取建筑和非建筑样本。

本发明主要采用分型网络演化算法作为本文的影像分割算法，其中光滑度和紧致度均按照默认设置，分割尺度根据不同的影像条件进行适当选择，由于分割尺度的不同，容易导致过分割或欠分割，因此为了使样本及待分类对象能够更加准确地反映出对应地物要素本身的特征，实验的分割尺度需要适当减小，基于上述原因，如图5所示的三个区域在不同模型下的建筑物提取精度结果如表1所示：

表1.实验一建筑物提取精度

由表1可知，与原始的UNet、PSPNet和LinkNet网络相比，本发明的建筑物迁移提取结果在recall、precision和F1上的精度有较大的提升，其中，在3个区域建筑物提取的F1指标平均提升了12.11％，因此采用本发明的方法能够更加精准的提取建筑物。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

Claims (10)

1.一种基于异常检测的遥感影像建筑物迁移提取方法，其特征在于，包括以下步骤:

S1、利用开放数据集对深度语义分割网络模型进行训练，将遥感影像输入训练好的深度语义分割网络模型中，得到所述遥感影像的输出结果；

S2、提取输出结果中的建筑预测结果和道路预测结果，并对所述建筑预测结果进行预处理，得到建筑层、非建筑层和待分层；

S3、对所述建筑层进行异常检测，剔除异常对象后得到建筑样本，并将非建筑层作为非建筑样本；

S4、将所述道路预测结果从待分层中擦除，结合所述建筑样本和非建筑样本对待分层对象进行重分类，得到重分类后的建筑物分类结果；

S5、将所述建筑物分类结果与所述建筑样本相叠加，得到建筑物迁移提取结果。

2.根据权利要求1所述的提取方法，其特征在于，S2中，所述预处理按照预测概率阈值对建筑预测结果进行分层处理。

3.根据权利要求1所述的提取方法，其特征在于，所述建筑层、非建筑层和待分层内的对象采用影像分割处理，所述影像分割处理的算法为分型网络演化算法。

4.根据权利要求1所述的提取方法，其特征在于，所述建筑预测结果由输入的遥感影像和开放数据集训练得到的深度语义分割网络模型确定，通过将所述输出结果与输入的遥感影像中的像素坐标相对应，得到输出结果与输入的遥感影像中相对应的像素属于建筑物的概率，每个像素的取值范围为[0,1]，表示每个像素为建筑物的预测概率。

5.根据权利要求4所述的提取方法，其特征在于，所述建筑层为概率大于0.6的像素区域，所述非建筑层为概率小于0.2的像素区域，所述待分层为概率在0.2～0.6之间的像素区域。

6.根据权利要求1所述的提取方法，其特征在于，S3中异常检测包括以下分步骤：

S31、计算建筑层中对象的光谱、纹理等特征值；

S32、根据计算得到的特征值利用异常检测算法将建筑层中的对象进行异常剔除，得到建筑样本。

7.根据权利要求6所述的提取方法，其特征在于，所述异常剔除采用孤立森林算法对所述建筑样本中的异常对象进行剔除，所述孤立森林算法通过下述公式对该算法所构成的孤立树中的叶子节点到根节点的路径长度进行归一化处理，具体公式如下：

H(i)＝ln(i)+0.577

其中：p(x,n)是节点x的异常分数，并且所述异常分数p(x,n)为l(x)的单调递减函数，p的取值范围为[0，1]；E(l(x))是节点x在多棵孤立树中l(x)的期望值；C(n)为给定样本数n后路径长度的平均值，用来标准化样本x的路径长度；H(i)为调和数；0.577是欧拉常数。

8.根据权利要求1所述的提取方法，其特征在于，所述重分类采用监督分类器对待分层内的对象进行重分类。

9.根据权利要求8所述的提取方法，其特征在于，所述S4中重分类包括以下分步骤：

S41、去除待分层中的道路预测结果；

S42、将建筑层中剔除的异常对象加入待分层中；

S43、提取的建筑样本和非建筑样本中的特征值并将提取到的特征值输入监督分类器内作为参照对象；

S44、将待分层内的对象输入监督分类器内进行重分类，获取其中的建筑物分类结果。

10.根据权利要求9所述的提取方法，其特征在于，S43中，所述特征值包括建筑物的颜色、纹理特征以及建筑物相关的指数特征，其中，待分层内的对象根据颜色特征进行重分类的计算公式如下所示：

其中f_ij是第j个图像像素的第i个颜色分量的颜色值；N是图像中的像素总数；μ_i、σ_i、γ_i(i＝1,2,3)分别表示图像每个通道的平均值、标准偏差和偏度。

Images