CN114119634A - 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统 - Google Patents

结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统 Download PDF

Info

Publication number
CN114119634A
CN114119634A CN202111387621.6A CN202111387621A CN114119634A CN 114119634 A CN114119634 A CN 114119634A CN 202111387621 A CN202111387621 A CN 202111387621A CN 114119634 A CN114119634 A CN 114119634A
Authority
CN
China
Prior art keywords
vegetation
building
area
remote sensing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111387621.6A
Other languages
English (en)
Inventor
孟岩
刘舟
夏桂松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111387621.6A priority Critical patent/CN114119634A/zh
Publication of CN114119634A publication Critical patent/CN114119634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统，其中的方法包括归一化数字表面模型(nDSM)提取、基于直方图削减变换的植被剔除以及基于图像特征一致性约束的建筑物区域优化。本发明的方法通过提高植被提取的精度来提高建筑物提取的精度，并基于图像特征一致性约束对提取到的建筑物区域进行优化。本发明能够从已经精确配准的遥感图像和LiDAR点云中自动提取建筑物区域，避免了半自动方法和监督方法中的人工交互，并能够以非监督的方式达到和监督深度学习算法相当的建筑物提取精度。

Description

结合植被剔除和图像特征一致性约束的建筑物自动提取方法 及系统
技术领域
本发明涉及计算机视觉与遥感领域，尤其涉及结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统。
背景技术
从遥感图像和LiDAR点云中提取建筑物区域是计算机视觉和模式识别在图像处理方面重要的研究课题之一。建筑物提取是很多建筑物三维重建算法的必要步骤，也是城市规划、数字地图更新、土地利用类型调查和灾害评估等应用的重要基础。因此，研究基于遥感图像和LiDAR点云的建筑物提取算法具有重要意义。
根据是否需要训练样本，建筑物提取算法可以分为监督算法和非监督算法。监督算法又可以分为基于深度学习的提取算法和基于传统机器学习方法的提取算法。传统机器学习方法往往需要人们设计一些针对建筑物的特征，而这些特征往往是在一小部分数据上总结得到的浅层特征，泛化能力不强。深度学习算法却可以自动从遥感数据中提取关键的多尺度特征，尤其是卷积神经网络的快速发展已经使得深度学习算法逐渐取代其他算法成为建筑物提取的主流算法。深度学习算法往往需要大量的训练样本才能取得较好的效果，而训练样本的获取需要花费大量人力物力。此外，由于泛化能力有限，遇到与训练数据集差异较大的新数据时，人们往往需要标注新的训练样本。因此，虽然目前基于深度学习的建筑物提取算法已经取得了很大的突破，监督算法并没有在真正意义上实现建筑物的自动提取。
根据所用数据，现有的建筑物提取算法可以分为三大类：(1)基于图像的建筑物提取、(2)基于LiDAR三维点云的建筑物提取以及(3)融合图像和三维数据的建筑物提取。
与从LiDAR三维点云中提取到的建筑物相比，从遥感图像中提取到的建筑物往往在水平面方向的精度较高、边界更为精确。但是现有的算法往往只能够较好地利用光谱特征而不能有效利用图像中隐含的几何特征(比如建筑物的形状)。
LiDAR三维点云具有提取建筑物的必要的高度信息和纹理信息。利用高度信息将很多非建筑物地物与建筑物和植被进行区分，然后再基于其他信息对建筑物与植被进行分离，便有望得到较高精度的建筑物区域。但是有些植被的平面特征和法向量特征与建筑物非常相似，导致难以对它们进行精确区分。
发明内容
针对现有非监督建筑物提取算法精度较低以及边界不精确的问题，本发明提供了一种结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统，通过提高植被提取的精度来提高建筑物提取的精度，并基于图像特征一致性约束对提取到的建筑物区域进行优化，适用于已经精确配准的遥感图像和LiDAR点云中的建筑物提取。
为了解决上述技术问题，本发明第一方面提供了结合植被剔除和图像特征一致性约束的建筑物自动提取方法，包括：
S1：基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM包括建筑物和植被；
S2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从采用的正射图像中提取非阴影区域的植被；基于亮度值特征和可见光波段对近红外波段的比值特征的联合特征分布，采用直方图削减变换法从正射遥感图像中提取阴影区域，进而提取阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，得到初始建筑物区域，其中，剔除的植被区域是从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被的并集；
S3：基于图像特征一致性约束对得到的初始建筑物区域进行优化，得到最终建筑物区域。
在一种实施方式中，步骤S1中采用预设工具对LiDAR点云进行去噪处理后，从去噪后的LiDAR点云中提取DEM，DSM由所有的三维点经过插值得到，采用DSM减去DEM即得到nDSM。
在一种实施方式中，步骤S1采用Tsai矩守恒阈值算法对nDSM进行二值化处理。
在一种实施方式中，在步骤S1之后，所述方法还包括，将nDSM和正射遥感图像统一成具有相同空间分辨率的栅格图像。
在一种实施方式中，步骤S2包括：
S2.1：采用导向滤波算法对和nDSM统一成相同空间分辨率后的正射遥感图像进行去噪处理；
S2.2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从去噪后的正射遥感图像中提取非阴影区域的植被；
S2.3：从去噪后的正射遥感图像中提取阴影区域的植被；
S2.4：将从去噪后的正射遥感图像中提取的非阴影区域的植被和阴影区域的植被求并集，得到完整的植被区域，从nDSM中剔除提取到的植被区域，得到初始的建筑物区域。
在一种实施方式中，S2.2包括：
S2.2.1：按照公式
Figure BDA0003367658040000031
从遥感图像中提取NDVI特征，其中索引i和j表示图像的行索引和列索引，NIR(i,j)表示第i行第j列的近红外波段像素值，Red(i,j)表示第i行第j列的红光波段像素值，NDVI(i,j)表示提取的 NDVI特征；
S2.2.2：按照公式
Figure BDA0003367658040000032
从遥感图像中提取NDGI特征，其中索引i和j表示图像的行索引和列索引，Green(i,j)表示第i行第j列的绿光波段像素值，NDGI(i,j)表示提取的NDGI特征；
S2.2.3：基于NDVI特征和NDGI特征的联合分布，采用直方图削减变换法确定NDVI的最优阈值，并基于该最优阈值对NDVI进行二值化以从遥感图像中提取非阴影区域的植被。
在一种实施方式中，S2.3包括：
S2.3.1：按照公式
Figure BDA0003367658040000033
从遥感图像中提取亮度值特征，其中N表示波段的数目，索引i和j表示图像的行索引和列索引，Bandn(i,j) 则表示第n个波段在第i行第j列的像素值，Brightness(i,j)表示提取的亮度值特征；
S2.3.2：按照公式
Figure BDA0003367658040000041
从遥感图像中提取可见光波段对近红外波段的比值特征，其中索引i和j表示图像的行索引和列索引，“v2n”表示可见光波段对近红外光波段，Red(i,j)表示第i行第j列的红光波段像素值，Green(i,j)表示第i行第j列的绿光波段像素值，NIR(i,j)表示第i行第j 列的近红外波段像素值，Ratiov2n(i,j)表示提取的可见光波段对近红外波段的比值特征；
S2.3.3：基于亮度值特征和可见光波段对近红外波段的比值特征的双特征联合分布，采用直方图削减变换法确定亮度值特征的最优阈值，并基于该最优阈值对亮度值特征进行二值化，以从遥感图像中提取阴影区域。
S2.3.4：从提取的阴影区域中提取植被。
在一种实施方式中，S3包括：
S3.1：对初始建筑物区域进行形态学的闭运算操作，以恢复部分被误剔除的建筑物点；
S3.2：采用快速图分割(efficient graph-based image segmentation,EGIS)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.3：采用简单线性迭代聚类(simple linear iterative clustering,SLIC)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.4：采用熵率超像素分割(entropy rate superpixel segmentation,ERSS)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.5：将步骤S3.2～S3.4中得到的建筑物区域求并集，可得到边界精确的建筑物区域；
S3.6：采用形态学的开运算来抵消步骤S3.1中的闭运算操作带来的不利影响；
S3.7：通过尺寸限制剔除非建筑物，得到最终的建筑物。
基于同样的发明构思，本发明第二方面提供了结合植被剔除和图像特征一致性约束的建筑物自动提取系统，包括：
归一化数字表面模型提取模块，用于基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM主要包括建筑物和植被；
植被剔除模块，用于分别从正射遥感图像中提取非阴影区域的植被和阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，就得到初始建筑物区域，其中，要剔除的植被区域是从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被的并集；
区域优化模块，用于基于图像特征一致性约束对得到的初始建筑物区域进行优化，得到优化后的建筑区域。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提供的结合植被剔除和图像特征一致性约束的建筑物自动提取方法，采用的植被提取算法精度较高，从nDSM中剔除植被之后得到的初始建筑物区域精度就已经非常高，这为后续基于图像特征一致性约束的建筑物区域优化打下了基础。基于图像特征一致性约束的建筑物区域优化则用较为精确的图像边界替换掉了不精确的LiDAR点云边界，成功剔除了大部分的残留植被区域，也部分恢复了被误剔除的建筑物点，解决了非监督建筑物提取算法精度较低以及边界不精确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为具体实施例中初始建筑物区域生成示意图；
图2为具体实施例中建筑物区域优化示意图(以法伊英根数据集的第一测试区为例)；
图3为本发明实施例中图像特征一致性约束的建筑物区域优化流程图；
图4为本发明实施例在法伊英根数据集第一测试区上的提取结果；
图5为本发明实施例在法伊英根数据集第二测试区上的提取结果；
图6为本发明实施例在法伊英根数据集第三测试区上的提取结果。
具体实施方式
本申请发明人通过大量的研究与实践发现：
与从LiDAR三维点云中提取到的建筑物相比，从遥感图像中提取到的建筑物往往在水平面方向的精度较高、边界更为精确。遥感图像包含丰富的光谱信息和纹理信息，可以据此从遥感图像中高精度地分割多种语义区域，如阴影区域和植被区域。但是建筑物在遥感图像中的光谱特征和纹理特征变化多样，很难直接建立起基于光谱特征和纹理特征提取建筑物的通用模型。遥感图像也隐含了一些几何特征，但是现有的算法往往只能够较好地利用光谱特征而不能有效利用图像中隐含的几何特征(比如建筑物的形状)。
LiDAR三维点云具有提取建筑物的必要的高度信息和纹理信息，可以利用高度信息将很多非建筑物地物与建筑物进行区分。从LiDAR点云中提取建筑物的第一步往往是通过滤波得到DEM(digital elevation model,数字高程模型)，然后通过DSM(digitalsurface model,数字表面模型)与DEM相减得到归一化的 DSM(normalised DSM,nDSM)。由于nDSM主要由建筑物、植被和少量其他非地面物体组成，从nDSM中提取建筑物的主要任务就是从nDSM中剔除植被点，即进行植被的提取。现有文献主要利用激光点云的多次回波特性、平面性分析、法向量的方差来将植被和建筑物进行区分。但是有些植被的平面特征和法向量特征与建筑物非常相似，导致难以对它们进行精确区分。多次回波数据也不是经常具有。而植被却可以相对容易地从具有近红外波段的遥感图像中高精度地提取。
基于以上研究与分析，结合遥感图像和LiDAR三维点云进行建筑物的提取具有天然的数据优势，结合两种数据往往会产生更好的建筑物提取结果。然而，即使如此，现有的结合遥感图像和LiDAR三维点云进行建筑物提取的非监督算法达到的精度依然比较有限，主要因为以下两个原因：(1).现有算法植被提取效果有限，因此区分建筑物与植被时的精度不高，从而导致建筑物提取精度不高； (2).从点云中获取的建筑物边界不够精确。
基于此，本发明采用一种直方图削减变换算法分别提取阴影区域的植被和非阴影区域的植被，通过高精度的植被提取精确区分了建筑物与植被，从而实现了较高精度的建筑物提取。又基于图像特征一致性约束用精确的图像边界代替了不精确的LiDAR点云边界，也同时降低了植被提取算法不完美造成的少量建筑物区域漏提取和过提取。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了结合植被剔除和图像特征一致性约束的建筑物自动提取方法，包括：
S1：基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM主要包括建筑物和植被；
S2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从采用的正射图像中提取非阴影区域的植被；基于亮度值特征和可见光波段对近红外波段的比值特征的联合特征分布，采用直方图削减变换法从正射遥感图像中提取阴影区域，进而提取阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，得到初始建筑物区域，其中，剔除的植被区域是从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被的并集；
S3：基于图像特征一致性约束对得到的初始建筑物区域进行优化，得到优化后的建筑区域。
具体来说，步骤S1为了进一步剔除nDSM中由于滤波效果不完美而残留的地面点和一些较低的植被，如灌木丛，对nDSM进行二值化处理，二值化之后 nDSM主要由建筑物、植被以及少量其它地物点组成。
在一种实施方式中，步骤S1中采用预设工具对LiDAR点云进行去噪处理后，从去噪后的LiDAR点云中提取得到DEM，DSM由所有的三维点经过插值后得到，采用DSM减去DEM得到nDSM。
具体来说，预设工具为LAStools。
具体实施过程中，可以采用LAStools的lasnoise子模块对LiDAR点云进行去噪处理；采用LAStools的lasground子模块从LiDAR点云中提取DEM。
在一种实施方式中，为了提高效果，步骤S1采用Tsai矩守恒 (moment-preserving)阈值算法对nDSM进行二值化处理。此时，从nDSM中剔除植被部分便能得到较高精度的建筑物提取结果。
在一种实施方式中，在步骤S1之后，所述方法还包括，将nDSM和正射遥感图像统一成具有相同空间分辨率的栅格图像。
在一种实施方式中，步骤S2包括：
S2.1：采用导向滤波算法对和nDSM统一成相同空间分辨率后的正射遥感图像进行去噪处理；
S2.2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从去噪后的正射遥感图像中提取非阴影区域的植被；
S2.3：从去噪后的正射遥感图像中提取阴影区域的植被；
S2.4：将从去噪后的正射遥感图像中提取的非阴影区域的植被和阴影区域的植被求并集，得到完整的植被区域，从nDSM中剔除提取到的植被区域，得到初始的建筑物区域。
具体实施过程中，导向滤波算法(Guided Filter)为一种滤波算法，可以去除遥感图像中的噪声，得到受噪声影响较小的遥感图像。
在一种实施方式中，S2.2包括：
S2.2.1：按照公式
Figure BDA0003367658040000081
从遥感图像中提取NDVI特征，其中索引i和j表示图像的行索引和列索引，NIR(i,j)表示第i行第j列的近红外波段像素值，Red(i,j)表示第i行第j列的红波段像素值，NDVI(i,j)表示在第i行第 j列提取的NDVI特征；
S2.2.2：按照公式
Figure BDA0003367658040000082
从遥感图像中提取NDGI特征，其中索引i和j表示图像的行索引和列索引，Green(i,j)表示第i行第j列的绿波段像素值，NDGI(i,j)表示在第i行第j列提取的NDGI特征；
S2.2.3：基于NDVI特征和NDGI特征的联合分布，采用直方图削减变换法确定NDVI的最优阈值，并基于该最优阈值对NDVI进行二值化以从遥感图像中提取非阴影区域的植被。
通过步骤S2.2.1～2.2.3也可以提取到一部分阴影区域的植被，但是提取到的植被主要分布在非阴影区域；对于阴影区域的植被，本发明采用S2.3.1～S2.3.4 的方法来进行提取。
在一种实施方式中，S2.3包括：
S2.3.1：按照公式
Figure BDA0003367658040000091
从遥感图像中提取亮度值特征，其中N表示波段的数目，索引i和j表示图像的行索引和列索引，Bandn(i,j) 则表示第n个波段在第i行第j列的像素值，Brightness(i,j)表示在第i行第j列提取的亮度值特征；
S2.3.2：按照公式
Figure BDA0003367658040000092
从遥感图像中提取可见光波段对近红外波段的比值特征，其中索引i和j表示图像的行索引和列索引，“v2n”表示可见光波段对近红外光波段，Red(i,j)表示第i行第j列的红波段像素值，Green(i,j)表示第i行第j列的绿波段像素值，NIR(i,j)表示第i行第j列的近红外波段像素值，Ratiov2n(i,j)表示在第i行第j列提取的可见光波段对近红外波段的比值特征；
S2.3.3：基于亮度值特征和可见光波段对近红外波段的比值特征的双特征联合分布，采用直方图削减变换法确定亮度值特征的最优阈值，并基于该最优阈值对亮度值特征进行二值化以从遥感图像中提取阴影区域；
S2.3.4：从提取的阴影区域中提取植被。
请参见图1～图6，其中，图1为具体实施例中初始建筑物区域生成示意图； (以国际摄影测量和遥感学会发布的法伊英根(Vaihingen)数据集的第一测试区为例)，其中图(a)为原始图像，图(b)为植被提取结果，图(c)为Tsai矩守恒(moment-preserving)阈值算法处理之后的nDSM，图(d)为剔除植被后的 nDSM。图中提取到的植被、建筑物区域和nDSM中的非地面点都用白色标志。
图2为具体实施例中建筑物区域优化示意图(以法伊英根数据集的第一测试区为例)；
图3为本发明实施例中图像特征一致性约束的建筑物区域优化流程图；
图4为本发明实施例在法伊英根数据集第一测试区上的提取结果，(a)部分为原始图像，白色多边形内的区域为测试区，(b)部分为国际摄影测量和遥感学会发布的建筑物标准真值，(c)部分为深度学习算法DeepLabv3的提取结果，(d) 部分为深度学习算法U-Net的提取结果，(e)部分为本发明的提取结果。(c)-(e) 中，深灰色区域表示背景，浅灰色区域表示正确检测，黑色区域表示虚假检测，白色区域表示漏检测。
图5为本发明实施例在法伊英根数据集第二测试区上的提取结果，(a)部分为原始图像，白色多边形内的区域为测试区，(b)部分为国际摄影测量和遥感学会发布的建筑物标准真值，(c)部分为深度学习算法DeepLabv3的提取结果，(d) 部分为深度学习算法U-Net的提取结果，(e)部分为本发明的提取结果。(c)-(e) 中，深灰色区域表示背景，浅灰色区域表示正确检测，黑色区域表示虚假检测，白色区域表示漏检测。
图6为本发明实施例在法伊英根数据集第三测试区上的提取结果，(a)部分为原始图像，白色多边形内的区域为测试区，(b)部分为国际摄影测量和遥感学会发布的建筑物标准真值，(c)部分为深度学习算法DeepLabv3的提取结果，(d) 部分为深度学习算法U-Net的提取结果，(e)部分为本发明的提取结果。(c)-(e) 中，深灰色区域表示背景，浅灰色区域表示正确检测，黑色区域表示虚假检测，白色区域表示漏检测。
提取非阴影区植被时的特征对不一定要严格为NDVI和NDGI，采用类似的特征组成的特征对也可以。这一结论同样适用于提取阴影区域的特征对(见步骤 S2.3.1和步骤S2.3.2)。
S2.2.3和S2.3.3中基于双特征联合分布的直方图削减变换法可以用算法1中的伪码进行描述，其中FHRRP是第一个高保持率点(first high retention rate point) 的英文缩写。
Figure BDA0003367658040000101
Figure BDA0003367658040000111
算法1中保持率直方图的计算包括以下两个步骤：
步骤1，假设已经有特征对中的第一个特征的一个初始阈值，如果在统计第二个特征直方图的时候忽略第一个特征中低于初始阈值的部分，就会得到第二个特征的一个新的直方图，即被削减的直方图。对这个操作也可以作如下理解：基于第一个特征的初始阈值将遥感图像分为背景和目标两部分，在统计第二个特征的直方图时只统计目标的数据。
步骤2，用第二个特征的被削减的直方图除以第二个特征原始的直方图，就得到第二个特征的保持率直方图：
Figure BDA0003367658040000112
其中索引m表示所有直方图的第m个组(bin，所有的直方图拥有相同的组)， Sub(m)和Ori(m)分别表示被削减的直方图和原始直方图的第m个组的绝对频率，Ret(m)表示保持率直方图的高度(保持率)。较高的保持率说明对应组的绝对频率没有发生太大变化。如果给定第二个特征的一个初始阈值，第一个特征的被削减的直方图和保持率直方图也可以用类似上面的计算方法得到。
算法1中在将所有的保持率直方图相加形成结合后的保持率直方图之前，需要将所有的保持率直方图按照公式2进行归一化：
Figure BDA0003367658040000113
其中，Peak表示最右侧的峰的高度，此处定义在连续的五个组中高度最高的那个组为峰。
如果再将最低的非零组的高度表示为Valley，则对于本发明采用的特征，本发明将同时满足以下三个条件的组定义为FHRRP:
(1)该组位于最右侧峰的左侧；
(2)该组应该具有尽可能大的组刻度，即该组应该尽可能靠右；
(3)该组满足以下不等式：
Ret(m)≤Valley+C1×(Peak-Valley),C1∈[0,1] (3)
其中，C1是用来定义FHRRP的唯一参数。公式3表示FHRRP的高度应在Valley和Peak之间，C1越小，FHRRP对应的组的高度越接近Valley，C1越大，FHRRP对应的组的高度越接近Peak。本发明将特征对中的两个特征的C1参数设置为相同的数值以增强算法的自动化程度，因此本发明提出的算法对于每个特征对只有一个参数。对于本发明中的非阴影区域的植被检测，该参数的值被设为固定值0.2，对于本发明中的阴影检测，该参数的值被设为固定值0.4，以进一步使得本发明算法成为自动算法。
S2.3.4中阴影区域的植被提取则是由三个需要同时满足的条件来实现的：
(1)阴影区的植被也是阴影。此处采用的特征对是亮度值特征和可见光波段与近红外波段的比值特征(见步骤S2.3.1和步骤S2.3.2)。特征对的最优阈值可以由直方图削减变换法来得到。最后只有亮度值特征被二值化以进行阴影提取。
(2)阴影区的植被应该比阴影区的其他地物具有更高的NDVI值，这一条件是通过公式4来进行定义的。这是因为虽然瑞利散射会使得天空光中近红外波段的辐照度低于红波段的辐照度，但是健康植被在近红外波段的反射率显著高于其他地物，植被在近红外波段的灰度值相对于阴影中的其他地物来说依然很高。
NDVI(i,j)>C2 (4)
其中，参数C2被设为0.05.
(3)阴影区的植被不应该具有太低的绿波段灰度值，这一条件是通过公式5 来进行定义的：
Green(i,j)>C3×max(Red(i,j),Blue(i,j)) (5)
其中C3在本发明具体实施例中被设为0.9。本发明实施例只采用一种非常宽松的方式来定义植被的绿色程度，虽然一般健康植被看起来是绿色的，但却并不意味着它们在绿波段的灰度值会高于其他可见光波段。
公式4和公式5中的参数都被设置成固定值，以使得本发明的植被提取算法成为真正意义上的自动提取算法。虽然将这两个公式中的参数设为固定值可能并不是最优选择，但是因为以下三个原因这样的设置并不会牺牲太多提取精度：
(1)基于直方图削减变换法得到的阈值对NDVI二值化方式的提取能够提取到阴影中的部分植被，可以在很大程度上弥补在阴影区域植被提取时可能会出现漏提取的不足；
(2)阴影区域中的植被与非阴影区域的植被相比，占比较小，即使有漏提取也不会影响很大；
(3)本发明对阴影区域植被的提取采用的是多个二值化结果的交集，这种方式可以有效避免在提取结果中引入过多非植被地物，即可以有效避免过提取。
由于本发明采用的植被提取算法精度较高，从nDSM中剔除植被之后得到的初始建筑物区域精度就已经非常高。从图1的(d)部分可以看出，在初始建筑物区域中绝大部分非建筑物点已经被剔除，绝大部分建筑物点得到保留，即初始建筑物区域已经确定了建筑物的主体部分。初始建筑物区域的不足之处在于以下两点：
(a)建筑物的部分边界是由LiDAR点云生成的nDSM确定的，部分边界是由图像来确定的(因为植被信息是从图像中提取的)。而由于LiDAR点云分辨率的原因，由nDSM确定的大部分建筑物边界并不精确。
(b)采用的植被提取算法虽然精度较高，却也不是完美的——可能会有少量植被区域没有被提取到，也可能有少量建筑物点被错提取为植被。因此，初始建筑物区域中可能存在少量未剔除的植被(图1的(d)部分用矩形框1、2、3(深灰色矩形框)标识出来一部分区域)，也可能有少量建筑物点被错误剔除(图1的 (d)部分用矩形框4、5、6(浅灰色矩形框)标识出来一部分区域)。
从nDSM中剔除植被后，剩余的非建筑物点(主要是植被)往往会变得不再连通、非常零碎，或许可以通过形态学的方式进行剔除。但是可能有部分残留植被区域尺寸较大，并且可能和真正的建筑物区域相连，很难通过简单的后处理将其排除，如图1的(d)部分中用矩形框1、2、3标识出来的区域。此外，如果采用形态学后处理的方式将会很难同时兼顾到残留的植被和误剔除的建筑物点，因为剔除残留的植被需要的是形态学的开运算，而恢复误剔除的建筑物点需要的则是形态学的闭运算，这是两个互相矛盾的运算。因此，对获取的初始建筑物区域进行优化并不是一件简单的事情。
在一种实施方式中，S3包括：
S3.1：对初始建筑物区域进行形态学的闭运算操作，以恢复部分被误剔除的建筑物点；
S3.2：采用快速图分割(efficient graph-based image segmentation,EGIS)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.3：采用简单线性迭代聚类(simple linear iterative clustering,SLIC)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.4：采用熵率超像素分割(entropy rate superpixel segmentation,ERSS)算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.5：将步骤S3.2～S3.4中得到的建筑物区域求并集，可得到边界精确的建筑物区域；
S3.6：采用形态学的开运算来抵消步骤S3.1中的闭运算操作带来的不利影响；
S3.7：通过尺寸限制剔除非建筑物，得到优化后的建筑区域。
具体来说，步骤S3.1对初始建筑物区域进行形态学的闭运算操作，闭运算可以提前恢复一些被误剔除的建筑物点；
步骤S3.2，采用EGIS算法对遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过一定较高比例的分割区域认为是建筑物区域，匹配结果如图2 的(a)部分所示；
步骤S3.3，采用SLIC算法对遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过一定较高比例的分割区域认为是建筑物区域，匹配结果如图2 的(b)部分所示；SLIC算法需要的参数是超像素分割区域的数目，不同分辨率或尺寸的图像需要的超像素分割区域的数目往往差异较大。为了使SLIC算法能够自动处理数据，在本发明中，SLIC算法超像素分割区域的数目是由EGIS算法产生的分割区域数目自动确定的。
步骤S3.4，采用ERSS算法对遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过一定较高比例的分割区域认为是建筑物区域，匹配结果如图2 的(c)部分所示；ERSS算法需要的参数是超像素分割区域的数目，不同分辨率或尺寸的图像需要的超像素分割区域的数目往往差异较大。为了使ERSS算法能够自动处理数据，在本发明中，ERSS算法超像素分割区域的数目也是由EGIS算法产生的分割区域数目自动确定的。
步骤S3.5，将以上三种分割算法区域匹配得到的建筑物区域求并集，即可得到边界精确的建筑物区域；
步骤S3.6，对提取到的建筑物区域采用形态学的开运算，该运算可以抵消步骤1中闭运算带来的一些不利影响；
步骤S3.7，经过以上处理，剩余的非建筑物点往往会变得不再连通、非常零碎，可以通过加以尺寸限制来进行筛除。具体实施时，可以将面积小于10平方米的候选建筑物连通区域判为噪声，并给予剔除，最终的优化结果如图2的(d) 部分所示。
本发明优化建筑物区域的算法流程如图3所示。图3中的N不一定要等于3，即区域匹配时采用的图像分割算法不一定要为三种，也可以采用更多种图像分割算法，但是更多图像分割算法往往意味着更大的计算量。本发明实施例方式中只采用了三种分割算法，这样的策略既可以保证建筑物区域优化的精度，同时也可以保证算法的效率。采用的图像分割算法也不一定要为以上三种算法。但是需要注意到采用的图像分割算法也会影响到建筑物提取的质量，本发明需要图像分割算法能够有效区分阴影区域或其他低对比度区域的建筑物部分和非建筑物部分，因此需要采用的图像分割算法对图像中的细节很敏感。本发明采用的三种分割算法均满足这种要求。作为示例，本实施方式将三种分割算法区域匹配时的比例阈值(见步骤S3.2、步骤S3.3和步骤S3.4)设为85％，实际上设为其他较高的阈值也可以得到类似的结果。
图4、图5和图6分别展示了本发明在法伊英根数据集的第一测试区、第二测试区和第三测试区上的提取效果。从对比图中可以看出，本发明的方法虽然只是一种非监督算法，却取得了和监督深度学习算法相当的提取精度。
相对于现有技术，本发明的有益效果是：
由于本发明采用的植被提取算法精度较高，从nDSM中剔除植被之后得到的初始建筑物区域精度就已经非常高，这为后续基于图像特征一致性约束的建筑物区域优化打下了基础。基于图像特征一致性约束的建筑物区域优化则用较为精确的图像边界替换掉了不精确的LiDAR点云边界，成功剔除了大部分的残留植被区域，也部分恢复了被误剔除的建筑物点。
为了更清楚地展示本发明的附图，可以用不同颜色加以区分，详见实审参考资料，该资料中，图1为初始建筑物区域生成示意图(以国际摄影测量和遥感学会发布的法伊英根(Vaihingen)数据集的第一测试区为例)，其中图(a)为原始图像，图(b)为植被提取结果，图(c)为Tsai矩守恒(moment-preserving)阈值算法处理之后的nDSM，图(d)为剔除植被后的nDSM。图中提取到的植被、建筑物区域和nDSM中的非地面点都用白色标志。图2为建筑物区域优化示意图(以法伊英根数据集的第一测试区为例)；图3为图像特征一致性约束的建筑物区域优化流程图；图4为本发明在法伊英根数据集第一测试区上的提取结果，图(a)为原始图像，其中黄线以内的区域为测试区，图(b)为国际摄影测量和遥感学会发布的标准真值，图(c)为深度学习算法DeepLabv3的提取结果，图 (d)为深度学习算法U-Net的提取结果，图(e)为本发明提取结果。图(c)-(e) 中，黄色区域表示正确检测、红色表示虚假检测、绿色表示漏检测。图5为本发明在法伊英根数据集第二测试区上的提取结果，图(a)为原始图像，其中黄线以内的区域为测试区，图(b)为国际摄影测量和遥感学会发布的标准真值，图 (c)为深度学习算法DeepLabv3的提取结果，图(d)为深度学习算法U-Net 的提取结果，图(e)为本发明提取结果。图(c)-(e)中，黄色区域表示正确检测、红色表示虚假检测、绿色表示漏检测。图6为本发明在法伊英根数据集第三测试区上的提取结果，图(a)为原始图像，其中黄线以内的区域为测试区，图(b) 为国际摄影测量和遥感学会发布的标准真值，图(c)为深度学习算法DeepLabv3 的提取结果，图(d)为深度学习算法U-Net的提取结果，图(e)为本发明提取结果。图(c)-(e)中，黄色区域表示正确检测、红色表示虚假检测、绿色表示漏检测。
实施例二
基于同样的发明构思，本实施例提供了结合植被剔除和图像特征一致性约束的建筑物自动提取系统，该系统包括：
归一化数字表面模型提取模块，用于基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM主要包括建筑物和植被；
植被剔除模块，用于分别从正射遥感图像中提取非阴影区域的植被和阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，得到初始建筑物区域，其中，从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被求并集，为剔除的植被区域；
区域优化模块，用于基于图像特征一致性约束对得到的初始建筑物区域进行优化，得到优化后的建筑区域。
由于本发明实施例二所介绍的系统，为实施本发明实施例一中结合植被剔除和图像特征一致性约束的建筑物自动提取方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属技术人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.结合植被剔除和图像特征一致性约束的建筑物自动提取方法，其特征在于，包括：
S1：基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM包括建筑物和植被；
S2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从采用的正射遥感图像中提取非阴影区域的植被；基于亮度值特征和可见光波段对近红外波段的比值特征的联合特征分布，采用直方图削减变换法从正射遥感图像中提取阴影区域，进而提取阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，得到初始建筑物区域，其中要剔除的植被区域为从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被的并集；
S3：基于图像特征一致性约束对得到的初始建筑物区域进行优化，提取出最终建筑物。
2.如权利要求1所述的建筑物自动提取方法，其特征在于，步骤S1中采用预设工具对LiDAR点云进行去噪处理后，从去噪后的LiDAR点云中提取DEM；DSM则由所有的三维点经过插值得到；采用DSM减去DEM即得到nDSM。
3.如权利要求1所述的建筑物自动提取方法，其特征在于，步骤S1采用Tsai矩守恒阈值算法对nDSM进行二值化处理。
4.如权利要求1所述的建筑物自动提取方法，其特征在于，在步骤S1之后，所述方法还包括，将nDSM和正射遥感图像统一成具有相同空间分辨率的栅格图像。
5.如权利要求1所述的建筑物自动提取方法，其特征在于，步骤S2包括：
S2.1：采用导向滤波算法对和nDSM统一成相同空间分辨率后的正射遥感图像进行去噪处理；
S2.2：基于归一化植被指数NDVI和归一化绿度指数NDGI的联合特征分布，采用直方图削减变换法从去噪后的正射遥感图像中提取非阴影区域的植被；
S2.3：从去噪后的正射遥感图像中提取阴影区域的植被；
S2.4：将从去噪后的正射遥感图像中提取的非阴影区域的植被和阴影区域的植被求并集，得到完整的植被区域；从nDSM中剔除提取到的植被区域，得到初始的建筑物区域。
6.如权利要求5所述的建筑物自动提取方法，其特征在于，S2.2包括：
S2.2.1：按照公式
Figure FDA0003367658030000021
从遥感图像中提取NDVI特征，其中索引i和j表示图像的行索引和列索引，NIR(i,j)表示第i行第j列的近红外波段像素值，Red(i,j)表示第i行第j列的红光波段像素值，NDVI(i,j)表示在第i行第j列提取的NDVI特征；
S2.2.2：按照公式
Figure FDA0003367658030000022
从遥感图像中提取NDGI特征，其中索引i和j表示图像的行索引和列索引，Green(i,j)表示第i行第j列的绿光波段像素值，NDGI(i,j)表示在第i行第j列提取的NDGI特征；
S2.2.3：基于NDVI特征和NDGI特征的联合分布，采用直方图削减变换法确定NDVI的最优阈值，并基于该最优阈值对NDVI进行二值化以从遥感图像中提取非阴影区域的植被。
7.如权利要求5所述的建筑物自动提取方法，其特征在于，S2.3包括：
S2.3.1：按照公式
Figure FDA0003367658030000023
从遥感图像中提取亮度值特征，其中N表示波段的数目，索引i和j表示图像的行索引和列索引，Bandn(i,j)则表示第n个波段在第i行第j列的像素值，Brightness(i,j)表示在第i行第j列提取的亮度值特征；
S2.3.2：按照公式
Figure FDA0003367658030000024
从遥感图像中提取可见光波段对近红外波段的比值特征，其中索引i和j表示图像的行索引和列索引，“v2n”表示可见光波段对近红外光波段，Red(i,j)表示第i行第j列的红波段像素值，Green(i,j)表示第i行第j列的绿波段像素值，NIR(i,j)表示第i行第j列的近红外波段像素值，Ratiov2n(i,j)表示在第i行第j列提取的可见光波段对近红外波段的比值特征；
S2.3.3：基于亮度值特征和可见光波段对近红外波段的比值特征的双特征联合分布，采用直方图削减变换法确定亮度值特征的最优阈值，并基于该最优阈值对亮度值特征进行二值化以从遥感图像中提取阴影区域；
S2.3.4：从提取的阴影区域中提取植被。
8.如权利要求1所述的建筑物自动提取方法，其特征在于，S3包括：
S3.1：对初始建筑物区域进行形态学的闭运算操作，以恢复部分被误剔除的建筑物点；
S3.2：采用快速图分割算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.3：采用简单线性迭代聚类算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.4：采用熵率超像素分割算法对去噪后的正射遥感图像进行分割，并将每个初始建筑物区域的部分的占比超过预设比例的分割区域作为建筑物区域；
S3.5：将步骤S3.2～S3.4中得到的建筑物区域求并集，可得到边界精确的建筑物区域；
S3.6：采用形态学的开运算来抵消步骤S3.1中的闭运算操作带来的不利影响；
S3.7：通过尺寸限制剔除非建筑物点，得到最终的建筑物区域。
9.结合植被剔除和图像特征一致性约束的建筑物自动提取系统，其特征在于，包括：
归一化数字表面模型提取模块，用于基于数字高程模型DEM与数字表面模型DSM得到归一化数字表面模型nDSM，对nDSM进行二值化处理，二值化处理后的nDSM包括建筑物和植被；
植被剔除模块，用于分别从正射遥感图像中提取非阴影区域的植被和阴影区域的植被；从二值化处理后的nDSM中剔除提取到的植被区域，得到初始建筑物区域，其中，从正射遥感图像中提取到的阴影区域的植被和非阴影区域的植被求并集，为剔除的植被区域；
区域优化模块，用于基于图像特征一致性约束对得到的初始建筑物区域进行优化，提取出最终建筑物。
CN202111387621.6A 2021-11-22 2021-11-22 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统 Pending CN114119634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111387621.6A CN114119634A (zh) 2021-11-22 2021-11-22 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111387621.6A CN114119634A (zh) 2021-11-22 2021-11-22 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统

Publications (1)

Publication Number Publication Date
CN114119634A true CN114119634A (zh) 2022-03-01

Family

ID=80439179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111387621.6A Pending CN114119634A (zh) 2021-11-22 2021-11-22 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统

Country Status (1)

Country Link
CN (1) CN114119634A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258958A (zh) * 2022-12-22 2023-06-13 二十一世纪空间技术应用股份有限公司 一种同源高分辨率影像和dsm数据的建筑物提取方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258958A (zh) * 2022-12-22 2023-06-13 二十一世纪空间技术应用股份有限公司 一种同源高分辨率影像和dsm数据的建筑物提取方法及装置
CN116258958B (zh) * 2022-12-22 2023-12-05 二十一世纪空间技术应用股份有限公司 一种同源高分辨率影像和dsm数据的建筑物提取方法及装置

Similar Documents

Publication Publication Date Title
Zhang et al. Object-oriented shadow detection and removal from urban high-resolution remote sensing images
CN107341795B (zh) 一种知识驱动的高空间分辨率遥感影像自动变化检测方法
CN111415363B (zh) 一种图像边缘识别方法
CN110309781B (zh) 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法
CN107330875B (zh) 基于遥感图像正反向异质性的水体周边环境变化检测方法
CN103077515B (zh) 一种多光谱图像建筑物变化检测方法
CN111626092B (zh) 一种基于机器学习的无人机影像地裂缝识别及提取方法
CN110569751B (zh) 一种高分遥感影像建筑物提取方法
CN107992856B (zh) 城市场景下的高分遥感建筑物阴影检测方法
CN110176005B (zh) 基于归一化指数和多尺度模型的遥感图像分割方法
CN109871900A (zh) 一种基于图像处理的复杂背景下苹果的识别定位方法
CN114972575A (zh) 一种基于轮廓边缘的直线拟合算法
CN111310771B (zh) 遥感影像的道路图像提取方法、装置、设备及存储介质
CN113129323A (zh) 一种基于人工智能的遥感田埂界线检测方法、系统、计算机设备及存储介质
CN115731257A (zh) 基于图像的叶片形态信息提取方法
Chehata et al. Object-based forest change detection using high resolution satellite images
CN114842262A (zh) 融合线路通道正射影像的激光点云地物自动识别方法
CN114119634A (zh) 结合植被剔除和图像特征一致性约束的建筑物自动提取方法及系统
CN114419458A (zh) 一种基于高分辨率卫星遥感的裸土监测方法、装置和设备
Shi et al. Urban feature shadow extraction based on high-resolution satellite remote sensing images
CN114937211B (zh) 基于不变对象的遥感影像变化检测方法
Straub Automatic extraction of trees from aerial images and surface models
Huang et al. Classification of very high spatial resolution imagery based on the fusion of edge and multispectral information
Abraham et al. Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures
CN108229486B (zh) 一种纤维识别分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination