CN107808160B - 三维建筑物提取方法和装置 - Google Patents

Abstract

公开了一种用于三维建筑物提取的方法，该方法包括：从建筑物的一个或多个立体像对提取建筑物轮廓；根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计；从建筑物的多时相SAR图像中获取具有稳定属性的散点；确定所确定的散点的第二高度估计；以及结合第一高度估计和第二高度估计，以生成所提取的建筑物轮廓中的每个的融合高度。

Description

三维建筑物提取方法和装置

技术领域

本公开涉及一种三维建筑物提取方法以及一种三维建筑物提取装置。具体地，本公开涉及一种基于卫星的三维建筑物提取方法以及基于卫星的三维建筑物提取装置。

背景技术

城市建筑物信息对于城市规划和城市气候研究是不可缺少的。但是，对于一些城市，尤其是对于处于发展中国家的那些城市，缺乏有效的城市建筑物信息依然是一个问题。遥感技术使得能够提供大面积城市建筑物信息。具体地，利用近来发射的新的高分辨率卫星，更高品质的卫星数据现在可以用来支持恢复城市建筑物信息的研究。但是，由于建筑形式的复杂性(例如，形状、尺寸、颜色和纹理)和它们的高度相似性以及接近于其他地面上的目标，从卫星图像自动且精确地提取建筑物信息以用于大型高密度城市地区仍然具有挑战。用于大型复杂城市地区的快速且高效的三维建筑物提取技术是必需的。

以前的研究主要集中在使用光学卫星图像的二维建筑物轮廓提取方面，其中已经开发了各种图像分类/特征提取方法。在这些方法中，与建筑物有关的光谱和形状信息是用于建筑物轮廓提取的最广泛使用的特征。为了提高轮廓提取准确性，已经开始利用建筑物的其他重要特征，如拐角、边缘、阴影以及建筑物高度。

随着先进卫星技术(例如：使用光学图像(立体图像)对的立体摄影测量技术、合成孔径雷达(SAR-)技术、以及激光探测及测距系统(LiDAR)技术)的发展，自动建筑物提取技术，尤其是建筑物高度提取技术已经达到新的水平。立体技术使用来自不同观测角度的一对卫星图像(立体像对)来利用摄影测量技术恢复相同区域中的建筑物高度。但是，利用立体技术的主要难点在于从一对卫星图像中自动恢复相同目标的相应点(表示立体匹配技术)。因此，已经开发了其他先进的立体匹配方法，以提高高度恢复准确性和自动映射能力。此外，已经利用一些辅助数据来提高高度恢复准确性，例如：通过利用多个立体像对或其他辅助数据，诸如数字高程模型。

SAR数据可记录从卫星到地表的距离信息，地面目标的高度信息可利用推断SAR图像或单视场SAR图像从该距离信息中恢复。与立体图像类似，立体SAR图像还可应用于利用雷达测量技术来恢复建筑物高度。但是，由于不同的成像机制将SAR图像与光学图像区分开，因此用于光学图像的常规建筑物轮廓提取方法并不适用于SAR图像。与利用SAR图像的建筑物轮廓提取有关的研究主要集中在其他重要建筑物特征的开发上，这些建筑物特征例如：统计纹理信息、明亮线性线以及建筑物阴影，基于这些特征循证方法已经被用于结合恢复的特征以用于建筑物轮廓提取。

近年来，包含建筑物轮廓提取和建筑物高度恢复的3D建筑物提取旨在提高建筑物提取性能。因为立体图像和SAR图像在恢复建筑物数据方面具有相对低的准确度并且它们的成本也是较低，使得它们在大区域应用中相当适用和实用。此外，光学卫星图像和SAR数据呈现出用于各种建筑物的更好的识别性能。

发明内容

该方法的目标之一是提出一种基于卫星的三维建筑物提取方法以在单数据方法受到限制的情况下用于市区中的三维建筑物提取。该方法可使用光学卫星图像提供高质量建筑物轮廓，基于该高质量建筑物轮廓，SAR数据可提供建筑物高度信息。已经发现利用用于进行建筑物高度恢复的光学图像可提供高度信息以补充SAR结果。此外，鉴于建筑物的实际高度通常高于它们周围的虚假建筑物目标，从立体图像恢复的高度信息转而可有益于建筑物轮廓提取准确度。所提出的方法首先可利用建筑物高度信息和阴影信息以及光谱信息和空间信息恢复建筑物轮廓，然后对于各个建筑物轮廓进行结合并指定从立体像对和Terra-SAR图像获得的高度估计以重建3D建筑物信息。

根据本公开的方面，3D建筑物提取方法可包括从建筑物的一个或多个立体像对提取建筑物轮廓；基于立体像对的有理多项式系数确定所提取的建筑物轮廓的第一高度估计；从建筑物的多时相SAR图像获取具有稳定属性的散点；确定所确定的散点的第二高度估计；以及结合第一高度估计和第二高度估计生成所提取的建筑物轮廓中的每个的融合高度并输出所得到的融合高度。

根据本公开的实施方式，提取建筑物轮廓可包括从初始建筑物轮廓中去除虚假建筑物轮廓；从立体像对中获取建筑物高度提取信息；从立体像对中获取建筑物阴影提取信息；以及结合建筑物高度提取信息和建筑物阴影提取信息生成建筑物轮廓。

根据本公开的实施方式，去除虚假建筑物轮廓可包括将立体像对分割成多个同类目标；以及从多个同类目标中去除植被对象、黑体对象和道路对象中的至少一个。作为示例，道路对象可基于形状指数通过基于规则的方法去除；植被对象可通过应用归一化植被指数去除；以及黑体对象可通过应用归一化水指数去除。

根据本公开的实施方式，建筑物轮廓中的每个的初始高度信息可通过从建筑物轮廓的最大高度减去局部最小高度获取。基于初始高度信息，可向初始建筑物轮廓中的每个指定基于高度的隶属度，以反映各个初始建筑物轮廓为实际建筑物的概率。

根据本公开的实施方式，获取建筑物阴影提取信息可包括基于建筑物与阴影之间的空间关系在阴影周围生成模糊地形；使初始建筑物轮廓与模糊地形重叠；以及提取初始建筑物轮廓中的每个的基于阴影的平均地形。基于阴影的平均地形反映相应的初始建筑物轮廓为实际建筑物的概率。

根据本公开的实施方式，第二高度估计可通过利用基于多时相SAR图像的TomoSAR方法获取。

根据本公开的实施方式，确定第一高度估计可包括对图像控制点与地面上的相应目标控制点之间的关系进行建模；基于所述关系从立体像对中寻找相同对象点上的相同图像点；以及基于该立体像对上的相同点恢复第一高度估计信息。图像控制点可反映二维平面图像点，以及对象控制点可反映地球上的三维点。

根据本公开的实施方式，获取第二高度估计可包括将SAR高度点组织为SAR高度对象；基于SAR高度对象与最接近的建筑物轮廓之间的重叠面积对SAR高度对象与最接近的建筑物轮廓进行匹配；以及向所有匹配的建筑物轮廓指定第二高度估计。

根据本公开的实施方式，提取的建筑物轮廓中的每个的混合高度可通过确定第一高度估计与第二高度估计之间的差值是否大于阈值来获取。如果是，则从第一高度估计和第二高度估计中选择较大的一个作为融合高度；否则，对第一高度估计和第二高度估计进行平均作为获取的融合高度。

根据本公开的方面，用于3D建筑物提取的装置可包括提取单元，用于从一个或多个立体像对中提取建筑物轮廓；确定单元，用于根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计；获取单元，用于从多时相SAR图像中获取提取的建筑物轮廓的具有稳定属性的散点的第二高度估计；以及结合单元，用于结合第一高度估计和第二高度估计，从而为提取的建筑物轮廓中的每个生成融合高度。

根据本公开的方面，用于三维建筑物提取的系统可包括：存储器，用于存储一个或多个计算机可读组件；以及处理器，用于运行所存储的组件以执行系统的操作，其中所存储的组件包括：提取组件，用于从一个或多个立体像对中提取建筑物轮廓；第一确定组件，用于根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计；获取组件，用于从用于建筑物的多时相SAR图像中获取具有稳定属性的散点；第二确定组件，用于确定用于所确定的散点的第二高度估计；以及结合组件，用于结合第一高度估计和第二高度估计，从而为提取的建筑物轮廓中的每个生成融合高度。

根据本公开的实施方式，提取单元/组件可包括去除模块，用于从初始建筑物轮廓中去除虚假建筑物轮廓；第一获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于高度的隶属度；第二获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于阴影的平均地形；以及结合模块，用于结合基于高度的隶属度和基于阴影的平均地形以生成建筑物轮廓。

根据本公开的实施方式，确定单元/组件可包括建模模块，用于对图像控制点与地面上的相应对象控制点之间的关系进行建模；查找模块，用于基于所述关系从立体像对中查找相同对象点上的相同图像点；以及恢复模块，用于基于该立体像对上的相同点恢复第一高度估计信息。

根据本公开的实施方式，获取单元/组件可包括组织模块，用于将SAR高度点组织为SAR高度对象；匹配模块，用于基于SAR高度对象与最接近的建筑物轮廓之间的重叠面积对SAR高度对象与最接近的建筑物轮廓进行匹配；以及指定模块，用于向所有匹配的建筑物轮廓指定第二高度估计。

根据本公开的实施方式，结合单元/组件可包括决策模块，用于确定第一高度估计与第二高度估计之间的差值是否大于阈值。

附图说明

在下文中将参照附图描述本公开的示例性非限制实施方式。附图为说明性的并且通常不按照精确比例绘制。不同附图中的相同或相似的元件使用相同的参考数字表示。

图1示出了根据本公开的三维建筑物提取方法的示意流程图；

图2示出了根据本公开的实施方式的建筑物轮廓提取方法的示意性过程；

图3(a)示出了根据本公开的实施方式的可能的建筑物轮廓的示例性高度信息；

图3(b)示出了根据本公开的实施方式的示例性的基于高度的建筑物概率结果；

图4(a)示出了根据本公开的实施方式的建筑物阴影的示例性部分；

图4(b)示出了根据本公开的实施方式的所有像素的带隶属值的模糊地形；

图4(c)示出了根据本公开的实施方式的示例性的基于阴影的建筑物概率结果；

图5(a)-图5(c)示出了根据本公开的实施方式通过集成基于高度的信息和基于阴影的信息实现的示例性的最终建筑物提取结果。其中，图5(a)示出了带概率值的基于高度的结果，图5(b)示出了带概率值的基于阴影的结果以及图5(c)示出了最终融合结果；

图6示出了根据本公开的实施方式的三维建筑物提取方法的示意性过程；

图7示出了根据本公开的实施方式的三维建筑物提取系统的示意性框图；

图8示出了根据本公开的实施方式的用于执行三维建筑物提取方法的计算机系统的示意性框图；

图9示出了使用立体像对利用常规的基于卫星的方法的建筑物提取结果；

图10示出了利用立体像对和SAR图像两者使用本公开提出的基于卫星的方法的建筑物提取结果；以及

图11(a)-图11(b)示出了通过比较预测的建筑物高度与实际的建筑物高度获得的不同模型的散点图，其中不同的颜色显示散点的密度，其中，图11(a)示出了使用立体像对利用常规方法获得的结果，以及图11(b)示出了使用立体像对和SAR图像两者利用本公开提出的方法获得的结果。

具体实施方式

现在将具体参考本公开的一些具体实施方式，其中包括发明人设想的用于执行本公开的最佳模式。这些具体实施方式的示例在附图中示出。当结合这些具体实施方式描述本公开时，应理解其并非旨在将本公开限制为描述的实施方式。相反，其旨在覆盖可包括在由所附权利要求限定的本公开的精神和范围内的替代、修改和等同。在下面的描述中，陈述大量具体细节以提供本公开的透彻理解。本公开可在没有这些具体细节中的一些或全部的情况下实施。在其他实例中，为了避免不必要地混淆本公开而没有详细描述公知的处理操作。

本文使用的术语仅是为了描述特定的实施方式而并非旨在限制本公开。如本文中所使用的，单数形式"一(a)"、"一(an)"和"该(the)"也旨在包括复数形式，除非上下文清楚地另有指示。还应理解，当在该说明书中使用术语"包括(comprises)"和/或"包括(comprising)"时，表示存在所述的特征、整体、步骤、操作、元件、和/或部件，但是不排除存在或附加有一个或多个其他特征、整体、步骤、操作、元件、部件、和/或它们的组合。

提出的三维建筑物提取方法可包括两个主要阶段。第一，可使用阴影信息、高度信息、光谱信息和空间信息从高分辨率立体像对中提取建筑物轮廓。第二，基于提取的建筑物轮廓，可结合来自立体像对和Terra-SAR图像两者的初始高度估计并将结合的初始高度估计指定给建筑物轮廓以获得三维建筑物信息。

如图1所示，该方法可从步骤S10开始以从城市建筑物的一个或多个立体像对中提取建筑物轮廓。然后在步骤S20中，可根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计。可从建筑物的多时相SAR图像中获得建筑物的第二高度估计，这在步骤S30和步骤S40中实现。因为SAR图像仅可采集具有稳定属性的物体，因此，在步骤S30中，仅可从建筑物的多时相SAR图像中获得具有稳定属性的散点。然后在步骤S40中，可使用TomoSAR技术确定所确定的散点的第二高度估计。在确定了具体建筑物的第一高度估计和第二高度估计之后，第一高度估计和第二高度估计可被结合以生成所提取的建筑物轮廓中的每个的融合高度。

该方法的详细实现可在下文中参照图2-图6进行描述。

图2示出了根据本公开的实施方式的建筑物轮廓提取方法的示意性整体过程，即步骤S10，其包括4个主要阶段。在该过程中，建筑物轮廓10例如可使用来自立体像对100的图像数据的4个重要特征来提取：光谱信息、形状信息、阴影信息和高度信息。图像数据例如可以为任意卫星数据。第一，可使用基于对象的分类方法从光学图像(立体像对)100中提取初始建筑物轮廓20。第二，鉴于实际建筑物通常高于其周围的目标，基于初始建筑物轮廓20，从图像100获得的数字高度估计110可被用于去除一些虚假建筑物并获取基于高度的建筑物提取信息111。第三，与高度估计110类似，鉴于实际建筑物通常包括围绕该建筑物作为环境信息的阴影，基于阴影的模糊地形120可被用于生成基于阴影的建筑物轮廓提取信息121。最后，可结合基于高度的建筑物提取信息111和基于阴影的建筑物提取信息121以生成最终的建筑物轮廓提取信息10。

在本公开的实施方式中，可使用基于对象的分类方法从高分辨率立体像对100提取初始建筑物轮廓10。该方法的主要思想是将卫星图像100分割成多个同类对象，然后选择出具有建筑物特征的对象作为初始候选项。

在实践中，可采用去除过程来选择可能为建筑物的对象。在该过程中，作为示例，首先使用基于规则的方法去除与建筑物显著不同的、包括植被、黑体(例如，水和阴影)和道路的虚假建筑物中对象的三类对象。具体地，归一化植被指数(NDVI)和归一化水指数(NDWI)可分别被用于去除植被和黑体。鉴于一些虚假建筑物对象具有与建筑物显然不同的形状，因此形状指数(例如，长宽比)可被用于滤除这些对象。道路可基于形状指数从多个同类对象中去除。本文中，形状指数反映该对象的边界长度除以其面积的平方根。更多的形状指数(例如：形状指数和对象宽度/长度比)可在去除虚假建筑物对象中取得更好性能。剩余的对象将被指定为初始提取的建筑物轮廓。

在初始建筑物轮廓提取之后进行基于高度的建筑物提取。在该阶段，鉴于高度信息有助于将实际建筑物与其周围的虚假建筑物区分开，来自立体像对的高度估计110可用于从初始提取的建筑物轮廓20中区分实际建筑物轮廓。

基于来自立体像对100的高度估计110，每个轮廓的初始高度信息111可通过从初始高度的最大值减去初始高度的局部最小值获取(步骤S20)。

图3(a)-图3(b)示出了根据本公开的实施方式的、用于实际建筑物提取的示例性基于高度的方法。如图3(a)所示，示例性初始高度模型可来自于立体像对100，根据初始高度模型，轮廓A、B、C和D的高度例如分别可估计为32米、4米、8米和2米。因此，可推断轮廓A和C很可能为实际建筑物，而轮廓B和D由于其相对低的建筑物高度而可能不是实际建筑物。

为了使得结果更灵活，可根据轮廓的高度使用以下公式为所有轮廓指定模糊的建筑物隶属值[0 1]，

其中，Ph(i)表示轮廓i为实际建筑物的概率，h(i)为轮廓i的高度，以及h₀反映阈值建筑物高度，例如在本公开中阈值可设置为6米。

上面的模型表明具有更大高度的轮廓很可能为真实建筑物，而那些具有较低高度的轮廓很可能为虚假建筑物。因此，基于以上所述的模型，轮廓A、B、C和D为实际建筑物的概率分别为1.0、0.12、0.88和0.02。

图4(a)-图4(b)示出了根据本公开的实施方式的、用于实际建筑物提取的示例性基于阴影的方法。在建筑物提取领域，阴影信息可提供提取实际建筑物的线索。在该阶段，除了高度信息之外阴影信息也可用于基于初始建筑物轮廓信息20提取实际建筑物。鉴于实际建筑物应当接近于阴影并且位于与照明相反的方向，基于阴影的方法的一个主要思想是使用建筑物和阴影之间的方向性空间关系来提取实际建筑物。

使用初始获取的建筑物轮廓和阴影作为输入，所提出的基于阴影的轮廓提取方法具有两个步骤。

首先，基于建筑物和阴影之间的空间关系，可使用公认的数学形态学方法(参照以下公式2))生成阴影周围的模糊地形。在生成的地形中，具有[0 1]中的值的每个位置将反映每个点为实际建筑物的可能性。

作为示例，图4(a)和图4(b)示出了阴影和其地形之间的空间关系，其中图4(a)示出了阴影的一部分以及图4(b)示出了生成的地形。地形点的值根据其角度和径向距离估量其与阴影的空间关系。在地形中给定地形点x以及在阴影中给定参考点o，例如，该地形点x的值可使用以下公式估计，

其中

为点o到点x的欧几里德距离，参数σ确定指数函数的下降率，以及κ为使用的结构元素的尺寸。在本公开中参数σ和κ例如可设置为100和80。

鉴于阴影中的不同参考点对于每个地形点生成不同的结果，因而该阴影中的所有参考点的最大值可被用作该地形点的最终值。

其次，基于获取的模糊地形，初始提取的建筑物轮廓将与生成的模糊地形重叠并且可提取每个建筑物轮廓的平均地形值，以使每个轮廓具有反映其为实际建筑物轮廓的概率的平均隶属值。图4(c)示出了所确定的轮廓的结果，其中两个建筑物分别为实际建筑物的概率值为0.78和0.28。

在复杂的城市场景中，高度或阴影的使用在检测实际建筑物轮廓时仍具有一些限制。例如，一些建筑物不能从立体像对生成精确的高度信息，以及一些被遮挡的建筑物可能不具有阴影，尤其是紧挨着高层建筑的小型建筑物。因此，在本公开中，将结合基于高度和基于阴影两者的结果来生成更好的建筑物提取结果。

在上述阶段中，可获得使用阴影或高度信息的两组建筑物提取结果。在两种结果中，每个建筑物轮廓都具有以高度或阴影为证据示出其为真实建筑物的概率的唯一值。所结合的结果可基于高度或阴影支持轮廓为实际建筑物的概率的单一准则。

图5(a)-图5(c)示出了如何结合基于高度的结果和基于阴影的结果来获得最终的建筑物提取结果。对于轮廓I，如果任一结果提供了支持建筑物的存在性的强有力证据则其应当为实际建筑物。在图5(a)-图5(c)中，使用高度或阴影信息，并假设具有存在建筑物的强有力证据(例如，高于0.6的概率值)的轮廓将为实际建筑物，则可能的建筑物轮廓A、B和C为实际建筑物。一些轮廓对于任一结果均不具有强有力证据，但是两个结果的总和具有较高值，则这些轮廓仍可被认为是实际建筑物，例如，如果两个结果为0.5，并且其总和为1.0，则其仍可被认为是实际建筑物。使用以上操作，将提取到所有实际建筑物轮廓。随后在获得最终结果之前通过一系列数学操作来去除建筑物之间的毛刺和冗余连接。

在获得最终建筑物轮廓之后，将使用立体像对和Terra-SAR图像两者进行该方法的第二部分，即建筑物高度提取(步骤S30和S40)。高度提取方法的整体过程在图6中示出，其中首先将从立体像对100和Terra-SAR图像200提取初始高度估计110和210，然后使用基于对象的融合方法将初始高度估计110和120两者结合以对于每个建筑物轮廓提供更精确的高度信息。

在本公开的实施方式中，两个初始高度估计110和120可分别使用立体像对100和SAR图像200生成。对于立体像对100，可使用经验模型利用立体像对100的内置有理多项式系数(RPC)为每个图像点估计高度信息110，其中建筑物RPC为一组多项式系数以反映图像控制点与地面上的相应目标点之间的关系。在该方法中，反映二维XY平面图像点的图像控制点与反映地球上的实际的三维XYZ点的地面上的相应对象控制点之间的关系首先可利用一组有理函数建模。然后，基于图像点与地面上的目标点之间的建筑物关系、可尝试从一对卫星图像(立体像对)中查找相同对象点上的相同图像点。因此，恢复目标点的三维XYZ坐标变为可能，这包括XY坐标和Z估量高度。因此，用于所有图像点的高度均可为恢复。

在本公开的实施方式中，使用包括多时相SAR图像的常规TomoSAR技术获取具有稳定属性的散点的高度估计。作为包括两个SAR图像的常规干涉SAR(合成口径雷达)技术的扩展，多时相SAR图像可用于估计SAR图像中的一个信号单元内的混合散点的高度。但是，利用SAR技术得到常规干涉以获取这些单元的高度具有限制，在该情况下包含多个干涉散点(也称作临时滞留问题)，在可获得散点的实际高度信息之前导致信号分离问题。因此，对常规的TomoSAR技术进行了开发，其中多时相SAR数据将被用于提供更多冗余信息并被用于使一个SAR信号中的干涉散点分离。已经证明TomoSAR技术适用于恢复市区中的建筑物高度。

为了得到最终的高度恢复，可使用基于对象的方法。在该阶段中，来自立体像对100和SAR图像200的高度估计可被结合以生成所有轮廓的融合高度。

对于每个建筑物轮廓，可使用来自立体像对100的高度估计获得高度结果。为了减小来自立体像对100的高度估计110的平滑效应，提取点的最大值可被认为是提取的建筑物高度。另一高度结果可使用来自SAR图像200的高度估计获得。但是，SAR结果倾向于具有大的定位误差，这影响将高度信息被指定给正确的建筑物。

为了减小在建筑物高度估计时SAR定位误差的效应，可提出一种基于对象的融合方法并且该方法使用SAR高度估计提取建筑物高度。该方法包括三个阶段。第一，可使用连通分量分析方法将SAR高度点组织为对象。第二，SAR高度对象可与最接近的建筑物轮廓基于它们的重叠面积进行匹配。第三，对于所有匹配的轮廓，可使用匹配的SAR高度点的最大值指定高度。

对于每个轮廓，可使用来自立体像对100的高度估计110和来自SAR图像200的高度估计210获得两个高度估计(步骤S50)。但是，高度估计可基于它们的差值进行结合。如果具有较大差值，则较高的值为融合结果。否则，平均值为融合结果。由于其遗漏数据的问题，一些建筑物可能不具有SAR结果。对于这些建筑物，可将从立体像对获得的高度结果指定给它们。

图7示出了用于实现上面描述的三维建筑物提取方法的装置700。参照图7，装置700可包括：建筑物轮廓提取单元710，用于从建筑物的一个或多个立体像对中提取建筑物轮廓；确定单元720，用于根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计；获取单元730，用于从建筑物的多时相SAR图像中获取具有稳定属性的散点；确定单元740，用于确定所确定的散点的第二高度估计；以及结合单元750，用于结合第一高度估计和第二高度估计，从而为提取的建筑物轮廓中的每个生成融合高度。

如以上所讨论的，建筑物轮廓可包括阴影信息、高度信息、光谱信息和空间信息中的一个或多个。

在本申请的实施方式中，提取单元710可包括：去除模块，用于从初始建筑物轮廓中去除虚假建筑物轮廓；第一获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于高度的隶属度；第二获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于阴影的平均地形；以及结合模块，用于结合基于高度的隶属度和基于阴影的平均地形以生成建筑物轮廓。

去除模块可将立体像对分割成多个同类对象并从多个同类对象中去除植被对象、黑体对象和道路对象中的至少一个。第一获取模块可通过从建筑物轮廓的最大高度减去局部最小高度为建筑物轮廓中的每个获取初始高度信息；并基于初始高度信息，向初始建筑物轮廓中的每个指定基于高度的隶属度，以反映各个初始建筑物轮廓为实际建筑物的概率。

第二获取模块可基于建筑物与阴影之间的空间关系在阴影周围生成模糊地形；使初始建筑物轮廓与模糊地形重叠；以及为初始建筑物轮廓中的每个提取基于阴影的平均地形，其中基于阴影的平均地形反映相应的初始建筑物轮廓为实际建筑物的概率。

本第一确定单元720可包括：建模模块，用于为图像控制点与地面上的相应的对象控制点之间的关系建模；查找模块，用于基于所述关系从立体像对中查找相同对象点上的相同图像点；以及恢复模块，用于基于该立体像对上的相同点恢复第一高度估计信息，其中图像控制点反映二维平面图像点，以及对象控制点反映地球上的三维点。

本第二确定单元740可包括：组织模块，用于将SAR高度点组织为SAR高度对象；匹配模块，用于基于SAR高度目标与最接近的建筑物轮廓之间的重叠面积对SAR高度目标与最接近的建筑物轮廓进行匹配；以及指定模块，用于向所有匹配的建筑物轮廓指定第二高度估计。

结合单元750可包括决策模块，用于确定第一高度估计与第二高度估计之间的差值是否大于阈值。如果是，则决策模块从第一高度估计和第二高度估计中选择较大的一个；否则，该决策模块对第一高度估计与第二高度估计进行平均作为获取的融合高度。

对单元710-750的详细操作还可参照说明书中对步骤S10-S50进行讨论的内容。

图8示出了在计算机中实现上面描述的三维建筑物提取方法的系统800。参照图8，系统800包括存储可执行组件的存储器810以及电气性联接至存储器810以执行可执行组件从而执行系统800的操作的处理器820。可执行组件可包括：建筑物轮廓提取组件830，用于从建筑物的一个或多个立体像对中提取建筑物轮廓；确定组件840，用于根据立体像对的有理多项式系数确定提取的建筑物轮廓的第一高度估计；获取组件850，用于从建筑物的多时相SAR图像中获取具有稳定属性的散点；确定组件860，用于确定所确定的散点的第二高度估计；以及结合组件870，用于结合第一高度估计和第二高度估计，从而为提取的建筑物轮廓中的每个生成融合高度。

如以上所讨论的，建筑物轮廓可包括阴影信息、高度信息、光谱信息和空间信息中的一个或多个。

在本申请的实施方式中，提取组件830可包括：去除模块，用于从初始建筑物轮廓中去除虚假建筑物轮廓；第一获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于高度的隶属度；第二获取模块，用于从立体像对中获取建筑物轮廓中的每个的基于阴影的平均地形；以及结合模块，用于结合基于高度的隶属度和基于阴影的平均地形以生成建筑物轮廓。

去除模块可将立体像对分割成多个同类对象并从多个同类对象中去除植被对象、黑体对象和道路对象中的至少一个。第一获取模块可通过从建筑物轮廓的最大高度减去局部最小高度为建筑物轮廓中的每个获取初始高度信息；并基于初始高度信息，向初始建筑物轮廓中的每个指定基于高度的隶属度，以反映各个初始建筑物轮廓为实际建筑物的概率。

第二获取模块可基于建筑物与阴影之间的空间关系在阴影周围生成模糊地形；使初始建筑物轮廓与模糊地形重叠；以及为初始建筑物轮廓中的每个提取基于阴影的平均地形，其中基于阴影的平均地形反映相应的初始建筑物轮廓为实际建筑物的概率。

本第一确定组件840可包括：建模模块，用于为图像控制点与地面上的相应的对象控制点之间的关系建模；查找模块，用于基于所述关系从立体像对中查找相同对象点上的相同图像点；以及恢复模块，用于基于该立体像对上的相同点恢复第一高度估计信息，其中图像控制点反映二维平面图像点，以及对象控制点反映地球上的三维点。

第二确定组件860可包括：组织模块，用于将SAR高度点组织为SAR高度对象；匹配模块，用于基于SAR高度目标与最接近的建筑物轮廓之间的重叠面积对SAR高度目标与最接近的建筑物轮廓进行匹配；以及指定模块，用于向所有匹配的建筑物轮廓指定第二高度估计。

结合组件870可包括决策模块，用于确定第一高度估计与第二高度估计之间的差值是否大于阈值。如果是，则决策模块从第一高度估计和第二高度估计中选择较大的一个作为融合高度；否则，该决策模块对第一高度估计与第二高度估计进行平均作为获取的融合高度。

对组件830-870的详细操作还可参照说明书中对步骤S10-S50进行讨论的内容。

图9和图10给出两个不同的建筑物建模，其中图9示出了利用常规的基于卫星的方法的结果，而图10呈现出利用所提出的使用立体像对和SAR图像的方法的结果。

两个结果的准确度统计提供在表1中，其中使用两个广泛使用的规划指标，这两个广泛使用的规划指标包括预测结果和实际建筑物数据之间的建筑物覆盖比(BCR)和建筑物体积密度(BVD)。两个指标的范围均从0到1，较大的值表明更好的预测结果。根据这些结果，很明显利用本公开提出的方法的建筑物模型比利用使用立体数据的常规方法的模型更好。所提出的方法的整体BCR预测准确度为77％，相比较而言来自立体像对的结果为72％。使用所提出的方法的整体BVD准确度为75％，相比较而言使用立体像对的结果为69％。

表格1

散点图还可反映不同方法在恢复建筑物高度方面的性能。如图11(a)和图11(b)所示，其中x坐标表示实际建筑物高度而y坐标表示预测的建筑物高度。使用常规方法和所提出的方法的结果在图11(a)和图11(b)中示出。很明显使用所提出的方法获取的结果比使用常规方法获取的结果更好。对于具有低高度的建筑物来说使用立体像对的常规方法表现较好，但是对于大部分高层建筑来说其具有低的预测准确度。与来自立体像对的结果相比较使用所提出的方法的结果对于各种建筑物来说均有较好的表现。

虽然已经描述了本发明的优选示例，但是本领域技术人员可根据已知的基本发明构思对这些示例进行各种变型或修改。所附的权利要求旨在被认为包括优选的示例以及落入本发明的范围中的所有变型或修改。

显然，在不背离本发明的精神和范围的情况下，本领域技术人员可对本发明进行各种变型或修改。因此，如果这些变型或修改属于权利要求和等同技术的范围，则它们也可落入本发明的范围中。

Claims (23)

1.一种三维建筑物提取方法，包括：

从建筑物的一个或多个立体像对中提取建筑物轮廓，包括从所述立体像对中获取建筑物阴影以基于所述建筑物阴影生成所述建筑物轮廓；

根据所述立体像对的有理多项式系数确定所提取的建筑物轮廓的第一高度估计；

从所述建筑物的多时相SAR图像中获取具有稳定属性的散点；

确定所述散点的第二高度估计；以及

结合所述第一高度估计和所述第二高度估计生成所述提取的建筑物轮廓中的每个的融合高度，

其中获取所述建筑物阴影包括：

基于建筑物与阴影之间的空间关系在阴影周围生成模糊地形；

使所述立体像对的初始建筑物轮廓与所述模糊地形重叠；以及

为所述初始建筑物轮廓中的每个提取基于阴影的平均地形，其中所述基于阴影的平均地形反映相应的所述初始建筑物轮廓为实际建筑物的概率。

2.根据权利要求1所述的方法，其中所述建筑物轮廓还包括高度信息、光谱信息和空间信息中的一个或多个。

3.根据权利要求1所述的方法，其中所述提取还包括：

从所述立体像对的所述建筑物轮廓中去除虚假建筑物轮廓；

从所述立体像对中获取建筑物高度；以及

结合所述建筑物高度和所述建筑物阴影生成所述建筑物轮廓。

4.根据权利要求3所述的方法，其中所述去除包括：

将所述立体像对分割成多个同类对象；以及

从所述多个同类对象中去除植被对象、黑体对象和道路对象中的至少一个。

5.根据权利要求4所述的方法，还包括：

基于形状指数从所述多个同类对象中去除所述道路对象。

6.根据权利要求4所述的方法，还包括：

基于归一化植被指数去除所述植被对象。

7.根据权利要求4所述的方法，还包括：

基于归一化水指数去除所述黑体对象。

8.根据权利要求3所述的方法，其中获取所述建筑物高度包括：

通过从所述建筑物轮廓的最大高度减去局部最小高度获取所述建筑物轮廓中的每个的初始高度；以及

基于所述初始高度为所述初始建筑物轮廓中的每个指定基于高度的隶属度，以反映每个所述初始建筑物轮廓为实际建筑物的概率。

9.根据权利要求8所述的方法，其中提取建筑物轮廓包括：

结合所述基于高度的隶属度以及所述基于阴影的平均地形来确定相应的所述初始建筑物轮廓是否为实际建筑物。

10.根据权利要求1所述的方法，其中，

基于所述多时相SAR图像使用TomoSAR方法获取所述第二高度估计。

11.根据权利要求1所述的方法，其中所述确定包括：

为图像控制点与地面上的相应对象控制点之间的关系建模；

基于所述关系从所述立体像对中查找相同对象点上的相同图像点；以及

基于所述立体像对上的所述相同图像点恢复所述第一高度估计，

其中，所述图像控制点反映二维平面图像点，以及所述对象控制点反映地球上的三维点。

12.根据权利要求1所述的方法，其中获取第二高度估计包括：

将SAR高度点组织为SAR高度对象；

基于所述SAR高度对象与最接近的建筑物轮廓之间的重叠面积对所述SAR高度对象与所述最接近的建筑物轮廓进行匹配；以及

向所有匹配的建筑物轮廓指定所述第二高度估计。

13.根据权利要求1所述的方法，其中所述结合包括：

确定所述第一高度估计与所述第二高度估计之间的差值是否大于阈值，

如果是，则从所述第一高度估计和所述第二高度估计中选择较大的一个作为所述融合高度；否则，

对所述第一高度估计和所述第二高度估计进行平均作为获取的所述融合高度。

14.一种三维建筑物提取装置，所述装置包括：

提取单元，用于从一个或多个立体像对中提取建筑物轮廓；

第一确定单元，用于根据所述立体像对的有理多项式系数确定所提取的建筑物轮廓的第一高度估计；

获取单元，用于从所述建筑物的多时相SAR图像中获取具有稳定属性的散点；

第二确定单元，用于确定所述散点的第二高度估计，以及

结合单元，用于结合所述第一高度估计和所述第二高度估计，从而为所述提取的建筑物轮廓中的每个生成融合高度，

其中所述提取单元包括：

第二获取模块，用于从所述立体像对中获取所述建筑物轮廓中的每个的基于阴影的平均地形以便基于所述基于阴影的平均地形来生成所述建筑物轮廓，其中所述基于阴影的平均地形反映相应的初始建筑物轮廓为实际建筑物的概率。

15.根据权利要求14所述的装置，其中所述建筑物轮廓还包括高度信息、光谱信息和空间信息中的一个或多个。

16.根据权利要求14所述的装置，其中所述提取单元还包括：

去除模块，用于从所述初始建筑物轮廓中去除虚假建筑物轮廓；

第一获取模块，用于从所述立体像对中获取所述建筑物轮廓中的每个的基于高度的隶属度；以及

结合模块，用于结合所述基于高度的隶属度和所述基于阴影的平均地形以生成所述建筑物轮廓。

17.根据权利要求16所述的装置，其中所述去除模块用于将所述立体像对分割成多个同类对象并从所述多个同类对象中去除植被对象、黑体对象和道路对象中的至少一个。

18.根据权利要求16所述的装置，其中所述第一获取模块用于通过从所述建筑物轮廓的最大高度减去局部最小高度为所述建筑物轮廓中的每个获取初始高度；以及

基于所述初始高度，为所述初始建筑物轮廓中的每个指定所述基于高度的隶属度，以反映每个所述初始建筑物轮廓为实际建筑物的概率。

19.根据权利要求16所述的装置，其中所述第二获取模块用于：

基于建筑物与阴影之间的空间关系在所述阴影周围生成模糊地形；

使所述初始建筑物轮廓与所述模糊地形重叠；以及

为所述初始建筑物轮廓中的每个提取所述基于阴影的平均地形，其中所述基于阴影的平均地形反映相应的所述初始建筑物轮廓为实际建筑物的概率。

20.根据权利要求14所述的装置，其中基于所述多时相SAR图像使用TomoSAR方法获取所述第二高度估计。

21.根据权利要求14所述的装置，其中所述第一确定单元包括：

建模模块，用于为图像控制点与地面上的相应的对象控制点之间的关系建模；

查找模块，用于基于所述关系从所述立体像对中查找相同对象点上的相同图像点；以及

恢复模块，用于基于所述立体像对上的所述相同图像点恢复所述第一高度估计，

其中，所述图像控制点反映二维平面图像点，以及所述对象控制点反映地球上的三维点。

22.根据权利要求14所述的装置，其中所述第二确定单元包括：

组织模块，用于将SAR高度点组织为SAR高度对象；

匹配模块，用于基于所述SAR高度对象与最接近的建筑物轮廓之间的重叠面积对所述SAR高度对象与所述最接近的建筑物轮廓进行匹配；以及

指定模块，用于向所有匹配的建筑物轮廓指定所述第二高度估计。

23.根据权利要求14所述的装置，其中所述结合单元包括决策模块，用于确定所述第一高度估计与所述第二高度估计之间的差值是否大于阈值，

如果是，则决策模块从所述第一高度估计和所述第二高度估计中选择较大的一个作为所述融合高度；否则，

所述决策模块对所述第一高度估计与所述第二高度估计进行平均作为获取的所述融合高度。

Images