CN107230251B - 创建3d城市模型的方法和混合3d成像装置及存储介质 - Google Patents

创建3d城市模型的方法和混合3d成像装置及存储介质 Download PDF

Info

Publication number
CN107230251B
CN107230251B CN201710174515.7A CN201710174515A CN107230251B CN 107230251 B CN107230251 B CN 107230251B CN 201710174515 A CN201710174515 A CN 201710174515A CN 107230251 B CN107230251 B CN 107230251B
Authority
CN
China
Prior art keywords
data
imaging
lidar
point cloud
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710174515.7A
Other languages
English (en)
Other versions
CN107230251A (zh
Inventor
R·瓦格纳
A·埃克隆
A·阿克塞尔松
P·斯坦曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Airborne Hydrography AB
Original Assignee
Leica Geosystems AG
Airborne Hydrography AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG, Airborne Hydrography AB filed Critical Leica Geosystems AG
Publication of CN107230251A publication Critical patent/CN107230251A/zh
Application granted granted Critical
Publication of CN107230251B publication Critical patent/CN107230251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种创建3D城市模型的方法和混合3D成像装置及存储介质。本发明涉及一种用于勘测城市景观以创建3D城市模型的方法和混合3D成像装置。根据本发明，与用于立体成像的成像数据的获取同时地获取激光雷达数据，即在同一测量过程期间一次性获取成像数据和激光雷达数据。所述激光雷达数据与所述成像数据组合以生成用于3D城市模型的提取的3D点云，其中，所述激光雷达数据用于补偿和处理通用立体图像处理的特定问题区域，尤其是具有不利的照明条件的区域，以及其中立体点匹配和点提取的精度和效率被强烈降低的区域。

Description

创建3D城市模型的方法和混合3D成像装置及存储介质
技术领域
本发明涉及一种用于勘测(survey)城市景观以及创建所勘测的城市景观的3D城市模型的方法、一种用于勘测城市景观以创建3D城市模型的混合3D成像装置、以及一种计算机程序产品。
背景技术
3D城市模型(即表示不同地形表面和基础设施的城市区域的数字模型)被用于大量不同的应用领域。在单一框架内，3D城市模型允许显示、管理和分析复杂的城市场景。通常，3D城市模型在各种细节层次(LOD)和抽象概念以及多种分辨率下生成。例如，“CityGML”是用于表示3D城市对象的公共信息模型，其定义了用于建立模型的五个LOD：
·LOD 0：2.5D轮廓(footprint)；
·LOD 1：由块模型表示的建筑物；
·LOD 2：具有标准的屋顶结构的建筑物模型；
·LOD 3：详细的(符合建筑学的)建筑物模型；以及
·LOD 4：补充有内部特征的LOD 3。
所述模型通常包括尤其用于创建数字地形模型(DTM)的GIS数据、用于建筑物和基础设施元素的高级CAD数据、以及用于提供建筑物组件的最高细节层次的BIM数据。3D城市模型的应用是多种多样的，例如导航系统、城市规划和建筑、考古学、地理设计、应急管理、游戏或增强现实应用、智能交通系统、财产管理等。
3D城市模型(准备好GIS的建筑物)和3D网格的自动创建有助于为智能城市应用提供最新的地理空间基础层，其中纹理化(texture)的且准备好GIS的3D模型通常从立体图像和/或透视图生成。在第一步骤中，基于基于图像的点匹配，使用单个全局匹配算法(SGM)或类似技术来生成点云。使用专用软件，以例如基于诸如建筑物轮廓或来自多频谱照相机的数据的附加输入从这些点云中提取3D模型。例如，具有多频谱能力的莱卡RCD30允许生成归一化的差异植被指数图像(NDVI图像)以消除植被，并且因此提高点云内的对象的识别率，例如，通过几何或语义分类。
风景和城市区域的3D表示还可以通过从点云创建网格来实现，所述点云通过使用SGM或类似技术从立体图像提取而生成。在某些情况下，也可以从激光雷达数据中提取对象，然而在城市建模的情况下，诸如建筑物或基础设施的对象通常不是纹理化的并且具有低分辨率。因此，对于城市建模，然而，通常的做法是，这样的网格更可能从天底(nadir)成像和/或倾斜成像生成，因为图像数据提供更好的分辨率并因此提供更多细节。
从成像生成的点云，即使对于非常密集的交叠(密集匹配)，通常也显示有效点提取不够好的问题区域。例如，具有低照明条件的遮挡(occlusion)和峡谷、呈现增加的噪声的阴影区域、非常不均匀的区域(诸如植被)以及非常均匀的表面(诸如水)就属于这种情况。在自动3D建筑物模型创建的情况下，这可能导致错误的建筑物识别、错误的地面高度识别和降低的准确性。在3D网格生成的情况下，诸如建筑物边缘上的熔毁、错误的地面高度以及网格内部的树的建模的问题可能发生。
来自激光雷达数据的点云通常没有这样的问题。然而，由于较低的点密度，网格具有非常少的细节，并且通常不是纹理化的。
发明内容
因此，本发明的目标是改进3D城市模型和3D网格的创建。
本发明的目标是普遍地提高从用于创建3D城市模型的立体图像中的对象提取(尤其是建筑物提取)的效率和准确性，其中，该目标是改进从立体图像的点云提取的特定目标。
本发明的另一个目标是减少用于创建3D城市模型的立体成像方法中的点失配，尤其是由均匀表面、植被、遮挡或低照明条件引起的(例如由阴影区域引起的)用于创建3D城市模型的立体成像方法中的点失配。
本发明的一个特定目标是改进地面参考，尤其是改进基础设施高度参考和街道建模。
本发明涉及一种用于勘测城市景观以及(尤其是根据航空测绘数据)创建所勘测的城市景观的3D城市模型的方法，所述方法包括：
·获取城市景观的区域的成像数据，所述成像数据适于生成3D信息，以及同时获取针对城市景观的区域的激光雷达数据；
·基于成像数据和激光雷达数据生成城市景观的区域的3D点云；以及
·基于3D点云生成具有自动建筑物模型提取的3D城市模型。
这里，同时获取成像数据和激光雷达数据意味着在相同的测量过程期间，尤其是从一个组合装置(即在勘测城市景观时一次性(in one go)，而不一定完全时间同步)，获取成像数据和激光雷达数据。
所述方法的特征在于，城市景观的区域的3D点云的生成是基于：
·关于3D信息的生成的成像数据的处理；
·基于数据分类的所述成像数据的质量评估，其中所述成像数据的至少一部分被分配给由以下标准中的至少一个定义的第一类：
ο用于成像数据的定义的第一分类标准；以及
ο在仅基于所述成像数据的第一辅助3D点云内的定义的第二分类标准，尤其是其中，所述辅助3D点云仅由满足所述第一分类标准的成像数据生成，
·第一类的成像数据和与由第一类的成像数据定义的城市景观的区域的部分(fraction)相对应的激光雷达数据的组合，由第一类的成像数据定义的城市景观的区域的部分在下文中称为临界区域，尤其是其中，所述成像数据由所述激光雷达数据替换或补充。
尤其是，第一分类标准和第二分类标准中的至少一个可以基于几何和语义分类中的至少一个，例如，诸如分类成具有阴影(例如，具有低信噪比(S/N))的区域、具有遮挡的区域、具有特定表面纹理的区域(例如，诸如非常均匀的区域，诸如水)，以及具有植被的区域中的至少一个。此外，分类可以基于统计特性，例如，诸如噪声背景，尤其借助于S/N阈值，和/或基于用于立体图像处理方法中的点匹配的误差传播模型的阈值。
成像数据和激光雷达数据的组合可以基于以下各项中的至少一个：两个或更多个点云的3D网格，所述点云尤其通过诸如单个全局匹配(SGM)的点匹配算法生成；利用激光雷达数据替换成像数据；利用成像数据替换激光雷达数据；以及基于激光雷达数据生成的参考模型，尤其是包括数字地形模型、数字高程模型和数字表面模型中的至少一个的参考模型。
3D城市模型的生成可以基于用于从点云(尤其从由立体成像生成的点云)提取3D城市模型的通用分类算法，并且所述3D城市模型的提取和生成可以进一步基于GIS数据(尤其是用于创建数字地形模型(DTM)的GIS数据)、用于建筑物和基础设施元素的高级CAD数据、BIM数据以及多频谱信息(例如，诸如归一化差异植被指数图像(NDVI图像))中的至少一个。
因此，通过组合立体成像和激光雷达的两个世界中的最佳者，即通过立体成像的高分辨率信息和通过激光雷达的照明独立信息，强烈地改进了3D城市模型的生成，尤其是关于对象提取的效率和准确性。强烈减轻了关于自动3D建筑物模型创建的错误建筑物提取和错误地面高度识别的问题，并且尤其是对于3D网格生成，强烈防止了建筑物边缘上的熔毁、错误的地面高度或网格内部的树的建模。
在根据本发明的方法的特定实施方式中，3D点云的生成进一步基于激光雷达数据的质量评估，其中激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第二类：
·在仅基于激光雷达数据的第二辅助3D点云内定义的第三分类标准，尤其是在仅基于临界区域的激光雷达数据的第二辅助3D点云内定义的第三分类标准；以及
·用于将仅基于成像数据的第一辅助3D点云与基于成像数据和激光雷达数据的组合的第三辅助点云进行比较的定义的第一比较标准，尤其是其中，成像数据和激光雷达数据仅仅是临界区域的数据，
其中，第一类的成像数据仅与临界区域的激光雷达数据组合，其中，所述临界区域与由第二类的激光雷达数据定义的城市景观的区域的部分交叠。
因此，在组合针对临界区域的成像数据和激光雷达数据之前，激光雷达数据的质量可以通过激光雷达数据的固有属性来评估，例如，诸如局部分辨率阈值、局部S/N阈值，和/或语义分类成特别好地适合于激光雷达观察的对象，例如，诸如平坦表面。另一方面，可能存在不太适合于激光雷达观察的区域或对象，例如，非常低的反射表面，并因此成像数据与激光雷达数据的组合将引入附加的噪声或系统误差。此外，第一比较标准可以提供质量控制，在某种意义上，与仅基于成像数据的3D点云相比，成像数据与激光雷达数据的组合实际上导致改进的3D点云生成。例如，这样的比较标准可以基于差分S/N阈值、分辨率阈值和/或基于系统误差传播的差分阈值。
通常，从激光雷达数据生成的点云具有低得多的点密度，并且网格具有少得多的细节，并且通常不是纹理化的。因此，在大多数情况下，对于3D城市建模，点云生成主要基于具有高得多的分辨率的立体成像，并且根据本发明，激光雷达数据仅针对例如其中用于经典成像的照明条件不利的临界区域被查阅。然而，根据3D城市模型的期望的细节层次(LOD)和/或成像装置的类型，可能存在其中仅可能通过成像数据与激光雷达数据的组合来实现期望的LOD的应用。另一方面，例如对于非常低的细节层次的快速查看分析，可能优选的是通过激光雷达数据替换尽可能多的成像数据，例如，因为激光雷达数据的处理可能需要较少的计算能力，尤其是因为激光雷达数据固有地表示点云。
因此，用于将成像数据与激光雷达数据组合的主驱动器也可以基于针对所勘测的城市景观的区域获取的激光雷达数据的总体质量，即不仅仅针对成像数据的临界区域。因此，在本发明的另一实施方式中，3D点云的生成还基于根据数据分类的激光雷达数据的质量评估，其中激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第三类：
·在仅基于激光雷达数据的第二辅助3D点云内定义的第四分类标准；
·用于将仅基于成像数据的第一辅助3D点云与基于成像数据和激光雷达数据的组合的第三辅助点云进行比较的定义的第二比较标准，
其中，与由第三类的激光雷达数据定义的城市景观的区域的部分相对应的成像数据与第三类的激光雷达数据进行组合。
同样，激光雷达数据的质量可以通过激光雷达数据的固有属性来评估，例如，诸如局部分辨率阈值、局部S/N阈值，和/或语义分类成特别好地适合于激光雷达观察的对象，例如，诸如平坦表面。另一方面，可能存在不太适合于激光雷达观察的区域或对象，例如，非常低的反射表面，并因此成像数据与激光雷达数据的组合将引入附加的噪声或系统误差。类似于上述第一比较标准的情况，第二比较标准可以提供质量控制，在某种意义上，与仅基于成像数据的3D点云相比，成像数据与激光雷达数据的组合实际上导致改进的3D点云生成。例如，这样的比较标准可以基于差分S/N阈值、分辨率阈值和/或基于系统误差传播的差分阈值。
所述方法的特定实施方式的特征在于，第一分类标准至第四分类标准中的至少一个基于语义分类，尤其是其中，所述语义分类包括语义分类器，该语义分类器定义阴影、具有遮挡的区域、具有植被的区域以及具有均匀表面(尤其是水表面)的区域中的至少一个。对于这些区域，甚至较低分辨率的激光雷达数据也可以提供对点匹配算法的强力支持，例如，通过提供数字表面模型和照明独立信息。语义分类可以包括任何通用语义分类算法，例如，基于几何3D基元、单点识别和边缘跟踪算法的识别、基于概率算法、基础设施模型和用于不同表面纹理的统计模型的对象提取。
在另一实施方式中，第一比较标准至第二比较标准中的至少一个基于信噪比阈值、分辨率阈值和系统误差阈值(尤其是基于用于点失配的误差传播模型的系统误差阈值)中的至少一个。所述阈值可以基于3D城市景观的期望的细节层次，或者它们可以被特别调整用于有效的处理。
由于激光雷达数据通常用作支持数据，例如，针对在基于立体成像生成3D点云时的临界区域，激光雷达数据的获取可以被特别调整为仅针对城市景观的这些临界区域进行，例如，以减少对数据存储和处理能力的要求。因此，在另一实施方式中，基于所勘测的城市景观的先验模型和成像数据的分析中的至少一个，尤其成像数据的质量评估，获取针对所勘测的城市景观内的区域的选定区域(尤其是临界区域)的激光雷达数据。对于城市建模的许多应用，城市的第一估计或第一3D模型在勘测之前可以是可用的。因此，用于获取激光雷达数据的扫描模式可以被特别调整为仅仅覆盖临界区域，但是例如，具有高分辨率的临界区域，尤其是使用帕尔默(Palmer)扫描激光雷达装置或具有快速扫描镜的激光雷达装置。此外，所述选择还可以基于成像数据的实时分析和信息，例如，通过成像数据的2D分类或用于生成3D点云的成像数据的质量评估。
描述了根据本发明的方法的另一实施方式，其中用于3D城市模型的3D点云的生成基于摄影测量方法，尤其是半全局匹配算法，其中摄影测量方法适于处理天底图像和/或倾斜图像(尤其是具有30-45度之间的倾斜角的天底图像和/或倾斜图像)、多频谱图像(尤其是RGB和/或RGBN图像)、归一化的差异植被指数图像(NDVI图像)、建筑物轮廓以及包括数字地形模型、数字高程模型和数字表面模型中的至少一个的参考模型中的至少一个。
这里，多频谱图像信息和NDVI图像可以用于具有特定波长和偏振相关反射性质(诸如例如用于植被和水的典型反射信号)的对象的语义区分。建筑物轮廓和参考模型可以尤其提供地面参考，并从而改进基础设施建模。尤其是，可以基于激光雷达数据自动地生成建筑物轮廓和参考模型。
描述另一实施方式，其中通过一个单个混合3D成像装置，尤其是包括尤其具有多频谱波段的天底成像照相机(尤其是恰好一个天底成像照相机)、倾斜成像照相机(尤其是RGB或RGBN照相机，尤其是具有倾斜角度为30-45度的恰好四个倾斜成像照相机)以及激光雷达装置(尤其是恰好一个激光雷达装置)的混合3D成像装置，获取成像数据和激光雷达数据。
因此，在成像数据和激光雷达数据是在相同的勘测测量期间(即一次性地)获取的意义上，该设置提供了成像数据和激光雷达数据二者的有效且同时获取，并且其中成像数据可以容易地在立体方法内进行处理，例如通过半全局匹配，用于创建用于3D城市模型的生成的3D点云。尤其是，这种混合3D成像装置可以安装在一个标准飞机孔中，例如，使用用于稳定用于照相机和激光雷达装置的公共惯性系统的单个稳定系统，并且由单个操作者从单个控制界面进行控制。操作可以由专用的任务规划软件进一步支持，考虑到可勘测的城市景观并提出用于操作激光雷达和成像装置以优化数据获取的建议。
本发明还涉及一种用于勘测城市景观的混合3D成像装置，尤其是用于创建所勘测的城市景观的3D城市模型的空中混合3D成像装置，所述混合3D成像装置包括：
·成像装置，该成像装置用于生成针对城市景观的区域的成像数据，所述成像数据适于生成3D信息，尤其是其中，所述区域从至少两个不同的图像视角进行成像；
·激光雷达装置，该激光雷达装置用于在生成成像数据的同时生成针对城市景观的区域的激光雷达数据；以及
·控制和处理单元，该控制和处理单元适于：
ο控制所述成像装置和所述激光雷达装置；
ο基于所述成像数据和所述激光雷达数据生成针对所述城市景观的所述区域的3D点云；
ο基于所述3D点云生成具有自动建筑物模型提取的3D城市模型。
这里，同时获取成像数据和激光雷达数据意味着在相同的测量过程期间(即在勘测城市景观时一次性地(而不一定完全时间同步))获取成像数据和激光雷达数据。
所述系统的特征在于，所述控制和处理单元适于利用以下步骤生成3D点云：
·处理关于3D信息的生成的成像数据；
·基于数据分类评估所述成像数据的质量，其中所述成像数据的至少一部分被分配给由以下标准中的至少一个定义的第一类：
ο用于成像数据的定义的第一分类标准；以及
ο在仅基于所述成像数据的第一辅助3D点云内的定义的第二分类标准，尤其是其中，所述辅助3D点云仅由满足所述第一分类标准的成像数据生成，
·将第一类的成像数据和与由第一类的成像数据定义的城市景观的区域的部分(在下文中称为临界区域)相对应的激光雷达数据进行组合，尤其是其中，所述成像数据由所述激光雷达数据替换或补充。
在根据本发明的混合3D成像装置的特定实施方式中，所述控制和处理单元适于利用激光雷达数据的质量评估来生成3D点云，其中激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第二类：
·在仅基于激光雷达数据的第二辅助3D点云内的定义的第三分类标准，尤其是在仅基于临界区域的激光雷达数据的第二辅助3D点云内的定义的第三分类标准；以及
·用于将仅基于成像数据的第一辅助3D点云与基于成像数据与激光雷达数据的组合的第三辅助点云进行比较的定义的第一比较标准，尤其是其中，成像数据和激光雷达数据仅仅是临界区域的数据，
其中，第一类的成像数据仅与临界区域的激光雷达数据组合，其中，所述临界区域与由第二类的激光雷达数据定义的城市景观的区域的部分交叠。
在混合3D成像装置的另一实施方式中，所述控制和处理单元适于基于数据分类利用激光雷达数据的质量评估来生成3D点云，其中激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第三类：
·在仅基于激光雷达数据的第二辅助3D点云内定义的第四分类标准；
·用于将仅基于成像数据的第一辅助3D点云与基于成像数据和激光雷达数据的组合的第三辅助点云进行比较的定义的第二比较标准，
其中，由第三类的激光雷达数据定义的城市景观的区域的部分相对应的成像数据与第三类的激光雷达数据进行组合。
所述混合3D成像装置的特定实施方式的特征在于，第一分类标准至第四分类标准中的至少一个基于语义分类，尤其是其中，所述语义分类包括语义分类器，该语义分类器定义阴影、具有遮挡的区域、具有植被的区域以及具有均匀表面(尤其是水表面)的区域中的至少一个。
在混合3D成像装置的另一实施方式中，第一至第二比较标准中的至少一个基于信噪比阈值、分辨率阈值和系统误差阈值(尤其是基于点失配的误差传播模型的系统误差阈值)中的至少一个。
在另一实施方式中，混合3D成像装置适于基于所勘测的城市景观的先验模型和成像数据的分析(尤其是成像数据的质量评估)中的至少一个，获取针对所勘测的城市景观内的区域的选定区域(特别是临界区域)的激光雷达数据。
在混合3D成像装置的特定实施方式中，所述控制和处理单元适于利用摄影测量方法(尤其是半全局匹配算法)生成用于3D城市模型的3D点云，并且其中所述控制和处理单元适于处理天底图像和/或倾斜图像(尤其是具有30-45度之间的倾斜角的天底图像和/或倾斜图像)、多频谱图像(尤其是RGB和/或RGBN图像)、归一化的差异植被指数图像(NDVI图像)、建筑物轮廓以及包括数字地形模型、数字高程模型和数字表面模型中的至少一个的参考模型中的至少一个。
在另一实施方式中，混合3D成像装置被构建为一个单个混合3D成像装置，尤其是包括天底成像照相机(尤其是恰好一个天底成像照相机，所述天底成像照相机尤其具有多频谱波段)、倾斜成像照相机(尤其是RGB或RGBN照相机，尤其是具有倾斜角度为30-45度的恰好四个倾斜成像照相机)以及激光雷达装置(尤其是恰好一个激光雷达装置或两个激光雷达装置)的混合成像装置。
本发明还涉及一种用于根据本发明的方法生成所勘测的城市景观的3D城市模型的计算机程序产品，所述计算机程序产品存储在控制和处理单元上，所述控制和处理单元尤其是混合3D成像装置的一部分，并且所述计算机程序产品包括被配置用于以下步骤的程序代码：
·自动地与包括所勘测的城市景观的成像数据和激光雷达数据的数据库通信；
·基于成像数据和激光雷达数据生成城市景观的区域的3D点云，其中所述3D点云的生成进一步基于：
ο基于数据分类的所述成像数据的质量评估，其中所述成像数据的至少一部分被分配给由以下标准中的至少一个定义的第一类：
ο用于成像数据的定义的第一分类标准；以及
ο在仅基于所述成像数据的第一辅助3D点云内的定义的第二分类标准，尤其是其中，所述辅助3D点云仅由满足所述第一分类标准的成像数据生成，
·将第一类的成像数据和与由第一类的成像数据定义的城市景观的区域的部分(在下文中称为临界区域)相对应的激光雷达数据进行组合，尤其是其中，所述成像数据由所述激光雷达数据替换或补充，
尤其是其中，使得输出可用于根据本发明的混合3D成像装置。
本发明还涉及一种用于城市景观的空中勘测的混合3D成像装置，该混合3D成像装置包括支持天底成像照相机(尤其是具有多频谱波段的天底成像照相机)、倾斜成像照相机(尤其是RGB或RGBN照相机，尤其是具有30-45度的倾斜角度的倾斜成像照相机)以及激光雷达装置的单个传感器平台，其中天底成像照相机和倾斜成像照相机布置在激光雷达装置周围的周边区域上的传感器平台上。
在混合3D成像装置的特定实施方式中，所述传感器平台支持天底成像相机(尤其是具有多频谱波段的天底成像相机，尤其是恰好一个天底照相机)、相对于传感器平台具有30-45度的倾斜角的四个倾斜成像照相机(尤其是RGB或RGBN照相机，尤其是恰好四个倾斜照相机)以及激光雷达装置(尤其是适于帕尔默激光雷达扫描的激光雷达装置，尤其是恰好一个激光雷达装置或恰好两个激光雷达装置)，其中，所述四个倾斜成像照相机都具有彼此不同的观察方向，并且其中所述四个倾斜成像相机和所述天底照相机在周边围绕所述激光雷达装置放置，尤其是以大致均匀的角度间隔且距离中心具有共同距离地在周边围绕所述激光雷达装置放置。
在成像数据和激光雷达数据是在相同的勘测测量期间(即一次性地)获取的意义上，该装置设置提供了成像数据和激光雷达数据二者的有效且同时获取，并且其中成像数据可以容易地在立体方法内进行处理，例如通过半全局匹配，用于创建用于3D城市模型的生成的3D点云。尤其是，这种混合3D成像装置可以安装在一个标准飞机孔中，例如，使用用于稳定用于照相机和激光雷达装置的公共惯性系统的单个稳定系统，并且由单个操作者从单个控制界面进行控制。操作可以由专用的任务规划软件进一步支持，考虑到可勘测的城市景观并提出用于操作激光雷达和成像装置以优化数据获取的建议。
根据获取区域，各种传感器平台配置可以能够最好地支持模型的简化生成。因此，混合传感器设置可以根据应用和要勘测的区域而改变。
附图说明
根据本发明的装置、方法和设置以及计算机程序仅通过示例的方式参照附图中示意性示出的工作示例在下面更详细地描述或说明。具体地，
图1a、图1b：用于基于立体成像数据(a)并结合附加建筑物轮廓数据(b)创建3D城市模型的通用立体图像处理步骤；
图2：从立体成像数据生成的通用3D点云，指示点匹配算法的点失配和其它临界区域；
图3：根据本发明的混合3D成像装置的示例性实施方式。
附图的图不应被认为是按比例绘制的。在适当的情况下，相同的附图标记用于相同的特征或具有类似功能的特征。
具体实施方式
图1a和图1b示出了用于基于立体成像数据并基于立体成像数据与附加模型数据(这里是建筑物轮廓数据)的组合来创建3D城市模型(这里是LOD 2中的3D城市模型)的通用立体图像处理步骤。
图1a例示出了用于利用点匹配算法4(例如，诸如单个全局匹配(SGM)算法或类似技术)根据从立体成像数据3生成的3D点云2创建3D城市模型1的一般过程。基于3D点云2，专用提取模型5用于提取给定细节层次(LOD)的3D城市模型1。通常，这样的提取模型5基于对象分类算法，尤其是基于几何和语义分类，并且通常利用附加输入，诸如建筑物轮廓、用于创建数字地形模型(DTM)的GIS数据、用于建筑物和基础设施元素的高级CAD数据，以及用于提供建筑物组件的最高细节层次的BIM数据。3D城市模型还可以通过从点云创建网格来生成，所述点云通过使用SGM或类似技术从立体图像提取而生成。在某些情况下，也可以从激光雷达数据中提取对象，然而在城市建模的情况下，诸如建筑物或基础设施的对象通常不是纹理化的并且具有低分辨率。因此，对于城市建模，然而，通常的做法是，这样的网格更可能从天底成像和/或倾斜成像生成，因为图像数据提供更好的分辨率并因此提供更多细节。
图1b例示出了利用点匹配算法4根据从立体成像数据3生成的3D点云2的3D城市模型1'的通用创建，其中附加建筑物轮廓数据6用于提取模型5'以生成3D城市模型。建筑物轮廓和/或诸如数字表面模型的参考模型可以尤其提供地面参考，并从而改进基础设施建模。尤其是，可以基于激光雷达数据自动地生成建筑物轮廓和参考模型。
图2示出了例如借助于诸如半全局匹配算法的点匹配算法4从立体成像数据3生成的通用3D点云2。即使对于密集匹配，即对于非常密集的图像交叠，在点云2内也存在点提取效率基本上比点云2的其余部分差的(低于平均值)的区域。例如具有低照明条件的遮挡和峡谷7、呈现增加的噪声的阴影区域8、诸如植被9的非常不均匀的区域(例如因为需要复杂的建模)、以及非常均匀的表面10(例如由于缺乏用于点匹配的定义的参考结构)就属于这种情况。在自动3D建筑物模型创建的情况下，这可能导致错误的建筑物识别、错误的地面高度识别和降低的准确性。在3D网格生成的情况下，诸如建筑物边缘上的熔毁、错误的地面高度以及网格内部的树的建模的问题可能发生。
来自激光雷达数据的点云通常没有这样的问题。然而，由于较低的点密度，网格具有非常少的细节，并且通常不是纹理化的。无论如何，激光雷达数据不依赖于照明条件，并提供第一、第二和第三回程(return)以透视植被。因此，根据本发明，通用(立体)成像数据与激光雷达数据组合，尤其是用于补偿和解决通用立体图像处理(其中点匹配和点提取的精度和效率低于平均水平)的特定问题区域。
根据本发明，激光雷达数据例如用于在低照明区域和遮挡区域中提供地面参考，以及用于改善植被区域和均匀表面区域(例如水)的点匹配。
尤其是，根据本发明，在获取用于立体成像的成像数据的同时获取激光雷达数据。这里，数据的同时获取意味着在相同的测量过程期间(即在勘测城市景观时一次性地)获取成像数据和激光雷达数据。因此，通过组合立体成像和激光雷达的两个世界中的最佳者，即通过立体成像的高分辨率信息和通过激光雷达的照明独立信息，强烈地改进了3D城市模型的生成。
图3示出了根据本发明的用于勘测城市景观并且用于获取用于根据本发明的方法的数据的混合3D成像装置11，即，在同一传感器中组合倾斜成像仪与激光雷达装置，用于同时获取两种数据。这里，混合3D成像装置11可以是可以安装在一个标准飞机孔中的机载传感器装置，其中混合3D成像装置11包括单个稳定平台12，并且其成像和激光雷达子系统可以由一个操作者从单个控制界面进行控制。
这里，混合3D成像装置11包括一个单个传感器平台13，其支持恰好一个天底照相机14(尤其是具有多频谱波段的恰好一个天底照相机14)、恰好四个倾斜RGB或RGBN照相机15(尤其是具有30-45度的倾斜角的恰好四个倾斜RGB或RGBN照相机15)、以及恰好一个激光雷达装置16(尤其是其中，所述激光雷达装置适于提供帕尔默(Palmer)扫描)。所述四个倾斜成像照相机15都具有彼此不同的观察方向，并且所述四个倾斜成像照相机15和天底照相机14在周边围绕所述激光雷达装置16布置，尤其是以大致均匀的角度间隔且距离中心具有共同距离。
根据获取区域，各种传感器平台配置可以能够最好地支持模型的简化生成。因此，混合传感器设置可以根据应用和要勘测的区域而改变。

Claims (23)

1.一种用于勘测城市景观以及用于创建所勘测的城市景观的3D城市模型(1、1')的方法，所述方法包括以下步骤：
·获取所述城市景观的区域的成像数据(3)，所述成像数据(3)适于生成3D信息，即，用于立体成像，并且同时获取针对所述城市景观的所述区域的激光雷达数据，其中，所述成像数据(3)和所述激光雷达数据是通过使用3D成像装置(11)在相同的测量过程期间获取的，即在勘测所述城市景观时一次性地获取的，所述3D成像装置(11)包括一个单个传感器平台(13)，所述单个传感器平台(13)在其一侧上支持激光雷达装置(16)、天底照相机(14)和四个倾斜成像照相机(15)，所述四个倾斜成像照相机(15)都具有彼此不同的观察方向，其中，所述四个倾斜成像照相机(15)和所述天底照相机(14)以距离中心具有共同距离地在周边围绕所述激光雷达装置(16)放置，其中，所述四个倾斜成像照相机(15)以大致均匀的角度间隔布置；
·基于以下步骤生成所述城市景观的所述区域的3D点云(2)：
о处理关于3D信息的生成的所述成像数据(3)；
о基于数据分类的所述成像数据(3)的质量评估，其中，所述成像数据的至少一部分被分配给第一类，所述第一类指示所述成像数据的所述处理的临界区域，所述第一类由以下标准中的至少一个定义：
·用于所述成像数据(3)的所定义的第一分类标准；以及
·在仅基于所述成像数据的第一辅助3D点云内的所定义的第二分类标准，
所述第一分类标准和所述第二分类标准基于语义分类，其中，所述语义分类包括语义分类器，所述语义分类器定义以下各项中的至少一个：阴影、具有遮挡的区域、具有植被的区域以及具有均匀表面的区域，
о所述第一类的所述成像数据和与由所述第一类的所述成像数据定义的所述城市景观的所述区域的部分相对应的激光雷达数据的组合，其中，所述激光雷达数据仅针对所述临界区域被查阅；
·通过从所述3D点云(2)创建网格来基于所述3D点云(2)生成具有自动建筑物模型提取的3D城市模型(1、1')。
2.根据权利要求1所述的方法，
其特征在于，
根据航空测绘数据创建所勘测的城市景观的所述3D城市模型(1、1')，
其中，所述辅助3D点云仅由满足所述第一分类标准的所述成像数据生成。
3.根据权利要求2所述的方法，
其特征在于，
所述3D点云(2)的生成进一步基于所述激光雷达数据的质量评估，其中，所述激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第二类：
·在仅基于所述激光雷达数据的第二辅助3D点云内的所定义的第三分类标准；以及
·用于将仅基于所述成像数据的所述第一辅助3D点云与基于所述成像数据和所述激光雷达数据的组合的第三辅助点云进行比较的所定义的第一比较标准，
其中，所述第一类的所述成像数据仅与所述临界区域的激光雷达数据组合，其中，所述临界区域与由所述第二类的所述激光雷达数据定义的所述城市景观的所述区域的所述部分交叠。
4.根据权利要求3所述的方法，
其特征在于，
所定义的第三分类标准是在仅基于所述临界区域的所述激光雷达数据的所述第二辅助3D点云内的所定义的第三分类标准；并且
其中，所述成像数据和所述激光雷达数据仅仅是所述临界区域的数据。
5.根据权利要求4所述的方法，
其特征在于，
所述3D点云(2)的生成进一步基于根据数据分类的所述激光雷达数据的质量评估，其中，所述激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第三类：
·在仅基于所述激光雷达数据的所述第二辅助3D点云内的所定义的第四分类标准；
·用于将仅基于所述成像数据的所述第一辅助3D点云与基于所述成像数据和所述激光雷达数据的组合的所述第三辅助点云进行比较的所定义的第二比较标准，
其中，与由所述第三类的所述激光雷达数据定义的所述城市景观的所述区域的所述部分相对应的所述成像数据与所述第三类的所述激光雷达数据进行组合。
6.根据权利要求5所述的方法，
其特征在于，
所述第三分类标准和所述第四分类标准中的至少一个基于语义分类，其中，所述语义分类包括语义分类器，所述语义分类器定义以下各项中的至少一个：
·阴影(8)；
·具有遮挡的区域(7)；
·具有植被的区域(9)；以及
·具有均匀表面的区域(10)。
7.根据权利要求5所述的方法，
其特征在于，
所述第一比较标准至所述第二比较标准中的至少一个基于下列值中的至少一个：
·信噪比阈值；
·分辨率阈值；以及
·基于用于点失配的误差传播模型的系统误差阈值。
8.根据前述权利要求中任一项所述的方法，
其特征在于，
所述成像数据(3)和所述激光雷达数据由一个单个混合3D成像装置(11)获取，其中，
·所述混合3D成像装置(11)包括：
о具有多频谱波段的恰好一个天底照相机(14)；
о具有30-45度的倾斜角的恰好四个倾斜成像照相机；以及
о恰好一个激光雷达装置(16)，
·所述激光雷达数据是基于以下各项中的至少一个针对所勘测的城市景观内的所述区域的选定区域获取的：
о所勘测的城市景观的先验模型；以及
о所述成像数据(3)的分析，
和/或
·所述3D点云(2)的生成基于摄影测量方法，其中，所述摄影测量方法适于处理以下各项中的至少一个：
о天底图像和/或倾斜图像；
о多频谱图像；
о归一化的差异植被指数图像；
о建筑物轮廓；以及
о参考模型，所述参考模型包括数字地形模型、数字高程模型和数字表面模型中的至少一个。
9.根据权利要求8所述的方法，
其特征在于，
所述成像数据(3)的所述分析是所述成像数据的所述质量评估，
其中，所述3D点云(2)的所述生成基于半全局匹配算法，
其中，所述天底图像和/或倾斜图像是具有30-45度之间的倾斜角的天底图像和/或倾斜图像，并且所述多频谱图像是RGB和/或RGBN。
10.一种用于勘测城市景观以创建所勘测的城市景观的3D城市模型(1、1')的混合3D成像装置(11)，所述混合3D成像装置包括(11)：
·成像装置(14、15)，所述成像装置(14、15)被配置为生成针对所述城市景观的区域的成像数据(3)，所述成像数据(3)适于生成3D信息，即，用于立体成像；
·激光雷达装置(16)，所述激光雷达装置(16)被配置为在生成所述成像数据(3)的同时生成针对所述城市景观的所述区域的激光雷达数据，其中，所述混合3D成像装置(11)被配置成所述成像数据和所述激光雷达数据是在相同的测量过程期间获取的，即在勘测所述城市景观时一次性地获取的；以及
·控制和处理单元，所述控制和处理单元适于：
о控制所述成像装置(14、15)和所述激光雷达装置(16)；
о基于所述成像数据和所述激光雷达数据生成针对所述城市景观的所述区域的3D点云(2)；
о通过从所述3D点云(2)创建网格来基于所述3D点云(2)生成具有自动建筑物模型提取的3D城市模型(1、1')，
其中，所述控制和处理单元适于利用下列步骤生成所述3D点云(2)：
·处理关于3D信息的生成的所述成像数据(3)；
·基于数据分类评估所述成像数据(3)的质量，其中所述成像数据的至少一部分被分配给第一类，所述第一类指示所述成像数据的所述处理的临界区域，所述第一类由以下标准中的至少一个定义：
о用于所述成像数据(3)的所定义的第一分类标准；以及
о在仅基于所述成像数据的第一辅助3D点云内的所定义的第二分类标准，所述第一分类标准和所述第二分类标准基于语义分类，其中，所述语义分类包括语义分类器，所述语义分类器定义以下各项中的至少一个：阴影、具有遮挡的区域、具有植被的区域以及具有均匀表面的区域
·将所述第一类的所述成像数据和与由所述第一类的所述成像数据定义的所述城市景观的所述区域的部分相对应的激光雷达数据进行组合，其中，所述激光雷达数据仅针对所述临界区域被查阅，
其中，所述混合3D成像装置(11)包括一个单个传感器平台(13)，所述单个传感器平台(13)在其一侧上支持：
о激光雷达装置(16)，
о天底照相机(14)，和
о四个倾斜成像照相机(15)，所述四个倾斜成像照相机(15)都具有彼此不同的观察方向，
其中，所述四个倾斜成像照相机(15)和所述天底照相机(14)以距离中心具有共同距离地在周边围绕所述激光雷达装置(16)放置，其中，所述四个倾斜成像照相机(15)以大致均匀的角度间隔布置。
11.根据权利要求10所述的混合3D成像装置(11)，
其特征在于，
所述混合3D成像装置(11)是空中混合3D成像装置，
其中，所述区域从至少两个不同的图像视角进行成像，
其中，所述辅助3D点云仅由满足所述第一分类标准的所述成像数据生成。
12.根据权利要求11所述的混合3D成像装置(11)，
其特征在于，
所述控制和处理单元适于利用所述激光雷达数据的质量评估来生成所述3D点云(2)，其中，所述激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第二类：
·在仅基于所述激光雷达数据的第二辅助3D点云内的所定义的第三分类标准；以及
·用于将仅基于所述成像数据的所述第一辅助3D点云与基于所述成像数据与所述激光雷达数据的组合的第三辅助点云进行比较的所定义的第一比较标准，
其中，所述第一类的所述成像数据仅与所述临界区域的激光雷达数据组合，其中，所述临界区域与由所述第二类的所述激光雷达数据定义的所述城市景观的所述区域的所述部分交叠。
13.根据权利要求12所述的混合3D成像装置(11)，
其特征在于，
所定义的第三分类标准是在仅基于所述临界区域的所述激光雷达数据的所述第二辅助3D点云内的所定义的第三分类标准，并且
其中，所述成像数据和所述激光雷达数据仅仅是所述临界区域的数据。
14.根据权利要求13所述的混合3D成像装置(11)，
其特征在于，
所述控制和处理单元适于利用基于数据分类的所述激光雷达数据的质量评估来生成3D点云(2)，其中，所述激光雷达数据的至少一部分被分配给由以下标准中的至少一个定义的第三类：
·在仅基于所述激光雷达数据的所述第二辅助3D点云内的所定义的第四分类标准；
·用于将仅基于所述成像数据的所述第一辅助3D点云与基于所述成像数据和所述激光雷达数据的组合的所述第三辅助点云进行比较的所定义的第二比较标准，
其中，与由所述第三类的所述激光雷达数据定义的所述城市景观的所述区域的所述部分相对应的所述成像数据与所述第三类的所述激光雷达数据进行组合。
15.根据权利要求14所述的混合3D成像装置(11)，
其特征在于，
所述第三分类标准和所述第四分类标准中的至少一个基于语义分类，其中，所述语义分类包括语义分类器，所述语义分类器定义以下各项中的至少一个：
·阴影(8)；
·具有遮挡的区域(7)；
·具有植被的区域(9)；以及
·具有均匀表面的区域(10)。
16.根据权利要求14所述的混合3D成像装置(11)，
其特征在于，
所述第一比较标准至所述第二比较标准中的至少一个基于以下值中的至少一个：
·信噪比阈值；
·分辨率阈值；以及
·基于用于点失配的误差传播模型的系统误差阈值。
17.根据权利要求10至16中任一项所述的混合3D成像装置(11)，
其特征在于，
所述混合3D成像装置(11)被构建为一个单个混合3D成像装置，其中，
·所述混合3D成像装置包括：
о具有多频谱波段的恰好一个天底照相机；
о具有30-45度的倾斜角的恰好四个倾斜成像照相机；以及
о恰好一个激光雷达装置或两个激光雷达装置，
·所述混合3D成像装置(11)适于基于以下各项中的至少一个针对所勘测的城市景观内的所述区域的选定区域获取激光雷达数据：
о所勘测的城市景观的先验模型；以及
о所述成像数据(3)的分析，
和/或
·所述控制和处理单元适于利用摄影测量方法生成所述3D点云(2)，并且所述控制和处理单元适于处理以下各项中的至少一个：
о天底图像和/或倾斜图像；
о多频谱图像；
о归一化的差异植被指数图像；
о建筑物轮廓；以及
о参考模型，所述参考模型包括数字地形模型、数字高程模型和数字表面模型中的至少一个。
18.根据权利要求17所述的混合3D成像装置(11)，
其特征在于，
所述成像数据(3)的所述分析是所述成像数据的所述质量评估，
其中，所述控制和处理单元适于利用半全局匹配算法生成所述3D点云(2)，
其中，所述天底图像和/或倾斜图像是具有30-45度之间的倾斜角的天底图像和/或倾斜图像，并且，所述多频谱图像是RGB和/或RGBN。
19.一种存储介质，其上存储有计算机程序，当在计算机中执行所述计算机程序时，所述计算机程序使所述计算机执行根据权利要求1至9中的一项所述的方法，
其特征在于，
所述计算机程序包括被配置用于以下步骤的程序代码：
·自动地与包括勘测的城市景观的成像数据(3)和激光雷达数据的数据库通信；
·基于所述成像数据(3)和所述激光雷达数据生成所述城市景观的所述区域的3D点云(2)，其中，所述3D点云(2)的生成进一步基于：
о处理关于3D信息的生成的所述成像数据(3)；
о基于数据分类的所述成像数据(3)的质量评估，其中所述成像数据的至少一部分被分配给由以下标准中的至少一个定义的第一类：
·用于所述成像数据的所定义的第一分类标准；以及
·在仅基于所述成像数据的第一辅助3D点云内的所定义的第二分类标准，
所述第一分类标准和所述第二分类标准基于语义分类，其中，所述语义分类包括语义分类器，所述语义分类器定义以下各项中的至少一个：阴影、具有遮挡的区域、具有植被的区域以及具有均匀表面的区域，
о将所述第一类的所述成像数据和与由所述第一类的所述成像数据定义的所述城市景观的所述区域的所述部分相对应的激光雷达数据进行组合，其中，所述激光雷达数据仅针对所述临界区域被查阅，
其中，使得输出可用于根据权利要求10至18中的一项所述的混合3D成像装置(11)。
20.根据权利要求19所述的存储介质，
其特征在于，
所述辅助3D点云仅由满足所述第一分类标准的所述成像数据生成。
21.一种用于执行根据权利要求1至9中任一项所述的方法的用于城市景观的空中勘测的混合3D成像装置(11)，所述混合3D成像装置(11)包括所述一个单个传感器平台(13)，所述单个传感器平台(13)在其一侧上支持：
·所述天底照相机(14)；
·都具有彼此不同的观察方向的所述四个倾斜成像照相机(15)，其中，所述天底照相机(14)和所述四个倾斜成像照相机(15)被配置为生成针对所述城市景观的所述区域的所述成像数据(3)；以及
·所述激光雷达装置(16)，所述激光雷达装置(16)被配置为在生成所述成像数据(3)的同时生成针对所述城市景观的所述区域的所述激光雷达数据，
其中，所述天底照相机(14)和所述四个倾斜成像照相机(15)以距离中心具有共同距离地在周边围绕所述激光雷达装置(16)放置，其中，所述四个倾斜成像照相机(15)以大致均匀的角度间隔布置。
22.根据权利要求21所述的混合3D成像装置(11)，
其特征在于，
所述传感器平台(13)支持：
·所述天底照相机(14)；
·相对于所述传感器平台具有30-45度的倾斜角的所述四个倾斜成像照相机(15)；以及
·适于帕尔默激光雷达扫描的所述激光雷达装置(16)。
23.根据权利要求22所述的混合3D成像装置(11)，
其特征在于，
所述传感器平台(13)支持：
具有多频谱波段的恰好一个天底照相机(14)，
为RGB或RGBN照相机的恰好四个倾斜成像照相机(15)，以及
恰好一个激光雷达装置(16)或恰好两个激光雷达装置(16)。
CN201710174515.7A 2016-03-23 2017-03-22 创建3d城市模型的方法和混合3d成像装置及存储介质 Active CN107230251B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16162106.5 2016-03-23
EP16162106.5A EP3223191B1 (en) 2016-03-23 2016-03-23 Creation of a 3d city model from oblique imaging and lidar data

Publications (2)

Publication Number Publication Date
CN107230251A CN107230251A (zh) 2017-10-03
CN107230251B true CN107230251B (zh) 2021-12-03

Family

ID=55642251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710174515.7A Active CN107230251B (zh) 2016-03-23 2017-03-22 创建3d城市模型的方法和混合3d成像装置及存储介质

Country Status (4)

Country Link
US (1) US11222204B2 (zh)
EP (1) EP3223191B1 (zh)
CN (1) CN107230251B (zh)
DK (1) DK3223191T3 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6854195B2 (ja) * 2017-06-09 2021-04-07 株式会社トプコン 画像処理装置、画像処理方法および画像処理用プログラム
US11204896B2 (en) 2017-08-18 2021-12-21 International Business Machines Corporation Scalable space-time density data fusion
EP3460685A1 (en) * 2017-09-12 2019-03-27 Bricsys NV Improved semantic classification of an entity in a building information model
US10713839B1 (en) * 2017-10-24 2020-07-14 State Farm Mutual Automobile Insurance Company Virtual vehicle generation by multi-spectrum scanning
CN109509256B (zh) * 2018-06-21 2023-07-18 华南理工大学 基于激光雷达的建筑结构自动测量及3d模型生成方法
CN108955645A (zh) * 2018-07-16 2018-12-07 福州日兆信息科技有限公司 应用于通信铁塔智能巡检的三维建模方法及装置
US10839264B2 (en) 2018-11-09 2020-11-17 International Business Machines Corporation Scalable feature classification for laser scanning data and digital elevation models
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform
CN109727199A (zh) * 2018-11-28 2019-05-07 中铁北京工程局集团有限公司 一种gps设备在bim上的显示方法
CN109377191A (zh) * 2018-11-29 2019-02-22 江苏燕宁工程科技集团有限公司 高速公路资产管理系统及方法
CN109859315B (zh) * 2018-12-20 2022-12-09 浙江省测绘科学技术研究院 一种三维影像的地表植被分离方法
US11200353B2 (en) * 2018-12-21 2021-12-14 Geospan Corporation Geographic information system for creating 3D structure models using perspective view drafting
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109827548A (zh) * 2019-02-28 2019-05-31 华南机械制造有限公司 无人机航测数据的处理方法
US11556745B2 (en) * 2019-03-22 2023-01-17 Huawei Technologies Co., Ltd. System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
CN109934914B (zh) * 2019-03-28 2023-05-16 东南大学 一种嵌入式城市设计场景仿真方法及系统
US20220215572A1 (en) * 2019-05-08 2022-07-07 Nippon Telegraph And Telephone Corporation Point cloud analysis device, method, and program
CN110992418B (zh) * 2019-12-12 2023-05-23 中国南方电网有限责任公司超高压输电公司大理局 一种导线覆冰厚度监测系统及方法
US11472571B2 (en) * 2020-01-09 2022-10-18 Appareo Systems, Llc Aviation integrated optics and lighting unit
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
CN111458720B (zh) * 2020-03-10 2023-06-30 中铁第一勘察设计院集团有限公司 复杂山区基于机载激光雷达数据的倾斜摄影建模方法
CN111415409B (zh) * 2020-04-15 2023-11-24 北京煜邦电力技术股份有限公司 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN111583411A (zh) * 2020-04-25 2020-08-25 镇江市勘察测绘研究院 一种基于倾斜摄影的三维模型建立方法
CN111928824A (zh) * 2020-08-07 2020-11-13 贵州正业工程技术投资有限公司 一种结合激光雷达和倾斜摄影的工程勘察方法
CN112230759B (zh) * 2020-09-10 2021-10-29 东南大学 一种动态交互的城市观景视廊识别与规划模拟方法
CN112487521B (zh) * 2020-11-03 2023-06-02 重庆大学 一种基于点云的隧道改建工程bim建模方法及系统
US11995157B2 (en) 2020-12-04 2024-05-28 Caterpillar Inc. Intelligent LiDAR scanning
CN112729259A (zh) * 2020-12-10 2021-04-30 华能伊敏煤电有限责任公司 一种露天矿三维模型智能化测绘方法
CN113724381B (zh) * 2021-07-23 2022-06-28 广州市城市规划勘测设计研究院 一种基于高分遥感影像的动态三维场景快速重建方法
CN113989670B (zh) * 2021-10-27 2022-07-12 北京四象爱数科技有限公司 一种电网输电线路林木障碍物高度快速提取方法
CN114549780B (zh) * 2022-01-27 2024-04-05 重庆大学 一种基于点云数据的大型复杂构件智能化检测方法
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
CN115272591B (zh) * 2022-05-10 2023-09-05 泰瑞数创科技(北京)股份有限公司 基于三维语义模型的地理实体多形态表达方法
CN117274535B (zh) * 2023-11-22 2024-02-02 北京飞渡科技股份有限公司 基于点云密度重构实景三维模型的方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007982A1 (en) * 2010-07-07 2012-01-12 Giuffrida Frank D Real-Time moving platform management system
CN104049245A (zh) * 2014-06-13 2014-09-17 中原智慧城市设计研究院有限公司 基于LiDAR点云空间差异分析的城市建筑物变化检测方法
CN104376595A (zh) * 2014-11-28 2015-02-25 史文中 一种基于机载LiDAR和GIS协同的三维道路生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
EP2058765A1 (de) * 2007-11-07 2009-05-13 3D Geo GmbH Verfahren und Vorrichtung zum Texturieren eines Objektes eines virtuellen dreidimensionalen geometrischen Modells
US9471934B2 (en) * 2011-02-25 2016-10-18 Nokia Technologies Oy Method and apparatus for feature-based presentation of content
US8429195B2 (en) * 2011-05-13 2013-04-23 Hntb Holdings Ltd Managing large datasets obtained through a survey-data-acquisition process
US9892550B2 (en) * 2013-10-08 2018-02-13 Here Global B.V. Photorealistic rendering of scenes with dynamic content
US8805088B1 (en) * 2013-12-16 2014-08-12 Google Inc. Specularity determination from images
US9903950B2 (en) * 2014-08-27 2018-02-27 Leica Geosystems Ag Multi-camera laser scanner
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
US10151970B2 (en) * 2016-04-11 2018-12-11 As Vision Limited Aerial panoramic oblique photography apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120007982A1 (en) * 2010-07-07 2012-01-12 Giuffrida Frank D Real-Time moving platform management system
CN104049245A (zh) * 2014-06-13 2014-09-17 中原智慧城市设计研究院有限公司 基于LiDAR点云空间差异分析的城市建筑物变化检测方法
CN104376595A (zh) * 2014-11-28 2015-02-25 史文中 一种基于机载LiDAR和GIS协同的三维道路生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AUTOMATED MODELING OF 3D BUILDING ROOFS USING IMAGE AND LIDAR DATA;N. Demir 等;《ISPRS ANNALS OF PHOTOGRAMMETRY,REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》;20120925;第1-6页 *
The DGPF-Test on Digital Airborne Camera Evaluation - Overview and Test Design;MICHAEL CRAMER 等;《http://www.ifp.uni-stuttgart.de/publication/2010/01-pfg02-2010-ueberblick-finalversion-20100112.pdf》;20100430;第73-82页 *

Also Published As

Publication number Publication date
DK3223191T3 (da) 2021-08-16
EP3223191B1 (en) 2021-05-26
CN107230251A (zh) 2017-10-03
US11222204B2 (en) 2022-01-11
US20170277951A1 (en) 2017-09-28
EP3223191A1 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
CN107230251B (zh) 创建3d城市模型的方法和混合3d成像装置及存储介质
US7983474B2 (en) Geospatial modeling system and related method using multiple sources of geographic information
Dorninger et al. 3D segmentation of unstructured point clouds for building modelling
US9269145B2 (en) System and method for automatically registering an image to a three-dimensional point set
Habib et al. Generation of complex polyhedral building models by integrating stereo-aerial imagery and lidar data
US20100118053A1 (en) Geospatial modeling system for images and related methods
WO2013002280A1 (ja) 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラムを記録した記録媒体
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CA3209009A1 (en) Computer vision systems and methods for supplying missing point data in point clouds derived from stereoscopic image pairs
US11922572B2 (en) Method for 3D reconstruction from satellite imagery
US20220276046A1 (en) System and method for providing improved geocoded reference data to a 3d map representation
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
KR102550233B1 (ko) 수치건물지면모델 생성 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
CN107808160B (zh) 三维建筑物提取方法和装置
Xiao Automatic building outlining from multi-view oblique images
Ahmed et al. Modeling complex building structure (LoD2) using image-based point cloud
Yu et al. Advanced approach for automatic reconstruction of 3d buildings from aerial images
Bool et al. Automated building detection using RANSAC from classified LiDAr point cloud data
Oliveira et al. Height gradient approach for occlusion detection in UAV imagery
Pohl et al. Extraction and refinement of building faces in 3D point clouds
US20240020924A1 (en) Method for generating land-cover maps
Gonçalves Using structure-from-motion workflows for 3D mapping and remote sensing
US20220230453A1 (en) Method and apparatus for generating zebra crossing in high resolution map, and electronic device
Tsai et al. Combining 3D Volume and Mesh Models for Representing Complicated Heritage Buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant