CN114902289A - 使用源自立体图像对的点云对结构建模的系统和方法 - Google Patents

使用源自立体图像对的点云对结构建模的系统和方法 Download PDF

Info

Publication number
CN114902289A
CN114902289A CN202080090980.2A CN202080090980A CN114902289A CN 114902289 A CN114902289 A CN 114902289A CN 202080090980 A CN202080090980 A CN 202080090980A CN 114902289 A CN114902289 A CN 114902289A
Authority
CN
China
Prior art keywords
point cloud
image
dimensional
identified
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080090980.2A
Other languages
English (en)
Inventor
J·L·芒迪
B·Z·波特
R·M·贾斯特斯
F·里瓦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gioni GmbH
Original Assignee
Gioni GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gioni GmbH filed Critical Gioni GmbH
Publication of CN114902289A publication Critical patent/CN114902289A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种用于对屋顶结构进行建模的系统，包括航拍图像数据库和与航拍图像数据库通信的处理器。航拍图像数据库存储多个立体图像对，并且处理器基于地理空间的感兴趣区域从航拍图像数据库中选择多个立体图像对中的至少一个立体图像对和相关元数据。处理器从至少一个立体对中识别目标图像和参考图像，并为识别的目标图像的每个像素计算视差值以生成视差图。处理器基于视差图、识别的目标图像和识别的参考图像生成三维点云。处理器可选地基于生成的三维点云生成标识屋顶结构的三维表示的纹理图。

Description

使用源自立体图像对的点云对结构建模的系统和方法
技术领域
本公开大体涉及结构的计算机建模领域。更具体地，本公开涉及使用源自立体图像对的点云对结构进行建模的系统和方法。
背景技术
从数字图像(例如航拍图像、卫星图像等)中准确快速地识别和描绘物体对于各种应用来说越来越重要。例如，与建筑物的各种特征相关的信息，如屋顶、墙壁、门等，经常被建筑专业人员用来确定用于新建建筑物以及更换和升级现有结构的材料和相关代价。此外，在保险业中，关于结构的准确信息可用于确定为建筑物/结构投保的适当报价。此外，政府机构可以使用有关指定区域内已知对象的信息来规划项目，例如分区、建设、公园和娱乐、住房项目等。
已经实施了各种软件系统来处理航拍图像以生成航拍图像中存在的结构的3D模型。然而，这些系统有缺点，例如无法准确地描述海拔、检测内部线段或对模型进行充分分割以进行代价准确的代价估算。这可能会导致结构的3D模型不准确或不完整。因此，从2D图像生成准确和完整的3D模型的能力是一个强大的工具。
因此，鉴于该领域中的现有技术，需要一种不论数字图像的来源，能够自动且有效地处理数字图像，以自动生成存在于数字图像中的3D结构的模型的系统。因此，本文公开的计算机视觉系统和方法解决了这些和其他需求。
发明内容
本公开涉及使用源自立体图像对的点云来生成结构的三维模型的系统和方法。所公开的系统可以基于用户指定的地理空间的感兴趣区域检索立体图像对和相关元数据。该系统然后可以计算立体图像对的目标图像的每个像素的视差值。接下来，系统可以使用立体图像对的目标图像和参考图像来计算3D点云。可选地，系统可以对计算的点云进行纹理映射。该系统可以使用额外的立体图像对计算额外的3D点云，并且可以融合计算的3D点云以创建结构的最终点云模型。点云可用于进一步建模目的，例如在对应于结构特征(例如，屋顶、墙壁、门、窗等)的点云的顶部描线，并生成结构的三维线框模型。
附图说明
本发明的上述特征将从以下结合附图的本发明的详细描述中显而易见，其中：
图1是说明能够用于实现本公开的系统的硬件和软件组件的示意图；
图2是说明由本公开的系统执行的整体处理步骤的流程图；
图3是更详细地说明图2的步骤112的流程图；
图4是说明立体图像对的目标图像和参考图像之间计算尺度变换所需的对应关系的图；
图5是说明使用半全局匹配算法计算立体图像对的目标图像中的每个像素的视差值的图；
图6是展示了立体图像对的校正目标图像和通过半全局匹配算法计算的最小代价视差的图；
图7为展示了由系统执行以校正任意图像对的处理步骤的流程图；
图8是展示了相机几何校正变换以获得校正的立体图像对的图；
图9是展示校正后的立体图像对的图；
图10是展示与航拍图像中存在的3D结构对应的融合的点云的图；
图11是展示存在于航拍图像中的3D结构的纹理映射模型的示意图；
图12是展示与航拍图像中存在的3D结构对应的融合的点云的图；
图13是展示本发明的系统的图；
图14至图15是展示由本公开的系统的另一个实施例执行的整体处理步骤的流程图；
图16至图19是展示图15的处理步骤的图；
图20是展示本发明的系统对立体图像进行校正的图；
图21A-B是展示由本公开的系统生成网格模型的图；
图22是展示通过本公开的系统生成屋顶结构的线框模型的图；
图23是展示由本公开的系统的另一个实施例执行的整体处理步骤的流程图；
图24A是输入图像，其展示位于地理空间的感兴趣区域内的结构；
图24B是图24A的输入图像的输出合成图像；
图25是图24B的输出合成图像的后处理图像；
图26是图25的后处理图像的推理图像；
图27是展示生成在图26的推理图像中检测出的屋顶结构的各线框模型的图；
图28是展示在图27中检测出的屋顶结构的线框模型的数据点的图；
图29是展示位于图24A的地理空间的感兴趣区域内的结构的各个点云的图；和
图30是展示与图29的点云对应的彩色点云的图。
具体实施方式
本公开涉及用于使用源自立体图像对的点云来生成结构的三维几何模型的系统和方法，如下面结合图1-30详细描述的。下面描述的实施例涉及构建3D几何结构和对此类结构的各种特征进行建模，包括但不限于屋顶、墙壁、门、窗、楼房、遮阳篷、房屋、甲板、水池、临时结构(例如帐篷)、机动车辆、地基等。
图1是说明能够用于实现本公开的系统10的硬件和软件组件的示意图。系统10可以体现为耦合到航空图像数据库12的中央处理单元18(例如，硬件处理器)。硬件处理器执行系统代码，系统代码基于视差图和3D点云生成屋顶结构的3D模型，视差图根据立体图像计算得来，3D点云根据计算的视差图生成。硬件处理器可以包括但不限于个人计算机、手提电脑、平板计算机、智能电话、服务器和/或基于云的计算平台。
系统10包括计算机视觉系统代码14(即，非暂时性计算机可读指令)，其存储在计算机可读介质上并且可由硬件处理器或一个或多个计算机系统执行。代码14可以包括执行本文讨论的步骤/过程的各种定制编写的软件模块，并且可以包括但不限于航拍图像预处理软件模块16a、3D视差计算软件模块16b、3D点云生成软件模块16c，以及可选的纹理映射软件模块16d。可以使用任何合适的编程语言对代码14进行编程，编程语言包括但不限于C、C++、C#、Java、Python或任何其他合适的语言。此外，代码可以分布在通过通信网络相互通信的多个计算机系统上，和/或在云计算平台上存储和执行，并由与云平台通信的计算机系统远程访问。代码可以与航拍图像数据库12通信，该数据库可以与代码14存储在相同的计算机系统上，或者存储在与代码14通信的一个或多个其他计算机系统上。
更进一步，系统10可以体现为定制的硬件组件，例如现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、嵌入式系统或其他定制的硬件组件，而不背离本公开的精神或范围。应当理解，图1只是一种可能的配置，本公开的系统10可以使用多种不同的配置来实现。
图2是说明由本公开的系统10执行的整体处理步骤100的流程图。在步骤110，系统10从航拍图像数据库12获得立体图像对。特别地，系统10基于用户指定的地理空间的感兴趣区域(“ROI”)获得两个立体图像及其元数据。例如，用户可以输入ROI的经纬度坐标。或者，用户可以输入ROI的地址或世界点。地理空间ROI可以由包围地理编码点的通用多边形表示，该地理编码点标示地址或世界点。用户可能因为该区域中存在的一个或多个建筑而对这个区域感兴趣。可以基于地理编码点选择包括在ROI内的属性地块，并且可以在地块的区域上应用深度学习神经网络以检测位于其上的建筑或多个建筑。
地理空间ROI也可以表示为以纬度和经度坐标为界的多边形。在第一个示例中，边界可以是以邮政地址为中心的矩形或任何其他形状。在第二个示例中，可以从属性地块边界的调查数据中确定边界。在第三个示例中，可以根据用户的选择来确定界限(例如，在地理空间映射界面中)。本领域技术人员将理解，可以使用其他方法来确定多边形的边界。
ROI可以以任何计算机格式表示，例如众所周知的文本(“WKT”)数据、TeX数据、HTML数据、XML数据等。例如，WKT多边形可以包括一个或多个基于地块中检测到的结构计算的独立世界区域。在用户输入地理空间ROI后，从航拍图像数据库12中获得与地理空间ROI相关联的立体图像对。如上所述，图像可以是数字图像，例如航拍图像、卫星图像等。然而，本领域技术人员可以理解，可以使用由任何类型的图像捕获源捕获的任何类型的图像。例如，航拍图像可以由包括但不限于飞机、直升机、滑翔伞或无人驾驶飞行器(UAV)的图像捕捉源捕捉。此外，图像可以是由图像捕获源捕获的地面图像，图像捕获源包括但不限于智能手机、平板电脑或数码相机。应该理解，多个图像可以重叠全部或部分地理空间ROI。
在步骤112中，系统10为获得的立体图像对的目标图像的每个像素计算至少一个视差值。然后，在步骤114，系统10使用获得的立体图像对的目标图像和参考图像来计算3D点云。接下来，在步骤116，系统确定是否计算额外的3D点云。如果是，则过程返回到步骤110，以便可以从另一对立体图像计算另一个3D点云；否则，则过程进行至步骤118。请注意，每个计算的3D点云对应于特定的视角(方向)。此外，系统10可以记录每个计算的3D点云。
在步骤118中，系统10融合一个或多个计算的3D点云以创建最终点云。或者(或另外)，用户可以手动对齐或融合一个或多个计算的3D点云以创建最终点云。系统10还可以记录最终点云。注意，系统10不需要融合多个点云。取而代之(或附加地)，系统10可以生成多个点云(每个点云由一对立体图像生成)，并且可以自动选择最佳点云用于显示给用户的视角。或者，系统10可自动选择最终点云的一个或多个视图，或多个点云中的一个点云的一个或多个视图，以显示给用户。
在步骤120中，系统10可以可选地对最终点云进行纹理映射以生成立体图像对中存在的屋顶结构的3D模型。需要注意的是，系统并非必须对最终点云进行纹理映射。或者，系统可以根据需要将所需的颜色或图案应用于点云的各种要素。例如，可以应用着色过程，其中系统将期望的颜色应用到云的要素，期望的颜色例如云中每个点的标准颜色(例如，白色、灰色、黄色)，基于点的法线的云的每个点的颜色，基于点高程的每个点的颜色等。
图3是更详细地说明图2的步骤112的流程图。在步骤150和152中，系统从立体图像对中识别目标图像以及参考图像。然后，在步骤156中，系统10使用半全局匹配算法计算立体图像对的识别的目标图像中的每个像素的视差值。下面将参考图4和图5更详细地讨论视差值的计算。
图4是示意图200，其展示立体图像对的目标图像202a和参考图像202b之间的对应关系，该对应关系用于计算尺度变换。系统10可以利用尺度变换来调整图像的垂直尺度以对齐其行，以及调整水平尺度以最小化水平像素位置的偏移以对齐对应的2D图像点208a和208b。这种偏移被称为视差。例如，2D图像点207表示参考图像202b中的图像点的像素位置，并且视差值d表示沿着参考图像202b中的图像行210以到达对应的图像点208b的负平移。
这些相应变换的计算需要目标图像202a和参考图像202b中的对应图像定位点。通过指定世界中称为零视差平面204的水平平面来找到对应关系。零视差平面204的垂直位置可以是当地的地平面。多个3D点206a、206b、206c、206d从零视差平面204中随机选择，并使用具有校正旋转的相机分别投影到目标图像202a和参考图像202b中的每一个中。例如，如图4所示，3D点206d投影到目标图像202a中作为2D点208a并且投影到参考图像202b中作为2D点208b。由于相同的3D点206D映射到目标图像202a和参考图像202b中的每一个，所以得到的2D图像点208a和208b是对应的。应用2D仿射尺度变换来校准每个相机以对齐目标图像202a和参考图像202b的行并最小化沿行的视差偏移。
图5是示意图240，其展示了系统使用半全局匹配算法计算立体图像对的目标图像202a中的每个像素的视差值。Hirschmuller的半全局匹配算法是一种已知的立体重建算法，可用于执行该过程。为了从立体图像对重建3D点，需要为目标图像202a中的每个像素计算视差偏移，以定位参考图像202b中的对应像素。参考图4和5，给定视差值d和目标图像202a中的像素位置(ut，vt)，参考图像202b中的对应像素208b的位置由(ut+d，vt)给出(即，沿行vt.移动的位置)。如图3所示，视差值d为负。
半全局匹配算法的目的是为目标图像202a中的每个像素确定视差值的最佳分配。在这种情况下，最佳分配使目标图像202a和参考图像202b之间的对应像素位置处的图像外观相似性的代价度量最小化。代价度量被定义为使得在相应像素位置处的图像邻域越相似，代价值越低。例如，代价度量可以是目标图像202a和参考图像202b之间强度的绝对差。然而，这种代价度量并不是图像外观变化的有力指标，该图像外观变化由视点相关反射率函数引起。可以作为图像外观变化的更强指标的代价度量包括但不限于普查变换(censustransform)和u方向上的强度导数。需要注意的是，可以组合代价度量说明不同的图像外观情况。
半全局匹配算法还将一种调节形式应用于代价度量以保持平面表面平坦，即使在这种缺乏特征的平面区域上的外观可能差异很小。也就是说，调节的代价度量包括对视差差距的惩罚，如果外观匹配很好地定位(即代价非常低)，则可以克服这些差距。例如，图4展示了，对于目标图像202a中的每个像素244a-n，搜索是在代价空间(costvolume)242中沿着视差方向246进行的。代价空间242由沿着每个目标图像202a(u，v)列的离散的单像素视差步长定义。
有效视差是沿代价空间242的该列代价最低的位置。然而，如果用于外观定位的有力指标不明显，则可以利用目标图像202a中先前像素位置处的视差值。例如，如图5所示，在垂直图像方向上执行扫描248，因此先前像素位置是在目标图像202a的前一行中的相邻像素。半全局匹配算法在目标图像202a中的八个不同方向上执行扫描248，并对每个像素处的结果代价求和。应用这些多个扫描方向以产生平滑的视差表面。相比之下，早期的算法仅在水平图像方向上执行扫描，导致行之间的视差表面不连续。
扫描248实施动态程序以优化视差分配。例如，如果最小外观代价视差值与前一个像素不同，则施加额外的0代价243a。如果最小代价视差位置是+1或–1，则添加额外的P1代价243b。如果视差偏移超过±1，则将P2惩罚243c添加到最小外观代价。P1代价243b通常显着小于P2代价243c，以允许扫描中相邻像素之间的一些视差偏移来解释倾斜表面。在计算完所有调节代价后，所得视差位于总代价最小的视差处。
图6是示意图280，其展示了立体图像对的校正目标图像282a和通过半全局匹配算法计算的最小代价视差282b。如图6所示，视差的负值表示较高的海拔表面并且与较暗的点相关联。值得注意的是，平坦的表面表现出一致的视差，并且一些表面内的一些孤立的白点表现出遮挡的存在。有利地，本公开的系统对大约2000×2000像素的立体图像对的处理时间在手提电脑上仅需要大约二十秒。处理时间与图像的面积成正比。例如，对于大约900×900像素的立体图像对，校正和计算视差的时间大约为4秒。因此，本公开的系统在降低计算复杂度和提高处理速度方面提供了显著优势。
图7为流程图，其展示了由系统10执行以可选地校正任意图像对的处理步骤300。注意，系统10从航拍图像数据库12获得立体图像对。然而，系统10也可以对任意图像对进行校正以获得立体图像对。从步骤302开始，系统10从航拍图像数据库12获得任意图像对。然后，在步骤304，系统10确定该任意图像对的第一图像和第二图像之间的对应关系。这些对应关系可以通过在零视差平面上投影随机选择的3D点来确定，因此不需要图像中的点的相关性。最后，在步骤306，系统10基于第一图像和第二图像之间的对应关系计算扭曲变换，以生成校正的立体图像对。
图8是示意图320，其展示了相机几何校正变换以获得校正立体图像对。如图8所示，如果分别与第一图像和第二图像相关联的相机322a和322b各自分别沿着相应的中心旋转轴324a和324b旋转，使得相机322a从位置326a移动到328a并且相机322b从位置326b移动到328b，则发生图像变换。这对第一图像和第二图像的影响是2D投影扭曲变换。特别是，考虑一个通用的透视相机投影矩阵，
C＝K[R|t]
其中K是一个3x3的校准矩阵，代表相机焦距和其他内部参数。R和t是相对于世界原点移动相机中心的3D旋转和平移。R是一个3x3矩阵，t是一个3x1矩阵。为简单起见，考虑相机322a、322b的中心在世界原点。然后相机322a、322b采用以下形式：
C＝K[R|0]
然后可以通过包含对应于旋转的3x3子矩阵的4x4矩阵，后乘以相机矩阵来围绕相机322a、322b中心应用旋转矩阵R
Figure BDA0003721971620000071
从原始图像到呈现在旋转后的相机的图像的扭曲变换如下所示：
Figure BDA0003721971620000072
二维投影扭曲变换矩阵由
Figure BDA0003721971620000073
给出，它是一个3x3矩阵。这样，第一图像和第二图像的视图方向可以通过扭曲变换而等同。
图9是图示包括目标图像202a和参考图像202b的校正立体图像对的示意图340。图像202a和202b具有对齐的行，使得对应点位于每个图像中的同一行上。这种关系由与穿过每个图像中的对应点的线342来体现。
图10是示意图360，其展示与图像363中存在的3D屋顶结构364相对应的融合的点云362。一旦确定了视差值，就可以计算每个目标像素的3D坐标。校正后的相机支持背投影相机光线的计算。特别地，从目标图像的像素发出的3D目标射线在3D空间中与从参考图像的像素发出的对应射线相交。光线相交是线性运算，因此光线相交处理的计算效率很高。例如，产生图5中的2000×2000像素视差图像282b的光线相交处理的持续时间约为10秒。
融合的点云362表示图像363中所示的复杂山墙屋顶364。融合的点云362是从地面分辨率约为50厘米的卫星图像中获得的。如图6所示，平面表面被解析到近似这种精度。值得注意的是，随着图像分辨率的提高，点云362的分辨率也会相应提高。此外，卫星图像表明，根据图像质量(例如对比度)，3D点云分辨率约为图像地面分辨率。
基于一个立体图像对在每个像素处生成具有近乎完美视差值的点云可能很困难。点云处理过程中最有问题的区域是被遮挡和由于阴影导致的表面照明不足的区域。但是，如果在不同的视点和数据的不同时间有多个立体图像对可用，则可以通过融合多个点云来填充缺失的数据值。值得注意的是，立体图像对可以从相同的飞行路径获得，以消除图像之间的大尺度差异。特别地，给定多个立体图像，多个立体图像对可以形成为独特的组合。通常使用N个立体图像，可以产生N(N–1)/2个独特的立体图像对。例如，十个立体图像产生45个独特的立体图像对。请注意，各个45个独特的立体对的数据可能是冗余的，因此应谨慎选择用于生成融合的点云的立体对。
根据两个图像视图方向的相对方位角度，在多个立体对中选择要使用的特定立体对来生成融合的点云。决定相对图像对方向角度的最佳选择的比较因素包括但不限于，有助于在两个视图中匹配像素位置的小方向角度差，以及产生更准确的光线相交以确定3D点位置的大方向角度差。注意，相对方位角度取决于场景内容。然而，场景实验表明，大约20°的范围是可以接受的。生成的融合的点云相当密集，并表现出图像地面分辨率数量级的精度。
在多个立体图像对中选择用于生成融合的点云的特定数量的立体图像对可以通过填充缺失的数据点来提高几何精度。例如，点坐标的标准偏差通过融合以约1/√n的因数减少，其中n是被平均的点的数量。用于生成融合的点云的立体图像对的实际数量的范围在10到100之间，并且取决于多个因素，例如遮挡程度。融合过程本身不是计算密集型的，与计算特定数量的立体图像对的相应点云相比，其计算代价微不足道。各个点云的计算可以并行执行，而不会出现数据拥塞瓶颈。因此，实际经过的时间严格取决于计算系统上可用的内核数量。
图11是图示存在于航拍图像中的3D结构384的纹理映射模型382的示意图380。基于生成的最终点云，可以创建具有投影到表面上的图像数据的3D三角表面，以形成结构的纹理映射模型382。纹理映射模型382可以允许手动或自动绘制结构的三维建筑多边形模型(例如，通过在纹理映射模型382的3D几何结构的顶部绘制屋顶多边形，和/或从其生成线框)。可以利用Delaunay三角剖分从点云自动形成连续表面。纹理映射模型382的显示由多种3D工具支持。如图11所示，纹理映射模型382使用灰度纹理，但也可以使用彩色图像。注意，纹理映射模型382的垂直壁缺乏分辨率，因为卫星图像在方向上接近头顶。
图12是图解存在于航拍图像402a中的3D结构的屋顶结构的点云的示意图400。航拍图402a图示了具有屋顶结构404a的3D结构403a和具有屋顶结构406a的3D结构405a，其中靠近和/或悬垂在屋顶结构406a外围的树木410a将阴影410b投射到屋顶结构406a的表面上。因此，在航拍图像402b中，点云406b的屋顶边界被每棵树410a和从其投射的阴影410b破坏。然而，用户可以通过手动输入边界412来描绘点云406b的屋顶边界。
图13为本发明的系统500的一个实施例的示意图。特别地，图13示出了可以在其上实现系统500的计算机硬件和网络组件。系统500可以包括具有至少一个处理器和存储器的多个内部服务器504a-504n，用于执行上述计算机指令和方法(其可以体现为计算机视觉系统代码502)。系统500还可以包括用于接收立体图像数据和/或视频数据的多个存储服务器506a-506n。系统500还可以包括用于捕捉立体图像数据和/或视频数据的多个相机设备508a-508n。例如，相机设备可以包括但不限于无人驾驶飞行器508a、飞机508b和卫星508n。内部服务器504a-504n、存储服务器506a-506n和相机设备508a-508n可以通过通信网络501进行通信。当然，系统500不需要在多个设备上实现，实际上，系统500可以在单个计算机系统(例如，个人计算机、服务器、移动计算机、智能电话等)上实现而不背离本公开的精神或范围。
图14是根据本发明另一实施例的系统10所执行的整体处理步骤600的流程图。在步骤602中，系统10接收地理空间的感兴趣区域并且选择和检索立体对图像及其元数据。在步骤604中，系统10确定是否已经存在用于感兴趣区域的一个或多个点云。如果在步骤604中做出否定判定，则系统10进行到步骤606，在步骤606中使用视差图从一个或多个立体对生成点云。如果在步骤604中做出肯定的判定，则系统10进行到步骤608，在步骤608中选择预先存在的点云(例如，当对应的LiDAR点云数据可用时)。可选地，系统10然后可以进行到步骤610，在步骤610中从点云生成多边形网格，其可以用于细化和减少点云并施加纹理映射。在步骤612中，系统10向操作者呈现CAD界面，该界面用于生成点云中所示的屋顶模型。来自多个视图的多个点云可用于让用户看到正在建模的屋顶的更完整图片。在生成屋顶模型之后，系统10进行到步骤614，在步骤614中执行模型验证以确保所产生的三维几何形状不包含建模错误。一旦验证完成，系统10进行到步骤616，在步骤616中从模型中提取与感兴趣区域的各种特征相关的测量和统计。下面结合图15-19更详细地讨论过程步骤602-616的具体示例。
图15是说明根据结合图14描述的整体处理步骤600由本公开的系统10执行的处理步骤650的流程图。在步骤652中，用户输入感兴趣区域的地址、地理编码、地块等。在步骤654中，从地图中选择感兴趣区域。一旦选择了感兴趣区域，系统10就进行到步骤656，在步骤656中选择和检索一个或多个立体图像对。在步骤658中，系统10确定是否存在感兴趣区域的点云数据。如果在步骤658中做出否定判定，则系统10进行到步骤660，在步骤660中生成点云。如果在步骤658中做出肯定判定并且感兴趣区域的点云数据已经存在，则系统10可以检索点云数据。一旦系统10具有感兴趣区域的点云数据，系统可以可选地进行到步骤662，在该步骤662中创建感兴趣区域的网格模型。然后系统10进行到步骤664，在该步骤664中对屋顶进行建模。在步骤666中，系统10进行模型验证，并且在步骤668中，系统10基于验证的模型生成屋顶统计数据。
图16-19示出了结合图15描述的处理步骤。具体地，图16是由系统10生成的图形用户界面700的示意图，其显示地图702并且具有由用户选择的感兴趣区域704，如结合图15的步骤652和654所描述的。图17示出了如结合图15的步骤656所描述的，对应于图16的感兴趣区域704的一对立体图像706a和706b。图18示出了如结合图15的步骤658所描述的，已经可用于感兴趣区域704(参见图16)并准备从数据库下载的点云708。图19A示出了由系统10生成的点云710a，如结合图15的步骤660所描述的，并且图19B示出了由系统10基于图19A的点云710a可选地创建的网格模型710b。另外，如图19B所示，可以在点云710a或网格710b的顶部生成3D CAD或线框模型712，如分别结合图15的步骤662和664所描述的。相反(或另外)，用户可以利用CAD软件中的各种3D工具在点云710a或网格710b的顶部手动生成线框模型712。注意，该系统可以在点云上生成和显示线框模型的一个或多个视图。此外，系统可以将线框模型的一个或多个视图生成和显示为3D模型、2D模型或纹理模型。作为在点云710a或网格710b的顶部对线框模型712建模的辅助，参考水平面由系统自动定义或由用户手动定义，或者通过移动水平面或通过选择点云的点来指示它。
如上面结合图14和15所描述的，该过程在系统10从用户接收到地理空间的感兴趣区域时开始。地理空间的感兴趣区域可以表示为纬度和经度坐标中的多边形。可以通过多种方式得出边界，包括：(1)来自地理编码；(2)以在后(postal)地址为中心的矩形或其他形状；(3)来自属性地块边界的调查数据；或(4)来自人类用户在地理空间映射界面中的选择。注意，如果系统10确定点云已经存在，则对于生成点云不需要感兴趣区域的图像。然而，系统10可以利用感兴趣区域的图像来创建纹理映射，如本文所述。
如果系统10确定需要生成点云，则必须获得图像，并且系统10从图像数据存储器中选择和检索一组或多组立体对图像，包括元数据。为了生成点云，倾斜立体图像(其中相机与感兴趣的对象成一定角度)对于建模目的来说可能是可取的。例如，倾斜立体对可用于确定墙体材料、窗户和门的布置以及其他从基本上俯视的角度看不清楚的非屋顶特征。
如上所述，系统10包括确定点云是否可用于给定感兴趣区域的逻辑。可以执行数据库查询以查找LiDAR或其他3D传感数据的可用性。如果可用，则下载点云并且系统10可以直接进行网格创建和/或CAD建模。如果查询没有返回数据，则系统10使用立体对图像生成点云。立体对图像一经取得便用于生成视差图，像素的背投影用于创建点云。
图20是说明照相机几何校正变换以从原始图像714a和714b获得校正的立体图像对716a和716b的示意图。相机元数据和具有3D点的假设平面用于迭代地细化变换矩阵，当变换矩阵应用于原始图像714a和714b时，其将相机的主光线变换为平行并起源于同一平面。该矩阵也应用于图像714a和714b以创建校正立体对的图像716a和716b。如图20所示，校正后的左图像716a和右图像716b表示现在具有平行主光线的相机。然后系统10可以使用校正后的左图像716a和右图像716b来生成视差图。
系统10可以使用任何合适的视差图算法，例如Hirschmüller的半全局匹配算法，该算法使用校正后的左右图像作为输入。该算法使用动态编程来优化函数，该函数将左图像中的像素映射到右图像中它们的对应像素，伴有在水平方向上发生的偏移(例如，参见上面讨论的图4)。这种偏移测量视差，间接测量物体的深度。因此，物体离相机越近，视差就越大。系统10使用所得视差图来创建点云。
系统10通过计算穿过左图像中的像素的射线与穿过右图像中的对应像素的射线的3D交点，以生成点云。视差图中的每个像素都包含在最终的点云中。此外，当多个立体对可用时，例如两个西向相机，两个东向相机，两个天底相机等，可以生成多个点云，然后结合使用点云配准以形成更完整的云。从多个立体对创建多个点云的好处在于，在建模阶段，系统10可以为用户提供转动虚拟相机的能力，并且系统10可以选择和显示从立体对相机生成的点云，该立体对相机为与虚拟相机的当前位置最接近的立体对相机。
图21A和21B是分别示出点云720a和基于该点云可选地创建的网格模型720b的示意图。创建网格模型的目的有两个：(1)对点云中的噪声进行细化和降低，有利于减少计算量；(2)它为人工建模工作提供了更好的视图。使用Delaunay三角剖分或其他众所周知的表面重建算法，将图21A所示的点云720a变成图21B所示的多边形网格720b。由于表面重建算法的限制，云720a中的一些点不能被多边形化。这些点被认为是噪声并被删除。
图21A所示的点云720a和图21B所示的网格模型720b已经应用了纹理。根据本公开的一些方面，系统10可以将来自原始图像的纹理映射到点云以用于人类可识别的视图，这允许操作者更容易地在点云上生成CAD或线框模型，这是因为存在特征的可视化提示，例如特征边缘附近的颜色变化、阴影区域的较暗颜色等。在创建模型时可以应用额外的纹理映射以进一步帮助建模。请注意，系统并非必须自动生成CAD或线框模型。相反(或另外)，用户可以手动生成CAD或线框模型。
图22是说明图形用户界面屏幕730的示意图，展示了用一个或多个3D工具生成的点云722，在其上具有3D线框屋顶结构模型724。注意，该系统可以生成和显示在点云上的线框屋顶结构模型的一个或多个视图。此外，系统可以将线框屋顶结构模型的一个或多个视图生成和显示为3D模型、2D模型或纹理模型。如上所述，点云或网格模型被导入系统10的3D建模界面组件。系统10可以提供用于对屋顶特定特征进行建模的多个工具，例如四坡屋顶工具、山墙屋顶工具、角楼工具、烟囱工具、天窗工具、板球工具、凉棚工具、雨水槽工具等。当然，系统10可以提供额外的工具来对目标或感兴趣区域的其他特征进行建模。例如，系统10可以通过检查点云来使用用于识别正在建模的结构的属性的工具，结构的属性例如但不限于点云轮廓中屋顶的倾斜度。一旦创建了屋顶模型，系统10就可以估计结构的墙壁和其他垂直表面，使操作者能够轻松地将特征添加到墙壁模型中，这些墙壁模型可以在纹理映射中看到，即窗户、门、空调单元、车库门和存在于墙上的其它特征的布置。系统10还可以提供用于推入或拉出需要修改的墙壁的工具，以便更好地拟合结构的点云表示。此外，系统10还可以提供用于对包括在点云中但不是建筑物的一部分的其他特征进行建模的工具，例如人行道、车道、水池、树木、门廊等。本文讨论的建模工具可以被实施以使用例如静态或可移动的虚拟相机(点云的视图)和人工操作输入来产生3D模型几何形状。该系统不限于可以建模的特征类型，实际上，这些特征可以包括但不限于屋顶特征、墙壁、门、窗、烟囱、通风口、排水沟、落水管、卫星天线、空调(“AC”)单元、车道、露台、门廊、甲板、凉亭、游泳池、热水浴缸、棚子、温室、游泳池围墙等。
系统10可以执行计算的立体几何(“CSG”)以合并多面体并保持模型与现实世界的屋顶几何形状一致。系统10还可以对3D模型执行一系列数学验证，包括但不限于共面性检查、检查CSG无法检测到的实体之间的间隙、确保所有多面体都闭合、检查所有屋顶斜坡都与标准屋顶坡度对齐，并确保所有屋顶面多边形都以平面法线朝外的方式围绕。这些验证可确保从3D模型生成的统计数据是可靠的，并能密切反映相关屋顶或物体的真实测量值。如果验证失败，系统10可以将模型移回3D建模界面并通知操作者需要对3D模型进行更正。请注意，系统并非必须自动执行验证。相反(或另外)，用户可以手动执行验证。
除了生成对象或感兴趣区域的3D模型之外，系统10还可以生成一组关于屋顶的可序列化数据。可序列化的数据可以包括但不限于屋顶区域、防雨板和梯级防雨板的长度、谷线、屋檐、屋脊和屋脊线、屋顶滴水边缘长度、方格数、主节距(pitch)、檐口长度、悬垂长度、雨水槽位置和长度，以及包括面面积、节距和线型长度在内的每个面的统计信息。该数据由系统10通过从模型的3D几何形状中导出相关统计数据来产生。当然，数据可以序列化为JSON、XML、CSV或其他机器和人类可读的格式。更进一步，系统10可以生成一个或多个报告，该报告提供建模结构的测量值，在报告上指示标记(例如，长度、宽度、面积、坡度、节距、体积等)。此外，系统可以生成XML文件、JSON文件、TXT文件、WKT文件、PDF文件等形式的汇总信息。更进一步，系统可以在这样的报告中提供定价信息，包括一些或所有建模要素的劳动力、材料、设备、支持事件等。
除了前述之外，本公开的系统和方法还可以包括以下附加特征。例如，系统可以允许用户通过在计算机辅助设计(CAD)程序中选择这样的属性/结构来选择要建模的期望的属性或结构。此外，系统生成的模型/线框可以打印或以二维(2D)格式呈现，例如蓝图。
图23是说明由本公开的系统的另一个实施例执行的，通过着色过程对点云的特征进行分类的整个过程步骤800的流程图。在步骤802中，系统10处理指示具有位于其中的一个或多个感兴趣结构的地理空间ROI的图像。然后，在步骤804，系统10将深度学习神经网络应用于处理后的图像。深度学习神经网络可以是但不限于卷积神经网络(CNN)。深度学习神经网络对图像中存在的结构特征(例如屋顶特征)进行分类。例如，深度学习神经网络可以通过着色过程对不同的屋顶结构特征进行分类，从而对各个不同的屋顶结构特征进行独特的着色。最后，在步骤806中，系统10将对应于不同屋顶结构特征的彩色分类标记应用于点云，从而使用特定颜色来指示特定屋顶结构特征(例如，屋顶平面可以是一种颜色，烟囱可以是另一种颜色等)。
图24A、24B和25展示了结合图23的步骤802描述的处理步骤。具体地，图24A是输入图像820a，其示出了位于地理空间的感兴趣区域内的结构822a、824a和826a。此外，图24B是图24A的输入图像820a的合成图像820b，并且示出了与输入图像820a的结构822a、824a和826a对应的结构822b、824b和826b。为了从立体点云应用深度学习神经网络，点云被投影到合成视图中，并且在对应于合成视图的后处理图像(例如，合成图像820b)上执行推理。特别地，新相机的位置由来自立体图像对的参考视图中n个最近的相机的平均位置构成。选择参考视图的omega、phi和kappa，并且以π/4步长固定方向，使得合成相机可以具有每个轴的八个固定方向。新的相机位置用于将点云的点投影到每个图像平面中并创建合成图像820b。如图24B所示，合成图像820b由于缺少数据点和信息而包括几个黑色区域。可以使用InPaint算法来补偿丢失的数据点和信息。例如，图25图示了图24B的合成图像820b的后处理图像840。如图25所示，后处理图像840图示了结构842、结构844、结构846和结构848，其中结构848由于丢失数据点而先前在合成图像820b中是不可检测的，图26示出了结合图23的步骤804描述的处理步骤。特别地，图26示出了图25的后处理图像840的推理图像860。通过将深度神经网络应用于后处理图像840来生成推理图像860。如图26所示，深度神经网络在后处理图像840的应用对屋顶结构862、864、866和868的不同特征进行分类，屋顶结构862、864、866和868对应于后处理图像的结构842、844、846和848。图27是示意图880，其图解与屋顶结构862、864、866和868相对应的线框模型882、884、886和888的生成，屋顶结构862、864、866和868在图26的推断图像860中被检测到。图28是示意图900，其图示对应于图27的图880的线框模型882、884、886和888的数据点902、904、906和908。
图29是示意图920，其图示用于位于图24A的地理空间的感兴趣区域内的结构的相应点云。图30是示意图940，其图示对应于图29的点云922、924和926的各个彩色点云942、944和946的生成，如图23的步骤806所指示的。如图30所示，彩色点云942、944和946通过用不同的颜色对不同的屋顶结构特征进行着色，对屋顶结构的特征进行分类。注意，系统10可以根据需要将所需颜色或图案应用到点云的各种要素。例如，可以应用着色过程，其中系统10将期望的颜色应用到云的要素，期望的颜色例如云中每个点的标准颜色(例如，白色、灰色、黄色)，基于点的法线的云的每个点的颜色，基于点高程的每个点的颜色等。
在如此详细地描述了系统和方法后，应当理解，前面的描述并非旨在限制其精神或范围。应当理解，此处描述的本发明的实施例仅仅是示例性的，本领域的技术人员可以在不脱离本发明的精神和范围的情况下进行任何变化和修改。所有这些变化和修改，包括上面讨论的那些，都旨在包括在本公开的范围内。所附权利要求书中阐述了希望受专利证书保护的内容。

Claims (33)

1.一种用于对结构建模的系统，其包括：
航拍图像数据库；和
与航拍图像数据库通信的处理器，所述处理器：
从航拍图像数据库中检索至少一个立体图像对；
从至少一个立体图像对中识别目标图像；
从至少一个立体对中识别参考图像；
计算识别的目标图像的每个像素的视差值；
根据计算的识别的目标图像的每个像素的视差值生成视差图；
基于视差图、识别的目标图像和识别的参考图像生成三维点云；并且
使用三维点云生成结构的三维建筑多边形模型。
2.根据权利要求1所述的系统，其中至少一个立体图像对是使用地理空间的感兴趣区域来识别的。
3.根据权利要求1所述的系统，其中至少一个立体图像对包括与内部和外部相机参数有关的数据。
4.根据权利要求1所述的系统，其中所述处理器通过应用半全局匹配算法来计算识别的目标图像的每个像素的视差值，以确定所述识别的目标图像的每个像素的代价视差值。
5.根据权利要求1所述的系统，其中所述处理器基于视差图和识别的目标图像与识别的参考图像之间的射线交点生成三维点云，所述处理器计算在穿过识别的目标图像中对应像素的相应射线与穿过识别的参考图像中对应像素的相应射线之间的多个三维交点。
6.根据权利要求1所述的系统，其中所述处理器生成至少一个用于在三维点云上对特征进行建模的三维工具。
7.根据权利要求1所述的系统，其中所述处理器：
从航拍图像数据库中检索第二立体图像对；
从第二立体图像对中识别第二目标图像；
从第二立体对中识别第二参考图像；
计算识别的第二目标图像的每个像素的视差值；
基于识别的第二目标图像的每个像素的相应计算的视差值生成第二视差图；
基于第二视差图、识别的第二目标图像和识别的第二参考图像生成第二三维点云；并且
通过融合生成的第一三维点云和生成的第二三维点云，生成融合的三维点云。
8.根据权利要求1所述的系统，其中所述系统从第一对立体图像生成第一点云，从第二对立体图像生成第二点云，并自动选择所述第一点云或所述第二点云中的一个用于显示给用户。
9.根据权利要求1所述的系统，其中所述处理器对三维点云执行表面重建算法，以基于三维点云生成三维网格模型。
10.根据权利要求1所述的系统，其中所述处理器将图形用户界面显示给操作者，所述图形用户界面包括三维点云和用户界面工具，所述用户界面工具用于在三维点云的顶部创建特征的三维线框模型。
11.根据权利要求10所述的系统，其中所述处理器通过所述用户界面工具接收来自操作者的输入，基于来自操作者的输入生成所述特征的三维线框模型，并且使特征的三维线框模型显示在三维点云的顶部。
12.根据权利要求10所述的系统，其中所述处理器将来自图像的纹理应用到三维线框模型的至少一个表面。
13.根据权利要求9所述的系统，其中所述处理器基于屋顶的三维线框模型生成可序列化的数据。
14.根据权利要求1所述的系统，其中所述处理器生成包括对应于三维模型的真实世界结构的测量的报告。
15.根据权利要求14所述的系统，其中报告是数字文件的形式。
16.根据权利要求14所述的系统，其中报告包括与对应于三维模型的至少一部分的定价信息、材料、设备或支持事件中的一项或多项有关的信息。
17.根据权利要求1所述的系统，其中所述处理器将纹理图应用到三维点云的至少一个表面。
18.根据权利要求1所述的系统，其中所述处理器对三维点云的点进行着色。
19.一种用于对结构建模的方法，其包括步骤：
接收至少一个立体图像对；
从至少一个立体图像对中识别目标图像；
从至少一个立体对中识别参考图像；
计算识别的目标图像的每个像素的视差值；
根据相应的计算的识别的目标图像的每个像素的视差值生成视差图；
基于视差图、识别的目标图像和识别的参考图像生成三维点云；并且
基于三维点云生成结构的三维建筑多边形模型。
20.根据权利要求19所述的方法，还包括使用地理空间的感兴趣区域来识别所述至少一个立体图像对。
21.根据权利要求19所述的方法，还包括通过应用半全局匹配算法来计算所述识别的目标图像的每个像素的视差值，以确定所述识别的目标图像的每个像素的代价视差值。
22.根据权利要求19所述的方法，还包括基于视差图和识别的目标图像与识别的参考图像之间的射线交点生成三维点云，并且计算在穿过识别的目标图像中对应像素的相应射线与穿过识别的参考图像中对应像素的相应光线之间的多个三维交点。
23.根据权利要求19所述的方法，还包括：
从航拍图像数据库中检索第二立体图像对；
从第二立体图像对中识别第二目标图像；
从第二立体对中识别第二参考图像；
计算识别的第二目标图像的每个像素的视差值；
基于识别的第二目标图像的每个像素的相应计算的视差值生成第二视差图；
基于第二视差图、识别的第二目标图像和识别的第二参考图像生成第二三维点云；并且
通过融合生成的第一三维点云和生成的第二三维点云，生成融合的三维点云。
24.根据权利要求19所述的方法，还包括对三维点云执行表面重建算法，以基于三维点云生成三维网格模型。
25.根据权利要求19所述的方法，还包括将图形用户界面显示给操作者，所述图形用户界面包括三维点云和用户界面工具，所述用户界面工具用于在三维点云的顶部创建特征的三维线框模型。
26.根据权利要求25所述的方法，还包括通过所述用户界面工具接收来自操作者的输入，基于来自操作者的输入生成所述特征的三维线框模型，并且使特征的三维线框模型显示在三维点云的顶部。
27.根据权利要求25所述的方法，还包括将来自图像的纹理应用到三维线框模型的表面。
28.根据权利要求20所述的方法，还包括基于屋顶的三维线框模型生成可序列化的数据。
29.根据权利要求19所述的方法，还包括生成包括对应于三维模型的真实世界结构的测量的报告。
30.根据权利要求29所述的方法，其中报告是数字文件的形式。
31.根据权利要求29所述的方法，其中报告包括与对应于三维模型的至少一部分的定价信息、材料、设备或支持事件中的一项或多项有关的信息。
32.根据权利要求19所述的方法，还包括将纹理图应用到三维点云的至少一个表面。
33.根据权利要求19所述的方法，还包括对三维点云的点进行着色。
CN202080090980.2A 2019-12-04 2020-12-03 使用源自立体图像对的点云对结构建模的系统和方法 Pending CN114902289A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/703,644 US11094113B2 (en) 2019-12-04 2019-12-04 Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
US16/703,644 2019-12-04
PCT/US2020/063004 WO2021113439A1 (en) 2019-12-04 2020-12-03 Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs

Publications (1)

Publication Number Publication Date
CN114902289A true CN114902289A (zh) 2022-08-12

Family

ID=76208992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080090980.2A Pending CN114902289A (zh) 2019-12-04 2020-12-03 使用源自立体图像对的点云对结构建模的系统和方法

Country Status (9)

Country Link
US (2) US11094113B2 (zh)
EP (1) EP4070287A4 (zh)
JP (1) JP2023505212A (zh)
CN (1) CN114902289A (zh)
AU (1) AU2020396965A1 (zh)
CA (1) CA3160694A1 (zh)
CO (1) CO2022008984A2 (zh)
MX (1) MX2022006805A (zh)
WO (1) WO2021113439A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726625A (zh) * 2024-02-08 2024-03-19 深圳大学 一种基于点云线框约束的建筑构件拼装质量管控方法及系统
CN117726625B (zh) * 2024-02-08 2024-05-24 深圳大学 一种基于点云线框约束的建筑构件拼装质量管控方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501700B2 (en) 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
US8756085B1 (en) * 2013-03-15 2014-06-17 State Farm Mutual Automobile Insurance Company Systems and methods for assessing property damage
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
US11094113B2 (en) * 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
JP7434560B2 (ja) * 2019-12-13 2024-02-20 ライブパーソン， インコーポレイテッド 双方向通信システムのためのサービスとしての機能クラウドチャットボット
US11430142B2 (en) * 2020-04-28 2022-08-30 Snap Inc. Photometric-based 3D object modeling
CA3212906A1 (en) * 2021-04-08 2022-10-13 Bryce Zachary Porter Computer vision systems and methods for determining roof shapes from imagery using segmentation networks
CN112991537B (zh) * 2021-04-29 2021-09-10 深圳大学 城市场景重建方法、装置、计算机设备和存储介质
CN114373358B (zh) * 2022-03-07 2023-11-24 中国人民解放军空军工程大学航空机务士官学校 一种基于快速建模的航空飞机维护作业模拟训练系统
CN114925228A (zh) * 2022-06-20 2022-08-19 广东电网有限责任公司 点云解算的可视化监控方法、装置和计算机设备
CN115564926B (zh) * 2022-12-06 2023-03-10 武汉大学 基于影像建筑物结构学习的三维面片模型构建方法

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3908281A (en) 1973-01-29 1975-09-30 Michael C Fox Real estate appraisal instrument and method
US4845643A (en) 1986-04-14 1989-07-04 Clapp Roy A Simplified computer graphics perspectives
US5276866A (en) 1988-07-19 1994-01-04 Michael Paolini System with two different communication mediums, transmitting retrieved video and compressed audio information to plural receivers responsively to users' requests
US6581045B1 (en) 1989-05-12 2003-06-17 Building Technology Associates, Inc. Asset management system for analyzing the condition of assets and evaluating repair/replacement options
US5259037A (en) 1991-02-07 1993-11-02 Hughes Training, Inc. Automated video imagery database generation using photogrammetry
US5633995A (en) 1991-06-19 1997-05-27 Martin Marietta Corporation Camera system and methods for extracting 3D model of viewed object
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5422989A (en) 1992-11-23 1995-06-06 Harris Corporation User interface mechanism for interactively manipulating displayed registered images obtained from multiple sensors having diverse image collection geometries
US5592375A (en) 1994-03-11 1997-01-07 Eagleview, Inc. Computer-assisted system for interactively brokering goods or services between buyers and sellers
EP0686932A3 (en) 1994-03-17 1997-06-25 Texas Instruments Inc Computer vision system to search for three-dimensional rectangular objects
DE4419359A1 (de) 1994-06-03 1995-12-07 Wolfram Dipl Ing Kirchner Verfahren zur Erfassung, Auswertung, Ausmessung und Speicherung von Geo-Informationen
JP3523338B2 (ja) 1994-09-14 2004-04-26 富士通株式会社 立体モデル作成方法および装置
US5761328A (en) 1995-05-22 1998-06-02 Solberg Creations, Inc. Computer automated system and method for converting source-documents bearing alphanumeric text relating to survey measurements
US5983010A (en) 1996-01-24 1999-11-09 Jeffrey Earl Murdock Method of describing a building structure
US6046745A (en) 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
DE19719620A1 (de) 1997-05-09 1998-11-12 Christian Angermann Verfahren zur Erstellung, Bearbeitung und Nutzung von Luftaufnahmen
US6037945A (en) 1997-12-16 2000-03-14 Xactware, Inc. Graphical method for modeling and estimating construction costs
US6333749B1 (en) 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
WO1999063488A1 (fr) 1998-06-02 1999-12-09 Sony Corporation Dispositif et procede de traitement d'images
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2000090290A (ja) 1998-07-13 2000-03-31 Sony Corp 画像処理装置および画像処理方法、並びに媒体
JP3954211B2 (ja) 1998-08-20 2007-08-08 富士通株式会社 三次元シーンにおける形状及び模様の復元方法及び装置
US6198431B1 (en) 1998-08-27 2001-03-06 Maptrek Llc Compact GPS tracker and customized mapping system
US6323885B1 (en) 1998-09-18 2001-11-27 Steven Paul Wiese Real estate value map computer system
WO2000029806A2 (de) 1998-11-06 2000-05-25 Friedhelm Gante Verfahren zum vermessen der flächen eines hausdachs
US6496184B1 (en) 1998-11-30 2002-12-17 William T. Freeman Method for inferring scenes from test images and training data using probability propagation in a markov network
DE19857667A1 (de) 1998-12-15 2000-08-17 Aerowest Photogrammetrie H Ben Verfahren zur Erzeugung einer drei-dimensionalen Objektbeschreibung
US6342884B1 (en) 1999-02-03 2002-01-29 Isurftv Method and apparatus for using a general three-dimensional (3D) graphics pipeline for cost effective digital image and video editing, transformation, and representation
US6356280B1 (en) 1999-02-03 2002-03-12 Isurftv Mechanism and apparatus for realistic 3D model creation using interactive scissors
US6456287B1 (en) 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images
US6448964B1 (en) 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
US6446053B1 (en) 1999-08-06 2002-09-03 Michael Elliott Computer-implemented method and system for producing a proposal for a construction project
JP2001195491A (ja) 1999-11-02 2001-07-19 Matsushita Electric Works Ltd 住空間関連商品の販売支援方法と課金方法及びそのためのシステムと記録媒体
US6829584B2 (en) 1999-12-31 2004-12-07 Xactware, Inc. Virtual home data repository and directory
US20010027404A1 (en) 1999-12-31 2001-10-04 Loveland James B. Integrated learning objects
US6826539B2 (en) 1999-12-31 2004-11-30 Xactware, Inc. Virtual structure data repository and directory
US6980690B1 (en) 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6810383B1 (en) 2000-01-21 2004-10-26 Xactware, Inc. Automated task management and evaluation
US7006977B1 (en) 2000-02-03 2006-02-28 Cory Attra System for automating and improving home design and construction
US6385541B1 (en) 2000-02-29 2002-05-07 Brad Wayne Blumberg Global positioning-based real estate database access device and method
US6484101B1 (en) 2000-08-16 2002-11-19 Imagelinks, Inc. 3-dimensional interactive image modeling system
CA2423114C (en) 2000-08-25 2009-11-17 Limbic Systems, Inc. Method for conducting analysis of two-dimensional images
US7246044B2 (en) 2000-09-13 2007-07-17 Matsushita Electric Works, Ltd. Method for aiding space design using network, system therefor, and server computer of the system
US7487114B2 (en) 2000-10-23 2009-02-03 Costar Group, Inc. System and method for associating aerial images, map features, and information
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
GB0028491D0 (en) 2000-11-22 2001-01-10 Isis Innovation Detection of features in images
AUPR301401A0 (en) 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
US7164883B2 (en) 2001-02-14 2007-01-16 Motorola. Inc. Method and system for modeling and managing terrain, buildings, and infrastructure
US20020154174A1 (en) 2001-04-23 2002-10-24 Redlich Arthur Norman Method and system for providing a service in a photorealistic, 3-D environment
US20030028393A1 (en) 2001-06-18 2003-02-06 Coulston Robert Michael Method and computer program for estimating project costs and time factors and facilitating management of remodeling and construction projects
JP2003006680A (ja) 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
CA2352844C (en) 2001-07-10 2009-11-17 Geojet Information Solutions Inc. 3-d map data visualization
JP3910582B2 (ja) 2001-07-31 2007-04-25 株式会社キャドセンター 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
US7444013B2 (en) 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
JP3776787B2 (ja) 2001-11-02 2006-05-17 Ｎｅｃ東芝スペースシステム株式会社 三次元データベース生成システム
US6636803B1 (en) 2001-11-30 2003-10-21 Corus Home Realty Real-estate information search and retrieval system
US7373303B2 (en) 2001-12-10 2008-05-13 E2Value, Inc. Methods and systems for estimating building reconstruction costs
TW550521B (en) 2002-02-07 2003-09-01 Univ Nat Central Method for re-building 3D model of house in a semi-automatic manner using edge segments of buildings
US20030171957A1 (en) 2002-03-11 2003-09-11 Watrous Leslie P. Process for inspecting and certifying roofs for structures and repairing leaking roofs during the certification period
JP3788378B2 (ja) 2002-03-27 2006-06-21 ソニー株式会社 ３次元モデル生成システム及び方法、並びにコンピュータ・プログラム
US20030233310A1 (en) 2002-06-17 2003-12-18 Boris Stavrovski Method and system for implementing a business transaction over the internet with use and consecutive transformation of information from publicly available databases, actual preferences of potential customers and statistical models of the market situation
CA2489364C (en) 2002-07-10 2010-06-01 Harman Becker Automotive Systems Gmbh System for generating three-dimensional electronic models of objects
WO2004042662A1 (en) 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US7324666B2 (en) 2002-11-15 2008-01-29 Whitegold Solutions, Inc. Methods for assigning geocodes to street addressable entities
FR2852128A1 (fr) 2003-03-07 2004-09-10 France Telecom Procede pour la gestion de la representation d'au moins une scene 3d modelisee.
IL155034A0 (en) * 2003-03-23 2004-06-20 M A M D Digital Data Proc Syst Automatic aerial digital photography and digital data processing systems
US20060265287A1 (en) 2003-04-22 2006-11-23 Sharp Kabushiki Kaisha Solar cell ordering system
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US8051089B2 (en) 2003-04-30 2011-11-01 Hewlett-Packard Development Company, L.P. Systems and methods for location-based real estate service
JP4319857B2 (ja) 2003-05-19 2009-08-26 株式会社日立製作所 地図作成方法
US7305983B1 (en) 2003-07-08 2007-12-11 University Of Hawai'i Assessment of solar energy potential on existing buildings in a region
US7003400B2 (en) 2003-10-22 2006-02-21 Bryant Consultants, Inc. Apparatus and method for displaying subsurface anomalies and surface features
WO2005059867A1 (en) 2003-12-18 2005-06-30 1626628 Ontario Limited System, apparatus and method for mapping
CA2455359C (en) 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
US7421125B1 (en) 2004-03-10 2008-09-02 Altor Systems Inc. Image analysis, editing and search techniques
DE102004028635A1 (de) 2004-06-15 2006-01-19 Burkhard Heins Verfahren zur Vermessung von Gegenständen mit einer Kamera
US20050288959A1 (en) 2004-06-16 2005-12-29 David Eraker Map-based search for real estate service providers
JP4488804B2 (ja) 2004-06-23 2010-06-23 株式会社トプコン ステレオ画像の関連付け方法及び３次元データ作成装置
US20070036467A1 (en) 2004-07-26 2007-02-15 Coleman Christopher R System and method for creating a high resolution material image
US7728833B2 (en) * 2004-08-18 2010-06-01 Sarnoff Corporation Method for generating a three-dimensional model of a roof structure
US7522163B2 (en) 2004-08-28 2009-04-21 David Holmes Method and apparatus for determining offsets of a part from a digital image
US8078396B2 (en) 2004-08-31 2011-12-13 Meadow William D Methods for and apparatus for generating a continuum of three dimensional image data
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
WO2006040775A2 (en) 2004-10-15 2006-04-20 Ofek Aerial Photography International Ltd. Computational solution of and building of three dimensional virtual models from aerial photographs
US7869981B2 (en) 2004-11-19 2011-01-11 Edgenet, Inc. Automated method and system for object configuration
JP4602074B2 (ja) 2004-12-28 2010-12-22 シャープ株式会社 太陽光発電装置設置支援システム及びプログラム
GB2423839A (en) 2005-02-28 2006-09-06 Spelthorne Borough Council Method of assessing energy efficiency of buildings
EP1855263B1 (en) 2005-03-02 2012-08-15 Navitime Japan Co., Ltd. Map display device
US20060200311A1 (en) 2005-03-03 2006-09-07 Arutunian Ethan B Enhanced imagery, such as for lead generation for service providers who provide services associated with real estate
CN101198989A (zh) 2005-03-24 2008-06-11 G元件私人有限公司 用于邻近区域和建筑物内的可视化、规划、监视和探察的系统和设备
US20060262112A1 (en) 2005-05-23 2006-11-23 Carnegie Mellon University System and method for three-dimensional shape generation from partial and incomplete views, and interactive design system using same
EP1736928A1 (en) 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
WO2007027847A2 (en) 2005-09-01 2007-03-08 Geosim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US20070067191A1 (en) 2005-09-22 2007-03-22 Loveland James E Claim adjustment quality review
FR2891936A1 (fr) 2005-10-11 2007-04-13 France Telecom Procedes, dispositifs et programmes de transmission d'une structure de toit et de construction d'une representation tridimensionnelle d'un toit de batiment a partir de ladite structure.
KR100647807B1 (ko) 2005-11-24 2006-11-23 인하대학교 산학협력단 그림자 분석을 통한 3차원 건물정보 추출방법
US7844499B2 (en) 2005-12-23 2010-11-30 Sharp Electronics Corporation Integrated solar agent business model
US20070220174A1 (en) 2006-03-17 2007-09-20 Fatdoor, Inc. Marker placement in a mapping environment
US7500391B2 (en) 2006-04-27 2009-03-10 Ecometriks, Llc System and method for identifying the solar potential of rooftops
US20080071604A1 (en) 2006-05-05 2008-03-20 Scanlan Joseph T Method and apparatus for selling solar roofs
US7752018B2 (en) 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing building roof type identification features and related methods
US7873238B2 (en) 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US7916935B2 (en) 2006-09-19 2011-03-29 Wisconsin Alumni Research Foundation Systems and methods for automatically determining 3-dimensional object information and for controlling a process based on automatically-determined 3-dimensional object information
WO2008062819A1 (fr) 2006-11-21 2008-05-29 Nec Corporation Système de génération de données cartographiques tridimensionnelles, procédé de génération de données cartographiques tridimensionnelles et programme de génération de données tridimensionnelles
JP5075408B2 (ja) 2006-12-28 2012-11-21 シャープ株式会社 太陽光発電装置設置支援システム及びプログラム
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US7920963B2 (en) 2007-02-22 2011-04-05 Iac Search & Media, Inc. Map interface with a movable marker
US8145578B2 (en) 2007-04-17 2012-03-27 Eagel View Technologies, Inc. Aerial roof estimation system and method
US8078436B2 (en) 2007-04-17 2011-12-13 Eagle View Technologies, Inc. Aerial roof estimation systems and methods
US8385672B2 (en) 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
JP4378571B2 (ja) 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
US8099264B2 (en) 2007-09-28 2012-01-17 Harris Corporation Geospatial modeling system providing inpainting and error calculation features and related methods
US20090089018A1 (en) 2007-09-28 2009-04-02 Harris Corporation Geospatial modeling system providing building generation based upon user input on 3d model and related methods
US9279602B2 (en) 2007-10-04 2016-03-08 Sungevity Inc. System and method for provisioning energy systems
US7991226B2 (en) 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
IL191615A (en) * 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8059888B2 (en) 2007-10-30 2011-11-15 Microsoft Corporation Semi-automatic plane extrusion for 3D modeling
US8154633B2 (en) 2007-11-16 2012-04-10 Sportvision, Inc. Line removal and object detection in an image
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US20100275018A1 (en) 2007-12-20 2010-10-28 Pedersen Thomas Jam System and method for conversion and distribution of graphical objects
US8417061B2 (en) 2008-02-01 2013-04-09 Sungevity Inc. Methods and systems for provisioning energy systems
US8275194B2 (en) 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US20090234692A1 (en) 2008-03-13 2009-09-17 Tigo Energy, Inc. Method and System for Configuring Solar Energy Systems
US20090271154A1 (en) 2008-04-28 2009-10-29 Coad Engineering Enterprises, Inc. Method and Apparatus for Facilitating HVAC Design for a Building
US8224097B2 (en) 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8731234B1 (en) 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US8209152B2 (en) 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US8170840B2 (en) 2008-10-31 2012-05-01 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
US8754886B2 (en) 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
US20100182316A1 (en) 2009-01-22 2010-07-22 Harris Corporation Geospatial modeling system for 3d clutter data and related methods
US9098926B2 (en) 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
EP2399212A1 (en) 2009-02-20 2011-12-28 SunPower Corporation Automated solar collector installation design including version management
CA2950725C (en) 2009-05-15 2020-10-27 Eagle View Technologies, Inc. Pitch determination systems and methods for aerial roof estimation
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
US8390617B1 (en) 2009-06-04 2013-03-05 Google Inc. Visualizing oblique images
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
JP4996673B2 (ja) 2009-12-25 2012-08-08 株式会社東芝 画像処理装置、画像表示装置、及び画像処理方法
US8232990B2 (en) 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
AU2011210538B2 (en) 2010-02-01 2015-03-26 Eagle View Technologies, Inc. Geometric correction of rough wireframe models derived from photographs
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US9036861B2 (en) 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US9014415B2 (en) 2010-04-22 2015-04-21 The University Of North Carolina At Charlotte Spatially integrated aerial photography for bridge, structure, and environmental monitoring
US8477190B2 (en) 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
US9041796B2 (en) 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
US8977520B2 (en) 2010-10-21 2015-03-10 Pictometry International Corp. Computer system for automatically classifying roof elements
US8823732B2 (en) 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
US8983806B2 (en) 2011-01-11 2015-03-17 Accurence, Inc. Method and system for roof analysis
US8996336B2 (en) 2011-03-31 2015-03-31 Francis Ruben Malka Method, tool, and device for assembling a plurality of partial floor plans into a combined floor plan
US9151608B2 (en) 2011-03-31 2015-10-06 Francis Ruben Malka Apparatus, tool, and method for modifying a portion of a floor plan based on measurements made by one or more sensors
US8634597B2 (en) 2011-08-01 2014-01-21 At&T Intellectual Property I, Lp Method and apparatus for managing personal content
EP2764325A4 (en) 2011-10-04 2016-01-06 Metalforming Inc USE OF A VIDEOGRAMMETRY FOR THE MANUFACTURE OF PARTS
US9047688B2 (en) 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US9977978B2 (en) 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
US10663294B2 (en) 2012-02-03 2020-05-26 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area and producing a wall estimation report
US20130204575A1 (en) 2012-02-03 2013-08-08 Chris Pershing Systems and methods for estimation of building floor area
US9933257B2 (en) 2012-02-03 2018-04-03 Eagle View Technologies, Inc. Systems and methods for estimation of building wall area
WO2013116164A1 (en) 2012-02-03 2013-08-08 Eagle View Technologies, Inc Systems and methods for estimation of building wall area
US8774525B2 (en) 2012-02-03 2014-07-08 Eagle View Technologies, Inc. Systems and methods for estimation of building floor area
US9501700B2 (en) * 2012-02-15 2016-11-22 Xactware Solutions, Inc. System and method for construction estimation using aerial images
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting
US8855442B2 (en) 2012-04-30 2014-10-07 Yuri Owechko Image registration of multimodal data using 3D-GeoArcs
WO2014055953A2 (en) 2012-10-05 2014-04-10 Eagle View Technologies, Inc. Systems and methods for relating images to each other by determining transforms without using image acquisition metadata
US9159164B2 (en) 2013-01-31 2015-10-13 Eagle View Technologies, Inc. Statistical point pattern matching technique
US9147287B2 (en) 2013-01-31 2015-09-29 Eagle View Technologies, Inc. Statistical point pattern matching technique
AU2014235296A1 (en) 2013-03-15 2015-09-03 Eagle View Technologies, Inc. Methods for risk management assessment of property
US9959581B2 (en) 2013-03-15 2018-05-01 Eagle View Technologies, Inc. Property management on a smartphone
EP3028464B1 (en) 2013-08-02 2019-05-01 Xactware Solutions Inc. System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US9542417B2 (en) 2013-11-27 2017-01-10 Eagle View Technologies, Inc. Preferred image retrieval
US20160239976A1 (en) 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
TWI530409B (zh) * 2014-11-07 2016-04-21 財團法人工業技術研究院 自動追蹤防撞警示系統及其方法
GB2537729B (en) * 2015-03-03 2017-07-19 Imagination Tech Ltd Systems and methods for soft shadowing in 3-D rendering
US9704254B2 (en) * 2015-03-27 2017-07-11 Intel Corporation Stereo image matching by shape preserving filtering of a cost volume in a phase domain
US20160343140A1 (en) 2015-05-24 2016-11-24 Pointivo, Inc. Surveying and measurement methods and devices
WO2017084009A1 (en) * 2015-11-16 2017-05-26 Intel Corporation Disparity search range compression
EP3182157B1 (en) 2015-12-14 2020-04-15 Leica Geosystems AG Method for creating a spatial model with a hand-held distance measuring device
CA3012049A1 (en) * 2016-01-20 2017-07-27 Ez3D, Llc System and method for structural inspection and construction estimation using an unmanned aerial vehicle
EP3408848A4 (en) 2016-01-29 2019-08-28 Pointivo Inc. SYSTEMS AND METHOD FOR EXTRACTING INFORMATION ON OBJECTS FROM SCENE INFORMATION
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
RU2623806C1 (ru) * 2016-06-07 2017-06-29 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ и устройство обработки стереоизображений
US10032310B2 (en) 2016-08-22 2018-07-24 Pointivo, Inc. Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom
US11741703B2 (en) 2018-09-11 2023-08-29 Pointivo, Inc. In data acquisition, processing, and output generation for use in analysis of one or a collection of physical assets of interest
US11094113B2 (en) * 2019-12-04 2021-08-17 Geomni, Inc. Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726625A (zh) * 2024-02-08 2024-03-19 深圳大学 一种基于点云线框约束的建筑构件拼装质量管控方法及系统
CN117726625B (zh) * 2024-02-08 2024-05-24 深圳大学 一种基于点云线框约束的建筑构件拼装质量管控方法及系统

Also Published As

Publication number Publication date
WO2021113439A1 (en) 2021-06-10
US11915368B2 (en) 2024-02-27
US20210407188A1 (en) 2021-12-30
CA3160694A1 (en) 2021-06-10
CO2022008984A2 (es) 2022-06-30
EP4070287A4 (en) 2024-01-10
EP4070287A1 (en) 2022-10-12
MX2022006805A (es) 2022-08-08
US11094113B2 (en) 2021-08-17
US20210174580A1 (en) 2021-06-10
JP2023505212A (ja) 2023-02-08
AU2020396965A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11915368B2 (en) Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs
US11514644B2 (en) Automated roof surface measurement from combined aerial LiDAR data and imagery
US11557092B2 (en) Methods and systems for wireframes of a structure or element of interest and wireframes generated therefrom
US10853931B2 (en) System and method for structural inspection and construction estimation using an unmanned aerial vehicle
US20190206125A1 (en) Systems and methods for rapid three-dimensional modeling with real facade texture
US7509241B2 (en) Method and apparatus for automatically generating a site model
JP5018721B2 (ja) 立体模型の作製装置
US20060061566A1 (en) Method and apparatus for performing three-dimensional computer modeling
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
Zalama et al. An effective texture mapping approach for 3D models obtained from laser scanner data to building documentation
CN113345084B (zh) 三维建模系统及三维建模方法
Panday Fitting of parametric building models to oblique aerial images
Toschi et al. Validation tests of open-source procedures for digital camera calibration and 3D image-based modelling
Gülch et al. Quality of Buildings Extracted from Airborne Laser Scanning Data—Results of an Empirical Investigation on 3D Building Reconstruction
Kaartinen et al. EuroSDR building extraction comparison
Tannous et al. Design of a multi-sensor system for 3D site model acquisition and exploitation
CN115147262A (zh) 一种图像生成方法和装置
CN116934980A (zh) 单体建筑模型的构建方法、设备及计算机可读存储介质
Frohlich Region-Based Pose and Homography Estimation for Central Cameras
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
CN115049539A (zh) 一种图像生成方法和装置
Haala et al. Virtual Gity Models ftom Laser Altimeter and 2D Map Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination