CN115427946A - 自动化的三维建筑物模型估计 - Google Patents

自动化的三维建筑物模型估计 Download PDF

Info

Publication number
CN115427946A
CN115427946A CN202180029173.4A CN202180029173A CN115427946A CN 115427946 A CN115427946 A CN 115427946A CN 202180029173 A CN202180029173 A CN 202180029173A CN 115427946 A CN115427946 A CN 115427946A
Authority
CN
China
Prior art keywords
image
building
roof
dsm
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029173.4A
Other languages
English (en)
Inventor
M·J·史蒂文斯
G·努纳戈普拉
M·西格尔曼
A·A·罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Solar Co ltd
Original Assignee
Aurora Solar Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Solar Co ltd filed Critical Aurora Solar Co ltd
Publication of CN115427946A publication Critical patent/CN115427946A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00—Integration of renewable energy sources in buildings
    • Y02B10/10—Photovoltaic [PV]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

公开了自动化的三维(3D)建筑物模型估计。在实施例中，一种方法包括：使用一个或多个处理器，基于输入地址获得建筑物的航拍图像；使用所述一个或多个处理器，基于输入地址获得包含建筑物的三维(3D)数据；对航拍图像和3D数据进行预处理；使用所述一个或多个处理器，从经预处理的图像和3D数据重构3D建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2D)多边形；以及将每个2D多边形投影到表示3D建筑物模型的3D多边形中。

Description

自动化的三维建筑物模型估计
相关申请的交叉引用
本申请要求于2020年2月28日提交的美国申请序列No.62/983,509的优先权。在先申请的公开内容被视为本申请的公开内容的一部分，并且整体并入本申请。
技术领域
本公开一般而言涉及估计三维(3D)建筑结构，例如屋顶。
背景技术
据国际能源署称，太阳能是世界上增长最快的能源。太阳能的工作原理是捕获太阳能并将其转化为电力，供家庭或企业使用。太阳的能量是使用太阳能电池面板捕获的，太阳能电池面板常常安装在可以最大程度地暴露在阳光下的区域，诸如屋顶。太阳能电池面板由多个由硅制成的太阳能电池组成，这些太阳能电池具有产生电场的正和负层。当来自太阳的光子撞击太阳能电池时，电子从它们的原子中释放出来。通过将导体附接到太阳能电池的正和负侧，形成电路。当电子流过电路时生成直流电流(DC)，通过逆变器将其转换成交流电流(AC)，为家庭或办公室供电。多余的电量存储在电池中。
太阳能系统所需的太阳能电池面板的数量取决于建筑物使用多少能源、屋顶的可用表面积、建筑物所在位置的气候和高峰日照以及太阳能电池面板的瓦数和相对效率。多个太阳能电池面板(模块)可以连线在一起形成太阳能电池阵列。建筑物位置的高峰日照时间影响太阳能电池阵列将产生的能量。而且，屋顶的尺寸和形状将影响太阳能电池面板的尺寸和太阳能电池面板中使用的太阳能电池面板的数量。最受欢迎的太阳能电池面板是光伏(PV)太阳能电池面板，其制造的标准尺寸约为65英寸×39英寸，制造商之间存在一些变化。屋顶的尺寸和形状将直接影响要安装的太阳能电池面板的尺寸和数量。由于可用屋顶面积大，因此可以以每块面板较低的成本安装更大的面板。但是，如果可用屋顶面积有限，或部分被遮蔽，那么可以安装更少更小的高效面板，但每块面板的成本更高。
有许多不同的屋顶类型使太阳能系统设计变得复杂，包括但不限于：Gable、Hip、Masard、Gambrel、Flat、Skillion、Jerkinhead、Butterfly、Bonnet、Saltbox、Sawtooth、Curved、Pyramid、Dome和前述的任何组合。而且，安装在屋顶上的任何结构(诸如供暖、空调和通风(HVAC)装备、烟囱、通风口等)都会减少太阳能电池面板安装的可用表面积。
现有的用于优化太阳能电池面板安装的软件解决方案使用航拍图像来估计屋顶的可用表面积。但是，这些技术常常要求需要大量的用户输入，使用户的设计过程变得乏味。所需要的是一种自动化过程，该过程要求最少的用户输入来估计3D建筑结构，并且特别是高准确度地确定3D屋顶模型的可用区域，以便设计和模拟可以输出性能数据的虚拟太阳能系统，其可以被用于设计实现用户的目标节能目标和其它用户目标的实际太阳能系统。
发明内容
公开了自动化的三维(3D)建筑物模型估计。在实施例中，一种方法包括：使用一个或多个处理器，基于输入地址获得建筑物的航拍图像；使用一个或多个处理器，基于输入地址获得包含建筑物的三维(3D)数据；对航拍图像和3D数据进行预处理；使用一个或多个处理器，从经预处理的图像和3D数据重构3D建筑物模型，重构包括：使用实例分割来预测用于每个屋顶面的蒙版；将每个屋顶面转换成二维(2D)多边形；以及将每个2D多边形投影到表示3D建筑物模型的3D多边形中。
其它实施例包括但不限于系统和计算机可读存储介质。
本文公开的特定实施例提供以下优点中的一个或多个。自动化的太阳能系统设计工具使用航空影像、3D点云(例如，雷达点云)、机器学习(例如，神经网络)和遮荫算法来估计建筑物的屋顶的尺寸和形状，并确定太阳能电池面板的最优位置以最大限度地暴露在阳光下。所公开的实施例是完全自动化的并且要求最少的用户输入，诸如用户的家庭地址、公用事业费率和用户的平均每月能源账单。输出是估计的3D建筑物模型，该模型被输入到自动化的设计工具中，该工具基于估计的3D建筑物模型生成虚拟太阳能系统设计。自动模拟虚拟太阳能系统以确定其性能，包括例如计算太阳能生产的财务和估计输出功率。消费者或专业的太阳能电池面板安装人员可以通过例如万维网或通过应用编程接口(API)访问自动化的太阳能系统设计工具。
所公开的实施例的细节在附图和以下描述中阐述。其它特征、目的和优点从描述、附图和权利要求中是显而易见的。
附图说明
图1图示了根据实施例的自动化的太阳能系统设计工具的图形用户界面(GUI)。
图2是根据实施例的用于估计3D建筑物模型的自动化的过程的流程图。
图3是根据实施例的用于预处理流水线的示例输入图像。
图4是根据实施例的用于预处理流水线的示例输入3D数据。
图5A和图5B图示了根据实施例的示例预处理输出，其中从3D数据导出的图像和DSM与网格轴对准，在建筑物周围被裁剪并且彼此对准。
图6是根据实施例的预处理流水线的流程图。
图7图示了根据实施例的应用于3D数据以生成3D网格的“无尖峰”三角测量算法的结果。
图8A和图8B图示了根据实施例的配准过程，由此DSM和图像被对准。
图9A-图9C图示了根据实施例在图像和DSM上分开使用语义分割技术来预测建筑结构、树木和背景，然后使用互相关来计算图像和DSM对准的位置。
图10A和图10B图示了根据实施例的从图像生成建筑蒙版。
图11A和图11B图示了根据实施例的使用建筑物蒙版来获得建筑物的范围并裁剪图像使得建筑物在图像中居中并且与网格轴对准。
图12是根据实施例的从经预处理的图像和DSM产生3D建筑物模型的重构过程的流程图。
图13图示了根据实施例的由神经网络使用实例分割技术为每个屋顶平面生成的输出蒙版。
图14图示了根据实施例的使用启发法和多边形拟合将屋顶平面转换成多边形，然后使用DSM将二维(2D)多边形投影到3D多边形中。
图15A和图15B图示了根据实施例的用于在数据库中找到匹配的屋顶类型模板然后将模板覆盖在图像上的非参数检索技术。
图16A-图16C图示了根据实施例的使用神经网络来预测屋顶中每个节点的偏移量以调整屋顶模板的内部结构以匹配图像。
图17图示了根据实施例的用于预测3D多边形的所有边的边类型的神经网络的输出。
图18图示了根据实施例的用于使用神经网络进行墙壁检测的替代技术，该替代技术用在替代多边形拟合算法中。
图19图示了根据实施例的替代多边形拟合算法，其中组合检测到的墙壁和屋顶平面并且确定它们之间的所有可能的交叉点。
图20图示了根据实施例的合成雷达技术，其中神经网络被用于从2D图像计算高度图，然后使用高度图将2D图像转换成建筑物的粗略3D模型。
图21图示了根据实施例的检测屋顶上的障碍物的技术。
图22是根据实施例的自动化的3D建筑物估计过程的流程图。
图23是根据实施例的用于图22的3D建筑物估计过程的预处理过程的流程图。
图24A和图24B是根据实施例的用于图22的3D建筑物估计过程的重构过程的流程图。
图25A和图25B是图示根据实施例的用于移除屋顶面之间的间隙的捕捉算法的前后图像。
图26是根据实施例的覆盖示出无间隙屋顶面的图像的2D网格的俯视图。
图27图示了根据实施例的通过针对3D建筑物模型、障碍物和周围环境的射线追踪的遮荫。
图28是根据实施例的使用如参考图1-27所述生成的估计的3D建筑物模型的自动化的太阳能系统设计的过程流。
图29是用于实现参考图1-图28描述的特征和过程的计算机体系架构的框图。
不同附图中使用的相同附图标记指示相像的元件。
具体实施方式
术语/附图的解释
在以下详细描述中，出于解释的目的，阐述了许多具体细节以提供对所公开实施例的透彻理解。但是，显然可以在没有这些具体细节的情况下实践所公开的实施例。在其它情况下，众所周知的结构和设备以框图形式示出以避免不必要地混淆本发明。
在附图中，为了便于描述，示出了示意性元素的具体布置或排序，诸如表示设备、模块、指令块和数据元素的布置或排序。但是，本领域技术人员应当理解的是，附图中示意性元素的特定排序或布置并不意味着暗示要求特定的处理次序或顺序，或过程的分离。另外，在附图中包括示意性元素并不意味着暗示在所有实施例中都要求这种元素或者由这种元素表示的特征可以不包括在一些实施例中或在一些实施例中与其它元素组合。
另外，在连接元素(诸如实线或虚线或箭头)用于图示两个或更多个其它示意性元素之间的连接、关系或关联的附图中，缺少任何此类连接元素并不意味着暗示可以不存在任何连接、关系或关联。换句话说，元素之间的一些连接、关系或关联未在附图中示出，以免混淆本公开。此外，为了便于说明，使用单个连接元素来表示元素之间的多个连接、关系或关联。例如，在连接元素表示信号、数据或指令的通信的情况下，本领域技术人员应当理解的是，根据需要，这种元素表示一个或多个信号路径(例如，总线)以影响通信。
下文中描述了几个特征，这些特征中的每一个都可以彼此独立地使用或与其它特征以任何组合一起使用。但是，任何个体特征可能无法解决以上讨论的任何问题或可能仅解决以上讨论的问题之一。上面讨论的问题中的一些可能无法通过本文描述的任何特征来完全解决。虽然提供了标题，但与特定标题相关但未在具有该标题的部分中找到的信息也可以在本描述的其它地方找到。
如本文所使用的，术语“一个或多个”包括由一个元件执行的功能、由多于一个元件执行的功能(例如，以分布式方式)、由一个元件执行的若干功能、由若干元件执行的若干功能，或以上的任何组合。还将理解的是，虽然在一些情况下术语第一、第二等在本文中用于描述各种元素，但这些元素不应受这些术语的限制。这些术语仅用于区分一个元素与另一个元素。例如，可以将第一联系人称为第二联系人，并且类似地，可以将第二联系人称为第一联系人，而不脱离所描述的各种实施例的范围。第一联系人和第二联系人都是联系人，但它们不是同一个联系人。在本文中描述的各种实施例的描述中使用的术语仅用于描述特定实施例的目的并且不旨在进行限制。
如在各种公开的实施例和所附权利要求的描述中使用的，单数形式“一个”、“一种”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解的是，如本文所使用的，术语“和/或”是指并涵盖相关联列出的项中的一个或多个中的任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时，术语“包括”指定陈述的特征、整数、步骤、操作、元素和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或它们的组的存在或添加。
如本文所使用的，根据上下文，术语“如果”可选地被解释为表示“当…时”或“在…时”或“响应于确定…”或“响应于检测到…”。类似地，短语“如果确定…”或“如果检测到[陈述的条件或事件]”可选地被解释为表示“在确定…时”或“响应于确定…”或“在检测到[陈述的条件或事件时]”或“响应于检测到[陈述的条件或事件]”，具体取决于上下文。
现在将详细参考所公开的实施例，其示例在附图中示出。在以下详细描述中，阐述许多具体细节以提供对所描述的各种实施例的透彻理解。但是，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种公开的实施例。在其它情况下，没有详细描述众所周知的方法、过程、组件、电路和网络，以免不必要地混淆所公开实施例的方面。
详细描述
图1图示了根据实施例的自动化的太阳能系统设计工具的图形用户界面(GUI)100。在所示示例中，GUI 100包括建筑物103的3D图像101，其地址由用户在文本框102中输入。导航控件105允许用户操纵3D图像的观看视角(例如，旋转，倾斜)。输出窗格104显示基于估计的3D建筑物模型的太阳能系统设计的性能模拟的结果，如下文更全面地描述的。在这个示例中，结果包括每月节省的美元、每月的百分比补偿和以千瓦(kW)为单位的系统规模。GUI可供性106允许用户请求太阳能系统的设计和/或安装的报价。
图2是根据实施例的用于估计3D建筑物模型的自动化的过程200的流程图。过程200以消耗模块202开始，消耗模块202搜集3D建筑估计、太阳能系统设计和模拟所需的各种数据。此类数据包括但不限于用户输入，诸如建筑物的输入地址、计费信息(例如，用户的平均每月能源成本)、公用事业费率以及来自消耗简档数据库的建筑物位置的消耗简档。消耗简档包括一年中每小时的能源消耗(以kWh为单位)。效用率可以在数据库中查找。系统使用能源消耗和公用事业费率计算每月的电力成本，每小时使用量以kWh为单位。
建筑物的输入地址被用于从诸如美国地质调查局地理信息系统(GIS)或专有数据库之类的地理数据库中获取建筑物的地理数据201(例如，图像、3D数据)。例如，3D数据可以是由光探测和测距(雷达)传感器生成的点云，或者使用摄影测量和合成雷达获得的点云。3D数据可以是数字表面模型(DSM)的形式，它是通过将点云数据光栅化为2D网格/图像来生成的，以便可以用2D图像数据对其进行预处理，如下面进一步详细描述的。经预处理的图像和DSM被输入到重构模块203中，重构模块203估计3D建筑物模型并识别任何屋顶障碍物。接下来，估计的3D建筑模块和屋顶障碍物被输入到遮荫模块204中，该遮荫模块204使用模拟来确定屋顶必须暴露在阳光下的量。遮荫模块204的输出(例如，辐照度数据)被输入到自动化的太阳能系统设计模块205中，该模块205基于估计的3D建筑物模型和遮荫模块输出自动构建虚拟太阳能系统。然后可以使用模拟模块206模拟虚拟太阳能系统以确定其性能。
在分离的处理流水线中，由消耗模块202输出的数据(例如，能源消耗简档、效用率)和来自模拟模块206的性能结果(例如，功率输出)被输入到财务模拟207中，用于生成各种财务数据，包括但不限于每月储蓄和抵消，如图1的GUI 100中所示。
图3是根据实施例的用于预处理流水线的示例输入图像300。预处理流水线的目标是获取任意图像和3D数据，并将图像和数据转换成神经网络在重构期间易于处置的标准格式。图像300是可以使用任何合适的方式(包括但不限于固定翼飞机、直升机、无人驾驶飞行器(又名“无人机”)、卫星、气球、飞艇和飞艇、火箭、鸽子、风筝、降落伞、独立伸缩和车载杆)捕获的2D航拍图像。针对特定输入地址的图像可以存储在加索引的数据库中，诸如GIS或专有数据库。
图4是根据实施例的用于预处理流水线的示例输入3D数据。所示示例是雷达点云，它是表示3D形状或特征的点的集合。在实施例中，可以过滤未加工的点云数据以在用于3D建筑物估计之前移除由传感器噪声引起的任何离群值点。此类过滤技术可以是基于统计的、基于邻域的、基于投影的、基于信号处理的或基于偏微分方程(PDF)的。一些示例过滤技术包括但不限于：体素网格(VG)过滤器、基于法线的双边过滤器(NBF)、移动最小二乘法(MLS)、加权局部最优投影(WLOP)、边缘感知重采样(EAR)和L0最小化(L0)。如前所述，可以将雷达点云拟合到2D网格以产生DSM或高度图。
图5A和图5B图示了根据实施例的示例预处理输出，其中从3D数据导出的图像和DSM与网格轴对准，在建筑物周围被裁剪并且彼此对准。如图所示，建筑物的被裁剪的图像和DSM都与网格并且彼此轴对准。
图6是根据实施例的预处理流水线600的流程图。在预处理流水线600的雷达预处理路径中，使用“无尖峰”三角测量方法从雷达数据生成3D网格，诸如在AnahitaKhosravipour等人的Generating spike-free digital surface models using LiDARraw point clouds:A new approach for forestry applications.InternationalJournal of Applied Earth Observation and Geoinformation,52:104-114,2016年6月5日中描述的。
术语“无尖峰”是指该方法为树生成平滑网格的方式。3D网格被光栅化为DSM或高度图/图像。因为图像和雷达数据一开始没有对准，所以建筑物的DSM(高度图)和航空图像被输入到配准模块602中，以将雷达数据和航空图像与网格对准并相互对准。图7图示了根据实施例的应用于3D雷达数据以生成3D网格的“无尖峰”三角测量算法的结果。图8A和图8B图示了根据实施例的DSM和图像对准的配准过程。
并发地，在图像预处理路径中，图像被输入到建筑物分割模块602中。建筑物分割模块602使用已知的图像语义分割技术将航拍图像的每个像素标记为建筑物或非建筑物，从而产生建筑物蒙版，如图10A和图10B中所示。Liang-Chieh Chen等人的Encoder-Decoderwith Atrous Separable Convolution for Semantic Image Segmentation.https://arxiv.org/abs/1802.02611v3描述了示例图像语义分割算法。
然后将建筑物蒙版和对准的DSM/图像输入到定向和裁剪模块604。定向和裁剪模块604使用建筑物蒙版内的雷达数据来计算每个屋顶面的朝向。在替代实施例中，神经网络被用于预测屋顶面朝向。例如，雷达数据被用于计算整个屋顶的主要朝向，然后将那个朝向“捕捉”到90度网格上。建筑物蒙版还被用于获得建筑物的基本范围并裁剪图像，以使建筑物在图像中居中并且轴对准，如图11A和图11B中所示。在预处理之后，图像和DSM被正确格式化以输入到一个或多个神经网络(诸如卷积神经网络(CNN)或任何其它合适的神经网络)中，用于重构3D建筑物模型，特别是3D屋顶模型。
图9A-图9C进一步图示了在图像901和DSM 902上分别使用语义分割技术来预测建筑结构903、树904和背景。根据实施例，互相关用于计算图像和DSM对准的位置，如图9C中所示，其中光斑905指示两个图像的像素更紧密对准的位置。Briechle、Kai和Uwe D.Hanebeck的Template matching using fast normalized cross correlation.Optical PatternRecognition XII.第4387卷.International Society for Optics and Photonics,2001中描述了一种示例互相关技术。
可替代地，图像901和DSM 902被馈送到经训练以预测两个图像之间的数值偏移量的神经网络，诸如在Sergey Zagoruyko、Nikos Komodakis的Learning to Compare ImagePatches Via Convolutional Neural Networks.CVPR.2015.7299064中所描述的。代替预测相似性值，预测图像与DSM之间的x/y偏移量值。
图12是根据实施例的从经预处理的图像和DSM产生3D建筑物模型的重构过程的流程图。经预处理的图像/DSM被输入屋顶面分割模块1203中。屋顶面分割模块1203使用神经网络使用实例分割为每个屋顶面生成蒙版，诸如在Davy Neven等人的InstanceSegmentation by Jointly Optimizing Spatial Embeddings and ClusteringBandwidth.(https://arxiv.org/abs/1906.11109v1)中所描述的。
图13图示了由神经网络使用实例分割技术生成的示例屋顶面蒙版1301-1311。在生成屋顶面蒙版之后，将蒙版输入到多边形拟合模块1204中，该模块使用基本启发法将蒙版转换成2D多边形并移除不连续性。雷达数据然后被用于使用RANSAC拟合将2D多边形投影到3D多边形中，如Yang、Michael Ying和Wolfgang
Figure BDA0003894655200000111
的Plane detection inpoint cloud data.Proceedings of the 2ndintconf on machine control guidance,Bonn.第1卷.2010中所述。在替代实施例中，神经网络被用于从2D多边形预测3D多边形。
通过将屋顶面蒙版简单地转换成多边形，可以在屋顶面之间引入间隙，如图25A中所示。通过生成2D网格而不是分离的多边形，可以生成无间隙的2D屋顶面，如图25B中所示。在实施例中，语义分割技术被用于预测图像中每个像素的边和节点概率。然后使用Poisson圆盘采样沿着节点、边以及在图像上均匀地选择点，如Cook、Robert L.的StochasticSampling in Computer Graphics.ACM transactions on Graphics,5,1986年1月1日，第51-72页中所述。
改变圆盘半径以在节点和边处进行更密集的采样。然后执行Delaunay三角测量以生成2D网格。2D网格中的每个三角形都根据其屋顶面进行标注。通过将2D网格中的所有三角形与给定的屋顶面标签组合，为相邻屋顶面之间没有间隙的每个屋顶面2501-2507提取多边形，如图25B中所示。图26是根据实施例的覆盖示出无间隙屋顶面的图像的2D网格的俯视图。
图14图示了使用启发法和多边形拟合将屋顶平面转换成多边形，然后使用3D数据将2D多边形投影到3D多边形中。一旦生成了3D多边形，每个多边形的边就被选择为“方位角边”，并被指派高度和节距以定义3D平面。例如，当2D多边形投影到3D多边形中时，平面被迫指向相对于占优势的屋顶朝向(左、右、上、下)的四个基本方向之一。对于每个可能的方向，确定平面的坡度和高度，因为方位角/方向是固定的。然后选择最佳拟合的方向、坡度和高度。对于朝南的屋顶面，将有东西走向的边，该边是平坦的并且其方向垂直于平面的方位角方向。沿着边的任何点都可以被用于绘制具有给定高度和坡度的平面，使得边位于平面上。
图12中所示的屋顶面分割流水线的最后一步是将3D多边形输入边类型检测模块1202。边类型检测模块1202使用神经网络和已知的图像语义分割技术来预测3D多边形的所有边的边类型。边类型的示例包括但不限于：屋檐、耙(rake)、脊、谷和屋脊。Liang-ChiehChen等人的Encoder-Decoder with Atrous Separable Convolution for SemanticImage Segmentation.(https://arxiv.org/abs/1802.02611v3)描述了一种示例图像语义分割技术。
图17图示了根据实施例的用于预测3D多边形的所有边的边类型的神经网络的输出。预测的边类型用于定义壁阶。例如，太阳能电池面板不应当放置在屋顶面的边附近，以允许消防员进入等。
在分离的屋顶面过程中，搜索屋顶模板数据库1206以寻找匹配的屋顶模板。在实施例中，该过程包括：1)如前所述对图像进行轴对准；2)计算图像的嵌入；3)在数据库1206中找到与基于嵌入重构的屋顶相似的屋顶模板；4)找到屋顶模板的高度、宽度、长度和位置；5)在屋顶图像上覆盖屋顶模板；6)调整屋顶模板的内部结构以匹配屋顶形象；以及7)检查屋顶模板是否比由屋顶面分割模块1203生成的屋顶面更准确。在检查步骤之后，选择经调整的屋顶模板或由屋顶面分割模块1203生成的屋顶面之一以包括在估计的3D屋顶模型中。在实施例中，上面的步骤2和3使用已知的度量学习技术来检索屋顶模板，诸如在Florian Schroff等人的FaceNet:A Unified Embedding for Face Recognition andClustering(https://arxiv.org/abs/1503.03832)中描述的。
图15A和图15B图示了上述非参数检索技术。在步骤6中，使用神经网络来预测屋顶中每个节点的偏移量，以调整屋顶模板的内部结构以匹配图像，如图16A-图16C中所示。
在上述过程中，嵌入是由神经网络产生的N维向量(例如，N＝64)。神经网络被训练，使得如果两个屋顶相似，那么它们的嵌入在嵌入空间中将变得接近，而如果它们不相似，那么它们的嵌入将相距远。在步骤4中，模板的尺寸是已知的并且目标屋顶的尺寸是使用前面描述的分割/对准流水线估计的。
图18和图19图示了根据实施例的用于使用神经网络进行具有多边形拟合算法的墙壁检测的替代技术。神经网络首先被用于预测包含屋顶图像的图像网格的每一行和每一列，无论该行/列是否有墙。然后使用多边形拟合算法通过组合所有墙壁和屋顶平面并找到它们之间所有可能的交叉点来重构屋顶。然后使用优化来选择最准确的屋顶结构。Nan、Liangliang和Peter Wonka的Polyfit:Polygonal surface reconstruction from pointclouds.Proceedings of the IEEE International Conference on ComputerVision.2017中描述了一种示例多边形拟合算法。
图20图示了根据实施例的合成雷达技术，其中神经网络被用于从2D图像计算高度图，然后使用高度图将2D图像转换成建筑物的粗略3D模型。如Srivastava、Shivangi、Michele Volpi和Devis Tuia的Joint height estimation and semantic labeling ofmonocular aerial images with CNNs.IEEE International Geoscience and RemoteSensing Symposium(IGARSS).2017所述，这种技术可以在没有任何3D数据的情况下仅从图像执行重构。
图21图示了根据实施例的检测屋顶上的障碍物的技术。参考图12，图像和DSM被输入到障碍物检测模块1204中，该模块输出屋顶障碍物。在实施例中，障碍物检测模块1204包括神经网络，该神经网络被训练以使用实例分割技术来预测屋顶障碍物，诸如在He、Kaiming等人的Mask R-CNN.Proceedings of the IEEE International Conference onComputer Vision,2017中所描述的。这些屋顶障碍物示出无法安装太阳能电池面板的位置以及会在太阳能电池面板上投下阴影的物体。
返回去参考图2，过程流200通过基于估计的屋顶模型、来自遮荫/辐照度模型的遮荫/辐照度数据(每单位面积的辐射能的通量)、组件数据库和用户偏好自动生成虚拟太阳能系统来继续进行，如参考图28所述。
组件数据库包括商用太阳能装备和硬件的数据表和价目表，包括但不限于：太阳能电池面板、逆变器、监视装备、机架和安装硬件(例如，导轨、闪光灯、接线片、安装支架、线夹、接头套件、撑杆、端盖、附件、倾斜腿)、平衡硬件(例如，DC/AC断开器、接线盒、汇流箱、断路器、保险丝、负载中心、快速关闭、浪涌设备)、电线、充电控制器、电池等。
然后使用性能模拟206来模拟系统设计以确定系统设计的电气性能。由性能模拟产生的性能数据与公用事业费率数据和用户消费概况一起使用，以确定对消费者或专业太阳能电池面板安装人员有用的每月成本节省、每月补偿和其它财务数据。性能模拟206使用根据参考图27描述的方法计算的辐照度值。给定每个面板上的辐照度的量，估计每个面板产生的电流的量。使用电路建模，系统为所有连接成串的太阳能电池面板生成组合IV曲线。然后通过找到最大功率点并估计转换成AC电力的效率来模拟逆变器，以最终获得每小时的能量输出(以kWh为单位)。例如，对于所模拟年份的每小时或N分钟增量(例如，N＝15)执行这个计算。
在实施例中，在消耗步骤中使用的能量消耗剖面和公用事业费率被用于在安装太阳能系统之前计算建筑物的能量成本。从太阳能发电量中减去能源消耗，以得到所模拟年份的每小时的太阳能后能源消耗。然后计算新消耗值的每月账单。通过比较这两个账单，计算安装太阳能系统每月节省的费用。
在实施例中，可以运行进一步的模拟来计算不同融资方案(如现金购买、贷款和租赁)下的投资回报率(ROI)、净现值(NPV)和年度现金流。
示例过程
图22是根据实施例的自动化的3D建筑物估计过程2200的流程图。可以使用参考图29描述的计算机体系架构2900来实现过程2200。
过程2200开始于获得建筑物地址、公用事业费率和计费信息(2201)并获得用于建筑物地址的3D数据和图像数据(2202)。在实施例中，建筑物地址由用户通过在线自动化的3D建筑物设计工具的GUI录入。在替代实施例中，例如，通过API以编程方式获得地址。在实施例中，公用事业费率可以从公用事业公司维护的公用事业费率数据库中获得，或者从第三方提供者(诸如美国加利福尼亚州旧金山的Genability Inc.)获得。在实施例中，图像数据和3D数据是从可以使用建筑物的建筑物地址检索到的图像和3D数据的公共或专有数据库获得的。在实施例中，3D数据是3D雷达数据。
过程2200通过使用3D数据和图像执行3D建筑物/屋顶估计(2203)，并基于3D建筑物/屋顶模型和检测到的屋顶障碍物确定可用屋顶面积(2204)来继续进行，如参考图2-图21所述。
过程2200通过基于可用屋顶面积和遮荫/辐照度模型确定太阳能电池面板在可用屋顶面积中的安装位置(2205)，并为安装位置自动设计虚拟太阳能系统(2206)来继续进行。
过程2200通过在安装位置执行虚拟太阳能系统的模拟以确定性能并生成度量(2207)来继续进行。
可以通过自动化的设计工具的GUI向用户显示这些度量(诸如每月的成本节省和补偿)，或者在报告中提供给客户或专业的太阳能电池面板安装人员。
图23是根据实施例的用于图22的3D建筑物估计过程的预处理过程2300的流程图。可以使用参考图29描述的计算机体系架构2900来实现过程2300。
过程2300开始于从3D网格生成DSM(2301)，如参考图5-图7所述。例如，可以使用雷达数据的无尖峰3D网格将DSM光栅化为2D图像。
过程2300通过将图像与DSM图像对准以使它们彼此对准(2302)来继续进行，如参考图6-图9所述。
过程2300通过从图像生成建筑物蒙版(2303)，并使用建筑蒙版和3D数据定向、裁剪并将图像和DSM与网格轴对准以确定每个屋顶面的朝向(2304)来继续进行，如所述参考图10-图11所述。建筑物蒙版也被用于获取建筑范围。
图24A和图24B是根据实施例的用于图22的3D建筑物估计过程的重构过程2400、2500的流程图。过程2400、2500可以使用参考图29描述的计算机体系架构2900来实现。
参考图24A，过程2400开始于执行屋顶面分割以获得2D屋顶面(2401)，然后使用图像和3D数据对2D屋顶面进行3D多边形拟合(2402)。例如，屋顶分割生成2D屋顶面，使用启发法将其拟合到2D多边形以移除不连续性，然后使用3D数据使用RANSAC拟合将其投影到3D多边形中。过程2400通过使用图像和DSM对3D多边形执行边类型检测(2404)来继续进行。边类型的示例包括但不限于：屋檐、耙、脊、谷和屋脊。边类型检测可以使用语义分割技术来实现。过程2400通过使用图像/DSM执行障碍物检测(2404)来继续进行。
参考图24B，过程2405开始于检索与图像/DSM匹配的屋顶模板(2406)，如参考图14所述，然后选择或者由分割产生的3D屋顶面或者作为屋顶的3D表示的屋顶模板(2407)。过程2400和2500可以并行或串行执行。
图27图示了根据实施例的通过针对3D建筑物模型、障碍物和周围环境的射线追踪的遮荫。在实施例中，使用针对建筑物2700、屋顶障碍物及其周围环境的3D模型的射线追踪来确定遮荫。雷达网格(从前面的无尖峰三角测量步骤生成)被用于对建筑物的周围环境进行建模，然后可以将阴影投射到建筑物上。对于屋顶上或太阳能电池面板上的给定点，系统会对所模拟年份的每小时计算太阳能电池面板是否处于阴影中。此外，系统通过将天气数据与遮荫信息相结合来计算辐照度。基于太阳能电池面板表面相对于太阳的角度，并且基于太阳能电池面板是否处于阴影中，系统为所模拟年份的每小时计算太阳光撞击到太阳能电池面板表面的量，单位为W/m2。
图28是根据实施例的使用如参考图1-图27所述生成的估计的3D建筑物模型的自动化的太阳能系统设计的过程流2800。
过程2800开始于基于期望的面板尺寸和间距确定所有可能的面板位置的网格(2801)。过程2800通过基于天气数据和场地(包括建筑物、屋顶障碍物及其周围环境)的3D模型计算每个太阳能电池面板位置在一年中每个小时的辐照度(2802)来继续进行。过程2800通过基于其电气特点和公用事业费率估计每个潜在面板将在一年中的每一小时产生多少节省(2803)来继续进行。过程2800通过计算最佳面板集合以最小化成本和最大化节省(2804)来继续进行。对于逆变器的每个潜在模型，过程2800通过确定逆变器的最佳数量以及太阳能电池面板彼此和逆变器的连接(2805)来继续进行。给定组合面板/逆变器系统，过程2800通过重新评估性能和节省来继续(2806)。重新评估步骤减少了由于简化早期步骤中的假设而引入的错误。重新评估步骤还评估布局的成本和美观性(例如，面板是矩形组还是不规则形状)。
过程2800的每个步骤顺序运行以使用整数线性规划生成单个最优设计。然后，使用遗传算法在每个步骤进行许多小修改并确定哪些配整体上为客户产生最佳设计。
示例系统体系架构
图29是用于实现参考图1-图28描述的特征和过程的计算机体系架构2900的框图。体系架构2900可以在运行从编译的指令得出的软件应用的任何电子设备上实现，电子设备包括但不限于个人计算机、服务器、智能电话、媒体播放器、电子平板电脑、游戏控制台、电子邮件设备等。在一些实施方式中，体系架构2900可以包括一个或多个处理器2902、一个或多个输入设备2904、一个或多个显示设备2906、一个或多个网络接口2908和一个或多个计算机可读介质2910。这些组件中的每一个通过一个或多个总线2912耦合。
显示设备2906可以是任何已知的显示技术，包括但不限于使用液晶显示器(LCD)或发光二极管(LED)技术的显示设备。处理器2902可以使用任何已知的处理器技术，包括但不限于图形处理器和多核处理器。
输入设备2904可以是任何已知的输入设备技术，包括但不限于键盘(包括虚拟键盘)、鼠标、轨迹球和触敏垫或显示器。在一些实施方式中，输入设备2904可以包括促进语音启用的功能(诸如语音到文本、说话者识别、语音复制、数字记录和电话功能)的麦克风。输入设备2904可以被配置为促进处理语音命令、声纹和语音认证。在一些实施方式中，由输入设备2904记录的音频被传输到外部资源以进行处理。例如，由输入设备2904记录的语音命令可以被传输到网络资源，诸如对语音命令执行语音识别的网络服务器。
总线2912可以是任何已知的内部或外部总线技术，包括但不限于ISA、EISA、PCI、PCI Express、NuBus、USB、串行ATA或FireWire。
计算机可读介质2910可以是参与向处理器2902提供指令以供执行的任何介质，包括但不限于非易失性存储介质(例如，光盘、磁盘、闪存驱动器等)或易失性存储介质(例如，SDRAM、ROM等)。计算机可读介质2910可以包括用于实现操作系统2913(例如，Mac
Figure BDA0003894655200000181
Linux)的各种指令2914。操作系统2913可以是多用户、多处理、多任务、多线程、实时等。操作系统2913执行基本任务，包括但不限于：识别来自输入设备2904的输入；向显示设备2906发送输出；跟踪计算机可读介质2910上的文件和目录；控制可以直接或通过I/O控制器被控制的外围设备(例如，盘驱动器、打印机等)；以及管理总线2912上的业务。网络通信指令2914可以建立和维护网络连接(例如，用于实现通信协议(诸如TCP/IP、HTTP、以太网等)的软件)。
图形处理系统2915可以包括提供图形和图像处理能力的指令。例如，图形处理系统2915可以实现参考图1、图21A和图21B描述的GUI。
应用2916可以是使用或实现参考图1-图28描述的过程的应用。这些过程也可以在操作系统2913中实现。
在本公开的上下文中，上述特征和过程可以完全或部分地在包括存储在机器可读介质上的指令和数据的软件程序中实现。机器可读介质可以是可以包含或存储程序或数据以供指令执行系统、装置或设备使用或与其结合使用的任何有形介质。机器可读介质可以是机器可读存储介质。机器可读介质可以包括但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适组合。机器可读存储介质的更具体示例将包括具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适组合。
可以以一种或多种编程语言的任何组合来编写用于执行所公开的实施例的计算机程序代码。这些计算机程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，使得程序代码在由计算机或其它可编程数据处理装置的处理器执行时，使得实现流程图和/或框图中指定的功能/操作。程序代码可以完全在计算机上、部分在计算机上、作为独立软件包、部分在计算机上和部分在远程计算机上或完全在远程计算机或服务器上执行。
另外，虽然以特定次序描述操作，但这不应当被理解为要求以所示特定次序或按顺序次序执行此类操作，或执行所有所示操作以获得期望的结果。在某些情形下，多任务和并行处理可能是有利的。同样，虽然在上述讨论中包含若干具体的实施细节，但这些不应当被解释为对任何发明的范围或可以要求保护的内容的限制，而是对可以特定于特定发明的特定实施例的特征的描述。在本说明书中在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合实现。
当结合附图阅读时，鉴于前述描述，对本文所公开的前述示例实施例的各种修改、适应对于相关领域的技术人员而言将变得显而易见。任何和所有修改仍将落入本发明的非限制性和示例性实施例的范围内。此外，本领域技术人员将想到本文未公开的其它实施例，因为它们受益于前述描述和附图中呈现的教导。
在前面的描述中，本发明的实施例已经参考许多具体细节进行了描述，这些具体细节可以因实施而异。相应地，描述和附图被认为是说明性而不是限制性的。本本发明的范围的唯一且排他的指标以及申请人预期作为本发明的范围的内容是从本申请中发出的权利要求集合的字面和等同范围，以这种权利要求发出的具体形式，包括任何后续的更正。本文明确阐述的此类权利要求中包含的术语的任何定义均应管辖权利要求中使用的此类术语的含义。此外，当我们在前述描述或以下权利要求中使用术语“还包括”时，该短语之后的内容可以是附加步骤或实体，或先前列举的步骤或实体的子步骤/子实体。

Claims (22)

1.一种方法，包括：
使用一个或多个处理器，基于输入地址获得建筑物的航拍图像；
使用所述一个或多个处理器，基于输入地址获得包含建筑物的三维(3D)数据；
对航拍图像和3D数据进行预处理；
使用所述一个或多个处理器，从经预处理的图像和3D数据重构3D建筑物模型，重构包括：
使用实例分割来预测用于每个屋顶面的蒙版；
将每个屋顶面转换成二维(2D)多边形；以及
将每个2D多边形投影到表示3D建筑物模型的3D多边形中。
2.如权利要求1所述的方法，其中重构3D建筑物模型还包括：
计算用于图像的嵌入；
基于该嵌入找到存储在数据库中与图像匹配的屋顶模型；
基于屋顶模型确定屋顶的高度、宽度、长度、朝向和位置；
在嵌入的图像上覆盖屋顶模型；
调整屋顶模型的内部结构以与嵌入的图像匹配；
将经调整的屋顶模型与屋顶面蒙版进行比较；以及
选择经调整的屋顶模型或屋顶面蒙版之一以包括在3D建筑物模型中。
3.如权利要求1所述的方法，其中对航拍图像和3D数据进行预处理还包括：
从3D数据生成3D网格；
使用3D网格生成建筑物的数字表面模型(DSM)；
将图像与DSM对准；
从图像生成建筑蒙版；
使用带有建筑物蒙版的3D数据来计算建筑物的每个屋顶面的朝向；
将每个屋顶面的朝向捕捉到网格；
使用建筑物蒙版获得建筑物的范围；以及
裁剪图像使得建筑物在图像中居中并与网格轴对准。
4.如权利要求1所述的方法，其中将图像与DSM对准还包括：
使用语义分割来预测图像和DSM中的建筑物、树和背景；以及
将图像中的建筑物、树和背景的位置与DSM中的建筑物、树和背景的位置互相关，以确定图像中使图像与DSM对准的位置。
5.如权利要求4所述的方法，其中语义分割被分别应用于图像和DSM。
6.如权利要求1所述的方法，其中将图像与DSM对准还包括：
将图像和DSM馈入神经网络，该神经网络被训练以预测两个图像之间的数值偏移量；以及
使用预测的数值偏移量将图像与DSM对准。
7.如权利要求1所述的方法，还包括：
使用图形用户界面(GUI)获得输入地址。
8.如权利要求1所述的方法，还包括：
使用所述一个或多个处理器和实例分割来检测屋顶障碍物；以及
使用3D建筑物模型和检测到的屋顶障碍物来确定建筑物的可用面积。
9.如权利要求8所述的方法，还包括：
使用所述一个或多个处理器基于遮荫模型的输出确定建筑物的可用面积中安装太阳能电池面板的位置；以及
使用所述一个或多个处理器计算覆盖该位置所需的太阳能电池面板的数量和尺寸。
10.如权利要求9所述的方法，还包括：
使用所述一个或多个处理器估计太阳能电池面板的输出功率；以及
使用所述一个或多个处理器基于太阳能电池面板的数量和尺寸、太阳能电池面板的输出功率和建筑物的平均能源成本来估计一个或多个财务或成本节省度量。
11.如权利要求10所述的方法，还包括：
使用图形用户界面(GUI)来显示一个或多个财务或成本节省度量和估计的功率输出。
12.一种系统，包括：
一个或多个处理器；
存储器，耦合到所述一个或多个处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，包括：
基于输入地址获得包含建筑物的三维(3D)数据；
对航拍图像和3D数据进行预处理；
从经预处理的图像和3D数据重构3D建筑物模型，重构包括：
使用实例分割来预测用于每个屋顶面的蒙版；
将每个屋顶面转换成二维(2D)多边形；
将每个2D多边形投影到表示3D建筑物模型的3D多边形中。
13.如权利要求12所述的系统，其中操作还包括：
计算用于图像的嵌入；
基于该嵌入找到存储在数据库中与图像匹配的屋顶模型；
基于屋顶模型确定屋顶的高度、宽度、长度、朝向和位置；
在嵌入的图像上覆盖屋顶模型；
调整屋顶模型的内部结构以与嵌入的图像匹配；
将经调整的屋顶模型与屋顶面蒙版进行比较；以及
选择经调整的屋顶模型或屋顶面蒙版之一以包括在3D建筑物模型中。
14.如权利要求12所述的系统，其中对航拍图像和3D数据进行预处理还包括：
从3D数据生成无尖峰的3D网格；
使用3D网格生成建筑物的数字表面模型(DSM)；
将图像与DSM对准；
从图像生成建筑蒙版；
使用带有建筑物蒙版的3D数据来计算建筑物的每个屋顶面的朝向；
将每个屋顶面的朝向捕捉到网格；
使用建筑物蒙版获得建筑物的范围；以及
裁剪图像使得建筑物在图像中居中并与网格轴对准。
15.如权利要求12所述的系统，其中将图像与DSM对准还包括：
使用语义分割来预测图像和DSM中的建筑物、树和背景；以及
将图像与DSM互相关，以确定将图像与DSM对准的位置。
16.如权利要求15所述的系统，其中语义分割被分别应用于图像和DSM。
17.如权利要求12所述的系统，其中将图像与DSM对准还包括：
将图像和DSM馈入神经网络，该神经网络被训练以预测两个图像之间的数值偏移量；以及
使用预测的数值偏移量将图像与DSM对准。
18.如权利要求12所述的系统，操作还包括：
使用图形用户界面(GUI)获得输入地址。
19.如权利要求12所述的系统，操作还包括：
使用所述一个或多个处理器和实例分割来检测类似屋顶障碍物；以及
使用3D建筑物模型和检测到的屋顶障碍物来确定建筑物的可用面积。
20.如权利要求19所述的系统，操作还包括：
使用所述一个或多个处理器基于遮荫模型的输出确定建筑物的可用面积中安装太阳能电池面板的位置；以及
使用所述一个或多个处理器计算覆盖该位置所需的太阳能电池面板的数量和尺寸。
21.如权利要求20所述的系统，操作还包括：
使用所述一个或多个处理器估计太阳能电池面板的输出功率；以及
使用所述一个或多个处理器基于太阳能电池面板的数量和尺寸、太阳能电池面板的输出功率和建筑物的平均能源成本来估计一个或多个财务或成本节省度量。
22.如权利要求21所述的系统，操作还包括：
使用图形用户界面(GUI)来显示一个或多个财务或成本节省度量和估计的功率输出。
CN202180029173.4A 2020-02-28 2021-02-26 自动化的三维建筑物模型估计 Pending CN115427946A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062983509P 2020-02-28 2020-02-28
US62/983,509 2020-02-28
PCT/US2021/020090 WO2021174125A1 (en) 2020-02-28 2021-02-26 Automated three-dimensional building model estimation

Publications (1)

Publication Number Publication Date
CN115427946A true CN115427946A (zh) 2022-12-02

Family

ID=77463883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029173.4A Pending CN115427946A (zh) 2020-02-28 2021-02-26 自动化的三维建筑物模型估计

Country Status (6)

Country Link
US (1) US11830137B2 (zh)
EP (1) EP4111333A4 (zh)
CN (1) CN115427946A (zh)
AU (1) AU2021228229B2 (zh)
CA (1) CA3173791A1 (zh)
WO (1) WO2021174125A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911002A (zh) * 2023-07-03 2023-10-20 中建三局总承包建设有限公司 一种基于bim和点云技术的装配式机房虚拟预拼装方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500858B2 (en) * 2020-04-08 2022-11-15 International Business Machines Corporation Generating three-dimensional spikes using low-power computing hardware
EP3929681B1 (fr) * 2020-06-26 2024-05-08 Atos France Procede et systeme de modelisation d'un espace industriel en realite augmentee
WO2022081717A1 (en) * 2020-10-13 2022-04-21 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
FR3127834A1 (fr) * 2021-10-06 2023-04-07 Totalenergies Se Procédé de détermination d’un arrangement de panneaux photovoltaïques sur des zones d’un territoire
US20240176921A1 (en) * 2021-11-29 2024-05-30 Speed of Light Ops, LLC (dba SOLO) Systems and methods to propose a solar project
AU2023236283A1 (en) * 2022-03-15 2024-10-10 Eagle View Technologies, Inc. Systems and methods for digital surface model reconstruction from images using artificial intelligence
AU2023240957A1 (en) * 2022-03-23 2024-10-03 Aurora Solar Inc. Automated three-dimensional building model estimation
CN114913291A (zh) * 2022-05-25 2022-08-16 深圳博浩远科技有限公司 一种光伏电站自动布板方法及系统
CN116188716B (zh) * 2022-12-09 2024-07-16 北京城建集团有限责任公司 不规则复杂建筑物三维模型重建方法及装置
US20240233261A1 (en) * 2023-01-10 2024-07-11 Ecopia Tech Corporation Vector data projection and feature matching to determine three-dimensional structure
CN115830762A (zh) * 2023-01-17 2023-03-21 四川三思德科技有限公司 一种平安社区出入口管控平台、管控方法及管控终端
CN116578915B (zh) * 2023-04-11 2024-06-11 广州极点三维信息科技有限公司 一种基于图神经网络的结构化户型解析方法和系统
CN116363319B (zh) * 2023-06-01 2023-08-04 浙江国遥地理信息技术有限公司 一种建筑物屋顶的建模方法、建模装置、设备及介质
CN116958455B (zh) * 2023-09-21 2023-12-26 北京飞渡科技股份有限公司 基于神经网络的屋顶重建方法、装置及电子设备
CN117830856B (zh) * 2024-01-24 2024-06-04 青岛华正信息技术股份有限公司 一种园区环境监测图像智能优化方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW550521B (en) 2002-02-07 2003-09-01 Univ Nat Central Method for re-building 3D model of house in a semi-automatic manner using edge segments of buildings
US8209152B2 (en) * 2008-10-31 2012-06-26 Eagleview Technologies, Inc. Concurrent display systems and methods for aerial roof estimation
US20140132635A1 (en) * 2012-11-09 2014-05-15 Ali Murdoch Systems and methods for roof area estimation
US10089418B2 (en) * 2014-01-14 2018-10-02 Here Global B.V. Structure model segmentation from a three dimensional surface
US10373011B2 (en) 2015-08-26 2019-08-06 Onswitch Llc Automated accurate viable solar area determination
CN105050145B (zh) 2015-08-31 2018-12-25 宇龙计算机通信科技(深圳)有限公司 带宽设置切换方法及装置
US10127670B2 (en) * 2016-09-27 2018-11-13 Xactware Solutions, Inc. Computer vision systems and methods for detecting and modeling features of structures in images
US11200433B2 (en) * 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
US10503843B2 (en) 2017-12-19 2019-12-10 Eagle View Technologies, Inc. Supervised automatic roof modeling
US11514644B2 (en) 2018-01-19 2022-11-29 Enphase Energy, Inc. Automated roof surface measurement from combined aerial LiDAR data and imagery
WO2019241776A1 (en) * 2018-06-15 2019-12-19 Geomni, Inc. Computer vision systems and methods for modeling roofs of structures using two-dimensional and partial three-dimensional data
EP3807848A4 (en) * 2018-06-15 2022-03-09 Geomni, Inc. SYSTEMS AND METHODS FOR IMPROVED PARAMETRIC MODELING OF STRUCTURES
US10366287B1 (en) * 2018-08-24 2019-07-30 Loveland Innovations, LLC Image analysis and estimation of rooftop solar exposure
US10754999B1 (en) * 2019-04-05 2020-08-25 Sunpower Corporation Generating a photovoltaic system design for a building
US11074701B2 (en) * 2019-12-13 2021-07-27 Reconstruct Inc. Interior photographic documentation of architectural and industrial environments using 360 panoramic videos
US20220215622A1 (en) 2020-02-28 2022-07-07 Aurora Solar Inc. Automated three-dimensional building model estimation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116911002A (zh) * 2023-07-03 2023-10-20 中建三局总承包建设有限公司 一种基于bim和点云技术的装配式机房虚拟预拼装方法

Also Published As

Publication number Publication date
US11830137B2 (en) 2023-11-28
AU2021228229B2 (en) 2024-02-01
EP4111333A4 (en) 2024-07-24
US20210272358A1 (en) 2021-09-02
EP4111333A1 (en) 2023-01-04
AU2021228229A1 (en) 2022-09-22
WO2021174125A1 (en) 2021-09-02
CA3173791A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US11830137B2 (en) Automated three-dimensional building model estimation
US20220215622A1 (en) Automated three-dimensional building model estimation
Si et al. Photovoltaic power forecast based on satellite images considering effects of solar position
Nguyen et al. Incorporating shading losses in solar photovoltaic potential assessment at the municipal scale
US10445439B2 (en) Construction design support apparatus and construction design support method for photovoltaic power generation facilities
US9171108B2 (en) Solar panel deployment configuration and management
US20210279378A1 (en) Photovoltaic device simulation method and system, and program
CN111079073A (zh) 一种建筑物三维太阳能潜力计算方法
WO2023183248A1 (en) Automated three-dimensional building model estimation
Nguyen et al. Automated quantification of solar photovoltaic potential in cities Overview: A new method to determine a city's solar electric potential by analysis of a distribution feeder given the solar exposure and orientation of rooftops.
US20130158954A1 (en) Method and system for optimizing the configuration of a solar power system
CA3123834A1 (en) Method and system for determining solar access of a structure
CN116187807A (zh) 光伏发电量评估方法、装置、计算机设备、介质和产品
Vega-Garita et al. A practical method for considering shading on photovoltaics systems energy yield
Salimzadeh et al. High-level framework for GIS-based optimization of building photovoltaic potential at urban scale using BIM and LiDAR
US20230169235A1 (en) Systems and methods to propose a project
CN116192005A (zh) 基于微时空尺度辐照预测的光伏跟踪方法、系统及介质
Aslani et al. A Spatially Detailed Approach to the Assessment of Rooftop Solar Energy Potential based on LiDAR Data.
Goroshin et al. Estimating Residential Solar Potential Using Aerial Data
Bill et al. 3D Model for Solar Energy Potential on Buildings from Urban LiDAR Data.
WO2020125358A1 (zh) 一种通过无人机航拍确定太阳能电站的安装方案的方法
Freitas et al. Validation of a facade PV potential model based on LiDAR data
US20240312138A1 (en) Method and system for modeling roof in a geographical location using digital surface model data
Zheng et al. Assessing solar energy potential and building energy use in Indianapolis using geospatial techniques
Radovan et al. Solar Irradiance Forecast Based on Cloud Movement Prediction. Energies 2021, 14, 3775

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination