CN114357598A - 用于生成建筑物映射信息的自动工具 - Google Patents

用于生成建筑物映射信息的自动工具 Download PDF

Info

Publication number
CN114357598A
CN114357598A CN202111195315.2A CN202111195315A CN114357598A CN 114357598 A CN114357598 A CN 114357598A CN 202111195315 A CN202111195315 A CN 202111195315A CN 114357598 A CN114357598 A CN 114357598A
Authority
CN
China
Prior art keywords
room
rooms
information
candidate
floor plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111195315.2A
Other languages
English (en)
Inventor
李宇光
皮埃尔·穆隆
兰伯特·E·威克森
克里斯托弗·布勒
伊瓦伊洛·博亚吉耶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mftb Co ltd
Pushsabo I Co
Original Assignee
Zillow LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zillow LLC filed Critical Zillow LLC
Publication of CN114357598A publication Critical patent/CN114357598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multi-Process Working Machines And Systems (AREA)
  • Automatic Tool Replacement In Machine Tools (AREA)

Abstract

描述了用于计算设备执行自动操作的技术,所述自动操作涉及使用在建筑物中获取的图像作为生成建筑物的楼层平面图的一部分,在一些情况下不使用来自深度感测设备的关于从图像获取位置到周围建筑物中的对象的距离的深度信息,并且用于随后进一步以自动方式使用,例如控制移动设备的导航和/或用于在相应的GUI(图形用户界面)中显示给最终用户。在一些情况下,MIGM系统与MIGM系统操作员用户交互,例如通过显示示出与图像相关的信息和/或生成的楼层平面图的GUI,以及通过接收和使用用户经由GUI提交的输入来帮助生成楼层平面图,例如指定经由房间的特定房间间墙壁开口的特定房间之间的互连。

Description

用于生成建筑物映射信息的自动工具
技术领域
以下公开大体涉及使用自动工具和相关技术来分析和使用在限定 区域中获取的图像,作为生成该区域的映射信息的部分,以便使用在 建筑物处获取的图像以及随后以一种或多种方式使用所生成的映射信 息来生成该建筑物的楼层平面图。
背景技术
在各种领域和环境中,例如建筑分析、财产检查、房地产获取和 开发、重塑和改进服务、总承包和其它环境,可能希望查看关于房屋、 办公室或其它建筑物的内部的信息,而不必物理地行进到和进入建筑 物,包括确定关于建筑物的实际建造信息,而不是来自建造建筑物之 前的设计信息。然而,可能难以有效地捕获、表示和使用这样的建筑 物内部信息,包括向位于远程位置的用户显示在建筑物内部捕获的可 视信息(例如,使用户能够完全理解内部的布局和其它细节,包括以 用户选择的方式控制显示)。另外,尽管建筑物的楼层平面图可提供关 于建筑物内部的布局和其它细节的一些信息,但是在某些情况下使用这种楼层平面图有一些缺点,包括难以构造和维护楼层平面图,难以 精确地缩放和填充关于房间内部的信息,难以显现和以其它方式使用 等。
附图说明
图1A至图1B是描述在本公开的实施方式中使用的示例性建筑物 环境和一个或更多个计算系统的图,包括生成和呈现表示建筑物的信 息。
图2A至图2S示出用于参与图像分析和生成建筑物的楼层平面图 的自动操作的示例。
图3是示出适于执行进行本公开中所描述的至少一些技术的一个 或更多个系统的实施方式的计算系统的框图。
图4示出根据本公开的实施方式的用于图像捕获和分析(ICA) 系统例程的流程图的示例性实施方式。
图5A至图5C示出了根据本公开的实施方式的用于映射信息生成 管理器(MIGM)系统例程的流程图的示例性实施方式。
图6示出根据本公开的实施方式的用于建筑物地图查看器系统例 程的流程图的示例性实施方式。
具体实施方式
本公开描述了使用一个或更多个计算设备来执行自动操作的技术, 作为生成限定区域的映射信息以供随后以一种或多种其它自动方式使 用的部分,所述自动操作涉及对所述限定区域中所获取的图像执行分 析和/或其它使用。在至少一些实施方式中,限定区域包括多房间建筑 物(例如,房屋、办公室等)的内部,所述图像包括在建筑物处获取 的全景图像(例如,在建筑物的房间内的各种获取位置处获取的360° 全景图像),以及所生成的信息包括诸如使用来自图像的信息生成的示 意性楼层地图的2D(二维)俯视图(例如,正投影俯视图),在至少 一些这样的实施方式中,在不具有或使用从深度感测设备获取的关于 从图像的获取位置到周围建筑物内部中的墙壁或其它对象的距离的深 度信息的情况下进一步执行映射信息的生成。在各种实施方式中,所 生成的楼层平面图和/或其他所生成的映射相关信息可随后以一种或 多种方式使用,诸如用于控制移动设备(例如,自主车辆)的导航, 用于在相应GUI(图形用户界面)中的一个或更多个客户端设备上显 示等。以下包括关于在映射信息的生成和使用中涉及的一个或更多个 计算设备的自动操作的附加细节,以及在至少一些实施方式中,在此 描述的一些或全部技术可至少部分地经由在映射信息的生成中涉及的 映射信息生成管理器(“MIGM”)系统的自动操作来执行,如以下进 一步讨论的。
在至少一些实施方式和情形中,为建筑物采集的一些或全部图像 是360°全景图像,每个全景图像均在建筑物内或建筑物周围的多个采 集位置之一处采集,诸如每个全景图像围绕垂直轴水平覆盖360度(例 如,通过使用具有带有一个或更多个鱼眼透镜的球形相机的图像采集 设备来捕获水平延伸360度的全景图像,诸如在单个时刻,或通过其 他方式生成360°全景图像,例如通过在采集位置水平旋转相机,该相 机在旋转期间捕获视频或组成图像的序列)。另外,在至少一些这样的 实施方式中,这种全景图像可以以具有等矩形投影的球形格式提供和 使用,其中房间中的直的垂直数据(例如,典型的矩形门框的侧部)在图像中保持直,以及其中如果在图像的水平中线处示出房间中的直 的水平数据,但是因为图像中距离水平中线的距离增加而在图像中相 对于水平中线以凸形方式逐渐弯曲,则房间中的直的水平数据(例如, 典型的矩形门框的顶部)在图像中保持直。应当理解的是,在一些情 况下,360°球形全景图像可在球形坐标系中表示,并且围绕垂直轴覆 盖至360°,使得观看这种全景图像的用户可将全景图像内的观看方向 移动到不同的取向,以使得在全景图像内呈现不同的子集图像(或“视 图”)(如果在球面坐标系中表示全景图像,则包括将正被再现的图像 转换为平面坐标系,诸如在显示之前的立体图像视图)。另外,可以以各种方式获得和使用关于捕获这种全景图像的采集元数据,诸如在移 动图像采集设备由用户携带或以其他方式移动时,从IMU(惯性测量 单元)传感器或移动图像采集设备的其他传感器采集的数据、和/或来 自其他相关传感器的其他数据(例如,来自图像采集位置处的一个或 更多个深度传感器的深度数据,以测量到房间的墙壁或采集位置周围 的房间中的其他对象的距离)。另外,在至少一些实施方式中,为建筑 物获取的图像还可包括在一个或更多个房间中获取的一个或更多个非 球形图像,诸如在立体图像中房间中的水平和垂直直线保持笔直的直 线格式的立体图像。以下包括关于实现图像获取和可选地获取元数据以及可选地在稍后使用之前执行图像预处理(例如,以等矩形格式渲 染360°球形全景图像)所涉及的图像获取和分析(ICA)系统的设备 的自动操作的附加细节。
在一些实施方式和情形中,用于提供所述技术的一个或更多个计 算设备的自动操作可包括MIGM系统与一个或更多个MIGM系统操 作员用户交互的操作,所述一个或更多个MIGM系统操作员用户帮助 使用所获取的图像(例如,所获取的360°全景图像)生成映射信息, 诸如通过显示一个或更多个GUI,所述一个或更多个GUI示出与所述 图像相关的信息和/或示出正在生成的相关联的映射信息、以及通过接 收并使用由一个或更多个用户经由一个或更多个GUI提交的输入作为 映射信息生成的部分。作为一个非排他性示例,在至少一些实施方式 中,一个或更多个MIGM系统操作员用户可操纵GUI中关于两个或更 多个房间的显示信息,以便识别和/或确认房间之间经由进入和/或离开 房间的通道,诸如门和房间墙壁中的其它开口(例如,房间间墙壁开 口,诸如房间之间的门、楼梯和其它非门墙开口;不在两个房间之间 的其它墙壁开口,诸如外窗和外门)之间的互连-另外,在至少这样的 实施方式中,经由GUI的这种用户操作可进一步修改或以其它方式控 制房间如何互连,以便指定房间之间的墙壁的宽度,控制房间形状相 对于彼此的对准等,和/或可以以其他方式指定关于房间或关于正在生 成的楼层平面图的信息。在一些实施方式中,GUI中的这种显示信息 可包括GUI的一个或更多个不同部分或“窗格”中的一个或更多个房间 的显示的全景图像,其中附加显示信息覆盖在那些显示的全景图像的 一些或全部上,以显示关于一个或更多个其他房间的信息(例如,第 二房间的一些或全部边界的轮廓覆盖在图像内的位置处的第一房间的 全景图像上,在所述位置处,如果通过两个房间的特定连接的房间间开口连接至第一房间,则该第二房间将位于该位置)。另外,在一些实 施方式中,这种显示的信息可包括GUI的显示的楼层平面窗格,示出 了在相对于彼此的位置处的两个或更多个房间的房间形状,这些房间 形状反映了通过房间的指定房间间开口连接的房间(例如,房间的墙 壁和墙壁开口的2D高空视图轮廓,其中连接的房间间开口彼此相邻 或在其顶部,以及可选地,使所述两个房间的壁在平行的限定阈值量 内调整为平行)。在具有多个窗格的这样的实施方式中,每个窗格显示 不同的信息(例如,第一窗格显示具有第一房间间开口的第一房间的 第一全景图像;第二窗格示出了具有第二房间间开口的第二房间的第 二全景图像,所述第二房间间开口通过所述第一房间间开口和第二房 间间开口之间的连接潜在地连接至所述第一房间,从而示出所述第一 房间间开口和第二房间间开口是所述第一房间和第二房间之间的同一 墙壁开口的两侧;第三窗格示出了具有至少第一房间和第二房间以及 可能的其它连接的房间的房间形状的平面视图;以及可选地,一个或 更多个附加窗格显示附加房间的附加全景图像,以潜在地连接至第一 房间和第二房间中的一个或更多个),窗格之间显示的信息可在GUI 中进行协调,以便当用户操纵窗格之一中的信息时,同时更新其他窗 格中的相应信息(例如,当用户调整窗格之一中的至少一个房间的位置时,改变第一房间和第二房间的相对位置)。以这种方式,生成建筑 物的楼层平面图以及可选地生成其它相关联的映射信息可包括使用房 间间通道信息和其它信息来确定在公共坐标系或其它公共参考系中相 关联的房间形状彼此之间的相对全局位置(例如,不知道房间的实际 测量)-另外,如果距离缩放信息对于一个或更多个图像可用,则可确 定相应的距离测量,以便允许确定房间尺寸和其它距离,并进一步用 于生成的楼层平面图。以下包括与这种GUI和相关的用户交互技术有 关的用于生成楼层平面图的附加细节。
另外,在一些实施方式和情况中,用于提供所述技术的一个或更 多个计算设备的自动操作可进一步包括MIGM系统的操作,以构造房 间连接图,该房间连接图包括关于建筑物的房间之间经由房间间墙壁 开口的可能的和/或实际的连接的信息,和/或使用这样的房间连接图来 帮助生成建筑物的楼层平面图。在至少一些实施方式中,房间连接图 包括用于房间中的每个的节点,其中每个节点均具有关于进入和离开 房间的每个房间间墙壁开口通道的信息(以及关于房间的各种其它信 息)。对于房间的每个这样的房间间墙壁开口通道,在房间连接图中向 一个或更多个其它房间节点添加一个或更多个链接,以便表示从该房 间间墙壁开口通道到由其它房间节点表示的一个或更多个其它房间的 其它房间间墙壁开口通道的可能的或实际的连接。例如,在一些实施 方式中,房间连接图的初始版本构造为完全连接,以包括用于两个房 间的两个房间间墙壁开口通道之间的每个可能连接的连接,其中在至 少一些这样的实施方式中,被确定为可能的连接由诸如通道类型的因素来限制(例如,使得一个房间中的门开口仅具有与其它房间的门开 口的潜在连接;一个房间的楼梯口只与其他房间的楼梯口有潜在的连 接等)和/或通道的尺寸(例如,使得如果两个房间间壁开口具有相同 的尺寸,例如相同的宽度和/或相同的高度,或具有至多相差限定的阈 值尺寸量的两个不同的尺寸,则两个房间间壁开口仅具有潜在的连接)。 在这样的实施方式中,表示用于特定房间的特定房间间墙壁开口的可 能连接的链接可在楼层平面图生成期间使用,以识别用于其他房间和 房间间墙壁开口的候选项,该特定房间间墙壁开口和特定房间可连接 至所述其他房间和房间间墙壁开口,其中这种候选房间和/或候选房间 间连接可选地由MIGM系统排序或以其他方式评估,以帮助生成楼层 平面图,以便最初向MIGM系统操作员用户呈现最高等级的候选房间 和房间间墙壁开口作为与特定房间的特定房间间墙壁开口一起使用的 建议,另外,一旦在楼层平面图生成期间识别出两个房间的两个特定 房间间墙壁开口之间的特定房间间连接(无论是由MIGM系统自动地 识别和/或由一个或更多个MIGM系统操作员用户手动地识别,诸如, 对于这样的用户,通过MIGM系统确认自动建议),可从房间连接图 中去除对应于这两个特定房间间墙壁开口的其它可能连接的链接,使 得在该楼层平面图生成过程完成之后的最终房间连接图反映生成的楼 层平面图中所示的最终实际房间间连接。在可能的房间间连接被分级 或以其他方式评估的实施方式中,评估可以以各种方式进行,诸如使 用评估与可能的房间间连接及其两个房间相关的方面的一个或更多个 成本度量。以下包括与这样的房间连接图和用于评估可能的房间间连 接的技术有关的附加细节。
在一些实施方式和情形中,用于提供所描述的技术的一个或更多 个计算设备的自动操作可进一步包括MIGM系统的操作,以评估图像 和/或其相关联的采集元数据,以便生成关于在生成建筑物的楼层平面 图期间使用的建筑物的房间的房间布局的信息。在至少一些实施方式 中,用于房间的这种房间布局信息包括房间的形状(例如,房间的矩 形或其它形状的墙壁的2D俯视图)和/或房间中的房间间墙壁开口的 位置,可选地连同附加信息,诸如房间间墙壁开口的类型(例如,门 或楼梯或其它房间间墙壁开口)、房间间墙壁开口的尺寸(例如,宽度 和/或高度)、房间的类型(例如,厨房、浴室、卧室等)、房间的尺寸(例如,墙壁中的每个的宽度和/或高度)等。在各种实施方式中,可 从以各种方式在房间中捕获的一个或更多个图像来确定房间的一些或 所有这样的房间布局信息,诸如通过应用机器学习技术来自动地评估 图像(例如,将一个或更多个图像作为输入提供给已使用其他图像和 相关联的房间布局信息训练过的一个或更多个神经网络),以识别一个 或更多个这样类型的房间布局信息,以及获得相应的房间布局信息作 为来自训练的神经网络的输出),和/或通过使用由评估图像的一个或 更多个用户(例如,MIGM系统操作员用户)提供的信息来确定房间 布局信息的一些或全部。在一些实施方式中,其中在房间中的采集位 置处捕获的图像的采集元数据包括从采集位置处的一个或更多个深度 传感器到房间的周围墙壁或其它对象的深度数据,这种深度信息可用 于确定一些或所有这种房间布局信息,无论是通过将这种深度信息与 所述图像评估技术中的其它技术一起使用,还是仅使用这种深度信息。 因而,在房间中获取的一个或更多个图像的这种评估技术可在各种实 施方式和情况下提供各种类型的房间信息,包括识别房间的结构和其 它视觉特征,以便识别以下所列中的一个或更多个:相邻墙壁之间的 边界;墙壁与地板之间的边界;墙壁与天花板之间的边界;窗户和/ 或天窗;进入和/或离开房间的通道,诸如门和楼梯以及其它墙壁开口;其它结构(例如,表示为立方体形状),诸如台面、浴盆、水槽、壁炉 和家具等。以下包括与基于图像和/或其相关联的采集元数据的评估的 房间的房间布局信息的这种生成和使用有关的附加细节。
以下包括关于实现MIGM系统的一个或更多个计算设备的进一步 自动操作的附加细节,作为执行关于建筑物的信息和/或从MIGM系统 操作员用户接收的信息的附加自动分析以及在与一个或更多个MIGM 系统操作员用户交互中的部分。在一些实施方式中,可进一步执行一 种或多种类型的附加处理,以便确定生成的楼层平面图的附加映射相 关信息,或以其它方式将附加信息与生成的楼层平面图相关联。作为 一个示例,可接收关于建筑物的一种或多种类型的附加信息,并与楼 层平面图(例如,具有楼层平面图中的特定位置)相关联,诸如附加 图像、文本和/或音频注释或特定房间或其它位置的其它描述,其它音 频信息,诸如环境噪声的记录;整体尺寸信息等。作为另一实例,在 至少一些实施方式中,执行附加的图像处理以确定一个或更多个类型 的估计距离信息,以便测量已知尺寸的对象的图像中的尺寸,并且使 用这样的信息来估计房间宽度、长度和/或高度尺寸,用于一个或更多 个房间的这样的估计尺寸信息可与楼层平面图相关联,被存储和可选 地被显示,以及如果在足够的精确度内为所有房间生成尺寸信息,则 还可生成建筑物的更详细的楼层平面图,诸如具有足够的细节以允许 生成蓝图或其它建筑图。另外,如果估计的尺寸信息包括从楼层到天 花板的高度信息,则可创建部分或全部2D(二维)楼层平面图的3D (三维)模型(例如,具有所表示的全高度信息)和/或2.5D(两半维) 模型(例如,具有所示的高度的部分表示)(可选地,具有来自投影在 模型壁上的室内图像的信息),与楼层平面图相关联,进行存储并可选 地显示。在一些实施方式中可生成或检索和使用其它类型的附加信息,以便确定建筑物的地理对准(例如,相对于真实的北或磁北)和/或建 筑物的地理位置(例如,相对于纬度和经度、或GPS坐标;对于街道 地址等),以及可选地包括关于其生成的楼层平面图和/或其他生成的 与地图相关的信息的相应信息,和/或可选地进一步将所述楼层平面图 或其他生成的与地图相关的信息与其他相关的外部信息(例如,卫星 或建筑物的其他外部图像,包括街道级图像,以提供建筑物的‘街道视 图’和/或在建筑物周围的场或其他区域中的一个或更多个位置处获取 的全景图像;建筑物所在区域的信息,例如附近的街道地图和/或兴趣 点等)对准。关于建筑物的其它信息也可从例如一个或更多个外部源(例如,在线数据库、由一个或更多个最终用户提供的‘人群来源’信息 等)检索,并且与楼层平面图和/或楼层平面图内的特定位置相关联和 链接,这种附加信息可进一步包括例如建筑物的外部尺寸和/或形状、 获取的对应于建筑物内的特定位置的附加图像和/或注释信息(可选地, 对于不同于所获取的全景图像或其它图像的获取位置的位置)等。如 本文别处所讨论的,还可以以各种方式使用这种生成的楼层平面图和 可选地附加的相关信息。
所描述的技术在各个实施方式中提供各种益处,包括允许经由一 个或更多个计算系统的自动操作从在建筑物或其它结构中获取的图像 生成多房间建筑物和其它结构的楼层平面图(包括在一些实施方式中 执行自动操作,以与一个或更多个用户交互,以获得用于进一步自动 分析的一种或多种类型的用户提供的输入),包括在一些实施方式中不具有或不使用从深度传感器获取的、关于从图像的获取位置到周围建 筑物或其它结构中的墙壁或其它物体的距离的深度信息。另外,这种 自动技术允许比先前现有的技术更快速地生成这种楼层平面图,并且 在至少一些实施方式中,具有更高的精确度,至少部分地基于使用从 实际建筑环境(而不是从关于如何理论上构建建筑的计划)获得的信 息,包括基于以等矩形格式使用360°球形全景图像,所述等矩形格式 显示整个房间,并且允许对房间中感兴趣的元素的有效用户识别,以 及能够捕获在建筑物最初建造之后发生的结构元件的变化。这种所描 述的技术还提供了允许移动设备(例如,半自主或全自主车辆)对建 筑物进行改进的自动导航的益处,包括显著降低其所使用的计算能力 和用于尝试学习建筑物布局的时间。另外,在一些实施方式中,所描 述的技术可用于提供改进的GUI,其中终端用户可更准确和快速地获 得关于建筑物内部的信息(例如,用于导航该内部,诸如经由虚拟游 览),包括响应于搜索请求,作为向终端用户提供个性化信息的部分、 作为向终端用户提供价值估计和/或关于建筑物的其它信息的部分等。 还通过所述技术提供了各种其它益处,其中一些在本文别处进一步描 述。
出于说明的目的,下面描述了一些实施方式,其中特定类型的信 息是针对特定类型的结构并通过使用特定类型的设备以特定方式获取、 使用和/或呈现的。然而,将理解的是,所描述的技术可以以其它方式 在其它实施方式中使用,并且本发明不限于所提供的示例性细节。作 为一个非排他性的示例,尽管可为不包括特定房间或整个房屋的详细 测量的房屋生成楼层平面图,但是应当理解的是,在其他实施方式中 可类似地生成其他类型的楼层平面图或其他映射信息,包括生成3D 模型,以及为与房屋分开的建筑物(或其他结构或布局)生成这些。 作为另一示例,虽然用于房屋或其它建筑物的楼层平面图可用于显示以帮助为观众导航建筑物,但是在其它实施方式中可以以其它方式使 用所生成的映射信息。另外,术语“建筑物”在本文中是指任何部分或 完全封闭的结构,通常但不一定包括一个或更多个可视地或以其它方 式分隔该结构的内部空间的房间,这种建筑物的非限制性实例包括房 屋、公寓建筑或其中的单独公寓、宿舍、办公建筑、商业建筑或其它 批发和零售结构(例如,购物商场、百货商店、仓库等)。本文所用的 关于建筑物内部、获取位置或其它位置(除非上下文另外清楚地指示) 的术语“获取”或“捕获”可指任何媒体、传感器数据和/或与建筑物内部 或其子集的空间和/或视觉特性相关的其它信息的记录、存储或登记,诸如通过记录设备和/或通过从记录设备接收信息的另一设备。另外, 出于示例性目的,在附图和文本中提供了各种细节,但并不旨在限制 本发明的范围,诸如,在附图中的元件的尺寸和相对位置不必按比例 绘制,省略了一些细节和/或提供了更大的突出性(例如,通过尺寸和 定位)以增强易读性和/或清晰度,并且在附图中可使用相同的附图标 记来标识类似的元件或动作。
图1A是在一些实施方式中可参与所描述的技术的各种计算设备 和系统的示例框图。特别地,一个或更多个360°全景图像165(例如, 以等矩形格式)已由内部捕捉和分析(ICA)系统(例如,在一个或 更多个服务器计算系统180上执行的系统160,和/或由在一个或更多 个移动图像获取设备185上执行的应用程序155提供的系统)生成, 诸如关于一个或更多个建筑物或其他结构。图1B示出了获取这种用 于在多个获取位置210处的特定房屋的全景的一个示例,以及图2A 至图2S示出了关于使用这种全景图像来生成相关联的楼层平面图的 附加细节,如下面进一步讨论的。
MIGM(映射信息生成管理器)系统140进一步在一个或更多个 服务器计算系统180上执行,以基于全景图像165和可选的附加关联 信息的使用以及通过使用由MIGM系统操作员用户经由计算设备105 通过一个或更多个中间计算机网络170提供的支持信息来生成和提供 建筑物楼层平面图145和/或其他映射相关信息(未示出)。在本文别 处包括关于MIGM的自动操作的附加细节,包括关于图2A至图2S 和图5A至图5C的描述。在一些实施方式中,一个或更多个ICA系统 和MIGM系统140可在相同的一个或更多个服务器计算系统上执行,诸如,这两个系统均由单个实体操作或以其他方式彼此协作地执行(例 如,两个系统的一些或全部功能一起集成到更大的系统中),而在其他 实施方式中,MIGM系统可替代地在没有ICA系统的情况下操作,并 且从一个或更多个外部源获得全景图像(或其他图像),并且可选地在 本地(未示出)使用MIGM系统存储它们,以用于进一步分析和使用。
在图1A中还示出了移动图像获取设备185的各种组件,包括浏 览器162和/或ICA系统应用程序155,它们由一个或更多个硬件处理 器132在设备185的存储器152中执行,并且包括一个或更多个类型 的一个或更多个成像系统135以获取可视数据。所示的移动设备185 的实施方式还包括一个或更多个传感器模块148,在该示例中传感器 模块148包括陀螺仪148a、加速度计148b和罗盘148c(例如,作为 移动设备上的一个或更多个IMU单元未单独示出的部分),可选地包 括GPS(或全球定位系统)传感器或其它位置确定传感器(在该示例 中未示出)、可选的一种或多种类型的一个或更多个深度感测传感器 (在该示例中未示出)、显示系统142(例如,通过触敏屏幕)、管理设 备185的I/O(输入/输出)和/或通信和/或联网的一个或更多个控制系 统147(例如,从用户接收指令并向用户呈现信息)等。其它计算设 备/系统105、175和180可以以类似于移动设备185的方式包括各种 硬件组件和存储的信息,为了简洁起见,在该示例中未示出,并且如 下面关于图3更详细地进行讨论。
在图1A的示例中,ICA系统可执行自动操作,该操作涉及在多 个相关联的采集位置(例如,在建筑物或其它结构内的多个房间或其 它位置中,并且可选地在建筑物或其它结构的一些或全部外部周围) 生成多个360°全景图像,诸如使用经由一个或更多个移动设备185采 集的可视数据,并且用于生成和提供建筑物或其它结构的内部的表示。 例如,在至少一些这样的实施方式中,这样的技术可包括使用一个或 更多个移动设备(例如,具有一个或更多个鱼眼透镜并安装在可旋转 三角架上或以其它方式具有自动旋转机构的照相机、具有足够的鱼眼 透镜以水平地捕获360度而不旋转的照相机、由用户握持和移动的智能电话、由用户或用户衣服握持或安装在用户或用户衣服上的照相机 等)从房屋(或其它建筑物)的多个房间内的多个采集位置的序列捕 获数据,以及可选地进一步捕获涉及采集设备的移动(例如,在采集 位置的移动,诸如旋转;在一些或所有采集位置之间的移动,诸如用 于将多个采集位置链接在一起等),在至少一些情况下,在采集位置之 间不具有被测量的距离或在采集位置周围的环境中不具有到对象的其 它测量深度信息(例如,不使用任何深度感测传感器)。在获取位置的 信息被捕获之后,该技术可包括从该获取位置生成具有围绕垂直轴的 360度水平信息的360度全景图像(例如,以等矩形格式示出周围房 间的360度球形全景图像),然后提供全景图像以供MIGM系统随后 使用。与提供ICA系统的至少一些这样的功能的系统的实施方式相关 的附加细节包括于以下所列中:在2019年11月23日提交的题为 “Connecting And Using Building Data Acquired From MobileDevices”共 同待决的第16/693,286号(代理机构编号990074.402C1)美国非临时 专利申请(其包括大致针对从一个或更多个建筑物或其它结构内获得 和使用全景图像的示例BICA系统的公开);在2018年12月28日提 交的题为“Automated Control of ImageAcquisition Via Use of Acquisition Device Sensors”的共同未决的第16/236,187号(代理机构编号 990074.405)美国非临时专利申请(其包括关于示例性ICA系统,该 系统大致涉及从一个或更多个建筑物或其它结构内获得和使用全景图 像);以及在2018年11月14日提交的题为“Automated Mapping Information Generation From Inter-ConnectedImages”的共同未决的第 16/190,162号(代理机构编号990074.403)美国非临时专利申请,其 中的每一个专利申请都通过引用整体结合到本文中。
一个或更多个地图查看器客户端计算设备175的一个或更多个终 端用户(未示出)还可通过计算机网络170与MIGM系统140(以及 可选地ICA系统160)交互,以便获得、显示生成的楼层平面图,并 与生成的楼层平面图交互。另外,虽然在图1A中未示出,但是楼层平面图(或其部分)可链接到一个或更多个附加类型的信息,或以其 它方式与一个或更多个附加类型的信息相关联,所述附加类型的信息 诸如是一个或更多个相关联的并链接的图像或其它相关联的并链接的 信息,包括用于建筑物的二维(“2D”)楼层平面图,该楼层平面图链 接到建筑物的单独的2.5D模型渲染和/或建筑物的3D模型渲染等,或 以其它方式与建筑物的单独的2.5D模型渲染和/或建筑物的3D模型渲 染等相关联,并且包括用于多层或多层建筑物的楼层平面图,以具有 用于互连(例如,经由连接楼梯通道)的不同楼层或层的多个相关联 的子层楼层平面图。因此,最终用户与建筑物的所显示或以其它方式 生成的2D楼层平面图的交互的非排他性实例可包括以下中的一者或 一者以上:在楼层平面图内或附近的获取位置处在特定图像的视图与 楼层平面图之间改变;在2D平面视图和2.5D或3D模型视图之间进 行改变,所述2.5D或3D模型视图可选地包括映射到所显示的模型的壁的图像;改变显示全景图像的相应子集视图(或进入全景图像的入 口)的水平和/或竖直观看方向,以便确定当前用户观看方向所指向的 3D球面坐标系中的全景图像的部分,并渲染相应的楼层平面图像,该 楼层平面图像示出了在原始全景图像中不存在曲率或其它变形的全景 图像的该部分等。关于ILTM系统的另外的细节包括于在2018年4月 11日提交的题为“Presenting Image Transition Sequence between Acquisition Locations”的第15/950,881号(代理机构编号990074.404)) 美国非临时专利申请中,该ILTM系统是提供或以其他方式支持这里 讨论的建筑物地图观察器系统和例程的至少一些功能的系统的一个示 例性实施方式,该专利申请的全部内容通过引用结合于此。另外,虽 然在图1A中未示出,但是在一些实施方式中,客户计算设备175(或 其他设备,未示出)可以以附加方式接收和使用所生成的楼层平面图 和/或其他所生成的与映射相关的信息,以便控制或辅助那些设备(例 如,由自主车辆或其他设备)的自动导航活动,而不是显示所生成的 信息,或除了显示所生成的信息之外还控制或辅助这些设备的自动导 航活动。
在图1A所示的计算环境中,网络170可为一个或更多个公众可 访问的链接网络,可能由各种不同方操作,诸如因特网。在其它实现 中,网络170可具有其它形式,以便代之以作为非特权用户完全或部 分不可访问的专用网络(诸如公司或大学网络)。在其它实现中,网络 170可包括专用网络和公共网络,其中专用网络中的一个或更多个可 访问公共网络中的一个或更多个,和/或由公共网络中的一个或更多个 访问。另外,网络170可在各种情况下包括各种类型的有线和/或无线 网络和连接。
图1B示出了其中生成360°全景图像的示例性建筑物内部环境的 框图,用于由MIGM系统生成和提供相应的建筑物楼层平面图,如关 于图2A至图2S更详细地讨论的,以及用于向用户呈现全景图像。特 别地,图1B示出了多层房屋(或其它建筑物)198的一层,其内部至 少部分地通过多个全景图像捕获,诸如通过具有图像捕获能力的移动 图像捕获设备185,当其移动通过建筑物内部到多个捕获位置210的 序列时(例如,从捕获位置210A开始,沿着行进路径115移动到捕 获位置210B等,结束于建筑物外部的采集位置210M)。ICA系统的 实施方式(例如,一个或更多个服务器计算系统180上的ICA系统160、 在移动图像获取设备185上执行的ICA系统的一些/全部的副本155 等)可自动地执行或帮助捕获表示建筑物内部的数据,以及进一步分 析所捕获的数据以生成360°全景图像,从而提供建筑物内部的可视表 示。尽管这种移动图像获取设备可包括各种硬件部件,诸如照相机、 一个或更多个传感器(例如陀螺仪、加速度计、罗盘等,诸如移动设 备的一个或更多个IMU或惯性测量单元的部分;高度计;光检测器等)、 GPS接收机、硬件处理器、存储器、显示器,麦克风等,在至少一些 实施方式中,移动设备可不具有访问或使用设备来测量建筑物中相对 于移动设备的位置的对象的深度,从而可部分或全部基于不同图像中 的特征来确定不同全景图像与其获取位置之间的关系,而不使用来自 任何这种深度传感器的任何数据。另外,虽然在图1B中提供方向指 示器109用于参考读取器,但是,在至少一些实施方式中,移动设备 和/或ICA系统可不使用这样的绝对方向信息,以便在这样的实施方式 中,不考虑实际的地理位置或方向,确定获取位置210之间的相对方 向和距离。
在操作中,移动图像获取设备185到达建筑物内部的第一房间内 的第一获取位置210A(在该示例中,在经由外部门190-1可访问的起 居室中),并且捕获从该获取位置210A可见的建筑物内部的部分(例 如,第一房间的一些或全部、以及可选地一个或更多个其他邻近或附 近房间的小部分的视图,诸如通过门、厅、楼梯或来自第一房间的其 它连接通道)。视图捕获可如本文所讨论的各种方式来执行,并且可包 括在从获取位置捕获的图像中可见的多个对象或其它特征(例如,结 构细节)。在图1B的示例中,建筑物内的此类对象或其它特征包括门 道190(包括190-1、190-3、190-4和190-5)和197(例如,具有摆 动门和/或滑动门)、窗196(包括196-1、196-2、196-3、196-4、196-5、 196-6、196-7和196-8)、角落或边缘195(包括建筑物198的西北角 落的角落195-1、第一房间的东北角落的角落195-2、第一房间的西南 角落的角落195-3、在第一房间和走廊之间的房间通道的北边缘处的拐 角195-4等)、家具191-193(例如,躺椅191;椅子192;桌子193等)、 悬挂在墙壁上的图片或绘画或电视或其它悬挂物体194(诸如194-1 和194-2)、照明器材(图1B中未示出)、各种内置器具或器材或其它 结构元件(图1B中未示出)等。用户还可可选地提供要与诸如用于 包括采集位置210A和/或210B的房间的“起居室”的采集位置相关联的 文本或听觉标识符,而在其它实施方式中,ICA系统可自动生成这样 的标识符(例如,通过自动分析建筑物的图像和/或视频和/或其它记录 的信息,以执行相应的自动确定,诸如通过使用机器学习),或MIGM 系统可确定这样的标识符(例如,至少部分地基于来自MIGM系统操 作员用户的输入),或可不使用标识符。
在捕获第一获取位置210A之后,移动设备185可移动或被移动 到下一获取位置(诸如获取位置210B),可选地在获取位置之间的移 动期间记录来自硬件组件(例如来自一个或更多个IMU、来自照相机 等)的图像和/或视频和/或其它数据。在下一采集位置,移动设备可类 似地从该采集位置捕获360°全景图像。这个过程可对建筑物的一些或 所有房间重复,并且在一些情况下可在建筑物外部重复,如在这个示 例中的获取位置210C-210M所示。可进一步分析每个采集位置的所采 集的全景图像,在一些实施方式中包括以等矩形格式呈现或放置每个 全景图像,无论是在图像捕获时还是在图像捕获之后。
关于图1A至图1B提供了各种细节,但是应当理解的是,所提供 的细节是出于说明的目的而包括的非排他性示例,并且可以以其它方 式执行其它实施方式,而没有一些或全部这样的细节。
图2A至图2S示出了使用建筑物内部的360°全景图像和建筑物房 间的附加房间布局信息来生成和呈现建筑物的楼层平面图的示例,诸 如,在图1B中讨论的获取位置210处获取的房屋198和全景图像。
具体地,图2A示出了示例图像250a,诸如从图1B的房屋198 的起居室中的采集位置210B沿北方向拍摄的立体图像(或从该采集 位置拍摄的360度全景图像的面向北方向的子集视图,并且以直线方 式格式化),在该示例中进一步显示方向指示器109a,以示出拍摄图 像的方向。在所示示例中,所显示的图像包括内置元件(例如,灯具 130a)、家具(例如,椅子192)、两个窗口196-1以及悬挂在起居室的 北壁上的图片194-1。在该图像中进入或离开起居室的房间间通道(例 如,门或其它墙壁开口)不可见。然而,在图像250a中可见多个房间 边界,包括起居室的北壁的可见部分与起居室的天花板和地板之间的 水平边界、起居室的东壁的可见部分与起居室的天花板和地板之间的 水平边界、以及北壁与东壁之间的竖直边界195-2。
图2B继续示出图2A的示例,并且示出了在从图1B的房屋198 的起居室中的采集位置210B沿西北方向拍摄的附加立体图像250b(或 从该采集位置拍摄的并且以直线方式格式化的360度全景图像的面向 西北方向的子集视图),进一步显示方向指示器109b以示出拍摄图像 的西北方向。在该示例图像中,窗口196-1中的一个窗口的小部分以 及窗口196-2的部分和新的照明器材130b继续是可见的。另外,在图 像250b中以类似于图2A的方式可见水平房间边界和竖直房间边界。
图2C继续示出图2A至图2B的示例,并且示出了在图1B的房 屋198的起居室中沿西南方向拍摄的第三立体图像250c,诸如从获取 位置210B或210A,进一步显示了方向指示器109c,以示出拍摄图像 的西南方向。在该示例图像中,窗口196-2的部分继续是可见的,就像躺椅191和视觉水平和竖直房间边界以类似于图2A和图2B的方式 一样。该示例图像还示出了起居室的墙壁开口通道,在该示例中,所 述起居室的墙壁开口通道是门190-1(图1B标识为到房屋外部的门)。 应当理解的是,可从采集位置210B和/或其它采集位置获取各种其它 立体图像,并以类似的方式显示。
图2D继续显示图2A至图2C的示例,并且示出了360°球形全景 图像250d(例如,从获取位置210B拍摄),其以等矩形格式显示整个 起居室,由于全景图像不具有与图2A至图2C的立体图像相同的方向, 因而在图2D中不显示方向指示器109。近似地在图像250d的中心部 分显示与第一立体图像250a相对应的全景图像250d的部分,而图像 250d的左部分和图像250d的右远部分包括与立体图像250b和250c 相对应的可视数据。该示例性全景图像250d包括窗口196-1、196-2 和196-3、家具192、193和191、门190-1和到走廊的开口263a(该开口示出在相邻走廊房间中可见的门190-3的部分)。图像250d还以 与立体图像类似的方式示出了各种房间边界,但是水平边界以离图像 的水平中线越远越弯曲的方式显示。可见边界包括竖直壁间边界195-1、 195-2和195-3、位于走廊开口的左侧的竖直边界195-4、在走廊洞口 右侧和起居室的东南角的竖直边界、以及在墙壁和地板之间以及在墙 壁和天花板之间的水平边界。
图2E继续示出图2A至图2D的示例,并且示出了类似于图2D 的360°球形全景图像238a,但是对于房屋中部的走廊而不是起居室, 特别地,全景图像238a被显示在GUI的第一窗格250e中,该GUI 由MIGM系统向MIGM系统操作员用户(未示出)显示,连同用户 可选择的GUI控件295一起选择不同类型的功能。为了读者的利益, 在窗格250e中示出了各种参考标签(例如,用于走廊中的门口的标签 190-3、190-4和190-5、用于起居室中的门口的标签190-1,其通过起 居室和走廊之间的房间间墙壁开口通道263a部分可见,等),但是可 不对MIGM系统操作员用户进行显示。还示出了第二GUI楼层平面图 窗格255e,其显示了与走廊238b相对应的初始房间形状,并且在该 示例中示出了与房屋的其它房间连接的走廊的5个房间间墙壁开口。 当前选择主GUI控件295a,在该示例中对应于使用GUI的功能来生 成所指示的建筑物的楼层平面图,并且进一步选择GUI控件295b(例 如,从可用于GUI的楼层平面图生成功能的一组次GUI控件中选择), 以对应于选择和显示将开始生成房屋的楼层平面图的初始第一房间。 应当理解的是,在其它实施方式中,可以以其它方式(例如,经由菜单、键盘选择等)来显示和/或访问这样的GUI控件295。另外,虽然 在图2E中未示出,但是在窗格250e中可包括各种附加的用户可操纵 的显示元素和其他用户可选择的控件(例如,覆盖在第一GUI窗格250e 中的全景图像上)和/或其他GUI窗格或区域中,并且可用于MIGM 系统操作员用户在其他环境中使用。另外,还应理解的是,走廊房间 可被选择为初始房间,以用于以各种方式和出于各种实施方式中的各 种原因的楼层平面图生成,诸如基于具有最大数量的房间间墙壁开口 的房间或基于其满足一个或更多个其它定义的标准,并且诸如通过 MIGM系统(例如,通过将这样的限定标准应用到为房间的房间获得 的房间布局信息)或通过选择要使用的走廊(在本例中未示出)的 MIGM系统操作者用户自动地使用,如本文别处更详细讨论的。
图2F继续显示图2A至图2E的示例,并且示出了进一步使用所 显示的GUI来识别候选房间和房间间墙壁开口,以连接至走廊的一个 或更多个房间间墙壁开口。具体而言,GUI控件295c在图2F中被进 一步选择为对应于用户启动这样的功能(例如,启动MIGM系统的过程,用于自动确定要连接至走廊的一个或更多个墙壁开口的一个或更 多个建议的附加房间),其中第一GUI窗格250f更新为示出走廊的房 间间墙壁开口263a被选择用于连接至用于至少第一候选房间连接的 另一房间,在该示例中,通过该房间间壁开口覆盖在全景图像238a 上的相应的视觉表示269a来帮助MIGM系统操作员用户。在各种实 施方式中,可以以各种方式从走廊的五个房间间壁开口中选择壁开口 263a,诸如通过用户(在该示例中未示出)或通过MIGM系统(例如 随机地;基于一个或更多个定义的标准,诸如墙壁开口的类型和/或用 于连接的候选房间的数量)。可替代地,在其它实施方式中,MIGM系 统可考虑潜在连接至走廊的五个墙壁开口中的一个或更多个的任何组 合的候选房间。另外,在一些实施方式中,视觉表示269a可为用户可 操纵的控件,用户可操纵该控件,以便在视觉表示不对应于图像238a 中的壁开口的特定位置的情况下,改变视觉表示的大小和/或位置(并 相应地更新用于走廊的相应房间布局信息以反映这种改变)。
在图2F的示例中,MIGM系统已确定四个候选房间以潜在地连 接至走廊的墙壁开口263a,其中在更新的楼层平面图窗格255f中显示 相应的信息,包括至少显示用于第一候选房间连接的选项信息255f1 (例如,最高等级的候选房间连接选项),并且在一些实施方式中可选 地还显示用于附加的三个候选房间连接的选项信息255f2-255f4。在该 示例中,选项信息255f1对应于将起居室的房间形状239b连接至走廊 的墙壁开口263a,选项信息255f2对应于将厨房/餐厅的房间形状240b 中的两个墙壁开口中的一个连接至走廊的墙壁开口263a,选项信息 255f3对应于将厨房/餐厅240b中的两个墙壁开口中的另一个连接至墙 壁开口263a,以及选项信息255f4对应于将家庭房间241b的房间形状 连接至走廊的墙壁开口263a。因此,用于候选选项中的每个的显示信 息255f包括另一候选房间的房间形状,该房间形状布置成对应于两个 房间的相应墙壁开口之间的潜在连接的布局(使得将厨房/餐厅240b 显示为具有用于两个候选选项255f2和255f3的不同旋转和位置),以 及在该示例中具有另一候选房间的墙壁开口的图示。在至少一些实施 方式中,MIGM系统可进一步对候选选项进行排名,使得窗格255f 中的选项可按照从最高排名(例如,在顶部)到最低排名(例如,在 底部)的顺序来显示。在其他实施方式中,只有最高排名的选项可最 初显示在窗格255f中,而其他选项仅在用户请求时才显示(例如,通 过GUI,GUI包括一个或更多个控件,诸如控件295G和295H,以在 下一候选匹配和/或前一候选匹配之间循环)。在该示例中,MIGM系 统基于将走廊的壁开口263a的类型(例如,不同于门或楼梯的房间间 壁开口)与其它房间的其它房间间壁开口的相应类型相匹配来确定四 个选项,使得由于具有不同类型的房间间门口,因而不选择其它房间 (例如,卧室和浴室)作为候选,尽管在其它实施方式和情形中,可不 以这种方式使用壁开口的类型(或相反,可考虑其它类型的壁开口, 但是由于正确的可能性较低而给出较低等级)。如关于图2L至图2R 进一步讨论的,在一些实施方式中,作为简单的示例,创建房间连接 图,并由MIGM系统将其用作确定用于这种互连的候选房间连接选项 的部分,并且可由MIGM系统使用一个或更多个成本度量来相对于在 房屋中实际连接的可能性(或相对于一个或更多个其它度量)对候选 选项进行排序。候选选项255f3和255f4可被分级为低于候选选项 255f1和255f2,因为那些候选房间的墙壁开口的尺寸与走廊的墙壁开 口263a的尺寸不匹配。
更一般地,在至少一些实施方式中,测量两个房间的两个墙壁开 口之间的潜在连接的匹配(或不匹配)程度的一个或更多个度量可基 于多种因素中的一个或更多个,诸如以下非排他性列表:两个房间的 墙壁对准,在两个房间经由两个墙壁开口连接的情况下(例如,以随 着对准的改善而减小给予候选的权重);两个房间的全景图像之间的重 叠量,在一个房间的全景图像在反映经由两个墙壁开口连接的两个房 间的位置处重叠在另一房间的全景图像上的情况下(例如,随着两个 图像的视觉信息之间的相似性或其它拟合的增加,诸如基于一个或更 多个线、颜色、亮度/暗度等的对准或其它一致,减小给予候选的权重); 在两个房间的墙壁之间的墙壁空间(如果有的话)的量,在两个房间 经由两个墙壁开口连接(例如,随着在房间间连接的位置处候选房间 的一个或更多个墙壁与其他现有房间的一个或更多个墙壁之间的空间 量接近预期的或另外指定的空间量,减小给予候选的权重);捕获两个 房间的全景图像的顺序和/或时间上的接近度,作为在建筑物的一些或 全部房间中捕获全景图像的部分(例如,随着捕获两个全景图像的顺 序和/或时间之间的差异减小,减小给予候选的权重)等。另外,根据 实施方式和情况,来自这种度量的分数可随着匹配程度的增加而增加 或减少,其中术语‘成本’度量在这里通常被称为随着匹配程度的增 加而具有减少的分数(或‘成本’),除非另有指示。
在至少一些实施方式中,还将多个成本度量一起使用,并且候选 房间连接的排名或其他评估得分基于组合来自多个成本度量的成本信 息,以便使用多个成本度量的加权和,或代之以使用机器学习技术来 训练神经网络或其他模型,以基于来自多个成本度量的信息的组合来 提供合计成本得分。可以以这种方式使用的多个成本度量的非排他性 示例包括以下所列:
(1)形状交叉区域成本,以便测量候选房间的房间形状位置与现 有局部楼层平面图重叠的程度。作为一个实例,可使用以下等式(a) 来测量该成本,使用‘目标形状’来指代候选房间的房间形状,使用 ‘参考形状’来指代当前局部楼层平面图中的一个或更多个房间的一个 或更多个房间形状,以及使用‘形状交叉’来指代候选房间的房间形 状与一个或更多个现有房间形状的重叠:
(a)成本=阶梯函数(形状交叉的面积/目标形状的面积)+阶梯函 数(形状交叉的面积/参考形状的面积)
在至少一些实施方式中,允许某种程度的房间形状重叠(例如, 在大的开放空间中),其中该成本度量考虑墙壁开口,并且可选地使用 射线投射来决定重叠区域是否在开口后面(其中开口后面的重叠区域 不被计数为重叠)。
(2)全景捕获次序成本,以便测量在捕获两个房间的两个全景图 像之间的次序和/或时间上的相似性,并且在候选/目标房间的图像捕获 的次序和/或时间从候选房间可连接至的局部楼层平面图中的一个或 更多个当前房间的一个或更多个图像捕获的次序和/或时间增加的情 况下,生成更高的得分。
(3)形状对准成本,以便测量候选/目标房间的房间形状(或相应 的全景图像)的壁与候选房间可连接的局部楼层平面图中的一个或更 多个当前房间的一个或更多个房间形状(或相应的一个或更多个全景 图像)对准的程度,并且可选地包括负成本(或‘奖励’)和正成本。 例如,如果候选/目标房间的房间形状具有阻挡局部楼层平面图的当前 房间的房间间墙壁开口的墙壁(或局部楼层平面图的当前房间的房间 间墙壁开口具有阻挡候选/目标房间的房间形状的墙壁),则将包括指 定的(正)成本,而与房间间连接的位置分离的、平行或垂直的其它 墙壁在一些实施方式中可包括指定的负成本(奖励)。
(4)提取特征相似性成本,以便测量待连接的两个房间间墙壁开 口的相似性(例如,通过它们的尺寸和/或它们的类型,在一些实施方 式中包括将门分类为子类别,诸如入户门、房间间门、壁橱门等)。
(5)形状定向成本,以便测量在两个房间间墙壁开口之间制造了 潜在连接的情况下,候选/目标房间的房间形状的定向与局部楼层平面 图的当前一个或更多个房间的一个或更多个房间形状的对准程度。
(6)房间对象空间再投影成本,以便测量当执行图像再投影时壁 特征位置与预期位置匹配的程度。例如,给定用于房间形状的已知壁 特征(例如,利用对象检测流水线自动确定、由一个或更多个用户手 动注释等的壁特征)、以及用于图像内的对象定位的算法(例如,‘Faster R-CNN’算法,或较快的基于区域的卷积神经网络算法),可从用于壁 开口的全景图像生成边界框(例如,门、窗和其它墙壁开口),以及可 从当前房间的全景图像中的候选/目标房间的房间形状来计算墙壁特 征位置,以经由房间的房间间墙壁开口连接至候选/目标房间,然后可 将这种重新投影的墙壁特征边界框与为对应的墙壁特征的当前房间的 全景图像生成的边界框进行比较(例如,壁开口)。在一些实施方式中, 可用下式(b)来计算相应的成本值:
(b)成本=来自当前房间的全景图像的边界框交叉的面积/边界框 的面积
(7)基于图像相机空间关系的成本,以便测量候选/目标房间的全 景图像与候选/目标房间将要连接的现有楼层平面图的当前房间的全 景图像之间的相机相对角度。例如,可生成全景视觉连接(PVC)角 度,以表示空间中2个全景图像的相机位置之间的角度,以便使用两 个这样的全景图像之间的特征匹配来计算PVC角度,以求解它们之间 的同调矩阵,或使用基于卷积神经网络的图像补丁匹配算法,或使用 SLAM(同时定位和映射)和罗盘信息。对于现有局部楼层平面图的 候选/目标房间和当前房间,如果它们连接,则可在两个房间的全景图 像之间计算相机相对角度,并且可将该相机相对角度与PVC角度进行 比较,其中该成本随着角度的发射而增加。
(8)图像内容相似性成本,以便测量具有视觉重叠的两个全景图 像之间的相似性程度。例如,可使用卷积神经网络(例如,连体神经 网络结构)来比较两个全景图像,以确定它们是否具有任何视觉重叠, 并且计算在图像空间中发生任何这种图像重叠的位置。因而,如果经 由两个房间间墙壁开口连接,则这样的卷积神经网络可用于确定候选/ 目标房间的两个全景图像和现有局部楼层平面图的当前房间之间的视 觉重叠,可使用射线投射来进一步推断两个这样的全景图像之间的视 觉重叠,并且可基于所推断的视觉重叠和所确定的视觉重叠之间的一 致性来测量全景图像之间的内容相似性。
(9)与房间形状对准相关的成本,以便当2个形状变得更加对准 并且构成房间形状多边形的线段变得对准时降低成本。
(10)基于与房间类型相关的拓扑关系(例如,房间类型的邻接) 的成本,从而降低具有彼此接近的较高可能性的房间类型(例如,浴 室通常接近卧室和/或走廊,并且通常较不接近露台)的成本。
(11)基于组合房间的形状与所述结构的外部轮廓之间的形状对准 的成本。例如,可基于对结构的外部图像(例如,从组、从空中、从 卫星等拍摄的图像)的分析来确定房屋的外部轮廓和/或窗户和门的位 置或对准,以及当组合的房间的形状与外部轮廓和/或其它位置/对准信 息相匹配时,可降低用于组合房间的成本。
另外,关于在一些实施方式中使用机器学习技术来训练神经网络 或其它模型以基于来自多个成本度量的信息的组合来提供合计成本得 分,至少一些这样的实施方式可级联对应于多个成本度量中的一者的 应用的每个成本项目的特征或其它信息,并将其作为输入供应到经训 练的机器学习网络(例如,经过训练的决策树),以生成最终的总成本得分。
图2G继续示出图2A至图2F的示例,并且示出了进一步使用所 显示的GUI来操纵关于走廊和候选房间之一之间的房间间连接的信息。 特别地,在所示实施方式中,已选择了起居室(对应于图2F的选项 255f1),用于用户的进一步交互(例如,基于对相应的确认用户可选 控件(未示出)的选择),无论在用户做出最终确认以将起居室连接至 走廊的墙壁开口263a之前(例如,为了能够检查关于可能的连接的进 一步细节以验证它是正确的),或在已进行了该确认之后(例如,为了 调整连接如何进行,诸如走廊238b和起居室239b的房间形状的相对 布局)。在最初仅向用户显示单个建议的候选房间连接(例如,最高等 级的候选房间连接)的实施方式中,GUI可显示与图2G类似的界面, 而无论如何不显示与图2F类似的信息,以及如果需要的话,用户能够 改变所显示的信息以顺序地对应于其他选项255f2-255f4(例如,通过 以基于其排名的顺序循环选项)。另外,虽然在图2G中未示出,但是 在至少一些实施方式中,可用对应于另一房间的信息覆盖用于走廊和 起居室的一个或更多个显示的全景图像(例如,另一房间的一些或所 有边界的线框描述),如关于图2I进一步讨论的。
特别地,在图2G所示的示例性实施方式中,第一全景窗格250g 保持与图2F所示的相同,但是添加了新的第二全景窗格245g,以显 示起居室的全景图像239a,包括视觉表示269b,如果起居室通过房间 间壁开口连接至走廊,则用于在起居室的全景图像中显示走廊的房间 间壁开口263a的位置。另外,GUI控件295已更新以显示已选择辅助 控件295D,以便对应于执行两个或更多房间之间的潜在连接的调整或 其它用户操作。另外,楼层平面图窗格255g已经更新以显示关于多个 选项255g1-255g3中的至少第一选项255g1的信息,所述多个选项对 应于走廊和起居室的房间形状相对于彼此的不同的可能对准,尽管在 其他实施方式中,当用户经由与楼层平面图窗格或全景窗格之一的交 互来进行相应的改变时,可仅显示和更新单个选项(或可替换地,用 户能够切换以显示不同的可能的对准选项)。在所示的示例中,选项 255g1对应于这样的情形,其中起居室的东壁显示为平行于走廊的西 端(垂直于走廊的北壁和南壁),并且在起居室的东壁形状和走廊的房 间形状的西端之间没有空间,诸如两个房间形状中的壁开口卡扣在一 起并且修改起居室的旋转的房间形状以提供对准。其他选项255g2和 255g3对应于两个房间形状的布局的其他可能的配置,诸如,选项 255g2中起居室的东壁不完全平行于走廊的西端(例如,在房间形状 之一中关于其房间壁开口的位置的信息是不精确的,并且不与该房间 形状的周围壁完美地对准)的情况,或选项255g3中包括起居室的东 壁和走廊的西端之间的估计距离264g的量,以对应于该壁的估计宽度 (例如,在起居室的东壁和两个卧室的西壁之间到起居室的东侧和走廊 的北侧和南侧)。在一些实施方式和情形中,用户可进一步操纵所显示 的信息以控制壁深度的量,诸如参考图2J更详细地讨论的。如别处所 述,在至少一些实施方式和情形中,协调GUI窗格中各种显示的信息, 使得用户对任何GUI窗格中的信息的改变均反映在其他窗格中显示的 信息中。因而,例如,如果在窗格250g中修改了视觉表示269a的大 小和/或位置,则可自动更新窗格245g中的相应视觉表示269b和页面 255g中关于该壁开口的信息(例如,以实时同时的方式,或接近实时 的方式)。
图2H继续示出图2A至图2G的示例,并且示出了使用所显示的 GUI来继续将另外的房间互连到局部楼层平面图,诸如在已由用户确 认用于走廊和起居室的房间形状的特定对准之后(例如,基于对相应 的确认用户可选控件的选择,未示出)。特别地,在图2H所示的示例 实施方式中,已进行了起居室和走廊之间经由走廊的壁开口263a的连 接,并且已使用第二GUI控件295c来生成新的一组建议的候选房间 连接,以结合到所得到的局部楼层平面图中的走廊和起居室的组合。 在该示例中,三个附加候选房间连接选项255h1-255h3的至少第一选 项255h1显示在更新的楼层平面图窗格255h中,以及第二全景图像窗 格245h更新以不显示任何全景图像(例如,因为还未选择特定的附加 候选房间连接选项),尽管在其它实施方式中,在楼层平面图窗格255h 中可仅显示单个选项(例如,对应于候选房间连接选项中最高排序的 一个选项)和用于该选项的相应全景图像可最初显示在第二全景图像 窗格245h中。在这个示例中,全景图像238a更新250h,以示出与走 廊的西南端附近的门道壁开口190-3相对应的可视表示269C,并移除 与壁开口263a相对应的先前的可视表示269a,其中,在这个示例中, 选项255h1-255h3中的每一个均与门道190-3的候选房间连接选项相 对应。在其他实施方式中,所生成和排名的候选房间连接选项可对应 于到当前局部楼层平面图中的任何房间的任何可用墙壁开口的连接 (例如,对于第一选项,对应于连接至走廊的门口190-3的第一其它房 间;对于第二选项,对应于另一房间与起居室的门口壁开口190-1的 连接,诸如,如果还不知道门是不是不与任何其它房间连接的外部门; 对于第三选项和第四选项,对应于与走廊的不同门口壁开口的连接, 诸如门口190-4或190-5等)。
随着局部楼层平面图中的房间数量的增加,可获得附加信息来改 善候选房间连接选项的排名,如在窗格255h中所示的方面266a-266g 中所反映的,以便于读者使用(并且在一些实施方式中可选地显示给 MIGM系统操作员用户,诸如如果用户请求关于一个或更多个候选房 间连接选项的似然排名或其他评估得分的细节)。例如,对于其中走廊 的门口190-3与显示的房间形状242b的门口互连的选项255h1,方面 266a对应于两个门口的潜在连接,这在该实例中看起来与相同尺寸的 门口相匹配。另外,房间形状242b的西壁和北壁看起来分别大致与起 居室的东壁和南壁对准,以及房间形状242b的南壁看起来与起居室的 南壁大致对准,以及初始宽度264h被示出为对应于房间形状242b的 西壁和起居室的东壁之间的壁深度,以及类似的壁深度被示出为在房 间形状242b的北壁与房间形状242b的南壁之间。在该示例中,房间 形状242b被标记为对应于“卧室1”房间,例如,如果注释信息与该 房间的房间布局信息一起可用,而在其它实施方式中,这种房间标记 可由MIGM系统操作员用户添加(无论在将该房间连接至局部楼层平 面图中的时间还是另一时间,诸如在所有的房间形状已互连之后),或 此时可不显示。
图2I继续图2A-图2H的示例,并且示出了所显示的GUI的附加 使用,以继续将附加的房间互连到局部楼层平面图,在该楼层平面图 中,走廊互连到起居室,诸如在已经选择了“卧室1”房间形状242b (对应于图2H的选项255h1)之后,用于由用户进行进一步的交互(例 如,基于对相应的确认用户可选控件的选择,未示出)。具体地,在图 2I中示出的示例实施方式中,可以在用户已经做出将卧室1连接到走 廊的门道开口190-3的最终确认之前(例如,使得能够检查关于可能 的连接的进一步细节以验证它是正确的),或者在已经做出该确认之后 (例如,调整连接如何发生,诸如房间形状242b相对于走廊的房间形 状238b和起居室的房间形状239b的相对布局,并且可选地,如果适 当的话,进一步相互调整走廊的房间形状238b和起居室的房间形状 239b的相对布局)执行进一步的用户交互。在最初仅向用户显示单个 建议的候选房间连接(例如,多个候选房间连接的最高排序)的实施 方式中,GUI可以显示类似于图2I的界面的界面,而不曾显示类似于 图2H的信息的信息,并且如果需要,用户具有改变所显示的信息以 顺序地对应于其它选项255h2-255h3(例如,通过按基于它们的排序的 顺序循环)的能力。
图2I还示出了显示覆盖在对应于另一房间的房间中的一个的全景 图像中的一个上的信息的示例,并且具体示出了覆盖在显示在窗格 245i中的卧室1的全景图像242a上的走廊的信息238i-在该示例中, 覆盖的信息238i包括使用虚线示出的走廊的边界,连同门道190-3、 190-4和190-5以及走廊的其它墙壁开口263a和263b的位置的视觉表 示(包括走廊的门道开口190-3的视觉表示269d)。虽然在该示例中在 走廊的全景图像238a上没有显示卧室1的类似的覆盖的信息,但是至 少一些实施方式可以显示这样的附加的覆盖的信息。如同GUI的其它 部分一样,MIGM系统操作员用户可以操纵所显示的窗格中的一个中 的各种信息,以引起在其它所显示的窗格中更新相应的信息,诸如操 纵覆盖的信息238i的尺寸和/或位置,以影响走廊和卧室1之间的互连 如何发生,其中适当地相应更新显示在楼层平面图窗格255i中的信息 和相应地更新全景图像238a(例如,更新与卧室1的边界相对应的全 景图像238a上的覆盖的信息的显示,未示出)。
图2J继续图2A-图2I的示例,并且示出了所显示的GUI的附加 使用,以从用户操纵所显示的信息来获得信息,从而控制房间形状的 互连。具体地,图2J示出了没有GUI的其它部分的GUI窗格250j的 扩展版本,以便显示关于可能连接到卧室1的走廊的门道开口190-3的附加细节。在该示例中,指定附加信息以表示来自所连接房间的走 廊侧224a和侧224b的门道,在该示例中,差异223对应于墙壁的宽 度。具体地,用户可以操纵门的视觉表示224a和/或224b(以及走廊 和/或卧室1的附加部分,未示出),以匹配该图像中的走廊和卧室1的房间边界,并且这种墙壁宽度信息可以进一步用于房间布局信息中, 以指定走廊和卧室1之间的墙壁的相应宽度。类似的信息可以被指定 用于其它门和房间间开口,相应的墙壁宽度被确定并且也以类似的方 式被用于互连的房间形状的布局。在其它实施方式中,可以以其它方 式来确定和使用关于墙壁宽度的信息,诸如使用固定尺寸(例如,基 于干墙壁或其它墙壁材料的标准厚度),不表示或以其它方式使用墙壁 宽度,或者以其它方式使用图像信息和/或其它信息(例如,从深度传 感器获得的深度数据)来执行墙壁宽度信息的自动确定和/或手动调整。
回到图2H,信息255h2-255h3也可以被显示用于其它候选房间连 接选项,不论是最初还是替代地稍后与用于最高排序选项的信息 255h1一起(例如,顺序地作为关于其它房间连接选项的用户请求信 息)。在该示例中,信息255h2对应于与具有具备房间形状243b的不 同房间(在该示例中,具有具备“卧室2”的标签的不同房间)连接 到走廊的门道190-3的潜在房间连接,并且信息255h3对应于与具有 具备房间形状244b的另一不同房间(在该示例中,具有具备“浴室 1”的标签的其它不同房间)连接到走廊的门道190-3的不同潜在房间 连接。附加的指示的方面266b-266g示出了在该示例中与信息255h2 和255h3相对应的选项的房间对准的潜在问题,诸如相对于一个或更 多个成本度量比信息255h1的选项得分更高的成本(并且因此被排序 得比信息255h1的选项更低)。例如,对于信息255h2,用于潜在连接 的信息方面266b示出了在门道之间的类似连接,如对于信息255h1 的最高排序选项所呈现的,但是方面266c示出了用于卧室2的房间形 状继续向东足够远以在卧室2中没有任何相应门道的情况下覆盖走廊 的门道190-4,方面266d示出了卧室2的房间形状以比典型的墙壁宽 度更大的量在起居室的东墙壁附近结束,并且方面266e示出了房间形 状243b的东端延伸超过走廊的端部,其中的一个或更多个可以均导致 一个或更多个成本度量的成本高于信息255h1中所示的与卧室1的潜 在连接。类似地,对于信息255h3,用于潜在连接的信息方面266f示 出了在门道之间的类似连接,如对于信息255h1的最高排序选项所呈 现的,但是方面266g示出了用于浴室1的房间形状具有不与起居室的 东墙壁的形状对准的西墙壁,并且进一步继续向西足够远以与起居室 的一部分重叠,其中的每个可能导致一个或更多个成本度量的成本高 于信息255h1中所示的与卧室1的潜在连接。
图2K继续图2A-图2J的示例,并且示出了使用所显示的GUI来 继续将附加的房间互连到现在包括走廊与起居室和卧室1之间的互连 的局部楼层平面图,诸如在用户已经确认了卧室1的房间形状相对于 走廊和起居室的房间形状的具体对准之后(例如,基于对相应的确认 用户可选控件的选择,未示出)。具体地,在图2K中显示的示例实施 方式中,在所得的局部楼层平面图中,已经做出经由走廊的门道开口 190-3的卧室1和走廊之间的连接,并且第二GUI控件295c已经被用 于生成一组新的建议候选房间连接,以结合到走廊和起居室以及卧室 1的组合。在该示例中,两个或更多个另外的候选房间连接选项 255k1-255k2中的至少第一选项255k1被显示在如更新的楼层平面图 窗格255k中,并且第二全景图像窗格245k被更新以不显示任何全景 图像(例如,因为具体的附加候选房间还未被选择),尽管在其它实施 方式中,在楼层平面图窗格255k中可以仅显示单个选项(例如,对应 于候选房间连接选项中的最高排序的一个选项)和用于该选项的相应 全景图像可以最初显示在第二全景图像窗格245k中。在该示例中,全 景图像238a被更新以示出对应于在走廊的东南端附近的门道墙壁开 口190-4的可视表示269e,其中选项255k1-255k2均对应于在该示例 中用于门道190-4的候选房间连接选项-在其它实施方式中,所生成并 排序的候选房间连接选项可以对应于与在当前局部楼层平面图中的任 何房间的任何可用非连接墙壁开口的连接。
以与图2H的方式类似的方式,为了读者的利益,图2K在窗格 255k中示出关于方面266h-266o的信息(且在一些实施方式中可选地 显示给MIGM系统操作员用户,诸如如果用户请求关于可能性排序或 一个或更多个候选房间连接选项的其它评估得分的细节)。例如,对于 其中走廊的门道190-4与浴室1的所显示的房间形状244b的门道互连 的选项255k1,方面266i对应于两个门道的潜在连接,在该示例中, 这看起来与相同尺寸的门道开口相匹配-此外,方面266h示出浴室1 的西墙壁与卧室1的东墙壁相匹配,方面266j示出了浴室1的东墙壁 通常与走廊的东端对齐,而方面266k示出了起居室和卧室1以及浴室 1的南墙壁通常全部对准。相反,附加指示的方面266l-266o示出了在 该示例中与信息255k2相对应的选项的房间对准的潜在问题,以便相 对于一个或更多个成本度量比信息255k1的选项得分更高的成本(并 且因此被排序得比信息255kj1的选项更低)。例如,关于信息255k2,用于潜在连接的方面266m的信息示出了门道之间的类似连接,如针 对信息255k1的最高排序选项的门道而呈现的,但是方面266l示出了 卧室2的房间形状继续向东足够远以显著超过走廊的东端,方面266n 示出了卧室2的房间形状的西墙壁不与卧室1的东墙壁匹配,并且方 面266o示出房间形状243b的西南部分延伸超过起居室和卧室1的南 墙壁(这可能与来自在采集位置210M处所拍摄的全景图像的信息不 一致,所述采集位置210M示出房屋的所有南侧是平坦的并且沿着相 同的平面),其中的一些或全部可能导致一个或更多个成本度量的成本 高于在信息255k1中示出与浴室1的潜在连接的成本。
MIGM系统可以继续执行自动操作,以将附加的房间迭代地连接 到现有的局部楼层平面图,其中所得到的完成的楼层平面图的一个示 例关于图2S示出并讨论。虽然在图2D-图2K中未示出,但是在一些 实施方式中也可以提供各种附加类型的功能。例如,在一些实施方式 中,MIGM系统操作员用户可以进一步启动房间之间的附加手动互连 作为生成楼层平面图的一部分,以便拒绝自动确定和建议的潜在房间 连接,并代替地以手动选择新的房间以连接到局部楼层平面图的一个 或更多个当前房间(例如,显示所有剩余的房间形状,并允许用户选 择那些房间形状中的一个并根据需要手动定位它),以管理全景图像仅可用于建筑物的房间的子集并且用户手动添加其它房间的信息等的情 况。此外,在一些实施方式中,MIGM系统还可以使用关于在多个图 像(例如,窗口)中可见的特征的信息,以便确定在图像中显示的房 间之间的对准。此外,在一些实施方式中,无论是除了房间的互连墙 壁开口之外还是代替房间的互连墙壁开口,MIGM系统还可以自动对 准房间的墙壁作为潜在的房间连接的一部分。
图2L-图2R继续图2A-图2K的示例,并且进一步示出了关于一 个或更多个示例图的信息,所述一个或更多个示例图可以由MIGM系 统构造为和/或由MIGM系统用作确定候选房间连接选项的一部分,所 述候选房间连接选项经由MIGM系统的GUI向MIGM系统操作员用户提供,以及表示所确认的房间间连接。具体地,关于图2L,其示出 了用于房屋的房间的图240k,以便对应于在图2F中显示的用于连接 到走廊的墙壁开口263a的候选房间连接选项。具体地,在该示例中, 从表示走廊房间的节点n-238开始,递增地建立房间连接图的该版本, 并且添加可能的子节点n-239、n-240-1、n-240-2和n-241,其对应于 具有与走廊的墙壁开口263a的潜在连接的房间,如由相应的节点间链 接(例如,与经由走廊的墙壁开口263a在走廊238和起居室239之间 的潜在连接相对应的链接l-238-239)所示-为了参考的目的,这种递增 创建的房间连接图参照图2L-图2N作为邻接图,以将其与关于图2O- 图2R讨论的房间连接图区分开。如本文别处更详细讨论的,各种成 本度量可以应用于潜在连接,以便引起将由与起居室的链接l-238-239 表示的潜在连接排序为最高排序选项。图2L还示出了修改后的邻接 图240l,其对应于已经被确认为经由墙壁开口263a连接到走廊的起居 室,诸如在MIGM系统操作员手动确认连接之后,或者基于MIGM系 统基于排序自动选择和确认连接之后-在修改后的邻接图240l中,正 在去除用于未选择的连接及其对应的子节点的链接。
图2M继续图2A-图2L的示例,并且示出了包含与图2H相对应 的信息的邻接图240m的修改版本,其中候选房间连接选项被确定为 与具有走廊和起居室的组合的现有局部楼层平面图相组合。在该示例 中,继续示出由与起居室的链接l-238-239表示的现有连接,并且对应 于走廊的门道190-3的附加可能的候选房间连接选项被进一步添加到 邻接图,以便对应于经由相应链接(例如,对应于经由走廊的门道开 口190-3在走廊238和卧室1之间的潜在连接的链接l-238-242)与附 加房间卧室1、卧室2和浴室1的潜在连接。如本文别处更详细讨论 的,各种成本度量可以被应用于潜在连接,以便引起由链接l-238-242 表示的潜在连接作为最高排序的选项。虽然在图2M中未示出,但是 一旦确认了实际的房间间连接,就将去除用于未选择的连接及其对应 的子节点的链接。
图2N继续图2A-图2M的示例,并且示出了在走廊的所有五个墙 壁开口已经连接到相应的房间(即,分别连接到走廊的墙壁开口263a、 190-3、190-4、190-5和263b的起居室239、卧室1 242、浴室1 244、 卧室2 243和厨房/餐厅240)之后的稍后时间点处的邻接图240n的进 一步修改版本,如由修改后的邻接图的相应链接和子房间节点示出的。 修改的邻接图还示出了附加的房间间连接,其已经为厨房/餐厅的三个 其它墙壁开口与房屋的其它房间或区域做出(即,分别连接到厨房/ 餐厅的墙壁开口267a、263c和197的楼梯中间的平台245、家庭房间 241和房屋的东外门197外部的露台246)。邻接图240n可以被进一步 修改以反映经由楼梯平台节点n-245与房屋的第二层(未示出)的附 加房间的连接,并且在一些实施方式中可以被进一步修改以包括从露 台到对应于采集位置210L和210M的一个或更多个外部区域(例如, 分别为后院和侧院)。当完成时,这样的邻接图表示用于房屋的最终房 屋连接图,其示出了最终楼层平面图中的房屋之间的连接。此外,虽 然在图2N中未示出,但是在至少一些实施方式中,邻接图的节点和/ 或链接可以包含进一步的信息,以便均包括具有关联值的一个或更多 个属性。例如,一些或所有节点可以均包括关于由节点表示的房间的 属性的信息,诸如对于包括以下中的一个或更多个的属性:房间类型; 房间尺寸;在窗户和门以及其它房间间开口的房间中的位置;关于房 间的形状的信息(是否关于2D形状和/或3D形状);用于每个窗口的 视图的类型,以及可选地每个窗口所面对的方向信息;可选地用于门 和其它房间间开口的方向信息;关于房间的其它特征的信息,诸如来 自对查看楼层平面图的最终用户供应的相关联的图像和/或信息以及 可选地其相关联的图像(例如,所使用的材料的视觉外观和类型,诸 如用于地毯或其它楼层材料以及用于墙壁覆盖物和用于天花板的颜色 和/或纹理和/或类型等;灯具或其它内置元件;家具或房间内的其它物 品;等);关于在房间中拍摄的图像的信息和/或图像的副本(可选地, 具有用于每个图像的房间内的相关联的位置信息);关于在房间中捕获 的音频或其它数据的信息和/或音频或其它数据的副本(可选地,具有 在房间内针对音频剪辑或其它数据段中的每个的相关联的位置信息); 等。类似地,一些或所有链接(或“边缘”)可以均包括关于由链接/ 边缘表示的房间间邻接的属性的信息,诸如对于包括以下中的一个或 更多个的属性:房间间连接类型;房间间连接尺寸(例如,宽度;高 度和/或深度);等。在至少一些实施方式中,各种其它类型的信息可 以类似地存储在邻接图中或与邻接图相关联。
图2O-图2R继续图2A-图2K的示例,并且示出了用于生成和使 用与房屋的楼层平面图相对应的房屋连接图的可选技术的示例。具体 地,图2O示出了完全连接的房屋的房间连接图240o的初始版本,以 便包括表示房屋的所有房间之间的所有可能的候选房间连接选项的链 接(在该示例中,该链接限于相同类型的墙壁开口之间的连接,并且 不包括与房屋外部的区域的连接选项)。因此,尽管房间连接图240o 包括节点n-238,其以与图2L-图2N的相邻房间图类似的方式表示走 廊房间,并且包括对应于该节点与其它节点n-239、n-240和n-241之 间的连接的链接,所述其它节点n-239、n-240和n-241对应于起居室 和家庭房间以及厨房/餐厅,走廊的墙壁开口263a可以潜在地连接到 厨房/餐厅,房间连接图240o还包括如在图2N的相邻房间图中反映的 其它节点,并且包括对应于如所示的其它房间之间的潜在连接的其它 链接。虽然在图2O中未示出,但是节点和链接/边缘还可以存储与其 的各个房间和房间间连接相对应的各种类型的各种属性信息,如关于 图2N和本文别处所讨论的。
图2P继续图2A-图2O的示例,并且示出了房间连接图240p的修 改版本,其中一些链接已经从图240o中去除,使得所得到的图仅部分 地连接。具体地,房间连接图240p对应于图2G,其中已经经由走廊 的墙壁开口263a建立了起居室和走廊之间的房间间连接-因此,已经 去除对应于到走廊的墙壁开口263a和起居室的墙壁开口的可能连接 的其它可能的链接(以反映所示实施方式中仅两个墙壁开口互连的假 设,尽管在其它实施方式中,在至少一些情况下可以连接多于两个的 墙壁开口),同时对于其它的墙壁开口的其它可能的连接保留。
图2Q继续图2A-图2P的示例,并且示出了房间连接图240q的进 一步修改版本,其中已经从图240p中去除了附加链接,附加的链接对 应于在走廊和卧室1之间经由走廊的门道190-3建立的另外房间间连 接。因此,对应于与门道190-3和卧室1的门道的可能连接的其它可 能的链接已经被去除,同时用于其它墙壁开口的其它可能的连接保留。
图2R继续图2A-图2Q的示例,并且示出了房间连接图240r的进 一步修改版本,其中已经从图240q中去除了附加的链接,附加的链接 对应于在走廊和浴室1之间经由走廊的门道190-4建立的另一房间间 连接。因此,对应于与门道190-4和浴室1的门道的可能连接的其它 可能的链接已经被去除,而用于其它墙壁开口的其它可能的连接保留。 将理解的是,可以以这种方式进一步迭代地修改房间连接图,直到已 经完成了用于房屋的最终楼层平面图,在至少一些实施方式中,所得 到的房间连接图看起来与最终邻接图相同或相似。
尽管在图2R中未示出,但是在附加的实施方式中可以以另外的 方式进一步使用房间连接图,以确定在完成用于房屋的楼层平面图之 前、同时或之后关于房屋的感兴趣的信息。例如,可以以各种方式搜 索诸如图2O-图2R中所示的房间连接图的房间连接图,以识别房间之 间的实际或可能的房间连接,如本文别处更详细讨论的。作为一个非 排他性示例,代替建议接下来添加单个下一个房间,可以使用图形搜 索算法(例如,A*)来搜索下一个N个可能的连接,其中N可以在 从1到房屋中的房间形状的总数的范围内(如果为房屋中的房间形状 的总数,则可以生成用于完整建筑物楼层平面图的一个或更多个候选 项)。可以类似地使用诸如遗传算法(GA)或其它演化算法的其它搜 索算法来朝着部分或完整楼层平面图的优化版本演化。
在所有房间形状互连和其它布局信息已经为房屋指定之后,无论 是由MIGM系统自动地和/或通过使用由一个或更多个MIGM系统操 作员用户供应的信息,最终结果可以用于生成房屋的2D楼层平面图, 可选地,在已经执行最终优化并且已经添加了最终楼层平面图的可视 方面之后-这种最终优化可以包括例如确保一致的视觉方面(例如,线 宽、颜色、文本样式等)、将文本房间标签放置在最终楼层平面图上的 优选位置处、添加缺失的空间(诸如未包括在所定义的房间形状布局 上的小衣柜或其它附加区域(例如,不具有从其中拍摄的任何图像的 区域,导致在建筑物外部内的未在所定义的房间形状布局中识别的空的空间))、合并多个重叠和/或相邻墙壁、校正任何几何异常等中的一 个或更多个。在至少一些实施方式中,所描述的技术可以包括以自动 方式执行至少一些这样的更新,并且可选地为一个或更多个用户提供 相应的GUI工具,以对所生成的房屋的楼层平面图做出最终手动调整 (例如,类似于绘图或绘画程序的GUI工具的GUI工具)。
图2S示出了用于房屋198的这种最终2D平面图的一个示例230, 诸如可以在GUI255s中呈现给MIGM系统操作员用户和/或最终用户, 并且将各种类型的信息添加到互连的房屋形状的组合中-将理解的是, 在一些实施方式中可以类似地生成示出墙壁高度信息的3D或2.5D楼 层平面图,不管是添加还是替代这种2D楼层平面图。在该示例中, 已经将房间标签添加到一些或所有房间(例如,用于起居室的“起居 室”),已经为一些或所有房间添加了房间尺寸,已经为一些或所有房 间添加了固定装置或器具或其它内置特征的可视指示,已经添加了附 加类型的相关联的和链接的信息的位置的可视指示(例如,最终用户 可以选择用于进一步显示的全景图像和/或透视图像的可视指示,最终 用户可以选择用于进一步呈现的音频注释和/或声音记录的可视指示 等),可以显示门和窗的可视指示等-此外,在至少一些实施方式和情 形中,一些或所有这种类型的信息可以由一个或更多个MIGM系统操 作员用户(例如,从那些用户接收文本房间标签)来提供,诸如在关 于图2A-图2R描述的活动期间或者在其它时间代替地提供。此外,在 该示例中,向GUI添加用户可选择控件228以指示为楼层平面图显示 的当前楼层,并允许用户选择要显示的不同楼层-在一些实施方式中, 楼层或其它层级的改变也可以直接从楼层平面图做出(诸如经由选择 连接通道,诸如所示楼层平面图中的楼梯到楼层2),并且在一些实施 方式中,用于多个楼层(例如,所有楼层)的信息将同时显示(无论 是作为单独的楼层的子楼层平面图,还是代替地通过将所有房间和楼 层的房间连接信息集成到一次一起示出的单个楼层平面图中)。将理解的是,在一些实施方式中可以添加各种其它类型的信息,在一些实施 方式中可以不提供所示类型的信息中的一些,并且在其它实施方式中 可以以其它方式显示和选择所链接的和相关联的信息的可视指示和用 户选择。
已经关于图2A-图2S提供了各种细节,但是将理解的是,所提供 的细节是出于说明的目的而包括的非排他性示例,并且可以以其它方 式执行其它实施方式,而没有一些或全部这样的细节。
此外,在至少一些实施方式中,可以由MIGM系统提供和/或经由 MIGM系统使用多种附加的自动功能(并且在至少一些实施方式中, 由一个或更多个MIGM系统操作员用户使用的相关联的GUI功能)。 作为一个示例,在一些实施方式中,可以提供将在单个房间中拍摄的 多个全景图像组合成单个全景图像的功能,诸如通过将全景图像中的 一个的信息定位到另一全景图像的空间中-例如,两个全景图像可以被 显示给在两个图像中选择一个或更多个公共点的用户(例如,在两个 图像中具有无限点的公共平面),其中MIGM系统基于所指示的公共 点来确定两个全景图像的视觉信息的相应位置。在这样的组合全景图 像被创建之后,它还可以以与其它全景图像的方式类似的方式被使用, 如在本文别处更详细地讨论的。此外,在一些实施方式中,一个或更 多个附加补充全景图像与用于每个房间的单个主全景图像组合使用, 以便在一个或更多个房间间连接中的每个的位置处生成补充全景图像, 以便帮助确定那些房间之间的连接(例如,房间的房间形状的对准和 其它布局),诸如通过使用补充全景图像中的信息来针对每个连接室匹 配全景中的相应特征。此外,在一些实施方式中,可以经由MIGM系 统提供附加功能以执行生成的楼层平面图的全局优化,以便识别墙壁 和其它房间形状信息的最终对准。
此外,在一些实施方式中,可以经由MIGM系统提供附加的功能 以改进房间形状的变换,诸如通过提供使用线段对准和自顶向下视图 的优化,或者通过使用直接图像重叠(例如,经由渲染)。此外,在一 些实施方式中,可以经由MIGM系统提供附加功能以执行或协助选择 第一房间形状以开始生成楼层平面图,诸如基于对关于该房间的信息 (例如,相对于建筑物的其它房间的信息)的自动分析,和/或基于由 MIGM系统操作员用户供应的信息(例如,在关于一些或所有房间形 状的信息被显示或以其它方式提供给用户之后)-作为一个示例,可以 基于一个或更多个因素来选择房间用作起始房间,诸如具有最多的房 间间墙壁开口、最少的房间间墙壁开口、对应于外部门的墙壁开口(例 如,建筑物的入口)、全景图像捕获的顺序(例如,使用对应于第一全 景图像捕获或捕获的最后全景图像的房间)等。
此外,在一些实施方式中,可以经由MIGM系统提供附加的功能, 以对准或以其它方式连接建筑物的多个楼层或其它层级,诸如经由连 接楼梯的连接通道或其它连接通道。这种附加功能可以包括,例如, 将房屋的多个楼层对准到单个坐标系中,使得它们可以全部作为3D 模型(例如,在渲染系统中)来渲染,和/或在2D中将房屋的多个楼 层对准,使得它们可以在自顶向下的正交投影(例如,在CAD系统中 或在建筑蓝图中)中被覆盖。作为一个非排他性示例,实现两个单独 楼层上的房间之间的连接的一种方式是使用示出诸如在楼梯的底部和 顶部中的一个或两个处的全景图像的连接两个楼层的楼梯(例如,对 于直接连接楼层而没有任何楼梯平台的直的楼梯)的全景图像,并且 以与其它墙壁开口连接类似的方式互连在楼梯的顶部和底部处的房间 的墙壁开口(诸如通过包括与测量或估计的楼梯长度相对应的在两个 墙壁开口之间的水平距离,并且可选地包括两个墙壁开口之间的竖直 信息,如果可用的话),并且两个这样的楼层的子楼层平面图以一致的 方式并且在3D空间中的相应位置处旋转。在楼梯的端部处的两个这 样的墙壁开口之间的高度差和水平距离的估计可以被确定,例如,如 果楼梯台阶的高度是已知的(例如,立板和在其上方的踏板的高度) 和/或如果全景图像是可用的,其中楼梯脚端部和头端部两者都是可见 的(例如,从直的楼梯的顶部或底部;从非直楼梯的每个楼梯平台, 诸如通过将每个这样的平台视为“中间”楼层,所述“中间”楼层以 类同于连接用于直楼梯的两个楼层的方式与其它楼层连接;等),使得 能够确定与楼梯脚部和/或头部相对应的全景图像中的水平线。在一些 实施方式和情形中,可以在全景图像捕获期间测量台阶的高度和/或深 度,无论是手动还是自动地在一个台阶上使用已知尺寸的对象。此外, 在一些实施方式中,可以使用图像处理自动地确定台阶的数量,其中 该信息与台阶深度信息相结合以确定楼梯的水平长度(可选地考虑楼 梯踏板在立板上方的突出/悬垂)和/或与台阶高度信息相结合以确定楼梯的竖直高度。以这种方式,这样的实施方式可以使用具有清晰语义 的相对稀少的几何特征(例如,在一个或更多个全景图像中表示楼梯 的脚部和头部的线)在最少数量的所捕获的全景图像中对两个楼层执 行房间的连接,而不是使用具有多个全景图像的密集数据(例如,以 提供密集的可视连接信息)和/或沿着楼梯进行的其它密集测量。
此外,在至少一些实施方式中,附加信息可以用作生成在建筑物 外部获得的建筑物的楼层平面图的一部分,诸如在建筑物外部采集的 一个或更多个全景图像(例如,其中建筑物中的一些或全部是可见的), 在同一房产上从附属建筑物或其它结构采集的一个或更多个全景图像、 来自空中的卫星和/或无人机图像、来自与建筑物相邻的街道的图像、来自财产记录或其它关于建筑物外部的尺寸的来源的信息等。作为一 个示例,可以使用一个或更多个外部全景图像来识别建筑物的外墙壁 的形状、外墙壁中的一个或更多个窗口的数量和/或位置、从该外部可 见的建筑物中的一个或更多个楼层的识别等,诸如从全景图像的自动 分析和/或基于一个或更多个MIGM系统操作员用户对全景图像的手 动注释,以及随后使用这样的信息来消除/选择和/或根据它们如何与从 外部全景图像采集的信息相匹配来对可能的房间连接排序。作为另一 示例,一个或更多个外部全景图像可以被视为围绕建筑物或以其它方 式与建筑物相关联的一个或更多个外部房间的一部分,其中外部房间 被建模(例如,具有房间形状)并以楼层平面图布置和/或以其它方式 连接到建筑物的其它内部房间并与建筑物的其它内部房间一起使用。 将理解的是,在至少一些实施方式中可以类似地提供各种其它类型的 功能。
图3是示出了执行MIGM系统340的实施方式的一个或更多个服 务器计算系统300以及执行ICA系统389的实施方式的一个或更多个 服务器计算系统380的实施方式的框图-服务器计算系统和MIGM和/ 或ICA系统可以使用形成适于并配置为在组合操作中时执行本文所述 的至少一些技术的电子电路的多个硬件组件来实现。在所示实施方式 中,每个服务器计算系统300包括一个或更多个硬件中央处理单元 (“CPU”)或其它硬件处理器305、各种输入/输出(“I/O”)组件310、 储存器320和存储器330、其中所示I/O组件包括显示器311、网络连 接312、计算机可读介质驱动器313和其它I/O装置315(例如,键盘、 鼠标或其它定点装置、麦克风、扬声器、GPS接收器等)。每个服务器 计算系统380可以具有类似的组件,尽管为了简洁起见仅示出了一个 或更多个硬件处理器381、存储器387、储存器385和I/O组件382。
服务器计算系统300和执行MIGM系统340,以及服务器计算系 统380和执行ICA系统389可以彼此通信,并且在该示出的实施方式 中经由一个或更多个网络399(例如,因特网、一个或更多个蜂窝电 话网络等)与其它计算系统和装置通信,以便与用户客户端计算装置 390(例如,由MIGM或ICA系统的系统操作员用户使用,以与那些 相应的系统交互;由最终用户使用以查看楼层平面图,以及可选地相 关联的图像和/或其它相关信息;等),和/或移动图像采集装置360(例 如,用于采集全景图像和可选地用于要建模的建筑物或其它环境的其 它信息),和/或可选地接收和使用楼层平面图和可选地其它生成的用 于导航目的的信息的其它可导航装置395(例如,用于由半自主或完 全自主车辆或其它装置使用)交互。在其它实施方式中,所描述的功 能中的一些可以在较少计算系统中组合,以便在单个系统或装置中组 合MIGM系统340和装置360的图像采集功能,在单个系统或装置中 组合ICA系统389和装置360的图像采集功能,在单个系统或装置中 组合MIGM系统340和ICA系统389,在单个系统或装置中组合MIGM 系统340和ICA系统389以及装置360的图像采集功能等。
在所示实施方式中,MIGM系统340的实施方式在服务器计算系 统300的存储器330中执行,以便执行至少一些所描述的技术,诸如 通过使用处理器305以配置处理器305和计算系统300以执行实现那 些所描述的技术的自动操作的方式来执行系统340的软件指令。示出 的MIGM系统的实施方式可以包括未示出的一个或更多个组件,以均 执行MIGM系统的功能的部分,并且存储器可以进一步可选地执行一 个或更多个其它程序335-作为一个具体示例,在至少一些实施方式中, ICA系统的副本可以作为其它程序335中的一个来执行,诸如代替服 务器计算系统380上的ICA系统389或除服务器计算系统380上的ICA 系统389之外。MIGM系统340还可以在其操作期间在储存器320上 (例如,在一个或更多个数据库或其它数据结构中)存储和/或检索各 种类型的数据,诸如以下中的一个或更多个:采集的360°全景图像信 息324,诸如从ICA系统389(例如,用于分析以产生房间布局信息; 用于帮助生成楼层平面图;向客户端计算装置390的用户提供显示; 等);生成或接收的关于一个或更多个建筑物的房间的房间布局的信息 325(例如,房间的形状、门和窗的位置以及房间的墙壁中的其它墙壁 开口);对于一个或更多个建筑物的生成的楼层平面图和其它相关联的 映射信息326(例如,生成和保存的2.5D和/或3D模型、与相关联的 楼层平面图一起使用的建筑物和房间尺寸、附加图像和/或注释信息 等);可选地,各种类型的用户信息322;和/或各种类型的附加可选信 息328(例如,与由ICA系统捕获和/或由MIGM系统建模的一个或更 多个建筑物内部或其它环境的呈现或其它使用有关的各种分析信息)。
此外,ICA系统389的实施方式在所示实施方式中的服务器计算 系统380的存储器387中执行,以便执行所述技术中的一些,诸如通 过使用处理器381以配置处理器381和计算系统380以执行实现那些 所述技术的自动操作的方式来执行系统389的软件指令。示出的ICA 系统的实施方式可以包括未示出的一个或更多个组件,以均执行ICA 系统的部分功能,并且存储器可以进一步可选地执行一个或更多个其 它程序(未示出)。ICA系统389还可以在其操作期间在储存器385上 (例如,在一个或更多个数据库或其它数据结构中)存储和/或检索各 种类型的数据,诸如关于所采集的全景图像和可选地相关联的采集元 数据的信息386,以及可选地在该示例中未示出的其它类型的信息(例 如,关于ICA系统操作员用户、附加图像和/或注释信息、一个或更多 个图像的尺寸/大小信息等)。
用户客户端计算装置390(例如,移动装置)、移动图像采集装置 360、可选的其它可导航装置395和其它计算系统(未示出)中的一些 或全部可以类似地包括针对服务器计算系统300所示的相同类型的组 件中的一些或全部。作为一个非限制性示例,移动图像采集装置360 均被示出为包括一个或更多个硬件CPU 361、I/O组件362、储存器365 和存储器367,其中浏览器和一个或更多个客户端应用程序368(例如, 专用于MIGM系统和/或ICA系统的应用程序)中的一个或两个在存 储器367内执行,以便参与同MIGM系统340、ICA系统389和/或其 它计算系统的通信-装置360均还包括一个或更多个成像系统364和 IMU硬件传感器369以及可选地其它组件(例如,照明系统、深度感 测系统等),诸如用于采集装置360的图像和相关联的运动数据。虽然 没有针对其它可导航装置395或其它计算系统390示出具体组件,但 将理解的是,其可以包括类似和/或附加组件。
还将理解的是,图3中包括的计算系统300和380以及其它系统 和装置仅仅是说明性的,而不是意图限制本发明的范围。系统和/或装 置可以代替地均包括多个交互计算系统或装置,并且可以连接到未具 体示出的其它装置,包括经由蓝牙通信或其它直接通信、通过诸如因 特网的一个或更多个网络、经由Web、或经由一个或更多个专用网络 (例如,移动通信网络等)。更一般地,装置或其它计算系统可以包括 硬件的任何组合,其可以交互和执行所述类型的功能,可选地当用具 体软件指令和/或数据结构编程或以其它方式配置时,包括但不限于台 式计算机或其它计算机(例如,平板计算机、板型计算机等)、数据库服务器、网络存储装置和其它网络装置、智能电话和其它蜂窝电话、 消费电子装置、可穿戴装置、数字音乐播放器装置、手持游戏装置、 PDA、无线电话、因特网电器和包括适当通信能力的各种其它消费产 品。此外,在一些实施方式中,所示的MIGM系统340和/或ICA系 统389所提供的功能可以分布在各种组件中,可以不提供MIGM系统 340和/或ICA系统389的一些所述功能,和/或可以提供其它附加功能。
还将理解的是,尽管在使用时将各种项目示出为存储在存储器中 或存储在储存器上,但是出于存储器管理和数据完整性的目的,可以 在存储器和其它存储装置之间传输这些项目或它们的部分。可选择地, 在其它实施方式中,软件组件和/或系统中的一些或全部可以在另一装 置上的存储器中执行,并经由计算机间通信与所示出的计算系统通信。因此,在一些实施方式中,当由一个或更多个软件程序(例如,由在 服务器计算系统300上执行的MIGM系统340,由在服务器计算系统 380上和/或在装置360上执行的ICA软件389等)和/或数据结构配置 时,可以由包括一个或更多个处理器和/或存储器和/或储存器的硬件装 置来执行所描述的技术中的一些或全部,诸如通过执行一个或更多个 软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构,并 且以便执行如在流程图和本文的其它公开中所描述的算法。此外,在 一些实施方式中,系统和/或组件中的一些或全部可以以其它方式来实 现或提供,诸如由在固件和/或硬件中部分或全部实现的一个或更多个装置组成(例如,而不是由配置具体CPU或其它处理器的软件指令整 体或部分实现的装置),包括但不限于一个或更多个专用集成电路 (ASIC)、标准集成电路、控制器(例如,通过执行适当的指令,并 且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、 复杂可编程逻辑器件(CPLD)等。组件、系统和数据结构中的一些或 全部也可以被存储(例如,作为软件指令或结构化数据)在诸如硬盘 或闪存驱动器或其它非易失性存储装置、易失性或非易失性存储器(例 如,RAM或闪存RAM)、网络存储装置或便携式媒体制品(例如, DVD盘、CD盘、光盘、闪存装置等)的非暂时性计算机可读存储介 质上,以通过适当的驱动器或经由适当的连接来读取。在一些实施方 式中,系统,组件和数据结构还可以经由生成的数据信号(例如,作 为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输 介质上传输,所述计算机可读传输介质包括基于无线和基于有线/电缆 的介质,并且可以采取各种形式(例如,作为单个或多路复用模拟信 号的一部分,或作为多个离散数字包或帧)。在其它实施方式中,这种 计算机程序产品也可以采用其它形式。因此,本公开的实施方式可以 用其它计算机系统配置来实践。
图4示出了ICA系统例程400的实施方式的示例流程图。该例程 可以由例如图1A的ICA系统160、图3的ICA系统389和/或如本文 中另外描述的ICA系统执行,以便在建筑物或其他结构内的采集位置 处采集360°全景图像和/或其他图像,例如用于后续生成相关的楼层平 面图和/或其他映射信息。尽管关于在特定采集位置处采集特定类型的 图像来讨论示例例程400的部分,但是将理解,可以使用该例程或类 似例程来采集视频或其他数据(例如,音频),无论是代替这些图像还 是除了这些图像之外。此外,虽然所示的实施方式从目标建筑物的内 部采集和使用信息,但是将理解,其他实施方式可以对其他类型的数 据执行类似的技术,包括对非建筑物结构和/或对一个或更多个感兴趣 的目标建筑物外部的信息。此外,可以在用户用来采集图像信息的移 动设备上,和/或由远离这种移动设备的系统执行一些或全部例程。
例程的所示实施方式在框405处开始,在框405处接收指令或信 息。在框410处,例程确定所接收的指令或信息是否指示采集表示建 筑物内部的数据,并且如果不是,则继续到框490。否则,例程进行 到框412以接收在第一采集位置开始图像采集过程的指示(例如,从 将执行获取过程的移动图像采集设备的用户)。在框412之后,例程进 行到框415,以便执行用于采集在感兴趣的目标建筑物内部的采集位 置的360°全景图像的采集位置图像采集活动,诸如经由移动设备上的 一个或更多个鱼眼透镜和/或非鱼眼直线透镜,并且以便提供绕垂直轴 的至少360°的水平覆盖。作为一个非排他性示例,移动图像采集设备 可以是配备有鱼眼透镜(例如,具有180°水平覆盖度)和/或其他透镜 (例如,具有小于180°水平覆盖度,诸如常规透镜或广角透镜或超宽 透镜)的旋转(扫描)全景相机。该例程还可以可选地从用户获得关 于采集位置和/或周围环境的注释和/或其他信息,例如用于稍后在呈现 关于该采集位置和/或周围环境的信息时使用。
在框415完成之后,例程继续到框420,以确定是否存在更多的 采集位置,在采集位置处例如基于移动设备的用户所提供的相应信息 来采集图像。如果是这样,并且当用户准备好继续程序,则例程继续 到框422,以在移动设备沿着远离当前采集位置的行进路径并且朝向 建筑物内部内的下一个采集位置的移动期间可选地启动链接信息(例 如,加速度数据)的捕获。所捕获的链接信息可以包括在这种移动期 间记录的附加传感器数据(例如,来自移动设备上的一个或更多个IMU 或惯性测量单元或以其他方式由用户携带)和/或附加视觉信息(例如, 图像、视频等)。可以响应于来自移动设备的用户的显式指示或者基于 从移动设备记录的信息的一个或更多个自动分析来执行启动对这种链 接信息的捕获。此外,在一些实施方式中,在移动到下一个采集位置 期间,该例程还可以可选地监视移动设备的运动,并且向用户提供一 个或更多个关于移动设备的运动,被捕获的传感器数据和/或视觉信息 的质量,相关的照明/环境条件,捕获下一个采集位置的可取性以及捕 获链接信息的任何其他合适的方面的引导提示。类似地,例程可以可 选地从用户获得关于行进路径的注释和/或其他信息,例如用于稍后在 呈现关于该行进路径的信息或所得的全景间图像连接链接中使用。在 框424中,例程确定移动设备已经到达下一个采集位置(例如,基于 来自用户的指示,基于用户停止至少预定时间量的向前移动等),用作 新的当前采集位置,并且返回到框415,以便执行用于新的当前采集 位置的采集位置图像采集活动。
如果在框420中代替地确定没有采集当前建筑物或其他结构的图 像信息的任何更多采集位置,则例程进行到框425,以可选地分析建 筑物或其他结构的采集位置信息,以便识别可能的附加覆盖(和/或其 他信息)来在建筑物内部采集。例如,ICA系统可以向用户提供关于 在捕获多个采集位置期间采集的信息并且可选地相应的链接信息的一 个或更多个通知,例如,如果它确定捕获的信息的一个或更多个片段 具有不充分的或不期望的质量,或者没有看起来提供建筑物的完全覆 盖。在框425之后,该例程继续到框435,以在所获取的360°全景图 像随后用于生成相关的映射信息之前,可选地预处理所获取的360°全 景图像,以便生成特定类型和/或特定格式的图像(例如,对每个这样 的图像执行等矩形投影,其中使直的垂直数据(诸如典型的矩形门框 的侧部或两个相邻墙壁之间的典型边界)保持为直的,以及直的水平 数据(诸如典型的矩形门框的顶部或者墙壁和地板之间的边界)在图 像的水平中线处保持为直的,但是随着图像中距水平中线的距离增加, 在等矩形投影图像中以相对于水平中线的凸起方式逐渐弯曲)。在框 477中,图像和任何相关的生成或获得的信息被存储以供以后使用。 图5A-图5C示出了用于从这样生成的全景信息生成建筑物内部的楼层 平面图表示的例程的一个示例。
如果在框410中代替地确定在框405中列举的指令或其他信息不 是要采集表示建筑物内部的图像和其他数据,则例程继续到框490以 适当地执行任何其他指示的操作,例如任何内务处理任务,以配置要 在系统的各种操作中使用的参数(例如,至少部分地基于由系统的用 户指定的信息,诸如捕获一个或更多个建筑物内部的移动设备的用户, ICA系统的运营商用户等),以响应于对所生成和存储的信息的请求 (例如,识别一组或更多组互连的链接全景图像,每组全景图像表示 与一个或更多个指定的搜索标准匹配的建筑物或建筑物的一部分,与 一个或更多个指定的搜索标准匹配的一个或更多个全景图像等),生成 和存储建筑物或其它结构的全景图像之间的全景图像间连接(例如, 对于每个全景图像,确定该全景图像内朝向一个或更多个其它全景图 像的一个或更多个其它采集位置的方向,以便于对于来自全景图像的 每个这样确定的方向使得能够随后利用全景图像显示箭头或其它视觉 表示,以使得终端用户能够选择所显示的视觉表示中的一个来切换到 在所选择的视觉表示所对应的另一个采集位置处的另一个全景图像的 显示),以获得并存储关于系统的用户的其它信息等。
在框477或490之后,例程进行到框495以确定是否继续,例如 直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显式 指示时才进行。如果确定继续,则例程返回到框405以等待附加的指 令或信息,并且如果不是,则前进到步骤499并结束。
图5A-5C示出了用于映射信息生成管理器(MIGM)系统例程500 的流程图的示例性实施方式。例如,可以通过运行图1A的MIGM系 统140、图3的MIGM系统340、相对于图2A至图2S描述的MIGM 系统和/或如本文别处描述的MIGM系统来执行该例程,以便至少部分 地基于区域的图像(例如,360°球形全景图像)和关于图像在其中定 位的房间或其它区域的关联信息来生成用于所定义区域的映射信息。 在图5A至图5C的示例中,所生成的映射信息包括建筑物(例如,房 屋)的楼层平面图,但是在其它实施方式中,可以为其它类型的建筑 物生成其它类型的映射信息并以其它方式使用,如本文别处所讨论的 那样。
该例程的所示实施方式在框505处开始,在框505处接收信息或 指令。例程继续到框510,以确定在框505中接收的指令是否指示生 成所指示的建筑物的楼层平面图,可选地连同关于建筑物的其它相关 映射信息或其它相关联的信息一起,并且如果是,则例程继续执行框 512至564以这样做,否则继续到框565。
在框512中,该例程首先获得在所指示的建筑物的多个房间中捕 获的全景图像,并且获得用于这些房间中的一些或全部的房间布局信 息,诸如房间形状和用于每个房间的墙壁开口(例如,门、楼梯和其 它墙壁开口)的位置,以及可选地诸如房间大小的附加相关信息和/ 或关于房间的其它可见特征的信息。在一些实施方式中,可以通过在 框505中接收全景图像和/或房间布局信息或者从储存器中检索信息来 获得全景图像和/或房间布局信息,而在其它实施方式中,例程可以分 析建筑物的一些或所有全景图像,以便动态地确定房间布局信息中的 一些或所有,如本文别处更详细讨论的那样。
在框512之后,例程继续到框515,在框515中,其确定在框505 中接收的指令或其它信息是否指示以自动方式为整个建筑物确定建议 的楼层平面图以供用户确认,并且如果是,则继续到框550,否则继 续到框520。如果例程进行到框520,则例程确定所指示的建筑物的多 个房间的初始房间当前用于开始为建筑物生成楼层平面图布局的交互 过程,并且如果例程替代地进行到框550,则例程替代地确定建筑物 的一个或更多个初始当前房间,以用于为建筑物生成建议楼层平面图 的自动过程。
在框520或框550之后,例程继续到框552,在框552中,其识 别连接到一个或更多个当前房间的一个或更多个房间间墙壁开口的其 它候选房间(例如,所有可能的其它房间)的推荐,例如,连接到当 前房间和其它候选房间中的门、楼梯或其它房间间墙壁开口。在一些 实施方式和情形中,其他推荐的候选房间的识别包括使用房间连接图, 该房间连接图具有用于每个房间的节点以及对应于潜在的和/或实际 的房间间连接的节点之间的链接,例如通过使用潜在的房间间连接的 链接来识别一些或所有这样的其他候选房间-在这样的实施方式中,如 果这样的房间连接图不存在,则例程可以在其初始使用之前进一步使 用在框512中获得的房间布局信息来生成房间连接图,如本文别处更 详细讨论的那样。在框552之后,例程的所示实施方式继续到框554, 以基于每个候选房间是建筑物中连接到当前房间的一个或更多个房间 间墙壁开口的实际房间的可能性来对每个候选房间进行排名,尽管在 一些其它实施方式中可能不执行这样的排名-为了执行排名,可以使用 一个或更多个定义的成本度量中的每个来评估具有相关成本的每个可 能连接的一个或更多个方面,如本文别处更详细讨论的那样,包括如 果使用多个成本度量来得到每个可能的连接的总成本排名,则聚合多 个成本。
在框554之后,例程继续进行到框556,在框556处其确定例程 当前是否正在执行完整的建议建筑物楼层平面图的自动生成,并且如 果是,则继续进行到框560以选择一个或更多个排名最高的候选房间, 并且经由当前和所选择的房间的相应房间间墙壁开口将所选择的房间 与当前房间组合,以用作当前房间的新组合-在一些实施方式中,将通 过将不同的候选房间组合到当前房间来生成当前房间的多个替代组合, 以便提供替代的可能的楼层平面图。在框560之后,例程继续到框562, 以确定是否有更多的房间要连接到房间的当前的组合(一个或更多个), 并且如果是,则返回到框552以继续该过程,如果有多个替代组合, 则对于当前房间的每个组合分别执行框552和554的后续操作。如果 替代地在框562中确定没有更多的房间要连接,则例程继续至框564, 其中如果存在用于建筑物的房间的多种替代组合,则这些多种组合各 自被评估(例如,通过组合先前在框554中针对添加到特定组合的每 个候选房间生成的排名分数以生成每个组合的相应的总体评估分数, 和/或通过新使用针对所连接的房间的整个组合的一个或更多个成本 度量来生成新的总体评估得分),否则选择当前房间的单个组合,并任 选地确定其相应的评估得分,其中返回所述组合和任何相关的创建的 评估得分,以进一步用作一个或更多个组合作为建筑物的建议的楼层 平面图的排名。替代地,如果替代地在框556中确定没有执行完成建 筑物的完整的建议楼层平面图的自动过程,则例程继续到框558,在 框558中,例程返回当前候选房间及其相关的排名的指示,以用作连 接到当前房间的建议。
在框558或564之后,例程继续到框525,在框525,其接收要添 加到在框520中确定的当前房间的一个或更多个候选房间的排名(如 果正在使用交互式楼层平面图生成过程),或者其接收作为建筑物的建 议楼层平面图的一个或更多个候选房间组合的排名(如果正在使用自 动完整楼层平面图生成过程),选择排名最高的候选项中的一个或更多 个,并在GUI中向用户显示所选择的候选项的信息以进行确认或改变。 在至少一些实施方式和情形中,信息的显示包括显示具有不同但相关 的信息的多个GUI窗格,以便于在第一GUI窗格中显示房间布局视图, 该房间布局视图示出具有用于两个或更多个房间的互连的房间形状的 局部或完整楼层平面图,并且可选地显示一个或更多个附加GUI窗格, 该一个或更多个附加GUI窗格中的每个包括用于在楼层平面图窗格中 示出的房间中的至少一个的一个或更多个全景图像,并且可选地具有 覆盖在所显示的窗格上的附加信息,如本文别处更详细讨论的一那样。 在框525之后,例程继续到框530,在框530,其经由用户与GUI的 交互接收一个或更多个用户指令,并基于这些交互适当地更新GUI, 直到用户确认使用GUI中的当前信息继续进行(如果使用交互楼层平 面图生成过程,则使用房间的当前局部组合用于进一步的楼层平面图 生成,或者如果使用自动完整楼层平面图生成过程,则使用房间的当前完整组合作为建筑物的楼层平面图)。在框535中,例程然后确定是 否有更多的房间要连接,例如交互式楼层平面图生成过程是否正在被 使用并且所有的房间还没有被添加到当前的房间组合中-如果是这样 的话,例程继续到框540,以选择当前的房间组合作为当前的房间来 使用,然后返回到框552,以确定要连接到那些当前房间的附加候选 房间。如果替代地在框535中确定没有更多的要连接的房间,例如如 果交互式楼层平面图生成过程被使用并且所有的房间已经被添加到当 前的房间组合中,或者如果自动完整楼层平面图生成过程被使用并且 用户在任何修改之后已经确认了建议的楼层平面图,则例程继续到框545。
在框545中,例程可选地执行对所指示的建筑物的所生成的楼层 平面图布局的全局优化,然后继续到框588,在框588中,例程存储 或以其它方式使用为所指示的建筑物生成的楼层平面图和在框510至 框585中生成的任何其它信息,以便提供所生成的信息以在一个或更 多个客户端设备上显示,将所生成的信息提供给一个或更多个其它设 备,以便在这些设备和/或相关的车辆或其它实体等的自动导航中使用。 所生成的楼层平面图可以包括,例如,用于各种房间的相对位置和形 状信息,而不提供用于各个房间或作为整体的建筑物的任何实际尺寸 信息,并且还可以包括建筑物的多个链接的或关联的子图(sub-map) (例如,以反映不同的故事、等级、部分等)-应当理解,如果获得足 够详细的尺寸信息,则可以从包括用于房间和整个建筑物的尺寸信息 的楼层平面图生成楼层平面图。还应当理解,虽然这里讨论了用于生 成建筑物的映射信息的各种操作,但是在其它实施方式中,这样的操 作可以以其它顺序来执行,并且在一些实施方式中,一些这样的操作 可以不被执行。
虽然在例程500中未示出,但是一个或更多个MIGM系统用户可 以执行各种类型的修改以产生要使用的最终楼层平面图,诸如产生一 致的样式(例如,线宽、颜色、文本样式等),如果先前未指定则添加 文本房间标签和/或将文本房间标签放置在最终楼层平面图上的优选 位置处,以添加缺失的空间(诸如小的壁橱)、校正任何几何异常、修 改图像的位置和/或其它关联和链接的信息等。此外,尽管在例程500 中未示出,但是在其它实施方式中,例程可以生成用于建筑物的其它 类型的映射信息,而不是如针对例程500的该示例性实施方式所讨论 的2D示意性楼层平面图或除了2D示意性楼层平面图之外-其它映射 信息的非排他性示例包括2.5D纹理图,其中360°全景图像可以可选 地被重新投影到所显示的纹理图的几何结构上;3D结构,其示出了精 确的高度信息以及宽度和长度(并且其中360°全景图像可以可选地被 重新投影到所显示的3D结构的几何形状上)等。此外,在一些实施方式中,可以生成和使用附加信息,以便确定建筑物的地理对准(例 如,相对于真实的北或磁北)和/或地理位置(例如,相对于纬度和经 度,或GPS坐标)以及生成的楼层平面图的对应部分,并且可选地进 一步与其他外部信息(例如,卫星或其他外部图像,包括街道级图像以提供建筑物的“街道视图”;邻域信息,例如附近的街道地图和/或兴 趣点;等)对准。关于建筑物的其它信息也可以从例如一个或更多个 外部源(例如,在线数据库、由一个或更多个终端用户提供的“众包 (crowd-sourced)”信息等)检索,并且与楼层平面图和/或楼层平面 图内的特定位置相关联和链接-这种附加信息可以进一步包括例如建 筑物的外部尺寸和/或形状、获取的对应于建筑物内的特定位置的另外 的图像和/或注释信息(可选地,对于不同于所获取的全景图像或其它 图像的获取位置的位置)等。
如果在框510中确定不生成所指示的建筑物的楼层平面图,则例 程继续到框565,以确定在框505中接收的指令或其它信息是否将房 间的多个全景图像组合为该房间的单个整体全景图像,例如通过将全 景图像中的一个定位在全景图像中的另一个内。如果是,则例程继续 到框567,在框567中,其接收在同一房间中拍摄的两个全景图像, 并在GUI中将它们显示给用户。在框569中,例程然后经由GUI接收 一个或更多个用户操纵以指示两个图像中的至少一个公共点(例如, 可选地,在两个图像中的每个中具有无限点的公共平面),并且在框 573中使用公共点信息来将来自两个图像的信息组合为一个整体全景 图像,并且将组合的信息存储为全景图像以稍后用于房间。
在框573之后,或者如果替代地在框565中确定在框505中接收 的指令或其它信息不是要组合房间的多个全景图像,则例程继续到框 575,在框575中确定在框505中接收的指令或其它信息是否要将多个 房间的信息组合在一起成为单个整体房间(例如,如果两个或更多个 单独的房间是没有通过完整的墙壁彼此完全分离的局部房间)。如果是, 则例程继续到框576,在框576处接收要组合两个或更多个房间的指 示,并且在GUI中向用户显示关于两个或更多个房间的信息(例如, 通过显示它们的房间形状、相关联的全景图像等)。在框578中,例程 然后经由GUI接收一个或更多个用户操纵,以指示如何将多个房间的 布局信息组合到新的单个房间中,并且存储组合信息以便稍后与新的 单个房间一起使用。
在框578之后,或者替代地如果在框575中确定在框505中接收 的指令或其它信息不是要将多个房间组合成一个,则例程继续到框 580,在框580中确定在框505中接收的指令或其它信息是否是要获得 并存储与建筑物相关的用户指定的信息。如果是,则例程继续到框585, 在框585中,例程接收关于一个或更多个房间的用户指定的信息(例 如,尺寸、注释等),并存储该信息以供以后使用。
在框585之后,或者替代地如果在框580中确定在框505中接收 到的指令或其它信息不是要获得用户指定的信息,或者在框510中确 定在框505中接收到的信息或指令不是要为指示的建筑物生成楼层平 面图,则例程替代地继续到框590以适当地执行一个或更多个其它指 示的操作。这样的其它操作可以例如包括:接收和存储建筑物的全景 图像以供以后使用;接收或生成建筑物的房间的房间布局信息(例如, 基于在房间中获取的图像和/或深度信息)并存储它以供以后使用;自 动组合在房间中拍摄的两个或更多个全景图像的信息以确定房间布局 信息(例如,基于在图像中的每个中识别的一个或更多个公共点);接收并响应对先前生成的楼层平面图和/或其它生成的信息的请求(例如, 对用于在一个或更多个客户端设备上显示的这种信息的请求和/或向 一个或更多个其它设备提供在自动导航中使用的请求);获得并存储关 于在随后的楼层平面图生成操作中使用的建筑物的信息(例如,关于 外部图像、尺寸、房间的数量或类型、总平方长度的信息等)等。
在框588或590之后,例程继续到框595,以确定是否继续,例 如直到接收到要终止的显式指示,或者代替地仅在接收到要继续的显 式指示时才继续。如果确定继续,则例程返回到框505以等待并接收 附加指令或信息,否则继续到框599并结束。
图6示出了用于建筑物地图查看器系统例程600的流程图的示例 性实施方式。该例程可以通过例如运行图1A的地图查看器客户端计 算设备175及其软件系统(未示出)、图3的客户端计算设备390、和 /或如本文别处所描述的映射信息查看器或呈现系统来执行,以便接收 和显示用于定义区域的映射信息(例如,楼层平面图和/或建筑物模型, 无论是2D、3D、2.5D或其它格式),包括显示图像(例如,360°全景 图像)和/或与映射信息所对应的特定位置相关联的其它信息。在图6 的示例中,所呈现的映射信息基于建筑物(例如房屋)的楼层平面图, 该楼层平面图可以可选地具有附加的相关联的链接信息(例如,在建 筑物内拍摄的图像、在建筑物内记录的声音、与建筑物内特定位置相 关联的注释或其他描述信息等),但是在其他实施方式中,可以针对其 他类型的建筑物或环境呈现其他类型的映射信息,并以其他方式使用, 如本文别处所讨论的那样。
例程的所示实施方式在框605处开始,在框605处接收指令或信 息。在框605之后,例程继续到框660,以确定在框605中接收的指 令或其它信息是否是使用指定的标准来选择一个或更多个目标建筑物, 并且如果不是则继续到框670,在框670处从用户获得要使用的目标 建筑物的指示(例如,基于当前用户选择,诸如从显示的列表或其它 用户选择机制;基于在框605中接收的信息;等)。否则,如果在框 660中确定根据指定的标准中选择一个或更多个目标建筑物,则例程 替代地继续到框662,在框662处,其获得要使用的一个或更多个搜 索标准的指示,例如从当前用户选择或者如框605中接收的信息或指 令中所指示的,并且然后搜索所存储的关于建筑物的信息以确定满足 搜索标准的一个或更多个建筑物。在所示实施方式中,该例程然后进 一步从一个或更多个返回的建筑物(例如,对于指定的标准具有最高 相似性或其它匹配等级的返回的其它建筑物,或使用在框605中接收的指令或其它信息中指示的另一选择技术)中选择最佳匹配目标建筑 物。
在框662或670之后,例程继续到框610,以确定在框605中接 收的指令或其它信息是否是显示关于目标建筑物的信息还是以其它方 式呈现关于目标建筑物的信息(例如,经由包括关于目标建筑物的内 部的信息的楼层平面图),例如来自框662或670的目标建筑物,并且 如果不是,则继续到框690。否则,例程进行到框612,以检索建筑物 的楼层平面图地图,可选地具有用于楼层平面图和/或周围位置的相关 联的链接信息,并选择所检索的信息的初始视图(例如,楼层平面图 的视图)。在框615中,例程然后显示或以其他方式呈现所检索的信息 的当前视图,并且在框617中等待用户选择。在框617中的用户选择 之后,如果在框620中确定用户选择对应于当前建筑物或其它当前位 置(例如,改变当前视图),则例程继续到框622,以根据用户选择更 新当前视图,并且然后返回到框615,以相应地更新所显示的或以其 他方式所呈现的信息。用户选择和当前视图的相应更新可以包括,例 如,改变当前视图如何被显示(例如,放大或缩小、如果适当则旋转 信息、选择当前视图的先前不可见的新部分以被显示或以其他方式呈 现等),显示或以其他方式呈现用户选择的相关联的链接信息片(例如, 特定的其他图像)等。
如果在框610中代替地确定在框605中列举的指令或其他信息不 是要呈现表示建筑物内部的信息,则例程代替地继续到框690以适当 地执行任何其他指示的操作,例如任何内务处理任务,以配置要在系 统的各种操作中使用的参数(例如,至少部分地基于由系统的用户指 定的信息,诸如捕获一个或更多个建筑物内部的移动设备的用户, MIGM系统的运营商用户等),以获得并存储关于系统的用户的其他信 息,以响应对所生成并存储信息的请求等。
在框690之后,或者如果在框620中确定用户选择不对应于当前 位置,则例程进行到框695以确定是否继续,例如直到接收到要终止 的显式指示,或者代替地仅在接收到要继续的显式指示时才进行。如 果确定继续(例如,如果用户在框617中做出与要呈现的新的建筑物 或其他新的位置相关的选择),则例程返回框605以等待附加指令或信 息(或者如果用户在框617中做出与要呈现的特定的新的建筑物或其 他新的位置相关的选择,则继续到框612),并且如果不是,则前进到 步骤699并结束。
在以下条款中进一步描述了本文描述的非排他性示例性实施方式。
A01.一种计算机实现的方法,包括:
由一个或更多个计算设备并且对于具有多个房间的房屋捕获多个 全景图像,多个全景图像包括在多个房间中的每个房间中拍摄的至少 一个全景图像,其中,全景图像中的每个包括从房屋中的获取位置围 绕垂直轴的360水平度的视觉信息;
由一个或更多个计算设备,并且不使用关于从多个房间中的任何 一个的任何获取位置到墙壁的深度的任何获取的深度信息,通过分析 多个全景图像中的视觉信息来确定多个房间的房间布局,其中,用于 房间的每个房间布局指示该房间的墙壁的房间形状并且包括该房间的 墙壁中的一个或更多个门位置;
由一个或更多个计算设备生成用于互连多个房间的房屋的楼层平 面图,包括:
由一个或更多个计算设备,并且对于多个房间中的第一房 间中的第一门位置,确定多个房间中的其他房间作为在房屋中 实际连接到第一门位置的候选房间的排名,其中该确定至少部 分地基于分析表示多个房间的门位置之间的可能连接的房间连 接图以识别候选房间,并且基于使用一个或更多个定义的度量 来确定候选房间的排名;
由一个或更多个计算设备经由所显示的图形用户界面 (GUI)向用户显示在第一房间中拍摄的全景图像和关于具有 最高排名的候选房间的信息,包括如果候选房间经由第一门位 置与第一房间互连,则在该候选房间的位置处在所显示的全景 图像上相对于第一房间覆盖该候选房间的房间形状的至少一些;
由一个或更多个计算设备通过所显示的GUI获取候选房间 中的一个的第二门位置在房屋中与第一房间的第一门位置连接 的用户确认,并显示第一房间和一个候选房间通过第一门位置 和第二门位置互连的房屋的局部楼层平面图;
由一个或更多个计算设备通过执行一个或更多个进一步的 迭代来迭代地扩展局部楼层平面图以包括多个房间中的所有房 间,每个进一步的迭代包括:
使用房间连接图确定通过一个或更多个附加门 位置与局部楼层平面图的当前版本中的一些或全部 房间连接的附加候选房间的排名;
通过所显示的GUI向用户显示关于附加候选房 间中的至少一个的信息,包括显示覆盖在一些或所有 房间中的至少一个房间的其它显示信息上的至少一 个附加候选房间的至少一些房间形状;以及
通过经由GUI添加由用户确认的、具有到一些或 所有房间中的一个或更多个门位置的一个或更多个 附加连接的另外的房间以来扩展局部楼层平面图的 当前版本,以及更新所显示的局部楼层平面图以包括 该另外的房间;以及
由一个或更多个计算设备选择迭代扩展的局部楼层平面图, 以用作房屋的所生成的楼层平面图;以及
由一个或更多个计算设备使用生成楼层平面图来用于房屋导航。
A02.如条款A01所述的计算机实现的方法,其中使用生成的平 面图包括根据生成的楼层平面图控制自主车辆在房屋的多个房间之间 移动时的导航活动。
A03.如条款A01至A02中任一项所述的计算机实现的方法,其 中,使用生成的楼层平面图还包括由一个或更多个计算设备显示示出 多个房间和多个房间之间的互连的门位置的生成的平面图。
A04.如条款A01至A03中任一项所述的计算机实现的方法,还 包括:
由一个或更多个计算设备在生成楼层平面图之前并通过使用关于 来自所确定的房间布局的多个房间的门位置的信息生成房间连接图, 该房间连接图具有表示多个房间中的每一个的节点以及节点之间的表 示从房间的每个门位置到其他房间的门位置的可能连接的链接;
由一个或更多个计算设备,并且响应于一个候选房间的第二门位 置在房屋中被连接到第一房间的第一门位置的用户确认,修改房间连 接图,以移除第一门位置和第二门位置的除了表示第一门位置和第二 门位置之间的连接的链接之外的所有链接;以及
由一个或更多个计算设备,并且对于在迭代扩展期间由用户确认 的、具有到局部楼层平面图的当前版本的一些或所有房间中的一个或 更多个门位置的一个或更多个附加连接的每个另外的房间,进一步修 改房间连接图以移除一个或更多个门位置的除了该一个或更多个附加 连接之外的链接。
A05.如条款A01至A04中任一项所述的计算机实现的方法,还 包括,在获得候选房间中的一个的第二门位置在房屋中被连接到第一 房间的第一门位置的用户确认之前:
由一个或更多个计算设备,并且在显示在第一房间中拍摄的全景 图像和关于具有最高排名的候选房间的信息之后,接收与所显示的 GUI的用户交互,该用户交互使得关于一个或更多个其他候选房间的 信息被覆盖在所显示的在第一房间中拍摄的全景图像上以代替关于具 有最高排名的候选房间的信息,选择具有第二门位置的其它候选房间 中的一个作为在房屋中连接到第一房间的第一门位置的一个候选房间, 以及操纵关于第一房间和一个候选房间的显示信息以调整它们的相对 位置;以及
由一个或更多个计算设备更新所显示的GUI中的信息,以反映用 户交互中的每个。
A06.一种计算机实现的方法,包括:
通过计算设备获得用于建筑物的信息,对于建筑物的多个房间中 的每个房间,该信息包括在房间中拍摄的全景图像以及房间的房间布 局,该房间布局指示房间的房间形状以及房间的墙壁中通向一个或更 多个其它区域的一个或更多个房间间开口在房间形状上的一个或更多 个位置;
由计算设备生成用于建筑物的互连多个房间的楼层平面图,包括:
由计算设备并且对于多个房间中具有连接到建筑物中的另 一房间的建筑物中的第一房间间开口的第一房间,确定多个房 间中的至少一些房间为候选房间,该候选房间中的每个都可以 至少部分地基于该候选房间的房间布局而成为另一房间,以及 使用一个或更多个定义的度量来对该候选房间是另一房间的可 能性进行排名;
由计算设备并且经由显示的图形用户界面(GUI)向用户 呈现用于第一房间的全景图像和关于至少部分地基于排名而选 择的候选房间中的一个或更多个的信息,所呈现的信息包括用 于一个或更多个候选房间中的每个的房间形状中的至少一些;
由计算设备经由所显示的图形用户界面获取来自候选房间 的第二房间是建筑物中通过第一房间间开口连接到第一房间的 另一房间的用户确认,并显示第一房间和第二房间通过第一房 间间开口互连的局部楼层平面图;以及
由计算设备通过进一步执行一个或更多个迭代来迭代地扩 展局部楼层平面图以包括多个房间中的所有房间,该迭代中的 每个包括确定经由一个或更多个附加的房间间开口与局部楼层 平面图的当前版本中的一些或所有房间连接的附加候选房间, 并且包括经由所显示的图形用户界面向用户呈现关于附加候选 房间中的至少一个的信息,并且包括通过经由图形用户界面添 加由用户确认的另外的房间以经由一个或更多个附加的房间间 开口与一些或所有房间连接来创建局部楼层平面图的新的当前 版本;以及
由计算设备呈现所生成的楼层平面图,以使得所呈现的楼层平面 图用于导航建筑物。
A07.如条款A06所述的计算机实现的方法,还包括由一个或更 多个计算设备并且在确定至少一些房间为候选房间之前生成房间连接 图,该房间连接图使用来自多个房间的房间布局的信息并且表示多个 房间的墙壁中的房间间开口之间的可能连接,以及其中确定至少一些 房间为候选房间包括执行房间连接图的图形搜索以至少部分地基于可 能连接来识别至少一些房间。
A08.根据条款A07所述的计算机实现的方法,其中,生成房间 连接图包括向房间连接图添加表示多个房间中的每个房间的节点,以 及向房间连接图添加节点之间的链接,该链接表示从每个房间的每个 房间间开口到其他房间的其他房间间开口的可能连接,其中,用户确 认指示第一房间的第一房间间开口到第二房间的第二房间间开口的连 接,其中,在一个或更多个迭代期间由用户确认的每个另外的房间经 由两个房间间开口之间的至少一个附加连接而连接到局部楼层平面图 的当前版本中的一些或全部房间,并且其中该方法还包括:
由所述一个或更多个计算设备,并且响应于第一房间的第一房间 间开口是与第二房间的第二房间间开口连接的用户确认,修改房间连 接图,以移除除了表示第一房间间开口和第二房间间开口之间的连接 的链接之外的表示第一房间间开口和第二房间间开口的可能连接的所 有链接;以及
由所述一个或更多个计算设备,并且对于在一个或更多个迭代期 间由用户确认的经由两个房间间开口之间的至少一个附加连接与局部 楼层平面图的当前版本中的一些或所有房间连接的每个另外的房间, 进一步修改房间连接图以移除表示两个房间间开口的除了至少一个附 加连接之外的可能连接的所有链接。
A09.如条款A07所述的计算机实现的方法,其中,多个房间的 墙壁中的房间间开口具有多种类型,多种类型包括至少一种门类型和 一种或多种非门开口类型,以及其中,多个房间的墙壁中的房间间开 口之间在房间连接图中的可能连接中的每个都用于多种类型中的相同 类型的两个或更多个房间间开口。
A10.如条款A06至A09中任一项所述的计算机实现的方法,其 中,一个或更多个定义的度量中的每个对两个房间的两个房间间开口 之间的潜在连接进行评分,并且是基于以下中的至少一个:获取多个 房间的全景图像的顺序;或者如果经由潜在连接来连接,两个房间的 墙壁的对准;或者两个房间的全景图像中可见的特征的重叠,以及其 中,候选房间的排名包括通过使用一个或更多个定义的度量来对候选 房间中的房间间开口与第一房间中的第一房间间开口之间的潜在连接 进行评分,从而生成用于候选房间中的每个的排名分数。
A11.如条款A10所述的计算机实现的方法,其中,一个或更多 个定义的度量包括多个定义的度量,多个定义的度量中的每个提供用 于该度量的单独的测量信息,以及其中,生成用于候选房间中的每个 的排名分数包括从用于多个定义的度量的测量信息的组合生成用于候 选房间的合计分数。
A12.如条款A10所述的计算机实现的方法,其中,对于一个或 更多个迭代中的一个迭代,附加候选房间的每次确定包括使用一个或 更多个定义的度量对附加候选房间进行排名,以及其中,对于一个或 更多个迭代中的一个迭代,每次向用户呈现关于至少一个附加候选房 间的信息都包括基于该一个迭代的排名来选择至少一个附加候选房间。
A13.如条款A06至A12中任一项所述的计算机实现的方法,其 中,一个或更多个定义的度量包括多个定义的度量,多个定义的度量 对两个房间的两个房间间开口之间的潜在连接进行评分,并且基于获 取两个房间的全景图像的时序,以及如果经由潜在连接来连接则基于 两个房间的墙壁的对准,以及基于两个房间的全景图像中可见的特征 的重叠,以及其中,候选房间的排名包括基于多个定义的度量的组合 为候选房间中的每个生成排名分数。
A14.如条款A13所述的计算机实现的方法,其中,对两个房间 的两个房间间开口之间的潜在连接进行评分的多个定义的度量还基于 以下中的一个或更多个:如果经由潜在连接来连接则两个房间重叠的 程度;或者如果经由潜在连接来连接则两个房间的形状的对准;或者 两个房间间开口的大小的匹配;或者两个房间间开口的类型的匹配; 或者两个房间中的一个或更多个类型的房间可能被连接和/或相邻;或 者两个房间的组合的信息与建筑物外部的信息之间的匹配,建筑物外 部的信息包括建筑物形状或建筑物的外墙壁中的开口中的至少一个; 或者如果根据潜在连接将物体重新投影到两个房间中的另一房间的全 景图像上,则物体在两个房间中的一个房间的全景图像中的位置的匹 配;或者两个房间中的全景图像的采集位置之间的第一角度与两个房 间中的全景图像的所述采集位置之间的第二角度的匹配,第一角度是 根据全景图像的视觉内容确定的,第二角度是如果两个房间经由潜在 连接来连接而确定的;或者两个房间的全景图像的视觉内容中的重叠区域与根据潜在连接使用射线投射生成的重叠区域之间的匹配。
A15.如条款A06至A14中任一项所述的计算机实现的方法,其 中,多个房间中的每个的所指示的房间形状包括关于墙壁间边界的位 置以及墙壁与地板和天花板之间的边界的位置的信息,以及其中,呈 现第一房间的全景图像和关于一个或更多个候选房间的信息包括如果 至少一个候选房间经由第一房间间开口连接到第一房间则在所呈现的 全景图像上覆盖候选房间中的至少一个候选房间的至少一些边界在根 据至少一个候选房间的连接所确定的位置处的显示。
A16.如条款A15所述的计算机实现的方法,其中,呈现第一房 间的全景图像和关于一个或更多个候选房间的信息包括在GUI中同时 显示具有协同信息的多个窗格,多个窗格包括显示所呈现的第一房间 的全景图像的第一窗格,以及显示具有第一房间和一个或更多个候选 房间中的一个候选房间的视觉表示的初始局部楼层平面图的第二窗格, 以及显示用于一个候选房间的全景图像的第三窗格,以及其中该方法 还包括:
由计算设备接收与显示在所显示的GUI的多个窗格中的一个窗格 中的信息的一个或更多个用户交互;以及
由计算设备更新显示在所显示的GUI的多个窗格中的每个窗格中 的信息以反映用户交互。
A17.如条款A16所述的计算机实现的方法,其中,一个或更多 个用户交互包括用户对所显示的一个房间的位置的视觉表示相对于所 显示的另一个房间的另一个位置的视觉表示的一个或更多个操作,以 改变以下中的至少一个:该一个房间与该另一个房间之间的墙壁的宽 度;或该一个房间的一个或更多个墙壁相对于该另一个房间的一个或 更多个其它墙壁的对准,以及其中更新显示在多个窗格中的每个窗格 中的信息包括改变所显示的房间的视觉表示以反映一个或更多个用户 操作。
A18.如条款A06至A17中任一项所述的计算机实现的方法,其 中,获取建筑物的信息包括捕获多个全景图像,多个全景图像包括在 多个房间中的每个房间中拍摄的全景图像,其中全景图像中的每个包 括从全景图像的获取位置围绕垂直轴的360水平度的视觉信息,以及 还包括由计算设备至少部分地基于在房间里拍摄的全景图像中的视觉 信息来确定多个房间中的每个房间的房间布局。
A19.如条款A18所述的计算机实现的方法,其中,确定多个房 间中的每个房间的房间布局还在不使用关于从多个房间中的任何一个 房间的任何获取位置到墙壁的深度的任何获取的深度信息的情况下执 行,并且包括分析在房间中拍摄的全景图像中的视觉信息。
A20.如条款A18所述的计算机实现的方法,其中捕获多个全景 图像包括:在多个房间中的一个房间中捕获至少两个全景图像;以及 组合来自至少两个全景图像的信息,以至少部分地基于在至少两个全 景图像中的每个中可见的一个或更多个点来为一个房间创建单个房间 形状,识别一个或更多个点中的每个在至少两个全景图像中的每个中 的位置。
A21.如条款A18所述的计算机实现的方法,其中捕获多个全景 图像包括:捕获建筑物外侧的外部全景图像,该外部全景图像显示建 筑物的至少一些外部,以及其中确定用于一个或更多个迭代的至少一 个迭代中的每个迭代的附加候选房间包括评估附加候选房间中的每个 与用于迭代的局部楼层平面图的当前版本中的一些或全部房间的组合 是否与外部全景图像中关于至少一些外部的视觉信息相匹配。
A22.如条款A06至A21中任一项所述的计算机实现的方法,其 中,多个房间的墙壁中的房间间开口包括门和楼梯以及其它墙壁开口, 以及其中,两个房间中的两个房间间开口之间在所生成的楼层平面图 中的连接是在相同类型的房间间开口之间进行的。
A23.如条款A06至A22中任一项所述的计算机实现的方法,其 中,多个房间是建筑物的多个房间的子集,以及其中,生成建筑物的 楼层平面图还包括由计算设备并且响应于来自用户的一个或更多个指 令将与多个房间分开的一个或更多个附加房间添加到楼层平面图。
A24.如条款A06至A23中任一项所述的计算机实现的方法,其 中,所述计算设备实现映射信息生成管理器系统,该映射信息生成管 理器系统执行作为生成楼层平面图的一部分的自动操作,包括为以下 各项中的一项或多项提供功能:
通过对准两个房间的墙壁执行两个房间的两个房间间开口之间的 连接;或
选择第一房间来用作开始生成楼层平面图的一部分;或
为具有到其他房间的连接尚未确定的多个房间间开口的多个房间 中的一个房间选择多个房间间开口中的一个,对于多个房间间开口中 的一个,首先确定到另一房间的连接;或
在将局部楼层平面图迭代扩展为包括所有的多个房间之后,执行 多个房间相对于彼此的布置的全局优化,以用于生成的楼层平面图; 或
通过建筑物的两个楼层上的两个房间中的用于楼梯的房间间楼梯 开口连接两个楼层,并且至少部分地基于两个楼层的连接,将用于两 个楼层中的一个楼层的局部楼层平面图与两个楼层中的另一楼层的局 部楼层平面图对准;或
通过使用一种机器学习技术来分析该全景图像,并确定一个房间 的房间形状,并识别一个房间的墙壁中的一个或更多个房间间开口, 并从多个房间中的一个房间的全景图像确定一个房间的房间布局。
B01.一种具有存储的可执行软件指令和/或其他存储内容的非暂 时性计算机可读介质,存储的可执行软件指令和/或其他存储内容使得 一个或更多个计算系统执行自动操作以实现条款A01-A24中任一项的 方法。
B02.一种具有存储的可执行软件指令和/或其他存储内容的非暂 时性计算机可读介质,存储的可执行软件指令和/或其他存储内容使得 一个或更多个计算系统执行自动操作以实现基本上如本文所公开的所 描述的技术。
B03.一种具有存储内容的非暂时性计算机可读介质,该存储内容 使得一个或更多个计算设备执行自动操作,该自动操作至少包括:
由一个或更多个计算设备,并且对于建筑物的多个房间中的每个, 获得房间的至少一些内部的图像和关于房间的房间布局的信息,房间 布局包括房间的房间形状并且包括从所述房间到一个或更多个其它区 域的一个或更多个开口的一个或更多个位置;
由一个或更多个计算设备生成互连多个房间的楼层平面图,包括:
由一个或更多个计算设备,并且对于多个房间中的具有第 一开口的第一房间,确定多个房间中的具有房间布局的候选房 间,该候选房间是用于根据一个或更多个定义的度量经由第一 开口连接到建筑物中的第一房间的选项;
由一个或更多个计算设备经由所显示的图形用户界面 (GUI)向用户呈现用于第一房间的图像和关于所确定的候选 房间中的至少一个的信息;
由一个或更多个计算设备经由所显示的GUI获得经由第一 开口连接到建筑物中的第一房间的一个或更多个第二房间的用 户确认,并显示具有经由第一开口互连的第一房间和一个或更 多个第二房间的局部楼层平面图;以及
由一个或更多个计算设备通过执行一个或更多个另外的迭 代来扩展局部楼层平面图以包括多个房间中的所有房间,一个 或更多个另外的迭代中的每个都包括确定要与局部楼层平面图 的当前版本中的一个或更多个房间连接的另外的候选房间,并 且包括经由所显示的GUI向用户呈现关于另外的候选房间中的 至少一个的信息,并且包括通过添加由所述用户确认为与局部 楼层平面图的当前版本中的一个或更多个房间连接的一个或更多个另外的房间来扩展局部楼层平面图的当前版本;以及
由一个或更多个计算设备提供所生成的平面图,以用于涉及建筑 物的进一步使用。
B04.如条款B03所述的非暂时性计算机可读介质,其中,确定 作为根据一个或更多个定义的度量的选项的候选房间包括使用一个或 更多个定义的度量来对候选房间进行排名以反映在建筑物中包括第一 房间经由第一开口实际连接到的房间的可能性,以及其中,呈现关于 至少一个确定的候选房间的信息包括选择一个或更多个最高排名的候 选房间作为呈现其信息的至少一个确定的候选房间。
B05.如条款B03至B04中任一项所述的非暂时性计算机可读介 质,其中,呈现第一房间的图像和关于至少一个确定的候选房间的信 息包括在所呈现的图像上在与经由第一开口连接的一个确定的候选房 间相对应的一个或更多个位置处覆盖所确定的候选房间中的一个的至 少一部分的信息,以及其中获一个或更多个第二房间的所述户确认包 括从用户接收信息以确认该一个确定的候选房间在一个或更多个位置 中的重叠信息与第一房间匹配,并将该一个确定的候选房间用作一个 或更多个第二房间中的一些或全部。
B06.如条款B03至B05中任一项所述的非暂时性计算机可读介 质,其中,多个房间中的每个的图像是水平地具有360度的视觉信息 的全景图像,其中第一开口是第一房间与一个或更多个第二房间中的 至少一个之间的墙壁中的门,以及其中,存储内容包括软件指令,该 软件指令在被运行时,进一步使一个或更多个计算设备通过向一个或 更多个附加用户呈现楼层平面图来执行所生成的平面图的提供。
B07.如条款B03至B06中任一项所述的非暂时性计算机可读介 质,其中,候选房间包括多个房间组,每个房间组具有至少两个房间, 以及其中,确定作为根据一个或更多个定义的度量的选项的候选房间 包括针对多个房间组中的每个使用一个或更多个定义的度量来对房间 组的至少两个房间经由第一开口实际连接到第一房间的可能性进行排 名。
B08.如条款B03至B07中任一项所述的非暂时性计算机可读介 质,其中,对于进一步的迭代中的一个,附加候选房间包括多个房间 组,每个房间组具有至少两个房间,以及其中,确定附加候选房间包 括针对多个房间组中的每个使用至少一个定义的度量来对房间组中的 至少两个房间实际连接到局部楼层平面图的当前版本的房间的可能性 进行排名。
C01.一个或更多个计算系统,包括一个或更多个硬件处理器和具 有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬 件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作 以实现条款A01至A24中的任一个的方法。
C02.一个或更多个计算系统,包括一个或更多个硬件处理器和具 有存储指令的一个或更多个存储器,存储指令在通过一个或更多个硬 件处理器中的至少一个执行时使一个或更多个计算系统执行自动操作 以实现基本上如本文的公开所描述的技术。
C03.一种系统,包括:
一个或更多个计算设备的一个或更多个硬件处理器;以及
具有存储指令的一个或更多个存储器,该存储指令在由一个或更 多个硬件处理器中的至少一个运行时使一个或更多个计算设备中的至 少一个执行自动操作,该自动操作至少包括:
获取建筑物的多个房间的描述性信息,对于多个房间中的每个房 间,该描述性信息包括房间的房间形状以及从房间到一个或更多个其 它区域的一个或更多个开口位置;
生成互连多个房间的楼层平面图,包括:
对于多个房间中具有第一开口的第一房间,至少部分地 基于候选房间的房间形状和开口位置来确定多个房间中的 作为用于经由第一开口连接到建筑物中的第一房间的选项 的候选房间,并且基于一个或更多个定义的度量来对候选房 间进行排名;
选择候选房间中排名最高的一个以通过第一开口连接 到第一房间,并生成具有通过第一开口互连的第一房间和选 择的候选房间的局部楼层平面图;
扩展局部楼层平面图以包括多个房间中的所有房间,对 于一个或更多个进一步迭代中的每个,包括确定要与局部楼 层平面图的当前版本中的一个或更多个房间连接的附加候 选房间,以及基于一个或更多个定义的度量对附加候选房间 进行排名,以及通过添加排名最高的附加候选房间作为与局 部楼层平面图的当前版本中的一个或更多个房间互连来扩 展局部楼层平面图的当前版本;以及
经由显示的图形用户界面(GUI)向用户呈现扩展的局 部楼层平面图和多个房间中的一个或更多个房间的附加信 息,以及获取扩展的局部楼层平面图的最终版本的用户确认 以用作生成的楼层平面图;以及
提供生成的楼层平面图供进一步使用。
C04.如条款C03所述的系统,其中,基于一个或更多个定义的 度量对候选房间进行排名包括使用一个或更多个定义的度量来对候选 房间进行排名以反映建筑物中的作为第一房间经由第一开口实际连接 到的的房间的可能性,其中选择具有最高排名的所述个候选房间包括 经由所显示的GUI向所述用户显示信息,该信息反映经由第一开口从 第一房间到所选择的一个候选房间的连接,以及包括经由所显示的 GUI从用户获得在所生成的楼层平面图中使用所选择的一个候选房间 作为经由第一开口连接到第一房间的确认,以及其中,每次通过添加 最高排名的附加候选房间来扩展局部楼层平面图的当前版本包括从用 户获得将最高排名的附加候选房间添加到局部楼层平面图的当前版本 的附加确认。
C05.如条款C04所述的系统,其中,经由所显示的GUI向用户 显示反映从第一房间到所选择的一个候选房间的连接的信息包括:显 示第一房间的内部的图像,以及在所显示的图像上在与经由第一开口 连接的所选择的一个候选房间相对应的一个或更多个位置处覆盖关于 所选择的一个候选房间的至少一部分的信息。
C06.如条款C03至C05中任一项所述的系统,其中,选择具有 最高排名的一个候选房间以连接到所述第一房间是基于经由所显示的 GUI从用户接收的使用该一个候选房间经由第一开口连接到第一房间 的指令,其中,第一开口是在第一房间与所选择的一个候选房间之间 的墙壁中的门,以及其中,存储指令包括软件指令,该软件指令在被 运行时进一步使一个或更多个计算设备通过向一个或更多个附加用户 呈现楼层平面图来执行所生成的楼层平面图的提供。
D01.一种计算机程序,适于当计算机程序在计算机上运行时执行 条款A01-A24中的任一个的方法。
D02.一种计算机程序,适于当计算机程序在计算机上运行时执行 条款B01-B08中的任一个的自动操作。
D03.一种计算机程序,适于当计算机程序在计算机上运行时执行 条款C01-C06中的任一个的自动操作。
这里参照根据本公开的实施方式的方法、装置(系统)和计算机 程序产品的流程图和/或框图来描述本公开的方面。将理解,流程图和 /或框图的每个块以及流程图和/或框图中的块的组合可以由计算机可 读程序指令来实现。将进一步理解,在一些实施方式中,可以以可选 择的方式来提供由上面讨论的例程提供的功能,例如在更多例程之间 进行拆分,或者合并成更少的例程。类似地,在一些实施方式中,所 示例程可以提供比所描述的更多或更少的功能,例如当其他所示例程 分别代替地缺少或包括这样的功能时,或者当所提供的功能量改变时。 此外,虽然可以将各种操作示出为以特定方式(例如,串行或并行, 或同步或异步)和/或以特定顺序执行,但是在其他实施方式中,可以 以其他顺序和其他方式执行操作。上面讨论的任何数据结构也可以以 不同的方式构造,例如通过将单个数据结构拆分成多个数据结构和/ 或通过将多个数据结构合并成单个数据结构。类似地,在一些实施方 式中,所示的数据结构可以存储比所描述的更多或更少的信息,例如 当其他所示的数据结构分别代替地缺少或包括这样的信息时,或者当 存储的信息量或类型改变时。
从上文将理解,尽管出于说明的目的本文已经描述了特定的实施 方式,但是可以在不脱离发明的精神和范围的情况下进行各种修改。 因此,发明除了由相应的权利要求和那些权利要求所引用的元件之外 不受限制。此外,虽然发明的某些方面可以在某些时间以某一权利要 求的形式呈现,但是发明人以任何可用的权利要求的形式考虑了发明 的各个方面。例如,虽然仅发明的一些方面可以被叙述为在特定时间 在计算机可读介质中实施,但是也可以同样地实施其他方面。

Claims (15)

1.一种计算机实现的方法,包括:
由计算设备获取建筑物的信息,对于所述建筑物的多个房间中的每个房间,所述建筑物的信息包括:在所述房间中拍摄的全景图像以及所述房间的房间布局,所述房间布局指示所述房间的房间形状以及所述房间的墙壁中通向一个或更多个其它区域的一个或更多个房间间开口在所述房间形状上的一个或更多个位置;
由所述计算设备生成所述建筑物的互连所述多个房间的楼层平面图,包括:
由所述计算设备并且对于所述建筑物中的所述多个房间中具有连接到所述建筑物中的另一房间的第一房间间开口的第一房间,确定所述多个房间中的至少一些房间为候选房间,所述候选房间中的每个至少部分地基于所述候选房间的所述房间布局而有可能成为所述另一房间,以及使用一个或更多个定义的度量来对所述候选房间是所述另一房间的可能性进行排名;
由所述计算设备并且经由显示的图形用户界面向用户呈现所述第一房间的所述全景图像和关于至少部分地基于所述排名而从所述候选房间中选择的一个或更多个候选房间的信息,所呈现的信息包括所述一个或更多个候选房间中的每个的房间形状中的至少一些;
由所述计算设备经由所述显示的图形用户界面获取来自所述候选房间的第二房间是所述建筑物中经由所述第一房间间开口连接到所述第一房间的所述另一房间的用户确认,并显示所述第一房间和所述第二房间经由所述第一房间间开口互连的局部楼层平面图;以及
由所述计算设备通过进一步执行一个或更多个迭代来迭代地扩展所述局部楼层平面图以包括所述多个房间中的所有房间,所述迭代中的每个包括确定经由一个或更多个附加的房间间开口与所述局部楼层平面图的当前版本中的一些或所有房间连接的附加候选房间,并且包括经由所述显示的图形用户界面向所述用户呈现关于所述附加候选房间中的至少一个的信息,并且包括通过经由所述图形用户界面添加由所述用户确认的经由所述一个或更多个附加的房间间开口与所述一些或所有房间连接的另外的房间来创建所述局部楼层平面图的新的当前版本;以及
由所述计算设备呈现所生成的楼层平面图,以使得所呈现的楼层平面图用于导航所述建筑物。
2.如权利要求1所述的计算机实现的方法,还包括由所述一个或更多个计算设备并且在确定所述至少一些房间为所述候选房间之前生成房间连接图,所述房间连接图使用来自所述多个房间的所述房间布局的信息并且表示所述多个房间的墙壁中的房间间开口之间的可能连接,以及其中确定所述至少一些房间为所述候选房间包括执行所述房间连接图的图形搜索以至少部分地基于所述可能连接来识别所述至少一些房间。
3.如权利要求2所述的计算机实现的方法,其中,所述多个房间的所述墙壁中的所述房间间开口具有多种类型,所述多种类型包括至少一种门类型和一种或多种非门开口类型,其中,所述多个房间的所述墙壁中的所述房间间开口之间在所述房间连接图中的所述可能连接中的每个都用于所述多种类型中的相同类型的两个或更多个房间间开口,其中,生成所述房间连接图包括向所述房间连接图添加表示所述多个房间中的每个房间的节点,以及向所述房间连接图添加所述节点之间的链接,所述链接表示从每个房间的每个房间间开口到其他房间的其他房间间开口的可能连接,其中,所述用户确认指示所述第一房间的所述第一房间间开口到所述第二房间的第二房间间开口的连接,其中,在所述一个或更多个迭代期间由所述用户确认的每个另外的房间经由两个房间间开口之间的至少一个附加连接而连接到所述局部楼层平面图的所述当前版本中的所述一些或所有房间,并且其中所述方法还包括:
由所述一个或更多个计算设备,并且响应于所述第一房间的所述第一房间间开口是与所述第二房间的所述第二房间间开口连接的所述用户确认,修改所述房间连接图,以移除除了表示所述第一房间间开口和所述第二房间间开口之间的连接的链接之外的表示所述第一房间间开口和所述第二房间间开口的可能连接的所有链接;以及
由所述一个或更多个计算设备,并且对于在所述一个或更多个迭代期间由所述用户确认的经由所述两个房间间开口之间的所述至少一个附加连接与所述局部楼层平面图的所述当前版本中的所述一些或所有房间连接的每个另外的房间,进一步修改所述房间连接图以移除表示所述两个房间间开口的除了所述至少一个附加连接之外的可能连接的所有链接。
4.如权利要求1所述的计算机实现的方法,其中,所述一个或更多个定义的度量中的每个对两个房间的两个房间间开口之间的潜在连接进行评分,并且是基于以下中的至少一个:
获取所述多个房间的所述全景图像的顺序;或者
在所述两个房间经由所述潜在连接来连接的情况下所述两个房间的墙壁的对准;或者
所述两个房间的所述全景图像中可见的特征的重叠,
以及其中,对所述候选房间进行排名包括通过使用所述一个或更多个定义的度量来对所述候选房间中的房间间开口与所述第一房间中的所述第一房间间开口之间的潜在连接进行评分,从而生成所述候选房间中的每个的排名分数。
5.如权利要求4所述的计算机实现的方法,其中,所述一个或更多个定义的度量包括多个定义的度量,所述多个定义的度量中的每个提供用于所述度量的单独的测量信息,其中生成用于所述候选房间中的每个的所述排名分数包括从用于所述多个定义的度量的所述测量信息的组合生成用于所述候选房间的合计分数,其中对于所述一个或更多个迭代中的一个迭代,每次确定所述附加候选房间包括使用所述多个定义的度量对所述附加候选房间进行排名,以及其中,对于所述一个或更多个迭代中的一个迭代,每次向所述用户呈现关于所述至少一个附加候选房间的所述信息都包括基于所述一个迭代的所述排名来选择所述至少一个附加候选房间。
6.如权利要求1所述的计算机实现的方法,其中,所述一个或更多个定义的度量包括多个定义的度量,所述多个定义的度量对两个房间的两个房间间开口之间的潜在连接进行评分,并且基于:
获取所述两个房间的所述全景图像的时序,以及
在所述两个房间经由所述潜在连接来连接的情况下所述两个房间的墙壁的对准,以及
所述两个房间的所述全景图像中可见的特征的重叠,以及
其中,对所述候选房间进行排名包括基于所述多个定义的度量的组合生成所述候选房间中的每个的排名分数。
7.如权利要求6所述的计算机实现的方法,其中,对两个房间的两个房间间开口之间的潜在连接进行评分的所述多个定义的度量还基于以下中的一个或更多个:
在所述两个房间经由所述潜在连接来连接的情况下所述两个房间重叠的程度;或者
在所述两个房间经由所述潜在连接来连接的情况下所述两个房间的形状的对准;或者
所述两个房间间开口的大小的匹配;或者
所述两个房间间开口的类型的匹配;或者
可能连接和/或相邻的所述两个房间的一个或更多个类型;或者
关于所述两个房间的组合的信息与关于所述建筑物的外部的信息之间的匹配,关于所述建筑物的外部的信息包括所述建筑物的建筑物形状或所述建筑物的外墙壁中的开口中的至少一个;或者
在根据所述潜在连接将物体重新投影到所述两个房间中的另一房间的全景图像上的情况下所述物体在所述两个房间中的一个房间的全景图像中的位置的匹配;或者
所述两个房间中的全景图像的采集位置之间的第一角度与所述两个房间中的所述全景图像的所述采集位置之间的第二角度的匹配,所述第一角度是根据所述全景图像的视觉内容确定的,所述第二角度是在所述两个房间经由所述潜在连接来连接的情况下而确定的;或者
所述两个房间的全景图像的视觉内容中的重叠区域与根据所述潜在连接使用光线投射生成的所述重叠区域之间的匹配。
8.如权利要求1所述的计算机实现的方法,其中,所述多个房间中的每个的所指示的房间形状包括关于墙壁间边界的位置以及所述墙壁与地板和天花板之间的边界的位置的信息,以及其中,呈现所述第一房间的所述全景图像和关于所述一个或更多个候选房间的所述信息包括如果所述候选房间中的至少一个候选房间经由所述第一房间间开口连接到所述第一房间,则在所呈现的所述全景图像上覆盖所述至少一个候选房间的至少一些边界在根据所述至少一个候选房间的连接所确定的位置处的显示。
9.如权利要求8所述的计算机实现的方法,其中,呈现所述第一房间的所述全景图像和关于所述一个或更多个候选房间的所述信息包括在所述图形用户界面中同时显示具有协同信息的多个窗格,
所述多个窗格包括显示所呈现的所述第一房间的所述全景图像的第一窗格,以及显示具有所述第一房间和所述一个或更多个候选房间中的一个候选房间的视觉表示的初始局部楼层平面图的第二窗格,以及显示用于所述一个候选房间的所述全景图像的第三窗格,
其中,所述方法还包括:
由所述计算设备接收与显示在所述显示的图形用户界面的所述多个窗格中的一个窗格中的信息的一个或更多个用户交互;以及
由所述计算设备更新显示在所述显示的图形用户界面的所述多个窗格中的每个窗格中的信息以反映所述用户交互,
其中,所述一个或更多个用户交互包括所述用户对所显示的一个房间的位置的视觉表示相对于所显示的另一个房间的另一个位置的视觉表示的一个或更多个操作,以改变以下中的至少一个:
所述一个房间与所述另一个房间之间的墙壁的宽度;或者
所述一个房间的一个或更多个墙壁相对于所述另一个房间的一个或更多个其它墙壁的对准,以及
其中,更新显示在所述多个窗格中的每个窗格中的信息包括改变所显示的房间的视觉表示以反映所述一个或更多个用户操作。
10.如权利要求1所述的计算机实现的方法,其中,获取所述建筑物的信息包括捕获多个全景图像,所述多个全景图像包括在所述多个房间中的每个房间中拍摄的全景图像,其中所述全景图像中的每个包括从所述全景图像的获取位置围绕垂直轴的360水平度的视觉信息,以及
所述方法还包括:对于所述多个房间中的每个房间,由所述计算设备至少部分地基于在所述房间中拍摄的所述全景图像中的视觉信息来确定所述房间的所述房间布局。
11.如权利要求10所述的计算机实现的方法,还包括以下各项中的至少之一:
对所述多个房间中的每个房间执行所述房间布局的确定,而不使用关于从所述多个房间中的任何一个房间的任何获取位置到墙壁的深度的任何获取的深度信息,执行所述房间布局的确定包括分析在所述房间中拍摄的所述全景图像中的所述视觉信息;或者
通过在所述多个房间中的一个房间中捕获至少两个全景图像,并且通过组合来自所述至少两个全景图像的信息以至少部分地基于在所述至少两个全景图像中的每个中可见的一个或更多个点来为所述一个房间创建单个房间形状,来执行所述多个全景图像的捕获,识别所述一个或更多个点中的每个在所述至少两个全景图像中的每个中的位置;或者
通过捕获所述建筑物外侧的外部全景图像来执行所述多个全景图像的捕获,所述外部全景图像显示所述建筑物的至少一些外部,以及其中,确定用于所述一个或更多个迭代的至少一个迭代中的每个迭代的附加候选房间包括评估所述附加候选房间中的每个与用于所述迭代的所述局部楼层平面图的所述当前版本中的所述一些或所有房间的组合是否与所述外部全景图像中关于所述至少一些外部的视觉信息相匹配。
12.如权利要求1所述的计算机实现的方法,其中,所述多个房间的所述墙壁中的所述房间间开口包括门和楼梯以及其它墙壁开口,其中,两个房间中的两个房间间开口之间在生成的所述楼层平面图中的连接是在相同类型的房间间开口之间进行的,其中,所述多个房间是所述建筑物的多个建筑物房间的子集,以及其中,生成所述建筑物的所述楼层平面图还包括由所述计算设备并且响应于来自所述用户的一个或更多个指令将与所述多个房间分开的一个或更多个附加房间添加到所述楼层平面图。
13.如权利要求1所述的计算机实现的方法,其中,所述计算设备实现映射信息生成管理器系统,所述映射信息生成管理器系统执行作为生成所述楼层平面图的一部分的自动化操作,包括为以下各项中的一项或多项提供功能:
通过对准两个房间的墙壁执行所述两个房间的两个房间间开口之间的连接;或者
选择所述第一房间来用作开始生成所述楼层平面图的一部分;或者
为所述多个房间中具有尚未确定通向其他房间的连接的多个房间间开口的一个房间选择所述多个房间间开口中的一个,对于所述多个房间间开口中的一个,首先确定通向另一房间的连接;或者
在将所述局部楼层平面图迭代地扩展为包括所述多个房间中的所有房间之后,执行所述多个房间相对于彼此的布置的全局优化,以用于所述生成的楼层平面图;或者
经由所述建筑物的两个楼层上的两个房间中的用于楼梯的房间间楼梯开口连接所述两个楼层,并且至少部分地基于所述两个楼层的连接,将所述两个楼层中的一个楼层的局部楼层平面图与所述两个楼层中的另一楼层的局部楼层平面图对准;或者
通过使用一种机器学习技术来分析所述全景图像,并确定所述一个房间的房间形状,并识别所述一个房间的所述墙壁中的所述一个或更多个房间间开口,来从所述多个房间中的一个房间的全景图像确定所述一个房间的房间布局。
14.一种具有存储内容的非暂时性计算机可读介质,所述存储内容使得一个或更多个计算设备执行自动化操作,所述自动化操作至少包括:
由所述一个或更多个计算设备,并且对于建筑物的多个房间中的每个房间,获取所述房间的至少一些内部的图像和关于所述房间的房间布局的信息,所述信息包括所述房间的房间形状并且包括从所述房间通向一个或更多个其它区域的一个或更多个开口的一个或更多个位置;
由所述一个或更多个计算设备生成互连所述多个房间的楼层平面图,包括:
由所述一个或更多个计算设备,并且对于所述多个房间中的具有第一开口的第一房间,根据一个或更多个定义的度量确定所述多个房间中的具有房间布局的候选房间,所述候选房间是用于经由所述第一开口连接到所述建筑物中的所述第一房间的选项;
由所述一个或更多个计算设备经由显示的图形用户界面向用户呈现所述第一房间的所述图像和关于确定的候选房间中的至少一个的信息;
由所述一个或更多个计算设备经由所述显示的图形用户界面获取经由所述第一开口连接到所述建筑物中的所述第一房间的一个或更多个第二房间的用户确认,并显示具有经由所述第一开口互连的所述第一房间和所述一个或更多个第二房间的局部楼层平面图;以及
由所述一个或更多个计算设备,通过执行一个或更多个进一步迭代来扩展所述局部楼层平面图以包括所述多个房间中的所有房间,所述一个或更多个进一步迭代中的每个都包括确定待与所述局部楼层平面图的当前版本中的一个或更多个房间连接的附加候选房间,并且包括经由所述显示的图形用户界面向所述用户呈现关于所述附加候选房间中的至少一个的信息,并且包括通过添加由所述用户确认为与所述局部楼层平面图的当前版本中的所述一个或更多个房间连接的一个或更多个另外的房间来扩展所述局部楼层平面图的所述当前版本;以及
由所述一个或更多个计算设备提供生成的楼层平面图,以用于涉及所述建筑物的进一步使用。
15.一种系统,包括:
一个或更多个计算设备的一个或更多个硬件处理器;以及
具有存储指令的一个或更多个存储器,所述存储指令在由所述一个或更多个硬件处理器中的至少一个运行时使所述一个或更多个计算设备中的至少一个执行自动化操作,所述自动化操作至少包括:
获取建筑物的多个房间的描述性信息,对于所述多个房间中的每个房间,所述描述性信息包括所述房间的房间形状以及从所述房间通向一个或更多个其它区域的一个或更多个开口位置;
生成互连所述多个房间的楼层平面图,包括:
对于所述多个房间中的具有第一开口的第一房间,至少部分地基于候选房间的房间形状和开口位置来确定所述多个房间的所述候选房间,所述候选房间是用于经由所述第一开口连接到所述建筑物中的第一房间的选项,并且基于一个或更多个定义的度量来对所述候选房间进行排名;
选择所述候选房间中排名最高的一个以通过所述第一开口连接到所述第一房间,并生成具有经由所述第一开口互连的第一房间和选择的所述候选房间的局部楼层平面图;
扩展所述局部楼层平面图以包括所述多个房间中的所有房间,对于一个或更多个进一步迭代中的每个迭代,包括确定待与所述局部楼层平面图的当前版本中的一个或更多个房间连接的附加候选房间,以及基于一个或更多个定义的度量对所述附加候选房间进行排名,以及通过添加排名最高的附加候选房间作为与所述局部楼层平面图的所述当前版本中的所述一个或更多个房间互连来扩展所述局部楼层平面图的当前版本;以及
通过显示的图形用户界面向用户呈现扩展的局部楼层平面图和所述多个房间中的一个或更多个的附加信息,以及获取所述扩展的局部楼层平面图的最终版本的用户确认来用作所述生成的楼层平面图;以及
提供所述生成的楼层平面图供进一步使用。
CN202111195315.2A 2020-10-13 2021-10-13 用于生成建筑物映射信息的自动工具 Pending CN114357598A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/069,800 2020-10-13
US17/069,800 US11592969B2 (en) 2020-10-13 2020-10-13 Automated tools for generating building mapping information

Publications (1)

Publication Number Publication Date
CN114357598A true CN114357598A (zh) 2022-04-15

Family

ID=78179252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111195315.2A Pending CN114357598A (zh) 2020-10-13 2021-10-13 用于生成建筑物映射信息的自动工具

Country Status (5)

Country Link
US (2) US11592969B2 (zh)
EP (1) EP3989178A1 (zh)
CN (1) CN114357598A (zh)
AU (1) AU2021240285B2 (zh)
CA (1) CA3132952C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561854A (zh) * 2023-04-26 2023-08-08 深圳市蕾奥规划设计咨询股份有限公司 智慧街道的生成方法、生成装置、电子设备及存储介质
TWI826215B (zh) * 2022-12-29 2023-12-11 鄭惠文 建築物智慧視覺履歷紀錄方法及系統

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049317B2 (en) 2018-04-20 2021-06-29 Marxent Labs, LLC Technologies for 3D placement of virtual objects from a 2D layout
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
CN117744196A (zh) * 2020-10-13 2024-03-22 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
US20220141384A1 (en) * 2020-10-30 2022-05-05 Flir Surveillance, Inc. Situational awareness-based image annotation systems and methods
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
US20220230345A1 (en) * 2021-01-19 2022-07-21 Home Depot Product Authority, Llc Image based measurement estimation
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US12056900B2 (en) 2021-08-27 2024-08-06 MFTB Holdco, Inc. Automated mapping information generation from analysis of building photos
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US11875280B2 (en) * 2021-12-08 2024-01-16 Marxent Labs Llc Rendering 3D model data for prioritized placement of 3D models in a 3D virtual environment
US12045951B2 (en) 2021-12-28 2024-07-23 MFTB Holdco, Inc. Automated building information determination using inter-image analysis of multiple building images
CN114840901B (zh) * 2022-05-20 2024-08-13 重庆宝图科技发展有限公司 一种基于ar的不动产测绘方法
US11830135B1 (en) * 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
JP2024017224A (ja) * 2022-07-27 2024-02-08 株式会社リコー 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
US20240104851A1 (en) * 2022-09-22 2024-03-28 MFTB Holdco, Inc. Automated Generation And Presentation Of Visual Data Enhancements On Camera View Images Captured In A Building
US20240169617A1 (en) * 2022-11-23 2024-05-23 Insurance Services Office, Inc. Computer Vision Systems and Methods for Information Extraction from Floorplan Images
US20240233260A1 (en) * 2023-01-05 2024-07-11 MFTB Holdco, Inc. Automated Localization Using Beacon Transmitter Devices Of Data Acquired In Buildings
US20240233276A1 (en) * 2023-01-10 2024-07-11 Open Space Labs, Inc. Interior/exterior building walkthrough image interface
CN116243878B (zh) * 2023-03-20 2023-12-19 南京艾小宝智能科技有限公司 一种显示室内布局系统及其方法

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140352A (en) 1990-10-31 1992-08-18 Occipital, Inc. Ccd camera and method for fundus imaging
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
WO1999059026A2 (en) 1998-05-13 1999-11-18 Infinite Pictures Inc. Panoramic movies which simulate movement through multidimensional space
US6323858B1 (en) 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US6317166B1 (en) 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US7129971B2 (en) 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
AU2001264723A1 (en) 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
US6731305B1 (en) 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
US7312816B2 (en) 2002-07-24 2007-12-25 Freestone Systems, Inc. Digital observation system
US7909241B2 (en) 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
US7791638B2 (en) 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
US20060256109A1 (en) 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
US7627235B2 (en) 2006-03-17 2009-12-01 Immersive Media Company Spinning camera enclosure for environmental protection
US7973838B2 (en) 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
CA2658727C (en) 2006-07-25 2017-10-24 Humaneyes Technologies Ltd. Interactive segmentation of images with single scribbles
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
EP2122409B1 (en) 2007-02-25 2016-12-07 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
US7782319B2 (en) 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US7936354B2 (en) 2007-04-27 2011-05-03 Graphisoft R&D Zrt. Virtual trace-multiple view modeling system and method
WO2009013744A2 (en) 2007-07-23 2009-01-29 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
BRPI0909937A2 (pt) 2008-06-16 2015-10-20 Humaneyes Technologies Ltd "método de preparo de um cilindro guia lenticular para a produção de uma imagem lenticular, kit para converter um cilindro de impressão padrão em um cilindro guia lenticular de uma impressora e método de preparo de um cilindro guia para uso em um ciclo de impressão lenticular"
US8463020B1 (en) 2008-07-08 2013-06-11 Imove, Inc. Centralized immersive image rendering for thin client
BRPI0912063A2 (pt) 2008-08-04 2016-01-05 Humaneyes Technologies Ltd "método de preparação de um artigo de imagem lenticular, artigo de imagem lenticular e sistema de preparação de um artigo de imagem lenticular"
US8411966B2 (en) 2009-03-10 2013-04-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
WO2011086560A1 (en) 2010-01-14 2011-07-21 Humaneyes Technologies Ltd Method and system for adjusting depth values of objects in a three dimensional (3d) display
US9041796B2 (en) 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
US9361717B2 (en) 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8705892B2 (en) 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9129438B2 (en) 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
KR101868654B1 (ko) 2011-01-22 2018-06-18 휴먼아이즈 테크놀로지즈 리미티드 렌티큘러 인쇄 및 디스플레이에서 흐림 아티팩트를 감소시키는 방법 및 시스템
US9151608B2 (en) 2011-03-31 2015-10-06 Francis Ruben Malka Apparatus, tool, and method for modifying a portion of a floor plan based on measurements made by one or more sensors
US8996336B2 (en) 2011-03-31 2015-03-31 Francis Ruben Malka Method, tool, and device for assembling a plurality of partial floor plans into a combined floor plan
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US20120293613A1 (en) 2011-05-17 2012-11-22 Occipital, Inc. System and method for capturing and editing panoramic images
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9282242B2 (en) 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
US11094137B2 (en) 2012-02-24 2021-08-17 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US8989440B2 (en) 2012-03-27 2015-03-24 Way Out Ip, Llc System and method of room decoration for use with a mobile device
US9641702B2 (en) 2012-04-25 2017-05-02 Humaneyes Technologies Ltd. Methods and systems of generating a lenticular article using a printing blanket
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9423261B2 (en) 2013-02-19 2016-08-23 Here Global B.V. Path curve confidence factors
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US20140307100A1 (en) 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US9635252B2 (en) 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
EP3011535A4 (en) 2013-06-20 2016-12-28 Diakrit Int Ltd TOOL FOR VISUALIZING A DISPOSITION OF FURNITURE IN A REAL ESTATE
WO2015033253A2 (en) 2013-09-03 2015-03-12 3Ditize Sl Generating a 3d interactive immersive experience from a 2d static image
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US20150116691A1 (en) * 2013-10-25 2015-04-30 Planitar Inc. Indoor surveying apparatus and method
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US9787904B2 (en) 2013-10-31 2017-10-10 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3D models of rooms
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
US9396586B2 (en) 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
EP3140613B1 (en) 2014-05-05 2024-04-03 Hexagon Technology Center GmbH Surveying system
US20150332464A1 (en) 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9953111B2 (en) 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10055876B2 (en) 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
US20160134860A1 (en) 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
KR101638378B1 (ko) 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
WO2016097940A1 (en) 2014-12-16 2016-06-23 3Ditize Sl 3d rotational presentation generated from 2d static images
EP3251347A4 (en) 2015-01-28 2018-09-19 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
US20160260250A1 (en) 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
EP3275204B1 (en) 2015-03-24 2020-07-22 Carrier Corporation System and method for capturing and analyzing multidimensional building information
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
CN105120191A (zh) 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
US20170078593A1 (en) 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
US9953430B1 (en) 2015-10-29 2018-04-24 Indoor Reality Inc. Methods for detecting luminary fixtures
US10706615B2 (en) 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US10708573B2 (en) 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10120397B1 (en) 2016-02-11 2018-11-06 Indoor Reality Inc. Interior climate control utilizing multimodal sensor positioning
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10395435B2 (en) 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10554896B2 (en) 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10502363B2 (en) 2016-05-17 2019-12-10 Occipital, Inc. Self-contained mixed reality head mounted display
KR101770648B1 (ko) 2016-05-18 2017-08-23 주식회사 큐픽스 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
US10030979B2 (en) 2016-07-29 2018-07-24 Matterport, Inc. Determining and/or generating a navigation path through a captured three-dimensional model rendered on a device
US10204185B2 (en) 2016-08-02 2019-02-12 Indoor Reality Inc. Building scan window detection
US10210285B2 (en) 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10536693B2 (en) 2016-11-22 2020-01-14 Pixvana, Inc. Analytic reprocessing for data stream system and method
US10304256B2 (en) 2016-12-13 2019-05-28 Indoor Reality Inc. Point cloud cleaning method
US10181215B2 (en) 2017-03-30 2019-01-15 EyeSpy360 Limited Generating a virtual map
US10122997B1 (en) 2017-05-03 2018-11-06 Lowe's Companies, Inc. Automated matrix photo framing using range camera input
US10809795B2 (en) 2017-05-31 2020-10-20 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
US10534962B2 (en) * 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
US20190041972A1 (en) 2017-08-04 2019-02-07 Cupix, Inc. Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10540054B2 (en) 2017-09-20 2020-01-21 Matterport, Inc. Navigation point selection for navigating through virtual environments
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10366531B2 (en) 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US10235797B1 (en) 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US10791268B2 (en) * 2018-02-07 2020-09-29 Structionsite Inc. Construction photograph integration with 3D model images
US11494857B2 (en) 2018-02-15 2022-11-08 Flyreel, Inc. Property inspection system and method
KR101930796B1 (ko) 2018-06-20 2018-12-19 주식회사 큐픽스 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
US10809066B2 (en) * 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI826215B (zh) * 2022-12-29 2023-12-11 鄭惠文 建築物智慧視覺履歷紀錄方法及系統
CN116561854A (zh) * 2023-04-26 2023-08-08 深圳市蕾奥规划设计咨询股份有限公司 智慧街道的生成方法、生成装置、电子设备及存储介质

Also Published As

Publication number Publication date
CA3132952C (en) 2023-08-22
US20230161463A1 (en) 2023-05-25
AU2021240285B2 (en) 2023-07-13
EP3989178A1 (en) 2022-04-27
US20220114291A1 (en) 2022-04-14
AU2021240285A1 (en) 2022-04-28
CA3132952A1 (en) 2022-04-13
US11592969B2 (en) 2023-02-28
US11797159B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
AU2021240285B2 (en) Automated tools for generating building mapping information
US11238652B2 (en) Presenting integrated building information using building models
US11164361B2 (en) Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11243656B2 (en) Automated tools for generating mapping information for buildings
CA3139429C (en) Automated determination of image acquisition locations in building interiors using determined room shapes
AU2022200299B2 (en) Automated direction of capturing in-room information for use in usability assessment of buildings
AU2022200470B2 (en) Automated room shape determination using visual data of multiple captured in-room images
AU2022200297A1 (en) Automated usability assessment of buildings using visual data of captured in-room images
US11842464B2 (en) Automated exchange and use of attribute information between building images of multiple types
AU2023201778A1 (en) Automated tools for assessing building mapping information generation
AU2022259701B2 (en) Automated tools for incremental generation of building mapping information
EP4358026A1 (en) Automated determination of acquisition locations of acquired building images based on identified surrounding objects
CN118036116A (zh) 用于建筑物楼层平面图生成的多个建筑物图像的自动图像间分析
CN118674819A (zh) 使用多个数据捕获设备自动生成具有相关联的绝对值的建筑物平面图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Washington State

Applicant after: Zillow LLC

Address before: Washington State

Applicant before: ZILLOW Inc.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20230424

Address after: Washington State

Applicant after: Pushsabo I Co.

Address before: Washington State

Applicant before: Zillow LLC

Effective date of registration: 20230424

Address after: Washington State

Applicant after: MFTB Co.,Ltd.

Address before: Washington State

Applicant before: Pushsabo I Co.

TA01 Transfer of patent application right