CN114140516A - 用于确定图像采集位置的对图像内容的自动化分析 - Google Patents

用于确定图像采集位置的对图像内容的自动化分析 Download PDF

Info

Publication number
CN114140516A
CN114140516A CN202111010492.9A CN202111010492A CN114140516A CN 114140516 A CN114140516 A CN 114140516A CN 202111010492 A CN202111010492 A CN 202111010492A CN 114140516 A CN114140516 A CN 114140516A
Authority
CN
China
Prior art keywords
building
information
room
image
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111010492.9A
Other languages
English (en)
Inventor
皮埃尔·穆隆
纳吉·科斯拉万
李宇光
李玉杰
伊瓦伊洛·博亚吉耶夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mftb Co ltd
Pushsabo I Co
Original Assignee
Zillow LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zillow LLC filed Critical Zillow LLC
Publication of CN114140516A publication Critical patent/CN114140516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

描述了用于使用计算装置来执行自动化操作以用于使用对图像视觉内容的分析来确定图像的采集位置的技术。在至少一些情形中，要分析的图像包括在多房间建筑物的内部中的采集位置处采集的全景图像，并且所确定的采集位置信息包括建筑物的楼层平面图上的位置以及在一些实施方式中的定向方向信息—在至少一些这种情形中，执行采集位置确定，而无需具有或使用来自任何距离测量装置的关于从图像采集位置到周围建筑物中的物体的距离的信息。可以以各种自动化方式使用采集位置信息，包括用于控制装置(例如，自主车辆)的导航，用于在一个或多个客户端装置上的对应的图形用户界面中显示等。

Description

用于确定图像采集位置的对图像内容的自动化分析
技术领域
以下公开总体涉及基于对图像内容的分析来自动确定图像的采集位置并且随后以一种或多种方式使用所确定的采集位置信息的技术，诸如在建筑物的楼层平面图上定位建筑物中的房间的内部图像并且使用图像位置来改进对建筑物的导航。
背景技术
在各种领域和情况下，诸如建筑分析、财产检查、房地产收购和开发、总承包、成本估计改进等，可能会希望无需亲自前往和进入建筑物即知晓房屋、办公室或其它建筑物的内部。然而，可能会难以有效地捕获、表示和使用这些建筑物内部的信息，包括向远程位置的用户显示在建筑物内部所捕获的视觉信息(例如，使用户能够完全理解布局和其它内部细节，包括以用户选择的方式控制显示)。另外，尽管建筑物的楼层平面图可以提供一些关于建筑物内部的布局和其它细节的信息，但是这种使用楼层平面图具有一些缺点，包括楼层平面图可能会难以构造和维护，难以精确地缩放和填充关于房间内部的信息，难以可视化和以其它方式使用等。
附图说明
图1A和图1B是描绘在本公开的实施方式中使用的示例性建筑物内部环境和计算系统的图，包括生成并呈现表示建筑物内部的信息。
图2A至图2G示出基于建筑物内部的一个或多个图像自动生成并呈现关于建筑物楼层平面图的信息的示例，诸如根据图像内容的分析自动确定和呈现这些图像的采集位置。
图3是示出适合执行执行本公开所述技术中的至少一些的系统的实施方式的计算系统的框图。
图4示出根据本公开的实施方式的用于图像捕获和分析(ICA)系统例程的流程图的示例性实施方式。
图5A和图5B示出根据本公开的实施方式的用于测绘信息生成管理器(MIGM)系统例程的流程图的示例性实施方式。
图6示出根据本公开的实施方式的用于图像位置测绘管理器(ILMM)系统例程的流程图的示例性实施方式。
图7示出根据本公开的实施方式的用于建筑物地图查看器系统例程的流程图的示例性实施方式。
具体实施方式
本公开描述了用于使用计算装置来执行与至少部分地基于对图像内容(例如，图像中存在的视觉信息)的分析来确定图像的采集位置有关的自动化操作并且用于随后以一种或多种进一步的自动化方式使用所确定的图像采集位置信息的技术。在至少一些实施方式中，要分析的图像包括在多房间建筑物(例如，房屋、办公室等)内部的一个或多个采集位置处采集的一个或多个全景图像或其它图像(例如，直线透视图像)，并且所确定的图像采集位置信息至少包括建筑物的楼层平面图上的位置，并且在一些情形中进一步包括用于图像的至少一部分的定向或其它方向信息。至少在一些这样的实施方式中，进一步执行自动图像采集位置确定，而无需具有或使用来自任何深度传感器或其它距离测量装置的关于从图像采集位置到周围建筑物中的墙壁或其它物体的距离的信息。在各种实施方式中，所确定的图像采集位置信息可以以各种方式进一步使用，诸如结合对应的建筑物楼层平面图和/或生成的其它地图测绘信息，包括用于控制移动装置(例如，自主车辆)的导航、用于在对应GUI(图形用户界面)中的一个或多个客户端装置上显示或进行其它呈现等。下面包括关于所确定的图像采集位置信息的自动采集和使用的附加细节，并且如下面进一步讨论的，在至少一些实施方式中，本文描述的一些或全部技术可以经由图像位置测绘管理器(“ILMM”)系统的自动化操作来执行。
在至少一些实施方式和情形中，针对建筑物采集的图像中的一些或全部可以是分别在建筑物中或其周围的多个采集位置中的一个处采集的全景图像，诸如在这样的每个采集位置处根据以下各者中的一者或多者来生成全景图像：在该采集位置处的一个或多个视频(例如，由在该采集位置转身的用户所握持的智能电话或其它移动装置拍摄的360°视频)、或在多个方向上从采集位置采集的多个图像(例如，来自在该采集位置处转身的用户所握持的智能电话或其它移动装置)、或对所有图像信息的同时捕获(例如，使用一个或多个鱼眼镜头)等。将了解，在一些情形中，这样的全景图像可以在球面坐标系中表示并围绕水平和/或竖直轴线提供高达360°的覆盖，使得观看起始全景图像的用户可以将起始全景图像内的观看方向移动到不同的定向以产生要在起始全景图像内渲染的不同图像(或“视图”)(如果全景图像在球面坐标系中表示，则包括将正在渲染的图像转换为平面坐标系)。另外，可以以各种方式获得和使用关于捕获这种全景图像的采集元数据，诸如，当移动装置由用户携带或以其它方式在采集位置之间移动时，从该移动装置的IMU(惯性测量单元)传感器或其它传感器采集的数据。下面包括与建筑物的全景图像或其它图像的采集和使用有关的附加细节。
如上所述，ILMM系统的自动化操作可以包括：至少部分地基于对图像内容中包括的视觉信息的分析，确定在限定区域中(例如，在房屋或其它建筑物的房间内)捕获的图像的采集位置。在至少一些实施方式中，图像采集位置的这种自动确定可以包括以下的一些或全部：识别图像内容中的可见元件，诸如可见墙壁的结构元件(例如，诸如门、窗户、墙壁间边界等的墙壁元件)；确定在图像内容的视觉信息内所识别的这些元件在各个角度处的位置；以促进与建筑物的一个或多个房间的类似信息进行比较的格式对所识别的角度元件位置信息进行编码(得到的图像的编码角度元件位置信息在本文中通常被称为图像角描述符)；以及使用所生成的图像角描述符来识别用于特定房间中的特定位置的匹配信息。在其它实施方式和情形中，可以以不同于基于与图像的起始方向的角度差的方式来识别和表示图像的墙壁元件信息(或其它类型的可见元件)，从而产生以类似方式使用的其它类型的图像描述符。
为了说明性示例的目的，考虑在建筑物的房间中捕获的全景图像，其中全景图像包括围绕竖直轴线的360°水平覆盖范围(例如，从全景图像的采集位置示出所有房间墙壁的完整圆)，并且其中图像的视觉内容的x和y轴与房间中对应的水平和竖直信息(例如，两个墙壁之间的边界、墙壁和地板之间的边界、窗户和门的底部和/或顶部等)对准，使得图像不会相对于房间倾斜或以其它方式错位。为了此示例的目的，可以使用改变的相机定向在多个方向上从采集位置开始顺序地执行图像捕获，所述改变的相机定向从对应于该全景图像的相对起始水平方向0°的北方的相机定向开始并以圆的方式继续，其中该全景图像的相对90°水平方向然后对应于东方，该全景图像的相对180°水平方向对应于南方，该全景图像的相对270°水平方向对应于西方，并且该全景图像的相对360°结束水平方向返回到北方。在至少一些实施方式中，关于全景图像中的所识别元件的位置的信息以特定于与采集位置的这种方向角度数(例如，相对于全景图像的起始方向)的方式进行编码，从而产生用于图像的图像角描述符—因此，用于这种图像的图像角描述符可以对关于在360水平度的每个中哪些墙壁元件可见的信息进行编码。例如，如果房间中存在的窗户位于图像采集位置正北方且在全景图像中可见(例如，未被居间家具遮掩)，则关于所得到的图像角描述符中的图像的0°相对方向角度(以及如果与0°方向分开表示，关于图像的360°相对方向)的信息将包括在该角度方向上存在窗户的识别。在各种实施方式中，关于所识别的元件的这些位置信息可以以各种方式进行编码和存储，包括在一些实施方式中在具有用于每个方向角度的一个或多个值的向量中，诸如识别在给定角度方向上存在的每个墙壁元件。下面包括关于这样的图像角描述符的构造和使用的附加细节，包括关于图2D至图2E的示例及其关联描述。
另外，使用图像的所生成的图像角描述符来自动确定建筑物的房间(或其它限定区域)中的图像的采集位置可以包括将图像的这种角度信息与建筑物中的对应角度信息匹配，诸如与房间中的特定位置匹配。在至少一些实施方式中，在建筑物中识别多个房间位置(例如，通过创建基本上或完全覆盖房间楼层的房间位置网格)，并且为每个这样的房间位置创建建筑物角描述符以包括关于该房间位置的房间墙壁元件的类似角度信息——因此，给定指定的起始方向为0°(例如，北方)。这种房间位置的建筑物角描述符可以编码对于从该房间位置起的方向上的360水平度中的每个哪些墙壁元件是房间的一部分的信息。这种建筑物角描述符可以例如在生成或使用任何对应的图像角描述符之前预定义，或者在一些情形中改为可以在使用时动态地创建，用于与在房间中拍摄的图像的图像角描述符进行比较。
一旦为房间中的多个房间位置生成或以其它方式获得多个建筑物角描述符，则可以将其与房间中拍摄的图像的图像角描述符进行比较或以其它方式进行匹配，以便确定建筑物角描述符中最佳匹配的一个，然后基于该最佳匹配的建筑物角描述符的房间位置来识别图像的采集位置。例如，图像的确定的采集位置可以被选择为在一些实施方式和情形中最佳匹配建筑物角描述符的房间位置，或者改为，在其它实施方式和情形中可以被确定为与该房间位置的距离很近(例如，在基于图像角描述符和最佳匹配建筑物角描述符之间的差异的方向和/或量上)。用于图像角描述符和建筑物角描述符的匹配过程可以包括以一种或多种方式确定两个角描述符之间的距离和/或相似性/不相似性的量，例如通过确定两个角描述符匹配的概率(具有与最小不相似性和/或距离对应的最高匹配概率)，通过测量用于比较的角描述符的向量或的其它编码格式之间的差异等。作为一个非排他性的示例，圆形推土机的距离度量可以用于以独立于旋转的方式(例如，不论两个角描述符是否在房间中使用相同的方向作为其各自的相对0°)比较这样的两个角描述符的向量，而在其它实施方式中，可以以其它方式处理两个描述符之间的旋转差异。另外，在一些实施方式中，匹配过程可以包括将图像角描述符与每个可能的建筑物角描述符进行比较，而在其它实施方式中，可以仅考虑建筑物角描述符的子集(例如，通过使用定义的相似性或不相似性度量来执行最近邻梯度上升或下降搜索)。下面包括关于这种建筑物角描述符的构造和使用的其它细节，包括对一个或多个图像角描述符进行比较，例如关于图2E的示例及其关联描述。
另外，在至少一些实施方式中，可以执行进一步的自动化操作作为在房间中采集的图像的采集位置的自动确定的一部分。例如，在至少一些实施方式中，几何定位技术可以用于测试图像中可见的墙壁元件与房间中存在的墙壁元件的关联(不论是确认已经被确定为最佳匹配的建筑物角描述符与图像角描述符的匹配程度和/或还是作为识别这种最佳匹配建筑物角描述符的一部分)。几何定位技术可以包括，例如使用2点求解器和/或3点求解器来确定房间的一个或多个可能的房间形状和/或房间内的元件位置，然后将墙壁元件定位在可能的房间形状上。在其它实施方式中，可以以其它方式来确定墙壁元件位置，诸如经由使用房间中的深度感测装置或其它房间测绘传感器。通过用于分析图像以识别房间形状和墙壁元件位置的机器学习方法，通过由一个或多个操作员指定的输入等。另外，在一些实施方式中，给定房间位置和关于房间形状和墙壁元件的位置的信息，可以利用在其位置中示出的墙壁元件来生成新的合成图像，该新的合成图像是房间从该房间位置的视图的投影/可视化，并且可以将该合成图像的视觉信息直接与来自房间的实际图像进行比较，以确定两个图像之间的相似/不相似程度或其它匹配程度。利用该图像间比较，用于确定该房间位置是否与实际图像的采集位置匹配。以类似的方式，在一些实施方式中，用于房间中的房间位置的建筑物角描述符中的一些或全部可以作为在那些房间位置处拍摄的图像(例如，360°全景图像)的图像角描述符来生成，并且然后可以将那些房间/图像角描述符与在房间中拍摄的新图像(例如，具有小于360°水平覆盖的图像)的图像角描述符进行比较，以便以类似的方式确定最佳匹配建筑物角描述符上面讨论的。
在一些实施方式中，自动化确定在房间中拍摄的图像的采集位置可以进一步包括附加操作。例如，在至少一些实施方式中，可以使用机器学习技术来获悉最佳编码以允许图像与房间位置匹配，诸如来自多种定义的候选编码，或者改为通过考虑多种可能的图像元素来分析和识别那些图像元素中提供与对应房间位置的最佳匹配的子集。下面包括关于在一些实施方式中可以由ILMM系统执行的各种自动化操作的附加细节。
在各种实施方式中，所描述的技术提供各种益处，包括允许多房间建筑物和其它结构的楼层平面图用关于在建筑物或其它结构中在其处采集图像的采集位置的信息自动扩增，包括无需具有或使用来自深度传感器或其它距离测量装置的关于从图像采集位置到周围建筑物或其它结构中的墙壁或其它物体的距离的信息。此外，这种自动化技术允许比先前存在的技术更快地确定这种图像采集位置信息，并且在至少一些实施方式中具有更高的准确度，包括通过使用从实际建筑物环境(而不是从关于理论上应该如何建造建筑物的计划)采集的信息，以及使得能够捕获在最初建造建筑物之后出现的结构元件变化。这种所描述的技术进一步提供了至少部分地基于所确定的图像采集位置来允许改进由移动装置(例如，半自主或全自主车辆)对建筑物的自动导航方面的益处，包括显著减少用于尝试以其它方式获悉建筑物布局的计算能力和时间。另外，在一些实施方式中，所描述的技术可以用于提供改进的GUI，其中用户可以更准确地且更快速地获得关于建筑物内部的信息(例如，供在该内部导航时使用)，包括响应于搜索请求，作为向用户提供个性化信息的一部分，作为向用户提供价值估计和/或其它关于建筑物的信息的一部分等。所描述的技术还提供了各种其它益处，其中一些在本文的其它地方进一步描述。
如上所述，ILMM系统的自动化操作可以包括：至少部分地基于对图像内容中包括的视觉信息的分析，确定在限定区域中(例如，在房屋或其它建筑物的房间内)拍摄的图像的采集位置。在至少一些实施方式中，这种ILMM系统可以与一个或多个单独的ICA(图像捕获和分析)系统和/或一个或多个单独的MIGM(测绘信息和生成管理器)系统结合操作，诸如获得和使用来自ICA和/或MIGM系统的建筑物楼层平面图和其它关联信息，而在其它实施方式中，这种ILMM系统可以将这种ICA和/或MIGM系统的一些或全部功能并入作为ILMM系统的一部分。在又其它实施方式中，ILMM系统可以在不使用ICA和/或MIGM系统的一些或全部功能的情况下操作，诸如如果ILMM系统从其它来源(例如，从由一个或多个用户进行的手动创建，从由一个或多个外部系统或其它来源对这种建筑物楼层平面图和/或关联信息的提供，等)获得关于建筑物楼层平面图和/或其它关联信息。另外，以本文描述的方式使用的建筑物楼层平面图可以呈各种格式(无论是最初获得的和/或在由ILMM系统进行初始自动化分析之后)，在至少一些实施方式中包括呈向量化形式，该向量化形式具有关于结构元件的位置的指定信息，结构元件诸如为以下各者中的一者或多者：墙壁、窗户、门道和其它房间间开口、角落等(例如，在最初收到建筑物楼层平面图的进行分析以产生向量化形式的非向量化图像形式之后)。
关于这种ICA系统的功能，在至少一些实施方式中，它可以执行自动化操作，以在与建筑物相关联的各个采集位置(例如，在建筑物的多个房间的内部)处采集图像(例如，全景图像)、以及可选地进一步采集与图像采集过程和/或捕获装置在采集位置之间的移动有关的元数据。例如，在至少一些这种实施方式中，这种技术可以包括：使用一个或多个移动装置(例如，具有一个或多个鱼眼镜头并安装在可旋转三脚架上或以其它方式具有自动化旋转机构的相机；具有足以在不旋转的情况下水平地捕获360度的一个或多个鱼眼镜头的相机；由用户握持和移动的智能手机，诸如以围绕竖直轴线的360°圆旋转用户的身体并握持智能手机；由用户握持或安装在用户身上或用户衣服上的相机；安装在以空中和/或地面为基础的无人机或机器人装置上的相机；等)来从房屋(或其它建筑物)的多个房间中的一系列多个采集位置捕获视觉数据，但没有来自任何深度传感器或其它距离测量装置的关于采集位置和采集位置周围的环境中的物体之间的距离的采集信息。本文的其它地方包括关于实施ICA系统的装置的操作的附加细节，诸如执行这种自动化操作、以及在一些情况下以一种或多种方式进一步与一个或多个ICA系统操作员用户交互以提供进一步的功能。
关于这种MIGM系统的功能，在至少一些实施方式中，它可以执行自动化操作，以分析已针对建筑物内部(和可选地建筑物外部)采集的多个360°全景图像(和可选地其它图像)并针对那些全景图像中的一些或全部确定房间形状和连接房间的通道的位置，以及在至少一些实施方式和情形中确定建筑物的一些或全部房间的墙壁元件和其它元件。两个或更多个房间之间的连接通道的类型可以包括以下各者中的一者或多者：门道开口和其它房间间非门道墙壁开口、窗户、楼梯、非房间走廊等，并且对图像的自动化分析可以至少部分基于识别通道的轮廓、识别通道内的与它们外部不同的内容(例如，不同的颜色或阴影)等来识别这种元件。自动化操作可以进一步包括：使用所确定的信息来生成建筑物的楼层平面图和可选地生成建筑物的其它测绘信息(诸如，通过使用房间间通道信息和其它信息来确定关联的房间形状彼此的相对位置)，以及可选地将距离缩放信息和/或各种其它类型的信息添加到所生成的楼层平面图。另外，在至少一些实施方式中，MIGM系统可以执行进一步的自动化操作，以确定附加信息并将附加信息与建筑物楼层平面图和/或楼层平面图内的特定房间或位置相关联，诸如分析在建筑物内部捕获的图像和/或其它环境信息(例如，音频)以确定特定属性(例如，特定元件的颜色和/或材料类型和/或其它特性，特定元件诸如为地板、墙壁、天花板、台面、家具、灯具、电器等；特定元件的存在和/或不存在，特定元件诸如为厨房中的岛等)，或以其它方式确定相关属性(例如，建筑物元件面向的方向，建筑物元件诸如为窗户；来自特定窗户或其它位置的视图；等)。下面包括关于实施MIGM系统的计算装置的操作的附加细节，诸如执行这种自动化操作、以及在一些情况下以一种或多种方式进一步与一个或多个MIGM系统操作员用户交互以提供进一步的功能。
出于说明性目的，下面描述一些实施方式，其中针对特定类型的结构以特定方式并通过使用特定类型的装置来采集、使用和/或呈现特定类型的信息—然而，将理解，所描述的技术可以在其它实施方式中以其它方式使用，并且因此本发明不限于所提供的示例性细节。作为一个非排他性示例，尽管在一些实施方式中针对图像和房间位置生成特定类型的角描述符并且以特定方式比较或以其它方式匹配这些角描述符，但将了解，可以在其它实施方式中类似地生成并使用用于描述图像内容和房间位置的其它类型的信息，包括针对与房屋分离的建筑物(或其它结构或布局)，并且可以在其它实施方式中以其它方式使用所确定的图像采集位置信息。另外，术语“建筑物”在本文中是指任何部分地或完全地封闭的结构，通常但不一定涵盖在视觉上或以其它方式划分结构的内部空间的一个或多个房间—这种建筑物的非限制性示例包括房屋、公寓大楼或其中的个人公寓、共管公寓、办公楼、商业建筑物或其它批发和零售结构(例如，购物中心、百货公司、仓库等)等。如本文参考建筑物内部、采集位置或其它位置(除非上下文另有明确指示)使用的术语“采集”或“捕获”可以是指对与建筑物内部的空间特性和/或视觉特性和/或在其它方面可感知的特性或其子集有关的媒体、传感器数据和/或其它信息的任何记录、存储或录入，诸如通过记录装置或通过从记录装置接收信息的另一个装置。如本文所使用，术语“全景图像”可以是指基于、包括或可分成源于不同方向上的基本上类似物理位置的多个离散分量图像并且描绘比离散分量图像中的任一个单独描绘的更大视野的视觉表示，包括来自物理位置的具有足够宽的视角以包括超出人凝视单个方向可感知到的角度的图像。如本文所使用，术语“一系列”采集位置通常是指两个或更多个采集位置，每个采集位置按对应的顺序被访问至少一次，而无论在它们之间是否访问过其它非采集位置，以及无论对所述采集位置的访问是在单个连续时间段期间还是在多个不同时间发生、或者是由单个用户和/或装置还是由多个不同用户和/或装置进行。另外，出于示例性目的，在附图和文本中提供了各种细节，但这些细节并不旨在限制本发明的范围。例如，附图中元件的尺寸和相对位置未必按比例绘制，一些细节被省略和/或更突出地提供(例如，经由尺寸和定位)以增强易读性和/或清晰度。此外，在附图中可以使用相同的附图标记来识别相同或类似的元件或动作。
图1A是在一些实施方式中可以参与所描述的技术的各种计算装置和系统的示例框图。特别地，在图1A中示出了已由内部捕获和分析(“ICA”)系统160生成的一个或多个链接的全景图像165，在此示例中，所述ICA在一个或多个服务器计算系统180上执行，诸如关于一个或多个建筑物或其它结构。—图1B示出了特定房屋198的这种链接的全景图像的一个示例，如下面进一步讨论的，并且在本文的其它地方包括与ICA系统的自动化操作有关的附加细节(包括关于图4的附加细节)。MIGM(测绘信息生成管理器)系统160进一步在图1A中的一个或多个服务器计算系统180上执行，以基于链接的全景图像165和可选地关于其采集和链接的关联元数据的使用来生成并提供建筑物楼层平面图155和/或其它测绘相关信息。—图2G示出了这种楼层平面图的一个示例，如下面进一步讨论的，并且在本文的其它地方包括与MIGM系统的自动化操作有关的附加细节(包括关于图5A-5B的附加细节)。
图1A进一步示出了ILMM(图像位置测绘管理器)系统140，其在一个或多个服务器计算系统180上执行以确定在一个或多个建筑物房间中采集的附加图像145(例如，全景图像)的采集位置，诸如关于对应的建筑物楼层平面图155。在至少一些实施方式和情形中，ILMM客户端计算装置105的一个或多个用户可以进一步通过网络170与ILMM系统140交互，诸如协助ILMM系统的一些自动化操作以用于至少部分地基于对图像内容的分析来确定图像的采集位置、和/或用于随后以一种或多种进一步的自动化方式使用所确定的图像采集位置信息。在本文的其它地方包括与ILMM系统的自动化操作有关的附加细节(包括关于图2D至2G和图6的附加细节)。在一些实施方式中，ICA系统160和/或MIGM系统160和/或ILMM系统140可以在相同的服务器计算系统上执行，诸如如果那些系统中的多个或全部由单个实体操作或以其它方式彼此协调而执行(例如，那些系统中的一些或全部功能被一起集成到较大的系统中)，而在其它实施方式中，ILMM系统可以改为从一个或多个外部来源获得楼层平面图信息和/或附加图像，并且可选地将它们与ILMM系统一起本地存储(未示出)以供进一步分析和使用。
一个或多个客户端计算装置175的一个或多个用户(未示出)可以进一步通过一个或多个计算机网络170与ILMM系统140和可选地ICA系统160和/或MIGM系统160交互，诸如协助确定一个或多个图像的采集位置和获得对应的所确定的采集位置信息，和/或获得所生成的楼层平面图(一个或多个附加图像已位于该楼层平面图上)并且可选地与其交互，和/或获得附加信息并且可选地与其交互，诸如一个或多个关联图像(例如，在楼层平面图视图和在楼层平面图内或附近的采集位置处的特定图像的视图之间改变；改变显示全景图像的对应视图所依据的水平和/或竖直查看方向，诸如确定当前用户查看方向所指向的全景图像的一部分，等)。另外，虽然在图1A中未示出，但是楼层平面图(或部分)可以与一种或多种其它类型的信息挂钩或以其它方式关联，包括使多楼层或其它方面多层建筑物的楼层平面图针对相互链接(例如，经由连接楼梯通道)的不同楼层或层具有多个关联的子楼层规划、使建筑物的二维(“2D”)楼层平面图与建筑物的三维(“3D”)呈现挂钩或以其它方式关联等。另外，虽然在图1A中未示出，但在一些实施方式中，客户端计算装置175(或其它装置，未示出)可以以附加方式接收和使用所确定的图像采集位置信息(可选地与所生成的楼层平面图和/或所生成的其它测绘相关信息结合)，诸如控制或协助由那些装置(例如，由自主车辆或其它装置)进行的自动化导航活动，无论是代替还是补充显示所生成的信息。
在图1A的所描绘的计算环境中，网络170可以是一个或多个公共可访问(可能由各种不同的方操作)的链接网络，诸如互联网，而在其它实施方式中，网络170可以具有其它形式(例如，专用网络，诸如非特权用户完全或部分无法访问的公司或大学网络)。在再其它实施方式中，网络170可以包括专用网络和公共网络两者，其中专用网络中的一个或多个可访问公共网络中的一个或多个和/或从公共网络中的一个或多个访问专用网络中的一个或多个。此外，在各种情形中，网络170可以包括各种类型的有线和/或无线网络。另外，客户端计算装置175和服务器计算系统180可以包括各种硬件部件和存储的信息，如下面关于图3更详细地讨论的。
在图1A的示例中，ICA系统160可以执行自动化操作，这些自动化操作涉及在多个关联的采集位置处(例如，在建筑物或其它结构内的多个房间或其它位置中以及可选地在建筑物或其它结构的外部的一些或全部的周围)生成多个全景图像(例如，每一者为围绕竖直轴线的360度全景)，诸如用于生成并提供建筑物或其它结构的内部的表示。技术可以进一步包括：分析信息以确定两个或更多个采集位置中的每一个之间的相对位置/方向；基于这种所确定的位置/方向在全景中创建到一个或多个其它全景中的每一个的全景间位置/方向链接；以及然后，提供信息以显示或以其它方式呈现房屋内各个采集位置的多个链接的全景图像。与提供ICA系统的至少一些这种功能的系统的实施方式有关的附加细节被包括在以下各者中：2019年11月23日提交的标题为“连接并使用从移动装置采集的建筑物数据(Connecting And Using Building Data Acquired From Mobile Devices)”的共同待决美国非临时专利申请号16/693,286(代理人案号990074.402C1)(其包括总体涉及从一个或多个建筑物或其它结构内获得和使用全景图像的示例BICA系统的公开内容)；2018年12月28日提交的标题为“经由使用采集装置传感器对图像采集的自动化控制(AutomatedControl Of Image Acquisition Via Use Of Acquisition Device Sensors)”的美国非临时专利申请号16/236,187(代理人案号990074.405)(其包括总体涉及从一个或多个建筑物或其它结构内获得和使用全景图像的示例ICA系统的公开内容)；以及2018年11月14日提交的标题为“根据相互连接的图像的自动化测绘信息生成(Automated MappingInformation Generation From Inter-Connected Images)”的美国非临时专利申请号16/190,162(代理人案号990074.403)；上述专利申请中的每一者通过引用以其全文并入本文。
图1B描绘了示例性建筑物内部环境的框图，在所述建筑物内部环境中链接的全景图像已生成并且准备好用于生成并提供对应的建筑物楼层平面图以及用于向用户呈现链接的全景图像。特别地，图1B包括建筑物198，该建筑物具有至少部分地经由多个全景图像捕获的内部，诸如由携带具有图像采集能力的移动装置185的用户(未示出)穿过建筑物内部到达一系列多个采集位置210。ICA系统的实施方式(例如，服务器计算系统180上的ICA系统160；在用户的移动装置上执行的ICA系统的一些或全部的副本，诸如在装置185的存储器152中执行的ICA应用程序系统155；等)可以自动执行或协助捕获表示建筑物内部的数据，以及进一步分析所捕获的数据以生成链接的全景图像，从而提供建筑物内部的视觉表示。尽管用户的移动装置可以包括各种硬件部件，诸如相机或其它成像系统135、一个或多个传感器148(例如，陀螺仪148a、加速计148b、指南针148c等，诸如移动装置的一个或多个IMU(或惯性测量单元)的一部分；测高仪；光检测器；等)、GPS接收器、一个或多个硬件处理器132、存储器152、显示器142、麦克风等，但在至少一些实施方式中，移动装置可能无法访问或使用装备来测量建筑物中的物体相对于移动装置的位置的深度，使得可以部分地或完全地基于不同图像中的匹配元件和/或通过使用来自所列出的硬件部件中的其它硬件部件的信息(但不使用来自任何这种深度传感器的任何数据)来确定不同全景图像与其采集位置之间的关系。另外，虽然提供方向指示符109以供查看器参考，但在至少一些实施方式中，移动装置和/或ICA系统可以不使用这种绝对方向信息，诸如改为确定全景图像210之间的相对方向和距离而不考虑实际地理位置或方向。
在操作中，与移动装置相关联的用户到达建筑物内部的第一房间内的第一采集位置210A(在此示例中为从外门190-1到客厅的入口)，并且当移动装置在第一采集位置处围绕竖直轴线旋转时(例如，在用户将他或她的身体转圈，同时使移动装置相对于用户身体保持固定的情况下)捕获从该采集位置210A可见的建筑物内部的一部分的视图(例如，第一房间的一些或全部、以及可选地一个或多个其它相邻或附近房间的小部分，诸如穿过门、大厅、楼梯或始于第一房间的其它连接通道)。可以经由使用在移动装置上执行的一个或多个程序来控制或促进用户和/或移动装置的动作，所述程序诸如为ICA应用程序系统155、可选的浏览器162、控制系统147等，并且视图捕获可以通过记录视频和/或拍摄一连串一个或多个图像来执行，包括捕获描绘可以在从采集位置捕获的图像(例如，视频帧)中可见的若干个物体或其它元件(例如，结构细节)的视觉信息。在图1B的示例中，这种物体或其它元件包括在结构上为墙壁的一部分的各种元件(或“墙壁元件”)，诸如门道190和197及其门(例如，带有旋转门和/或滑动门)、窗户196、墙壁间边界(例如，角落或边缘)195(包括在建筑物198的西北角的角落195-1、以及在第一房间的东北角的角落195-2)—另外，在图1B的示例中，这种物体或其它元件可以进一步包括房间内的其它元件，诸如家具191至193(例如，沙发191；椅子192；桌子193；等)、挂在墙壁上的图片或绘画或电视或其它物体194(诸如，194-1和194-2)、照明灯具等。用户还可以可选地提供要与采集位置相关联的文本或听觉识别符，诸如用于采集位置210A的“入口”或用于采集位置210B的“客厅”，而在其它实施方式中，ICA系统可以自动生成这种识别符(例如，通过自动分析建筑物的视频和/或其它记录信息来执行对应的自动化确定，诸如通过使用机器学习)，或者可以不使用识别符。
在已适当捕获了第一采集位置210A(例如，通过移动装置的完整旋转)之后，用户可以前进到下一个采集位置(诸如，采集位置210B)，从而可选地在于采集位置之间移动期间记录移动数据，诸如视频和/或来自硬件部件(例如，来自一个或多个IMU、来自相机等)的其它数据。在下一个采集位置处，用户可以类似地使用移动装置从该采集位置捕获一个或多个图像。该过程可以从建筑物的一些或全部房间重复，并且可选地在建筑物外部重复，如针对采集位置210C至210J所示出。进一步分析针对每个采集位置所采集的视频和/或其它图像，以针对采集位置210A至210J中的每一者生成全景图像，在一些实施方式中包括匹配不同图像中的物体和其它元件。除了生成这种全景图像之外，还可以执行进一步分析以便将全景中的至少一些‘链接’在一起(为了说明起见，示出了它们之间的一些对应的线215)，诸如确定彼此可见的多对采集位置之间的相对位置信息，存储对应的全景间链接(例如，分别为在采集位置A和B之间的链接215-AB、B和C之间的链接215-BC、以及A和C之间的链接215-AC)，并且在一些实施方式和情形中，进一步链接彼此不可见的至少一些采集位置(例如，在采集位置210B和210E之间的链接215-BE，未示出)。
与生成并使用全景图像之间的链接信息(包括使用行进路径信息和/或多个图像中可见的元件或其它特征)的实施方式有关的附加细节被包括在2019年11月23日提交的标题为“连接并使用从移动装置采集的建筑物数据(Connecting And Using Building DataAcquired From Mobile Devices)”的共同待决美国非临时专利申请号16/693,286(代理人案号990074.402C1)(其包括总体涉及获得和使用链接信息以使在一个或多个建筑物或其它结构内捕获的多个全景图像相互连接的示例BICA系统的公开内容)中。
关于图1A至图1B提供了各种细节，但将了解，所提供的细节是出于说明性目的而包括的非排他性示例，并且可以在没有一些或全部这种细节的情况下以其它方式执行其它实施方式。
图2A至图2G示出了基于在建筑物内部拍摄的一个或多个图像来自动生成并呈现关于建筑物(诸如，图1B的建筑物198)的楼层平面图的信息的示例。
特别地，图2A示出了示例图像250a，诸如在图1B的房屋198客厅中从采集位置210B向东北方向上拍摄的非全景透视图像(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向东北的子集视图)—在此示例中进一步显示方向指示符109a以示出拍摄图像的向东北方向)。在所示出的示例中，所显示的图像包括内置元件(例如，照明灯具130a)、家具(例如，椅子192-1)、两个窗户196-1和挂在客厅北墙壁上的图片194-1。进出客厅的房间间通道(例如，门或其它墙壁开口)在此图像中不可见。然而，在图像250a中可见多个房间边界，包括客厅北墙壁的可见部分和客厅天花板及地板之间的水平边界、客厅东墙壁的可见部分和客厅天花板及地板之间的水平边界、以及北墙壁和东墙壁之间的墙壁间竖直边界195-2。
图2B继续图2A的示例，并且示出了在图1B的房屋198客厅中从采集位置210B向西北方向上拍摄的附加透视图像250b—进一步显示方向指示符109b以示出拍摄图像的向西北方向。在此示例图像中，窗户196-1中的一个的一小部分连同窗户196-2的一部分以及新的照明灯具130b继续可见。另外，水平和竖直房间边界以与图2A的方式类似的方式在图像250b中可见。
图2C继续图2A至图2B的示例，并且示出了在图1B的房屋198客厅中诸如从采集位置210B向西南方向上拍摄的第三透视图像250c—进一步显示方向指示符109c以示出拍摄图像的向西南方向。在此示例图像中，窗户196-2的一部分继续可见，正如沙发191以及视觉水平和竖直房间边界以与图2A和图2B的方式类似的方式也继续可见。此示例图像进一步示出了客厅的房间间通道，在此示例中，该房间间通道是进入和离开客厅的门190-1(图1B将其识别为通向房屋外部的门)。将了解，可以从采集位置210B和/或其它采集位置拍摄并以类似方式显示多种其它透视图像。
图2D继续图2A至图2C的示例，并且示出了与图1B的图像分开采集的全景图像255d(其中在采集位置210处正被捕获图1B的图像以用于生成建筑物198的楼层平面图)—在此示例中，全景图像255d是在生成建筑物198的楼层平面图之后的时间采集的，并且用于将全景图像255d与建筑物198的楼层平面图上的位置相关联，该位置对应于全景图像255d的采集位置。在此示例中，全景图像255d是在客厅中从采集位置265拍摄的180°全景图像，如使用对应于客厅的楼层平面图摘录260d上的信息265和267示出的(关于图2G并且在本文的其它地方讨论与建筑物198的楼层平面图的示例显示有关的附加细节)。使用这种全景图像255d，可以以与图2A至图2B的透视图像250a-250b的方式类似的方式向最终用户(未示出)显示全景图像的各种子集，其中示例子集250d被示为全景图像255d的一部分—尽管在全景图像255d上未单独示出，但是它的对应于第一透视图像250a的子集部分在全景图像255d的右侧部分中可用，而全景图像255d的左侧子集部分包含对应于透视图像250b的视觉数据的视觉数据。由于在此示例中全景图像255d没有延伸到完整的水平360°，因此它的对应于透视图像250c的子集部分不可用，但是如果360°全景图像改为从采集位置265采集(如下面关于图像角描述符270进一步讨论)，则这种360°全景图像将包括具有与透视图像250c的视觉信息类似的视觉信息的子集部分。
可以分析全景图像255d的视觉内容，以便确定图像采集位置265在客厅中的位置、以及可选地进一步确定全景图像的定向/方向信息。对于此示例，全景图像255d是在房屋的客厅中捕获的，并且包括围绕竖直轴线的180°水平覆盖范围(例如，显示客厅的大约北面四分之一的半圆)，并且其中图像的视觉内容的x和y轴与房间中对应的水平和竖直信息(例如，两个墙壁之间的边界、墙壁和地板之间的边界、窗户和门的底部和/或顶部等)对准。在此示例中，图像捕获以对应于全景图像255d的相对起始水平方向0°的西方向上的相机定向开始并以半圆继续，其中该全景图像的相对90°水平方向然后对应于北方向，并且该全景图像的相对180°水平方向对应于东方向。如果完整的360°全景图像改为从该相同起始方向捕获，则它将包括与上文针对180°全景图像所述的方向信息相同的方向信息，并且将进一步包括360°全景图像的对应于南方向的相对270°水平方向、以及360°全景图像的返回到西方向的相对水平360°结束方向。
图2D进一步示出了全景图像255d的角度信息265，该角度信息可以由ILMM系统确定并且用于识别在全景图像255d中示出的客厅的各种类型的墙壁元件的位置。在此示例中，墙壁元件包括门、窗户、房间间墙壁开口和墙壁间边界，其中对应的视觉识别符显示在图例269中，并且楼层平面图摘录260d类似地示出了客厅的这种类型的墙壁元件(包括门261、窗户262、房间间墙壁开口263和墙壁间边界264)的位置—将了解，房间中的其它类型的元件可以改为用于图像分析，并且可以以多种方式在楼层平面图上显示关于这种元件的信息元素。虽然在一些实施方式中可以基于对在客厅中拍摄的一个或多个图像的分析来自动确定墙壁元件在全景图像中的位置和/或那些墙壁元件在客厅中的位置，但在其它实施方式中，至少一些这种信息可以改为以其它方式确定，诸如由ILMM系统或关联系统的一个或多个人类操作员指定。
关于全景图像255d的角度信息265，它包括信息子集265a，该信息子集示出了墙壁间边界元件在全景图像255d中的所确定的角度位置，其中第一墙壁间边界元件(对应于客厅的西北角)在全景图像255d中以大约35°(相对于全景图像的向西起始方向0°)可见，并且其中第二墙壁间边界元件(对应于客厅的东北角)在全景图像255d中以大约160°(也相对于全景图像的起始方向)可见。类似地，信息子集265c示出了客厅西墙壁和北墙壁上的窗户在全景图像255d中的所确定的角度位置，其中西窗户的一部分从全景图像255d的0°到大约20°可见，并且北窗户从大约130°到略低于150°可见(两者都相对于全景图像的起始方向)。因此，虽然一些墙壁元件(诸如，墙壁间边界)可以以单一角度表示，但其它墙壁元件(诸如，窗户、门、开口等)可以改为跨越一定的角度位置范围表示。如分别在对应于墙壁开口和门的信息子集265b和265d中所示，客厅的门和客厅的墙壁开口在全景图像255d中不可见，且因此在此示例中并未识别那些类型的墙壁元件的对应角度位置信息。在此示例中，各种角度位置信息子集265a-265d进行组合以创建用于全景图像255d的聚合图像角描述符265，出于说明的目的，该聚合图像角描述符对于不同类型的墙壁元件使用相同的视觉识别符，不过可以以其它格式编码和存储该信息(例如，使用文本标签、与对应的墙壁元件类型相关联的数字识别符，等)—另外，这种图像角描述符265可以包括图像的一些或全部角度的信息(例如，在此示例中，向量具有181个值，这些值对应于角度0°到180°中的每一个的单独值)。
在图2D中示出了附加的图像角描述符270，其与描述符265类似但对应于如下的情形：被分析的全景图像改为具有始于采集位置265的360°覆盖范围，其中描述符270的前半部分(即，角度信息的前180°)与描述符265相同，并且其中描述符270进一步包括对应于客厅的其余部分的附加180°角度信息。因此，描述符270包括关于门261和墙壁开口263以及南墙壁上的窗户和客厅东南角及西南角的墙壁间边界的所确定的角度位置的进一步信息—此外，由于全部的西窗户现在在水平360°覆盖范围中都是可见的，因此西窗户的附加部分现在在描述符270中用从大约350°到360°的对应的位置信息来表示。
如先前所述，在各种实施方式中，可以以各种方式编码和存储关于角描述符中的所识别元件的所确定的位置的信息，包括以对于每个方向角度具有一个或多个值的向量的形式，诸如识别在给定角度方向上存在的每个墙壁元件—在其它实施方式中，可以在图像角描述符中表示除单个水平度以外的其它角度信息，诸如小于单个度或改为多个度，和/或表示垂直度(无论是代替还是补充水平度)。虽然在这些示例中未示出，但将了解，在一些情形中，多个墙壁元件可以在相同角度方向上从特定的房间位置可见—如果是这样，则在各种实施方式中，可以以各种方式表示针对该单个角度方向的在对应角描述符中的角度位置信息，诸如包括每种类型的可见墙壁元件的指示或改为指示可见墙壁元件的唯一或某个子集。还将了解，许多类型的墙壁元件(诸如，门和窗户)将延伸跨越水平覆盖范围的多个度，诸如使向北方向上的窗户可见并针对若干角度在得到的图像角描述符中被识别。虽然在以上示例中全景图像是以向西为起始方向捕获的，但将了解，在其它情形中，可以以其它方式捕获全景图像—例如，其它全景图像可以具有不同的起始方向，或者如果全景图像改为使其整个水平覆盖范围被同时捕获(例如，经由一个或多个鱼眼镜头)，则可以选择特定方向以将其视为该全景图像的相对0°(例如，任意选择；通过使用预定义方向，诸如向北；等)。
在各种实施方式中，可以以各种方式进一步确定全景图像(或其它类型的图像，诸如透视图像)中的墙壁元件的角度位置信息。例如，在至少一些实施方式中，ILMM系统可以执行自动化操作来分析图像的视觉内容以识别一种或多种定义类型的墙壁元件，在一些实施方式中包括使用机器学习技术在图像的视觉内容信息中识别特定类型的墙壁元件。类似地，这种自动化分析技术可以用于确定由图像的视觉内容信息所覆盖的角度信息范围(例如，全景图像255d中的180°范围，或与图像角描述符270相关联的全景图像中的360°范围)，或者改为在其它实施方式中可以以其它方式确定这种信息(例如，至少部分地基于与图像捕获相关联的元数据)。一旦为全景图像确定了角度信息范围，就可以进一步使用自动化操作来确定与图像中的对应于特定墙壁元件中的一些或全部的特定位置相关联的特定角度。在其它实施方式中，可以以其它方式确定墙壁元件的一些或全部这种位置信息和/或图像的角度范围信息，诸如如果在ILMM系统进行初始自动化位置确定之后由ILMM系统的人类操作员用户确认(例如，经由ILMM系统GUI，未示出)或者改为完全由这种用户指定。
图2E继续图2A至图2D的示例，并且出于参考目的包括来自图2D的图像角描述符270的副本。另外，图2E进一步示出了与为客厅中的多种房间位置生成建筑物角描述符有关的多种附加信息—而附加的建筑物角描述符可以类似地生成并用于房屋的其它房间中的一些或全部(并且在一些情况下用于包围房屋或以其它方式在房屋附近的外部区域)，为了简洁起见，在此示例中未对其进行示出。示出了客厅的楼层平面图的摘录260e(以与图2D的摘录260d的方式类似的方式)，其中客厅楼层平面图摘录260e包括客厅内各种房间位置的网格268(例如，延伸遍及房屋的较大建筑物位置网格的一部分，未示出)，并且进一步示出了信息265以指示对应于图像角描述符270的360°全景图像采集位置—将了解，可以以多种方式确定这种网格内的位置(例如，基于所定义的行数和/或列数、基于定义的房间位置总数、基于相邻房间位置之间的定义的水平和/或竖直距离，等)，并且在其它实施方式中，一组房间位置可以具有不同于网格的形式(在一些情况下包括随机地或在其它方面以不规则方式选择的)。在至少一些实施方式中，将为房间位置中的每一个生成建筑物角描述符，诸如供稍后用于将那些建筑物角描述符与用于图像的图像角描述符进行比较以便确定建筑物角描述符中的哪一个与该图像角描述符最佳匹配。
在此示例中，在图2E中示出了三个说明性建筑物角描述符278，它们对应于网格268中的三个示例房间位置—例如，网格位置268c5位于位置265附近，并且具有所示出的对应的建筑物角描述符278c5。所示的其它示例房间描述符包括对应于网格位置268j5的建筑物角描述符278j5(即，在与268c5相同的列中，但在不同的行中)、以及对应于网格位置268a2的建筑物角描述符278a2。在此示例中，建筑物角描述符中的每一个使用向北方向以对应于0°，以360°的顺时针方式继续—然而，为了说明目的，建筑物角描述符278在图2E中被示为从-90°(或270°)角度方向(对应于向西方向)开始，以促进读者视觉比较建筑物角描述符与图像角描述符270的相似性和不相似性。如在视觉上明显的，正如将预期的那样，房间描述符278c5(来自接近位置265的房间位置的房间位置268c5)比所显示的其它示例建筑物角描述符更类似于图像角描述符270，因为房间位置的微小变化将通常导致关于墙壁元件位置的角度信息的微小差异。
在各种实施方式中，可以以多种方式生成用于给定的房间位置的建筑物角描述符，包括通过使用与对应的所生成的楼层平面图一起提供的关于相关墙壁元件在楼层平面图的墙壁上的位置的信息。给定这种信息，可以使用几何技术来确定从给定的房间位置和起始方向到墙壁上的给定位置的角度量，该给定位置诸如为对应于门、窗户或墙壁开口的水平起点或终点的位置、或者墙壁间边界的位置。出于说明的目的，客厅摘录260e中的北窗户被标记为269a，并且南窗户被标记为269b，其中以相同方式标记图像角描述符270和建筑物角描述符278中的对应的窗户元件以促进由读者进行视觉比较。在其它实施方式中，可以以其它方式确定相关墙壁元件在楼层平面图的墙壁上的位置(例如，如果不与所生成的楼层平面图一起提供)，诸如基于来自ILMM系统的一个或多个人类操作员用户、来自建筑物的工程图纸或其它示意图等的输入。
图2F继续图2A至图2E的示例，并且出于参考目的包括来自图2D和图2E的图像角描述符270的副本。另外，图2F以与图2E的摘录260e的方式类似的方式进一步示出了客厅的楼层平面图的摘录260f，包括示出来自图2E的房间位置网格，但图2F中的网格288具有关于用于每个房间位置的关联的建筑物角描述符与图像角描述符270的匹配度的附加信息(例如，类似于热图)。在此示例中，相似性/不相似性信息288指示网格房间位置268c5与图像角描述符270具有最高匹配度(例如，最高相似度、最低不相似度、最低距离等)，而d列第3行和第4行以及e列第4行处的房间位置具有次最高的匹配度，并且随着它们到房间位置268c5的距离增加，各种其它房间位置通常在其匹配度方面降低。在至少一些实施方式中，图像角描述符与房间的建筑物角描述符的比较可以包括：在所选的房间位置(例如，随机地选择的、在房间中心处或附近选择的，等)处开始，诸如此示例中的房间位置268g4；以及使用最近邻搜索在具有较高匹配度的相邻房间位置的方向上重复移动，直到识别出最佳匹配为止，如在房间位置268c5的摘录260f中所示出。在确定了具有最佳匹配的房间位置之后，房间中的对应位置可以被指派为360°全景图像的所确定的采集位置289，诸如在此示出的示例中该最佳匹配建筑物角描述符的那个房间位置，或者在一些实施方式中，在距那个房间位置一小段距离内(例如，基于图像角描述符和最佳匹配建筑物角描述符之间的差异的量和/或类型所计算的距离)。一旦确定了360°全景图像的采集位置289，其就可以与楼层平面图一起存储和/或在其它方面以一种或多种方式使用，如在本文的其它地方更详细地讨论的。
虽然在图2D至图2F的示例中未示出，但在一些实施方式和情形中，可以针对可能已在一个或多个建筑物中的多个候选房间中的任一个中捕获的图像来执行采集位置确定—在各种实施方式中，可以以各种方式执行这种采集位置确定活动，诸如考虑每个可能的房间并跨越所有这些房间找到最佳匹配的房间位置，以在执行匹配之前使该组可能的候选房间变窄(例如，通过尝试识别图像中可见但仅存在于可能的候选房间中的一个或子集中的一个或多个元件，等)。在这种实施方式中，建筑物的角描述符的网格可以延伸遍及建筑物的一些或全部房间，并且图像的角描述符与建筑物房间的角描述符的最佳匹配的对应搜索可以延伸跨越多个房间的角描述符(例如，可以包括考虑为建筑物生成的所有角描述符)。
关于从房间中的多个可能房间位置中找到对于图像角描述符270而言的最佳匹配建筑物角描述符，在各种实施方式中，可以以各种方式将用于网格中的房间位置的建筑物角描述符中的一些或全部与图像角描述符270进行比较以确定匹配度。例如，在一些实施方式中，圆形推土机的距离度量可以用于以与旋转无关的方式比较两个这种描述符，使得这两个描述符可以具有指向不同方向的相对0°起始方向。在其它实施方式中，可以使用距离或相似性/不相似性的其它量度，诸如通过为每个角度测量距离并跨越所有角度聚合该信息。
另外，为了在距离或相似性/不相似性度量不是与旋转无关的情形中促进两个这种角描述符的比较，在一些实施方式中，可以执行附加的自动化操作以确保一个角描述符中的在给定的相对角度方向上编码的信息正在与另一角描述符中的指向相同的实际真实世界方向的相对角度方向进行比较。例如，在一些实施方式中，可能使用一种方法，该方法将一个角描述符中的每个角度方向与另一角描述符中的特定角度方向(例如，起始方向)进行比较，因此确保所述比较中的一者使用相同的方向。替代地，在其它实施方式中，可以执行自动化操作以同步要比较的两个角描述符，诸如通过识别一个角描述符中的哪些相对角度方向对应于另一角描述符中的哪些相对角度方向(例如，针对一个角描述符的相对0°起始角度方向来识别另一角描述符中的对应的角度方向是什么)。关于图2E的示例，这种确定可以识别图像角描述符270的0°起始方向(对应于向西方向)与每个建筑物角描述符278中的270°方向(或-90°方向)相同。替代地，在一些实施方式中，可以识别环境中的一个特性的有限数量的实例，其中将一个角描述符的每个这种实例的角度方向与另一角描述符中的对应实例进行比较—这种特性的示例可以是正交于或垂直于墙壁平面的方向(例如，通过使用图像中的线进行消失点分析来识别)，诸如在典型的矩形房间中针对360°全景图像具有4个这种实例(即，每面墙壁一个，它们彼此相距大约90°)。作为另一个替代方案，环境中的这种特性可以是仅具有一个或有限数量的实例的墙壁元件类型，并且可以将每个这种实例的一个角描述符中的角度方向与另一角描述符中的相同墙壁元件类型的实例的角度方向进行比较—这种特性的示例可以包括门(例如，门起点或终点边缘)、墙壁间边界(例如，通常在矩形房间中具有4个这种实例)等。在其它实施方式中，可以使用其它距离度量和/或相似性/不相似性度量，并且可以使用其它技术来同步被比较的2个或更多个角描述符中的对应信息。
图2G继续图2A至图2F的示例，并且示出了房屋198的2D楼层平面图的一个示例255g，诸如可以在GUI中呈现给最终用户，其中客厅是房屋的最向西房间(如由方向指示符209所反映的)—将了解，在一些实施方式中，可以类似地生成和显示示出墙壁高度信息的3D或2.5D楼层平面图，无论是补充还是代替这种2D楼层平面图。在此示例中，信息289被添加到楼层平面图255g以表示关于图2D至图2F讨论的360°全景图像的所确定的采集位置的位置，包括示出全景图像的定向/方向信息(例如，以示出全景覆盖360°，并且具有在向西方向上的起始/结束方向)。在其它实施方式和情形中，可以以其它方式显示图像的位置信息，诸如用于客厅西南侧的示例透视图像，该透视图像包括透视图像中覆盖的方向的视觉指示符，和/或针对客厅东北角的附加全景图像，该附加全景图像示出房间中的采集位置，而不示出该全景图像的定向/方向信息。当作为GUI的一部分显示时，在所显示的楼层平面图上的360°全景图像的附加信息289可以是用户可选控件(或与这种控件相关联)，其允许最终用户选择并显示关联的360°全景图像中的一些或全部(例如，以与图2A至图2D的方式类似的方式)。
在此示例中，在2D楼层平面图255g上还示出了各种其它类型的信息。例如，这种其它类型的信息可以包括以下各者中的一者或多者：被添加到一些或全部房间的房间标签(例如，用于客厅的“living room(客厅)”)；为一些或全部房间添加的房间尺寸；为一些或全部房间添加的灯具或电器或其它内置特征的视觉指示；为一些或全部房间添加的附加类型的关联和链接信息的位置的视觉指示(例如，属于最终用户可以选择以进行进一步显示的其它全景图像和/或透视图像、属于最终用户可以选择以进行进一步呈现的音频注释和/或录音，等)；为一些或全部房间添加的门和窗户的视觉指示；等。另外，在此示例中，添加了用户可选控件228，以指示针对楼层平面图所显示的当前楼层并允许最终用户选择不同的楼层来进行显示—在一些实施方式中，也可以直接根据楼层平面图做出楼层或其它层的变化，诸如经由在所示出的楼层平面图中选择对应的连接通道(例如，通向楼层2的楼梯)。将了解，在一些实施方式中可以添加各种其它类型的信息，在一些实施方式中可以不提供所示出类型的信息中的一些，并且在其它实施方式中可以以其它方式显示并选择链接和关联信息的视觉指示及对其的用户选择。
与提供MIGM系统的至少一些这种功能的系统或用于生成楼层平面图及关联信息和/或呈现楼层平面图及关联信息的相关系统的实施方式有关的附加细节被包括在以下各者中：2018年11月14日提交的标题为“根据相互连接的图像的自动化测绘信息生成(Automated Mapping Information Generation From Inter-Connected Images)”的共同待决美国非临时专利申请号16/190,162(代理人案号990074.403)(其包括总体涉及用于使用在建筑物中和周围采集的图像来生成和显示建筑物的楼层地图或其它楼层平面图的自动化操作的示例楼层地图生成管理器(或FMGM)系统的公开内容)；2019年11月12日提交的标题为“使用三维建筑物模型呈现整合的建筑物信息(Presenting Integrated BuildingInformation Using Three-Dimensional Building Models)“的美国非临时专利申请号16/681,787(代理人案号990074.407)(其包括总体涉及用于显示建筑物的楼层地图或其它楼层平面图及关联信息的自动化操作的示例FMGM系统的公开内容)；2020年4月6日提交的标题为“为三维建筑物模型提供模拟照明信息(Providing Simulated LightingInformation For Three-Dimensional Building Models)“的美国非临时专利申请号16/841,581(代理人案号990074.408)(其包括总体涉及用于显示建筑物的楼层地图或其它楼层平面图及关联信息的自动化操作的示例FMGM系统的公开内容)；2019年10月28日提交的标题为“根据对建筑物内部的视频的自动化分析生成建筑物的楼层地图(GeneratingFloor Maps For Buildings From Automated Analysis Of Video Of The Buildings'Interiors)“的美国临时专利申请号62/927,032(代理人案号990074.409P1)(其包括总体涉及用于使用在建筑物中和周围采集的视频数据来生成建筑物的楼层地图或其它楼层平面图的自动化操作的示例视频到楼层地图(或VTFM)系统的公开内容)；以及2020年3月2日提交的标题为“用于生成建筑物的测绘信息的自动化工具(Automated Tools ForGenerating Mapping Information For Buildings)”的美国非临时专利申请号16/807,135(代理人案号990074.406)(其包括总体涉及用于使用在建筑物中和周围采集的图像来生成建筑物的楼层地图或其它楼层平面图的自动化操作的示例MIGM系统的公开内容)；上述专利申请中的每一者通过引用以其全文并入本文。
已关于图2A至图2G提供了各种细节，但将了解，所提供的细节是出于说明性目的而包括的非排他性示例，并且可以在没有一些或全部这种细节的情况下以其它方式执行其它实施方式。
图3是示出执行ILMM系统380的实施方式的一个或多个服务器计算系统380、以及执行ICA系统340和MIGM系统345的实施方式的一个或多个服务器计算系统300的实施方式的框图—所述服务器计算系统和ILMM系统可以使用多个硬件部件来实施，所述多个硬件部件形成适合于且被配置为在联合操作时执行本文描述的技术中的至少一些的电子电路。在所示出的实施方式中，每个服务器计算系统300包括一个或多个硬件中央处理单元(“CPU”)或其它硬件处理器305、各种输入/输出(“I/O”)部件310、存储设备320以及存储器330，其中所示出的I/O部件包括显示器311、网络连接件312、计算机可读介质驱动器313以及其它I/O装置315(例如，键盘、鼠标或其它指示装置、麦克风、扬声器、GPS接收器等)。每个服务器计算系统380可以包括与服务器计算系统340的硬件部件类似的硬件部件，包括一个或多个硬件CPU处理器382、各种I/O部件382、存储设备385以及存储器387，但为了简洁起见，在服务器380中省略了服务器340的一些细节。
服务器计算系统380和执行的ILMM系统340可以经由一个或多个网络399(例如，互联网、一个或多个蜂窝电话网络等)与其它计算系统和装置进行通信，所述其它计算系统和装置诸如为以下各者：用户客户端计算装置390(例如，用于查看楼层平面图、关联图像和/或其它相关信息)；ICA和MIGM服务器计算系统300；一个或多个图像采集移动装置360；可选地其它可导航装置395，其接收并使用楼层平面图以及所确定的图像采集位置和可选地其它所生成的信息以用于导航目的(例如，以供半自主或全自主车辆或其它装置使用)；以及可选地未示出的其它计算系统(例如，用于存储和提供与建筑物有关的附加信息；用于捕获建筑物内部数据；用于存储和向客户端计算装置提供信息，诸如与图像及其涵盖的建筑物或其它周围环境相关联的附加补充信息；等)。
在所示出的实施方式中，ILMM系统389的实施方式在存储器387中进行执行以便执行所描述的技术中的至少一些，诸如以将处理器381和计算系统380配置为执行自动化操作的方式使用处理器381来执行系统389的软件指令，所述自动化操作实施那些所描述的技术。ILMM系统的所示出的实施方式可以包括一个或多个部件(未示出)以各自执行ILMM系统的功能的部分，并且存储器可以进一步可选地执行一个或多个其它程序391—作为一个具体示例，在至少一些实施方式中，ICA和/或MIGM系统的副本可以作为其它程序391中的一个执行，诸如代替或补充服务器计算系统300上的ICA系统340和MIGM系统345。ILMM系统389可以进一步在其操作期间在存储设备385上(例如，在一个或多个数据库或其它数据结构中)存储和/或检索各种类型的数据，诸如：各种类型的楼层平面图信息和其它建筑物测绘信息386(例如，生成和保存的2D楼层平面图以及墙壁元件和其它元件在那些楼层平面图上的位置、生成和保存的2.5D和/或3D模型、供与关联的楼层平面图一起使用的建筑物和房间尺寸、附加图像和/或注释信息等)；关于附加图像(其采集位置将被确定)的信息393和关于这种所确定的采集位置的关联信息392；关于所生成的建筑物角描述符和图像角描述符的信息387；以及可选地各种其它类型的信息(例如，链接的全景信息)。ICA系统340和/或MIGM系统345可以类似地在其操作期间在存储设备320上(例如，在一个或多个数据库或其它数据结构中)存储和/或检索各种类型的数据，并且向ILMM系统389提供一些或全部这种信息以实现其使用(无论以推和/或拉方式)，诸如各种类型的楼层平面图信息和其它建筑物测绘信息326(例如，与信息386类似或相同)、各种类型的用户信息322、所采集的360°全景图像信息324(例如，用于分析以生成楼层平面图；提供给客户端计算装置390的用户以进行显示；等)、和/或各种类型的可选附加信息328(例如，由ICA系统捕获的与一个或多个建筑物内部或其它环境的呈现或其它用途有关的各种分析信息)。
用户客户端计算装置390(例如，移动装置)、图像采集移动装置360、其它可导航装置395和其它计算系统中的一些或全部可以类似地包括针对服务器计算系统300和380所示出的相同类型部件中的一些或全部作为一个非限制性示例，图像采集移动装置360各自被示为包括一个或多个硬件CPU 361、I/O部件362、存储设备365、成像系统364、IMU硬件传感器369以及存储器367，其中浏览器368和一个或多个客户端应用程序369(例如，特定于ILMM系统和/或ICA系统的应用程序)中的一者或两者在存储器367内执行，诸如参与与ILMM系统389、ICA系统340和/或其它计算系统的通信。尽管针对可导航装置395或客户端计算系统390未示出特定部件，但是将了解，它们可以包括类似和/或附加的部件。
还将了解，计算系统300和380以及图3内所包括的其它系统和装置仅仅是说明性的，并且不旨在限制本发明的范围。系统和/或装置可以改为各自包括多个交互的计算系统或装置，并且可以连接到未具体示出的其它装置，包括经由蓝牙通信或其它直接通信、通过一个或多个网络(诸如，互联网)、经由Web或者经由一个或多个专用网络(例如，移动通信网络等)进行连接。更一般地，装置或其它计算系统可以包括可选地在被编程或以其它方式配置有特定软件指令和/或数据结构时可以交互并执行所描述类型的功能的硬件的任何组合，所述硬件包括但不限于台式计算机或其它计算机(例如，平板计算机、平板电脑等)、数据库服务器、网络存储装置和其它网络装置、智能手机和其它蜂窝电话、消费者电子设备、可穿戴装置、数字音乐播放器装置、手持式游戏装置、PDA、无线电话、互联网电器、以及包括适当通信能力的各种其它消费者产品。另外，在一些实施方式中，由所示出的ILMM系统389提供的功能可以分布在各种部件中，可以不提供ILMM系统389的所描述的功能中的一些，和/或可以提供其它附加功能。
还将了解，尽管各种条目被示出为在使用时存储在存储器中或在存储设备上，但是出于存储器管理和数据完整性的目的，这些条目或其部分可以在存储器和其它存储装置之间转移。替代地，在其它实施方式中，软件部件和/或系统中的一些或全部可以在另一个装置上的存储器中执行并且经由计算机间通信与所示出的计算系统通信。因此，在一些实施方式中，当被一个或多个软件程序(例如，被在服务器计算系统380上执行的ILMM系统389)和/或数据结构配置时，所描述的技术中的一些或全部可以由包括一个或多个处理器和/或存储器和/或存储设备的硬件器件执行，诸如通过执行所述一个或多个软件程序的软件指令和/或通过存储这种软件指令和/或数据结构，并且诸如执行如在流程图和本文的其它公开内容中所描述的算法。此外，在一些实施方式中，可以以其它方式实施或提供系统和/或部件中的一些或全部，诸如通过由部分地或完全地在固件和/或硬件中实施(例如，而不是作为由配置特定CPU或其它处理器的软件指令全部或部分地实施的器件)的一个或多个器件组成，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等。部件、系统和数据结构中的一些或全部还可以存储(例如，作为软件指令或结构化数据)在非暂时性计算机可读存储介质上以便由适当的驱动器或经由适当的连接来读取，计算机可读存储介质诸如为硬盘或闪存驱动器或者其它非易失性存储装置、易失性或非易失性存储器(例如，RAM或闪存RAM)、网络存储装置或者便携式媒体制品(例如，DVD盘、CD盘、光盘、快闪存储器装置等)。在一些实施方式中，系统、部件和数据结构还可以经由所生成的数据信号(例如，作为载波或者其它模拟或数字传播信号的一部分)在多种计算机可读传输介质上传输，所述传输介质包括基于无线和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路模拟信号的一部分，或作为多个离散数字包或帧)。在其它实施方式中，这种计算机程序产品还可以采取其它形式。因此，可以利用其它计算机系统配置来实践本公开的实施方式。
图4示出了ICA系统例程400的实施方式的示例流程图。该例程可以由例如图1A的ICA系统160、图3的ICA系统340和/或如本文以其它方式描述的ICA系统执行，诸如在建筑物或其它结构内的采集位置处采集360°全景图像和/或其它图像，诸如用于后续生成相关楼层平面图和/或其它测绘信息。尽管关于在特定采集位置处采集特定类型的图像讨论了示例例程400的部分，但是将了解，这个或类似的例程可以用于采集视频或其它数据(例如，音频)，无论是代替还是补充这种图像。另外，尽管所示出的实施方式采集并使用来自目标建筑物的内部的信息，但是将了解，其它实施方式可以针对其它类型的数据(包括针对非建筑物结构和/或针对一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术。此外，例程中的一些或全部可以在用户所使用的移动装置上执行以采集图像信息，和/或由远离这种移动装置的系统执行。
例程的所示出的实施方式在框405处开始，在该框处，接收指令或信息。在框410处，例程确定接收到的指令或信息是否指示采集表示建筑物内部的数据，并且如果不是的话，则继续到框490。否则，例程前进到框412以接收指示(例如，来自图像采集移动装置的用户)以便在第一采集位置处开始图像采集过程。在框412之后，例程前进到框415以便执行采集位置图像采集活动，从而以便针对在感兴趣的目标建筑物的内部中的采集位置来采集360°全景图像，诸如提供围绕竖直轴线至少360°的水平覆盖范围。例程还可以可选地从用户获得关于采集位置和/或周围环境的注释和/或其它信息，诸如供稍后用于呈现关于该采集位置和/或周围环境的信息。
在完成框415之后，例程继续到框420以诸如基于由移动装置的用户提供的对应信息来确定是否存在要在其处采集图像的更多采集位置。如果是这样，则例程继续到框422以可选地发起在移动装置沿着远离当前采集位置而朝向建筑物内部中的下一个采集位置的行进路径移动期间捕获链接信息(诸如加速度数据)。如在本文的其它地方所描述的，所捕获的链接信息可以包括在这种移动期间记录的附加传感器数据(例如，来自移动装置上或以其他方式由用户携带的一个或多个IMU或惯性测量单元)和/或附加视频信息。可以响应于来自移动装置的用户的明确指示或者基于从移动装置记录的信息的一个或多个自动化分析来执行发起对这种链接信息的捕获。另外，在一些实施方式中，例程可以进一步可选地在移动到下一个采集位置期间监测移动装置的运动，并且向用户提供关于以下各者的一个或多个引导暗示：移动装置的运动、正被捕获的传感器数据和/或视频信息的质量、关联的照明/环境条件、捕获下一个采集位置的可取性、以及捕获链接信息的任何其它合适方面。类似地，例程可以可选地从用户获得关于行进路径的注释和/或其它信息，诸如供稍后用于呈现关于该行进路径或得到的全景间连接链路的信息。在框424中，例程确定移动装置已到达下一个采集位置(例如，基于来自用户的指示、基于用户的向前移动在至少预定义的时间量内停止等)以用作新的当前采集位置，并且返回到框415以便针对该新的当前采集位置执行采集位置图像采集活动。
如果改为在框420中确定不再存在要在其处采集当前建筑物或其它结构的图像信息的采集位置，则例程前进到框425，以可选地分析建筑物或其它结构的采集位置信息，诸如识别要在建筑物内部内采集的可能的附加覆盖范围(和/或其它信息)。例如，ICA系统可以向用户提供关于在捕获多个采集位置和可选地对应的链接信息期间所采集的信息的一个或多个通知，诸如如果确定所记录的信息的一个或多个片段的质量不足或不合乎期望或者似乎没有提供完整的建筑物覆盖范围。在框425之后，例程继续到框435，以可选地在所采集的360°全景图像后续用于生成相关测绘信息之前对其进行预处理。在框477中，存储这些图像和任何关联的所生成或获得的信息以供稍后使用。图5A至图5B示出了用于从这种所生成的全景信息生成建筑物内部的楼层平面图表示的例程的一个示例。
如果改为在框410中确定在框405中叙述的指令或其它信息不是采集表示建筑物内部的图像和其它数据，则例程改为继续到框490，以视情况执行任何其它所指示的操作(诸如，任何家政任务)、将参数配置为在系统的各种操作中使用(例如，至少部分地基于由系统的用户指定的信息，用户诸如为捕获一个或多个建筑物内部的移动装置用户、ICA系统的操作员用户等)、获得和存储关于系统用户的其它信息、响应于针对所生成和存储的信息的请求等。
在框477或490之后，例程前进到框495以确定是否继续，诸如直到接收到明确的终止指示为止，或者改为只有在接收到明确的继续指示的情况下。如果确定继续，则例程返回到框405以等待附加的指令或信息，并且如果不是的话，则前进到步骤499并结束。
图5A至图5B示出了用于测绘信息生成管理器(MIGM)系统例程500的流程图的示例实施方式。该例程可以通过例如执行图1A的MIGM系统160、图3的MIGM系统345和/或如在本文的其它地方所描述的MIGM系统来执行，诸如至少部分地基于限定区域的图像来生成楼层平面图和可选地该区域的其它测绘信息(例如，3D计算机模型)。在图5A至图5B的示例中，所生成的测绘信息包括建筑物(诸如，房屋)的2D楼层平面图和3D计算机模型，但在其它实施方式中，可以针对其它类型的建筑物来确定和生成并以其它方式使用其它类型的测绘信息，如在本文的其它地方所讨论的。
例程的所示出的实施方式在框505处开始，在该框处，接收信息或指令。例程继续到框510以确定在框505中接收到的指令是否指示生成所指示的建筑物的测绘信息，并且如果是的话，则例程继续执行框515至588以这样做，否则继续到框590。
在框515中，例程确定图像信息是否已经可用于建筑物，或者改为是否需要采集这种信息。如果在框515中确定需要采集该信息，则例程继续到框520以采集这种信息，可选地等待一个或多个用户或装置移动遍及建筑物并在建筑物的多个房间中的多个采集位置处采集全景或其它图像，以及可选地进一步分析图像和/或关于其采集的元数据信息以互连图像，如在本文的其它地方所讨论的—图4提供了用于执行这种图像的ICA系统例程的一个示例实施方式。如果改为在框515确定没必要采集图像，则例程改为继续到框530以从建筑物的多个房间中的多个采集位置处获得现有的全景或其它图像，可选地连同图像的互连信息以及与采集位置之间的移动有关的元数据信息的采集，诸如在一些情形中可以已连同对应的指令在框505中被供应。
在框520或530之后，例程继续到框535以可选地获得关于建筑物的附加信息，诸如来自在采集和可选地分析图像期间所执行的活动、和/或来自一个或多个外部来源(例如，在线数据库、由一个或多个最终用户提供的信息等)—这种附加信息可以包括例如建筑物的外部尺寸和/或形状、对应于建筑物内的特定位置(可选地针对不同于所采集的全景或其它图像的采集位置的位置)所采集的附加图像和/或注释信息等。
在框535之后，例程继续到框550，以针对具有一个或多个采集位置和关联的所采集图像的建筑物内部的每个房间来针对在该房间内部拍摄的图像中的数据确定房间的房间形状、以及可选地其采集位置在房间内的位置，诸如以自动化方式。在框555中，例程进一步使用图像中的视觉数据和/或用于这些图像的采集元数据以针对建筑物中的每个房间确定进入或离开房间的任何连接通道(例如，以自动化方式)。在框560中，例程进一步使用图像中的视觉数据和/或用于这些图像的采集元数据以针对建筑物中的每个房间确定房间中的任何墙壁元件及其位置(例如，以自动化方式)，诸如针对墙壁、墙壁间边界等。将了解，尽管在此示例中框550至560被示出为单独的操作，但在一些实施方式中，可以执行对图像的单个分析以采集或确定多种类型的信息，诸如关于框550至560所讨论的那些类型的信息。
在框565中，例程然后确定房间形状的估计位置以创建初始2D楼层平面图，诸如通过连接它们各自房间中的房间间通道，通过可选地围绕所确定的采集位置来定位房间形状(例如，如果采集位置是互连的)，以及通过可选地应用一个或多个约束或优化。这种楼层平面图可以包括例如各种房间的相对位置和形状信息，而没有提供单独房间或作为整体的建筑物的任何实际尺寸信息，并且可以进一步包括建筑物的多个链接或关联的子地图(例如，以反映不同的楼层、水平、区段等)。例程进一步关联门、墙壁开口和其他所识别的墙壁元件在楼层平面图上的位置。
在框565之后，例程可选地执行一个或多个步骤575至580，以确定附加信息并将其与楼层平面图相关联。在框575中，例程可选地估计房间中的一些或全部的尺寸，诸如根据对图像和/或其采集元数据的分析或者根据针对建筑物的外部获得的整体尺寸信息，并且将所估计的尺寸与楼层平面图相关联—将了解，如果可获得足够详细的尺寸信息，则可以从楼层平面图生成建筑绘图、工程图纸等。在框575之后，例程继续到框580以可选地将进一步信息与楼层平面图(例如，具有在建筑物内的特定房间或其他位置)相关联，所述进一步信息诸如为附加图像和/或注释信息。在框585中，例程进一步估计一些或全部房间中的墙壁的高度，诸如根据对图像的分析和可选地图像中的已知物体的大小、以及关于在采集图像时的相机的高度信息，并且进一步使用这种信息来生成建筑物的3D计算机模型，其中3D模型和楼层平面图彼此关联。
在框585之后，例程继续到框588，以存储所生成的测绘信息和可选地其他所生成的信息、以及可选地进一步使用所生成的测绘信息，诸如提供所生成的2D楼层平面图和/或3D计算机模型以供在一个或多个客户端装置上显示、将该所生成的信息提供到一个或多个其它装置以用于使那些装置和/或关联的车辆或其它实体的导航自动化等。
如果改为在框510中确定在框505中接收到的信息或指令不是生成所指示的建筑物的测绘信息，则例程改为继续到框590以视情况执行一个或多个其它所指示的操作。这种其它操作可以包括例如接收针对先前生成的计算机模型和/或楼层平面图和/或其它所生成的信息的请求并对其作出响应(例如，针对这种信息由ILMM系统使用的请求、针对这种信息在一个或多个客户端装置上显示的请求、针对这种信息提供到一个或多个其它装置以用于自动化导航的请求等)、获得和存储关于建筑物的信息以供在稍后操作中使用(例如，关于房间的尺寸、数量或类型、总建筑面积、相邻或附近的其它建筑物、相邻或附近的植被、外部图像等的信息)等。
在框588或590之后，例程继续到框595以确定是否继续，诸如直到接收到明确的终止指示为止，或者改为只有在接收到明确的继续指示的情况下。如果确定继续，则例程返回到框505以等待和接收附加的指令或信息，否则，继续到框599并结束。
图6示出了用于图像位置测绘管理器(ILMM)系统例程600的流程图的示例实施方式。该例程可以通过例如执行图1A的ILMM系统140、图3的ILMM系统389和/或如关于图2D至2G并且在本文的其它地方所描述的ILMM系统来执行，诸如执行与至少部分地基于对图像内容的分析来确定图像的采集位置并且随后以一种或多种自动化方式使用所确定的采集位置信息有关的自动化操作。在图6的示例中，采集位置是相对于建筑物(诸如，房屋)的楼层平面图确定的，但在其它实施方式中，可以将其它类型的测绘信息可以用于其它类型的结构或用于非结构位置，并且可以以不同于关于例程600所讨论的方式的其它方式使用所确定的采集位置信息，如在文的其它地方所讨论的。
例程的所示出的实施方式在框605处开始，在该框处，接收信息或指令。例程继续到框610以确定在框605中接收到的指令是否指示确定所指示的房间和/或建筑物的附加图像的采集位置，并且如果是的话，则例程继续执行框615至688以这样做，否则继续到框690。
在框615中，例程获得关于在框605中指示的房间和/或建筑物的信息，诸如通过在框605中接收该信息或通过以其它方式检索所存储的信息—所获得的信息可以包括建筑物的楼层平面图(或所指示的房间的楼层平面图摘录)连同关于房间中墙壁元件的位置的信息，所述墙壁元件诸如为门、房间间墙壁开口、窗户、房间间边界等。在框620中，例程然后为所指示的建筑物或房间(例如，为每个所指示的房间或所指示的建筑物中的每个房间)获得或生成建筑物描述信息，该建筑物描述信息包括用于建筑物/房间中的多个房间位置中的每一个的建筑物角描述符(例如，在指定的网格中的房间位置处)，该建筑物角描述符识别在从与建筑物角描述符相关联的房间位置的角度方向上(例如，在角度方向的360水平度中的每一个处)存在哪些墙壁元件(如果有的话)。
在框625中，例程然后获得关于附加图像(其采集位置将被确定)的信息，诸如通过在框605中接收该图像或通过以其它方式检索图像的所存储的副本，且然后前进以获得或生成关于图像中可见的墙壁元件的位置的信息，诸如通过分析图像的视觉信息内容。例程然后前进到框630以获得或生成图像的图像描述信息，该图像描述信息包括图像角描述符，该图像角描述符识别在对应于那些视觉内容的角度方向上(例如，如果图像是360°全景图像的话，则在角度方向的360水平度中的每一个处，诸如相对于被确定为图像的起始方向的角度方向)在图像的视觉内容中存在哪些墙壁元件(如果有的话)。
在框640中，例程然后将图像角描述符与建筑物角描述符(例如，用于所有房间、用于图像可以对应的一个或多个房间等)中的一些或全部进行比较以确定最佳匹配建筑物角描述符，诸如与图像角描述符具有最小不相似性距离的建筑物角描述符。在框685中，例程然后基于与最佳匹配建筑物角描述符相关联的房间位置来识别要用作图像的所确定的采集位置的房间位置，诸如将该关联的房间位置用作所确定的采集位置。在一些实施方式和情形中，例程可以进一步根据对应于图像的一个或多个部分(例如，图像的起始方向和/或图像的结束方向)的该所确定的采集位置来确定定向和/或方向信息)。
在框685之后，例程继续到框688以存储在框615至685中确定和生成的信息，以及可选地将其封闭房间中的图像的所确定的图像采集位置信息显示在楼层地图上(或楼层地图摘录)上，不过在其它实施方式中，可以以其它方式使用所确定的信息(例如，用于一个或多个装置的自动化导航)。
如果改为在框610中确定在框605中接收到的信息或指令不是确定附加图像的采集位置，则例程改为继续到框690以视情况执行一个或多个其它所指示的操作。这种其它操作可以包括例如接收针对先前确定的图像采集位置信息和/或针对关联的附加图像的请求(例如，针对这种信息在一个或多个客户端装置上显示的请求、针对这种信息提供到一个或多个其它装置以用于自动化导航的请求等)、获得和存储关于建筑物的信息以供在稍后操作中使用(例如，关于楼层平面图和房间的关联的墙壁元件在楼层平面图中的位置等的信息)、执行几何定位技术以测试图像中可见的墙壁元件与房间中存在的墙壁元件的关联(不论是确认已经被确定为图像角描述符的最佳匹配的建筑物角描述符的匹配度，和/或还是作为识别这种最佳匹配建筑物角描述符的一部分)、使用机器学习技术来获悉最佳编码以允许图像与房间位置等进行匹配。
在框688或690之后，例程继续到框695以确定是否继续，诸如直到接收到明确的终止指示为止，或者改为只有在接收到明确的继续指示的情况下。如果确定继续，则例程返回到框605以等待和接收附加的指令或信息，否则，继续到框699并结束。
图7示出了用于建筑物地图查看器系统例程700的流程图的示例实施方式。该例程可以通过例如执行图1A的地图查看器客户端计算装置175及其软件系统(未示出)、图3的客户端计算装置390和/或如在本文的其它地方所描述的测绘信息查看器或呈现系统来执行，诸如：接收和显示限定区域的测绘信息(例如，3D计算机模型、2.5D计算机模型、2D楼层平面图等)，该测绘信息包括一个或多个所确定的图像采集位置的视觉指示；以及可选地将与特定位置相关联的附加信息(例如，图像)显示在测绘信息中。在图7的示例中，所呈现的测绘信息是针对建筑物(诸如，房屋)的内部，但在其它实施方式中，可以针对其它类型的建筑物或环境来呈现并以其它方式使用其它类型的测绘信息，如在本文的其它地方所讨论的。
例程的所示出的实施方式在框705处开始，在该框处，接收指令或信息。在框710处，例程确定接收到的指令或信息是否指示显示或以其它方式呈现表示建筑物内部的信息，并且如果不是的话，则继续到框790。否则，例程前进到框712以检索楼层平面图和/或建筑物的其它所生成的测绘信息(例如，3D计算机模型)以及可选地建筑物内部和/或周围位置的关联的链接信息的指示，并且选择检索到的信息的初始视图(例如，楼层平面图、至少一些3D计算机模型等的视图)。在框715中，例程然后显示或以其它方式呈现检索到的信息的当前视图，并在框717中等待用户选择。在框717中的用户选择之后，如果在框720中确定用户选择对应于当前位置(例如，改变当前视图)，则例程继续到框722以根据用户选择来更新当前视图，且然后返回到框715以相应地更新所显示的或以其它方式呈现的信息。对当前视图的用户选择和对应更新可以包括例如显示或以其它方式呈现用户选择的一条关联的链接信息(例如，与所确定的采集位置的所显示的视觉指示相关联的特定图像)、改变当前视图的显示方式(例如，放大或缩小；在适当时旋转信息；选择要显示或以其它方式呈现的楼层平面图和/或3D计算机模型的新部分，诸如其中该新部分中的一些或全部先前不可见，或者改为其中该新部分是先前可见信息的子集；等)。
如果改为在框710中确定在框705中接收到的指令或其它信息将不呈现表示建筑物内部的信息，则例程改为继续到框790，以视情况执行任何其它所指示的操作(诸如，任何家政任务)、将参数配置为在系统的各种操作中使用(例如，至少部分地基于由系统的用户指定的信息，用户诸如为捕获一个或多个建筑物内部的移动装置用户、ILMM系统的操作员用户等)、获得和存储关于系统用户的其它信息、响应于针对所生成和存储的信息的请求等。
在框790之后，或者如果在框720中确定用户选择不对应于当前位置，则例程前进到框795以确定是否继续，诸如直到接收到明确的终止指示为止，或者改为只有在接收到明确的继续指示的情况下。如果确定继续(例如，如果用户在框717中做出与要呈现的新位置有关的选择)，则例程返回到框705以等待附加的指令或信息(或者如果用户在框717中做出与要呈现的新位置有关的选择，则继续到框712)，并且如果不是的话，则前进到步骤799并结束。
本文参考根据本公开的实施方式的方法、设备(系统)和计算机程序产品的流程图示出和/或框图来描述本公开的方面。将了解，可以通过计算机可读程序指令来实施流程图示出和/或框图的每个框以及流程图示出和/或框图中的框的组合。将进一步了解，在一些实施方式中，可以以替代性方式提供由上文讨论的例程提供的功能，诸如划分到更多的例程当中或者合并到更少的例程中。类似地，在一些实施方式中，所示出的例程可以提供比所描述的功能更多或更少的功能，诸如在其它所示出的例程相应地改为缺少或包括这种功能时，或者在所提供的功能的量变更时。另外，尽管各种操作可以被示出为按特定方式(例如，串行或并行或者同步或异步)和/或按特定顺序执行，但在其它实施方式中，可以按其它顺序和其它方式执行操作。上文讨论的任何数据结构也可以按不同方式结构化，诸如通过将单个数据结构划分成多个数据结构和/或通过使多个数据结构合并成单个数据结构。类似地，在一些实施方式中，所示出的数据结构可以存储比所描述的信息更多或更少的信息，诸如在其它所示出的数据结构相应地改为缺少或包括这种信息时，或者在所存储的信息的量或类型变更时。
根据上述内容，将了解，尽管出于说明的目的在本文中已描述了具体实施方式，但是在不脱离本发明的精神和范围的情况下，可以做出各种修改。因此，除受对应的权利要求和那些权利要求所叙述的元件的限制外，本发明不受限制。另外，尽管在某些时候可以以某些权利要求形式呈现本发明的某些方面，但是本发明人设想以任何可用权利要求形式的本发明的各种方面。例如，尽管在特定时候仅本发明的一些方面可以被叙述为体现在计算机可读存储介质中，但是同样可以这样体现其它方面。

Claims (15)

1.一种计算机实施的方法，包括：
由计算装置获得用于建筑物的视觉描述信息，所述视觉描述信息包括用于所述建筑物中的多个房间位置的建筑物角描述符，其中，每个建筑物角描述符均与所述房间位置中的一个相关联，并且具有关于墙壁的墙壁元件的角度信息，所述墙壁元件从所关联的房间位置的指定角度方向可见；
由所述计算装置生成用于全景图像的图像角描述符，所述全景图像是在所述建筑物的房间中拍摄的，并且包括关于所述房间的墙壁中的至少一些的视觉信息，其中，所述图像角描述符包括识别所述房间的墙壁的墙壁元件的信息，所述墙壁元件在所述全景图像的所述视觉信息内的指定方向可见；
由所述计算装置将所述图像角描述符与所述建筑物角描述符进行比较，以确定所述建筑物角描述符中的在所述房间中并具有最佳匹配所述图像角描述符中包括的信息的角度信息的一者；
由所述计算装置并基于所述比较，将所述全景图像与所述房间中的确定位置和确定定向相关联，所述确定位置包括所确定的一个建筑物角描述符与之相关联的房间位置，以及所述确定定向识别始于那个房间位置的对应于所述全景图像中的可见信息的指定部分的至少一个方向；以及
由所述计算装置并针对所述建筑物，呈现所述建筑物的示出所述房间的楼层平面图，所述楼层平面图具有识别所述全景图像的至少所述确定位置的视觉指示，以致使使用所呈现的楼层平面图来对所述建筑物进行导航。
2.根据权利要求1所述的计算机实施的方法，其中，呈现所述楼层平面图还包括：视觉地指示所述确定定向，以及其中，所述方法还包括：由所述计算装置并响应于用户选择所呈现的楼层平面图上的所述视觉指示，呈现所述全景图像的对应于所述确定定向的至少部分。
3.根据权利要求1所述的计算机实施的方法，其中，所述全景图像的所述视觉信息包括从所述全景图像的采集位置起的360水平度的视觉覆盖范围，
其中，针对从所述采集位置起的360水平度的视觉覆盖范围中的每个，所述图像角描述符包括所述房间的墙壁的任何墙壁元件的指示，所述任何墙壁元件在从所述采集位置的对应于所述水平度的视觉覆盖范围的方向上可见，以及
其中，针对从与所述建筑物角描述符相关联的所述房间位置起的360水平度中的每个，所述建筑物角描述符中的每个均包括周围房间的墙壁的任何墙壁元件的指示，所述任何墙壁元件在从那个所述房间位置的对应于所述水平度的视觉覆盖范围的方向上可见。
4.根据权利要求3所述的计算机实施的方法，其中，所述图像角描述符与所述建筑物角描述符的比较还包括：
分析所述视觉信息，以针对所述房间的墙壁的指定类型的特性，识别从所述采集位置起的360水平度的视觉覆盖范围中的存在所述特性的至少一个；
针对所述建筑物角描述符中的至少一些中的每个，通过以下步骤将所述图像角描述符与所述建筑物角描述符进行比较：
识别从与所述建筑物角描述符相关联的所述房间位置起的所述360水平度中的存在所述特性的一个或多个；以及
将从所述采集位置起的360水平度的视觉覆盖范围中的所识别的至少一个中的每个的位置同步到从所述房间位置起的所识别的一个或多个360水平度中的每个的位置，以确定相对于所同步位置，所述图像角描述符中的处于其他水平度的覆盖范围的信息是否匹配所述建筑物角描述符中的处于其他水平度的覆盖范围的信息；以及
基于所选择的具有所识别的同步位置的一个建筑物角描述符，将所述至少一些建筑物角描述符中的一个选择为所确定的一个建筑物角描述符，以及使用所识别的同步位置来针对所述全景图像确定所述房间中的定向，其中对于所识别的同步位置而言，所述建筑物角描述符中的处于其他水平度的覆盖范围的信息最佳匹配所述图像角描述符中的处于其他水平度的覆盖范围的信息，以及
其中，所述指定类型的特性是以下各者中的一者：正交于沿着所识别的水平度的视觉覆盖范围的线的可见墙壁、或者在所识别的水平度的视觉覆盖范围可见的指定类型的墙壁元件。
5.根据权利要求1所述的计算机实施的方法，还包括以下各者中的至少一者：
针对所述建筑物角描述符中的每个，为与所述建筑物角描述符相关联的一个房间位置确定周围房间的墙壁的墙壁元件，其中，所述周围房间的墙壁的墙壁元件包括至少一个门、至少一个窗户和至少一个墙壁间边界；或者
通过执行所述生成和所述比较，确定具有最佳匹配所述图像角描述符中包括的信息的角度信息的所述一个建筑物角描述符，而不使用从任何深度传感器采集的关于从所述采集位置到其中拍摄所述全景图像的房间的墙壁的深度的任何深度信息；或者
通过指定覆盖所述建筑物的多个房间中的至少一些房间的楼层的房间位置的网格，选择所述建筑物中的所述多个房间位置，其中，所述网格中的最靠近房间角落的房间位置在所述网格中具有至少两个近邻房间位置，其中，所述网格中的最靠近房间墙壁而不在所述房间的角落中的房间位置在所述网格中具有至少三个近邻房间位置，以及其中，所述网格中的非最靠近房间墙壁的房间位置在所述网格中具有至少四个近邻房间位置；或者
通过使用机器学习来执行所述图像角描述符与所述建筑物角描述符的比较，以将所确定的一个建筑物角描述符识别为最类似于所述图像角描述符。
6.根据权利要求1所述的计算机实施的方法，还包括：
通过指定覆盖所述建筑物的多个房间中的至少一些房间的房间位置的网格，选择所述建筑物中的所述多个房间位置，以及其中，所述图像角描述符与所述建筑物角描述符的比较包括：对所述网格的所述房间位置执行最近邻搜索，包括如果所述网格中的至少一个相邻的近邻房间位置与所述图像角描述符的不相似性小于所述网格中的至少一个当前房间位置与所述图像角描述符的不相似性，则通过从所述至少一个当前房间位置反复移动到所述至少一个相邻的近邻房间位置来识别所确定的一个建筑物角描述符。
7.根据权利要求1所述的计算机实施的方法，其中，所述图像角描述符与所述建筑物角描述符的比较包括：针对所述建筑物角描述符中的至少一些中的每个，确定所述图像角描述符和所述建筑物角描述符由于相差不到指定阈值而匹配的可能性；以及将所述至少一些建筑物角描述符中的具有匹配所述图像角描述符的最高可能性的一者选择为所确定的一个建筑物角描述符。
8.根据权利要求1所述的计算机实施的方法，其中，所述图像角描述符与所述建筑物角描述符的比较包括：针对所述建筑物角描述符中的至少一些中的每个：使用所述图像角描述符与所述建筑物角描述符之间的距离的圆形推土机距离测量值，以及将所述至少一些建筑物角描述符中的具有到所述图像角描述符的最小测量距离的一者选择为所确定的一个建筑物角描述符。
9.根据权利要求1所述的计算机实施的方法，其中，所述全景图像与所述确定位置和所述确定定向的关联还包括由所述计算装置进行以下操作：
针对所确定的一个建筑物角描述符生成附加视觉信息，所述附加视觉信息表示来自所确定的一个建筑物角描述符与之相关联的房间位置的视图，并且针对所确定的一个建筑物角描述符，包括所述房间的墙壁的在所述指定角度方向可见的墙壁元件；以及
比较所述全景图像的所述视觉信息与针对所确定的一个建筑物角描述符生成的附加视觉信息的相似性，以确认所述相似性超过指定阈值。
10.一种存储有内容的非暂时性计算机可读介质，所述内容致使一个或多个计算装置执行自动化操作，所述自动化操作至少包括：
由所述一个或多个计算装置并针对包括关于建筑物中的至少一些的视觉信息的图像，获得用于所述图像的角描述符，所述角描述符包括识别所述视觉信息内在指定方向对于所述建筑物可见的元件的信息；
由所述一个或多个计算装置获得附加角描述符，所述附加角描述符各自与建筑物位置相关联，并且包括关于从所关联的建筑物位置的指定角度方向可见的元件的角度信息；
由所述一个或多个计算装置，将用于所述图像的所述角描述符与所述附加角描述符进行比较，以确定所述附加角描述符中的具有最佳匹配用于所述图像的所述角描述符中包括的信息的角度信息的一者；
由所述一个或多个计算装置，将所述图像与所述建筑物的确定位置相关联，所述确定位置是基于针对所确定的一个附加角描述符的所关联的建筑物位置；以及
由所述一个或多个计算装置提供所述图像的关于所述建筑物的确定位置的信息。
11.根据权利要求10所述的非暂时性计算机可读介质，其中，所述图像是具有360水平度的视觉信息的全景图像，其中，获得用于所述图像的所述角描述符包括：由所述一个或多个计算装置经由对所述图像的分析来生成所述角描述符，以及其中，提供关于所述图像的确定位置的信息包括：呈现所述建筑物的楼层平面图，所述楼层平面图包括所述图像的所述确定位置的视觉指示。
12.根据权利要求10所述的非暂时性计算机可读介质，其中，所述视觉信息内在所述指定方向对于所述建筑物可见的所述元件是包括倍数个门或窗户或墙壁间边界的墙壁元件，其中，针对所确定的一个附加角描述符，从所关联的建筑物位置的所述指定角度方向可见的所述元件是所述墙壁元件，以及其中，提供关于所述图像的所述确定位置的信息包括：呈现所述建筑物的楼层平面图，所述楼层平面图包括所述图像的所述确定位置的视觉指示。
13.根据权利要求10所述的非暂时性计算机可读介质，其中，所述图像的所述视觉信息具有不到360水平度的覆盖范围，其中，所确定的一个附加角描述符是用于在所确定的位置处拍摄并且具有360水平度的覆盖范围的全景图像，以及其中，用于所述图像的所述角描述符与所述附加角描述符的比较包括：使用于所述图像的所述角描述符与用于所述全景图像的所确定的一个附加角描述符的子集匹配。
14.一种系统，其包括：
一个或多个计算装置的一个或多个硬件处理器；以及
一个或多个存储器，存储有指令，所述指令在由所述一个或多个硬件处理器中的至少一个执行时致使所述一个或多个计算装置中的至少一个执行自动化操作，所述自动化操作至少包括：
获得房间的描述信息，所述描述信息包括用于所述房间中的多个房间位置的建筑物角描述符，其中，每个建筑物角描述符均与所述房间位置中的一个相关联，并且具有关于从所关联的房间位置的指定角度方向在所述房间中可识别的元件的角度信息；
为在所述房间中的记录位置处记录的信息生成附加角描述符，其中，所述附加角描述符包括识别从所述记录位置的指定方向在所述房间中从所述记录信息可识别的元件的信息；
将所述附加角描述符与所述建筑物角描述符进行比较，以确定所述建筑物角描述符中的具有最佳匹配所述附加角描述符中包括的所述信息的角度信息的一者；
基于所述比较，将所述记录信息与所述房间中的位置相关联，所述位置基于与所确定的一个建筑物角描述符相关联的所述房间位置而针对所述记录位置来确定；以及
针对所述记录信息提供关于所述房间中的所述确定位置的信息。
15.根据权利要求14所述的系统，其中，所述记录信息包括具有视觉信息的全景图像，其中，在所述房间中从所述记录信息可识别的所述元件包括具有在所述视觉信息中可见的倍数个门或窗户或墙壁间边界的一组墙壁元件，其中，针对所确定的一个建筑物角描述符，从所关联的房间位置的所述指定角度位置在所述房间中可识别的所述元件包括所述墙壁元件，以及其中，提供关于所述房间中的所述确定位置的信息包括：呈现包括所述房间的建筑物的楼层平面图，其中，所呈现的楼层平面图包括所述房间中的所述确定位置的视觉指示。
CN202111010492.9A 2020-09-04 2021-08-31 用于确定图像采集位置的对图像内容的自动化分析 Pending CN114140516A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/013,323 2020-09-04
US17/013,323 US11514674B2 (en) 2020-09-04 2020-09-04 Automated analysis of image contents to determine the acquisition location of the image

Publications (1)

Publication Number Publication Date
CN114140516A true CN114140516A (zh) 2022-03-04

Family

ID=77499615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111010492.9A Pending CN114140516A (zh) 2020-09-04 2021-08-31 用于确定图像采集位置的对图像内容的自动化分析

Country Status (5)

Country Link
US (1) US11514674B2 (zh)
EP (1) EP3965061A1 (zh)
CN (1) CN114140516A (zh)
AU (1) AU2021211999B2 (zh)
CA (1) CA3126673C (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
CN117744196A (zh) * 2020-10-13 2024-03-22 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
CN112860826A (zh) * 2021-01-15 2021-05-28 北京小米移动软件有限公司 一种功能控制方法、功能控制装置及存储介质
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US11830135B1 (en) 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
JP2024017224A (ja) * 2022-07-27 2024-02-08 株式会社リコー 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
CN115164929A (zh) * 2022-08-02 2022-10-11 上海有个机器人有限公司 机器人地图上创建楼层poi点的方法、系统及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259816A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
CN107667366A (zh) * 2015-03-24 2018-02-06 开利公司 用于捕获和分析多维建筑物信息的系统和方法
CN107735794A (zh) * 2015-08-06 2018-02-23 埃森哲环球服务有限公司 使用图像处理的状况检测
JP2020038657A (ja) * 2018-09-05 2020-03-12 楽天株式会社 人工知能を用いるコンピュータ実施方法、ａｉシステム、及びプログラム

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140352A (en) 1990-10-31 1992-08-18 Occipital, Inc. Ccd camera and method for fundus imaging
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6323858B1 (en) 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
EP1099343A4 (en) 1998-05-13 2007-10-17 Infinite Pictures Inc PANORAMIC FILMS SIMULATING A DISPLACEMENT IN A MULTI-DIMENSIONAL SPACE
US6317166B1 (en) 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US7525567B2 (en) 2000-02-16 2009-04-28 Immersive Media Company Recording a stereoscopic image of a wide field of view
WO2001089221A1 (en) 2000-05-18 2001-11-22 Imove Inc. Multiple camera video system which displays selected images
US6731305B1 (en) 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
US7312816B2 (en) 2002-07-24 2007-12-25 Freestone Systems, Inc. Digital observation system
US7909241B2 (en) 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
US7791638B2 (en) 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
US20060256109A1 (en) 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
US7627235B2 (en) 2006-03-17 2009-12-01 Immersive Media Company Spinning camera enclosure for environmental protection
US7973838B2 (en) 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
CA2658727C (en) 2006-07-25 2017-10-24 Humaneyes Technologies Ltd. Interactive segmentation of images with single scribbles
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
US8520060B2 (en) 2007-02-25 2013-08-27 Humaneyes Technologies Ltd. Method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
US7782319B2 (en) 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US7936354B2 (en) 2007-04-27 2011-05-03 Graphisoft R&D Zrt. Virtual trace-multiple view modeling system and method
US9035968B2 (en) 2007-07-23 2015-05-19 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
BRPI0909937A2 (pt) 2008-06-16 2015-10-20 Humaneyes Technologies Ltd "método de preparo de um cilindro guia lenticular para a produção de uma imagem lenticular, kit para converter um cilindro de impressão padrão em um cilindro guia lenticular de uma impressora e método de preparo de um cilindro guia para uso em um ciclo de impressão lenticular"
US8463020B1 (en) 2008-07-08 2013-06-11 Imove, Inc. Centralized immersive image rendering for thin client
CN102362485B (zh) 2008-08-04 2015-05-13 人眼科技有限公司 用于减少伪像的方法和系统
US8411966B2 (en) 2009-03-10 2013-04-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
BR112012017367A2 (pt) 2010-01-14 2017-06-13 Humaneyes Tech Ltd metodo e sistema para ajustar valores de profundidade de objetos em uma tela tridimencional (3d)
US9041796B2 (en) 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
US9361717B2 (en) 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8705892B2 (en) 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9129438B2 (en) 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
JP6027026B2 (ja) 2011-01-22 2016-11-16 ヒューマンアイズ テクノロジーズ リミテッド レンチキュラ印刷および表示におけるぼけアーチファクトを低減する方法およびシステム
US8996336B2 (en) 2011-03-31 2015-03-31 Francis Ruben Malka Method, tool, and device for assembling a plurality of partial floor plans into a combined floor plan
US9151608B2 (en) 2011-03-31 2015-10-06 Francis Ruben Malka Apparatus, tool, and method for modifying a portion of a floor plan based on measurements made by one or more sensors
US20160286119A1 (en) * 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US20120293613A1 (en) 2011-05-17 2012-11-22 Occipital, Inc. System and method for capturing and editing panoramic images
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9282242B2 (en) 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US8989440B2 (en) 2012-03-27 2015-03-24 Way Out Ip, Llc System and method of room decoration for use with a mobile device
KR20150016262A (ko) 2012-04-25 2015-02-11 휴먼아이즈 테크놀로지즈 리미티드 인쇄용 블랭킷을 사용하여 렌티큘러 물품을 생성하기 위한 방법 및 시스템
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9423261B2 (en) 2013-02-19 2016-08-23 Here Global B.V. Path curve confidence factors
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US20140307100A1 (en) 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US9635252B2 (en) 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
AU2014281250A1 (en) 2013-06-20 2016-01-07 Diakrit International Ltd. Visualization tool for furniture arrangement in a real estate property
EP2821750A1 (de) * 2013-07-04 2015-01-07 Hexagon Technology Center GmbH Positionsbestimmungsverfahren für ein Vermessungsgerät und ebensolches Vermessungsgerät
US9990760B2 (en) 2013-09-03 2018-06-05 3Ditize Sl Generating a 3D interactive immersive experience from a 2D static image
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US20150116691A1 (en) * 2013-10-25 2015-04-30 Planitar Inc. Indoor surveying apparatus and method
US9787904B2 (en) 2013-10-31 2017-10-10 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3D models of rooms
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
US9396586B2 (en) * 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
EP3228984B1 (en) * 2014-05-05 2023-07-05 Hexagon Technology Center GmbH Surveying system
US20150332464A1 (en) 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9953111B2 (en) 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10055876B2 (en) 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
US20160134860A1 (en) 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
KR101638378B1 (ko) 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
WO2016097940A1 (en) 2014-12-16 2016-06-23 3Ditize Sl 3d rotational presentation generated from 2d static images
WO2016123377A1 (en) 2015-01-28 2016-08-04 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
US20160260250A1 (en) 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
US10083522B2 (en) * 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
CN105120191A (zh) 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
US20170078593A1 (en) 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
US9953430B1 (en) 2015-10-29 2018-04-24 Indoor Reality Inc. Methods for detecting luminary fixtures
US10706615B2 (en) 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US11218688B2 (en) 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10120397B1 (en) 2016-02-11 2018-11-06 Indoor Reality Inc. Interior climate control utilizing multimodal sensor positioning
US10395435B2 (en) * 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10554896B2 (en) 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10502363B2 (en) 2016-05-17 2019-12-10 Occipital, Inc. Self-contained mixed reality head mounted display
KR101770648B1 (ko) 2016-05-18 2017-08-23 주식회사 큐픽스 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10030979B2 (en) 2016-07-29 2018-07-24 Matterport, Inc. Determining and/or generating a navigation path through a captured three-dimensional model rendered on a device
US10204185B2 (en) 2016-08-02 2019-02-12 Indoor Reality Inc. Building scan window detection
US10210285B2 (en) 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10448012B2 (en) 2016-11-22 2019-10-15 Pixvana, Inc. System and method for data reduction based on scene content
US10304256B2 (en) 2016-12-13 2019-05-28 Indoor Reality Inc. Point cloud cleaning method
US10181215B2 (en) * 2017-03-30 2019-01-15 EyeSpy360 Limited Generating a virtual map
US10122997B1 (en) 2017-05-03 2018-11-06 Lowe's Companies, Inc. Automated matrix photo framing using range camera input
US10809795B2 (en) 2017-05-31 2020-10-20 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
US10534962B2 (en) 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
WO2019014620A1 (en) * 2017-07-13 2019-01-17 Zillow Group, Inc. CAPTURE, CONNECTION AND USE OF BUILDING INTERIOR DATA FROM MOBILE DEVICES
US20190041972A1 (en) 2017-08-04 2019-02-07 Cupix, Inc. Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
US10304254B2 (en) 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
US10540054B2 (en) 2017-09-20 2020-01-21 Matterport, Inc. Navigation point selection for navigating through virtual environments
US10366531B2 (en) 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10235797B1 (en) 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11494857B2 (en) 2018-02-15 2022-11-08 Flyreel, Inc. Property inspection system and method
KR101930796B1 (ko) 2018-06-20 2018-12-19 주식회사 큐픽스 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법
US10708507B1 (en) 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259816A1 (en) * 2015-03-05 2016-09-08 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
CN107667366A (zh) * 2015-03-24 2018-02-06 开利公司 用于捕获和分析多维建筑物信息的系统和方法
CN107735794A (zh) * 2015-08-06 2018-02-23 埃森哲环球服务有限公司 使用图像处理的状况检测
JP2020038657A (ja) * 2018-09-05 2020-03-12 楽天株式会社 人工知能を用いるコンピュータ実施方法、ａｉシステム、及びプログラム

Also Published As

Publication number Publication date
AU2021211999B2 (en) 2023-01-12
US11514674B2 (en) 2022-11-29
US20220076019A1 (en) 2022-03-10
CA3126673C (en) 2023-08-08
CA3126673A1 (en) 2022-03-04
EP3965061A1 (en) 2022-03-09
AU2021211999A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
CA3126673C (en) Automated analysis of image contents to determine the acquisition location of the image
US11164361B2 (en) Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11252329B1 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US10825247B1 (en) Presenting integrated building information using three-dimensional building models
US11243656B2 (en) Automated tools for generating mapping information for buildings
US11481925B1 (en) Automated determination of image acquisition locations in building interiors using determined room shapes
US11632602B2 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11501492B1 (en) Automated room shape determination using visual data of multiple captured in-room images
US11842464B2 (en) Automated exchange and use of attribute information between building images of multiple types
CA3154186C (en) Automated building floor plan generation using visual data of multiple building images
EP4207069A1 (en) Automated building information determination using inter-image analysis of multiple building images
EP4170593A1 (en) Automated analysis of visual data of images to determine the images' acquisition locations on building floor plans
EP4375931A1 (en) Automated inter-image analysis of multiple building images for building information determination
EP4358026A1 (en) Automated determination of acquisition locations of acquired building images based on identified surrounding objects
CN117456040A (zh) 用于建筑物测绘信息的增量生成的自动化工具

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Washington State

Applicant after: Zillow LLC

Address before: Washington State

Applicant before: ZILLOW Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230427

Address after: Washington State

Applicant after: Pushsabo I Co.

Address before: Washington State

Applicant before: Zillow LLC

Effective date of registration: 20230427

Address after: Washington State

Applicant after: MFTB Co.,Ltd.

Address before: Washington State

Applicant before: Pushsabo I Co.