CN114969882A - 使用所捕获的房间中图像的视觉数据对建筑物进行自动化可用性评估 - Google Patents

使用所捕获的房间中图像的视觉数据对建筑物进行自动化可用性评估 Download PDF

Info

Publication number
CN114969882A
CN114969882A CN202210110801.8A CN202210110801A CN114969882A CN 114969882 A CN114969882 A CN 114969882A CN 202210110801 A CN202210110801 A CN 202210110801A CN 114969882 A CN114969882 A CN 114969882A
Authority
CN
China
Prior art keywords
room
additional
images
objects
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210110801.8A
Other languages
English (en)
Inventor
维克托里亚·斯托瓦
江胜明
纳吉·霍斯拉万
兰伯特·E·威克森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mftb Co ltd
Pushsabo I Co
Original Assignee
Zillow LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zillow LLC filed Critical Zillow LLC
Publication of CN114969882A publication Critical patent/CN114969882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/04Architectural design, interior design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Structural Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Civil Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Architecture (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

描述了与以下有关的自动化操作的技术:分析来自在建筑物的房间中捕获的图像的视觉数据和可选地关于房间的附加的所捕获的数据,以评估建筑物的房间和可选地整个建筑物的房间布局和其他可用性信息,并且随后以一种或多种进一步自动化方式使用所评估的可用性信息,诸如以改善建筑物的导航。自动化操作可包括识别房间中的每一个中的要评估的一个或多个物体、评定每个物体的一个或多个目标属性、使用目标属性的评定来评估每个物体的可用性并相对于指示的目的使用物体的评定和其他房间信息来评估每个房间的可用性、以及将建筑物中的多个房间的评估与其他建筑物信息相结合以评估建筑物相对于其指示的目的的可用性。

Description

使用所捕获的房间中图像的视觉数据对建筑物进行自动化可 用性评估
技术领域
以下公开总体上涉及用于自动地分析来自在建筑物的房间中捕获的图像的视觉数据以评估建筑物中的房间的可用性并且随后以一种或多种方式使用所评估的可用性信息的技术,诸如以确定房间布局并识别关于房间的内置元素的信息,并且使用该信息来评估房间的可用性,以及使用所评估的房间布局和其他可用性信息来改善建筑物的导航和其他用途。
背景技术
在各种领域和情况下,诸如建筑分析、财产清查、不动产购置和开发、改建和改造服务、总承包和其他情况下,可能期望查看关于房屋、办公室或其他建筑物的内部的信息而不必亲自前往或进入建筑物,包括确定关于建筑物的实际竣工信息,而不是在建造建筑物之前得到的设计信息。然而,可能难以有效地捕获、表示和使用这种建筑物内部信息,包括向位于远程位置处的用户显示在建筑物内部内捕获的视觉信息(例如,使得用户能够充分理解内部的布局和其他细节,包括以用户选择的方式控制显示)。另外,尽管建筑物的楼层平面图可提供一些关于布局的信息和建筑物内部的其他细节,但是在某些情形下,这样使用楼层平面图具有一些缺点,包括楼层平面图可能难以构建和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和以其他方式使用等。
附图说明
图1A至图1B是描绘用于在本公开的实施例中使用的示例性建筑物环境和一个或多个计算系统的图,所述计算系统诸如用于执行自动化操作以捕获房间中的图像,并且随后以一种或多种方式分析所捕获的图像的视觉数据来产生关于房间和建筑物的得到的信息。
图2A至图2X示出了捕获房间中的图像并且随后以一种或多种方式分析所捕获的图像的视觉数据的自动化操作的示例,诸如用于生成和呈现关于建筑物的楼层平面图的信息以及用于评估建筑物的房间的房间布局和其他可用性。
图3是示出了用于执行一个或多个系统的实施例的计算系统的框图,该一个或多个系统执行本公开中所描述的技术中的至少一些。
图4示出了根据本公开的实施例的图像捕获和分析(ICA)系统例程的示例流程图。
图5A至图5C示出了根据本公开的实施例的用于测绘信息生成管理器(MIGM)系统例程的示例流程图。
图6A至图6B示出了根据本公开的实施例的建筑物可用性评估管理器(BUAM)系统例程的示例流程图。
图7示出了根据本公开的实施例的建筑物地图查看器系统例程的示例流程图。
具体实施方式
本公开描述了一种技术,该技术用于使用计算装置来执行与分析来自在建筑物的房间中捕获的图像的视觉数据以评估建筑物的房间和可选地整个建筑物的房间布局和其他可用性信息,并且随后以一种或多种进一步自动化方式使用所评估的可用性信息相关的自动化操作。图像可例如包括在多房间建筑物(例如,房屋、办公室等)中或周围的采集位置采集的全景图像(例如,以等矩形或其他球形格式)和/或其他类型的图像(例如,以直线立体格式),在本文中有时称为“目标图像”,另外,在至少一些实施例中,进一步在无需或不使用来自任何深度传感器或其他距离测量装置的关于从图像的采集位置到周围建筑物中的墙壁或其他物体的距离的信息的情况下执行自动化操作。在各种实施例中,可进一步以各种方式使用建筑物采集的一个或多个房间的所评估的房间布局和其他可用性信息,诸如与生成或注释对应的建筑物楼层平面图和/或建筑物的其他生成的信息结合使用,包括用于根据房间的结构元素来控制移动装置(例如,自主车辆)、用于通过一个或多个计算机网络在一个或多个客户端装置上的对应GUI(图形用户界面)中显示或其他呈现等。下文包括关于房间和建筑物可用性信息的自动化确定和使用的附加细节,并且在至少一些实施例中,本文描述的技术中的一些或全部可经由建筑物可用性评估管理器(“BUAM”)系统的自动化操作来执行,如下面进一步讨论。
如上所述,BUAM系统的自动化操作可包括分析来自在建筑物的一个或多个房间中捕获的目标图像的视觉覆盖范围的视觉数据,以便随后用于评估一个或多个房间且在一些情况下整个建筑物的可用性。在至少一些实施例中,分析在房间中捕获的一个或多个初始目标图像以便识别关于房间的各种类型的信息,诸如以分析具有房间级视觉覆盖范围的一个或多个初始图像并识别要捕获附加数据的房间中的特定物体或房间的其他元素,包括捕获提供关于所识别的物体的更多细节的附加目标图像,包括关于物体的特定感兴趣目标属性,在一些实施例中,一个或多个初始目标图像可提供广角并且总共包括房间的绕竖直轴线的高达360°水平覆盖范围以及绕水平轴线的在180°与360°之间的覆盖范围(例如,一个或多个全景图像,诸如以球形格式),并且在一些实施例中,附加的目标图像可比初始图像(例如,立体图像,诸如以直线格式)。在捕获那些附加图像之后,BUAM系统的自动化操作还可包括分支附加图像的附加视觉范围中的附加视觉数据以便获得足够的数据(例如,高于定义的细节阈值,或以其他方式满足一个或多个定义的细节标准),以允许评定所识别的物体中的每一个的一个或多个感兴趣目标属性。一旦可获得对所识别的物体的目标属性的评定,BUAM系统的自动化操作还可包括至少部分地基于对物体的一个或多个目标属性的一个或多个评估来执行对那些识别的物体中的每一个的评定,诸如以估计该物体如何有助于房间的整体评估(例如,房间对于指示的目的的可用性的评估)。BUAM系统的自动化操作还可包括至少部分地基于对房间中的所识别的物体的评估的组合、可选地与关于房间的其他信息相结合(例如,房间的布局、房间的人通行流量等)来执行对房间的整体评估。类似地,在至少一些实施例中,BUAM系统的自动化操作还可包括至少部分地基于对建筑物中的一些或全部房间的评估的组合、可选地与关于房间的其他信息相结合(例如,建筑物的布局、建筑物的人通行流量等)来执行对建筑物的整体评估。另外,在至少一些实施例中,出于本文中讨论的分析的目的,建筑物外部的区域可被视作房间,诸如对于定义的区域(例如,露台、平台、花园等)和/或对于所有的周围区域(例如,建筑物的外周边),并且包括识别和评估这种“房间”中的物体的可用性,以及评定此类物体的目标属性,以及评估“房间”的整体可用性,并且包括这种“房间”的可用性作为对建筑物的整体可用性的评估的部分。
如上所述,在一些实施例中,BUAM系统的自动化操作可包括分析在房间中捕获的包括房间级视觉覆盖范围的一个或多个初始图像,以便识别关于房间的各种类型的信息。可根据对一个或多个初始图像中的视觉数据的分析自动地确定的信息的非排他性示例包括以下一个或多个:
-房间中的特定可见的识别物体或要捕获附加数据的房间的其他元素的存在,诸如内置或在其他方面以非暂时方式安装的物体和/或更加暂时的其他物体(例如,可容易移动,诸如家具或其他装饰等);
-特定识别的物体的特定可见目标属性的存在;
-房间中的一些或全部所识别的物体的位置(例如,特定图像内的位置,诸如使用边界框和/或像素级掩模;相对于房间的形状,诸如相对于墙壁和/或地板和/或天花板;相对于地理方向,诸如西墙或西南角等);
-房间中的一些或全部所识别的物体的类型,诸如使用物体标签或物体的其他类别(例如,窗户、门、椅子等);
-房间的类型,诸如使用房间标签或房间的其他类别(例如,卧室、卫生间、客厅等);
-房间的布局(例如,家具或房间中的其他物品的布置,可选地相对于墙壁和房间的其他结构元素的形状);
-房间中的预期和/或实际通行流量模式(例如,在门与房间的其他墙壁开口之间移动,并且可选地移动到房间的一个或多个其他识别的区域,诸如相对于关于房间布局的信息);
-房间的预期目的(例如,房间的功能性的类型,诸如基于房间类型和/或布局,包括“厨房”或“客厅”、或者厨房的“烹饪”或“个人烹饪”或“工业烹饪”、或者客厅的“集体娱乐”或“个人放松”的非排他性示例等;和/或房间及其内容物在安装时或以其他方式在全新时的质量,诸如对于其中质量会影响或以其他方式是一些或全部预期目的的房间类型;和/或房间及其内容物在当前时间的状况,诸如相对于修补或失修的状态等);和/或房间的可用性,诸如基于房间布局和/或通行流量和/或功能性和/或质量和/或状况;
-房间的其他属性,诸如“开放性”的程度和/或房间形状的复杂性(例如,立方体、L形等)和/或进入性的程度等。
在其他实施例中,上述一些或全部信息类型可不用于一些或全部房间的房间可用性评估和/或一些或全部建筑物的建筑物可用性评估,和/或可以以其他方式获得(例如,由一个或多个用户供应,诸如BUAM系统的在房间中参与数据捕获的系统操作者用户)。
如上所述,每个房间均可具有一个或多个元素或被识别为感兴趣(例如,有助于房间的计划评估)的其他物体,诸如基于房间的类型。房间中的识别的物体可包括内置或以其他方式安装的物体,其中非排他性示例包括以下项:窗户和/或窗户五金(例如,闩锁机构、打开/关闭机构等);门和/或门五金(例如,铰链、门把手、锁紧机构;观察孔等);安装的地板(例如,瓷砖、木材、层压板、地毯等);安装的台面和/或防溅墙(例如,在厨房岛、厨房或卫生间柜台等上);安装的墙壁覆盖物(例如,壁纸、油漆、护墙板等);厨房岛或房间的前壁内部的其他内置结构(例如,地板的凹陷或凸起的子集、方格天花板等);电气器具或燃气动力器具或其他类型的动力器具(例如,炉子、烤箱、微波炉、垃圾压缩机、冰箱等);灯具(例如,附接至墙壁或天花板);卫生洁具(例如,水槽;浴缸;淋浴器;坐便器;水槽或浴缸或淋浴器上或内部的五金,诸如排水管、喷口、喷头、水龙头和其他控制件等)、内置家具(例如,书架、飘窗休息区域等);安全系统;内置真空系统;空气加热和/或冷却系统;水加热系统;各种类型的管子或其他管道;各种类型的电气布线;各种类型的通信布线;内置扬声器或其他内置电子装置等。另外,房间中的物体可包括可移动或以其他方式暂时的物体,其中非排他性示例包括以下项:家具;装饰,诸如图画或窗帘等。在一些实施例中,可基于对一个或多个初始图像的视觉数据的分析来自动地确定房间的一些或全部所识别的物体,而在其他实施例中,可基于房间的类型(例如,对于卫生间,水槽和坐便器;对于厨房,水槽和烤箱等)来自动地确定房间的一些或全部识别的物体,诸如基于房间类型的预定义列表。
另外,每个识别的物体均可具有被识别为感兴趣(例如,有助于物体的计划评估)的一个或多个目标属性,诸如基于物体类型和/或物体所在的房间的类型,此类目标属性可包括物体的物理特征和/或子元素,并且/或者可包括物体的各种类型的功能性或其他特性。目标属性的非排他性示例包括以下项:大小;材料;年龄;安装类型;对于门物体,一件或多件门五金、另一边环境的视图或其他指示等;对于窗户物体,一件或多件窗户五金、另一边环境的视图或其他指示等;对于水槽或浴缸或淋浴器,在其上或内部的五金、类型(例如,弓形足浴缸、安装在墙壁上的水槽等)、功能性(例如,用于浴缸、包括射流)、型号等;对于炉子,燃烧器的数量、所使用的能量类型(例如,电、燃气等)、型号、诸如内置风扇的其他特征或功能性等;对于其他器具,型号或其他类型等。在一些实施例中,可基于对一个或多个初始图像的视觉数据的分析来自动地确定所识别的物体的一些或全部感兴趣的目标属性,而在其他实施例中,可基于物体的类型和/或物体所在的房间的类型来自动地确定物体的一些或全部感兴趣的目标属性(例如,对于卫生间中的水槽,水槽五金和水槽的类型,诸如安装在墙壁上或独立的;对于厨房中的水槽,水槽的大小和碗的数量以及水槽五金;对于杂物间中的水槽,水槽的大小和碗的数量),诸如基于物体类型和/或房间类型的预定义列表。
在各种实施例中,可以以各种方式捕获房间的初始图像和关于房间的附加数据。在一些实施例中,房间的一些或全部初始图像可由已经采集那些图像以供其他用途的另一个系统提供到BUAM系统,诸如由图像捕获和分析(ICA)系统和/或使用建筑物的房间的图像来生成楼层平面图和/或与建筑物相关的其他测绘信息的测绘信息生成管理器(MIGM)系统提供,如下面更详细地讨论。在其他实施例中,房间的一些或全部初始图像可由BUAM系统捕获或响应于由BUAM系统提供的指令来捕获,诸如对于房间中的自动化图像采集装置和/或房间中的用户(例如,BUAM系统操作者用户),其中信息指示要捕获的初始图像的类型。以类似的方式,在至少一些实施例中,房间的一些或全部附加图像可由BUAM系统捕获或响应于由BUAM系统提供的指令来捕获,诸如对于房间中的自动化图像采集装置和/或房间中的用户(例如,BUAM系统操作者用户),其中信息指示要捕获的附加图像的类型。例如,BUAM系统可提供指令,所述指令识别要捕获附加数据的房间中的一个或多个感兴趣物体,并且识别要捕获满足定义的细节标准或以其他方式满足一个或多个定义的细节标准(或以其他方式提供要针对物体捕获的附加数据的描述,该描述致使捕获关于一个或多个目标属性的足够数据)的附加数据的感兴趣物体中的每一个的一个或多个目标属性。在各种实施例中,可以以各种方式提供此类指令,包括在用户的移动计算装置(例如,充当图像采集装置并且用来捕获一些或全部附加图像的移动计算装置,诸如使用该装置的一个或多个成像传感器和可选地该装置的附加硬件部件,诸如灯、一个或多个IMU(内部测量单元)传感器,诸如一个或多个陀螺仪和/或加速度计和/或磁力计或其他罗盘等)上的BUAM系统的GUI中显示给用户或者以其他方式提供给用户(例如,叠加在这种计算装置和/或其他单独的相机装置上显示的房间的图像上,诸如响应于装置的移动而在图像改变时向用户提供动态增强现实指令,和/或在先前捕获的图像上向用户提供静态指令,并且可选地在可见物体的一个或多个图像和/或目标属性上具有视觉标记),或者改为提供至响应于指令而采集附加图像的自动化装置。
另外,BUAM系统的自动化操作还可包括分析图像的视觉数据以验证它们包括足够的细节以满足定义的细节阈值或以其他方式满足一个或多个定义的细节标准,并且响应于验证活动而开始进一步自动化操作。例如,可分析一个或多个初始图像的视觉数据以针对一些或全部感兴趣物体中的每一个来确定一个或多个初始图像是否已经包括关于该物体的一个或多个感兴趣目标属性的细节的足够数据,如果是的话,则可使用一个或多个初始图像而不是原本将被捕获和使用的附加图像的视觉数据来执行该物体及其一个或多个目标属性的评估,但如果不是的话,那么BUAM系统可开始捕获一个或多个附加图像以提供关于该物体的一个或多个感兴趣目标属性的细节的足够数据。另外,一旦针对物体捕获了一个或多个附加图像(例如,该物体的一个或多个目标属性中的每一个的附加图像),就可类似地分析一个或多个附加图像的附加视觉数据以验证它们包括具有足够的细节的一个或多个目标属性的视觉数据以满足定义的细节阈值或以其他方式满足一个或多个定义的细节标准,以及在一些实施例中,验证一个或多个附加图像实际上属于正确的物体和/或正确的目标属性(例如,将附加图像的视觉术语与该物体的一个或多个初始图像的对应视觉数据进行比较),如果是的话,则那些附加图像可被验证为可用于那些目标属性的评定和该物体的相关联评估,但如果不是的话,那么BUAM系统可开始重新捕获用于代替具有验证问题的一个或多个先前的附加图像并且提供该物体的一个或多个感兴趣目标属性的足够细节的一个或多个新的附加图像(或者开始其他校正动作,诸如请求以文本或其他形式提供关于一个或多个目标属性的附加细节)。在各种实施例中,定义的细节阈值或者其他一个或多个定义的细节标准可具有各种形式,诸如显示作为图像的主题的目标属性或物体的图像中的最小像素量或分辨率的其他度量、最低照明水平、最大模糊量或视觉数据的清晰度的其他度量等。
另外,在至少一些实施例中,不论是补充还是代替对应的附加图像,以及诸如响应于由BUAM系统提供给用户和/或自动化装置的对应指令,BUAM系统的捕获附加数据的自动化操作还可包括捕获除附加图像外的其他类型的数据。例如,BUAM系统可向图像采集装置(例如,具有一个或多个成像传感器和其他硬件部件的移动计算装置)提供指令以用其他传感器(例如,IMU传感器、麦克风、GPS或其他位置传感器等)捕获关于特定物体和/或目标属性的数据,并且将其他捕获到的附加数据提供到BUAM系统以供进一步分析,和/或可向用户提供指令来以除视觉数据外的形式获得并提供附加数据(例如,对问题的文本回答和/或记录的语音回答),诸如对于可能不容易从视觉数据确定的物体和/或目标属性的方面(例如,对于物体或目标属性,材料、年龄、大小、精确位置、安装技术/类型、型号、一种或多种类型的功能性等)。除所捕获的附加图像外的这种类型的所捕获的附加数据可以以各种方式使用,包括作为目标属性的评定及其物体的相关联评估的部分,如本文中其他地方更详细地讨论。在各种实施例中,要针对目标属性和/或物体获得的感兴趣细节以及由BUAM系统提供的相关联指令可由BUAM系统以各种方式自动地确定,诸如基于目标属性的类型和/或物体类型和/或物体及其一个或多个目标属性所在的房间类型的预定义列表或其他描述。
在BUAM系统已经获得房间中的感兴趣物体和目标属性的所捕获的附加数据之后(不论来自所捕获的附加图像的视觉数据、其他所捕获的附加数据还是来自一个或多个初始房间级图像的视觉数据),可以以各种方式分析附加数据以评定目标属性中的每一个并且评估物体中的每一个,诸如至少部分地基于物体的一个或多个目标属性的评定。在至少一些实施例中,目标属性中的每一个可由BUAM系统相对于一个或多个定义的评定标准进行评定,诸如以特定于该目标属性的类型的方式,例如,可相对于一个或多个因素来评定目标属性,其中此类因素的非排他性示例包括以下项:材料;年龄;大小;精确位置;安装技术/类型;型号;一种或多种类型的功能性;目标属性在安装时或在全新时的质量;目标属性在当前时间的状况,诸如相对于修补或失修的状态等,以及特定于特定类型的物体和/或目标属性的因素(例如,对于门和/或门锁和/或窗户闩锁,强度和/或其他防闯入保护的程度;对于门和/或门把手和/或窗户,装饰吸引程度等),如果单独地评定多个因素,则在至少一些实施例中,可进一步确定目标属性的整体评定,诸如经由加权平均或其他组合技术,并且可选地其中权重基于特定因素而变。应理解的是,在一些实施例中,相对于特定因素对物体的特定目标属性的评定可由一个或多个用户提供,并且与该物体的其他目标属性相对于该物体的评估的其他自动地确定的评估结合使用。
另外,在评定了物体的一个或多个目标属性之后,可由BUAM系统相对于一个或多个物体评估标准自动地确定物体的评估,不论与物体的一个或多个目标属性的评定标准相同还是不同,在至少一些实施例中,至少部分地相对于房间对于房间的预期目的的可用性来进行对房间中的物体的评估,诸如以估计物体对满足房间的预期目的的可用性的贡献。作为一个非排他性示例,在主卫生间中具有高质量和状况以及功能性的水槽(例如,至少部分地基于水槽洁具或其他水槽五金)可大大有助于对主卫生间及其预期目的的评估(例如,相对于主卫生间的整体质量和/或状况和/或功能性,诸如在奢华的环境是该预期目的的部分的情况下),但如果有卫生间在的话,可能对杂物间及其预期目的的评估的贡献很小或没有贡献(或甚至是负面的贡献)(例如,相对于杂物间的整体质量和/或状况和/或功能性,诸如基于作为该预期目的的部分的实用功能性)。更一般地,物体中的每一个可由BUAM系统至少部分地基于将该物体的一个或多个目标属性的一个或多个评定相结合并且可选地相对于一个或多个附加的定义物体评估标准诸如以特定于该物体的类型的方式进行评估,例如,可相对于一个或多个因素来评定物体,其中此类因素的非排他性示例包括以下项:材料;年龄;大小;精确位置;安装技术/类型;型号;一种或多种类型的功能性;物体在安装时或在全新时的质量;物体在当前时间的状况,诸如相对于修补或失修的状态等,以及特定于特定类型的物体和/或目标属性的因素(例如,对于门,强度和/或其他防闯入保护的程度、装饰吸引程度等),如果单独地评定多个因素,则在至少一些实施例中,可进一步确定物体的整体评定,诸如经由加权平均或其他组合技术,并且可选地其中权重基于特定因素而变。应理解的是,在一些实施例中,相对于特定因素、或更一般地相对于针对房间的预期目的的可用性对房间中的特定物体的评估可由一个或多个用户提供,并且与房间中的其他物体的其他自动地确定的评估结合使用,作为该房间的评估的部分。如上所述,房间的预期目的可至少部分地基于房间的类型,并且房间对于预期目的的可用性可基于一个或多个因素,诸如功能性、质量、状况等。
另外,在评估了房间中的一个或多个感兴趣物体之后,可由BUAM系统相对于一个或多个房间评估标准(不论与房间的物体的一个或多个物体评估标准相同还是不同)自动地确定房间的评估,在至少一些实施例中,至少部分地相对于针对房间的预期目的的可用性来进行对房间的评估,诸如至少部分地基于对该房间中的感兴趣的一个或多个物体的评估及其对满足房间的预期目的的可用性的估计贡献。作为一个非排他性示例,在主卫生间中具有高质量和状况以及功能性的水槽(例如,至少部分地基于水槽洁具或其他水槽五金)可大大有助于对主卫生间及其预期目的的评估(例如,相对于主卫生间的整体质量和/或状况和/或功能性,诸如基于作为该预期目的的部分的奢华环境),但如果有卫生间在的话,可能对杂物间及其预期目的的评估的贡献很小或没有共享(或甚至是负面的贡献)(例如,相对于杂物间的整体质量和/或状况和/或功能性,诸如基于作为该预期目的的部分的实用功能性)。作为另一个非排他性示例,房间的评估可至少部分地基于房间内的洁具和/或其他物体的相容性,诸如要共享相同的风格、质量等。更一般地,建筑物的一个或多个房间中的每一个可由BUAM系统至少部分地基于将该房间中的一个或多个感兴趣物体的一个或多个评估相结合并且可选地相对于一个或多个附加的定义房间评估标准诸如以特定于该房间的类型的方式进行评估,例如,可相对于一个或多个因素来评定房间,其中此类因素的非排他性示例包括以下项:大小;布局;形状;通行流量;材料;年龄;房间在安装时或在全新时的质量;房间在当前时间的状况,诸如相对于修补或失修的状态等,以及特定于特定类型的房间的因素(例如,对于主卫生间或厨房,奢华和/或质量程度;对于杂物间或走廊,功能性或可用性程度等),如果单独地评定多个因素,则在至少一些实施例中,可进一步确定房间的整体评估,诸如经由加权平均或其他组合技术,并且可选地其中权重基于特定因素而变。应理解的是,在一些实施例中,相对于特定因素、或更一般地相对于房间的预期目的对特定房间的评估可由一个或多个用户提供,并且与相同建筑物中的其他房间的其他自动地确定的评估结合使用,作为该建筑物的整体评估的部分。
另外,在评估了多房间建筑物的房间之后,可由BUAM系统相对于一个或多个建筑物评估标准(不论与建筑物的房间的房间评估标准相同还是不同)自动地确定建筑物的整体评估,在至少一些实施例中,至少部分地相对于针对建筑物的预期目的的可用性来进行对建筑物的评估,诸如至少部分地基于对建筑物中的房间的评估及其所评估的对房间的单独预期目的的可用性的满足,可选地与附加因素相结合,诸如建筑物的整体布局和/或穿过建筑物的预期通行流量。作为一个非排他性示例,如果建筑物是独户住房的话,在卫生间中具有高质量和状况以及功能性的水槽(例如,至少部分地基于水槽洁具或其他水槽五金)可大大有助于对建筑物及其预期目的的整体评估(例如,相对于房屋的整体质量和/或状况和/或功能性),但如果建筑物是仓库的话,可能对建筑物及其预期目的的整体评估的贡献很小或没有贡献(或甚至是负面的贡献)(例如,相对于仓库的整体质量和/或状况和/或功能性,诸如基于作为该预期目的的部分的实用性)。更一般地,建筑物可由BUAM系统至少部分地基于将该房间中的一些或全部房间的一个或多个评估相结合并且可选地相对于一个或多个附加的定义建筑物评估标准诸如以特定于该建筑物的类型的方式进行评估,例如,可相对于一个或多个因素来评定建筑物,其中此类因素的非排他性示例包括以下项:大小;布局(例如,基于建筑物的楼层平面图);形状;通行流量;材料;年龄;建筑物在安装时或在全新时的质量;建筑物在当前时间的状况,诸如相对于修补或失修的状态等,以及特定于特定类型的建筑物的因素(例如,对于房屋或办公大楼,奢华和/或质量程度;对于仓库或储藏设施,功能性或可用性程度等),如果评定多个因素,则在至少一些实施例中,可进一步确定建筑物的整体评估,诸如经由加权平均或其他组合技术,并且可选地其中权重基于特定因素而变。应理解的是,在一些实施例中,相对于特定因素、或更一般地相对于针对建筑物的预期目的可用性对特定建筑物的评估可由一个或多个用户提供,并且与一组中的其他相关建筑物的其他自动地确定的评估结合使用,作为该组建筑物的整体评估的部分。
如上所述,相对于来自用于评定目标属性和/或评估物体和/或评估房间的所捕获的附加数据的信息,该信息中的一些或全部可基于一个或多个初始房间级图像和/或一个或多个附加图像中的视觉数据的分析。作为BUAM系统的自动化操作的部分,在至少一些实施例中,所描述的技术可包括使用一个或多个经训练的神经网络或其他技术来分析一个或多个初始图像和/或附加图像的视觉数据。作为非排他性示例,此类技术可包括以下一个或多个:使用经训练的神经网络或其他分析技术(例如,卷积神经网络)来取得房间的一些或全部的图像作为输入并且识别房间中的感兴趣物体,此类物体可包括例如墙壁结构元素(例如,窗户和/或天窗;进和/或出房间的通道,诸如门道和墙壁中的其他开口、楼梯、走廊等;相邻的墙壁之间的边界;墙壁与地板之间的边界;墙壁与天花板之间的边界;至少三个表面或平面相交的角落(或立体几何顶点)等)、其他固定的结构元素(例如,台面、浴缸、水槽、岛、壁炉等);使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且确定房间的房间形状,诸如3D点云(其中多个3D数据点对应于墙壁和可选地地板和/或天花板上的位置)和/或完全地或部分地连接的平面表面(对应于墙壁和可选地地板和/或天花板中的一些或全部)和/或线框结构线(例如,以示出墙壁之间的边界、墙壁与天花板之间的边界、墙壁与地板之间的边界、门道和/或其他房间间墙壁开口的轮廓、窗户的轮廓等中的一个或多个的结构线);使用经训练的神经网络或其他分析技术(例如,深度学习检测器模型或其他类型的分类器)来取得房间的一些或全部的一个或多个图像作为输入(和可选地房间的所确定的房间形状)并且确定检测到的物体和房间中的其他元素的位置(e例如,相对于房间的形状、基于执行物体检测以生成围绕一个或多个图像中的元素或其他物体的边界框、基于执行物体分割来生成识别一个或多个图像中的表示元素或其他物体的像素的像素级掩模等);使用经训练的神经网络或其他分析技术(例如,卷积神经网络)来取得房间的一些或全部的一个或多个图像作为输入并且确定那些元素或其他物体的物体标签和/或物体类型(例如,窗户、门道等);使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且确定封闭房间的房间类型和/或房间标签(例如,客厅、卧室、卫生间、厨房等);使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像(例如,a具有360°水平视觉覆盖范围的全景图像)作为输入并且确定房间的布局;使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且确定房间的预期通行流量;使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入(和可选地关于房间类型/标签和/或布局和/或通行流量的信息)并且确定封闭房间的预期目的;使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且识别感兴趣的物体的可见目标属性;使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且确定一个或多个可见目标属性是否具有视觉数据中的足够细节来满足定义的细节阈值或以其他方式满足一个或多个定义的细节标准;使用经训练的神经网络或其他分析技术来取得房间的一些或全部的一个或多个图像作为输入并且确定一个或多个可见物体是否具有视觉数据中的足够细节来满足定义的细节阈值或以其他方式满足定义的细节标准;使用经训练的神经网络或其他分析技术来取得物体的一些或全部的一个或多个图像(和可选地关于一个或多个目标属性和/或物体的附加所捕获的数据)作为输入并且至少部分地基于一个或多个图像的视觉数据来评定一个或多个目标属性中的每一个;使用经训练的神经网络或其他分析技术来取得物体的一个或多个图像(和可选地关于物体和/或其房间的附加所捕获的数据,包括识别房间的预期目的)作为输入并且至少部分地基于一个或多个图像的视觉数据来评估物体;使用经训练的神经网络或其他分析技术(例如,使用基于规则的决策,诸如其中预定义规则由一个或多个BUAM系统操作者用户指定或以其他方式确定)来取得物体的一个或多个目标属性的评定(和可选地关于物体和/或其房间的附加所捕获的数据,包括识别房间的预期目的)作为输入并且至少部分地基于目标属性的评定来评估物体;使用经训练的神经网络或其他分析技术来取得房间中的一个或多个物体的评定(和可选地关于物体和/或房间的附加所捕获的数据,包括识别房间的预期目的)作为输入并且至少部分地基于物体的评估来评估房间;使用经训练的神经网络或其他分析技术来取得建筑物中的一个或多个房间的评估(和可选地关于房间和/或其建筑物的附加所捕获的数据,包括识别建筑物的预期目的)作为输入并且至少部分地基于房间的评估来评估建筑物等。在不同的实施例中,此类神经网络可使用例如不同的检测和/或分割框架,并且在不同的实施例中,否则可属于各种类型,并且在使用之前可由BUAM系统在对应于神经网络执行的确定类型的数据集上进行训练。在一些实施例中,这种图像的采集元数据可进一步被用作确定以上讨论的类型的信息中的一个或多个,诸如将来自采集相机或其他相关联装置上的IMU(内部测量单元)传感器的数据用作执行SLAM(同时定位和测绘)和/或SfM(运动恢复结构)和/或MVS(多视角立体观察)分析的部分,或者以其他方式确定房间中的图像的采集姿势信息,如本文中其他地方讨论。
下面包括关于自动化操作的附加细节,在至少一些实施例中,所述自动化操作可由BUAM系统执行以采集和分析来自在建筑物的一个或多个房间中捕获的目标图像的视觉覆盖范围的视觉数据,和/或使用来自分析的信息以评估房间的可用性。例如,关于图2P至图2X的示例及其相关联的描述并且在图6A至图6B中以及本文中其他地方包括一些对应的附加细节。
如上所述,在至少部分地基于来自在一个或多个房间中捕获的图像的视觉数据的分析而评估建筑物的一个或多个房间的可用性并且可选地进一步评估建筑物的整体可用性之后,BUAM系统的自动化操作还可包括以一种或多种进一步自动化方式使用所评估的房间和/或建筑物可用性信息。例如,如本文中其他地方更详细地讨论,这种评估信息可与楼层平面图和/或一个或多个房间和/或建筑物的其他生成的测绘信息相关联,并且用于至少部分地基于房间和建筑物的所确定的评估(例如,基于房间布局、通行流量等)来改进移动装置(例如,半自主或全自主车辆)对建筑物的自动化导航。在一些实施例中,关于房间和/或建筑物和/或物体评估以及关于物体的目标属性的评定的这种信息可进一步以附加方式使用,诸如将信息显示给用户以帮助他们对房间和/或建筑物的导航,或供用户进行其他使用。在一些实施例中,关于一个或多个房间和/或建筑物和/或物体评估以及关于物体的目标属性的评定的这种信息还可以以其他方式使用,诸如自动地识别建筑物中的改善或翻新区域(例如,在特定房间中,和/或相对于特定物体和/或其目标属性)、自动地评估建筑物的价格和/或价值(例如,基于与具有相对于建筑物的整体预期目的的整体建筑物可用性的类似评估和/或具有相对于建筑物的一些或全部房间的预期目的的房间可用性的类似评估的其他建筑物的比较)等。应理解的是,在其他实施例中,可取得评估信息的各种其他用途。
在各种实施例中,所描述的技术提供各种益处,包括允许用关于建筑物中的房间的评估和/或关于建筑物的整体评估的信息以及可选地房间中的特定物体的评估、建筑物的目标属性的评定自动地增强多房间建筑物和其他结构的楼层平面图。在一些实施例中,关于房间和/或建筑物和/或物体评估以及关于物体的目标属性的评定的这种信息还可以以附加方式使用,诸如自动地识别建筑物中的改善或翻新区域(例如,在特定房间中,和/或相对于特定物体和/或其目标属性)、自动地评估建筑物的价格和/或价值、自动地确保捕获并使用(例如,至少部分地由不是专家或在这种信息捕获中以其他方式训练的相关联用户使用)的期望类型的信息等。另外,这种自动化技术允许比先前存在的技术更快地确定这种建筑物、房间和物体信息,并且在至少一些实施例中具有更高的准确度,包括通过使用从实际建筑物环境(而不是从关于理论上应该如何建造建筑物的计划)采集的信息,以及使得能够捕获在最初建造建筑物之后出现的结构元素或建筑物的其他部分的变化。这种所描述的技术进一步提供了至少部分地基于房间和建筑物的所确定的评估(例如,基于房间布局、通行流量等)来允许改进由移动装置(例如,半自主或全自主车辆)对建筑物的自动导航方面的益处,包括显著减少用于尝试以其他方式获悉建筑物布局的计算能力和时间。另外,在一些实施例中,所描述的技术可用于提供改进的GUI,其中用户可更准确地且更快速地获得关于建筑物内部的信息(例如,供在该内部导航时使用),包括响应于搜索请求,作为向用户提供个性化信息的一部分,作为向用户提供价值估计和/或其他关于建筑物的信息的一部分等。所描述的技术还提供了各种其他益处,其中一些在本文的其他地方进一步描述。
如上所述,在至少一些实施例和情形中,针对建筑物采集的一些或全部图像可为各自在建筑物中或周围的多个采集位置中的一个处采集的全景图像,诸如以从以下一个或多个生成在每个这种采集位置处的全景图像:在该采集位置捕获的视频(例如,从由用户握持的智能电话或其他移动装置在该采集位置处转动而拍摄的360°视频)、或在多个方向上从采集位置捕获的多个图像(例如,从由用户握持的智能电话或其他移动装置在该采集位置处转动;从装置在该采集位置处的自动化旋转,诸如在该采集位置处的三脚架上等)、或针对特定采集位置同时捕获所有的图像信息(例如,使用一个或多个鱼眼镜头)等。应理解的是,在一些情形中,这种全景图像可表示在球坐标系中并且提供围绕水平和/或竖直轴线的高达360°覆盖范围(例如,沿着水平平面且围绕竖直轴线的360°覆盖范围),而在其他实施例中,所采集的全景图像或其他图像可包括少于360°水平和/或竖直覆盖范围(例如,对于宽度超过高度大典型宽高比的图像,诸如处于或超过21:9或16:9或3:2或7:5或4:3或5:4或1:1,包括所谓的“超宽”镜头和得到的超宽图像)。另外,应理解的是,可准许查看这种全景图像(或具有足够的水平和/或竖直覆盖范围使得在任何给定的时间仅显示图像的一部分的其他图像)的用户在全景图像内将查看方向移动到不同的取向,以指示在全景图像内渲染不同子集的图像(或“视图”),并且在一些情形中,这种全景图像可表示在球坐标系中(包括如果全景图像表示在球坐标系中并且渲染特定视图,则将图像转换为渲染成平面坐标系,诸如对于在显示之前的立体图像视图)。另外,可获得关于这种全景图像的捕获的采集元数据并且以各种方式使用,诸如在移动装置被用户携带或以其他方式在采集位置之间移动时从IMU(惯性测量单元)传感器或移动装置的其他传感器采集的数据,这种采集元数据的非排他性示例可包括以下一个或多个:采集时间;采集位置,诸如GPS坐标或其他位置指示;采集方向和/或取向;针对建筑物采集或以其他方式相关联的多个图像的相对或绝对采集顺序等,并且在至少一些实施例和情形中,这种采集元数据还可可选地用作确定图像的采集位置的部分,如下面进一步讨论。下面包括关于实施图像捕获和分析(ICA)系统的一个或多个装置在采集图像和可选地采集元数据中涉及的自动化操作的附加细节,包括关于图1A至图1B和图2A至图2D和图4以及本文中其他地方的附加细节。
同样如上所述,在各种实施例中,可以以各种方式自动地确定建筑物的房间的形状,包括在建筑物内的特定图像的采集位置的自动化确定之前的时间确定。例如,在至少一些实施例中,测绘信息生成管理器(MIGM)系统可分析在建筑物中和周围采集的各种图像,以便自动地确定建筑物房间的房间形状(例如,3D房间形状、2D房间形状等)并且自动地生成建筑物的楼层平面图。作为一个示例,如果在特定房间内采集多个图像,则可分析那些图像以确定建筑物的房间的3D形状(例如,以反映建筑物的周围结构元素的几何形状),分析可包括例如自动化操作来将图像的相机位置“登记”在共同参考系中以便将图像“对准”,并且估计房间中的物体的3D位置和形状,诸如确定在这种图像的内容中可见的特征(例如,以确定采集装置在拍摄特定图像时的方向和/或取向、采集装置行进穿过房间的路径等,诸如将SLAM技术用于多个视频帧图像和/或将其他SfM技术用于隔开至多定义的距离(诸如6英尺)的一组“密集”的图像以生成3D点云,其包括沿着房间的墙壁和房间的天花板和地板中的至少一些的3D点且可选地具有对应于房间中的其他物体的3D点等)和/或确定并聚合关于检测到的特征的平面和哪些平面的法线(正交)方向的信息以识别墙壁和房间的其他表面的的可能位置的平面表面并且连接各种可能的墙壁位置(例如,使用一个或多个约束,诸如在墙壁之间和/或在墙壁与地板之间具有90°角,作为所谓的“曼哈顿世界假设”的部分)并且形成该房间的估计房间形状。在确定了建筑物中的房间的估计房间形状之后,在至少一些实施例中,自动化操作还可包括将多个房间形状定位在一起以形成建筑物的楼层平面图和/或其他相关测绘信息,诸如通过连接各种房间形状。因此,这种建筑物楼层平面图可具有关联的房间形状信息,并且在各种实施例中,可具有各种形式,诸如建筑物的2D(二维)楼层地图(例如,不包括或显示高度信息的示意楼层地图的正交顶视图或其他俯视图)和/或建筑物的显示高度信息的3D(三维)或2.5D(二维半维度)楼层地图模型。作为一个或多个目标图像的视觉数据的自动化分析的部分,自动化操作可包括确定在房屋或其他建筑物的房间中(或在另一个限定区域中)捕获的目标图像的采集位置和可选地取向,以及使用目标图像的所确定的采集位置和可选地取向来进一步分析目标图像的视觉数据,目标图像的采集位置和取向的组合在本文中有时称为目标图像的“采集姿势”或“采集位置”或者仅称为“姿势”或“位置”。下面包括关于实施MIGM系统的一个或多个装置在确定房间形状并组合房间形状以生成楼层平面图中涉及的自动化操作的附加细节,包括关于图1A至图1B和图2E至图2M以及图5A至图5C和本文中其他地方的附加细节。
出于说明性目的,下面描述一些实施例,其中针对特定类型的结构以特定方式并通过使用特定类型的装置来采集、使用和/或呈现特定类型的信息—然而,将理解,所描述的技术可在其他实施例中以其他方式使用,并且因此本发明不限于所提供的示例性细节。作为一个非排他性示例,尽管在一些示例中讨论了房屋的特定类型的物体和房间的评估,但应理解的是,在其他实施例中,可类似地生成其他类型的评估,包括对于与房屋分开的建筑物(或者其他结构或布局)。作为另一个非排他性是,尽管在一些示例中,以特定方式提供特定类型的指令以获得特定类型的数据,但在其他实施例中,可使用其他类型的指令并且可以以其他方式采集其他类型的数据。另外,术语“建筑物”在本文中是指任何部分地或完全地封闭的结构,通常但不一定涵盖在视觉上或以其他方式划分结构的内部空间的一个或多个房间,这种建筑物的非限制性示例包括房屋、公寓大楼或其中的个人公寓、共管公寓、办公楼、商业建筑物或其他批发和零售结构(例如,购物中心、百货公司、仓库等)等。如本文参考建筑物内部、采集位置或其他位置(除非上下文另有明确指示)使用的术语“采集”或“捕获”可为指对与建筑物内部的空间特性和/或视觉特性和/或在其他方面可感知的特性或其子集有关的媒体、传感器数据和/或其他信息的任何记录、存储或录入,诸如通过记录装置或通过从记录装置接收信息的另一个装置。如本文所使用,术语“全景图像”可为指基于、包括或可分成源于不同方向上的基本上类似物理位置的多个离散分量图像并且描绘比离散分量图像中的任一个单独描绘的更大视野的视觉表示,包括来自物理位置的具有足够宽的视角以包括超出人凝视单个方向可感知到的角度(例如,大于120°或150°或180°等)的图像。如本文所使用,术语“一系列”采集位置通常是指两个或更多个采集位置,每个采集位置按对应的顺序被访问至少一次,而无论在它们之间是否访问过其他非采集位置,以及无论对所述采集位置的访问是在单个连续时间段期间还是在多个不同时间发生、或者是由单个用户和/或装置还是由多个不同用户和/或装置进行。另外,出于示例性目的,在附图和文本中提供了各种细节,但这些细节并不旨在限制本发明的范围。例如,附图中元件的尺寸和相对位置未必按比例绘制,一些细节被省略和/或更突出地提供(例如,经由尺寸和定位)以增强易读性和/或清晰度。另外,在附图中可使用相同的附图标记来标识类似的元件或动作。
图1A是在一些实施例中可参与所描述的技术的各种计算装置和系统的示例框图。特别地,在图1A中示出了由在此示例中在一个或多个服务器计算系统180上执行的内部捕获和分析(“ICA”)系统160诸如相对于一个或多个建筑物或其他结构生成的全景图像165,并且其中可选地已经针对至少一些图像对生成图像间方向链接,图1B示出了特定房屋198的此类全景图像采集位置210的一个示例(例如,分别来自采集位置210A和210B、210A和210C以及210B和210C的图像对之间的图像间相对方向链接215-AB和215-AC以及215-BC),如下面进一步讨论,并且在本文的其他地方包括与ICA系统的自动化操作有关的附加细节,包括关于图4的附加细节。在至少一些实施例中,ICA系统中的至少一些可部分地在移动计算装置185上执行(无论是补充还是代替一个或多个服务器计算系统180上的ICA系统160),诸如在可选的ICA应用程序154中执行,以控制由移动计算装置和/或由于该移动计算装置协作地操作的一个或多个附近(例如,在相同的房间中)的可选的单独相机装置186对目标图像和可选地附加的非视觉数据的采集,如关于图1B进一步讨论。MIGM(测绘信息生成管理器)系统160进一步在图1A中的一个或多个服务器计算系统180上执行,以基于全景图像165和可选地关于其采集和链接的关联元数据的使用来生成并提供建筑物楼层平面图155和/或其他测绘相关信息,图2M至图2O(为清楚起见,在本文中称为“2-O”)示出了这种楼层平面图的示例,如下面进一步讨论,并且在本文的其他地方包括与MIGM系统的自动化操作有关的附加细节,包括关于图5A至图5B的附加细节。
图1A进一步示出了BUAM(建筑物可用性评估管理器)系统140,所述BUAM系统在一个或多个服务器计算系统180上执行以自动地分析来自在建筑物的房间中捕获的图像144的视觉数据(例如,至少部分地基于全景图像165)以评估建筑物中的房间的可用性,并且随后以一种或多种方式使用所评估的可用性信息,包括在BUAM系统的操作期间生成并使用各种可用性信息145(例如,关于房间中物体及其目标属性的信息、物体及其目标属性的图像、房间布局数据、目标属性的评定、物体和/或房间和/或建筑物的评估等)。在至少一些实施例和情形中,BUAM客户端计算装置105的一个或多个用户可进一步通过一个或多个互联网170与BUAM系统140交互,诸如以帮助BUAM系统的自动化操作中的一些。在本文的其他地方包括与BUAM系统的自动化操作有关的附加细节,包括关于图2P至图2X和图6A至图6B的附加细节。在一些实施例中,ICA系统和/或MIGM系统和/或BUAM系统140可在相同的一个或多个服务器计算系统上执行,诸如如果那些系统中的多个或全部由单个实体操作或以其他方式彼此协调而执行(例如,那些系统中的一些或全部功能被一起集成到较大的系统中),而在其他实施例中,BUAM系统可与ICA和/或MIGM系统分开操作(例如,不使用由ICA和/或MIGM系统生成的任何信息)。
一个或多个客户端计算装置175的一个或多个用户(未示出)可进一步通过一个或多个计算机网络170与BUAM系统140和可选地ICA系统和/或MIGM系统交互,诸如协助一个或多个系统的自动化操作和/或获得由系统中的一个或多个生成的信息(例如,所捕获的图像;所生成的楼层平面图,诸如具有叠加在楼层平面图上或以其他方式与其相关联的关于所生成的物体和/或房间和/或建筑物评估的信息,和/或具有叠加在楼层平面图上或以其他方式与其相关联的关于一个或多个所捕获的图像的信息);关于所生成的物体和/或房间和/或建筑物评估的信息等)并且可选地与其交互,包括可选地在楼层平面图视图和在楼层平面图内或附近的采集位置处的特定图像的视图之间改变;改变显示全景图像的对应视图所依据的水平和/或竖直查看方向,诸如确定当前用户查看方向所指向的全景图像的一部分等。另外,虽然图1A中未说明,但是楼层平面图(或其一部分)可链接到一个或多个其他类型的信息或以其他方式与其相关联,包括多层楼或其他多层建筑物的楼层平面图具有相互连接(例如,经由连接的楼梯通道)的不同楼或楼层的多个相关联子楼层平面图、建筑物的二维(“2D”)楼层平面图链接到建筑物的三维(“3D”)渲染楼层平面图或以其他方式与其相关联等。另外,虽然在图1A中未说明,但是在一些实施例中,客户端计算装置175(或其他装置,未示出)可以以附加方式接收并使用关于所生成的物体和/或房间和/或建筑物评估的信息(可选地与所生成的楼层平面图和/或其他所生成的测绘相关信息结合),诸如以控制或辅助这些装置(例如,自主车辆或其他装置)的自动化导航活动,而无论是代替还是补充所生成的信息的显示。
在图1A的所描绘计算环境中,网络170可为可能由各种不同的方操作的一个或多个公共可访问的链接网络,诸如互联网。在其他实施方式中,网络170可具有其他形式。例如,网络170反而可为专用网络,诸如非特权用户完全或部分无法访问的公司或大学网络。在再其他实施方式中,网络170可包括专用网络和公共网络两者,其中专用网络中的一个或多个可访问公共网络中的一个或多个和/或从公共网络中的一个或多个访问专用网络中的一个或多个。另外,在各种情形中,网络170可包括各种类型的有线和/或无线网络。另外,客户端计算装置105和175以及服务器计算系统180可包括各种硬件部件和存储的信息,如下面关于图3更详细地讨论。
在图1A的示例中,ICA系统160可执行自动化操作,这些自动化操作涉及在多个相关联的采集位置处(例如,在建筑物或其他结构内的多个房间或其他位置中以及可选地在建筑物或其他结构的外部的一些或全部的周围)生成多个目标全景图像(例如,每一个为围绕竖直轴线的360度全景),诸如用于生成并提供建筑物或其他结构的内部的表示。在一些实施例中,ICA系统的其他自动化操作可进一步包括:分析信息以确定两个或更多个采集位置中的每一个之间的相对位置/方向;基于这种所确定的位置/方向在全景中创建到一个或多个其他全景中的每一个的全景间位置/方向链接;以及然后,提供信息以显示或以其他方式呈现建筑物内各个采集位置的多个链接的全景图像,而在其他实施例中,一些或全部这种其他自动化操作可改为由MIGM系统执行。
图1B描绘了示例性建筑物内部环境的框图,在该建筑物内部环境中,已生成链接的全景图像并且准备好用于生成并提供对应的建筑物楼层平面图以及用于向用户呈现链接的全景图像。特别地,图1B包括建筑物198(在此示例中,房屋198),该建筑物具有至少部分地经由多个全景图像捕获的内部,诸如由携带具有图像采集能力的移动装置185和/或一个或多个单独的相机装置186的用户(未示出)穿过建筑物内部到达一系列多个采集位置210。ICA系统的实施例(例如,一个或多个服务器计算系统180上的ICA系统160;在用户的移动装置上执行的ICA系统的一些或全部的副本,诸如在装置185的存储器152中执行的ICA应用程序系统154等)可自动地执行或协助捕获表示建筑物内部的数据,以及在一些实施例中,进一步分析所捕获的数据以生成链接的全景图像,从而提供建筑物内部的视觉表示。尽管用户的移动装置可包括各种硬件部件,诸如一个或多个相机或其他成像系统135、一个或多个传感器148(例如,陀螺仪148a、加速度计148b、罗盘148c等,诸如移动装置的一个或多个IMU或惯性测量单元的部分);一个或多个硬件处理器132、存储器152、显示器142(例如,包括触敏显示屏)、可选地一个或多个深度传感器136、可选地其他硬件元件(例如,高度计;光检测器;GPS接收器;附加存储器或其他存储设备,无论是易失性的还是非易失性的;麦克风;一个或多个外部灯;通过一个或多个网络170和/或经由直接装置到装置通信与其他装置交互的传输能力,诸如与相关联的相机装置186或远程服务器计算系统180交互;麦克风;一个或多个外部灯等),但是在至少一些实施例中,移动装置不能访问或使用设备(诸如深度传感器136)来相对于移动计算装置的位置测量建筑物中的物体的深度,使得可部分地或完全地基于不同图像中的匹配要素和/或通过使用来自其他列出的硬件部件的信息来确定不同的全景图像与其采集位置之间的关系,但是无需使用来自任何此类深度传感器的任何数据。尽管为了简洁起见未说明,但是一个或多个相机装置186可类似地各自包括至少一个或多个图像传感器和用于存储所采集的目标图像的存储、以及将所采集的目标图像传输到其他装置(例如,相关联的移动计算装置185、远程服务器计算系统180等)的传输能力、可选地以及一个或多个镜头和灯,并且可选地在一些实施例中,示出了移动计算装置的其他部件中的一些或全部。另外,虽然提供方向指示符109以供查看者参考,但是在至少一些实施例中,移动装置和/或ICA系统可不使用这种绝对方向信息,诸如改为确定全景图像210之间的相对方向和距离,而不考虑实际地理位置或方向。
在操作中,移动计算装置185和/或相机装置186(对于图1B的示例,下文称为“一个或多个图像采集装置”)到达建筑物内部的第一房间内的第一采集位置210A(在此示例中,经由从外门190-1到客厅的入口),并且捕获从该采集位置210A可见的建筑物内部的一部分的视觉数据(例如,第一房间的一些或全部、以及可选地一个或多个其他相邻或附近房间的小部分,诸如穿过门道、大厅、楼梯或始于第一房间的其他连接通道),在至少一些情形中,一个或多个图像采集装置可由一个或多个用户携带或以其他方式陪同,而在其他实施例和情形中,可安装在靠自身的动力移动经过建筑物的一个或多个自动力装置上或由其携载。另外,在各种实施例中,可以以各种方式执行从采集位置捕获视觉数据(例如,使用同时捕获所有的图像数据的一个或多个镜头、相关联的用户在使一个或多个图像采集装置相对于用户身体保持固定的同时将他或她的身体转圈、安装或携载有一个或多个图像采集装置的自动化装置旋转一个或多个图像采集装置等),并且可包括在采集位置记录视频和/或在采集位置拍摄一系列一个或多个图像,包括捕获描绘可在从采集位置或附近捕获的图像(例如,视频帧)中可见的许多元素或其他物体(例如,结构细节)的视觉信息。在图1B的示例中,这种元素或其他物体包括在结构上为房屋的房间的墙壁的一部分的各种元素(或结构“墙壁元素”),诸如门道190和197及其门(例如,带有旋转门和/或滑动门)、窗户196、墙壁间边界(例如,角落或边缘)195(包括在房屋198的西北角的角落195-1、在第一房间(客厅)的东北角的角落195-2、以及在第一房间的西南角的角落195-3),另外,在图1B的示例中,这种元素或其他物体可进一步包括房间内的其他元素,诸如家具191至193(例如,沙发191;椅子192;桌子193等)、挂在墙壁上的图片或绘画或电视或其他物体194(诸如,194-1和194-2)、照明灯具等。一个或多个图像采集装置进一步可选地在旋转时在采集位置210A处或附近捕获附加数据(例如,使用成像系统135的附加视觉数据、使用传感器模块148的附加运动数据、可选地使用距离测量传感器136的附加深度数据等),以及在一个或多个图像采集装置移动到采集位置和/或从采集位置移动时进一步可选地捕获此类附加数据。在一些实施例中,一个或多个图像采集装置的动作可经由使用在移动计算装置185上执行的一个或多个程序(例如,经由对一个或多个图像采集装置或对靠自身的动力携载那些装置经过建筑物的另一个移动装置(未示出)的自动化指令;经由对房间中的相关联用户的指令等)来控制或促进,这些程序诸如ICA应用程序系统154和/或可选的浏览器162、用于管理装置185的I/O(输入/输出)和/或通信和/或网络(例如,从用户接收指令和将信息呈现给用户)的控制系统147等。用户还可可选地提供与采集位置相关联的文本或听觉标识符,诸如用于采集位置210A的“入口”或用于采集位置210B的“客厅”,而在其他实施例中,ICA系统可自动生成此类标识符(例如,通过自动分析建筑物的视频和/或其他记录信息来执行对应的自动化确定,诸如通过使用机器学习来执行),或者可不使用标识符。
在已经适当地捕获第一采集位置210A之后,一个或多个图像采集装置(和用户,如果存在的话)可继续到下一采集位置(诸如沿着行进路径115的采集位置210B),从而可选地由一个或多个图像采集装置在采集位置之间移动期间记录移动数据,诸如来自硬件部件(例如,来自一个或多个IMU 148、来自成像系统135和/或一个或多个相机装置186、来自距离测量传感器136等)的视觉数据和/或其他非视觉数据。在下一采集位置,一个或多个图像采集装置可类似地从该采集位置捕获一个或多个目标图像,并且可选地在该采集位置处或附近捕获附加数据。该过程可从建筑物的一些或全部房间重复,并且可选地在建筑物外部重复,如针对采集位置210C至210S所示出。进一步分析由一个或多个图像采集装置针对每个采集位置所采集的视频和/或其他图像,以针对采集位置210A至210S中的每一个生成目标全景图像,在一些实施例中包括将多个组成图像拼接在一起以创建全景图像和/或匹配不同图像中的物体和其他元素。
除了生成这种全景图像外,在至少一些实施例中,进一步分析可由MIGM系统(例如,与图像捕获活动同时地或在图像捕获之后)执行以确定每个房间的房间形状(并且可选地对于其他限定的区域,诸如建筑物外部的平台或其他露台或者其他外部限定的区域),包括可选地确定每个目标图像的采集位置信息,并且可选地进一步确定建筑物的楼层平面图和/或建筑物的其他相关测绘信息(例如,一组互连的链接的全景图像等),例如,为了将全景中的至少一些及其采集位置“链接”在一起(其中为了说明起见,示出了示例采集位置210A至210C之间的一些对应的方向线215),MIGM系统的副本可确定彼此可见的采集位置对之间的相对位置信息、存储对应的全景间链接(例如,分别在采集位置210A与210B、210B与210C和210A与210C之间的链接215-AB、215-BC和215-AC),并且在一些实施例和情形中,进一步链接彼此不可见的至少一个采集位置(例如,在采集位置210B与210E之间的链接215-BE(未示出);在采集位置210C与210S之间的链接215-CS(未示出)等)。
另外,移动计算装置185和/或相机装置186可在BUAM系统(无论是在一个或多个服务器计算系统180上的系统140还是在移动计算装置185的存储器152中执行的BUAM应用程序156)的控制下操作以捕获房间和房间中物体及其目标属性的图像,无论是代替还是补充执行ICA系统的图像采集操作(例如,在一些实施例中,同时捕获用于两个系统的图像、捕获仅用于BUAM系统而不用于ICA系统的图像等)。以类似于上面关于ICA系统讨论的方式,图像采集装置可移动经过建筑物198的一些或全部房间以捕获初始图像和附加图像(例如,同时,诸如如果以实时或近实时的方式执行对初始图像的视觉数据的分析的话,诸如在采集初始图像的数秒或数分钟内;在经过建筑物的两个或更多个不同的行程中,诸如用于捕获初始图像的一个或多个第一行程和用于捕获附加图像的一个或多个第二行程等),但在其他情形中,BUAM系统可仅采集附加图像(例如,如果来自另一个系统(诸如ICA系统)的图像被用作初始图像的话)和/或仅采集初始图像(例如,如果初始图像包括关于所有的物体和物体的目标属性的足够视觉细节来执行目标属性的评定和物体的评估以及房间的评估的话)。由BUAM系统对初始图像和/或附加图像的采集可例如包括遵循路径115全部地或部分地经过采集位置210,并且可选地可包括偏离该路径以捕获关于各个物体和/或物体属性的足够细节,在至少一些情形下,一个或多个图像采集装置可由一个或多个用户在参与捕获用于BUAM系统的初始图像和/或附加图像时携带或以其他方式陪同,而在其他实施例和情形中,可安装在靠自身的动力移动经过建筑物的一个或多个自动力装置上或由其携载。另外,在各种实施例中,可以以各种方式执行视觉数据的捕获,如上面关于ICA系统的操作更详细地讨论。一个或多个图像采集装置进一步采集用于BUAM系统的附加数据(例如,使用成像系统135的附加视觉数据、使用传感器模块148的附加运动数据、可选地使用距离测量传感器136的附加深度数据等),以及由一个或多个陪同的用户(例如,BUAM系统操作者用户)输入或以其他方式提供的数据。在一些实施例中,一个或多个图像采集装置的动作可经由使用在移动计算装置185上执行的一个或多个程序(例如,经由对一个或多个图像采集装置或对靠自身的动力携载那些装置经过建筑物的另一个移动装置(未示出)的自动化指令;经由对房间中的相关联用户的指令等)来控制或促进,这些程序诸如BUAM应用程序系统156和/或BUAM系统140。在捕获了各种初始图像和附加图像以及任何其他附加数据之后,BUAM系统继续执行其自动化操作以评定目标属性并且评估物体、房间和/或建筑物的可用性信息,以及以各种方式使用所生成的可用性信息。
关于图1A至图1B提供了各种细节,但应理解的是,所提供的细节是出于说明性目的而包括的非排他性示例,并且可在没有一些或全部这种细节的情况下以其他方式执行其他实施例。
图2A至图2X说明了自动地捕获与建筑物相关联的图像并且分析图像的视觉数据(可选地以及附加类型的所捕获的数据)以生成并使用关于建筑物及其房间的各种信息的示例,诸如生成建筑物的楼层平面图、建筑物的房间的房间形状、房间和房间中物体(和物体的目标属性的评定)以及建筑物的可用性评估,图像中的至少一些是在图1B中所讨论的建筑物198内的采集位置210处捕获的。
特别地,图2A示出了示例图像250a,诸如在图1B的房屋198客厅中从采集位置210B向东北方向上拍摄的非全景立体图像(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向东北的子集视图),诸如由ICA系统和/或由BUAM系统拍摄作为初始图像。在此示例中进一步显示方向指示符109a以说明拍摄图像的向东北方向。在所示出的示例中,所显示的图像包括内置元素(例如,照明灯具130a)、家具(例如,椅子192-1)、两个窗户196-1和挂在客厅北墙壁上的图片194-1。进出客厅的房间间通道(例如,门道或其他墙壁开口)在此图像中不可见。然而,在图像250a中可见多个房间边界,包括客厅北墙壁的可见部分和客厅天花板及地板之间的水平边界、客厅东墙壁的可见部分和客厅天花板及地板之间的水平边界、以及北墙壁和东墙壁之间的墙壁间竖直边界195-2。
图2B继续示出图2A的示例,并且说明了由一个或多个图像采集装置在图1B的房屋198客厅中从采集位置210B向西北方向上捕获的附加立体图像250b(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向西北的子集视图),在此示例中进一步显示方向指示符109b以说明拍摄图像的向西北方向。在此示例图像中,窗户196-1中的一个的一小部分连同窗户196-2的一部分以及新的照明灯具130b继续可见。另外,水平和竖直房间边界以与图2A的方式类似的方式在图像250b中可见。
图2C继续示出图2A至图2B的示例,并且示出了由一个或多个图像采集装置在图1B的房屋198客厅中诸如从采集位置210B向西南方向上捕获的第三立体图像250b(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向西南的子集视图),在此示例中进一步显示方向指示符109c以说明拍摄图像的向西南方向。在此示例图像中,窗户196-2的一部分继续可见,正如沙发191以及视觉水平和竖直房间边界以与图2A和图2B的方式类似的方式也继续可见。此示例图像进一步说明了进出客厅的墙壁开口通道,在此示例中,该墙壁开口通道是进入和离开客厅的门道190-1(图1B将其识别为通向房屋外部的门)。应理解的是,可从采集位置210B和/或其他采集位置拍摄,并以类似方式显示多种其他立体图像。
图2D示出了图1B的房屋198的一部分的其他信息255d,包括客厅和在客厅东边的其他房间的有限部分。如关于图1B和图2A至图2C讨论,在一些实施例中,可在房屋内部中的各种位置捕获目标全景图像,诸如在客厅中的位置210A和210B,其中一个或两个这种得到的目标全景图像的对应视觉内容随后用来确定客厅的房间形状。另外,在至少一些实施例中,可捕获附加图像,诸如在一个或多个图像采集装置(未示出)在移动经过房屋的内部时捕获视频或者一个或多个其他系列的连续或几乎连续图像的情况下。在此示例中,示出了图1B所示的路径115的一部分的信息,并且特别地示出了沿着在一个或多个图像采集装置移动时可捕获(例如,如果在捕获视频数据的话)房屋的周围内部的一个或多个视频帧图像(或者其他系列的连续或几乎连续的图像)的路径的一系列位置215,这种位置的示例包括捕获位置240a至240c,其中其他信息与从图2E至图2J所示的那些位置捕获的视频帧图像有关。在此示例中,沿着路径的位置215被示出为分开短距离(例如,一英尺、一英寸、零点几英寸等),但应理解的是,视频捕获可为基本上连续的,因此,在至少一些实施例中,可仅选择这种捕获的视频帧图像(或来自一系列连续或几乎连续的图像的其他图像)的子集并且将其用于进一步分析,诸如分开定义的距离和/或在捕获之间分开定义的时间量(例如,一秒、零点几秒、几秒等)和/或基于其他标准的图像。
图2E至图2J继续示出了图2A至图2D的示例,并且示出了关于客厅以及关于作为确定房间的部分可能形状的一种类型的估计的部分(诸如由MIGM系统确定)而分析来自沿着路径155捕获的视频的360°图像帧的附加信息。尽管这些图中未说明,但可针对由相机装置在采集位置210A、210B和210C中的两个或更多个处捕获的目标全景图像执行类似的技术,无论是补充分析图2D所示的附加图像帧(例如,以使用目标图像的视觉数据来生成房间的可能形状的附加估计)还是代替分析图2D所示的附加图像帧。特别地,图2E包括信息255e,该信息说明从位置240b拍摄的360°图像帧将与从位置240a拍摄的360°图像帧共享关于多种可见2D特征的信息,但为了简单起见,仅在图2E中示出了客厅的一部分的这种特征的有限子集。在图2E中,示出了从位置240b到房间中的各种示例特征的示例视线228,并且示出了从位置240a到对应的特征的类似示例视线227,这示出了在显著隔开的捕获位置的视角之间的差异程度。因此,使用SLAM和/或MVS和/或SfM技术分析对应于图2D的位置215的一系列图像可提供关于客厅的特征的多种信息,如关于图2F至图2I进一步说明。
特别地,图2F示出了在从位置240a和240b拍摄的360°图像帧的子集中可见的客厅的东北部分的信息255f,并且图2G示出了从位置240a和240b拍摄的360°图像帧的其他子集中可见的客厅的西北部分的信息255g,其中客厅的那些部分中的各种示例特征在两个360°图像帧中可见(例如,角落195-1和195-2、窗户196-1和196-2等)。作为使用SLAM和/或MVS和/或SfM技术对360°图像帧的自动化分析的一部分,可根据检测到的特征来确定关于对应于客厅的北墙的部分的平面286e和286f的部分信息,并且可类似地根据图像中识别的对应特征来确定关于客厅的东墙和西墙的部分的部分信息287e和285f。除了识别检测到的特征(例如,来自图像分析的所确定的稀疏3D点云中的每个点)的这种部分平面信息外,SLAM和/或MVS和/或SfM技术还可确定关于以下项的信息:来自捕获位置240a的图像子集的可能位置和取向/方向220以及来自捕获位置240b的图像子集的可能位置和取向/方向222(例如,分别是捕获位置240a和240b的图2F中的位置220g和222g、和可选地图2F所示的图像子集的方向220e和222e;以及分别是捕获位置240a和240b的图2G中的对应位置220g和222g、和可选地图2G所示的图像子集的方向220f和222f)。尽管图2F和图2G中仅示出了客厅的部分的特征,但将理解,可以以类似方式分析对应于客厅的其他部分的360°图像帧的其他部分,以便确定关于房间的各个墙壁以及客厅的其他特征(未示出)的可能平面的可能信息。另外,可在客厅中的被选择来使用的位置215处的一些或所有其他图像之间执行类似的分析,从而导致来自各种图像分析的可对应于房间的墙壁的部分的多种确定的特征平面。
图2H继续示出了图2A至图2G的示例,并且示出了来自在位置240a和240b捕获的360°图像帧的分析的关于可对应于客厅的西墙和北墙的部分的多种确定的特征平面的信息255h。所示出的平面信息包括在北墙(和因此北墙的部分的对应的可能位置)附近或在该处的确定的平面286g,以及在西墙(和因此西墙的部分的对应的可能位置)附近或在该处的确定的平面285g。如将预期,来自在两个360°图像帧的分析中检测到的不同特征的北墙和西墙的不同确定的平面存在许多变化,诸如位置、角度和/或长度的差异以及墙壁的一些部分的丢失数据,从而导致不确定每个墙壁的实际精确位置和角度。尽管图2H中未说明,但应理解的是,将类似地检测到客厅的其他墙壁的类似确定的特征平面,以及对应于不沿着墙壁的特征(例如,家具)的确定的特征平面。
图2I继续示出了图2A至图2H的示例,并且示出了关于来自对从沿着客厅中的路径115的附加位置215选择的各种附加360°图像帧的分析的可对应于客厅的西墙和北墙的部分的附加确定的特征平面信息的信息255i,如将预期,在此示例中,对其他图像的分析提供北墙和西墙的不同确定的平面的甚至更大变化。图2I还示出了用来聚合关于各种确定的特征平面部分的信息以便标识西墙和北墙的可能部分位置295a和295b的附加确定的信息,如图2J的信息255j所示出。特别地,图2I示出了关于对应于西墙的确定的特征平面中的一些的法线正交方向的信息291a,以及关于那些确定的特征平面的附加信息288a。在示例实施例中,对确定的特征平面进行聚类以表示西墙的假定墙壁位置,并且将关于假定墙壁位置的信息相结合以确定可能的墙壁位置295a,诸如对来自各种集群的信息和/或基本的确定特征平面进行加权。在至少一些实施例中,经由使用机器学习技术来分析假定墙壁位置和/或正常信息,以可选地通过作为机器学习分析的部分而进一步应用假设或其他约束(诸如90°角落,如图2H的信息289所示出,和/或具有平坦墙壁)或者应用分析的结果来确定得到的可能墙壁位置。可针对北墙使用关于对应确定的特征平面的信息288b和关于那些确定的特征平面中的至少一些的得到的法线正交方向的附加信息291b来执行类似的分析。图2J示出了分别是客厅的西墙和北墙的得到的可能部分墙壁位置295a和295b,包括可选地估计丢失数据的位置(例如,经由使用其他数据的内插和/或外推)。
尽管图2I中未示出,但应理解的是,将类似地检测并分析客厅的其他墙壁的类似确定的特征平面和对应的标准方向以确定它们的可能位置,从而导致基于由一个或多个图像采集装置在客厅中采集的视觉数据的客厅的估计部分总体房间形状。另外,针对建筑物的每个房间执行类似的分析,从而提供每个房间的估计部分房间形状。另外,尽管图2D至图2J中未说明,但在一些实施例中,可通过对由一个或多个图像采集装置在客厅中捕获的深度数据(未示出)的分析来补充和/或替换对由一个或多个图像采集装置捕获的视觉数据的分析,诸如以从表示客厅的墙壁和可选地天花板和/或地板的深度数据直接生成估计的3D点云。尽管图2D至图2J中也未说明,但在至少一些实施例中,可仅使用单个目标全景图像来执行其他房间形状估计操作,诸如经由一个或多个经训练的神经网络对目标全景图像的视觉数据的分析,如本文中其他地方更详细地描述。
图2K继续示出了图2A至图2J的示例,并且示出了关于可从房间中的一个或多个图像生成并且在至少一些实施例中以一种或多种方式使用的附加信息的信息255k。特别地,可分析在房屋198的客厅中捕获的图像(例如,视频帧)以便确定客厅的估计3D形状,诸如从在视频帧中检测到的特征的3D点云来确定(例如,使用SLAM和/或SfM和/或MVS技术,并且可选地进一步基于由一个或多个图像采集装置捕获的IMU数据)。在此示例中,信息255k反映客厅的这种点云的示例部分,诸如在此示例中,以与图2C的图像250c类似的方式对应于客厅的向西北方向(例如,包括客厅的西北角落195-1以及窗户196-1)。可进一步分析这种点云以检测特征,诸如窗户、门道和其他房间间开口等,在此示例中,识别对应于窗户196-1的区域299,以及对应于客厅的北墙的边界298。应理解的是,在其他实施例中,可通过使用由一个或多个图像采集装置在客厅中捕获的深度数据来确定客厅的这种估计3D形状,无论是补充还是代替使用由一个或多个图像采集装置在客厅中捕获的一个或多个图像的视觉数据。另外,应理解的是,可在客厅和房屋198的其他房间中类似地识别各种其他墙壁和其他特征。
图2L示出了附加信息255l,该附加信息对应于在确定房屋198的所示出的楼层的房间的最终估计房间形状(例如,客厅的2D房间形状236)之后,在此示例中至少部分地基于房间之间的连接房间间通道和邻接房间的匹配房间形状信息将房间的估计房间形状相对于彼此定位,在至少一些实施例中,这种信息可被认为是关于房间的定位的约束,并且确定那些约束的最佳或在其他方面优选的解决方案。图2L中的这种约束的示例包括使相邻房间的连接通道信息(例如,在关于图2E至图2J和/或图2P至图2X讨论的自动化图像分析中检测到的通道)进行匹配231,使得那些通道的位置共位,并且使相邻房间的形状进行匹配232以便连接那些形状(例如,如针对房间229d和229e以及房间229a和229b所示)在其他实施例中,无论是补充还是代替基于通道的约束和/或基于房间形状的约束,各种其他类型的信息可用于房间形状位置,诸如房屋的总体大小的精确或近似尺寸(例如,基于关于建筑物的可用的附加元数据、对来自建筑物外部的一个或多个图像采集位置的图像的分析等)。可进一步识别房屋外部信息233并将其用作约束(例如,至少部分地基于通道和对应于建筑物外部的其他特征(诸如窗户)的自动化识别),诸如以防止另一房间放置在已经被识别为建筑物外部的位置。在图2L的示例中,所使用的最终估计房间形状可为2D房间形状,或改为可生成并使用3D最终估计房间形状的2D版本(例如,通过取得3D房间形状的水平切片)。
图2M至图2-O继续示出了图2A至图2L的示例,并且示出了可从图2A至图2L和图2P至图2V中讨论的分析类型生成的测绘信息,诸如由MIGM系统生成。特别地,图2M示出了可基于确定的最终估计房间形状的定位构建的示例2D楼层平面图230m,在此示例中,该楼层平面图包括墙壁以及门道和窗户的指示。在一些实施例中,这种楼层平面图可示出其他信息,诸如关于由分析操作自动地检测到和/或随后由一个或多个用户添加的其他特征。例如,图2N示出了包括各种类型的附加信息的经修改楼层平面图230n,诸如可从来自图像的视觉数据的分析操作和/或从深度数据自动地识别并且添加到楼层平面图230m的信息,包括以下类型的信息中的一个或多个:房间标签(例如,用于客厅的“客厅”)、房间尺寸、家具或家电或者其他固定特征的视觉指示、附加类型的关联和链接信息(例如,最终用户可选择来进一步显示的在指定的采集位置采集的全景图像和/或立体图像;最终用户可选择来进一步呈现的音频注释和/或声音记录等)的位置的视觉指示、门道和窗户的视觉指示灯,在其他实施例和情形中,可反而由一个或多个MIGM系统操作者用户和/或ICA系统操作者用户提供一些或所有这种类型的信息。另外,如果可获得由BUAM系统生成的评估和/或其他信息,则可类似地将其添加到楼层平面图230m和/或230n或以其他方式与该楼层平面图相关联,无论是补充还是代替相对于楼层平面图230b针对楼层平面图230n示出的一些或全部其他附加类型的信息。另外,当向最终用户显示楼层平面图230m和/或230n时,可添加一个或多个用户可选择控件以提供交互功能作为GUI(图形用户界面)屏幕255n的部分,诸如指示要显示的当前楼层、允许最终用户选择要显示的不同楼层等,其中在此示例中,对应的示例用户可选择控件228添加到GUI,另外,在一些实施例中,也可直接从所显示的楼层平面图进行楼层或其他楼的改变,诸如经由选择对应的连接通道(例如,通往不同楼层的楼梯),并且可通过选择对应所显示的用户可选择控件来直接从所显示的楼层平面图进行其他视觉改变(例如,选择对应于特定位置的特定图像的控件,以及接收该图像的显示,无论是代替还是补充从中选择图像的楼层平面图的先前显示)。在其他实施例中,可同时显示一些或所有不同楼层的信息,诸如形式单独楼层的单独子楼层平面图或者改为将所有房间和楼层的房间连接信息集成到立刻同时显示的单个楼层平面图中。应理解的是,在一些实施例中可添加各种其他类型的信息,在一些实施例中可不提供所示出类型的信息中的一些,并且在其他实施例中可以以其他方式显示并选择链接和关联信息的视觉指示及对其的用户选择。
图2-O继续示出了图2A至图2N的示例,并且示出了可从本文中公开和显示(例如,在类似于图2N的GUI中)的自动化分析技术生成的附加信息265o,在此示例中,该附加信息是房屋的2.5D或3D模型楼层平面图。这种模型265o可为基于楼层平面图230m和/或230n生成的附加测绘相关信息,其中示出了关于高度的附加信息以便说明诸如窗户和门的特征在墙壁中的视觉位置,或者改为组合的最终估计房间形状,所述房间形状是3D形状。尽管图2-O中未说明,但在一些实施例中,附加信息可添加到显示的墙壁,诸如来自在视频捕获期间拍摄的图像(例如,在渲染的模型265上渲染和说明实际绘画、墙纸或来自房屋的其他表面),和/或可以以其他方式使用以向墙壁和/或其他表面添加指定的颜色、纹理或其他视觉信息。另外,图2N中所示出的一些或全部附加类型的信息可类似地添加到楼层平面图模型265o并在其中示出。
图2P至图2X继续示出了图2A至图2-O的示例,其中图2P进一步示出了示出图1B的房屋198客厅的一部分的信息255p。特别地,在图2P的示例中,示出了客厅的西南部分的图像250p(以类似于图2C的图像250c的方式),但其中附加信息叠加在图像上以说明关于在房间的该部分中识别的物体和目标属性确定的信息以供进一步分析,以及关于那些物体的位置的信息。特别地,在此示例中,西边窗户(图像250c的元素196-2)被选择作为房间的感兴趣物体,其中已经为该物体确定了对应的“西边窗户”标签246p2(无论是自动地还是至少部分地基于由一个或多个相关联的用户提供的信息),并且示出了图像中的物体的自动地确定的位置199b(在此示例中,该位置是物体的边界框)。图2P的信息255p进一步示出了至少部分地基于图像250p的视觉数据识别的物体和感兴趣目标属性的列表248p,这表明西边窗户的感兴趣目标属性包括其大小和关于透过窗户的景色的信息。图像250p进一步表明门(图2C的元素190-1)已经被识别为感兴趣物体,其中示出了“前门”标签246p1(无论是自动地还是至少部分地基于由一个或多个相关联的用户提供的信息确定)和自动地确定的边界框位置199a。另外,信息248p表明门的目标属性包括在图像250p上进一步在视觉上指示为131p的门把手和门铰链。另外,图像250p还表明沙发(图2C的元素191)已经被识别为感兴趣物体,其中为沙发识别自动地确定的像素级掩模位置199c,但在此示例中未示出标签。可类似地识别其他物体,诸如如在信息248p中指示的一个或多个天花板灯具,但在示例图像250p中未示出(例如,至少部分地基于典型“客厅”的房间预期或典型的物体的定义类型的列表)。类似地,可识别其他目标属性,诸如如在信息248p中指示的西边窗户的闩锁五金,但在示例图像250p中未示出(例如,至少部分地基于类型“窗户”的物体预期或典型的目标属性的定义类型的列表)。另外,还确定(无论是自动地还是至少部分地基于由一个或多个相关联的用户提供的信息)并示出了用于房间的“客厅”标签246p3。在一些实施例中,这种信息250p和/或信息248p可例如显示给房间中的相关联用户(例如,在用户的移动计算装置或用户的其他图像采集装置上),作为向用户提供关于要捕获的附加数据的指定的部分,诸如以识别特定物体和/或目标属性以及其位置。图2Q提供了作为信息255q的部分的替代图像250q,在此示例中,该替代图像是客厅的360°视觉覆盖范围的全景图像,这种全景图像可代替或补充诸如图像250p的立体图像来使用,以识别物体和目标属性以及附加的相关信息(例如,位置、标签等),以及用于评估房间中的物体的整体布局和/或房间的预期通行流量,其中示例全景图像250q类似地示出前门和西边窗户物体(在此示例中,而不是沙发物体)的位置边界框199a和199b,以及天花板灯130b的附加位置边界框199d。应理解的是,在其他实施例中,可识别多种其他类型的物体和/或目标属性。
图2R至图2T继续示出了图2P至图2Q的示例,并且进一步示出了关于可被提供来指示捕获客厅中的附加数据的指令的信息以及所捕获的对应附加数据。特别地,图2R示出了可显示给客厅中的相关联用户的图像250r,诸如以类似于图2P的图像250p的方式,但其中附加信息249r向相关联的用户提供关于获得关于前门物体(包括关于铰链和门把手的目标属性)的附加数据的指令,以及供用户接收示例和可选地附加指示信息的选项。尽管图2R中未说明,但对于诸如西边窗户和/或沙发和/或天花板灯的其他物体,可提供类似的指令,诸如在已经提供指令249r并获得对应的附加数据之后连续地提供,或者与指令249r同时提供。图2S示出了表示在客厅中捕获的关于前门的附加数据(例如,响应于由BUAM系统提供的指令)的附加图像250s,诸如具有关于门的在图像250r的视觉数据上不可用的附加细节。另外,图像250a被叠加有附加指令或可提供给相关联的用户的其他信息的示例(例如,在用户采集图像250a中所示的前门的图像之前或之后),诸如基于对初始附加图像250a的对应问题的自动化确定而指示在捕获图像250s之后重新捕获照明更好的图像的指令249s1和/或在捕获图像250s之前或之后的一个或多个可见物体看起来实际上不是图像250r中所示的前门物体(例如,基于两个图像中的视觉数据的自动化比较)的通知。图2S进一步示出了可提供给相关联的用户的有关要关于前门物体捕获(无论是在捕获图像250s之前还是之后)的附加非视觉数据的附加指令的示例249s2,诸如以提供门材料和年龄的短文本描述和/或记录并提供门打开的包括透过打开的门的景色的短视频。图2T进一步提供被捕获来提供关于前门物体的所识别的目标属性的其他细节的示例附加图像250t1和250t3,其中图像250t1示出了关于门把手的附加细节并且图像250t3示出了关于铰链中的一个的附加细节。在此示例中,图像250t1进一步被叠加有示例指令249t1以表明在图像250t1中未获得关于门把手的足够细节(例如,由于图像未充分地仅集中于门把手)并且应捕获新的替代附加图像,其中图像250t2提供了要代替图像250t1使用的这种替代附加图像的一个示例。图像250t3进一步提供了附加指令或其他通知信息249t2的示例以获得关于可见铰链的附加数据,在此示例中,供相关联的用户确认图像250t3中的视觉数据是针对客厅中的前门物体。应理解的是,在图2P至图2T中说明的指令的类型和将它们提供给相关联的用户的方式是出于说明目的而提供的非排他性示例,并且在其他实施例中,可以以其他方式提供类似和/或其他类型的信息。
图2U继续示出了图2P至图2T的示例,并且提供了可至少部分地基于对客厅的一个或多个初始房间级图像的分析获得的关于客厅的附加数据的示例,所述初始房间级图像诸如全景图像250q和/或包括图像250a至250c并且包括客厅的全部或基本上全部的视觉数据的多个立体图。特别地,图2U示出了信息255u,所述信息示出了客厅的房间形状的替代示例237a和237b(例如,如可由MIGM系统确定,如在本文中其他地方更详细地讨论),以及可至少部分地基于BUAM系统的自动化操作和可选地相关联用户的附加动作确定的房间形状237a的附加数据236u和238。在此示例中,所示出的信息236u提供了客厅的预期通信流量信息的示例,诸如至少部分地基于客厅的所确定的布局(未示出)(例如,使用关于客厅中的家具和墙壁间开口的信息)。另外,所示出的信息238表明在此示例中,西边窗户的目标属性可能已经被评定为示出山景色(例如,至少部分地基于使用透过窗户可见的视觉数据的自动化确定;至少部分地使用来自相关联用户的信息;至少部分地使用来自其他源的信息,诸如公开可用的数据等)。应理解的是,在图2U中说明的这些类型的附加信息是出于说明目的而提供的非排他性示例,并且在其他实施例中,可以以其他方式确定类似和/或其他类型的信息。
图2V至图2W继续示出了图2P至图2U的示例,并且提供了可至少部分地基于对建筑物的其他房间的一个或多个初始房间级图像的分析获得的关于那些其他房间的附加数据的示例。特别地,图2V示出了包括图像250v的信息255v,诸如对于图1B所示的示例房屋198的卫生间1(如在图2N和图2-O中识别)。以类似于图2P的图像250p的方式,图像250v包括卫生间中的被识别以捕获附加数据的物体和/或目标属性的指示131v,在此示例中,包括瓷砖地板、水槽台面、水槽水龙头和/或其他水槽五金、浴缸水龙头和/或其他浴缸五金、坐便器等,然而,在此示例中未示出位置信息、标签和所提供的指令。以类似的方式,图2W示出了包括图像250w的信息255w,诸如对于图1B所示的示例房屋198的厨房(如在图2N和图2-O中识别)。以类似于图2V的图像250v的方式,图像250w包括厨房中的被识别以捕获附加数据的物体和/或目标属性的指示131w,在此示例中,包括冰箱、厨房岛上的炉子、水槽水龙头和/或其他水槽五金、水槽旁边的台面和/或防溅墙等,然而,在此示例中未示出位置信息、标签和所提供的指令。应理解的是,可生成并提供各种类型的对应指令以获取关于此类识别的物体和/或目标属性的附加数据,并且在图2V至图2W中示出了这些类型的附加数据,作为为说明目的而提供的非排他性示例,使得在其他实施例中,可以以其他方式确定类似和/或其他类型的信息。
图2X继续示出了图2P至图2W的示例,并且提供了与执行对建筑物(在此示例中,图1B的房屋198)的整体可用性评估有关的附加信息255x。特别地,示出了建筑物的示例2.5D或3D楼层平面图265x,该楼层平面图包括可被用作建筑物的可用性评估的部分的信息236x和247。在此示例中,以类似于针对客厅的图2U的信息236u的方式,信息236x示出了经过建筑物的预期通行流量模式。另外,信息255x进一步示出了关于建筑物的各种房间的所确定的房间类型的信息,在此示例中,将图形标志用于那些房间类型的不同类型的对应活动,并且其中在至少一些实施例中,那些房间类型和/或对应的活动可用于用作对应房间的预期目的(例如,对于卧室2中所示的床标志247,睡觉,如在图2N和图2-O中标识)。应理解的是,在一些实施例中,关于特定物体、房间和/或建筑物的评估的信息也可叠加在这种楼层平面图上或以其他方式提供,并且图2X中所示出的附加数据类型是为说明目的而提供的非排他性示例,使得在其他实施例中,可以以其他方式确定类似和/或其他类型的信息。
已关于图2A至图2X提供了各种细节,但应理解的是,所提供的细节是出于说明性目的而包括的非排他性示例,并且可在没有一些或全部这种细节的情况下以其他方式执行其他实施例。
作为非排他性示例实施例,BUAM系统的自动化操作可包括关于提供与捕获用于评估物体、房间和建筑物的可用性的附加数据有关的指令的接下来动作。在此示例实施例中,评估感兴趣物体和评定目标属性的非排他性示例可包括回到问题,诸如以下:厨房橱柜是新的吗?它们是否高达天花板?卫生间洁具是什么样的?门和窗户框架的状况如何?排水沟和落水管的状况如何?水槽下面的管道是什么样的?热水箱是什么样的?为此,示例实施例的BUAM系统可生成并提供指令和相关的信息,诸如以下非排他性示例:“拍摄厨房水槽的照片”、“放大一些,这样我们可看到更多细节”、“你确定那是水槽吗?”、“谢谢提供浴缸的照片。这来自主卧室卫生间还是大厅卫生间?”、“你能给排水管拍摄特写吗?”等。作为这样做的一部分,示例实施例的BUAM系统可执行自动化操作以对常见的房屋特征(诸如来自图像或视频的水槽、排水管、门框架)进行分类或检测,诸如构建这些的卷积神经网络模型,可选地连同要捕获附加数据的目标属性(在此示例实施例中,也被称为“特性”)的预定义检查表(例如,对于浴缸,获得并分析排水管的特写图像;对于门道,获得并分析门侧柱的特写图像等),包括验证排水管在对应的所捕获的附加图像中可见并且它是特定的最小大小。作为这样做的部分,这种BUAM系统可提供GUI(或其他用户界面),所述GUI向相关联的用户提供要捕获附加数据的所识别的物体和/或目标属性的列表、以及那些类型的良好图像的对应示例。
示例实施例的BUAM系统可例如实现具有如下步骤的工作流程以评估房屋的房间:
1)以来自房屋的一组初始图像以及由机器学习模型和/或用户生成的房间标签或物体标签开始。
2)鉴于所标记的房间和/或物体的这个列表,生成要捕获或调查的目标属性的列表。
3)使用检测器模型来确定初始图像是否已经包含处于足够的图像分辨率的目标属性的视觉数据。
4)对于缺少初始图像中的这种视觉数据的目标属性,提示相关联的用户捕获它们,诸如以以下方式:
a.向用户呈现作为“建构性镜头”的感兴趣房间的一个或多个初始图像。
b.可选地,示出说明要捕获的细节和相机角度的示例图像。
c.指示用户捕获具有所指示的目标属性和/或物体的视觉数据的图像和/或其他媒体(例如,视频、3D模型等)。
d.通过自动化机载处理来分析所捕获的媒体以便:
i.验证存在处于期望的分辨率的期望数据。
ii.确定捕获的其他特性。
e.可选地,验证所捕获的媒体中的背景匹配“建构性镜头”中的背景或房间的其他先前捕获的图像。这种验证可例如使用图像信息(例如,通过分析背景)和/或使用遥测信息(例如,通过检查所捕获的媒体中的相机姿势信息与初始图像中的相机姿势信息一致)来进行。
f.如果步骤(d)或(e)揭露所捕获的媒体的问题,则提示用户重新捕获以校正问题。
g.可选地,提示用户输入关于目标属性和/或物体的在视觉上无法确定的更多数据。
关于上面的步骤1,初始图像可为全景图像和/或立体图像(例如,由卖方或代理人或拍照者在列出所有物的过程中提交)并且理想地在每个房间中分开捕获。它们可在提交时用房间分类标签加注释(例如,用户可将图像标记为“厨房”、“卧室”、“客厅”等)和/或可在提交之后使用用于房间分类的机器学习模型加标签。另外,可能存在用户已经向物体添加“兴趣点”标签的图像区域或点(例如,“工业烘炉”或“新淋浴器”),这可进一步用来识别感兴趣的物体和/或相关联的目标属性。此类操作可例如在被用作图像采集装置的移动计算装置上和/或在远程服务器计算装置上执行。
关于上面的步骤2,BUAM系统可执行从标签到目标属性和/或要捕获的附加数据类型的映射。例如,映射可指示诸如在以下非排他性示例中的信息:在厨房中,炉子的特写镜头(因此查看者可分辨品牌或检查其控件);在卧室中,每个水槽的五金、浴缸五金、浴缸的所有侧面等的特写镜头;如果存在壁炉的话,则关于它燃烧媒气还是木头的信息等。
关于上面的步骤3,BUAM系统可使用一个或多个深度学习检测器模型来检测图像中的某些物体和/或目标属性。例如,此类检测可包括以下非排他性示例中的一个或多个:在厨房中,检测炉子、水槽和冰箱;在卧室中,检测每个水槽;在客厅中,检测壁炉或木材炉等。此类检测器模型可从输入图像提取边界区域来确定物体位置(例如,<宽度,高度>像素矩形,其左上角是水槽的<x,y>、诸如水槽五金和/或排水管的目标属性的辅助边界区域等)。BUAM系统可使用针对每种类型的可检测物体和目标属性来指定对应的所捕获的附加数据的像素中的最小期望图像尺寸和面积的预定义信息,BUAM系统然后将在所捕获的附加图像的视觉数据中进行验证(例如,看看它们是否满足期望的尺寸和面积)。
关于上面的步骤4a,BUAM系统可呈现浴室的初始图像以及提示,比如“请捕获能捕获水槽五金的照片/视频/3D模型”。关于上面的步骤4b,针对每种类型的物体和目标属性,BUAM系统可具有标准示例图像的定义库。关于上面的步骤4c,BUAM系统可在不同情形中使用不同类型的媒体,诸如获取精致细节的图像(并且可选地捕获附加数据,诸如同时使用图像采集装置的广角镜头拍摄第二图像、提供窄/宽视角对)、评估功能性的短视频(例如,使用全速运转的水龙头的短视频来评估水压)、评估较大场景的3D模型(例如,使用电话的激光雷达扫描仪来捕获房屋的周边)等。关于上面的步骤4d,BUAM系统可应用类似于步骤3的那些的模型来检测物体和目标属性、提取其位置区域并且将它们与期望大小进行比较,此类操作可例如在被用作图像采集装置的移动计算装置上执行。可相对于以下各项执行其他验证操作:图像亮度(例如,如果是在诸如橱柜下面或火炉/热水加热器附近的黑暗空间中捕获图像的话)、3D捕获的特性(例如,房屋周边的所捕获的3D模型是否形成闭环?-如果不是的话,则提供指令来捕获缺失的区域)等。关于上面的步骤4e,BUAM系统可执行验证活动以确保所捕获的图像在正确的房间中(例如,检查水槽的所捕获的附加图像的场景背景是来自正确的浴室、任选地使用来自窄/宽视野对(如果可用的话)的信息;使用图像到图像特征匹配来将所捕获的附加图像中的视觉数据匹配到初始房间级图像中的一个或多个的视觉数据;验证所捕获的附加图像与初始房间级图像中的一个或多个的视觉数据之间的类似颜色或纹理等),此类操作可例如在被用作图像采集装置的移动计算装置上执行。关于上面的步骤4g,BUAM系统可执行自动化操作,诸如提供提示以输入上次更换物体(例如,热水箱)的年份、指定木地板上次何时被整修和/或是否需要整修等。另外,BUAM系统的自动化操作可包括基于一个或多个定义的标准对捕获附加图像的顺序排列优先顺序,诸如在捕获关于厨房抽屉把手的视觉数据和/或其他数据之前捕获关于厨房器具的视觉数据和/或其他数据(例如,如果厨房器具信息具有更大权重或对关于厨房的可用性确定有其他影响的话)。
出于效率目的,初始图像和/或所捕获的附加图像的视觉数据的分析可包括如果可能的话,使用所捕获的图像的下采样(以降低得到的图像的分辨率),例如,如果数据可得自激光雷达传感器以给出3D几何信息,则这还可帮助选择适当量的下采样来执行。另外,上面针对BUAM系统的示例实施例描述的操作中的一些或全部可在被用作图像采集装置的移动计算装置上执行和/或可在一个或多个远程服务器计算系统上执行(例如,如果操作无法在移动计算装置上高效地或足够快地执行的话),在后一种情况下,捕获媒体与发出相关反馈的时间之间可能存在时延,并且如果这样的话,则对于所有的物体和/或目标属性,可将步骤4f中的反馈聚合并且稍后一起呈现。
已关于此示例非排他性实施例提供了各种细节,但应理解的是,所提供的细节是出于说明性目的而包括的,并且可在没有一些或全部这种细节的情况下以其他方式执行其他实施例。
图3是示出执行BUAM系统340的实施方式的一个或多个服务器计算系统300、以及执行ICA系统387和MIGM系统388的实施方式的一个或多个服务器计算系统380的实施例的框图,所述一个或多个服务器计算系统和BUAM系统可使用多个硬件部件来实施,所述多个硬件部件形成适合于且被配置为在联合操作时执行本文描述的技术中的至少一些的电子电路。在所示出的实施例中,每个服务器计算系统300包括一个或多个硬件中央处理单元(“CPU”)或其他硬件处理器305、各种输入/输出(“I/O”)部件310、存储设备320以及存储器330,其中所示出的I/O部件包括显示器311、网络连接件312、计算机可读介质驱动器313以及其他I/O装置315(例如,键盘、鼠标或其他指示装置、麦克风、扬声器、GPS接收器等)。每个服务器计算系统380可包括与服务器计算系统300的硬件部件类似的硬件部件,包括一个或多个硬件CPU处理器381、各种I/O部件382、存储设备385以及存储器386,但为了简洁起见,在服务器380中省略了服务器300的一些细节。
一个或多个服务器计算系统300和执行的BUAM系统340可经由一个或多个网络399(例如,互联网、一个或多个蜂窝电话网络等)与其他计算系统和装置进行通信,所述其他计算系统和装置诸如为以下各者:用户客户端计算装置390(例如,用于查看楼层平面图、关联图像、物体和/或房间和/或建筑物评估和/或其他相关信息);一个或多个ICA和MIGM服务器计算系统380;一个或多个移动计算装置360(例如,移动图像采集装置);可选地一个或多个相机装置375;可选地其他可导航装置395,其接收并使用楼层平面图和/或房间/建筑物评估信息(例如,房间和建筑物布局以及通行流量信息)和可选地其他所生成的信息以用于导航目的(例如,以供半自主或全自主车辆或其他装置使用);以及可选地未示出的其他计算系统(例如,用于存储和提供与建筑物有关的附加信息;用于捕获建筑物内部数据;用于存储和向客户端计算装置提供信息,诸如与图像及其涵盖的建筑物或其他周围环境相关联的附加补充信息等)。在一些实施例中,一个或多个相机装置375中的一些或全部可与其附近的一个或多个关联的移动计算装置360(例如,无线地和/或经由电缆或其他物理连接件,并且可选地以对等方式)直接通信(例如,以传输所捕获的目标图像、接收指令来发起目标图像采集或其他附加数据的捕获等),无论是补充还是代替经由网络399执行通信,并且其中此类关联的移动计算装置360能够通过网络399将所捕获的图像和可选地从一个或多个相机装置375接收的其他所捕获的数据提供到其他计算系统和装置(例如,一个或多个服务器计算系统300和BUAM系统340、一个或多个服务器计算系统380等)。
在所示出的实施例中,BUAM系统340的实施例在存储器330中执行以便执行所描述的技术中的至少一些,诸如以将一个或多个处理器305和一个或多个计算系统300配置为执行自动化操作的方式使用一个或多个处理器305来执行系统340的软件指令,所述自动化操作实施那些描述的技术。BUAM系统的所示出的实施例可包括一个或多个部件(未示出)以各自执行BUAM系统的功能的部分,并且存储器可进一步可选地执行一个或多个其他程序335,作为一个具体示例,在至少一些实施例中,ICA和/或MIGM系统的副本可作为其他程序335中的一个执行,诸如代替或补充一个或多个服务器计算系统380上的ICA系统387和MIGM系统388。BUAM系统340在其操作期间可进一步存储和/或检索存储设备320上(例如,在一个或多个数据库或其他数据结构中)的各种类型的数据,诸如关于所捕获的房间规模图像的信息321和关于所捕获的附加图像的信息323(例如,具有关于物体和/或物体的目标属性的细节);关于所确定的房间布局和可选地其他房间级信息的数据324(例如,通行流量数据);关于有关物体和/或房间和/或建筑物的可用性(包括物体的目标属性的评定)的附加所捕获的数据的数据322;关于物体和房间的所生成的可用性评估的数据325;关于建筑物的所生成的可用性评估的数据326;关于特定类型的房间和建筑物(或与房间和/或建筑物相关联的特定因素)的预期目的的数据328;用于给图像中的信息加标签的数据327(例如,物体标签数据、房间标签数据等);以及可选地各种其他类型的附加信息329(例如,关于与BUAM系统交互的客户端计算装置390的用户和/或移动装置360和/或375的操作者用户;关于在某种类型的房间中预期的各种类型的物体的列表或其他预定义信息;关于在某种类型的物体和可选地某种类型的房间中预期的各种类型的目标属性的列表或其他预定义信息;关于在某种类型的建筑物中预期的各种类型的房间的列表或其他与定义信息;关于其他建筑物及其评估的数据以用于比较,包括评定等)。ICA系统387和/或MIGM系统388在其操作期间可类似地存储和/或检索存储设备385上(例如,在一个或多个数据库或其他数据结构中)的各种类型的数据并且向BUAM系统340提供一些或所有这种信息以供使用(无论是以推送还是拉动方式),诸如图像393(例如,所采集的360°全景图像),以及可选地其他信息,诸如由ICA和/或MIGM系统生成并由MIGM系统用来生成楼层平面图的图像间方向链接信息396;由MIGM系统生成的得到的楼层平面图信息和可选地其他建筑物测绘信息391;作为生成楼层平面图的部分由MIGM系统生成的附加信息(诸如所确定的房间形状392和可选地图像位置信息394);以及可选地各种类型的附加信息397(例如,与由ICA系统捕获的一个或多个建筑物内部或其他环境的呈现或其他使用相关的各种分析信息)。
用户客户端计算装置390(例如,移动装置)、移动计算装置360、其他可导航装置395和其他计算系统中的一些或全部可类似地包括针对服务器计算系统300和380所示出的相同类型部件中的一些或全部。作为一个非限制性示例,移动计算装置360各自被示为包括一个或多个硬件CPU 361、I/O部件362、存储设备365、成像系统364、IMU硬件传感器369、可选的深度传感器363以及存储器367,所述存储器具有BUAM应用程序366并且可选地具有在存储器367内执行的浏览器和一个或多个其他客户端应用程序368(例如,特定于ICA系统的应用程序)中的一个或两者,诸如以参与与BUAM系统340、ICA系统387和/或其他计算系统的通信。尽管针对其他可导航装置395或客户端计算系统390未说明特定部件,但是应理解的是,它们可包括类似和/或附加的部件。
还应理解的是,计算系统300和380以及图3内所包括的其他系统和装置仅仅是说明性的,并且不旨在限制本发明的范围。系统和/或装置可改为各自包括多个交互的计算系统或装置,并且可连接到未具体说明的其他装置,包括经由蓝牙通信或其他直接通信、通过一个或多个网络(诸如,互联网)、经由Web或者经由一个或多个专用网络(例如,移动通信网络等)进行连接。更一般地,装置或其他计算系统可包括可选地在被编程或以其他方式配置有特定软件指令和/或数据结构时可交互并执行所描述类型的功能的硬件的任何组合,所述硬件包括但不限于台式计算机或其他计算机(例如,平板计算机、平板电脑等)、数据库服务器、网络存储装置和其他网络装置、智能手机和其他蜂窝电话、消费者电子设备、可穿戴装置、数字音乐播放器装置、手持式游戏装置、PDA、无线电话、互联网电器、以及包括适当通信能力的各种其他消费者产品。另外,在一些实施例中,由所示出的BUAM系统340提供的功能可分布在各种部件中,可不提供BUAM系统340的所描述的功能中的一些,并且/或者可提供其他附加的功能。
还应理解的是,尽管各种条目被说明为在使用时存储在存储器中或在存储设备上,但是出于存储器管理和数据完整性的目的,这些条目或其部分可在存储器和其他存储装置之间转移。替代地,在其他实施例中,软件部件和/或系统中的一些或全部可在另一个装置上的存储器中执行并且经由计算机间通信与所示出的计算系统通信。因此,在一些实施例中,当被一个或多个软件程序(例如,被在服务器计算系统300上执行的BUAM系统340)和/或数据结构配置时,所描述的技术中的一些或全部可由包括一个或多个处理器和/或存储器和/或存储设备的硬件构件执行,诸如通过执行包括所述一个或多个软件程序的软件指令的存储内容和/或通过存储这种软件指令和/或数据结构,并且诸如执行如在流程图和本文的其他公开内容中所描述的算法。另外,在一些实施例中,可以以其他方式实施或提供系统和/或部件中的一些或全部,诸如通过由部分地或完全地在固件和/或硬件中实施(例如,而不是作为由配置特定CPU或其他处理器的软件指令全部或部分地实施的装置)的一个或多个装置组成,包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如,通过执行适当的指令,并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等。部件、系统和数据结构中的一些或全部还可(例如,作为软件指令或结构化数据)存储在非暂时性计算机可读存储介质上,诸如硬盘或闪存驱动器或者其他非易失性存储装置、易失性或非易失性存储器(例如,RAM或闪存RAM)、网络存储装置或者便携式媒体制品(例如,DVD盘、CD盘、光盘、快闪存储器装置等),以便由适当的驱动器或经由适当的连接来读取。在一些实施例中,系统、部件和数据结构还可经由所生成的数据信号(例如,作为载波或者其他模拟或数字传播信号的一部分)在多种计算机可读传输介质上传输,所述传输介质包括基于无线和基于有线/电缆的介质,并且可采取多种形式(例如,作为单个或多路模拟信号的一部分,或作为多个离散数字包或帧)。在其他实施例中,这种计算机程序产品还可采取其他形式。因此,可利用其他计算机系统配置来实践本公开的实施例。
图4示出了ICA系统例程400的实施例的示例流程图。该例程可由例如图1A的ICA系统160、图3的ICA系统387和/或如本文中以其他方式描述的ICA系统执行,诸如以采集360°目标全景图像和/或建筑物或其他结构内的其他图像(例如,用于随后生成相关的楼层平面图和/或其他测绘信息,诸如由MIGM系统例程的实施例生成,其中关于图5A至图5C说明这种例程的一个示例;用于随后评估房间和建筑物的可用性,诸如由BUAM系统例程的实施例评估,其中关于图6A至图6B说明这种例程的一个示例;用于随后确定目标图像的采集位置和可选地采集取向等)。尽管关于在特定位置处采集特定类型的图像讨论了示例例程400的部分,但是应理解的是,这个或类似的例程可用于采集视频或其他数据(例如,音频、文本等)和/或其他类型的不是全景的图像,无论是代替还是补充这种图像。另外,尽管所示出的实施例采集并使用来自目标建筑物的内部的信息,但是应理解的是,其他实施例可针对其他类型的数据(包括针对非建筑物结构和/或针对一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术。另外,例程中的一些或全部可在用户所使用的移动装置上执行以参与采集图像信息和/或相关的附加数据,和/或由远离这种移动装置的系统执行。
例程的所示出的实施例在框405处开始,在该框处,接收指令或信息。在框410处,例程确定接收到的指令或信息是否指示采集表示建筑物(例如,在建筑物内部)的数据,并且如果不是的话,则继续到框490。否则,例程前进到框412以接收一个或多个图像采集装置准备在第一采集位置处开始图像采集过程的指示,诸如对于充当图像采集装置和/或以其他方式与充当图像采集装置的一个或多个单独相机装置相关联的移动计算装置,并且其中图像采集装置由相关联的用户携带或靠自身的动力或者携载或以其他方式移动一个或多个图像采集装置的一个或多个其他装置的动力移动,接收到的指示可例如来自图像采集装置中的一个、来自携载或以其他方式移动一个或多个图像采集装置的另一个动力装置、来自图像采集装置中的一个或多个的用户等。在框412之后,例程前进到框415以执行采集位置图像采集活动,以便由至少一个图像采集装置针对感兴趣的目标建筑物处的采集位置采集至少一个360°全景图像(和可选地由图像采集装置采集一个或多个附加图像和/或其他附加数据,诸如来自IMU传感器和/或深度传感器),诸如以提供围绕竖直轴线的至少360°的水平覆盖范围。例程还可可选地从用户获得关于采集位置和/或周围环境的注释和/或其他信息,诸如供稍后用于呈现关于该采集位置和/或周围环境的信息。
在完成框415之后,例程继续到框417以基于在框415中采集的一个或多个图像来确定是否在当前时间执行确定可用性评估,诸如相对于从该采集位置可见的一个或多个这种物体和/或相对于此类物体的一个或多个可见的目标属性和/或相对于封闭采集位置的房间,并且如果是的话,例程继续到框419以执行建筑物可用性评估管理器例程的自动化操作,以便至少部分地基于一个或多个图像的视觉数据来确定可用性评估信息,图6A至图6B示出了这种建筑物可用性评估管理器例程的一个示例。在框419之后,例程继续到框421以可选地在图像采集装置中的一个或多个上(例如,在移动计算装置上)显示关于至少部分地基于一个或多个图像的视觉数据确定的可用性评估信息的信息,诸如在一些实施例和情形中,在移动计算装置上显示图像中的一个或多个以及关于所确定的可用性评估信息的叠加信息。
在框421之后,或如果改为在框417中确定在当前时间不针对在框415中采集的一个或多个图像来确定可用性评估信息,则例程继续到框425以确定是否存在要采集图像的更多采集位置,诸如基于对应的所提供的信息(例如,来自图像采集装置中的一则、来自靠另一装置的动力携载或以其他方式移动一个或多个图像装置的另一个装置、来自图像采集装置中的一个或多个的用户等)和/或满足指定的标准(例如,要在建筑物的一些或全部房间中的每一个中和/或在建筑物外部的一个或多个区域中的每一个中捕获的至少两个全景图像)。如果是的话,则例程继续到框427以可选地发起在一个或多个图像采集装置沿着远离当前采集位置而朝向建筑物的下一个采集位置的行进路径移动期间捕获链接信息(诸如视觉数据、来自一个或多个IMU传感器的加速度数据等)。如在本文中其他地方所述,所捕获的链接信息可包括附加传感器数据(例如,来自图像采集装置中的一个或多个上或以其他方式由用户或者携载或移动一个或多个图像采集装置的其他动力装置携带的一个或多个IMU或惯性测量单元)和/或在这种移动期间记录的附加视觉信息(例如,全景图像、其他类型的图像、全景或非全景视频等),并且在一些实施例中,可分析所述链接信息以确定一个或多个图像采集装置在移动期间的变化姿势(位置和取向)以及关于封闭房间(或其他区域)的房间形状和图像采集装置在移动期间的路径的信息。可响应于明确的接收到的指示(例如,来自图像采集装置中的一个、来自靠另一装置的动力携载或以其他方式移动一个或多个图像采集装置的另一个装置、来自图像采集装置中的一个或多个的用户等)或者基于从移动计算装置和/或单独的相机装置记录的信息的一个或多个自动化分析来执行发起对这种链接信息的捕获。另外,在一些实施例中,例程还可可选地确定关于一个或多个图像采集装置的运动、传感器数据的质量和/或在移动到下一采集位置期间捕获的视觉信息一个或多个指导提示并提供给用户(例如,通过监测图像采集装置中的一个或多个的移动),包括关于关联的照明/环境条件的信息、捕获下一采集位置的可取性、以及捕获链接信息的任何其他合适的方面。类似地,例程可可选地(例如,从用户)获得关于行进路径的注释和/或其他信息,诸如供稍后用于呈现关于该行进路径或得到的全景间图像连接链接的信息。在框429中,例程然后确定一个或多个图像采集装置到达下一采集位置(例如,基于来自一个或多个图像采集装置中的一个的指示、来自靠另一装置的动力携载或以其他方式移动一个或多个图像采集装置的另一个装置、来自一个或多个图像采集装置中的一个或多个的用户;基于一个或多个图像采集装置的向前移动在至少预定义的时间量内停止等)以用作新的当前采集位置,并且返回到框415以便针对新的当前采集位置执行图像采集活动。
如果改为在框425中确定不再存在要在其处采集当前建筑物或其他结构的图像信息的采集位置,则例程前进到框430,以可选地分析建筑物或其他结构的采集位置信息,诸如识别要在建筑物内部内采集或以其他方式与建筑物相关联的可能的附加覆盖范围(和/或其他信息)。例如,ICA系统可(例如,向用户)提供关于在捕获多个采集位置和可选地对应的链接信息期间所采集的信息的一个或多个通知,诸如如果确定所记录的信息的一个或多个片段的质量不足或不合乎期望或者似乎没有提供完整的建筑物覆盖范围的话,或者替代地可(例如,向用户、向携载或以其他方式移动一个或多个图像采集装置的装置等)提供对应的重新捕获指令。另外,在至少一些实施例中,如果所捕获的图像(例如,每个房间中的至少两个全景图像、在彼此的最大指定距离内的全景图像等)不满足图像的最低标准(例如,最小数量和/或类型的图像),则ICA系统可提示或指示以类似方式采集附加全景图像来满足这种标准。在框430之后,例程继续到框435以可选地预处理所采集的360°目标全景图像,然后将其随后用于生成相关的测绘信息(例如,以使所述图像处于球形格式、确定图像的消失线和消失点等)。在框480中,存储这些图像和任何关联的所生成或获得的信息以供稍后使用。
如果改为在框410中确定在框405中叙述的指令或其他信息不是采集表示建筑物的图像和其他数据,则例程改为继续到框490,以视情况执行任何其他所指示的操作(诸如,任何家政任务)、将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,诸如捕获一个或多个建筑物内部的图像采集装置的用户、ICA系统的操作者用户等)、获得和存储关于系统的用户的其他信息、响应于针对所生成和存储的信息的请求(例如,针对这种信息由MIGM系统和/或BUAM系统使用的请求、针对这种信息由建筑物地图查看器系统使用或由其他系统显示或进行其他呈现的请求、来自一个或多个客户端装置针对这种信息进行显示或其他呈现的请求、用于生成和/或训练一个或多个神经网络或另一分析机制以用于例程的自动化操作的操作等)。
在框480或490之后,例程前进到框495以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回到框405以等待附加的指令或信息,并且如果不是的话,则前进到步骤499并结束。
图5A至图5C示出了用于测绘信息生成管理器(MIGM)系统例程500的流程图的示例实施例。该例程可通过例如图1A的MIGM系统160、图3的MIGM系统388和/或如本文其他地方所述的MIGM系统的执行来执行,诸如以通过分析来自在房间中采集的一个或多个图像的信息并将其组合来确定房间(或其他限定的区域)的房间形状、至少部分地基于区域的一个或多个图像和可选地由移动计算装置捕获的附加数据来生成建筑物或其他限定的区域的楼层平面图,和/或至少部分地基于区域的一个或多个图像和可选地由移动计算装置捕获的附加数据来生成建筑物或其他限定的区域的其他测绘信息。在图5A至图5C的示例中,房间的所确定的房间形状可为用于表示房间的墙壁和天花板和地板的平面表面的3D全封闭组合,或者可具有其他形式(例如,至少部分地基于3D点云),并且建筑物(例如,房屋)的所生成的测绘信息包括2D楼层平面图和/或3D计算机模型楼层平面图和/或一组链接的图像,其中链接指示各种图像对之间的相对方向,但是在其他实施例中,可生成并以其他方式使用其他类型的房间形状和/或测绘信息,包括其他类型的结构和限定区域,如本文中其他地方所讨论。
例程的所示出的实施例在框505处开始,在该框处,接收信息或指令。例程继续到框510以确定图像信息是当前可用于针对一个或多个房间(例如,针对所指示的建筑物的一些或全部)进行分析,还是改为在当前采集这种图像信息。如果在框510中确定当前采集一些或全部图像信息,则例程继续到框512以采集这种信息,可选地等待一个或多个图像采集装置移动经过建筑物的一个或多个房间(例如,由相关联的用户携带或者靠自身动力或携载或以其他方式移动一个或多个图像采集装置的一个或多个其他装置的动力移动)并且在一个或多个房间中的一个或多个采集位置(例如,在建筑物的每个房间中的多个采集位置)采集全景或其他图像,可选地连同关于与采集位置之间的移动有关的采集和/或互连信息的元数据信息,如本文中其他地方更详细地讨论,图4提供了用于执行这种图像采集的ICA系统例程的一个示例实施例。如果改为在框510确定不在当前采集图像,则例程改为继续到框515以从一个或多个房间中的一个或多个采集位置(例如,在建筑物的每个房间中的多个采集位置)获得现有的全景或其他图像,可选地连同关于与采集位置之间的移动有关的采集和/或互连信息的元数据信息,诸如在一些情形中可能已连同对应的指令在框505中被供应和/或由ICA系统在先前获得。
在框512或515之后,例程继续到框520,在该框处,确定是否生成建筑物或其他组房间的一组链接的目标全景图像(或其他图像),并且如果是的话,则继续到框525。在框525中,例程选择图像中的至少一些的对(例如,基于具有重叠的视觉内容的一对的图像和/或基于连接一对的图像的链接信息),并且针对每一对,基于共享的视觉内容和/或与该对的图像有关的其他捕获的链接互连信息(例如,移动信息)来确定该对的图像之间的相对方向(无论是从一对的一个图像的采集位置直接到该对的另一个图像的采集位置的移动,还是改为在那些开始和结束采集位置之间的经由其他图像的一个或多个其他中间采集位置的移动)。在框525中,例程进一步至少使用图像对的相对方向信息来确定图像中的一些或全部彼此在共同坐标系中的全局相对位置,诸如以创建虚拟巡视,通过该虚拟巡视,最终用户可从图像中的任一个移动到与开始图像链接的一个或多个其他图像(例如,经由选择针对每个这种其他链接的图像的图像显示(诸如叠加在所显示的图像上)的用户可选择的控件),并且类似地从下一图像移动到与该下一图像链接的一个或多个附加图像等。在本文的其他地方包括关于创建这种一组链接的图像的附加细节。
在框525之后,或如果改为在框520中确定在框505中接收的指令或其他信息不是确定一组链接的图像,则例程继续到框530以确定在框505中接收的指令是否指示从房间中的先前或当前采集的图像(例如,从在房间中的每一个中采集的一个或多个全景图像)确定一个或多个房间的形状,并且如果是的话,则继续到框550,否则继续到框590。
在框550中,例程前进到选择可获得在房间中捕获的一个或多个全景图像和/或其他图像的下一房间(以第一个开始),并且至少部分地基于在该房间中采集的一个或多个图像的视觉数据和/或在该房间中采集的附加数据来确定该房间的2D和/或3D形状,包括可选地获得每个图像的附加元数据(例如,相机装置或用来采集图像的其他图像采集装置的采集高度信息)。对房间的房间形状的确定可包括分析由一个或多个图像采集装置在该房间中采集的一个或多个图像的视觉内容和/或分析(例如,由一个或多个图像采集装置)在该房间中采集的附加非视觉数据,包括确定图像中的每一个的初始估计采集姿势信息(例如,采集位置和可选地采集取向)。对在该房间中采集的各种数据的分析还可包括识别该房间的墙壁结构元素特征(例如,窗户、门道和楼梯以及其他房间间墙壁开口和连接通道、墙壁与另一个墙壁和/或接收件和/或楼层之间的墙壁边界等)以及确定那些识别的特征在房间的所确定的房间形状内的位置,这可选地通过生成房间墙壁和可选地天花板和/或地板中的一些或全部的3D点云(例如,通过至少分析在该房间中采集的图像的视觉数据和可选地由图像采集装置中的一个或多个捕获的附加数据,诸如使用SfM或SLAM或MVS分析中的一个或多个),和/或通过确定对应于一些或全部墙壁和可选地地板和/或天花板的平面表面(例如,通过确定所识别的特征的平面的法线/正交方向并且将这种信息组合以确定墙壁位置假设以及可选地将给定墙壁的多个墙壁位置假设聚类以实现对该墙壁的位置的最终确定)。在本文的其他地方包括关于确定房间形状和识别房间的附加信息的附加细节,包括在房间中采集的图像的初始估计采集姿势信息。
在框550之后,例程继续到框567以确定是否存在可获得一个或多个所捕获的图像的更多房间,并且如果是的话,则返回到框550以确定下一个这种房间的房间形状。否则,例程继续到框537以确定是否生成所指示的建筑物的楼层平面图(例如,至少部分地基于在框550中确定的房间形状),并且如果否的话,则继续到框590。否则,例程继续到框537,在该框处,该例程可选地获得关于建筑物的附加信息,诸如来自在采集和可选地分析图像期间所执行的活动、和/或来自一个或多个外部来源(例如,在线数据库、由一个或多个最终用户提供的信息等),这种附加信息可包括例如建筑物的外部尺寸和/或形状、对应于建筑物内的特定位置(可选地针对不同于所采集的全景或其他图像的采集位置的位置)所采集的附加图像和/或注释信息、对应于建筑物外部的特定位置(例如,围绕建筑物和/或针对同一地产上的其他结构)所采集的附加图像和/或注释信息等。
在框537之后,例程继续到框575以检索房间形状(例如,在框550中生成的房间形状)或以其他方式获得建筑物的房间的房间形状(例如,基于人类供应的输入),而无论是2D还是3D房间形状。例程然后继续到框577,在该框处,该例程使用所确定的房间形状来创建初始2D楼层平面图,诸如通过连接它们各自房间中的房间间通道、通过可选地围绕图像的所确定的采集位置来定位房间形状(例如,如果采集位置是互连的)、以及通过可选地应用一个或多个约束或优化。这种楼层平面图可包括例如各种房间的相对位置和形状信息,而没有提供单独房间或作为整体的建筑物的任何实际尺寸信息,并且可进一步包括建筑物的多个链接或关联的子地图(例如,以反映不同的楼层、水平、区段等)。例程进一步关联门、墙壁开口和其他所识别的墙壁元素在楼层平面图上的位置。在框577之后,例程可选地执行一个或多个步骤580至583,以确定附加信息并将其与楼层平面图相关联。在框580中,例程可选地估计房间中的一些或全部的尺寸,诸如根据图像和/或其采集元数据的分析或者根据针对建筑物的外部获得的整体尺寸信息,并且将估计的尺寸与楼层平面图相关联。在框580之后,例程继续到框583以可选地将进一步信息与楼层平面图(例如,具有在建筑物内的特定房间或其他位置)相关联,所述进一步信息诸如为指定的位置的附加图像和/或注释信息。在框585中,如果来自框575的房间形状不是3D房间形状,例程进一步估计一些或全部房间中的墙壁的高度,诸如根据对图像的分析和可选地图像中的已知物体的大小、以及关于在采集图像时的相机的高度信息,并且使用该高度信息来生成房间的3D房间形状,例程进一步使用3D房间形状(无论来自框575还是框585)来生成建筑物的3D计算机模型楼层平面图,其中2D和3D楼层平面图彼此关联。在框485中,例程然后可选地调用MIGM系统以使用在例程400中获得和/或生成的信息来执行进一步分析,诸如以生成建筑物的局部或全部楼层平面图和/或生成其他测绘相关信息,并且其中图5A至图5C的例程500提供这种MIGM系统的例程的一个示例。应理解的是,如果可获得足够详细的尺寸信息,则可从楼层平面图生成建筑图纸、蓝图等。
在框585之后,例程继续到框588中以存储所确定的一个或多个房间形状和/或所生成的测绘信息和/或其他所生成的信息,并且可选地进一步使用所确定和生成的信息中的一些或全部,诸如以提供所生成的2D楼层平面图和/或3D计算机模型楼层平面图来显示在一个或多个客户端装置上和/或提供到一个或多个其他装置以用于那些装置和/或关联车辆或其他实体的自动化导航、以类似地提供和使用关于所确定的房间形状和/或一组链接的全景图像和/或关于根据房间的内容和/或房间之间的通道确定的附加信息的信息、以提供信息作为对调用例程500的另一个例程的响应等。
如果在框530中确定在框505中接收的信息或指令不是确定一个或多个房间的形状,或者在框535中确定在框505中接收的信息或指令不是生成所指示的建筑物的楼层平面图,则例程继续到框590以视情况执行一个或多个其他指示的操作。这种其他操作可包括例如接收针对先前生成的楼层平面图和/或先前确定的房间形状和/或先前确定的一组链接的图像和/或其他所生成的信息的请求并对其作出响应(例如,针对这种信息供一个或多个其他装置用于自动化导航的请求、针对这种信息由BUAM系统使用的请求、针对这种信息由建筑物地图查看器系统或其他系统用于显示或其他呈现的请求、来自一个或多个客户端装置的针对这种信息进行显示或其他呈现的请求、用于生成和/或训练一个或多个神经网络或另一分析机制以用于例程的自动化操作的操作等)、获得和存储关于建筑物的信息以用于稍后的操作(例如,关于房间的尺寸、数量或类型、总建筑面积、相邻或附近的其他建筑物、相邻或附近的植被、外部图像等的信息)等。
在框588或590之后,例程继续到框595以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下才继续。如果确定继续,则例程返回到框505以等待和接收附加的指令或信息,否则,继续到框599并结束。
尽管未相对于在图5A至图5C的示例实施例中所示的自动化操作说明,但在一些实施例中,人类用户可进一步帮助促进MIGM系统的一些操作,诸如MIGM系统的操作者用户和/或最终用户提供进一步用于后续自动化操作的一种或多种类型的输入。作为非排他性示例,此类人类用户可提供一种或多种类型的输入,如下:提供输入以帮助链接一组图像,诸如在框525中提供被用作该框的自动化操作的一部分的输入(例如,以指定或调整一个或多个图像对之间的初始自动地确定的方向、以指定或调整一些或全部图像相对于彼此的初始自动地确定的最终全局位置等);在框537中提供被用作后续自动化操作的一部分的输入,诸如关于建筑物的所示出的类型的信息中的一个或多个;相对于框550提供被用作后续自动化操作的一部分的输入,诸如以指定或调整图像中的一个或多个的自动地确定的姿势信息、以指定或调整一个或多个图像的关于采集高度信息的初始自动地确定的信息和/或其他元数据、以指定或调整初始自动地确定的元素位置和/或估计的房间形状等;相对于框577提供被用作后续操作的一部分的输入,诸如以指定或调整所生成的楼层平面图内的房间形状的初始自动地确定的位置和/或指定或调整这种楼层平面图内的初始自动地确定的房间形状本身;相对于框580和583和585中的一个或多个提供被用作后续操作的一部分的输入,诸如以指定或调整相对于那些框讨论的一种或多种类型的初始自动地确定的信息等。在本文的其他地方包括关于其中一个或多个人类用户提供被进一步用于MIGM系统的附加自动化操作的输入的实施例的附加细节。
图6A至图6B示出了用于建筑物可用性评估管理器(BUAM)系统例程600的示例流程图。该例程可通过例如图1A的BUAM系统140和/或BUAM应用程序156、图3的BUAM系统340和/或BUAM应用程序366和/或如关于图2P至图2X和本文中其他地方所描述的BUAM系统的执行来执行,诸如以执行与分析来自在建筑物的房间中捕获的图像的视觉数据和可选地附加所捕获的数据有关的自动化操作,以评估建筑物的房间和房间中物体(例如,至少部分地基于对每个物体的一个或多个目标属性的自动化评定)以及建筑物本身的房间布局和其他可用性信息。在图6A至图6B的示例中,使用指定类型的所捕获的数据且以特定方式来执行分析,但在其他实施例中,可获得并分析并且在其他方面以其他方式使用其他类型的信息。另外,尽管所示出的实施例采集并使用来自目标建筑物的内部的信息,但是应理解的是,其他实施例可针对其他类型的数据(包括针对非建筑物结构和/或针对一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术。另外,例程中的一些或全部可在用户所使用的移动装置(例如,移动计算装置或其他图像采集装置)上执行以参与采集图像信息和/或相关的附加数据,和/或由远离这种移动装置的系统执行。
例程的所示出的实施例在框605处开始,在该框处,接收信息或指令。例程继续到框610以确定指令或其他信息是否指示评估一个或多个指示的房间的可用性(例如,对于建筑物的一些或全部房间)。如果否的话,则例程继续到框690,并且否则继续到框615,在该框处,该例程选择下一指示的房间(以第一个开始),并且获得房间的其视觉数据包括大多数或全部的房间的一个或多个初始图像(例如,先前由ICA系统采集的图像;由一个或多个图像采集装置同时在房间中采集的图像,诸如以自动化方式和/或使用参与图像采集的一个或多个相关联的用户,并且可选地响应于由例程发起并提供到图像采集装置和/或相关联的用户的对应指令等)。然后分析一个或多个初始图像以识别要收集更多数据的房间中的一个或多个感兴趣物体(如果一个或多个初始图像在其视觉数据中不包括关于物体的足够细节的话、如果要捕获并且关于一个或多个图像的已获得的信息中不可用除视觉数据外的其他类型的数据的话等),并且可选地确定关于房间的附加信息,诸如以评估房间的标签或其他类型或类别信息、以评估房间的形状和/或房间中的物品的布局、以评估房间的预期通行流量模式(例如,至少部分地基于布局和/或形状)和/或房间的实际通信流量模式(例如,如果有足够的图像来展示移动经过房间的人的话)等。在一些实施例中,在至少部分地基于对视觉数据的分析来识别物体(例如,以联合方式或其他相关方式)的同时另外地确定关于物体中的一些或全部的附加信息,诸如物体位置、物体的物体标签或其他类型或类别信息等,替代地,在一些实施例和情形中,可针对房间和/或房间中的一个或多个物体以其他方式获得至少一些这种信息(例如,一个或多个标签或其他类型或类别信息),所述方式诸如来自先前生成的信息(例如,由ICA系统生成)和/或来自同时生成的信息(例如,至少部分地基于来自房间中的参与同时图像采集的一个或多个用户的信息等)。在本文的其他地方包括关于至少部分地基于在房间中捕获的一个或多个初始图像的视觉数据来确定关于房间的信息的附加细节。
在框615之后,例程继续到框620,在该框处,该例程选择当前房间的在框615中识别的下一物体(以第一个开始),并且确定关于该物体的附加信息,诸如通过分析一个或多个初始图像中的视觉数据并且可选地使用其他数据来确定物体的类型和/或类别(如果在框615中未确定的话),以确定关于要收集附加数据的物体的一个或多个感兴趣目标属性(例如,至少部分地基于物体的类型或类别,诸如来自该类型或类别的物体的一些或全部这种目标属性的预定义列表)、以确定物体的位置(如果在框615中未确定的话)等,作为这样做的一部分,例程可进一步分析一个或多个初始图像的视觉数据以验证该视觉数据是否包括关于目标属性中的每一个的足够细节,并且如果已经可获得足够的细节,则不包括要捕获的附加数据中的目标属性(并且其他非视觉类型的附加数据不被识别为要捕获)。例程进一步确定尚不可获得的关于目标属性中的每一个要收集的一种或多种类型的附加数据(无论是一个或多个附加图像还是一种或多种其他类型的附加数据)、生成对应的指令来指示附加数据的自动化捕获和/或指示相关联的用户参与附加数据的捕获,并且将指令提供到一个或多个图像采集装置和/或用户,可选地连同示例(或如果需要的话,对这种示例的访问,诸如经由用户可选择的链接)一起提供。例程然后进一步从一个或多个图像采集装置和/或相关联的用户采集关于物体的附加数据及其目标属性。在本文的其他地方包括关于至少部分地基于针对物体所在的房间捕获的一个或多个初始图像的视觉数据来确定关于物体的信息的附加细节。
在框620之后,例程继续到框625,在该框中,该例程可选地评估在框620中捕获的附加数据以识别可能的问题(例如,在附加图像中可见和/或在其他数据中描述的不正确的物体和/或目标属性、附加图像的视觉数据或其他数据中的细节不足以实现目标属性的评定和/或物体的评估、其他类型的图像问题或其他类型的数据问题等),并且如果这样的话,则可发起校正动作(例如,将其他指令提供到一个或多个图像采集装置和/或相关联的用户以捕获校正问题的附加图像和/或其他数据),包括获得用来补充或替换具有所识别的可能问题的初始附加图像和/或其他初始附加数据的任何此类校正附加图像和/或其他数据。另外,尽管初始图像、附加图像和可选地其他附加数据的采集在框615至625中被说明为在提供指令之后且在前进到例程的下一框之前发生,但应理解的是,此类图像和/或其他数据的获得可基本上立即发生(例如,与指令同时发生,诸如以交互方式)和/或以异步方式发生(例如,在提供指令之后的大量时间,诸如数分钟、数小时、数天等),并且例程可在等待图像和可选地其他附加数据时执行其他操作(例如,对于其他房间和/或其他建筑物)。
在框625之后,例程继续到框630,在该框处,该例程确定当前房间中是否存在所识别的物体,并且如果是的话,则返回到框620以选择下一个这种物体。否则,例程继续到框635,在该框处,该例程针对当前房间中的所识别的物体中的每一个的每个识别的目标属性来分析关于该目标属性可用的所捕获的附加数据,以便相对于该类型的目标属性和/或物体的一个或多个定义的因素或其他定义的属性标准来评估物体的目标属性,在至少一些实施例中,执行目标属性的评定以估计该目标属性对物体的可用性评估的当前贡献,诸如该物体对房间用于房间的预期目的的整体可用性的贡献。在框635之后,例程继续到框640,在该框中,针对当前房间中的每个识别的物体,分析所捕获的附加数据和关于房间的其他信息以相对于该类型的物体和/或封闭房间的一个或多个定义的物体标准来评估物体的可用性,诸如以评估该物体对房间用于房间的预期目的的整体可用性的贡献,包括使用来自对物体的一个或多个目标属性的评定的信息(例如,将来自多个目标属性的评定信息相结合)并且可选地进一步使用关于物体的附加信息。在框645中,例程然后评估房间用于预期目的的整体可用性,诸如相对于该类型的房间的一个或多个定义的房间标准进行评估,包括使用对房间中的一个或多个识别的物体的评估的信息(例如,将来自多个识别的物体的评估信息相结合),并且任选地进一步使用关于房间的附加信息(例如,评估的房间布局、房间的估计的通行流量模式等)。
在框645之后,例程继续到框650,在该框处,该例程确定是否存在要评估的附加指示的房间,并且如果是的话,则返回到框615以选择下一个这种房间,在至少一些实施例和情形中,可至少部分地基于从一个或多个图像采集装置和/或房间中的相关联用户以动态方式进行对是否存在附加房间的确定,诸如如果作为框615的操作的下一迭代的一部分,一个或多个图像采集装置和/或相关联的用户移动到建筑物中的下一房间并且交互地前进以获得该下一房间的一个或多个初始图像(或改为指示已经捕获建筑物的最后房间,使得不存在更多的房间)的话。否则,例程继续到框685,在该框中,如果已经评估了建筑物的多个房间,则例程可选地相对于一个或多个定义的建筑物评估标准(诸如相对于建筑物的预期目的)来评估建筑物的整体可用性,作为这样做的一部分,例程可使用来自建筑物中的房间的评估的信息(例如,以将来自多个房间的评估信息相结合),并且进一步可选地使用关于建筑物的附加信息(例如,评估的建筑物布局、建筑物的估计的交通流量模式等)。在本文的其他地方包括关于相对于框635至645和685执行的评定和评估的附加细节。
在框685之后,例程继续到框688,在该框处,该例程存储在框615至685中确定和生成的信息,并且可选地显示所确定和/或评估的信息中的一些或全部和/或可选地提供所确定和/或评估的信息中的一些或全部以供进一步使用(例如,用于一个或多个装置对建筑物的自动化操作;作为对调用例程600的另一个例程的响应,诸如相对于图4的框419等)。
如果改为在框610中确定在框605中接收的指令或信息不是评估一个或多个指示的房间的可用性,则例程改为继续到框690,在该框处,该例程视情况执行一个或多个其他所指示的操作。此类其他操作可包括例如以下一个或多个:接收针对先前生成的房间、建筑物和/或物体的评估和/或其他所生成的信息的请求并对其作出响应(例如,针对这种信息供一个或多个其他装置用于自动化导航的请求、针对这种信息由建筑物地图查看器系统或其他系统用于显示或其他呈现的请求、来自一个或多个客户端装置的针对这种信息进行显示或其他呈现的请求等);用于生成和/或训练一个或多个神经网络或另一分析机制以用于例程的自动化操作的操作;获得和存储关于建筑物、房间、物体和/或物体目标属性的信息以用于稍后的操作(例如,关于特定物体或物体类型的预期或典型的目标属性的信息、关于特定房间或房间类型的预期或典型物体的信息、关于特定建筑物或建筑物类型的预期或典型房间的信息、关于用于自动化分析的一种或多种类型的定义标准的信息、关于用于评定特定目标属性或目标属性类型或相关联的物体的类型的因素的信息等);关于特定房间和/或房间类型和/或建筑物和/或建筑物类型的预期目的的信息等。
在框688或690之后,例程继续到框695,在该框处,该例程确定是否继续,诸如直到接收到明确的终止指示为止,或者改为不继续,除非接收到明确的继续指示。如果确定继续,则例程返回到框605,否则,继续到框699并结束。应理解的是,尽管例程600的示例实施例接收到关于评估一个或多个房间和可选地多房间建筑物的信息并且前进到执行此类活动,但例程的其他实施例可分析其他级别的信息,诸如改为评定一个或多个指示的目标属性(例如,无需进一步评估与目标属性对应的一个或多个物体)、评估一个或多个指示的物体(例如,无需进一步评估该一个或多个物体所在的一个或多个房间)等。
图7示出了用于建筑物地图查看器系统例程700的流程图的示例实施例。该例程可通过例如执行图1A的地图查看器客户端计算装置175及其一个或多个软件系统(未示出)、图3的客户端计算装置390和/或移动计算装置360、和/或如在本文的其他地方所描述的测绘信息查看器或呈现系统来执行,诸如:接收和显示限定区域的所确定的房间形状和/或其他测绘信息(例如,2D或3D楼层平面图),该测绘信息可选地包括一个或多个所确定的图像采集位置和/或一个或多个所生成的可用性评估的视觉指示(例如,与测绘信息中的特定位置相关联);以及可选地将与特定位置相关联的附加信息(例如,图像,可选地与在图像中可见的一个或多个物体和/或房间的叠加或以其他方式相关联的可用性评估信息一起)显示在测绘信息中。在图7的示例中,所呈现的测绘信息是针对建筑物(诸如,房屋)的内部,但在其他实施例中,可针对其他类型的建筑物或环境来呈现并以其他方式使用其他类型的测绘信息,如在本文的其他地方所讨论。
例程的所示出的实施例在框705处开始,在该框处,接收指令或信息。在框710处,例程确定接收到的指令或信息是否指示显示或以其他方式呈现表示建筑物内部的信息,并且如果不是的话,则继续到框790。否则,例程前进到框712以检索一个或多个房间形状或建筑物的楼层平面图或建筑物的其他所生成的测绘信息、以及可选地建筑物内部和/或在建筑物外部的周围位置的相关联的链接信息的指示、以及可选地信息的指示(例如,可用性评估信息)以叠加在测绘信息上或以其他方式与测绘信息相关联,并且选择所检索的信息的初始视图(例如,楼层平面图的视图、特定房间形状等)。在框715中,例程然后显示或以其他方式呈现检索到的信息的当前视图,并在框717中等待用户选择。在框717中的用户选择之后,如果在框720中确定用户选择对应于调整当前位置的当前视图(例如,改变当前视图的一个或多个方面、添加叠加在当前视图上或以其他方式与其相关联的可用性评估信息等),则例程继续到框722以根据用户选择来更新当前视图,且然后返回到框715以相应地更新所显示的或以其他方式呈现的信息。对当前视图的用户选择和对应更新可包括例如显示或以其他方式呈现用户选择的一条关联的链接信息(例如,与所确定的采集位置的所显示的视觉指示相关联的特定图像,诸如将相关联的链接信息叠加在先前显示的至少一些上)和/或改变当前视图的显示方式(例如,放大或缩小;在适当时旋转信息;选择要显示或以其他方式呈现的楼层平面图的新部分,诸如其中该新部分中的一些或全部先前不可见,或者改为其中该新部分是先前可见信息的子集等)。
如果改为在框710中确定在框705中接收到的指令或其他信息将不呈现表示建筑物内部的信息,则例程改为继续到框790,以视情况执行其他所指示的操作(诸如,任何家政任务)、将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,用户诸如为捕获一个或多个建筑物内部的移动装置用户、MIGM系统的操作者用户等,包括用于针对特定用户根据他/她的偏好将信息显示个人化)、获得和存储关于系统用户的其他信息、响应于针对所生成和存储的信息的请求等。
在框790之后,或者如果在框720中确定用户选择不对应于当前建筑物区域,则例程前进到框795以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续(包括如果用户在框717中做出与要呈现的新位置有关的选择),则例程返回到框705以等待附加的指令或信息(或者如果用户在框717中做出与要呈现的新位置有关的选择,则直接继续到框712),并且如果不是的话,则前进到步骤799并结束。
在以下条款中进一步描述本文所描述的非排他性示例实施例。
A01.一种用于一个或多个计算系统执行自动化操作的计算机实施的方法,所述方法包括:
由一个或多个计算系统获得在房屋的房间中捕获的一个或多个图像;
由所述一个或多个计算系统分析所述一个或多个图像的视觉数据以识别安装在所述房间中的多个物体并且针对所述多个物体中的每一个来确定所述物体的至少一个类型;
由所述一个或多个计算系统并且针对所述多个物体中的每一个至少部分地基于所述物体的所述类型来确定所述物体的一个或多个目标属性;
由所述一个或多个计算系统获得在所述房间中捕获的附加图像,以各自提供具有关于所述多个物体中的至少一个的至少一个目标属性的附加细节的附加视觉数据;
由所述一个或多个计算系统并且经由使用至少一个经训练的神经网络来分析所述附加图像的所述附加视觉数据以评估所述多个物体,包括针对所述多个物体中的每一个,至少部分地基于使用从所述附加视觉数据确定的信息评定所述物体的所述一个或多个目标属性来确定所述物体对所述房间用于所指示的目的的当前贡献;
由所述一个或多个计算系统并且至少部分地基于将所述多个物体的所述确定的当前贡献相结合来确定所述房间用于所述指示的目的的所述可用性的评估;以及
由所述一个或多个计算系统提供关于所述房间的所述可用性的所述确定的评估的信息。
A02.一种用于一个或多个计算系统执行自动化操作的计算机实施的方法,所述方法包括:
由一个或多个计算系统获得在房屋的房间中捕获并且具有视觉数据的一个或多个全景图像,所述一个或多个全景图像相结合来提供所述房间的360度水平视觉覆盖范围;
由所述一个或多个计算系统并且经由使用至少第一经训练的神经网络来分析所述一个或多个全景图像的所述视觉数据以识别安装在所述房间中的多个物体并且相对于所述房间的指示的目的来评估所述房间的布局;
由所述一个或多个计算系统并且针对所述多个物体中的每一个至少部分地基于所述视觉数据缺乏细节来满足关于所述物体的所述一个或多个目标属性的定义的阈值而确定要捕获附加数据的所述物体的一个或多个目标属性;
由所述一个或多个计算系统提供指令来捕获关于所述多个物体中的每一个的所述一个或多个目标属性的所述附加数据,其中捕获所述附加数据包括获得所述多个物体的一种或多种指定类型的附加立体图像;
由所述一个或多个计算系统并且经由使用至少第二经训练的神经网络来分析所述附加立体图像的视觉数据,以针对所述多个物体中的每一个验证已经捕获关于所述物体的所述一个或多个目标属性的所述附加数据,并且至少部分地基于所述物体的所述一个或多个目标属性来生成所述物体对所述房间用于所述指示的目的的可用性的当前贡献的评估;
由所述一个或多个计算系统并且至少部分地基于将关于所述房间的所述评估的布局和所述多个物体的所述确定的当前贡献的所述评估的信息相结合来确定所述房间用于所述指示的目的的所述当前可用性的评估;以及
由所述一个或多个计算系统显示关于所述房间的所述当前可用性的所述确定的评估的信息以及关于所述房间的附加视觉信息。
A03.一种用于一个或多个计算系统执行自动化操作的计算机实施的方法,所述方法包括:
由所述一个或多个计算系统获得在建筑物的房间中捕获的多个图像;
由所述一个或多个计算系统并且经由使用至少一个经训练的神经网络来分析所述多个图像的视觉数据以识别所述房间中的多个物体;
由所述一个或多个计算系统并且针对所述多个物体中的每一个确定所述物体的一个或多个目标属性,并且至少部分地基于使用所述多个图像的所述视觉数据评定所述物体的所述一个或多个目标属性来确定所述物体对所述房间用于指示的目的的可用性的贡献;
由所述一个或多个计算系统并且至少部分地基于将所述多个物体的所述确定的贡献相结合来确定所述房间用于所述指示的目的的所述可用性的评估;以及
由所述一个或多个计算系统提供关于所述房间的所述可用性的所述确定的评估的信息。
A04.一种用于一个或多个计算系统执行自动化操作的计算机实施的方法,所述方法包括:
获得在建筑物的房间中捕获的一个或多个图像;
分析所述一个或多个图像的视觉数据以识别所述房间中的一个或多个物体并且确定所述一个或多个物体中的每一个的类型;
至少部分地基于所述物体的所述确定的类型来识别所述一个或多个物体中的每一个的一个或多个目标属性,并且获得所述房间的具有关于所述一个或多个物体中的至少一个的至少一个目标属性的附加细节的附加视觉数据;
针对所述一个或多个物体中的每一个,至少部分地基于至少部分地基于所述附加数据评定所述物体的所述一个或多个目标属性来确定所述物体对所述房间的可用性的贡献;
进一步分析所述视觉数据或所述附加视觉数据中的至少一个以评估所述房间的形状和所述房间中的物品的布局中的至少一个;
至少部分地基于将关于所述一个或多个物体的所述确定的贡献的信息与关于所述房间的所述评估的形状或布局的信息相结合来确定所述房间的所述可用性的评估;以及
提供关于所述房间的所述可用性的所述确定的评估的信息。
A05.根据条款A01至A04中任一项所述的计算机实施的方法,其中由所述一个或多个计算系统分析所述一个或多个全景图像的所述视觉数据还包括:确定所述房间中的所述多个物体中的每一个的位置并且确定所述房间的类型,其中提供所述指令来捕获关于所述多个物体中的每一个的所述一个或多个目标属性的所述附加数据包括提供关于所述物体的所述确定的位置和关于要针对所述物体获得的所述一种或多种指定类型的所述附加立体图像的信息,并且所述方法还包括:由所述一个或多个计算系统至少部分地基于所述房间的所述确定的类型来确定所述房间的所述指示的目的。
A06.根据条款A01至A05中任一项所述的计算机实施的方法,其中所述房屋包括多个房间,并且其中所述方法还包括:
由所述一个或多个计算系统并且针对所述多个房间中的每一个执行获得和分析视觉数据、以及确定所述一个或多个目标属性、以及提供所述指令、以及分析所述附加视觉数据、以及确定所述房间的所述当前可用性的所述评估;以及
由所述一个或多个计算系统至少部分地基于将所述房屋的所述多个房间的布局的评估和关于所述多个房间中的每一个的所述当前可用性的所述确定的评估的信息相结合来确定所述房屋的整体可用性的评估,以及
其中由所述一个或多个计算系统显示所述信息还包括将关于所述房屋的所述整体可用性的所述确定的评估的信息叠加在所述房屋的显示的楼层平面图上显示。
A07.根据条款A01至A06中任一项所述的计算机实施的方法,其中分析所述一个或多个图像的所述视觉数据包括:
由所述一个或多个计算系统分析所述一个或多个图像的所述视觉数据以确定所述视觉数据中的关于所述多个物体中的每一个的所述一个或多个目标属性的信息量;以及
由所述一个或多个计算系统至少部分地基于对于所述多个物体中的每一个所述视觉数据中的所述确定的信息量不足以满足所述物体的至少一个目标属性的定义的细节阈值来确定捕获所述附加图像,以及
其中至少部分地基于确定捕获所述附加图像来执行获得所述附加图像。
A08.根据条款A07所述的计算机实施的方法,其中分析所述一个或多个图像的所述视觉数据以识别所述多个物体还包括识别所述房间中的与所述多个物体分开的一个或多个附加物体,并且其中所述方法还包括:
由所述一个或多个计算系统分析所述一个或多个图像的所述视觉数据以确定所述视觉数据中的关于所述一个或多个附加物体中的每一个的一个或多个附加目标属性的又一信息量;以及
由所述一个或多个计算系统至少部分地基于对于所述一个或多个附加物体中的每一个所述视觉数据中的所述确定的又一信息量足以满足所述附加物体的所述一个或多个附加目标属性的限定的细节阈值来确定不捕获其他附加图像。
A09.根据条款A07至A08中任一项所述的计算机实施的方法,还包括:
由所述一个或多个计算系统分析所述附加图像的所述附加视觉数据以确定所述附加视觉数据中的关于所述多个物体中的每一个的所述一个或多个目标属性的又一信息量;以及
由所述一个或多个计算系统确定所述附加视觉数据中的所述又一信息量足以满足所述多个物体中的每一个的所述一个或多个目标属性的限定的细节阈值,以及
其中至少部分地基于确定所述附加视觉数据中的所述又一信息量足以满足所述多个物体中的每一个的所述一个或多个目标属性的限定的细节阈值来执行确定所述多个物体中的每一个的所述当前贡献。
A10.根据条款A07至A09中任一项所述的计算机实施的方法,还包括:
由所述一个或多个计算系统分析所述附加图像的所述附加视觉数据以确定所述附加视觉数据中的关于所述多个物体中的每一个的所述一个或多个目标属性的又一信息量;
由所述一个或多个计算系统并且针对所述多个物体中的一个确定所述附加视觉数据中的所述又一信息量不足以满足所述一个物体的至少一个目标属性的限定的细节阈值;以及
由所述一个或多个计算系统且基于确定所述附加视觉数据中的所述又一信息量不足以满足所述一个物体的所述至少一个目标属性的限定的细节阈值并且在确定所述一个物体的所述当前贡献之前,发起捕获所述一个物体的一个或多个其他图像以提供足以满足所述一个物体的所述一个或多个目标属性的限定的细节阈值的其他视觉数据。
A11.根据条款A01至A10中任一项所述的计算机实施的方法,还包括由所述一个或多个计算装置将所述附加图像的所述附加视觉数据与所述一个或多个图像的所述视觉数据进行比较以确定所述附加图像中的每一个具有所述多个物体中的至少一个的匹配所述物体的所述一个或多个图像中的视觉数据的附加视觉数据,并且其中至少部分地基于确定所述附加图像中的每一个具有所述多个物体中的至少一个的匹配所述物体的所述一个或多个图像中的视觉数据的所述附加视觉数据来执行确定所述多个物体中的每一个的所述当前贡献。
A12.根据条款A01至A11中任一项所述的计算机实施的方法,还包括:
由所述一个或多个计算系统将所述附加图像的所述附加视觉数据与所述一个或多个图像的所述视觉数据进行比较,以确定所述附加图像中的一个缺乏匹配所述多个物体中的任一个的所述一个或多个图像中的其他视觉数据;以及
由所述一个或多个计算系统且基于确定所述一个附加图像缺乏匹配所述多个物体中的任一个的所述一个或多个图像中的其他视觉数据来发起捕获一个或多个其他数据以提供关于所述多个物体中的至少一个的视觉数据。
A13.根据条款A01至A12中任一项所述的计算机实施的方法,其中分析所述一个或多个图像的所述视觉数据还包括:确定所述视觉数据中的所述多个物体中的每一个的位置,并且其中所述方法还包括由所述一个或多个计算系统提供指令来捕获所述附加图像,包括提供关于所述多个物体中的每一个的所述确定的位置的信息。
A14.根据条款A13所述的计算机实施的方法,其中确定所述房间中的所述多个物体中的每一个的所述位置包括:由所述一个或多个计算系统并且针对所述多个物体中的每一个进行以下各者中的至少一个:在所述一个或多个图像的所述视觉数据中生成围绕所述物体的边界框,或者选择所述一个或多个图像的所述视觉数据中的表示所述物体的像素。
A15.根据条款A01至A14中任一项所述的计算机实施的方法,其中安装在所述房间中的所述多个物体各自是以下各者中的至少一个:灯具、或卫生洁具、或内置家具、或在所述房间的墙壁内部的内置结构、或电气器具、或燃气动力器具、或安装的地板、或安装的墙壁覆盖物、或安装的窗户覆盖物、或附接至门的五金、或附接至窗户的五金、或安装的台面。
A16.根据条款A01至A15中任一项所述的计算机实施的方法,其中分析所述一个或多个物体的所述视觉数据进一步识别所述房间中的各自是家具或可移动物品的一个或多个附加物体,其中针对所述一个或多个附加物体各自进一步执行获得并分析所述视觉数据以及确定所述一个或多个目标属性,其中所述房间用于所述指示的目的的所述可用性的所述确定的评估是基于所述房间自从捕获所述一个或多个图像和所述附加图像起的当前状态,并且其中所述方法还包括由所述一个或多个计算系统在改变所述房间中的所述一个或多个附加物体之后的稍后时间并且基于在所述稍后时间捕获的所述房间的其他图像来确定所述房间用于指示的目的的所述可用性的附加评估,以及提供关于自从捕获所述一个或多个图像和所述附加图像起的所述确定的评估与在所述稍后时间的所述确定的附加评估之间的差异的附加信息。
A17.根据条款A01至A16中任一项所述的计算机实施的方法,其中至少部分地基于将所述多个物体的所述确定的当前贡献相结合来确定所述房间用于所述指示的目的的所述可用性的所述评估包括由所述一个或多个计算系统执行对所述多个物体的所述确定的当前贡献的加权平均,并且其中用于所述加权平均的权重至少部分地基于所述多个物体的所述类型。
A18.根据条款A01至A17中任一项所述的计算机实施的方法,其中至少部分地基于将所述多个物体的所述确定的当前贡献相结合来确定所述房间用于所述指示的目的的所述可用性的所述评估包括由所述一个或多个计算系统将所述多个物体的所述确定的当前贡献提供到附加的经训练的神经网络,并且从所述附加的经训练的神经网络接收所述房间的所述可用性的所述确定的评估。
A19.根据条款A01至A18中任一项所述的计算机实施的方法,还包括由所述一个或多个计算系统分析所述一个或多个图像的所述视觉数据以相对于所述房间用于所述指示的目的的所述可用性来评估所述房间的物品的布局,并且其中确定所述房间用于所述指示的目的的所述可用性的所述评估进一步部分地基于所述房间的所述评估的布局。
A20.根据条款A01至A19中任一项所述的计算机实施的方法,还包括由所述一个或多个计算系统分析所述一个或多个图像的所述视觉数据以确定所述房间的类型并确定所述房间的形状,并且至少部分地基于所述确定的类型或所述确定的形状中的至少一个来确定所述房间的所述指示的目的,并且其中确定所述房间用于所述指示的目的的所述可用性的所述评估进一步部分地基于所述房间的所述确定的类型。
A21.根据条款A01至A20中任一项所述的计算机实施的方法,其中所述房屋包括多个房间并且具有在所述房屋外部的一个或多个相关联的外部区域,并且其中所述方法还包括:
由所述一个或多个计算系统并针对所述多个房间中的每一个执行获得所述一个或多个图像、以及分析所述视觉数据、以及确定所述一个或多个目标属性、以及获得所述附加图像、以及分析所述附加视觉数据、以及确定所述房间的所述可用性的所述评估;
由所述一个或多个计算系统并针对所述一个或多个相关联的外部区域中的每一个执行获得在所述外部区域中捕获的一个或多个其他图像、以及分析所述一个或多个其他图像的其他视觉数据以识别所述外部区域中的一个或多个其他物体、以及确定所述一个或多个其他物体中的每一个的一个或多个其他目标属性、以及获得其他附加图像以提供关于所述一个或多个其他物体中的每一个的所述一个或多个其他目标属性的其他附加视觉数据、以及分析所述其他附加视觉数据以确定所述一个或多个其他物体中的每一个对所述外部区域用于又一指示的目的的可用性的贡献、以及至少部分地基于将所述一个或多个其他物体的所述确定的贡献相结合来确定所述外部区域用于所述又一指示的目的的所述可用性的评估;以及
由所述一个或多个计算系统至少部分地基于将关于所述多个房间中的每一个的所述可用性的所述确定的评估的信息与关于所述一个或多个相关联的外部区域中的每一个的所述可用性的所述确定的评估的信息相结合来确定所述房屋的整体可用性的评估,以及
其中由所述一个或多个计算系统提供所述信息还包括由所述一个或多个计算系统以与关于所述房屋的其他视觉信息相关联的方式显示关于所述房屋的所述整体可用性的所述确定的评估的信息。
A22.根据条款A01至A21中任一项所述的计算机实施的方法,其中通过评估所述多个物体和包括状况或质量或功能性或有效性中的至少一个的所述房间的特性来执行确定所述多个物体中的每一个对所述房间用于所述指示的目的的所述可用性的所述当前贡献以及确定所述房间用于所述指示的目的的所述可用性的所述评估。
A23.根据条款A01至A22中任一项所述的计算机实施的方法,其中所述一个或多个图像包括一个或多个全景图像,所述一个或多个全景图像结合起来包括所述房间的360度水平视觉覆盖范围,其中所述附加图像包括一个或多个立体图像,每个立体图像具有所述房间的少于180度水平视觉覆盖范围,其中执行分析所述一个或多个图像的所述视觉数据和分析所述附加视觉数据,而无需使用来自任何深度感测传感器的关于从捕获所述一个或多个图像和所述附加图像的位置到周围表面的距离的任何深度信息,其中所述附加视觉数据还包括具有关于所述多个物体中的至少一个和/或至少一个目标属性的视觉信息的视频或三维模型中的至少一个,其中所述方法还包括由所述一个或多个计算系统获得具有关于至少一个物体和/或至少一个目标属性的其他附加细节的附加非视觉数据,并且其中确定所述多个物体中的一个或多个的所述当前贡献进一步至少部分地基于对所述附加非视觉数据和所述视频或所述三维模型中的所述至少一个的分析。
A24.根据条款A23所述的计算机实施的方法,其中所述多个图像包括具有初始视觉数据的一个或多个初始图像并且还包括具有附加视觉数据的一个或多个附加图像,并且其中获得所述多个图像包括:
由所述一个或多个计算系统获得所述一个或多个初始图像;
由所述一个或多个计算系统至少部分地基于分析所述一个或多个初始图像的所述初始视觉数据执行识别所述多个物体;
由所述一个或多个计算系统获得在所述一个或多个附加图像,以各自提供关于所述多个物体中的至少一个的至少一个目标属性的附加细节;以及
由所述一个或多个计算系统至少部分地基于分析所述一个或多个附加图像的所述附加视觉数据执行评定所述多个物体中的每一个的所述一个或多个目标属性。
A25.根据条款A24所述的计算机实施的方法,还包括:
由所述一个或多个计算系统分析所述一个或多个初始图像的所述初始视觉数据以针对所述多个物体中的每一个来确定所述物体的类型,并且其中至少部分地基于所述物体的所述确定的类型来确定所述多个物体中的每一个的所述一个或多个目标属性;以及
由所述一个或多个计算系统至少部分地基于所述一个或多个初始图像的所述初始视觉数据缺乏细节来满足关于所述多个物体中的每一个的至少一个目标属性的定义的阈值来确定捕获所述一个或多个附加图像。
A26.根据条款A01至A25中任一项所述的计算机实施的方法,其中所述自动化操作还包括由所述一个或多个计算系统分析所述多个图像的所述视觉数据,以相对于所述房间用于所述指示的目的的所述可用性来评估所述房间中的物品的布局或所述房间的形状中的至少一个,并且其中进一步至少部分地基于所述房间的所述评估的布局或所述房间的所述评估的形状中的所述至少一个来确定所述房间用于所述指示的目的的所述可用性的所述评估。
A27.根据条款A01至A26中任一项所述的计算机实施的方法,其中所述建筑物包括多个房间并且具有在所述建筑物外部的一个或多个相关联的外部区域,并且其中所述自动化操作还包括:
由所述一个或多个计算系统并且针对所述多个房间中的每一个执行获得、分析和确定所述一个或多个目标属性和所述多个物体中的每一个的所述贡献、以及确定所述房间的所述可用性的所述评估;以及
由所述一个或多个计算系统并针对所述一个或多个相关联的外部区域中的每一个执行获得在所述外部区域中捕获的一个或多个其他图像、以及分析所述一个或多个其他图像的其他视觉数据以识别所述外部区域中的一个或多个其他物体、以及确定所述一个或多个其他物体中的每一个的一个或多个其他目标属性、以及确定所述一个或多个其他物体中的每一个对所述外部区域用于又一指示的目的的可用性的贡献、以及至少部分地基于将所述一个或多个其他物体的所述确定的贡献相结合来确定所述外部区域用于所述又一指示的目的的所述可用性的评估;以及
由所述一个或多个计算系统至少部分地基于将关于所述多个房间中的每一个的所述可用性的所述确定的评估的信息与关于所述一个或多个相关联的外部区域中的每一个的所述可用性的所述确定的评估的信息相结合来确定所述建筑物的整体可用性的评估,
并且其中由所述一个或多个计算系统提供所述信息还包括由所述一个或多个计算系统显示关于所述建筑物的所述整体可用性的所述确定的评估的信息。
A28.根据条款A01至A27中任一项所述的计算机实施的方法,其中所述一个或多个图像包括具有初始视觉数据的一个或多个初始图像,其中所述获得附加数据被包括在一个或多个附加图像或一个或多个视频或一个或多个三维模型中的至少一个中,
其中获得所述一个或多个图像包括获得所述一个或多个初始图像,以及至少部分地基于使用至少一个第一经训练的神经网络分析所述一个或多个初始图像的所述初始视觉数据来执行识别所述一个或多个物体;以及
其中至少部分地基于使用至少一个第二经训练的神经网络分析所述附加视觉数据来评估所述一个或多个物体中的每一个的所述一个或多个目标属性。
A29.根据条款A28所述的计算机实施的方法,其中所述一个或多个物体包括多个物体,并且其中所述方法还包括至少部分地基于所述一个或多个初始图像的所述初始视觉数据缺乏细节来满足关于所述一个或多个物体中的每一个的至少一个目标属性的定义的阈值来确定捕获所述附加视觉数据。
A30.根据条款A01至A29中任一项所述的计算机实施的方法,其中所述建筑物包括多个房间,并且其中所述自动化操作还包括:
由所述一个或多个计算系统并针对所述多个房间中的每一个执行获得所述一个或多个图像、以及分析所述视觉数据、以及识别所述一个或多个目标属性、以及获得所述附加视觉数据、以及确定所述一个或多个物体中的每一个的所述贡献、以及进一步分析、以及确定所述房间的所述可用性的所述评估;以及
由所述一个或多个计算系统至少部分地基于将所述多个房间中的每一个的所述可用性的所述确定的评估的信息相结合来确定所述建筑物的整体可用性的评估,以及
其中提供所述信息还包括由所述一个或多个计算系统显示关于所述建筑物的所述整体可用性的所述确定的评估的信息。
A31.一种计算机实施的方法,包括多个步骤来执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
B01.一种非暂时性计算机可读介质,其存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或其他存储的内容致使一个或多个计算系统执行自动化操作,所述自动化操作实施条款A01至A31中任一项所述的方法。
B02.一种非暂时性计算机可读介质,其存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或其他存储的内容致使一个或多个计算系统执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
C01.一种或多种计算系统,其包括一个或多个硬件处理器和存储有指令的一个或多个存储器,所述指令在被所述一个或多个硬件处理器中的至少一个执行时致使所述一种或多种计算系统执行自动化操作,所述自动化操作实施条款A01至A31中任一项所述的方法。
C02.一种或多种计算系统,其包括一个或多个硬件处理器和存储有指令的一个或多个存储器,所述指令在被所述一个或多个硬件处理器中的至少一个执行时致使所述一种或多种计算系统执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
D01.一种计算机程序,当所述计算机程序在计算机上运行时,所述计算机程序适于执行条款A01至A31中任一项所述的方法。
本文参考根据本公开的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本公开的方面。应理解的是,可通过计算机可读程序指令来实施流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合。将进一步了解,在一些实施方式中,可以以替代性方式提供由上文讨论的例程提供的功能,诸如划分到更多的例程当中或者合并到更少的例程中。类似地,在一些实施方式中,所示出的例程可提供比所描述的功能更多或更少的功能,诸如在其他所示出的例程相应地改为缺少或包括这种功能时,或者在所提供的功能的量变更时。另外,尽管各种操作可被说明为按特定方式(例如,串行或并行或者同步或异步)和/或按特定顺序执行,但在其他实施方式中,可按其他顺序和其他方式执行操作。上文讨论的任何数据结构也可按不同方式结构化,诸如通过将单个数据结构划分成多个数据结构和/或通过使多个数据结构合并成单个数据结构。类似地,在一些实施方式中,所示出的数据结构可存储比所描述的信息更多或更少的信息,诸如在其他所示出的数据结构相应地改为缺少或包括这种信息时,或者在所存储的信息的量或类型变更时。
根据上述内容,应理解的是,尽管出于说明的目的在本文中已描述了具体实施例,但是在不脱离本发明的精神和范围的情况下,可做出各种修改。因此,除受对应的权利要求和那些权利要求所叙述的元素的限制外,本发明不受限制。另外,尽管在某些时候可以以某些权利要求形式呈现本发明的某些方面,但是本发明人设想以任何可用权利要求形式的本发明的各种方面。例如,尽管在特定时候仅本发明的一些方面可被叙述为体现在计算机可读存储介质中,但是同样可这样体现其他方面。

Claims (15)

1.一种计算机实施的方法,包括:
通过一个或多个计算系统,获得在房屋的房间中捕获的一个或多个图像;
通过所述一个或多个计算系统,分析所述一个或多个图像的视觉数据,以识别安装在所述房间中的多个物体,并且针对所述多个物体中的每一个来确定所述物体的至少类型;
通过所述一个或多个计算系统,并且针对所述多个物体中的每一个,至少部分地基于所述物体的所述类型来确定所述物体的一个或多个目标属性;
通过所述一个或多个计算系统,获得在所述房间中捕获的附加图像,以各自提供具有关于所述多个物体中的至少一个的至少一个目标属性的附加细节的附加视觉数据;
通过所述一个或多个计算系统,并且经由使用至少一个经训练的神经网络,分析所述附加图像的所述附加视觉数据,以评估所述多个物体,包括针对所述多个物体中的每一个,至少部分地基于使用从所述附加视觉数据确定的信息评定所述物体的所述一个或多个目标属性,确定所述物体对所述房间对所指示的目的的可用性的当前贡献;
通过所述一个或多个计算系统,并且至少部分地基于将所述多个物体的确定的当前贡献结合,确定所述房间用于所述指示的目的的所述可用性的评估;以及
通过所述一个或多个计算系统,提供关于所述房间的所述可用性的确定的评估的信息。
2.根据权利要求1所述的计算机实施的方法,其中,分析所述一个或多个图像的所述视觉数据包括:
通过所述一个或多个计算系统,分析所述一个或多个图像的所述视觉数据,以确定所述视觉数据中关于所述多个物体中的每一个的所述一个或多个目标属性的信息量;以及
通过所述一个或多个计算系统,至少部分地基于对于所述多个物体中的每一个所述视觉数据中的所确定的信息量不足以满足所述物体的至少一个目标属性的限定的细节阈值,确定捕获所述附加图像;以及
其中,至少部分地基于确定捕获所述附加图像来执行获得所述附加图像。
3.根据权利要求2所述的计算机实施的方法,其中,分析所述一个或多个图像的所述视觉数据以识别所述多个物体还包括:识别所述房间中的与所述多个物体分开的一个或多个附加物体,以及其中,所述方法还包括:
通过所述一个或多个计算系统,分析所述一个或多个图像的所述视觉数据,以确定所述视觉数据中的关于所述一个或多个附加物体中的每一个的一个或多个附加目标属性的又一信息量;以及
通过所述一个或多个计算系统,至少部分地基于对于所述一个或多个附加物体中的每一个所述视觉数据中的所确定的又一信息量足以满足所述附加物体的所述一个或多个附加目标属性的限定的细节阈值,确定不捕获其他附加图像。
4.根据权利要求2所述的计算机实施的方法,还包括以下步骤中的至少一个:
通过所述一个或多个计算系统,分析所述附加图像的所述附加视觉数据,以确定所述附加视觉数据中的关于所述多个物体中的每一个的所述一个或多个目标属性的又一信息量;以及通过所述一个或多个计算系统,确定所述附加视觉数据中的所述又一信息量足以满足所述多个物体中的每一个的所述一个或多个目标属性的限定的细节阈值,以及其中,至少部分地基于确定所述附加视觉数据中的所述又一信息量足以满足所述多个物体中的每一个的所述一个或多个目标属性的限定的细节阈值,执行确定所述多个物体中的每一个的所述当前贡献;或
通过所述一个或多个计算系统,分析所述附加图像的所述附加视觉数据,以确定所述附加视觉数据中的关于所述多个物体中的每一个的所述一个或多个目标属性的又一信息量;通过所述一个或多个计算系统,并且针对所述多个物体中的一个,确定所述附加视觉数据中的所述又一信息量不足以满足所述一个物体的至少一个目标属性的限定的细节阈值;以及通过所述一个或多个计算系统,且基于确定所述附加视觉数据中的所述又一信息量不足以满足所述一个物体的所述至少一个目标属性的限定的细节阈值,并且在确定所述一个物体的所述当前贡献之前,发起捕获所述一个物体的一个或多个其他图像,以提供足以满足所述一个物体的所述一个或多个目标属性的限定的细节阈值的其他视觉数据。
5.根据权利要求1所述的计算机实施的方法,还包括:通过所述一个或多个计算系统,将所述附加图像的所述附加视觉数据与所述一个或多个图像的所述视觉数据进行比较,以确定所述附加图像中的每一个均具有所述多个物体中的至少一个的匹配所述物体的所述一个或多个图像中的视觉数据的附加视觉数据,以及其中,至少部分地基于确定所述附加图像中的每一个均具有所述多个物体中的至少一个的匹配所述物体的所述一个或多个图像中的视觉数据的所述附加视觉数据,执行确定所述多个物体中的每一个的所述当前贡献。
6.根据权利要求1所述的计算机实施的方法,还包括:
通过所述一个或多个计算系统,将所述附加图像的所述附加视觉数据与所述一个或多个图像的所述视觉数据进行比较,以确定所述附加图像中的一个缺乏匹配所述多个物体中的任一个的所述一个或多个图像中的其他视觉数据的视觉数据;以及
通过所述一个或多个计算系统,且基于确定所述一个附加图像缺乏匹配所述多个物体中的任一个的所述一个或多个图像中的其他视觉数据的视觉数据,发起捕获一个或多个其他数据,以提供关于所述多个物体中的至少一个的其他视觉数据。
7.根据权利要求1所述的计算机实施的方法,其中,分析所述一个或多个图像的所述视觉数据还包括确定所述视觉数据中的所述多个物体中的每一个的位置,以及其中,所述方法还包括:通过所述一个或多个计算系统,提供指令来捕获所述附加图像,包括提供关于所述多个物体中的每一个的确定的位置的信息。
8.根据权利要求1所述的计算机实施的方法,其中,安装在所述房间中的所述多个物体各自是以下所列中的至少一个:灯具、或卫生洁具、或内置家具、或在所述房间的墙壁内部的内置结构、或电气器具、或燃气动力器具、或安装的地板、或安装的墙壁覆盖物、或安装的窗户覆盖物、或附接至门的五金、或附接至窗户的五金、或安装的台面。
9.根据权利要求1所述的计算机实施的方法,其中,分析所述一个或多个图像的所述视觉数据进一步识别所述房间中的各自是家具或可移动物品的一个或多个附加物体,其中,针对所述一个或多个附加物体各自进一步执行:获得并分析所述视觉数据,以及确定所述一个或多个目标属性,其中,所述房间用于指示的目的的所述可用性的确定的评估是基于所述房间自从捕获所述一个或多个图像和所述附加图像起的当前状态,以及其中,所述方法还包括:通过所述一个或多个计算系统,在改变所述房间中的所述一个或多个附加物体之后的稍后时间并且基于在所述稍后时间捕获的所述房间的其他图像,确定所述房间用于指示的目的的所述可用性的附加评估,以及提供关于自从捕获所述一个或多个图像和所述附加图像起的确定的评估与在所述稍后时间的确定的附加评估之间的差异的附加信息。
10.根据权利要求1所述的计算机实施的方法,其中,至少部分地基于将所述多个物体的确定的当前贡献相结合来确定所述房间用于所述指示的目的的所述可用性的所述评估包括以下所列中的至少一个:
通过所述一个或多个计算系统,执行对所述多个物体的确定的当前贡献的加权平均,以及其中,用于所述加权平均的权重至少部分地基于所述多个物体的所述类型;或
通过所述一个或多个计算系统,将所述多个物体的确定的当前贡献提供到附加的经训练的神经网络,并且从所述附加的经训练的神经网络接收所述房间的所述可用性的所述确定的评估。
11.根据权利要求1所述的计算机实施的方法,还包括以下所列中的至少一个:
通过所述一个或多个计算系统,分析所述一个或多个图像的所述视觉数据,以相对于所述房间用于所述指示的目的的所述可用性来评估所述房间的物品的布局,以及其中,确定所述房间用于所述指示的目的的所述可用性的所述评估进一步部分地基于所述房间的评估的布局;或
通过所述一个或多个计算系统,分析所述一个或多个图像的所述视觉数据,以确定所述房间的类型,并确定所述房间的形状,并且至少部分地基于所确定的类型或所确定的形状中的至少一个来确定所述房间的指示的目的,以及其中,确定所述房间用于所述指示的目的的所述可用性的所述评估进一步部分地基于所述房间的确定的类型;或
通过所述一个或多个计算系统,并针对所述房屋的多个房间中的每一个执行:获得所述一个或多个图像、分析所述视觉数据、确定所述一个或多个目标属性、获得所述附加图像、分析所述附加视觉数据以及确定所述房间的所述可用性的所述评估;以及通过所述一个或多个计算系统,并针对所述房屋外部的一个或多个相关联的外部区域中的每一个,执行获得在所述外部区域中捕获的一个或多个其他图像,以及分析所述一个或多个其他图像的其他视觉数据以识别所述外部区域中的一个或多个其他物体,以及确定所述一个或多个其他物体中的每一个的一个或多个其他目标属性,以及获得其他附加图像,以提供关于所述一个或多个其他物体中的每一个的所述一个或多个其他目标属性的其他附加视觉数据,以及分析所述其他附加视觉数据以确定所述一个或多个其他物体中的每一个对所述外部区域对于又一指示的目的的可用性的贡献,以及至少部分地基于将所述一个或多个其他物体的所述确定的贡献相结合,确定所述外部区域用于所述又一指示的目的的所述可用性的评估;以及通过所述一个或多个计算系统,至少部分地基于将关于所述多个房间中的每一个的所述可用性的确定的评估的信息与关于所述一个或多个相关联的外部区域中的每一个的所述可用性的确定的评估的信息相结合,确定所述房屋的整体可用性的评估,以及其中,通过所述一个或多个计算系统提供所述信息还包括:通过所述一个或多个计算系统,以与关于所述房屋的其他视觉信息相关联的方式,显示关于所述房屋的所述整体可用性的确定的评估的信息。
12.根据权利要求1所述的计算机实施的方法,其中,通过评估所述多个物体和包括状况、或质量、或功能性、或有效性中的至少一个的所述房间的特性,执行确定所述多个物体中的每一个对所述房间用于所述指示的目的的所述可用性的所述当前贡献,以及确定所述房间用于所述指示的目的的所述可用性的所述评估。
13.根据权利要求1所述的计算机实施的方法,其中,所述一个或多个图像包括一个或多个全景图像,所述一个或多个全景图像结合起来包括所述房间的360度水平视觉覆盖范围,其中所述附加图像包括一个或多个立体图像,每个立体图像均具有所述房间的少于180度水平视觉覆盖范围,其中,执行分析所述一个或多个图像的所述视觉数据和分析所述附加视觉数据,而不使用来自任何深度感测传感器的关于从捕获所述一个或多个图像和所述附加图像的位置到周围表面的距离的任何深度信息,其中所述附加视觉数据还包括具有关于所述多个物体中的至少一个和/或至少一个目标属性的视觉信息的视频或三维模型中的至少一个,其中,所述方法还包括:通过所述一个或多个计算系统,获得具有关于至少一个物体和/或至少一个目标属性的其他附加细节的附加非视觉数据,以及其中,确定所述多个物体中的一个或多个的所述当前贡献进一步部分地基于对所述视频或所述三维模型中的至少一个和所述附加非视觉数据的分析。
14.一种非暂时性计算机可读介质,存储有内容,所述内容致使一个或多个计算装置执行自动化操作,所述自动化操作至少包括:
通过所述一个或多个计算装置,获得在建筑物的房间中捕获的多个图像;
通过所述一个或多个计算装置,并且经由使用至少一个经训练的神经网络,分析所述多个图像的视觉数据,以识别所述房间中的多个物体;
通过所述一个或多个计算装置,并且针对所述多个物体中的每一个,确定所述物体的一个或多个目标属性,并且至少部分地基于使用所述多个图像的所述视觉数据评定所述物体的所述一个或多个目标属性,确定所述物体对所述房间用于指示的目的的可用性的贡献;
通过所述一个或多个计算装置,并且至少部分地基于将所述多个物体的确定的贡献相结合,确定所述房间用于所述指示的目的的所述可用性的评估;以及
通过所述一个或多个计算装置,提供关于所述房间的所述可用性的确定的评估的信息。
15.一种系统,包括:
一个或多个计算系统的一个或多个硬件处理器;以及
一个或多个存储器,存储有指令,所述指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一个或多个计算系统中的至少一个执行自动化操作,所述自动化操作至少包括:
获得在建筑物的房间中捕获的一个或多个图像;
分析所述一个或多个图像的视觉数据,以识别所述房间中的一个或多个物体,并且确定所述一个或多个物体中的每一个的类型;
至少部分地基于所述物体的确定的类型,识别所述一个或多个物体中的每一个的一个或多个目标属性,并且获得所述房间的具有关于所述一个或多个物体中的至少一个的至少一个目标属性的附加细节的附加视觉数据;
针对所述一个或多个物体中的每一个,至少部分地基于至少部分地基于所述附加数据评定所述物体的所述一个或多个目标属性,确定所述物体对所述房间的可用性的贡献;
进一步分析所述视觉数据或所述附加视觉数据中的至少一个,以评估所述房间的形状或所述房间中的物品的布局中的至少一个;
至少部分地基于将关于所述一个或多个物体的确定的贡献的信息与关于所述房间的评估的形状或布局中的至少一个的信息结合,确定所述房间的所述可用性的评估;以及
提供关于所述房间的所述可用性的确定的评估的信息。
CN202210110801.8A 2021-02-25 2022-01-29 使用所捕获的房间中图像的视觉数据对建筑物进行自动化可用性评估 Pending CN114969882A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/185,793 2021-02-25
US17/185,793 US11790648B2 (en) 2021-02-25 2021-02-25 Automated usability assessment of buildings using visual data of captured in-room images

Publications (1)

Publication Number Publication Date
CN114969882A true CN114969882A (zh) 2022-08-30

Family

ID=80446234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210110801.8A Pending CN114969882A (zh) 2021-02-25 2022-01-29 使用所捕获的房间中图像的视觉数据对建筑物进行自动化可用性评估

Country Status (5)

Country Link
US (2) US11790648B2 (zh)
EP (1) EP4050574A1 (zh)
CN (1) CN114969882A (zh)
AU (1) AU2022200297B2 (zh)
CA (1) CA3143837A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205069A1 (en) * 2018-04-27 2019-10-31 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating 3d model of building
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
CN117744196A (zh) * 2020-10-13 2024-03-22 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
US11790648B2 (en) * 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US12008717B2 (en) * 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11842464B2 (en) * 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
KR102499668B1 (ko) * 2021-10-08 2023-02-16 주식회사 쓰리아이 가상 공간 투어 제공 시스템 및 이의 제공방법
US20230118647A1 (en) * 2021-10-14 2023-04-20 Outward, Inc. Interactive image generation
US20230196706A1 (en) * 2021-12-21 2023-06-22 T-Mobile Usa, Inc. Accessible guided image capture systems and methods
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US20230368520A1 (en) * 2022-05-12 2023-11-16 Samsung Electronics Co., Ltd. Fast object detection in video via scale separation
JP2024017224A (ja) * 2022-07-27 2024-02-08 株式会社リコー 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
US20240096097A1 (en) * 2022-08-27 2024-03-21 MFTB Holdco, Inc. Automated Generation And Use Of Building Information From Analysis Of Floor Plans And Acquired Building Images
US20240104851A1 (en) * 2022-09-22 2024-03-28 MFTB Holdco, Inc. Automated Generation And Presentation Of Visual Data Enhancements On Camera View Images Captured In A Building
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770782A (zh) * 2017-06-20 2020-02-07 比优有限公司 对住宅房地产布局数据进行收集、搜索、评价和排名的系统和方法
WO2020238022A1 (zh) * 2019-05-28 2020-12-03 贝壳找房(北京)科技有限公司 三维空间视图显示方法、装置及存储介质
US20200394343A1 (en) * 2019-06-12 2020-12-17 Jeremiah Timberline Barker Data serialization extrusion for converting two-dimensional images to three-dimensional geometry
US20210004589A1 (en) * 2018-12-18 2021-01-07 Slyce Acquisition Inc. Scene and user-input context aided visual search
US20210027485A1 (en) * 2019-07-24 2021-01-28 Squadle, Inc. Status monitoring using machine learning and machine vision

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140352A (en) 1990-10-31 1992-08-18 Occipital, Inc. Ccd camera and method for fundus imaging
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
WO1999059026A2 (en) 1998-05-13 1999-11-18 Infinite Pictures Inc. Panoramic movies which simulate movement through multidimensional space
US6323858B1 (en) 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
US6317166B1 (en) 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US7129971B2 (en) 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
AU2001264723A1 (en) 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
US6731305B1 (en) 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
US7312816B2 (en) 2002-07-24 2007-12-25 Freestone Systems, Inc. Digital observation system
US7909241B2 (en) 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
US7791638B2 (en) 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
US7660431B2 (en) * 2004-12-16 2010-02-09 Motorola, Inc. Image recognition facilitation using remotely sourced content
US20060256109A1 (en) 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
US7627235B2 (en) 2006-03-17 2009-12-01 Immersive Media Company Spinning camera enclosure for environmental protection
US7973838B2 (en) 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
CA2658727C (en) 2006-07-25 2017-10-24 Humaneyes Technologies Ltd. Interactive segmentation of images with single scribbles
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
EP2122409B1 (en) 2007-02-25 2016-12-07 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
US7782319B2 (en) 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US7936354B2 (en) 2007-04-27 2011-05-03 Graphisoft R&D Zrt. Virtual trace-multiple view modeling system and method
WO2009013744A2 (en) 2007-07-23 2009-01-29 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
BRPI0909937A2 (pt) 2008-06-16 2015-10-20 Humaneyes Technologies Ltd "método de preparo de um cilindro guia lenticular para a produção de uma imagem lenticular, kit para converter um cilindro de impressão padrão em um cilindro guia lenticular de uma impressora e método de preparo de um cilindro guia para uso em um ciclo de impressão lenticular"
US8463020B1 (en) 2008-07-08 2013-06-11 Imove, Inc. Centralized immersive image rendering for thin client
BRPI0912063A2 (pt) 2008-08-04 2016-01-05 Humaneyes Technologies Ltd "método de preparação de um artigo de imagem lenticular, artigo de imagem lenticular e sistema de preparação de um artigo de imagem lenticular"
US8411966B2 (en) 2009-03-10 2013-04-02 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
WO2011086560A1 (en) 2010-01-14 2011-07-21 Humaneyes Technologies Ltd Method and system for adjusting depth values of objects in a three dimensional (3d) display
KR101572892B1 (ko) 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
US9041796B2 (en) 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
US9361717B2 (en) 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8705892B2 (en) 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9129438B2 (en) 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
KR101868654B1 (ko) 2011-01-22 2018-06-18 휴먼아이즈 테크놀로지즈 리미티드 렌티큘러 인쇄 및 디스플레이에서 흐림 아티팩트를 감소시키는 방법 및 시스템
US9151608B2 (en) 2011-03-31 2015-10-06 Francis Ruben Malka Apparatus, tool, and method for modifying a portion of a floor plan based on measurements made by one or more sensors
US8996336B2 (en) 2011-03-31 2015-03-31 Francis Ruben Malka Method, tool, and device for assembling a plurality of partial floor plans into a combined floor plan
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US20120293613A1 (en) 2011-05-17 2012-11-22 Occipital, Inc. System and method for capturing and editing panoramic images
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9282242B2 (en) 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
US8666815B1 (en) 2011-09-09 2014-03-04 Google Inc. Navigation-based ad units in street view
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US11094137B2 (en) 2012-02-24 2021-08-17 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US8989440B2 (en) 2012-03-27 2015-03-24 Way Out Ip, Llc System and method of room decoration for use with a mobile device
US9641702B2 (en) 2012-04-25 2017-05-02 Humaneyes Technologies Ltd. Methods and systems of generating a lenticular article using a printing blanket
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US9423261B2 (en) 2013-02-19 2016-08-23 Here Global B.V. Path curve confidence factors
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US20140307100A1 (en) 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US9635252B2 (en) 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
WO2014176745A1 (en) 2013-04-28 2014-11-06 Tencent Technology (Shenzhen) Company Limited Providing navigation information to a point of interest on real-time street views using a mobile device
EP3011535A4 (en) 2013-06-20 2016-12-28 Diakrit Int Ltd TOOL FOR VISUALIZING A DISPOSITION OF FURNITURE IN A REAL ESTATE
WO2015033253A2 (en) 2013-09-03 2015-03-12 3Ditize Sl Generating a 3d interactive immersive experience from a 2d static image
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US20150116691A1 (en) 2013-10-25 2015-04-30 Planitar Inc. Indoor surveying apparatus and method
US9787904B2 (en) 2013-10-31 2017-10-10 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3D models of rooms
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
US9396586B2 (en) 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
EP3140613B1 (en) 2014-05-05 2024-04-03 Hexagon Technology Center GmbH Surveying system
US20150332464A1 (en) 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9953111B2 (en) 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US10055876B2 (en) 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
US20160134860A1 (en) 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
KR101638378B1 (ko) 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
WO2016097940A1 (en) 2014-12-16 2016-06-23 3Ditize Sl 3d rotational presentation generated from 2d static images
EP3251347A4 (en) 2015-01-28 2018-09-19 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
US20160260250A1 (en) 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
US20160275518A1 (en) * 2015-03-19 2016-09-22 ecoATM, Inc. Device recycling systems with facial recognition
EP3275204B1 (en) 2015-03-24 2020-07-22 Carrier Corporation System and method for capturing and analyzing multidimensional building information
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
CN105120191A (zh) 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
US20170078593A1 (en) 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
US9953430B1 (en) 2015-10-29 2018-04-24 Indoor Reality Inc. Methods for detecting luminary fixtures
US10706615B2 (en) 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US10708573B2 (en) 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10120397B1 (en) 2016-02-11 2018-11-06 Indoor Reality Inc. Interior climate control utilizing multimodal sensor positioning
US10395435B2 (en) 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10554896B2 (en) 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10502363B2 (en) 2016-05-17 2019-12-10 Occipital, Inc. Self-contained mixed reality head mounted display
KR101770648B1 (ko) 2016-05-18 2017-08-23 주식회사 큐픽스 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
US20180007340A1 (en) 2016-06-29 2018-01-04 Barbara Carey Stachowski Method and system for motion controlled mobile viewing
US10030979B2 (en) 2016-07-29 2018-07-24 Matterport, Inc. Determining and/or generating a navigation path through a captured three-dimensional model rendered on a device
US10204185B2 (en) 2016-08-02 2019-02-12 Indoor Reality Inc. Building scan window detection
US10210285B2 (en) 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10536693B2 (en) 2016-11-22 2020-01-14 Pixvana, Inc. Analytic reprocessing for data stream system and method
US10304256B2 (en) 2016-12-13 2019-05-28 Indoor Reality Inc. Point cloud cleaning method
CA3055597A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
US10181215B2 (en) 2017-03-30 2019-01-15 EyeSpy360 Limited Generating a virtual map
US10122997B1 (en) 2017-05-03 2018-11-06 Lowe's Companies, Inc. Automated matrix photo framing using range camera input
US10809795B2 (en) 2017-05-31 2020-10-20 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
US10534962B2 (en) 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
US10375306B2 (en) 2017-07-13 2019-08-06 Zillow Group, Inc. Capture and use of building interior data from mobile devices
US10530997B2 (en) 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US20190041972A1 (en) 2017-08-04 2019-02-07 Cupix, Inc. Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10540054B2 (en) 2017-09-20 2020-01-21 Matterport, Inc. Navigation point selection for navigating through virtual environments
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10366531B2 (en) 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US10235797B1 (en) 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11494857B2 (en) 2018-02-15 2022-11-08 Flyreel, Inc. Property inspection system and method
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
KR101930796B1 (ko) 2018-06-20 2018-12-19 주식회사 큐픽스 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
CA3058602C (en) 2018-10-11 2023-01-24 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10708507B1 (en) 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
US10809066B2 (en) 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
WO2020191101A1 (en) * 2019-03-18 2020-09-24 Geomagical Labs, Inc. Virtual interaction with three-dimensional indoor room imagery
US12014120B2 (en) 2019-08-28 2024-06-18 MFTB Holdco, Inc. Automated tools for generating mapping information for buildings
US11243656B2 (en) 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
US11164368B2 (en) 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
US11164361B2 (en) 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US10825247B1 (en) 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models
US11405549B2 (en) 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
US11176755B1 (en) * 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11514674B2 (en) 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
US20220092227A1 (en) 2020-09-22 2022-03-24 Zillow, Inc. Automated Identification And Use Of Building Floor Plan Information
US11592969B2 (en) 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
JP2022077148A (ja) * 2020-11-11 2022-05-23 株式会社リコー 画像処理方法、プログラムおよび画像処理システム
US11252329B1 (en) 2021-01-08 2022-02-15 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11790648B2 (en) * 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) * 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110770782A (zh) * 2017-06-20 2020-02-07 比优有限公司 对住宅房地产布局数据进行收集、搜索、评价和排名的系统和方法
US20210004589A1 (en) * 2018-12-18 2021-01-07 Slyce Acquisition Inc. Scene and user-input context aided visual search
WO2020238022A1 (zh) * 2019-05-28 2020-12-03 贝壳找房(北京)科技有限公司 三维空间视图显示方法、装置及存储介质
US20200394343A1 (en) * 2019-06-12 2020-12-17 Jeremiah Timberline Barker Data serialization extrusion for converting two-dimensional images to three-dimensional geometry
US20210027485A1 (en) * 2019-07-24 2021-01-28 Squadle, Inc. Status monitoring using machine learning and machine vision

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚拓中;左文辉;宋加涛;应宏微;: "结合物体先验和空域约束的室内空域布局推理", 自动化学报, no. 08 *

Also Published As

Publication number Publication date
AU2022200297B2 (en) 2023-10-26
US11790648B2 (en) 2023-10-17
US20220269888A1 (en) 2022-08-25
CA3143837A1 (en) 2022-08-25
EP4050574A1 (en) 2022-08-31
US20230419662A1 (en) 2023-12-28
AU2022200297A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
EP4050574A1 (en) Automated usability assessment of buildings using visual data of captured in-room images
EP4050572A1 (en) Automated direction of capturing in-room information for use in usability assessment of buildings
CA3139429C (en) Automated determination of image acquisition locations in building interiors using determined room shapes
US11676344B2 (en) Presenting building information using building models
US11238652B2 (en) Presenting integrated building information using building models
CA3058602C (en) Automated mapping information generation from inter-connected images
CA3145605C (en) Automated exchange and use of attribute information between building images of multiple types
CA3142154A1 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US20230196684A1 (en) Presenting Building Information Using Video And Building Models
CN117253139A (zh) 用于评估建筑物测绘信息生成的自动化工具
CN117456040A (zh) 用于建筑物测绘信息的增量生成的自动化工具
CN117636140A (zh) 从分析楼层平面图和采集的建筑物图像自动生成和使用建筑物信息
EP4358026A1 (en) Automated determination of acquisition locations of acquired building images based on identified surrounding objects
CA3187671A1 (en) Presenting building information using building models
CN117745983A (zh) 自动化生成视觉数据增强并在建筑物中捕获的相机视图图像上呈现视觉数据增强
EP4397945A1 (en) Automated localization using beacon transmitter devices of data acquired in buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Washington State

Applicant after: Zillow LLC

Address before: Washington State

Applicant before: ZILLOW Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230424

Address after: Washington State

Applicant after: Pushsabo I Co.

Address before: Washington State

Applicant before: Zillow LLC

Effective date of registration: 20230424

Address after: Washington State

Applicant after: MFTB Co.,Ltd.

Address before: Washington State

Applicant before: Pushsabo I Co.