CN118293918A - 使用在建筑物中采集的数据的信标发射器装置的自动化定位 - Google Patents
使用在建筑物中采集的数据的信标发射器装置的自动化定位 Download PDFInfo
- Publication number
- CN118293918A CN118293918A CN202310303154.7A CN202310303154A CN118293918A CN 118293918 A CN118293918 A CN 118293918A CN 202310303154 A CN202310303154 A CN 202310303154A CN 118293918 A CN118293918 A CN 118293918A
- Authority
- CN
- China
- Prior art keywords
- building
- acquisition
- information
- devices
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 89
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 79
- 230000005540 biological transmission Effects 0.000 claims description 66
- 238000013507 mapping Methods 0.000 claims description 37
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 238000013480 data collection Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 21
- 238000003860 storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000005094 computer simulation Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 208000018996 secondary polyarteritis nodosa Diseases 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/383—Indoor data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3856—Data obtained from user input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
描述了用于使用计算装置来执行使用建筑物处的无线发射器装置(例如,信标装置)以确定在建筑物处采集的图像或其他数据的采集地点,并且随后以一种或多种进一步自动化方式使用所采集的数据和所确定的采集地点信息的技术。要分析的图像可以包括在多房间建筑物的内部中的采集地点处采集的全景图像,并且所确定的采集地点信息可以包括建筑物的楼层平面图上的地点以及可选地取向方向。可以进一步执行采集地点确定,而无需具有或使用来自任何距离测量装置的关于从图像采集地点到周围建筑物中的对象的距离的信息。采集地点信息可以以各种自动化方式使用,包括用于控制装置(例如,自主车辆)的导航。
Description
技术领域
以下公开总体上涉及用于使用建筑物中的信标发射器装置作为自动地确定采集地点在建筑物内的从那些采集地点周围的环境采集数据的位置的部分的技术,从而使用建筑物中的多个信标发射器装置的网状网络来确定采集图像的采集地点在建筑物中的位置,并且随后以一种或多种方式使用所确定的采集地点信息和所采集的数据,从而改善对建筑物的导航。
背景技术
在各种领域和情况(诸如建筑分析、财产清查、不动产购置和开发、总承包、改造成本估算、自动化导航等)下,可能期望了解房屋、办公室或其他建筑物的内部而无需亲自前往并进入建筑物。然而,可能难以有效地采集、表示和使用这种建筑物内部信息,包括向位于远程地点处的用户显示在建筑物内部内采集的视觉信息(例如,使得用户能够充分理解内部的布局和其他细节,包括以用户选择的方式控制显示)。另外,尽管建筑物的楼层平面图可以提供关于布局的一些信息和建筑物内部的其他细节,但是这样使用楼层平面图具有一些缺点,包括楼层平面图可能难以建造和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和以其他方式使用等。
附图说明
图1包括描绘了用于本公开的实施方式中的示例性建筑物内部环境和(多个)计算系统的图示,包括生成并呈现表示建筑物的内部的信息。
图2A至图2K示出了自动地分析关于建筑物的楼层平面图的信息和自动地分析在建筑物的内部拍摄的视觉数据的示例,从而自动地确定图像的采集地点并将其呈现在楼层平面图上。
图3是示出了适合于执行系统的实施方式的计算系统的框图,该系统执行本公开中所描述的技术中的至少一些。
图4A至图4B示出了根据本公开的实施方式的用于建筑物采集地点确定和呈现管理器(BALDPM)系统例程的流程图的示例实施方式。
图5示出了根据本公开的实施方式的图像捕获和分析(ICA)系统例程的流程图的示例性实施方式。
图6A至图6B示出了根据本公开的实施方式的测绘信息生成管理器(MIGM)系统例程的流程图的示例性实施方式。
图7示出了根据本公开的实施方式的建筑物信息查看器系统例程的流程图的示例性实施方式。
具体实施方式
本公开描述了用于使用计算装置来执行与使用建筑物处的一个或多个信标发射器装置或其他无线发射器装置相关的自动化操作作为确定在建筑物处采集的图像或其他数据组的采集地点的部分,并且随后以一种或多种进一步自动化方式使用所采集的数据和所确定的采集地点信息的技术。在至少一些实施方式中,可以分析图像和/或其他采集的数据以生成建筑物的楼层平面图和/或其他测绘信息(例如,建筑物内部的三维模型、具有图像间方向信息的图像的链接组等),诸如通过使用所采集的图像的视觉数据和所确定的采集地点来确定房间形状并将这种房间形状相对于彼此定位,或以其他方式确定采集地点的相对位置。在至少一些这种实施方式中,进一步执行对所采集的图像和/或其他数据的自动化分析和使用,而无需具有或使用来自任何深度传感器或其他距离测量装置的关于从采集地点到周围建筑物中的墙壁或其他对象的距离的任何采集的深度数据。在各种实施方式中,可以进一步以各种方式使用这种生成的楼层平面图和/或其他测绘信息,诸如用于控制移动装置(例如,自主车辆)的导航、用于在一个或多个客户端装置上的对应GUI(图形用户界面)中显示或其他呈现等。另外,在至少一些实施方式和情形中,可以在用于采集数据的移动采集装置(例如,智能电话、平板电脑等)上执行自动化采集地点确定和/或对所采集的数据的自动化分析和使用中的一些或全部,并且可以进一步生成与自动化操作相关的各种反馈并将其呈现在移动采集装置上(例如,以引导进一步数据采集活动)。下文包括有关数据的自动化采集和所确定的图像采集地点信息的使用的附加细节,并且在至少一些实施方式中,本文描述的技术中的一些或全部可以经由建筑物采集地点确定和呈现管理器(“BALDPM”)系统的自动化操作来执行,如下面进一步讨论。
如上所述,BALDPM系统的自动化操作可以包括使用位于建筑物中和周围的信标发射器装置或其他无线发射器装置(本文一般称为“发射器装置”或“发射器”),辅助确定在那些建筑物中和周围的采集图像和/或其他数据的采集地点。这种发射器装置可以各自被配置为在发射器装置的范围内发射唯一标识符和可选地附加数据,并且可以是一种或多种类型,诸如使用蓝牙或蓝牙变型(例如,蓝牙低功耗或“BLE”)或超宽带(“UWB”)无线电发射能力(例如,具有数米或数英尺的发射范围)、Wi-Fi装置、红外(IR)装置、RFID装置(例如,具有几米或几英尺的范围)、近场通信(NFC)装置(例如,具有数厘米或数英寸的范围)等的信标装置。这种信标装置或其他发射器装置还可以包括提供这种发射还有其他功能的装置(例如,智能锁、电子加密箱、电视、医疗装置、智能家居装置等)。另外,在至少一些实施方式和情形中,一些或全部这种发射器装置还可以包括信标信号接收器或其他无线信号接收器(本文一般称为“接收器装置”或“接收器”)。如果是这样的话,则建筑物处的一组多个这种发射器/接收器装置还可以通过在发射器/接收器装置之间交换发射来创建网状网络,从而使得发射器/接收器装置和/或相关联的计算装置能够至少确定发射器/接收器装置相对于彼此的位置(例如,在共同坐标系中)以及可选地绝对位置(例如,如果知道发射器/接收器装置中的至少一个的绝对地点,则是绝对坐标,诸如纬度和经度,诸如通过使用GPS或其他地点确定能力)。
在各种实施方式中,这种信标发射器装置或其他无线发射器装置的发射可以进一步用于以各种方式确定在其处采集数据的采集地点的位置。例如,在至少一些实施方式和情形中,采集装置(例如,智能电话、平板电脑等)可以包括无线信号接收器和可选地计算能力(例如,一个或多个硬件处理器),并且当处于在其处采集一个或多个图像或其他数据的采集地点时,采集地点可以进一步接收来自具有已知地点的一个或多个发射器装置的无线发射。在其他实施方式和情形中,采集装置本身可能不具有这种无线信号接收器(例如,对于独立相机装置),但反而可以具有在改为接收来自一个或多个发射器装置的这种无线发射的采集装置的地点处或附近的移动配套装置(例如,智能电话、平板电脑等)。采集装置、配套装置和/或(多个)其他计算装置然后可以使用关于接收到的无线发射的信息来确定采集地点在建筑物处的位置。例如,在采集地点处从具有已知位置的单个发射器装置接收到的一个或多个无线发射可以提供关于采集地点的对应位置(例如,该位置所在的区域)的至少近似信息,诸如基于发射器装置的发射的已知范围和/或由发射器装置提供或由用户装置以其他方式确定的范围数据(例如,基于发射的接收信号强度,诸如相对于离开发射器装置的广告信号强度)。此外,在至少一些实施方式和情形中,除了范围外,还可以进一步确定关于采集地点与发射器装置之间的方向或取向的信息(例如,使用多个天线的到达角(angle-of-arrival)数据和/或通过使用接收器装置上的其他专门硬件,诸如通过使用UWB信标和/或一些类型的基于蓝牙的信标,诸如iBeacon)。如果是这样的话,则基于具有已知地点的单个发射器装置,可以使用范围和方向信息两者以高准确度(例如,在英寸、英尺等内)确定采集地点的位置。在不可获得方向信息的其他实施方式中,基于从具有已知地点的多个发射器装置接收到的同时或同步无线发射,仍可以以高准确度确定采集地点的位置,诸如通过几何三角测量或其他手段。另外,在一些实施方式和情形中,可以在相对参考系中确定这种采集地点的位置(例如,相对于固定位置,诸如入口、建筑物的特定外部拐角;作为在楼层平面图上或以其他方式在房间或其他区域内的位置等,包括在发射器装置使用的共同坐标系中),而在其他实施方式中,采集地点的位置可以被确定为绝对地点(例如,纬度坐标和经度坐标)。此外,在一些实施方式和情形中,这样使用来自一个或多个发射器装置的信息来确定采集地点的位置可以进一步用其他类型的地点相关信息来补充或扩增,诸如通过在采集装置、配套装置和/或(多个)其他计算装置进行进一步处理以确定在建筑物的房间或其他区域内的位置(例如,使用视觉数据和/或附加传感器数据,诸如来自一个或多个惯性测量单元或“IMU”,包括通过执行视觉测程法、SLAM、SfM等中的一个或多个)、通过使用与基于(多个)发射器装置的位置信息结合的GPS信号等。下文包括关于确定采集地点在建筑物中或周围的位置的附加细节。
另外,这种发射器装置可以安装或以其他方式放置在建筑物中和周围,诸如暂时地(例如,数分钟、数小时、数天、数周等),以及在一些情况下,在多个采集地点处采集多个图像和/或其他数据组的采集会话之前(例如,在数分钟或数小时的时段内),并且在采集会话结束之后移除发射器装置的情况下,作为这种发射器装置放置的部分,在一些实施方式和情形中,可以手动地记录发射器装置中的一些或全部的地点并将其提供到BALDPM系统,而在其他实施方式和情形中,可以自动地确定发射器装置中的一些或全部的地点(例如,使用发射器装置的网状网络,诸如在采集数据之前;在数据采集期间,与确定多个采集地点的位置同时,诸如使用三角测量和/或基于约束的确定以同时地且迭代地缩小发射器装置和采集地点的位置两者的地点;等等)。这种发射器装置放置的非排他性示例包括以下项:安装或以其他方式放置在建筑物处的多个地点的多个发射器装置,诸如在建筑物的内部和/或外部(例如,在建筑物的一些或所有房间中的每个中的一个或多个发射器装置和可选地安装或以其他方式放置在建筑物的入口附近的发射器装置),诸如具有覆盖建筑物和/或建筑物所在的地产中的一些或全部的聚合范围;安装或以其他方式放置在建筑物内的单个地点的单个发射器装置,诸如具有覆盖建筑物和/或建筑物所在的地产中的一些或全部的范围;等等。另外,在一些实施方式和情形中,一些或全部这种发射器装置可以在建筑物之间移动以支持在每个建筑物中的连续采集地点的位置确定。此外,在至少一些实施方式和情形中,具有无线发射能力的一个或多个移动装置可以用作建筑物中的无线发射器装置(无论是补充还是代替安装或以其他方式放置在固定地点的其他无线发射器装置),诸如用于采集装置的在采集装置附近并随其一起移动的移动配套装置,并且其中这种移动装置在数据采集的时间的当前位置由移动装置和/或另一个装置以各种方式确定(例如,使用GPS信号、使用其他装置定位能力等)。下文包括关于发射器装置及其使用的附加细节。
另外,在至少一些实施方式和情形中,相机或其他采集装置可能缺少无线信号接收器,但可以包括无线发射器或与无线发射器相关联(例如,具有接近采集装置的充当无线发射器装置的移动配套装置、具有暂时地附接的无线发射器装置;等等),并且一个或多个无线接收器装置可以位于建筑物处。这种无线接收器装置可以例如安装或以其他方式放置在建筑物中或周围的一个或多个固定地点,和/或在一些实施方式和情形中,可以包括在建筑物中的在采集数据时具有确定的当前地点的移动配套装置或其他移动装置(无论是补充还是代替在固定地点的其他无线接收器装置)。在这种实施方式和情形中,与采集地点相关联的无线发射器可以在采集装置位于采集地点时从采集地点或附近发射无线信号,并且建筑物处的一个或多个接收器装置可以接收无线信号发射并以类似于上述的方式将它们用于确定采集装置的采集地点的位置(例如,以确定无线发射器的位置,并且可选地如果需要,基于无线发射器和采集装置的位置之间的差异来调整该位置)。作为一个非排他性示例,如果移动配套装置的地点由移动配套装置或其他装置独立地确定,则具有相关联的无线发射器的单个采集装置和具有无线接收器的单个移动配套装置可以用于确定采集地点的位置。类似地,如果移动配套装置的位置由移动配套装置或其他装置独立地确定,则具有相关联的无线接收器的单个采集装置和具有无线发射器的单个移动配套装置可以用于确定采集地点的位置。下文包括关于具有相关联的无线发射器的采集装置的附加细节。
也如上所述,BALDPM系统的自动化操作可以包括在确定一个或多个采集地点的位置期间(例如,在图像采集会话或其他数据采集会话期间)生成并呈现各种反馈,从而控制或以其他方式指示附加图像和/或其他数据的采集(例如,在当前采集会话期间)。在各种实施方式和情形中,这种反馈可以具有各种形式,其中非排他性示例包括以下项中的一个或多个:局部或完整的生成的楼层平面图(例如,示出了在其处已经采集数据的一个或多个采集地点的位置),从而说明在其处要采集附加数据的建筑物的附加房间或其他区域(例如,以完成楼层平面图);关于已经采集的一个或多个图像或其他数据组的质量和/或完整性的信息;用于移动到新的建筑物位置和/或执行其他活动以提高建筑物的采集的数据和/或相关联的生成测绘信息的质量和/或完整性的指示;等等。下文包括关于生成并呈现这种反馈的附加细节。
在至少一些实施方式中,被采集并分析的图像可以包括在多房间建筑物(例如,房屋、办公楼等)中或周围的采集地点处采集的一个或多个全景图像或其他图像(例如,直线立体图像),从而生成来自在该采集地点处的一个或多个视频的多个这种采集地点中的每个的全景图像(例如,从在该采集地点处转动的用户持有的智能电话或其他移动装置拍摄的360°视频),或在从采集地点在多个方向上采集的多个图像(例如,来自在该采集地点处转动的用户持有的智能电话或其他移动装置),或同时采集所有视觉数据(例如,使用一个或多个鱼眼镜头)等。将了解,在一些情形中,这种全景图像可以使用等量矩形投影来呈现(其中环境中的竖直线和其他竖直信息在投影中被示出为直线,并且其中如果环境中的水平线和其他水平信息位于图像的水平中心线的上方或下方,则在投影中以弯曲的方式示出环境中的水平线和其他水平信息,并且其中弯曲量随着与水平中心线的距离增加和/或与采集地点的距离降低而增加),并且提供围绕水平和/或竖直轴的高达360°覆盖范围,使得查看起始全景图像的用户可以在起始全景图像内将查看方向移动到不同的取向以致使在起始全景图像内渲染不同的图像(或“视图”)(包括使用平面坐标系来呈现被渲染为立体图像的图像)。此外,在一些实施方式中,可以以各种方式获得和使用关于图像和/或其他数据的采集的采集元数据,诸如在移动装置被用户携带或以其他方式在采集地点之间移动时从移动装置的IMU(惯性测量单元)传感器或其他传感器采集的数据,而在其他实施方式中,不采集或使用这种采集元数据(例如,以便仅基于图像的视觉数据来确定所采集的图像的信息)。另外,在一些实施方式和情形中,可以采集并使用除了图像外的类型的数据组(例如,具有至少视觉数据和可选地音频数据的视频;音频数据,诸如周围噪声或其他环境声音的记录、建筑物和/或建筑物及其房间和其他区域的特定属性的口头描述的记录等;其他类型的采集的数据读数,诸如一种或多种气体和/或一种或多种类型的辐射或其他能量和/或一种或多种类型的无线信号;等),无论是补充还是代替图像。另外,所采集的数据的所确定的采集地点信息可以至少包括建筑物的楼层平面图上的位置,并且在一些情形中,还包括取向或其他方向信息(例如,相机装置或用于采集图像的其他采集装置的姿势),并且在一些实施方式中,所确定的采集地点信息可以进一步在通过建筑物和可选地建筑物周围的外部区域中的一些或全部延伸的共同坐标系中表示(例如,作为绝对地点坐标,诸如使用纬度和经度;作为相对地点坐标,诸如相对于所选择的发射器装置和/或其他地点的位置;等等)。
在各种实施方式中,所描述的技术提供各种益处,包括允许多房间建筑物和其他结构的楼层平面图基于在建筑物或其他结构中或周围采集的图像和/或其他数据自动地生成和/或用关于在建筑物或其他结构中或周围在其处采集图像和/或其他数据的采集地点的信息自动地扩增,包括在一些实施方式中,无需具有或使用来自深度传感器或其他距离测量装置的关于从图像采集地点到周围建筑物或其他结构中的墙壁或其他对象的距离的信息。另外,使用无线发射器装置和/或无线接收器装置来确定采集地点的位置相对于诸如基于多个图像的视觉数据的分析和比较(可选地结合IMU数据,诸如对于SLAM和/或SfM)、基于GPS数据或其他定位数据的使用等的用于采集地点的位置确定的其他技术提供了各种益处,包括更准确的位置确定(包括在GPS信号可能弱或不可获得的情形中,诸如在建筑物内部)、在先前不可用的附加情形中的位置确定(包括在视觉测程法和/或基于IMU的技术执行较差或根本不执行的情形中,诸如对于在建筑物内部和外部的采集地点)等。此外,这种自动化技术允许比先前存在的技术更快地确定地点信息,并且在至少一些实施方式中具有更高的准确度,包括通过使用从实际建筑物环境(而不是从关于理论上应该如何建造建筑物的计划)采集的信息,以及如果对应的建筑物楼层平面图反映实际建筑物环境和/或这种变化的话,使得能够采集关于在最初建造建筑物之后出现的结构元素变化的信息。这种所描述的技术进一步提供了至少部分地基于所确定的图像采集地点,允许改进由移动装置(例如,半自主或全自主车辆)对建筑物的自动导航方面的益处,包括显著减少用于尝试以其他方式获悉建筑物的布局的计算能力和时间。另外,在一些实施方式中,所描述的技术可以用于提供改进的GUI,其中用户可以更准确地且更快速地获得关于建筑物内部的信息(例如,供在该内部导航时使用),包括响应于搜索请求,作为向用户提供个性化信息的部分,作为向用户提供关于建筑物的价值估计和/或其他信息的部分等。所描述的技术还提供了各种其他益处,其中一些在本文的其他地方进一步描述。
在一些实施方式和情形中,BALDPM系统的自动化操作可以包括以进一步至少部分地基于对图像内容中包括的视觉信息的分析的方式确定在建筑物的限定区域中(例如,在房屋或其他建筑物的房间内)采集的图像的采集地点。在至少一些实施方式中,这种BALDPM系统可以与一个或多个单独的ICA(图像捕获和分析)系统和/或一个或多个单独的MIGM(测绘信息和生成管理器)系统结合操作,从而获得和使用来自MIGM系统的建筑物楼层平面图和其他关联信息和/或获得来自ICA系统的针对建筑物定位的图像,而在其他实施方式中,这种BALDPM系统可以将这种ICA和/或MIGM系统的一些或全部功能并入作为BALDPM系统的部分。在另外的其他实施方式中,BALDPM系统可以在不使用ICA和/或MIGM系统的一些或全部功能的情况下操作,诸如如果BALDPM系统从其他来源(例如,从由一个或多个用户进行的手动创建,从由一个或多个外部系统或其他来源对这种建筑物楼层平面图和/或关联信息的提供,等)获得关于建筑物楼层平面图的信息和/或其他关联信息,和/或如果BALDPM系统从其他来源(例如,从最终用户,诸如以众包方式)获得关于待定位的图像的信息。另外,以本文描述的方式使用的建筑物楼层平面图可以呈各种格式(无论是最初获得的和/或在由BALDPM系统进行初始自动化分析之后),在至少一些实施方式中包括呈向量化形式,该向量化形式具有关于结构元素的地点的指定信息,结构元素诸如为以下项中的一个或多个:墙壁、窗户、门道和其他房间间开口、拐角等(例如,在最初收到建筑物楼层平面图的进行分析以产生向量化形式的非向量化图像形式之后)。
关于这种ICA系统的功能,在至少一些实施方式中,它可以执行自动化操作,以在与建筑物相关联的各种采集地点处(例如,在建筑物的多个房间的内部)采集图像(例如,全景图像)和可选地附加的数据,并且可选地进一步采集与采集过程相关的元数据(例如,图像姿态信息,诸如使用罗盘航向和/或基于GPS的地点)和/或采集装置在采集地点之间的移动。在至少一些实施方式中,这种采集和随后采集的数据的使用可以在没有或不使用来自深度传感器或其他距离测量装置的关于从图像的采集地点到周围建筑物或其他结构中的墙壁或其他对象的距离的信息的情况下发生。例如,在至少一些这种实施方式中,这种技术可以包括:使用一个或多个移动装置(例如,具有一个或多个鱼眼镜头或其他镜头并安装在可旋转三脚架上或以其他方式具有自动化旋转机构的相机;具有足以在不旋转的情况下水平地捕获360°的一个或多个鱼眼镜头的相机;由用户握持和移动的具有一个或多个镜头的智能电话,从而围绕竖直轴的360°圆旋转用户的身体并握持智能电话;由用户握持或安装在用户身上或用户衣服上的相机;安装在能够靠自身动力移动的以空中和/或地面为基础的无人机或其他机器人装置上的相机;等)来从房屋(或其他建筑物)的多个房间内的一系列多个采集地点捕获视觉数据。本文的其他地方包括有关实施ICA系统的(多个)装置的操作的附加细节,从而执行这种自动化操作、以及在一些情况下以一种或多种方式进一步与一个或多个ICA系统操作者用户交互以提供进一步的功能。
关于这种MIGM系统的功能,在至少一些实施方式中,它可以执行自动化操作,以分析已针对建筑物内部(和可选地建筑物外部)采集的多个360°全景图像和/其他图像并生成建筑物的对应的楼层平面图,诸如通过针对那些全景图像中的一些或全部确定房间形状和连接房间的通道的地点,以及在至少一些实施方式和情形中通过确定建筑物的一些或全部房间中的结构墙壁元素和可选的其他对象。与两个或更多个房间之间的连接通道对应的结构墙壁元素的类型可以包括以下各项中的一个或多个:门道开口和其他房间间非门道墙壁开口、窗户、楼梯、非房间走廊等,并且对图像的自动化分析可以至少部分基于识别通道的轮廓、识别通道内的与它们外部不同的内容(例如,不同的颜色或阴影)等来识别这种元素。自动化操作还可以包括:使用所确定的信息来生成建筑物的楼层平面图和可选地生成建筑物的其他测绘信息(诸如,通过使用房间间通道信息和其他信息来确定关联的房间形状彼此的相对位置),以及可选地将距离缩放信息和/或各种其他类型的信息添加到所生成的楼层平面图。另外,在至少一些实施方式中,MIGM系统可以执行进一步的自动化操作,以确定附加信息并将附加信息与建筑物楼层平面图和/或楼层平面图内的特定房间或地点相关联,从而分析在建筑物内部采集的图像和/或其他环境信息(例如,音频)以确定特定对象和属性(例如,特定结构元素或其他对象(地板、墙壁、天花板、台面、家具、灯具、电器、橱柜、岛、壁炉等)的颜色和/或材料类型和/或其他特征;特定对象或其他元素的存在和/或不存在;等等),或以其他方式确定相关属性(例如,诸如为窗户的建筑物对象面向的方向;来自特定窗户或其他地点的视图;等等)。下面包括关于实施MIGM系统的(多个)计算装置的操作的附加细节,从而执行这种自动化操作、以及在一些情况下以一种或多种方式进一步与一个或多个MIGM系统操作员用户交互以提供进一步的功能。
出于说明性目的,下面描述一些实施方式,其中针对特定类型的结构以特定方式并通过使用特定类型的装置来采集、使用和/或呈现特定类型的信息。然而,将理解,所描述的技术可以在其他实施方式中以其他方式使用,并且因此本发明不限于所提供的示例性细节。作为一个非排他性示例,尽管在一些实施方式中以特定方式生成并使用特定类型的数据结构(例如,楼层平面图、相互链接的图像的虚拟游览、传输装置的网状网络的图表和其他呈现),但将了解,可以在其他实施方式中类似地生成并使用用于描述建筑物的其他类型的信息,包括针对与房屋分离的建筑物(或其他结构或布局),并且可以在其他实施方式中以其他方式使用所确定的和所生成的信息。另外,术语“建筑物”在本文中是指任何部分地或完全地封闭的结构,通常但不一定涵盖在视觉上或以其他方式划分结构的内部空间的一个或多个房间。这种建筑物的非限制性示例包括房屋、公寓大楼或其中的个人公寓、共管公寓、办公楼、商业建筑物或其他批发和零售结构(例如,购物中心、百货公司、仓库等)、带有另一个主建筑物的地产上的补充结构(例如,带房屋的地产上的独立车库或棚屋)。如本文参考建筑物内部、采集地点或其他地点(除非上下文另有明确指示)使用的术语“采集”或“捕获”可以是指对与建筑物内部的空间特性和/或视觉特性和/或以其他方式可感知的特性或其子集有关的媒体、传感器数据和/或其他信息的任何记录、存储或录入,诸如通过记录装置或通过从记录装置接收信息的另一个装置,包括通过采集图像数据和其他视觉数据的一个或多个相机镜头和/或相关联的成像系统(例如,包括一个或多个图像传感器)。如本文所使用,术语“全景图像”可以是指基于、包括或可分成源于不同方向上的基本上类似物理地点的多个离散分量图像并且描绘比离散分量图像中的任一个单独描绘的更大视野的视觉表示,包括来自物理地点的具有足够宽的视角以包括超出人凝视单个方向可感知到的角度的图像。如本文所使用,术语“一系列”采集地点通常是指两个或更多个采集地点,每个采集地点按对应的顺序被访问至少一次,而无论在它们之间是否访问过其他非采集地点,以及无论对所述采集地点的访问是在单个连续时间段期间还是在多个不同时间发生、或是由单个用户和/或装置还是由多个不同用户和/或装置进行。另外,出于示例性目的,在附图和文本中提供了各种细节,但这些细节并不旨在限制本发明的范围。例如,附图中元件的尺寸和相对位置未必按比例绘制,一些细节被省略和/或更突出地提供(例如,经由尺寸和定位)以增强易读性和/或清晰度。而且,在附图中可以使用相同的附图标记来识别相同或类似的元件或动作。
图1包括在一些实施方式中可以参与所描述的技术的各种计算装置和系统的示例框图,诸如相对于地产183上的建筑物198(在此示例中是房屋198)的部分的说明的示例,并且在此示例实施方式中通过至少部分地在一个或多个服务器计算系统180上执行的建筑物采集地点确定和呈现管理器(“BALDPM”)系统140。在所说明的实施方式中,用于BALDPM系统和/或ICA系统和/或MIGM系统中的一个或多个的客户端应用154可以在采集装置185中的每个上执行,BALDPM客户端应用或其他建筑物信息查看器系统(未示出)可以在一个或多个移动用户装置175中的每个上执行,并且在其他实施方式和情形中,BALDPM系统和/或ICA系统和/或MIGM系统中的一些或全部可以在一些或所有移动装置185上执行(例如,以分布方式)。
在所说明的实施方式中,BALDPM系统140获得在一个或多个建筑物中的每个中的一个或多个采集地点处采集的图像和/或其他数据组155,诸如由ICA系统150生成,以及可选地那些建筑物中的一些或全部的建筑物楼层平面图和其他建筑物数据165,诸如由MIGM系统160生成。BALDPM系统140进一步获得在采集图像和/或其他数据组的采集地点处接收到的发射器装置数据144、关于发射器装置地点的信息156以及可选地其他信息(例如,类型、能力等),并且使用发射器装置数据来确定(多个)采集地点157的位置(例如,相对于发射器装置地点)。在至少一些实施方式和情形中,与数据采集同时执行采集地点的位置确定(例如,以实时或近实时方式,诸如在数据采集的数毫秒内、数秒内、数分钟内)。在一些实施方式和情形中,BALDPM系统140可以可选地进一步使用由系统操作者用户经由计算装置105通过(多个)中间计算机网络199供应的支持信息(例如,以接收并存储无线发射器装置和/或无线接收器装置的地点信息)。在一些实施方式中,这种ICA系统150和/或MIGM系统160在与BALDPM系统相同的(多个)服务器计算系统180上执行(例如,其中所有系统都由单个实体操作或以其他方式彼此协调地执行,诸如所有系统的一些或全部功能集成在一起),并且在一些实施方式中,ICA系统150和/或MIGM系统160可以在与(多个)系统180分开的一个或多个其他系统上(例如,在一个或多个图像采集移动装置185和/或移动用户装置175和/或其他计算系统(未示出)上)操作,无论是代替还是补充在(多个)系统180上执行的那些系统的副本(例如,具有在装置185上执行的MIGM系统160的副本以在由在装置185上执行的ICA系统160和/或由MIGM系统的那个副本采集建筑物图像时,递增地生成至少局部建筑物楼层平面图,而MIGM系统的另一个副本可选地在一个或多个服务器计算系统上执行以在采集所有图像之后生成最终的完整建筑物楼层平面图;等等)。另外,在一些实施方式中,建筑物信息可以由BALDPM系统以经由ICA和/或MIGM系统以外的方式获得(例如,如果这种ICA和/或MIGM系统不是BALDPM系统的部分的话),从而从其他来源接收建筑物图像和/或其他数据和/或楼层平面图。
如上所述,BALDPM系统140获得在采集图像和/或其他数据组的采集地点处接收的发射器装置数据144、关于发射器装置地点的信息156和可选地其他信息(例如,类型、能力等),并且使用发射器装置数据来确定(多个)采集地点157的位置。特别地,BALDPM系统140可以存储各种发射器装置信息156(例如,发射器标识符、相关联的建筑物地点等),并且当建筑物处的采集装置185向BALDPM系统140提供其从建筑物处的一个或多个无线发射器装置接收到的发射器装置数据144和可选地附加数据(例如,其他地点数据)时,BALDPM系统可以确定采集地点的位置信息并且将所确定的采集地点的位置信息提供到采集装置185。还可以可选地存储和使用其他数据143,包括关于采集装置185和/或其他客户端装置175的用户(例如,作为BALDPM系统的关联账户的部分),诸如偏好相关数据(例如,用于将提供到用户的信息和/或功能个性化,包括与数据采集活动相关的反馈)。BALDPM系统140可以进一步执行其他活动,从而确定其中已经存在发射器装置和/或其中要放置发射器装置的建筑物的发射器装置地点,以更新发射器装置信息(例如,如果移动或以其他方式重新定位的话,则更新相关联的地点)等。在本文的其他地方包括与BALDPM系统的自动化操作有关的附加细节,包括关于图2E至图2K和图4A至图4B的附加细节。
在此示例中,还示出了内部捕获和分析(“ICA”)系统(例如,在一个或多个服务器计算系统180上执行的ICA系统150,诸如BALDPM系统的部分或与BALDPM系统相关联;在图像采集移动装置185上执行的ICA系统应用154;等等),并且其采集关于一个或多个建筑物或其他结构的数据155(例如,通过为示例房屋198中的多个采集地点210采集一个或多个360°全景图像和/或其他图像),并且在一个或多个服务器计算系统180上执行的MIGM(测绘信息生成管理器)系统160(例如,作为BALDPM系统的部分或以其他方式与BALDPM系统相关联)进一步使用所采集的建筑物信息和可选地附加的支持信息(例如,由系统操作者用户经由计算装置105通过(多个)中间计算机网络199来供应),以生成并提供(多个)建筑物或(多个)其他结构的建筑物楼层平面图165和/或其他测绘相关信息(未示出)。在本文的其他地方包括与ICA和MIGM系统的自动化操作相关的附加细节,包括分别关于图2A至图2D以及关于图5和图6A至图6B的附加细节。
图1中还示出了图像采集移动计算装置185的各种部件,包括使用存储和/或加载在装置185的一个或多个存储器/存储部件152上的可执行指令来执行软件(例如,ICA和/或MIGM和/或BALDPM应用154、任选的浏览器或(多个)其他软件程序等)的一个或多个硬件处理器132(例如,CPU、GPU等),以及可选地用于采集一个或多个全景图像165和/或其他图像(未示出,诸如直线立体图像)的视觉数据的一种或多种类型的一个或多个成像系统135(例如,包括具有一个或多个镜头和一个或多个图像传感器的一个或多个相机)。在一些实施方式中,一些或全部的这种图像155可以由一个或多个分开的相关联相机装置184供应(例如,经由有线/电缆连接、经由蓝牙或其他装置间无线通信等),无论是补充还是代替由移动装置185采集的图像,并且诸如其中移动装置185可选地充当相机装置的移动配套装置,且可选地具有无线发射器和/或接收器以用于与在相机装置184上或和其相关联的对应无线接收器和/或发射器交换无线发射。移动装置185的所说明的实施方式还包括:一个或多个传感器模块148,在此示例中,该一个或多个传感器模块148包括陀螺仪148a、加速度计148b和指南针148c(例如,作为移动装置上的一个或多个IMU或惯性测量单元的部分,未单独地示出);一个或多个控制系统147,该一个或多个控制系统147管理装置185的I/O(输入/输出)和/或通信和/或联网(例如,以从用户接收指令和将信息呈现给用户)诸如用于其他装置I/O和通信部件151(例如,网络接口或其他连接、键盘、鼠标或其他指示装置、麦克风、扬声器、GPS接收器等)、显示系统149(例如,包括一个或多个显示器,可选地具有触摸屏)、可选地一种或多种类型的一个或多个深度感测传感器或其他距离测量部件136、可选地GPS(或全球定位系统)传感器134或其他位置确定传感器(在此示例中未示出)、可选地其他部件(例如,一个或多个照明部件)等等。其他装置/系统105、175和180和/或相机装置184各自可以以与移动装置185类似的方式包括各种硬件部件和存储的信息,为了简洁起见,在此示例中未示出,并且在下文关于图3更详细地讨论。
一个或多个移动客户端装置175的一个或多个用户(例如,最终用户,未示出)可以通过一个或多个计算机网络199与BALDPM系统140(和可选地ICA系统150和/或MIGM系统160)进一步交互,和/或与在该装置175(未示出)上执行的BALDPM系统中的一些或全部交互,从而参与使用装置175的一个或多个相机采集建筑物中或周围的目标图像或以其他方式提供用户供应的信息、显示接收到的建筑物数据等。这种移动装置175可以各自执行BALDPM客户端应用或其他建筑物信息查看器系统(未示出),该建筑物信息查看器系统用于与BALDPM系统交互以请求和接收建筑物信息、将这种接收到的建筑物信息和/或其他接收到的信息呈现在该移动装置上(例如,作为在该移动装置上显示的GUI的部分),并且进一步可选地接收一个或多个用户与呈现的信息(例如,与显示的用户可选择控件交互,诸如生成的视觉数据增强的部分)的交互并作出响应,如本文其他地方更详细地讨论,包括关于图7进行讨论。(多个)用户的交互可以包括例如指定用于提供建筑物信息的标准(例如,关于用户感兴趣的建筑物属性的标准)、获得和可选地请求对一个或多个指示的建筑物的信息(例如,用户的移动装置所在的建筑物,诸如通过供应在建筑物处采集的一个或多个目标图像)以及与对应提供的建筑物信息进行交互。与显示或以其他方式呈现的信息的交互的非排他性示例包括以下项:查看建筑物信息,诸如提供的描述性建筑物数据的部分;选择与提供的建筑物数据一起提供的用户可选择控件,诸如被包括在叠加于目标图像上的视觉数据增强中,包括与和特定建筑物对象或其他建筑物属性相关联的一个或多个显示的视觉指示符和/或文本描述交互,从而获得与该建筑物对象或其他建筑物属性相关的进一步数据;在楼层平面图视图与在楼层平面图内或附近的采集地点处的特定图像的视图之间改变;改变显示全景图像的对应视图的水平和/或竖直观察方向,从而确定当前用户观察方向所指向的全景图像的部分;等等)。另外,楼层平面图(或其部分)可以链接到一个或多个其他类型的信息或以其他方式与一个或多个其他类型的信息相关联,包括多层楼或其他多层建筑物的楼层平面图具有相互连接(例如,经由连接的楼梯通道)的不同楼或楼层的多个相关联子楼层平面图、建筑物的二维(“2D”)楼层平面图链接到建筑物的三维(“3D”)渲染或以其他方式与建筑物的三维(“3D”)渲染相关联等。另外,虽然在图1中未示出,但是在一些实施方式中,客户端装置175(或其他装置,未示出)可以以附加方式接收并使用关于建筑物的信息(例如,所识别的楼层平面图和/或其他测绘相关信息,从而控制或辅助这些装置(例如,自主车辆或其他装置)的自动化导航活动,而无论是代替还是补充所识别的信息的显示。
在图1的所描绘的计算环境中,网络199可以是可能由各种不同的方操作的一个或多个公共可访问的链接网络,诸如互联网。在其他实施方式中,网络199可以具有其他形式。例如,网络199反而可以是专用网络,诸如非特权用户完全或部分无法访问的公司或大学网络。在其他实施方式中,网络199可以包括专用网络和公共网络两者,其中专用网络中的一个或多个可访问公共网络中的一个或多个和/或从公共网络中的一个或多个访问专用网络中的一个或多个。此外,在各种情形中,网络199可以包括各种类型的有线和/或无线网络。另外,客户端装置175和服务器计算系统180可以包括各种硬件部件和存储的信息,如下面关于图3更详细地讨论的。
在图1的示例中,ICA系统可以执行在多个关联的采集地点处(例如,在建筑物或其他结构内的多个房间或其他位置中以及可选地在建筑物或其他结构的外部的一些或全部的周围)生成多个360°全景图像中所涉及的自动化操作,诸如使用经由移动装置185和/或相关联的相机装置184采集的视觉数据,并且用于生成并提供建筑物或其他结构的内部的表示。例如,在至少一些这种实施方式中,这种技术可以包括使用一个或多个移动装置(例如,具有一个或多个鱼眼镜头和/或其他镜头并安装在可旋转三脚架上或以其他方式具有自动化旋转机构的相机;具有足以在不旋转的情况下水平地采集360°的鱼眼镜头和/或其他镜头的相机;由用户握持或安装在用户身上或用户衣服上并且使用诸如广角直线镜头和/或长焦镜头和/或微距镜头和/或标准镜头的一个或多个非鱼眼镜头的智能电话或单独装置的相机;等等),以从房屋(或其他建筑物)的多个房间内的一系列多个采集地点采集数据,并且可选地进一步采集在采集装置的移动中所涉及的数据(例如,在采集地点处的移动,诸如旋转;在采集地点中的一些或全部之间的移动,诸如用于将多个采集地点链接在一起;等),在至少一些情况下,不测量采集地点之间的距离或不具有到采集地点周围的环境中的对象的其他测量的深度信息(例如,不使用任何深度感测传感器)。在采集了采集地点的信息之后,技术可以包括从该采集地点以围绕竖直轴的360°水平信息产生360°全景图像(例如,以等量矩形格式的示出周围房间的360°全景图像),并且然后提供全景图像以供MIGM和/或BALDPM系统后续使用。
另外,楼层平面图(或其部分)可以链接到一种或多种附加类型的信息或以其他方式与一种或多种附加类型的信息相关联,诸如一个或多个相关联和链接的图像或其他相关联和链接的信息,包括建筑物的二维(“2D”)楼层平面图链接到建筑物的单独2.5D模型楼层平面图渲染和/或建筑物的3D模型楼层平面图渲染等或以其他方式与建筑物的单独2.5D模型楼层平面图渲染和/或建筑物的3D模型楼层平面图渲染相关联,并且包括多层楼或其他多层建筑物的楼层平面图以具有相互链接(例如,经由连接的楼梯通道)或作为共同2.5D和/或3D模型的部分的不同楼或楼层的多个相关联子楼层平面图。因此,最终用户与建筑物的所显示或以其他方式生成的2D楼层平面图的交互的非排他性示例可以包括以下各项中的一个或多个:在楼层平面图视图与楼层平面图内或附近的采集地点处的特定图像的视图之间改变;在2D楼层平面图视图与可选地包括纹理映射到所显示的模型的墙壁的图像的2.5D或3D模型视图之间改变;改变从其显示全景图像(或正门进入)的对应子集视图的水平和/或竖直查看方向,从而确定当前用户查看方向指向的3D坐标系中的全景图像的部分,并且渲染说明全景图像的那个部分的对应平面图像,其中原始全景图像中不存在弯曲或其他变形;等。另外,虽然在图1中未说明,但是在一些实施方式中,客户端装置175(或其他装置,未示出)可以以附加方式接收并使用所生成的楼层平面图和/或其他所生成的测绘相关信息,从而控制或辅助这些装置(例如,自主车辆或其他装置)的自动化导航活动,而无论是代替还是补充所生成的信息的显示。
图1还描绘了示例性建筑物内部环境,其中放置各种发射器装置235并且用于提供BALDPM系统的地点相关功能以便采集装置185移动通过建筑物(例如,在此示例中,包括示例发射器装置235a至235d)并且采集360°全景图像和/或其他图像,诸如由ICA系统采集并且由MIGM系统使用(例如,在BALDPM系统的控制下),以生成并提供一个或多个对应的建筑物楼层平面图(例如,多个增量局部建筑物楼层平面图)和/或以进一步使用这种建筑物信息作为自动建筑物信息生成操作的部分。特别地,图1示出了多层房屋(或其他建筑物)198的一层,其中至少部分地经由多个全景图像来采集内部,诸如由具有图像采集能力的图像采集移动装置185和/或一个或多个相关联的相机装置184在穿过建筑物内部移动到一系列多个采集地点210时捕获(例如,以采集地点210A开始、沿着行进路径115移动到采集地点210B等,并且以在建筑物外部的采集地点210-O或210P结束)。ICA系统的实施方式可以自动执行或协助采集代表建筑物内部的数据(以及进一步分析采集的数据以生成360°全景图像,以提供建筑物内部的视觉表示),并且MIGM系统的实施方式可以分析所采集的图像的视觉数据,以生成房屋198的一个或多个建筑物楼层平面图(例如,多个增量建筑物楼层平面图)。尽管这种图像采集移动装置可以包括各种硬件部件,诸如相机、一个或多个传感器(例如,陀螺仪、加速度计、指南针等,诸如移动装置的一个或多个IMU或惯性测量单元的部分;测高仪;光检测器;等)、GPS接收器、一个或多个硬件处理器、存储器、显示器、传声器等,但在至少一些实施方式中,移动装置可能无法访问或使用设备来测量建筑物中的对象相对于移动装置的地点的深度,使得在这种实施方式中,可以部分地或完全地基于不同图像中的元素但不使用来自这种深度传感器的任何数据来确定不同全景图像与其采集地点之间的关系,而在其他实施方式中,可以使用这种深度数据。此外,尽管在图1中提供了方向指示符109以供读者相对于示例性房屋198进行参考,但在至少一些实施方式中,移动装置和/或ICA系统可以不使用这种绝对方向信息和/或绝对地点,从而在这种实施方式中代替确定采集地点210之间的相对方向和距离而不考虑实际地理位置或方向,而在其他实施方式中,可以获得并使用这种绝对方向信息和/或绝对地点。
在操作中,移动装置185和/或(多个)相机装置184到达建筑物内部的第一房间内的第一采集地点210A(在此示例中,在可经由户外门190-1进入的客厅),并且采集具有从该采集地点210A可见的建筑物内部的部分的视图的图像(例如,第一房间中的一些或全部,以及可选地一个或多个其他相邻或附近房间的小部分,诸如穿过来自第一房间的门道墙壁开口、非门道墙壁开口、走廊、楼梯或其他连接通道)。图像采集可以以如本文所讨论的各种方式执行,并且可以包括关于从采集地点中可见的许多结构元素或其他对象的视觉数据。在图1的示例中,建筑物198内的这种对象包括墙壁、地板、天花板、门道190(包括190-1至190-6,诸如带有旋转门和/或滑动门)、窗户196(包括196-1至196-8)、墙壁与其他墙壁/天花板/地板之间的边界诸如用于墙壁间拐角或边缘195(包括在建筑物198的西北角的拐角195-1、在第一房间的东北角的拐角195-2、在第一房间的西南角的拐角195-3、在第一房间的东南角的拐角195-4、在第一房间与走廊之间的房间间通道的北边缘处的拐角195-5等)、家具191至193(例如,沙发191;椅子192;桌子193;等)、悬挂在墙壁上的图片或绘画或电视或其他悬挂的对象194(诸如194-1和194-2)、照明灯具(图1中未示出)、各种内置家电或其他灯具或其他结构元素(图1中未示出)等。用户还可以可选地提供与采集地点和/或周围房间相关联的文本或听觉标识符,诸如用于采集地点210A或210B中的一个或用于包括采集地点210A和/或210B的房间的“客厅”,和/或具有关于房间和/或房间中的一个或多个对象的一个或多个短语或语句的描述性注释,而在其他实施方式中,ICA和/或MIGM系统可以自动地生成这种标识符和/或注释(例如,通过自动地分析建筑物的图像和/或视频和/或其他记录信息来执行对应的自动化确定,诸如通过使用机器学习来执行;至少部分地基于来自ICA和/或MIGM系统操作者用户的输入;等),或可以不使用标识符。
在已经采集第一采集地点210A之后,移动装置185和/或(多个)相机装置184可以被移动或者在其自己的动力下移动到下一采集地点(诸如采集地点210B),从而可选地在于采集地点之间移动期间记录图像和/或视频和/或来自硬件部件(例如,来自一个或多个IMU、来自相机等)的其他数据。在下一采集地点处,移动装置185和/或(多个)相机装置184可以类似地从该采集地点采集360°全景图像和/或其他类型的图像。可以对建筑物198的一些或所有房间并且在一些情况下对地产183在建筑物外部的部分重复这个过程,如在此示例中针对附加的采集地点210C至210P所说明,在此示例中包括在外平台或露台或阳台区域186上、在较大的外部后院或露台区域187a上、在单独的侧院区域187b中、在可以具有一个或多个房间的外部附加附属结构区域189(例如,车库、棚屋、附属住所单元、温室、凉亭、简易车库等)附近或中、在外部门道190-1外部的前院187c中采集(多个)目标全景图像(例如,在与用于采集一些或所有的其他目标图像不同的图像采集会话期间,诸如在单个图像采集会话中以在诸如5分钟或15分钟或30分钟的时间段内发生的基本上连续方式采集采集地点210A至210-O的图像),并且在其他实施方式和情形中,从邻接的街道或道路181和/或人行道182上的其他采集地点(未示出)、从一个或多个俯视地点(例如,从无人机、飞机、卫星等,未示出)等采集。可以进一步分析针对每个采集地点采集的图像,包括在一些实施方式中无论是在图像采集时还是稍后,将每个全景图像渲染或以其他方式呈等量矩形格式放置,并且由MIGM和/或BALDPM系统以本文描述的方式进一步分析。
关于图1提供了各种细节,但是将了解,所提供的细节是出于说明性目的而包括的非排他性示例,并且可以在没有一些或全部这种细节的情况下以其他方式执行其他实施方式。
图2A至图2K示出了自动地确定建筑物内的在其处采集图像和/或其他数据的采集地点的位置,从而自动地确定图像的采集地点并将其呈现在楼层平面图上(例如,对于参考图1进一步讨论的建筑物198)。
特别地,图2A示出了示例性图像250a,诸如在图1的房屋198客厅中从采集地点210B在向东北方向上拍摄的非全景立体图像(或从该采集地点拍摄并以直线方式格式化的360°全景图像的面向东北的子集视图)。在此示例中进一步显示方向指示符109a以示出拍摄图像的向东北方向)。在所示出的示例中,所显示的图像包括内置元素(例如,照明灯具130a、两个窗户196-1等)、家具(例如,椅子192-1)、和挂在客厅的北墙壁上的图片194-1,以及无线发射器装置235b。进出客厅的房间间通道(例如,门道或其他墙壁开口)在此图像中不可见。然而,在图像250a中可见多个房间边界,包括客厅北墙壁的可见部分与客厅的天花板及地板之间的水平墙壁-天花板和墙壁-地板边界、客厅东墙壁的可见部分与客厅天花板及地板之间的水平墙壁-天花板和墙壁-地板边界、以及北墙壁与东墙壁之间的墙壁间竖直边界195-2。
图2B继续图2A的示例,并且示出了在图1的房屋198客厅中从采集地点210B在向西北方向上拍摄的附加立体图像250b(或从该采集地点拍摄并以直线方式格式化的360°全景图像的面向西北的子集视图,诸如关于图2A提及的相同360°全景图像)。进一步显示方向指示符109b以说明拍摄图像的向西北方向。在此示例性图像中,窗户196-1中的一个的一小部分连同窗户196-2的部分以及新的照明灯具130b继续可见。水平和竖直房间边界以与图2A类似的方式在图像250b中也是可见的。
图2C继续图2A至图2B的示例,并且示出了在图1的房屋198客厅中诸如从采集地点210B向西南方向上拍摄的第三立体图像250c(或从该采集地点拍摄并以直线方式格式化的360°全景图像的面向西南的子集视图,诸如关于图2A和图2B提及的相同360°全景图像)。进一步显示方向指示符109c以说明拍摄图像的向西南方向。在此示例图像中,窗户196-2的部分继续可见,正如沙发191以及视觉水平和竖直房间边界以与图2A和图2B的方式类似的方式以及无线发射器装置235a也继续可见。此示例图像进一步示出了客厅的两个房间间通道,在该示例中包括带有转门的门道190-1以进入和离开客厅(图1将其标识为通往房屋外部(诸如前院187c以及随后的人行道192和街道或道路181)的门,如图1所示),以及带有滑动门以在客厅与侧院187b之间移动的门道190-6,如图1中的信息所示,在客厅的东墙壁中存在附加的非门道墙壁开口263a,以在客厅与走廊之间移动,但在图像250a至250c中不可见。将了解,可以从采集地点210B和/或其他采集地点拍摄并以类似方式显示多种其他立体图像。
图2D继续图2A至图2C的示例,并且示出了包括以等量矩形格式显示整个客厅的360°全景图像255d(例如,从采集地点210B拍摄)的信息260d。由于全景图像不具有与图2A至图2C的立体图像相同方式的方向,因此图2D中没有显示方向指示符109,但是全景图像的姿势信息可以包括一个或多个相关联的方向(例如,全景图像的起始和/或结束方向,诸如如果经由旋转来采集的话)。全景图像255d的视觉数据的部分对应于第一立体图像250a(大约在图像250d的中心部分示出),而图像255d的左部分和图像255d的最右部分包含与立体图像250b和250c的那些部分对应的视觉数据。因此,例如,从图像255d开始,可以渲染包括图像250a至250c(和可选地大量其他图像)中的一些或全部的各种立体图像。此示例性全景图像255d包括窗户196-1、196-2和196-3、家具191至193、门道190-1至190-6以及通向走廊房间的非门道墙壁开口263a(其中开口示出了在相邻的走廊中可见的门道190-3的部分)。图像255d进一步以与立体图像类似的方式示出了多种房间边界,但其中水平边界以离图像的水平中线越远越弯曲的方式显示。可见边界包括竖直墙壁间边界195-1至195-4、在走廊开口的北/左侧的竖直边界195-5、在走廊开口的南/右侧的竖直边界,以及在墙壁与地板之间和在墙壁与天花板之间的水平边界。
图2E示出了与BALDPM系统的自动化操作的示例对应的信息260e,以至少部分地使用建筑物处的一个或多个信标发射器装置或其他无线发射器装置来确定在建筑物处采集的图像或其他数据组的采集地点的位置。特别地,图2E示出了图1的地产183上的建筑物198的一楼的局部楼层平面图,其中示出了七个示例无线发射器装置235a至235g。在此示例中,它们包括客厅中的无线发射器235a和235b、北卧室中的无线发射器235c、南卧室中的无线发射器235d、厨房/餐厅区域中的无线发射器235e、露台或平台186上的在建筑物198外部的无线发射器235f以及附属建筑物189中的在建筑物198外部的无线发射器235g。将了解,为了说明起见而提供无线发射器的位置和数量,并且本发明不限于这种细节。在此示例中,每个无线发射器装置具有如图所示的相应无线发射范围236,在该无线发射范围内,具有无线接收器的其他装置可以从该无线发射器装置接收发射。
特别地,在示例采集地点210A处,在该采集地点采集图像的图像采集装置185在无线发射器装置235a的范围236a内,并且在该采集地点从发射器装置接收一个或多个无线发射241a。在此示例中,除了图像采集能力外,图像采集装置185还具有计算能力(例如,是智能电话装置),并且确定无线发射器装置235a与采集地点210A之间的距离和方向两者,其中该信息与无线发射器装置235a的已知地点相结合(在此示例中被示出为相对于坐标(0,8),对应于坐标(0,0)处的房屋198的西南角并且使用英尺作为距离的度量),以确定采集地点210A的位置(例如,在用于无线发射器装置的相同相对共同坐标系中的(7,6))。以类似方式,采集地点210B处的图像采集装置185在无线发射器装置235b的范围236b中,并且接收来自无线发射器装置235b的一个或多个无线发射241b并将其用于确定采集地点210B与无线发射器装置235b之间的距离和方向,并且将该信息与无线发射器装置235b的已知地点(例如,共同坐标系中的(29,25))以确定采集地点210B的位置(例如,在用于无线发射器装置的相同相对共同坐标系中)。
在采集地点210C处,图像采集地点185在三个无线发射器装置的范围内,包括无线发射器装置235b的范围236b、无线发射器装置235c的范围236c和无线发射器装置235d的范围236d,并且从那些无线发射器装置中的每个接收一个或多个无线发射241c。在这种情形下,即使装置185能够仅确定到三个无线发射器装置中的每个的距离,该距离信息也可以与三个无线发射器装置的已知地点结合以确定采集地点210C的位置(例如,使用三角测量并且在用于无线发射器装置的相同相对共同坐标系中,诸如在共同坐标系中的(31,12)处)。可以对其他采集地点执行类似的位置确定。另外,将注意,在一些情形中,诸如采集地点210N至210P的外部采集地点可以仅从位于建筑物198内部的一个或多个无线发射器装置接收无线发射,而其他内部和/或外部采集地点可以从一个或多个外部无线发射器装置(诸如装置235f和235g)接收无线发射。
图2E还示出了可以在图像采集装置185(或在另一个装置上,诸如相机装置或不具有这种显示和/或计算能力的其他采集装置的配套计算装置)的屏幕上显示的信息的示例。在此示例中,当在采集地点210A至210C处采集图像时,同时生成建筑物198的局部楼层平面图,其中局部楼层平面图的示例在图像采集装置185的屏幕的部分上的信息211中示出(例如,在装置185上显示的GUI中)。在此示例中,局部楼层平面图使用也可以显示在装置185上(在此示例中未示出)或装置的用户以其他方式获得的图例214来显示结构元素(诸如门道、非门道墙壁开口、窗户、楼梯等)的地点。这个局部楼层平面图向装置185的用户提供关于建筑物198的尚未在局部楼层平面图中表示的部分的反馈,从而说明采集附加图像的建筑物中和周围的区域。在装置185上显示的示例信息还可以包括一种或多种类型的附加反馈,如在区域217中示出,无论是补充还是代替信息211,诸如关于图像和/或已经采集的其他数据的质量和/或完整性的信息、关于已经采集的数据的覆盖范围和/或分布的其他信息等。
图2F继续图2E的示例,并且示出了与无线发射器装置中的至少一些可以如何形成网状网络相关的信息260f,该信息260f可以用于确定网状网络中的无线发射器装置的相对地点。在此示例中,无线发射器装置235b、235c和235d还包括无线接收器(如由这些无线发射器/接收器装置的修改名称235b’、235c’和235d’反映),并且可以在彼此之间交换无线发射。以类似于图像采集装置185的方式,每个无线发射器/接收器装置(或一个或多个其他计算装置,未示出,诸如智能家居服务器的部分)可以确定到网状网络中的其他无线发射器/接收器装置中的每个的至少距离和可选地方向,并且使用三角测量或其他定位方法来确定那些无线发射器/接收器装置的各个相对位置。另外,在至少一些实施方式和情形中,无线发射器装置和/或无线接收器装置可以以各种方式自动地或半自动地自校准信标参数数据(例如,以将其信号映射到距离)和/或地点,其中非排他性示例在以下项中讨论:Shchekotov等人的“Semi-Automatic Self-Calibrating Indoor Localization UsingBLE Beacon Multilateration(使用BLE信标多点定位的半自动自校准室内定位)”,Proceedings Of The 23rd Conference Of Open Innovations Association(FRUCT)(第23届开放创新协会会议(FRUCT)的会议录),2018年(ISSN 2305-7254)中;以及在Shchekotov等人的“The Ontology Driven SLAM Based Indoor Localization Technique(基于本体驱动的SLAM的室内定位技术)”,物理期刊:会议系列1801 012007,2021年。
图2G继续图2E至图2F的示例,并且示出了说明用于至少部分地基于一个或多个图像的视觉数据来确定两个或更多个无线发射器装置的相对位置的替代技术的信息260g。在此示例中,图像采集装置185和/或184在客厅的北部中心部分中的位置处示出,并且从该位置采集全景图像255g(例如,通过在以具有视野243的向西方向开始和结束的360°圆中旋转)。该全景图像具有在客厅中的两个无线发射器装置235a和235b的视觉数据,并且对全景图像的视觉数据的分析可以识别那些无线发射器装置以及房间中的各种其他特征227,如在信息256g中示出,并且使用该视觉数据来确定两个无线发射器装置之间的至少方向242ab。尽管在此示例中未示出,但来自在客厅中采集的多个这种图像的视觉数据可以可选地与关于已知大小或距离的信息进一步组合,以确定两个无线发射器装置之间的距离和方向两者以及这些无线发射器装置的对应相对地点。此外,这种信息可以与来自局部网状网络的相对地点信息组合,如关于图2F所讨论,以包括共同相对坐标系中的所有无线发射器装置235a至235d,其中建筑物处的其他无线发射器装置235中的一些或全部类似地包括在网状网络中或以其他方式具有确定的相应地点。将了解,尽管示例无线发射器装置在图2G中被说明为在房间的墙壁上,但无线发射器装置和/或无线接收器装置可以安装或以其他方式放置在建筑物中或周围的各种位置处,包括在地板或天花板上、在其他对象的顶部上或以其他方式附接到其他对象、在墙壁内部等。
图2G进一步示出了在确定采集地点的位置和/或无线发射器装置的地点时可以使用附加的地点信息。特别地,在此示例中,图像采集装置185和/或184可以接收至少一些地点的GPS信号223,诸如当在建筑物198外部和在入口附近时,以及可选地在建筑物198内部的一些或全部地点处。即使建筑物内部的地点不接收GPS信号223,也可以将建筑物198的入口处的图像采集装置的已知绝对坐标与建筑物内部的装置的移动数据(例如,使用惯性导航)相结合,以确定建筑物198内部的装置185的至少近似地点,该近似地点可以与至少部分地基于来自无线发射器装置的发射的位置确定活动相结合,作为确定采集地点的位置和/或无线发射器装置的地点的部分。作为一个非排他性示例,如果图2E中的图像采集地点210处的图像采集装置能够仅确定采集地点与无线发射器装置235a之间的方向信息,则这种附加的基于GPS的地点信息可以与方向信息相结合,作为确定在建筑物中的采集地点的位置。另外,无论是代替还是补充这种基于GPS的位置信息,图像采集装置可以执行图像的视觉数据的分析以确定建筑物内部的装置的位置信息,诸如使用视觉测程法(例如,以与关于信息256g讨论的方式类似的方式,但结合来自多个图像的信息)和/或使用基于IMU的数据(例如,SLAM、SfM等)的进一步分析。图像采集装置185可以进一步与BALDPM系统的实施方式交换通信(例如,周期性地、连续地等),诸如通过一个或多个网络199与BALDPM系统的远程副本交换通信,并且图像采集装置185和/或BALDPM系统可以类似地通过一个或多个网络199与一个或多个其他装置105交换信息。
图2H继续图2E至图2G的示例,并且示出了示出替代实施方式的信息260h,其中使用相机装置184在采集地点中的一个或多个处(诸如在此示例中,在采集地点210B处)采集一个或多个图像。在此示例实施方式中,相机装置184不具有内置无线接收器,但改为与附加的无线发射器装置235h(例如,安装在相机装置上或以其他方式附接到相机装置)相关联,该无线发射器装置235h具有无线发射器装置在其中发射数据的范围236h。在此示例实施方式中,来自无线发射器装置235h的这种无线发射可以由一个或多个无线接收器接收,诸如安装或以其他方式放置在建筑物和/或移动配套装置185中的无线发射器/接收器装置235b’。以类似于先前关于图2E描述的方式,一个或多个计算装置(例如,装置185、无线发射器装置235b’、一个或多个其他计算系统等)可以使用来自无线发射器装置235h的发射数据以确定采集地点210B与这一个或多个无线发射器之间的至少距离和可选地方向,并且将该信息与无线发射器/接收器装置235b’的已知地点和/或移动装置185的确定地点相结合,以确定采集地点210B的位置。
图2I继续图2A至图2H的示例,并且进一步示出了信息260i,该信息260i包括通过确定采集地点210A至210-O的至少相对位置得到的信息,包括说明一些成对的采集地点之间的方向的链接214。
图2J继续图2A至图2I的示例,并且示出了在GUI 265j中呈现给最终用户的包括房屋198的2D楼层平面图230j的部分(例如,对应于房屋的一楼或主楼)的一个示例的信息260j,诸如可以由MIGM系统经由对在房屋中采集的图像和可选地其他数据的分析来生成并且可以由MIGM系统和/或BALDPM系统显示,并且其中客厅是房屋的最向西房间(如由方向指示符209所反映的)。将了解,在一些实施方式中,可以类似地生成和显示具有渲染的墙壁高度信息的3D或2.5D楼层平面图,无论是补充还是代替这种2D楼层平面图。在此示例中,在2D楼层平面图230j上还示出了各种类型的信息。例如,这种类型的信息可以包括以下各项中的一个或多个:添加到一些或所有房间的房间标签(例如,用于客厅的“客厅”);针对一些或所有房间添加的房间尺寸;针对一些或所有房间添加的对象(诸如安装的灯具或电器(例如,厨房电器、浴室物品等)或其他内置元件(例如,厨房岛))的视觉指示,可选地具有相关联的标签和/或描述性注释(例如,双钢厨房水槽、具有红色可丽耐表面的厨房岛、LED轨道照明、白色瓷砖地板等);针对具有附加类型的相关联和链接信息(例如,最终用户可以选择用于进一步显示的其他全景图像和/或立体图像;最终用户可以选择用于进一步呈现的音频或非音频注释,诸如“厨房包括具有特征Y的品牌X冰箱、品牌Z的内置炉/烤炉等”;最终用户可以选择用于进一步呈现的录音,诸如从卧室1听到街道噪声的级别;等等)的位置的一些或所有房间添加的视觉指示;针对诸如门和窗户的结构元素的一些或所有房间添加的视觉指示;视觉外观信息(例如,所安装的物品诸如地板覆盖物或墙壁覆盖物或表面覆盖物的颜色和/或材料类型和/或纹理)的视觉指示;来自特定窗户或其他建筑物地点的视图和/或建筑物外部的其他信息(例如,外部空间的类型;外部空间中存在的物品;其他相关联的建筑物或结构,诸如棚屋、车库、池、平台、露台、走道、花园等)的视觉指示;识别用于一种或多种类型的信息的视觉指示符的键或图例269;等等。当作为GUI(诸如GUI 260j)的部分显示时,一些或所有这种所示出的信息可以是用户可选择控件(或与这种控件相关联),该用户可选择控件允许最终用户选择并显示相关联信息中的一些或全部(例如,选择用于采集地点210B的360°全景图像指示符以查看该全景图像中的一些或全部(例如,以类似于图2A至图2D的方式)。此外,在此示例中,添加用户可选择控件228以指示针对楼层平面图显示的当前楼层,并允许最终用户选择要显示的不同楼层。在一些实施方式中,楼层或其他层的改变可以直接从楼层平面图进行,无论是补充还是代替使用控件228,并且诸如经由选择所示出的楼层平面图中的对应连接通道(例如,通往二楼或上层楼、通往地下室等的楼梯)。将了解,在一些实施方式中可以添加各种其他类型的信息,在一些实施方式中可以不提供所示出类型的信息中的一些,并且在其他实施方式中可以以其他方式显示并选择链接和相关联信息的视觉指示及对其的用户选择。
图2K继续了图2A至图2J,并且示出了提供用户装置175上的客户端应用的一种类型的GUI的示例,以向用户装置175提供关于建筑物198的建筑物信息的信息260k。在此示例中,GUI示出了在主窗格207以及两个辅窗格208和209中的多种类型的信息204b,其中窗格中的每个示出了关于示例房屋198的相同区域的不同类型的信息,但是其他GUI可以包括更多或更少的窗格和/或显示不同类型的信息。在此示例中,主窗格207示出由移动装置在客厅中采集的目标图像,其中图像的方向是在西北方向上,并且还包括标题206,该标题206提供了所示内容的类型的描述(在这里,具有建筑物的移动装置当前相机视图的目标图像用叠加的视觉数据增强进行增强),但是在其他实施方式中,可以不使用这种标题。主窗格207还可以具有使得最终用户(未示出)能够修改GUI中显示的信息的一个或多个用户可选择的GUI控件,诸如叠加在主窗格上的用户可选择的控件201c至201e(包括用于显示或隐藏关于当前图像中存在的对象/属性感兴趣点的切换控件203c、用于显示或隐藏由图像示出的房屋的区域的描述的切换控件203d、用于显示或隐藏关于与图像中示出的房屋的区域相对应的问题和答案的信息并且可选地允许最终用户供应一个或多个附加的问题和答案的切换控件203e等),并且可选地附加的用户可选择的GUI控件201、203a和203b可以被示出为与主窗格207分开。在至少一些实施方式和情形中,所显示的用户可选择控件中的至少一些可以基于主窗格中当前显示的内容而与上下文相关(在此示例中,与图像内容相关联,并且可选地与显示的当前房间相关联)。
在此示例中,各种信息已经使用视觉数据增强叠加在主窗格207上,诸如在此示例中,基于最终用户选择用户可选择控件203c、203d和203e,但是将了解,在其他情况下,最终用户可以改为选择这三个控件中的零、一个或两个。在此示例中,选择用户可选择控件203c已经致使说明与房间中的兴趣点相关联的若干附加的用户可选择视觉指示符GUI控件212,其中视觉指示符212b当前被选择并且具有在主窗格的区域213中示出的对应文本评论(评论房间的墙壁上的油漆)。在此示例中,其他视觉POI指示符包括面向西的落地窗户上的212a、面向北的窗户上的212d以及天花板上的架空轨道照明灯具上的212c。尽管在此示例中,所选择的视觉指示符212b具有显示的相关联文本,但POI的其他视觉指示符可以具有其他类型的相关联信息,诸如如果窗户视觉指示符212a和/或212d具有与其相关联的图像和/或视频的话,从而示出看向窗外的图像或视频(例如,在24小时内从窗户或门拍摄房屋外部的延时视频,从而示出在该时间段内外部的道路交通或人流量)。除了激活控件203c外,还已经激活了用户可选择控件203d以提供图像中示出的区域的音频描述,其中在此示例中示出的视觉指示符211表示可以响应于对该控件的选择而可听地呈现的音频信息(例如,记录的环境声音;对应的描述信息的音频陈述,诸如代替具有如在此示例中示出的信息的文本表示,或改为补充文本信息,诸如如果进一步选择隐藏字幕选项的话)。此外,还选择了与问题和答案对应的用户可选择控件203b,从而致使显示在区域213中的附加信息,诸如来自另一个最终用户的问题和对应的答案,以及其他用户可选择控件以允许最终用户询问要回答的问题、提交评论以向其他用户显示或者循环通过其他现有的问题和评论。将了解,在其他实施方式中,所说明的类型的信息可以以其他方式呈现,或可以不示出。
除了主窗格中示出的图像外,辅窗格208和209还示出了关于示例房屋的相同地点或区域的其他类型的内容。特别地,在此示例中,辅窗格209示出了房屋的3D计算机模型的部分,并且特别地示出了包括客厅的东北角以及可选地包括相同楼层的其他部分中的一些或全部的计算机模型的部分。在此示例中,计算机模型与视觉指示符219b叠加,以示出在哪里采集主窗格中示出的图像以及采集该图像的相机的2D取向,并且可以类似地叠加其他类型的信息(例如,到目的地地点的方向或其他指引,诸如其中路径和/或目的地目标地点叠加在模型的视觉表示上等)。另外,在此示例中,辅窗格208示出了添加到图像的模拟日光照明216a的示例,并且进一步示出了视觉指示符216以将用户引导到当前不可见的其他区域/POI(例如,不同的相邻房间、当前房间的当前不可见的另一部分中的对象等)。尽管在此示例中,在辅窗格208中示出了模拟照明,但多种类型的信息可以叠加在主窗格和/或辅窗格上,诸如当通过对应的用户可选择GUI控件(例如,附加的用户可选择GUI控件203a)选择时,其中这种叠加的信息和附加功能的非排他性示例包括以下项:示出测量或其他尺度信息;示出指定条件下的模拟太阳光(例如,一天的一个或多个时间和/或一年的一个或多个时间);示出实际内部照明(例如,在先前对应的图像中采集),可选地在指定条件下;示出关于建筑物的周围环境的信息;允许示出虚拟对象和/或表面和/或结构改变(例如,以改变墙壁、地板、对象表面等的颜色、纹理等);呈现来自建筑物的一个或多个地点的声音记录(例如,在指定时间的环境声音);等等。另外,在此示例中,可进一步获得其他用户可选择GUI控件,包括用户可以选择关于对其他建筑物的先前访问的信息(例如,来自用户和/或用户装置的存储的访问日志)的控件203b。将了解,出于说明目的而提供了关于图2K的示例讨论的信息,但本发明不限于这种细节。
关于图2A至图2K并且关于上面讨论的非排他性示例实施方式已经提供了各种细节,但将了解,所提供的细节是出于说明性目的而包括的非排他性示例,并且可以在没有一些或全部这种细节的情况下以其他方式执行其他实施方式。
图3是示出了执行BALDPM系统140的实施方式(例如,以类似于图1的方式)的一个或多个服务器计算系统180以及执行ICA系统150和MIGM系统160的实施方式的一个或多个服务器计算系统380的实施方式的框图。(多个)计算系统180和BALDPM系统和/或(多个)计算系统380和/或ICA和MIGM系统可以使用多个硬件部件来实施,该多个硬件部件形成适合于且被配置为在联合操作时执行本文描述的技术中的至少一些的电子电路。图像采集装置185可以各自执行一个或多个客户端应用和/或其他程序154,并且一个或多个其他计算系统和装置可以可选地执行BALDPM系统客户端应用和/或其他建筑物信息查看器系统396(诸如每个移动装置175)和/或任选的其他程序335和383(诸如在此示例中分别是服务器计算系统180和380)。在所说明的实施方式中,每个服务器计算系统180包括一个或多个硬件中央处理单元(“CPU”)或其他硬件处理器305、各种输入/输出(“I/O”)部件310、存储装置320以及存储器330,其中所说明的I/O部件包括显示器311、网络连接件312、计算机可读介质驱动器313以及其他I/O装置315(例如,键盘、鼠标或其他指示装置、麦克风、扬声器、GPS接收器等)。每个服务器计算系统380可以具有类似的部件,但为了简洁起见,在此示例中仅示出了一个或多个硬件处理器381、存储器385、存储装置384和I/O部件382。
在此说明的实施方式中,(多个)服务器计算系统180和执行的BALDPM系统140、以及(多个)服务器计算系统380和执行的ICA系统150和MIGM系统160、以及采集装置185和执行的软件154、以及移动装置175和执行的软件396可以诸如经由一个或多个网络199(例如,互联网、一个或多个蜂窝电话网络等)彼此通信以及与其他计算系统和装置通信,包括与任选的其他可导航装置395交互,该可导航装置395接收并使用楼层平面图和可选地其他生成的信息以用于导航目的(例如,供半自主或全自主车辆或其他装置使用)并且用于采集装置185以与建筑物装置365通信(例如,使用通信和/或传感器部件以接收来自发射器装置的发射和/或以其他方式与其他建筑物装置通信,诸如电子加密箱或锁、智能家居装置等)。在此示例实施方式中,移动装置175被说明为包括在其上呈现和/或提供来自BALDPM系统的建筑物信息的一个或多个显示器392、可选地其他部件394(例如,计算资源、I/O部件、传感器等)。在其他实施方式中,所描述的功能中的一些可以组合在更少的计算系统中,从而将BALDPM系统140中的一些或全部与建筑物信息查看器系统396组合在单个系统或装置(例如,移动装置175)中、将BALDPM系统140和(多个)装置185的图像采集功能组合在单个系统或装置中、将ICA系统150和MIGM系统160与(多个)装置185的图像采集功能组合在单个系统或装置中、将BALDPM系统140与ICA系统150和MIGM系统160中的一者或两者组合在单个系统或装置中、将BALDPM系统140与ICA系统150和MIGM系统160以及(多个)装置185的图像采集功能组合在单个系统或装置中,等等。
在所说明的实施方式中,BALDPM系统140的实施方式在(多个)服务器计算系统180的存储器330中执行以便执行所描述的技术中的至少一些,诸如将(多个)处理器305和计算系统180配置为执行实施那些描述的技术的自动化操作的方式使用(多个)处理器305来执行系统140的软件指令。BALDPM系统的所说明的实施方式可以包括一个或多个部件(未示出),从而各自执行BALDPM系统的功能的部分,并且存储器可以进一步可选地执行一个或多个其他程序335。作为一个具体示例,在至少一些实施方式中,ICA和/或MIGM系统的副本可以作为其他程序335中的一个执行,诸如代替或补充(多个)服务器计算系统380上的ICA系统150和/或MIGM系统160,和/或建筑物信息查看器系统的副本可以作为其他程序335中的一个执行(例如,如果(多个)计算系统180与移动装置175相同的话)。BALDPM系统140在其操作期间可以进一步在存储装置320上存储和/或检索各种类型的数据(例如,在一个或多个数据库或其他数据结构中),诸如各种类型的用户/装置数据143和/或144和/或156、图像和楼层平面图和其他相关联信息155和/或165(例如,生成和保存的2.5D和/或3D模型、用于相关联楼层平面图的建筑物和房间尺寸、附加图像和/或注释信息等)、在建筑物采集地点处采集的数据的确定的位置数据157和/或各种类型的任选其他信息329(例如,与一个或多个建筑物内部或其他环境的呈现或其他用途有关的各种分析信息)。
另外,在所说明的实施方式中,ICA系统150和MIGM系统160的实施方式在(多个)服务器计算系统380的存储器385中执行,以便执行与生成建筑物的全景图像和楼层平面图有关的技术,诸如通过使用(多个)处理器381来以将(多个)处理器381和(多个)计算系统380配置来执行实施那些技术的自动化操作的方式来执行系统150和/或160的软件指令。ICA和MIGM系统的所示出的实施方式可以包括一个或多个部件(未示出)以各自分别执行ICA和MIGM系统的功能的部分,并且存储器可以进一步可选地执行一个或多个其他程序383。ICA系统150和/或MIGM系统160在操作期间可以进一步在存储装置384上存储和/或检索各种类型的数据(例如,在一个或多个数据库或其他数据结构中),诸如为一个或多个建筑物采集的视频和/或图像信息155(例如,用于分析以生成楼层平面图的360°视频或图像,以提供给客户端计算装置370的用户来进行显示,等等)、楼层平面图和/或其他生成的测绘信息165、以及可选的其他信息385(例如,用于相关联的楼层平面图的附加图像和/或注释信息、用于相关联的楼层平面图的建筑物和房间尺寸、与一个或多个建筑物内部或其他环境的呈现或其他用途有关的各种分析信息等等)。虽然在图3中未示出,但ICA和/或MIGM系统可以进一步存储和使用附加类型的信息,诸如关于要分析和/或提供给BALDPM系统的其他类型的建筑物信息、关于ICA和/或MIGM系统操作员用户和/或最终用户等的信息。
移动装置175、图像采集移动装置185、任选的其他可导航装置395、其他客户端装置105和其他计算系统(未示出)中的一些或全部可以类似地包括针对服务器计算系统180所说明的相同类型部件中的一些或全部。作为一个非限制性示例,图像采集移动装置185各自示出为包括一个或多个硬件CPU 132、存储器和/或存储装置152、一个或多个成像系统135、IMU硬件传感器148(例如,用于采集视频和/或图像、关联的装置移动数据等)以及其他部件364。在所说明的示例中,零或一个或多个客户端应用154(例如,特定于ICA系统和/或MIGM系统和/或BALDPM系统的应用)和/或其他程序154在存储器152中执行,从而参与与BALDPM系统140、ICA系统150、MIGM系统160和/或其他计算系统的通信。尽管针对其他可导航装置395或其他计算装置/系统105未说明特定部件,但是将了解,它们可以包括类似和/或附加的部件。
还将了解,计算系统180、185、380和175以及图3内所包括的其他系统和装置仅仅是说明性的,并且不旨在限制本发明的范围。系统和/或装置可以改为各自包括多个交互的计算系统或装置,并且可以连接到未具体说明的其他装置,包括经由蓝牙通信或其他直接通信、通过一个或多个网络(诸如,互联网)、经由Web或经由一个或多个专用网络(例如,移动通信网络等)进行连接。更一般地,装置或其他计算系统可以包括可选地在被编程或以其他方式配置有特定软件指令和/或数据结构时,可以交互并执行所描述类型的功能的硬件的任何组合,该硬件包括但不限于台式计算机或其他计算机(例如,平板计算机、平板电脑等)、数据库服务器、网络存储装置和其他网络装置、智能手机和其他蜂窝电话、消费者电子装置、可穿戴装置、数字音乐播放器装置、手持式游戏装置、PDA、无线电话、互联网电器、以及包括适当通信能力的各种其他消费者产品。另外,在一些实施方式中,由所示的BALDPM系统140提供的功能可以分布在各种部件中,可以不提供BALDPM系统140的所描述的功能中的一些,并且/或可以提供其他附加的功能。
还将了解,尽管各种条目被说明为在使用时存储在存储器中或在存储装置上,但是出于存储器管理和数据完整性的目的,这些条目或其部分可以在存储器和其他存储装置之间转移。可选地,在其他实施方式中,软件部件和/或系统中的一些或全部可以在另一个装置上的存储器中执行并且经由计算机间通信与所示出的计算系统通信。因此,在一些实施方式中,当被一个或多个软件程序(例如,被在服务器计算系统180上执行的BALDPM系统140、被BALDPM客户端应用或在移动装置175或其他计算系统/装置上执行的建筑物信息查看器系统等)和/或数据结构配置时,所描述的技术中的一些或全部可以由包括一个或多个处理器和/或存储器和/或存储装置的硬件装置执行,诸如通过执行一个或多个软件程序的软件指令和/或通过存储这种软件指令和/或数据结构,并且从而执行如在本文中的流程图和其他公开内容中描述的算法。此外,在一些实施方式中,可以以其他方式实施或提供系统和/或部件中的一些或全部,诸如通过由部分地或完全地在固件和/或硬件中实施(例如,而不是作为由配置特定CPU或其他处理器的软件指令全部或部分地实施的装置)的一个或多个装置组成,包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如,通过执行适当的指令,并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等。部件、系统和数据结构中的一些或全部还可以(例如,作为软件指令或结构化数据)存储在非暂时性计算机可读存储介质上,诸如硬盘或闪存驱动器或其他非易失性存储装置、易失性或非易失性存储器(例如,RAM或闪存RAM)、网络存储装置或便携式媒体制品(例如,DVD盘、CD盘、光盘、快闪存储器装置等),以便由适当的驱动器或经由适当的连接来读取。在一些实施方式中,系统、部件和数据结构还可以经由所生成的数据信号(例如,作为载波或其他模拟或数字传播信号的部分)在各种计算机可读传输介质上传输,该计算机可读传输介质包括基于无线和基于有线/电缆的介质,并且可以采取多种形式(例如,作为单个或多路模拟信号的部分,或作为多个离散数字包或帧)。在其他实施方式中,这种计算机程序产品还可以采取其他形式。因此,可以利用其他计算机系统配置来实践本公开的实施方式。
图4A至图4B示出了根据本公开的实施方式的用于建筑物采集地点确定和呈现管理器(BALDPM)系统例程的流程图的示例实施方式。该例程可以通过例如执行图1和/或图3的BALDPM系统140和/或如关于图2E至图2K描述的并且在本文的其他地方描述的BALDPM系统来执行,从而执行与使用建筑物处的一个或多个信标发射器装置或其他无线发射器装置相关的自动化操作作为确定在建筑物处采集的图像或其他数据组的采集地点的部分,并且随后以一种或多种进一步自动化方式使用所采集的数据和所确定的采集地点信息。在图4A至图4B的示例实施方式中,所指示的建筑物可以是房屋或其他类型的建筑物,并且可以提供或在其他方面以特定方式使用各种类型的信息,但在其他实施方式中,可以提供和使用其他类型的建筑物和信息用途,如在本文的其他地方讨论。
例程的所说明的实施方式在框405处开始,在该框405处,接收指令或信息。该例程继续到框430,在该框430处,确定在框405中接收到的指令或其他信息是否指示将建筑物地点信息与建筑物处的一个或多个发射器装置和/或一个或多个接收器装置相关联,并且如果是的话,则继续到框435,在该框435处,确定或以其他方式获得关于一个或多个这种发射器装置和/或接收器装置在建筑物处的地点的信息,并且存储它们以供稍后使用。如在本文的其他地方更详细地讨论,可以以各种方式自动地确定这种建筑物地点信息,包括基于具有相关联的发射器和接收器能力的多个这种装置的网状网络。
在框435之后,或如果改为在框430中确定在框405中接收到的指令或其他信息不是将建筑物位置与装置相关联,则例程继续到框410,在该框410处,确定在框405中接收到的指令或信息是否是生成用于与所指示的建筑物一起使用的建筑物信息,并且如果不是的话,则继续到框490。否则,例程继续到框415以执行ICA系统例程来采集具有建筑物的视觉数据和可选地采集元数据(例如,取向数据和其他姿势数据)和/或建筑物的其他数据的一个或多个图像,并且接收来自例程的结果。关于图5进一步讨论这种ICA系统例程的一个示例。在框415之后,例程继续到框417以通过确定(多个)图像的采集地点的位置来确定是否使用从一个或多个发射器装置接收到的发射来定位一个或多个图像,并且如果是的话,则继续到框437。在框437中,例程检索建筑物处的一个或多个发射器装置和/或接收器装置的建筑物地点信息(例如,如在框435中指定),并且在框440中接收关于在一个或多个建筑物采集地点处采集的一个或多个图像或其他数据组的信息。在框445中,例程以第一采集地点开始选择下一采集地点作为当前采集地点,并且继续到框450以确定在当前采集地点处(例如,由该采集地点处的数据采集装置)接收到的无线发射是否来自单个建筑物发射器装置并且能够用于提供当前采集地点与该发射器装置之间的距离和取向信息。如果是的话,则例程继续到框452,在该框452处,获得在当前采集地点处接收到的发射数据,使用关于该发射器装置的建筑物地点的信息和从发射器装置数据确定的距离和取向数据,确定采集地点在建筑物处的位置,并且将采集地点的确定位置与在该采集地点处采集的一个或多个图像和/或其他数据组相关联。
在框452之后,或如果改为在框450中确定接收到的发射器数据不是来自能够用于提供距离和取向数据两者的单个建筑物发射器装置,则例程继续到框455以确定在当前采集地点处(例如,由在该采集地点处的数据采集装置)接收到的无线发射器数据是否来自多个建筑物发射器装置并且能够用于提供当前采集地点与这些发射器装置之间的至少距离数据。如果是的话,则例程继续到框457,在该框457处,获得在当前采集地点处接收到的发射数据,使用关于这些发射器装置的建筑物地点的信息和从发射器装置数据(例如,使用三角测量)确定的至少距离数据以及可选地方向数据(如果可用的话),确定采集地点在建筑物处的位置,并且将采集地点的确定位置与在该采集地点处采集的一个或多个图像和/或其他数据组相关联。
在框457之后,或如果改为在框455中确定不是在当前采集地点处接收到来自多个建筑物发射器装置的发射,则例程继续到框460以确定数据采集装置是否与采集地点处的发射器装置相关联(例如,附接到采集装置、作为伴随采集装置的配套装置的部分等),并且如果是的话,则继续到框462以获得由该发射器装置从当前采集地点发射且由建筑物处的一个或多个接收器装置(无论是在固定地点还是结合在一个或多个移动装置中)接收的数据,在接收到发射数据(如果适用的话)时,确定或以其他方式获得一个或多个这种移动装置的当前地点,使用关于这一个或多个接收器装置的建筑物地点的信息和从发射器接收装置(例如,使用三角测量)确定的至少距离数据以及可选地方向数据(如果可用的话),确定采集地点在建筑物处的位置,并且将采集地点的确定位置与在该采集地点处采集的一个或多个图像和/或其他数据组相关联。
在框462之后,或如果改为在框460中确定数据采集装置不与采集地点处的发射器装置相关联,则例程改为继续到框465,在该框465处,确定附加地点数据是否可用于与基于来自一个或多个发射器装置的发射的地点相关信息相结合,并且如果是的话,则继续到框467,在该框467处,接收一种或多种类型的附加地点数据(例如,GPS数据、基于视觉测程法和/或IMU数据的使用的地点数据等),并且使用来自一个或多个发射器装置(例如,其发射数据能够仅提供距离数据的单个发射器装置)的发射将该附加地点数据与采集地点的其他位置数据相结合,以确定采集地点在建筑物处的位置,并且将采集地点的确定位置与在该采集地点处采集的一个或多个图像和/或其他数据组相关联。
在框467之后,或如果改为在框465中确定附加地点数据不可用,则例程继续到框469以确定是否存在要确定其位置的更多采集地点,并且如果是的话,则返回到框445以选择下一这种采集地点。否则,例程继续到框471以基于当前数据采集活动来确定是否生成并提供反馈,并且如果是的话,则继续到框473以生成并呈现或以其他方式提供这种反馈(例如,在采集装置和/或相关联的配套装置上),诸如至少部分地基于一个或多个采集地点的确定位置和/或在(多个)采集地点处采集的数据。在框473之后,或如果改为在框471中确定不提供反馈,则例程继续到框419以确定是否存在要采集的一个或多个附加图像,并且如果是的话,则返回到框415以获得一个或多个这种附加图像。
否则,例程继续到框420以执行MIGM系统例程,以至少部分地基于由ICA系统例程采集的数据来确定关于建筑物及其属性的至少局部楼层平面图信息和附加信息,并且接收来自例程的结果。关于图6A至图6B进一步讨论这种MIGM系统例程的一个示例。在框420之后,例程继续到框425,在该框425处,可选地接收一种或多种类型的附加建筑物信息(例如,文本描述信息、其他建筑物属性数据、建筑物中或周围的其他图像或其他类型的采集数据等),可选地使用发射器装置数据来确定这种其他采集的数据的采集地点的位置(例如,以与框437至469的方式类似的方式),可选地将附加建筑物信息中的一些或全部与楼层平面图相关联(例如,至少部分地基于其他采集数据的确定的采集地点的位置信息),并且存储所生成和接收的建筑物信息以供进一步使用。在框425之后,例程继续到框427以基于当前数据采集活动(例如,至少部分地基于在框420中生成的局部楼层平面图数据)来确定是否生成并提供反馈,并且如果是的话,则继续到框428以生成并呈现或以其他方式提供这种反馈(例如,在采集装置和/或相关联的配套装置上)。在框428之后,或如果改为在框427中确定不提供反馈,则例程继续到框429以确定是否采集建筑物的附加数据,并且如果是的话,则返回到框415。否则,例程继续到框489,在该框489处,可选地将例程的所确定和/或生成的信息中的一些或全部提供到一个或多个接收方。
如果在框410中确定在框405中接收到的信息或其他指令不是生成建筑物信息,则例程改为继续到框490以视情况执行一个或多个其他所指示的操作。这种其他所指示的操作可以包括例如以下非排他性示例中的一个或多个:生成发射器装置和/或接收器装置的网状网络并且可选地基于该网络来确定装置的相应位置;以除了网状网络的方式接收并存储(或以其他方式确定)关于特定发射器装置和/或接收器装置的地点的信息;确定并存储其他地点数据,以与从诸如来自GPS信号、视觉测程法和/或IMU数据(例如,SLAM、SfM等)等的发射器装置发射确定的位置数据结合使用;更新移动的发射器装置和/或接收器装置的信息;接收并存储关于建筑物和/或采集装置和/或配套装置和/或用户的信息以供稍后使用;从用户装置和/或相关联用户的BALDPM系统账户检索信息并将其提供到该装置或用户;等等。
在框489或490之后,例程继续到框495以确定是否继续,诸如直到接收到明确的终止指示为止,或改为只有在接收到明确的继续指示的情况下才继续。如果确定继续,则例程返回框405以等待附加指令或其他信息,否则继续到框499并结束。
尽管未相对于在图4A至图4B的示例实施方式中所示的自动化操作说明,但在一些实施方式中,人类用户可以进一步帮助促进BALDPM系统的一些操作,诸如BALDPM系统的操作者用户和/或最终用户提供进一步用于后续自动化操作的一种或多种类型的输入。作为非排他性示例,这种人类用户可以提供一种或多种类型的输入,从而提供与安装或以其他方式放置在建筑物地点处的发射器和/或接收器装置的地点相关的输入,通过对图像、楼层平面图和/或其他建筑物信息的分析来帮助识别对象和/或其他属性等。在本文的其他地方包括关于其中(多个)人类用户提供用于BALDPM系统的附加自动化操作的输入的实施方式的附加细节。
图5示出了ICA(图像捕获和分析)系统例程500的实施方式的示例性流程图。该例程可以由例如图1和图3的ICA系统150、和/或如关于图2A至图2D和本文的其他方式描述的ICA系统执行,从而在建筑物或其他结构内的采集地点处采集360°全景图像和/或其他图像,诸如用于后续生成相关楼层平面图和/或其他测绘信息。尽管关于在特定采集地点处采集特定类型的图像讨论了示例例程500的部分,但是将了解,这个或类似的例程可以用于采集视频(具有视频帧图像)和/或其他数据(例如,音频),无论是代替还是补充这种全景图像或其他立体图像。另外,尽管所说明的实施方式采集并使用来自目标建筑物的内部的信息,但是将了解,其他实施方式可以针对其他类型的数据(包括针对非建筑物结构和/或针对一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术(例如,在目标建筑物所在的房产上,从而示出院子、平台、露台、附属结构等)。此外,例程中的一些或全部可以在用户所使用的移动装置上执行以采集图像信息,和/或由远离这种移动装置的系统执行。在至少一些实施方式中,可以从图4A至图4B的例程400的框415调用例程500,其中作为该框415的实施方式的部分,将来自例程500的对应信息提供到例程400,并且其中在这种情形中,处理控制在框599处和/或在框577或599之后返回到例程400。在其他实施方式中,例程400可以以异步方式继续附加操作,无需等待返回这种处理控制(例如,在等待将来自例程500的对应信息提供到例程400时继续其他处理活动)。
例程的所示出的实施方式在框505处开始,在框505处接收指令或信息。在框510处,例程确定接收到的指令或信息是否指示采集表示建筑物内部的视觉数据和/或其他数据(可选地根据关于一个或多个附加采集地点和/或其他指引采集指令的供应信息),并且如果否的话,则继续到框590。否则,例程前进到框512以接收在第一采集地点开始图像采集过程的指示(例如,从将执行采集过程的图像采集移动装置的用户接收)。在框512之后,例程前进到框515以便执行用于采集在感兴趣的目标建筑物的内部中的采集地点的360°全景图像的图像采集活动,诸如经由移动装置上的一个或多个鱼眼镜头和/或非鱼眼直线镜头并且提供围绕竖直轴的至少360°的水平覆盖范围,但在其他实施方式中,可以采集其他类型的图像和/或其他类型的数据,并且可选地在图像采集活动期间获得IMU数据和/或其他采集元数据。作为一个非排他性示例,图像采集移动装置可以是配备有鱼眼镜头(例如,具有180°的水平覆盖范围)和/或其他镜头(例如,具有少于180°的水平覆盖范围,诸如常规的镜头、广角镜头、超广镜头、或微距镜头)的旋转(扫描)全景相机。例程还可以可选地从用户获得关于采集地点和/或周围环境的注释和/或其他信息,诸如供稍后用于呈现关于该采集地点和/或周围环境的信息。另外,例程接收来自一个或多个附近无线发射器装置中的每个的一个或多个无线发射,以用于提供到BALDPM系统。在其中采集装置具有相关联的无线发射器(例如,作为采集装置的部分、暂时地附接到采集装置、作为接近采集装置的移动配套装置的部分等)的其他实施方式中,该无线发射器可以在处于采集地点时向建筑物中的一个或多个无线接收器装置发送无线发射(例如,以在执行框515的数据采集活动时执行这种无线发射)。
在完成框515之后,例程继续到框520以确定是否存在要在其处采集图像的更多采集地点,诸如基于由移动装置的用户提供和/或在框505中接收到的对应信息。在一些实施方式中,ICA例程将仅采集单个图像并且然后前进到框577以提供该图像和对应的信息(例如,以将图像和对应的信息返回到BALDPM系统和/或MIGM系统以在接收到附加指令或信息之前进一步使用,以便在一个或多个下一采集地点采集一个或多个下一图像)。如果在当前时间存在要在其处采集附加图像的更多采集地点,例程继续到框522以可选地在移动装置沿着远离当前采集地点而朝向建筑物内部内的下一个采集地点的行进路径移动期间,启动采集链接信息(例如,加速度数据)。所采集的链接信息可以包括在这种移动期间记录的附加传感器数据(例如,来自移动装置上或以其他方式由用户携带的一个或多个IMU或惯性测量单元)和/或附加视觉信息(例如,图像、视频等)。可以响应于来自移动装置的用户的明确指示或基于从移动装置记录的信息的一个或多个自动化分析来执行启动采集这种链接信息。此外,在一些实施方式中,例程可以进一步可选地在移动到下一采集地点期间监测移动装置的运动,并且(例如,向用户)提供关于以下各项的一个或多个引导暗示:移动装置的运动、正被采集的传感器数据和/或视频信息的质量、相关联的照明/环境条件、采集下一采集地点的可取性、以及采集链接信息的任何其他合适方面。类似地,例程可以可选地从用户获得关于行进路径的注释和/或其他信息,诸如供稍后用于呈现关于该行进路径或得到的全景间图像连接链路的信息。在框524中,例程确定移动装置已到达下一采集地点(例如,基于来自用户的指示、基于移动装置的向前移动在至少预定义的时间量内停止等)以用作新的当前采集地点,并且返回到框515针对该新的当前采集地点执行采集地点图像采集活动。
如果改为在框520中确定在当前时间不存在要在其处采集当前建筑物或其他结构的图像信息的任何更多采集地点,则例程前进到框545以可选地先预处理所采集的360°全景图像,然后随后将其用于(例如生成相关的测绘信息、用于提供关于房间或其他封闭区域的结构元素或其他对象的信息等),从而产生特定类型和/或呈特定格式的图像(例如,以对每个这种图像执行等量矩形投影,其中诸如典型的矩形门框或在2个相邻墙壁之间的典型边界的侧面的平直竖直数据保持平直,并且其中诸如典型的矩形门框或墙壁与地板之间的边界的顶部的平直水平数据在图像的水平中线处保持平直,但在等量矩形投影图像中随着在图像中距水平中线的距离增加和/或到采集地点的距离减少而以相对于水平中线凸出的方式逐渐地弯曲)。在框577中,存储这些图像和任何相关联的所生成或获得的信息以供稍后使用,并且可选地提供给一个或多个接收方(例如,提供到例程400的框415,如果从该框调用的话)。图6A至图6B示出了用于从这种所生成的全景信息生成建筑物内部的楼层平面图表示的例程的一个示例。
如果改为在框510中确定在框505中接收到的指令或其他信息不是采集表示建筑物内部的图像和其他数据,则例程改为继续到框590,以视情况执行任何其他所指示的操作,从而将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,用户诸如为采集一个或多个建筑物内部的移动装置用户、ICA系统的操作者用户等)、以响应于对所生成和存储的信息的请求(例如,识别匹配一个或多个指定搜索标准的一个或多个全景图像等)、获得和存储关于系统用户的其他信息、执行任何家政服务等。
在框577或590之后,例程前进到框595以确定是否继续,诸如直到接收到明确的终止指示为止,或改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回到框505以等待附加的指令或信息,并且如果否的话,则前进到步骤599并结束。
尽管未相对于在图5的示例实施方式中所示的自动化操作说明,但在一些实施方式中,人类用户可以进一步帮助促进ICA系统的操作中的一些,诸如ICA系统的操作者用户和/或最终用户以提供进一步用于后续自动化操作的一种或多种类型的输入。作为非排他性示例,这种人类用户可以提供如下一种或多种类型的输入:提供输入以帮助确定采集地点,从而在框512和/或524中提供被用作该框的自动化操作的部分的输入;执行框515中的与图像采集相关的活动(例如,参与图像采集,诸如激活快门、实施相机和/或相关联的传感器或部件上的设置、旋转相机作为采集全景图像的部分等;设置一个或多个相机装置和/或相关联的传感器或部件的地点和/或取向;等等);在框515和/或522中提供被用作后续自动化操作的部分的输入,诸如关于特定图像、周围房间和/或房间中的对象的标签、注释或其他描述性信息;等等。在本文的其他地方包括关于其中一个或多个人类用户提供被进一步用于ICA系统的附加自动化操作的输入的实施方式的附加细节。
图6A至图6B示出了用于MIGM(测绘信息生成管理器)系统例程600的流程图的示例性实施方式。该例程可以通过例如执行图1和图3的MIGM系统160和/或如关于图2A至图2D和在本文的其他地方描述的MIGM系统来执行,从而通过分析来自在房间中采集的一个或多个图像的信息(例如,一个或多个360°全景图像)来确定房间(或其他限定的区域)的房间形状、至少部分地基于区域的一个或多个图像和可选地由移动计算装置采集的附加数据并且使用确定的房间形状来生成建筑物或其他限定区域的局部或完整的楼层平面图,和/或至少部分地基于区域的一个或多个图像和可选地由移动计算装置采集的附加数据来生成建筑物或其他限定区域的其他测绘信息。在图6A至图6B的示例中,为房间确定的房间形状可以是表示房间的墙壁的地点的2D房间形状或表示房间的墙壁和天花板和地板的地点的平面表面的3D全封闭组合,以表示房间的墙壁和天花板和地板的地点,并且为建筑物(例如,房屋)生成的测绘信息可以包括2D楼层平面图和/或3D计算机模型楼层平面图,但在其他实施方式中,可以以其他方式生成和使用其他类型的房间形状和/或测绘信息,包括用于其他类型的结构和定义的区域,如在本文的其他地方讨论。在至少一些实施方式中,可以从图4A至图4B的例程400的框420调用例程600,其中作为该框420的实施方式的部分,将来自例程600的对应信息提供到例程400,并且其中在这种情形中,处理控制在框699处或在框688和/或699之后返回到例程400。在其他实施方式中,例程400可以以异步方式继续附加操作而无需等待要返回的这种处理控制(例如,一旦将来自例程600的对应信息提供到例程400就前进到框425、在等待将来自例程600的对应信息提供到例程400时继续其他处理活动等)。
例程的所示出的实施方式在框605处开始,其中接收信息或指令。例程继续到框610以确定图像信息是当前可用于针对一个或多个房间(例如,针对所指示的建筑物的一些或全部,诸如基于在框605中接收的一个或多个这种图像,如先前由ICA例程生成)进行分析,还是改为在当前采集这种图像信息。如果在框610中确定当前采集图像信息中的一些或全部,则例程继续到框612以采集这种信息,可选地等待一个或多个用户或装置移动穿过建筑物的一个或多个房间并在房间中的一个或多个中的一个或多个采集地点(例如,在建筑物的每个房间中的多个采集地点)处采集全景图或其他图像,可选地连同关于采集的元数据信息和/或与采集地点之间的移动相关的互连信息,如在本文的其他地方更详细地讨论。框612的实施方式可以例如包括调用ICA系统例程来执行这种活动,其中图5提供了用于执行这种图像采集的ICA系统例程的一个示例实施方式。如果改为在框610中确定当前不采集图像,则例程改为继续到框615以从一个或多个房间中的一个或多个采集地点获得一个或多个现有的全景或其他图像(例如,在包括至少一个图像的多个采集地点和建筑物的每个房间中的采集地点处采集的多个图像),可选地连同关于采集的元数据信息和/或与采集地点之间的移动相关的互连信息,以及可选地连同如由BALDPM系统确定的采集地点的确定位置,并且诸如在一些情形中可能已连同对应的指令在框605中被供应。
在框612或615之后,例程继续到框620,其中确定是否生成包括建筑物或其他组房间的目标全景图像(或其他图像)的相互链接集的测绘信息(有时被称为“虚拟巡视”,从而使得最终用户能够从链接集的图像中的任一个移动到与起始当前图像链接的一个或多个其他图像,包括在一些实施方式中,经由针对连同当前图像一起显示的每个这种其他链接图像来选择用户可选择控件,可选地通过将这种用户可选择控件和对应的图像间方向的视觉表示叠加在当前图像的视觉数据上,并且类似地从下一图像移动到与下一图像链接到的一个或多个附加图像等),并且如果是的话,则继续到框625。在框625中,例程选择图像中的至少一些的对(例如,基于具有重叠的视觉内容的一对的图像),并且如果尚未确定和提供采集地点的位置信息,针对每一对,基于共享的视觉内容和/或与该对的图像相关的其他采集的链接互连信息(例如,移动信息),确定该对的图像之间的相对方向(无论是从该对的一个图像的采集地点直接到该对的另一个图像的采集地点的移动,还是改为经由其他图像的一个或多个其他中间采集地点的那些起始和结束采集地点之间的移动)。如果已经确定并提供了采集地点的位置信息,则可以将该信息用于确定成对的图像之间的相对方向信息,无论是代替还是补充视觉数据分析。在框625中,例程可以进一步可选地至少使用图像对的相对方向信息来确定在共同坐标系中一些或全部的图像相对于彼此的全局相对位置,和/或生成图像间链接和对应的用户可选择控件,如上所述。在本文的其他地方包括关于创建这种图像的链接集的附加细节。
在框625之后,或如果改为在框620中确定在框605中接收的指令或其他信息不是确定图像的链接集,则例程继续到框635以确定在框605中接收的指令是否指示生成所指示的建筑物的其他测绘信息(例如,楼层平面图),并且如果是的话,则例程继续执行框637至685中的一些或全部以这样做,并且否则继续到框690。在框637中,例程可选地获得关于建筑物的附加信息,诸如来自在图像的采集和可选地分析图像期间所执行的活动、和/或来自一个或多个外部来源(例如,在线数据库、由一个或多个最终用户提供的信息等)。这种附加信息可以包括例如建筑物的外部尺寸和/或形状、对应于建筑物外部的特定地点(例如,建筑物周围和/或针对相同房产上的其他结构、从一个或多个俯视地点等)所采集的附加图像和/或注释信息、对应于建筑物内的特定地点(可选地针对不同于所采集的全景图像或其他图像的采集地点的地点)所采集的附加图像和/或注释信息、确定的采集地点的位置信息等。
在框637之后,例程继续到框640以选择可获得在房间中采集的一个或多个图像(例如,360°全景图像)的下一房间(以第一房间开始),并且分析房间的(多个)图像的视觉数据以确定房间形状(例如,通过至少确定墙壁地点),可选地连同确定关于房间形状的墙壁和/或其他部分的不确定性信息,并且可选地包括识别其他墙壁和地板和天花板元素(例如,墙壁结构元素/对象,诸如窗户、门道和楼梯以及其他房间间墙壁开口和连接通道、墙壁与另一个墙壁和/或天花板和/或地板之间的墙壁边界等)以及它们在房间的所确定的房间形状内的位置。如果已经确定并提供了采集地点的位置信息,则该信息可以用作确定房间形状信息的部分,无论是代替还是补充视觉数据分析。在一些实施方式中,房间形状确定可以包括使用墙壁与彼此以及地板或天花板中的至少一个的边界以确定2D房间形状(例如,使用一个或经训练的机器学习模型),而在其他实施方式中,可以以其他方式执行房间形状确定(例如,生成房间墙壁和可选地天花板和/或地板中的一些或全部的3D点云,诸如至少分析全景图像的视觉数据和可选地由图像采集装置或关联的移动计算装置采集的附加数据,可选地使用SfM(运动恢复结构)或SLAM(同时定位和测绘)或MVS(多视角立体观察)分析中的一个或多个)。另外,框645的活动还可以可选地确定和使用那些全景图像中的每个的初始姿势信息(例如,如提供了全景图像的采集元数据)、和/或确定的采集地点的位置信息、和/或获得并使用每个全景图像的附加元数据(例如,用于采集相对于地板和/或天花板的全景图像的相机装置或其他图像采集装置的采集高度信息)。在本文的其他地方包括关于确定房间形状和识别房间的附加信息的附加细节。在框640之后,例程继续到框645,其中确定是否有更多的房间可以基于在这些房间中采集的图像来确定房间形状,并且如果是的话,则返回到框640以选择用于确定房间形状的下一个这种房间。
如果在框645中改为确定没有更多房间可以为其生成房间形状,则例程继续到框660以确定是否进一步生成建筑物的至少局部楼层平面图(例如,至少部分地基于从框640确定的(多个)房间形状和确定的采集地点的位置信息(如果可用的话),以及可选地关于如何相对于彼此定位确定的房间形状的另外信息)。如果否的话,诸如当仅确定一个或多个房间形状而不生成建筑物的另外测绘信息时(例如,以基于由ICA系统在房间中采集的一个或多个图像来确定单个房间的房间形状),则例程继续到框688。否则,例程继续到框665以检索一个或多个房间形状(例如,在框645中生成的房间形状)或以其他方式获得建筑物的房间的一个或多个房间形状(例如,基于人类供应的输入),无论是2D还是3D房间形状,并且然后继续到框670。在框670中,例程使用一个或多个房间形状来创建初始楼层平面图(例如,使用2D房间形状的初始2D楼层平面图和/或使用3D房间形状的初始3D楼层平面图),诸如包括一个或多个房间形状但少于建筑物的所有房间形状的局部楼层平面图,或包括建筑物的所有房间形状的完整楼层平面图。如果存在多个房间形状,则在框670中,例程进一步确定房间形状相对于彼此的定位,诸如使用来自多个采集地点的图像之间的视觉重叠以确定那些采集地点和包围那些采集地点的房间形状的相对位置,和/或使用其他类型的信息(例如,使用房间之间的房间间连接通道、可选地应用一个或多个约束或优化;使用确定的采集地点的位置信息;等)。在至少一些实施方式中,在框670中,例程通过生成覆盖相对定位的(多个)房间形状的二元分割掩模、提取表示分割掩模的廓线或轮廓的多边形并且将多边形分成细化房间形状来进一步细化的(多个)房间形状中的一些或全部。这种楼层平面图可以包括例如各种房间的相对位置和形状信息,而没有提供单独房间或作为整体的建筑物的任何实际尺寸信息,并且还可以包括建筑物的多个链接或关联的子地图(例如,以反映不同的楼层、水平、区段等)。例程可选地进一步关联门、墙壁开口和其他所识别的墙壁元素在楼层平面图上的位置。
在框670之后,例程可选地执行一个或多个步骤680至685,以确定附加信息并将其与楼层平面图相关联。在框680中,例程可选地估计房间中的一些或全部的尺寸,诸如根据对图像和/或其采集元数据的分析或根据针对建筑物的外部获得的整体尺寸信息,并且将所估计的尺寸与楼层平面图相关联。将了解,如果可获得足够详细的尺寸信息,则可以从楼层平面图生成建筑绘图、工程图纸等。在框680之后,例程继续到框683以可选地将进一步信息与楼层平面图(例如,具有在建筑物内的特定房间或其他地点)相关联,该进一步信息诸如为指定的位置的附加现有图像和/或注释信息。在框685中,如果来自框645的房间形状不是3D房间形状,例程进一步可选地估计一些或全部房间中的墙壁的高度,诸如根据对图像的分析和可选地图像中的已知对象的大小、以及关于在采集图像时的相机的高度信息,并且使用该高度信息来生成房间的3D房间形状。例程可选地进一步使用3D房间形状(无论来自框640还是框685)来生成建筑物的3D计算机模型楼层平面图,其中2D和3D楼层平面图彼此关联。在其他实施方式中,可能只生成并使用3D计算机模型楼层平面图(包括如果需要,通过使用3D计算机模型楼层平面图的水平切片来提供2D楼层平面图的视觉表示)。
在框685之后,或如果改为在框660中确定不确定楼层平面图,则例程继续到框688以存储确定的(多个)房间形状和/或生成的测绘信息和/或其他生成的信息,以可选地将该信息中的一些或全部提供给一个或多个接收方(例如,提供到例程400的框420,如果从该框调用的话),并且可选地进一步使用所确定和生成的信息中的一些或全部,从而提供所生成的2D楼层平面图和/或3D计算机模型楼层平面图来显示在一个或多个客户端装置上和/或提供到一个或多个其他装置以用于那些装置和/或关联车辆或其他实体的自动化导航、以类似地提供和使用关于所确定的房间形状和/或图像的链接集和/或关于根据房间的内容和/或房间之间的通道确定的附加信息的信息等。
如果改为在框635中确定在框605中接收到的信息或指令不是生成所指示的建筑物的测绘信息,则例程改为继续到框690以视情况执行一个或多个其他所指示的操作。这种其他操作可以包括例如接收并响应针对先前生成的楼层平面图和/或先前确定的房间形状和/或其他生成的信息的请求(例如,针对在一个或多个客户端装置上显示这种信息的请求、针对这种信息提供到一个或多个其他装置以用于自动化导航的请求等)、获得和存储关于建筑物的信息以供在稍后操作中使用(例如,关于房间的尺寸、数量或类型、总建筑面积、相邻或附近的其他建筑物、相邻或附近的植被、外部图像等的信息)等。
在框688或690之后,例程继续到框695以确定是否继续,诸如直到接收到明确的终止指示为止,或改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回框605以等待并接收附加指令或信息,并且否则继续到框699并结束。
尽管未相对于在图6A至图6B的示例性实施方式中所示的自动化操作说明,但在一些实施方式中,人类用户可以进一步帮助促进MIGM系统的操作中的一些,诸如MIGM系统的操作者用户和/或最终用户提供进一步用于后续自动化操作的一种或多种类型的输入。作为非排他性示例,这种人类用户可以提供如下一种或多种类型的输入:提供输入以帮助链接图像集,从而在框625中提供被用作该框的自动化操作的部分的输入(例如,以指定或调整一个或多个图像对之间的初始自动地确定的方向、以指定或调整图像中的一些或全部相对于彼此的初始自动地确定的最终全局位置等);在框637中提供被用作后续自动化操作的部分的输入,诸如关于建筑物的所说明的类型的信息中的一个或多个;相对于框640提供被用作后续自动化操作的部分的输入,从而指定或调整初始自动地确定的元素地点和/或估计的房间形状,和/或手动地组合来自房间的多个估计房间形状的信息(例如,来自在房间中采集的不同图像的单独房间形状估计)以创建房间的最终房间形状,和/或指定或调整关于最终房间形状的初始自动地确定的信息;相对于框670提供被用作后续操作的部分的输入,从而指定或调整正在生成的楼层平面图内的房间形状的初始自动地确定的位置和/或指定或调整这种楼层平面图内的初始自动地确定的房间形状本身;相对于框680和683和685中的一个或多个提供被用作后续操作的部分的输入,从而指定或调整相对于那些框讨论的一种或多种类型的初始自动地确定的信息;和/或指定或调整全景图像中的一个或多个的初始自动地确定的姿势信息(无论是初始姿势信息还是后续更新的姿势信息)等。在本文的其他地方包括关于其中(多个)人类用户提供被进一步用于MIGM系统的附加自动化操作的输入的实施方式的附加细节。
图7示出了用于建筑物信息查看器系统例程700的流程图的示例性实施方式,在一些实施方式和情形中,诸如可以由BALDPM客户端应用的实施方式实施(例如,以向采集装置的用户提供反馈)。例程可以通过例如执行图3的移动装置185的BALDPM客户端应用154或其他建筑物信息查看器系统154和/或如本文中其他地方描述的以其他方式在移动装置175和/或其他计算系统或装置上执行的这种客户端应用或其他建筑物信息查看器系统来执行,从而接收并呈现建筑物信息(例如,各个图像;楼层平面图和/或其他测绘相关信息,诸如所确定的房间结构布局/形状、相互链接的图像的虚拟游览等;生成的建筑物描述信息;视频;等),以获得和显示关于与一个或多个指示的目标图像匹配的图像的信息,以获得和显示指引采集指令(例如,关于在采集会话期间采集的其他图像和/或针对相关联的建筑物,诸如所显示的GUI的部分)等。在图7的示例中,所呈现的信息是针对一个或多个建筑物(诸如房屋的内部),但是在其他实施方式中,可以针对其他类型的建筑物或环境呈现其他类型的测绘信息并以其他方式使用,如本文其他地方所述。
例程的所示出的实施方式在框705处开始,在框705处接收指令或信息。在框710处,例程确定在框705中接收到的指令或信息是否是呈现当前建筑物的增强相机视图数据,并且如果不是的话,则继续到框780。否则,例程继续到框715以获得当前目标建筑物和可选地一个或多个当前用户的信息,诸如来自当前用户输入和/或使用当前建筑物相关信息的自动化确定。在框720中,例程然后可选地接收当前建筑物的建筑物信息,诸如楼层平面图、房间和对象信息、属性和地点等,诸如用于与增强相机视图数据相关联地呈现(例如,在也示出了增强相机视图数据的GUI的附加窗格或部分中)。在框730中,例程然后从移动装置获得一个或多个当前相机视图目标图像,并且在框735中继续将当前建筑物的(多个)当前目标图像和指示提供给BALDPM系统以获得当前增强相机视图数据,可选地以及其他建筑物和用户信息。在框740中,例程然后接收当前增强相机视图数据并在移动装置上呈现当前增强相机视图数据,可选地作为包括用于修改呈现的用户可选择控件的GUI的部分(无论是否作为叠加在当前图像和/或其他单独GUI控件上的视觉增强数据的部分),以及可选地其他类型的呈现的建筑物信息。在一些实施方式中,例程700和/或例程400进一步将相同增强相机视图数据传输到一个或多个其他远程装置以便并发显示(例如,作为共享视频会议的部分)。例程然后前进到执行框745至755以对应于与当前呈现的增强相机视图数据和/或其他用户活动(例如,移动装置致使采集(多个)新目标图像的移动)的可选用户交互,从而在框745中等待对新目标图像的用户选择或指示,并且然后在框750中确定是否发生对当前增强相机视图的用户选择或与其的其他交互,并且如果是的话,则继续到框755以根据用户选择来调整当前增强相机视图,并在返回到框745之前显示对应调整的视图。如果改为在框750中确定接收到新的相机视图目标图像,则例程返回到框730以基于新目标图像来获得并呈现新的增强相机视图数据,否则继续到框770以响应于另一用户选择(例如,以暂停或结束在当前建筑物处的当前呈现会话;切换到呈现不同类型的建筑物信息,诸如楼层平面图和/或其他先前采集的图像;等等)。
如果在框710中确定在框705中接收的指令或其他信息不是指示呈现当前建筑物的增强相机视图数据,则例程继续到框780以确定在框705中接收的指令或其他信息是否指示呈现关于一个或多个感兴趣的建筑物的一种或多种其他类型的信息(例如,与建筑物的当前采集活动对应的反馈)。如果是的话,则例程继续到框785以确定一个或多个感兴趣的建筑物(例如,基于在框705中供应的信息,诸如这些建筑物的标识和/或使用一个或多个标准来识别建筑物)并且检索(多个)建筑物的对应信息(例如,默认类型,诸如单个建筑物的楼层平面图、多个建筑物的一种或多种类型的比较信息等;在框705中指示的一种或多种类型;等等,以及可选地与MIGM系统和/或BALDPM系统交互以获得该信息),并且在移动装置上呈现信息。如果呈现的信息包括一个或多个用户可选择GUI控件或其他交互机制,则例程可以进一步视情况接收并且响应用户选择或与呈现信息的其他交互,包括检索并呈现由用户选择的附加信息。本文中其他地方包括有关呈现各种类型的建筑物信息的附加细节。
如果改为在框780中确定在框705中接收的指令或其他信息不指示呈现关于一个或多个感兴趣的建筑物的一种或多种其他类型的信息,则例程改为继续到框790以视情况执行一个或多个其他所指示的操作,从而将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,用户诸如为采集一个或多个建筑物内部的移动装置用户、BALDPM和/或MIGM系统的操作者用户等,包括用于针对特定接收方用户根据他/她的偏好或特定于该接收方的其他信息将信息显示个性化)、获得和存储关于系统用户的其他信息、响应于针对所生成和存储的信息的请求、接收由用户装置采集的数据和/或其他用户供应的信息(例如,备注)并将其发送到BALDPM系统以供存储(例如,在持续的访问日志中)、执行任何家政任务等。
在框770、785或790之后,例程前进到框795以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回到框705以等待附加的指令或信息,并且如果否的话,则前进到步骤799并结束。
在以下条款中进一步描述本文所描述的非排他性示例性实施方式。
A01.一种用于一个或多个计算装置执行自动化操作的计算机实现的方法,所述自动化操作包括:
通过所述一个或多个计算装置,获得关于房屋的多个房间中的多个无线信标发射器装置的信息,并且其中所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,对于所述无线信标发射器装置中的每个,所述信息包括由所述无线信标发射器装置发射的相关联的标识符和所述无线信标发射器装置在所述多个房间中的一个中的各个地点;
通过所述图像采集装置,在所述房屋的所述多个房间中的多个采集地点处采集多个图像和附加数据,对于所述多个采集地点中的每个,所述附加数据包括来自所述多个无线信标发射器装置中的一个或多个的一个或多个接收的无线发射,所述无线发射至少包括一个或多个无线信标发射器装置中的每个的所述标识符;以及
通过所述图像采集装置,并且针对所述多个采集地点中的每个,确定所述采集地点在所述房屋中的位置,包括:针对在所述采集地点处从其接收所述无线发射的所述一个或多个无线信标发射器装置中的每个,将所述无线信标发射器装置在所述房屋中的所述各个地点与从在所述采集地点处接收的一个或多个无线发射确定的关于所述采集地点与所述无线信标发射器装置之间的方向和距离中的至少一个的信息相结合;
通过所述图像采集装置,并且至少部分地基于所述多个采集地点在所述房屋中的所确定的位置,生成所述房屋的局部楼层平面图,包括:至少部分地基于对所述多个图像的视觉数据的分析,确定所述多个房间的房间形状,并且针对所述局部楼层平面图,定位所述多个房间的所确定的房间形状;
通过所述图像采集装置,并且至少部分地基于所生成的局部楼层平面图,生成有关在所述房屋的一个或多个附加区域中采集一个或多个附加图像的反馈;
通过所述图像采集装置,呈现所生成的局部楼层平面图和所生成的反馈;
通过所述图像采集装置,并且在所述呈现之后,在所述房屋的所述一个或多个附加区域中采集所述一个或多个附加图像;以及
通过所述一个或多个计算装置,至少部分地基于将所述房屋的信息添加到来自所采集的一个或多个附加图像的所述局部楼层平面图,生成所述房屋的进一步楼层平面图。
A02.一种用于一个或多个计算装置执行自动化操作的计算机实现的方法,所述自动化操作包括:
通过一个或多个计算装置,将建筑物中的各个地点与所述建筑物中的一个或多个无线信标发射器装置中的每个相关联;
通过所述一个或多个计算装置,获得在所述建筑物中的多个采集地点处采集的多个图像,并且针对所述多个采集地点中的每个,获得在采集地点处从所述一个或多个无线信标发射器装置中的至少一个接收的发射数据;
通过所述一个或多个计算装置,并且针对所述多个采集地点中的每个,至少部分地基于在所述采集地点处从其接收所述发射数据的至少一个无线信标发射器装置中的每个在所述建筑物中的所述各个地点,确定所述采集地点在所述建筑物中的位置;
通过所述一个或多个计算装置,并且至少部分地基于对所述多个图像的视觉数据的分析,确定所述建筑物的多个墙壁;
通过所述一个或多个计算装置,生成所述建筑物的至少局部楼层平面图,包括至少部分地基于所述多个采集地点在所述建筑物中的所确定的位置,将所述多个墙壁相对于彼此放置在所述至少局部楼层平面图上;以及
通过所述一个或多个计算装置,提供所生成的至少局部楼层平面图以供进一步使用。
A03.一种用于一个或多个计算装置执行自动化操作的计算机实现的方法,所述自动化操作包括:
通过所述一个或多个计算装置,获得在建筑物处的多个区域中的多个采集地点处采集的多个数据组,并且针对所述多个采集地点中的每个,获得在所述采集地点处从在所述建筑物处的至少一个无线发射器装置接收的发射数据;
通过所述一个或多个计算装置,并且针对所述多个采集地点中的每个,并且至少部分地基于在所述采集地点处接收的所述发射数据,相对于在所述采集地点从其接收所述发射数据的所述至少一个无线发射器装置的位置,确定在所述建筑物处的所述采集地点的位置;
通过所述一个或多个计算装置,并且基于所述多个数据组和所述多个采集地点的所确定的位置,生成与所述多个数据组的采集相关的反馈;以及
通过所述一个或多个计算装置,呈现所生成的反馈以用于在所述建筑物处采集一个或多个附加数据组。
A04.一种用于一个或多个计算装置执行自动化操作的计算机实现的方法,所述自动化操作包括:
通过所述一个或多个计算装置,通过具有相关联的无线信标发射器装置的图像采集装置,获得在建筑物处的多个区域中的多个采集地点处采集的多个图像,并且针对所述多个采集地点中的每个,获得关于在所述建筑物处的各个不同地点处的至少一个信标信号接收器装置的信息,所述至少一个信标信号接收器接收来自所述采集地点的由所述相关联的无线信标发射器装置进行的无线发射;
通过所述一个或多个计算装置,并且针对所述多个采集地点中的每个,至少部分地基于接收来自所述采集地点的所述发射数据的所述至少一个信标信号接收器装置中的每个在所述建筑物处的所述各个不同地点以及基于从所述采集地点接收的所述无线发射确定的关于所述采集地点和所述信标信号接收器装置之间的方向和距离中的至少一个的信息,确定所述采集地点在所述建筑物处的位置;
通过所述一个或多个计算装置,至少部分地基于对所述多个图像的视觉数据的分析以及基于所述多个采集地点在所述建筑物处的所确定的位置,生成所述多个区域的测绘信息;以及
通过所述一个或多个计算装置,提供所述多个区域的所生成的测绘信息以供进一步使用。
A05.根据条款A01至A04中的任一项所述的计算机实现的方法,其中,所述多个无线信标发射器装置各自还包括信标信号接收器,并且其中,在采集所述多个图像之前,所述方法还包括:
通过所述一个或多个计算装置,并且至少部分地基于所述无线信标发射器装置之间的发射,生成包括所述无线信标发射器装置的网状网络;以及
通过所述一个或多个计算装置,至少部分地基于所述网状网络,通过执行以下项中的至少一个,确定所述无线信标发射器装置的所述各个地点。
A06.根据条款A05所述的计算机实现的方法,其中,至少部分地基于所述网状网络,确定所述无线信标发射器装置的所述各个地点包括以下项中的至少一个:
通过所述一个或多个计算装置,至少部分地基于所述网状网络中的成对的所述无线信标发射器装置的确定的相对地点,使用三角测量以确定所述无线信标发射器装置在共同坐标系中的相对坐标;
接收所述无线信标发射器装置中的至少一个的绝对坐标,并且通过所述一个或多个计算装置,至少部分地基于所述网状网络中的所述成对的所述无线信标发射器装置的所述确定的相对地点,确定一个或多个其他无线信标发射器装置的绝对坐标。
A07.根据条款A01至A06中的任一项所述的计算机实现的方法,其中,所述多个无线信标发射器装置各自包括信标信号接收器,并且其中,所述方法还包括:
通过具有附加相机和相关联的附加无线信标发射器装置的附加图像采集装置,在所述房屋处的一个或多个其他采集地点处采集一个或多个其他图像;
通过所述一个或多个计算装置,并且针对一个或多个其他采集地点中的每个,至少部分地基于从所述无线信标发射器装置中的一个或多个获得的关于由所述一个或多个无线信标发射器装置从所述采集地点处的所述附加无线信标发射器装置接收的一个或多个附加发射的信息,以及基于所述一个或多个无线信标发射器装置中的每个在所述房屋中的所述各个地点,确定所述采集地点在所述房屋处的位置,以及
其中,生成所述房屋的所述进一步楼层平面图还部分地基于将所述房屋的信息添加到所述局部楼层平面图,所述局部楼层平面图来自在所述进一步楼层平面图上的基于所述一个或多个其他采集地点中的每个的所确定的位置的位置处的所采集的一个或多个其他图像。
A08.根据条款A01至A07中的任一项所述的计算机实现的方法,
其中,所述一个或多个无线信标发射器装置包括在所述建筑物的多个房间中的多个地点处的多个无线信标发射器装置,并且所述多个无线信标发射器装置各自还包括信标信号接收器,并且其中,在采集所述多个图像之前,所述方法还包括:
至少部分地基于所述多个无线信标发射器装置之间的发射,生成包括所述多个无线信标发射器装置的网状网络;以及
至少部分地基于所述网状网络,确定在所述建筑物处的所述无线信标发射器装置中的每个的所述各个地点。
A09.根据条款A08所述的计算机实现的方法,其中,所述多个采集地点包括在所述建筑物内部的至少一个采集地点和在所述建筑物外部的至少一个其他采集地点,并且其中,所述建筑物的所生成的至少局部楼层平面图还包括在所述建筑物外部的至少一个区域的表示。
A10.根据条款A01至A09中的任一项所述的计算机实现的方法,其中,所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,并且其中,通过所述图像采集装置执行采集所述多个图像、确定所述多个采集地点在所述建筑物中的所述位置、确定所述多个墙壁、所述生成和所述提供。
A11.根据条款A01至A10中的任一项所述的计算机实现的方法,其中,所述一个或多个无线信标发射器装置包括在所述建筑物中的多个地点处的多个无线信标发射器装置,并且其中,确定所述多个采集地点中的每个在所述建筑物中的所述位置包括以下项中的至少一个:
通过所述一个或多个计算装置,至少部分地基于在所述采集地点处从其接收发射数据的所述多个无线信标发射器装置中的两个或更多个的两个或更多个各个地点和在所述采集地点与所述两个或更多个无线信标发射器装置中的每个之间确定的方向和距离中的至少一个,使用三角测量以确定所述采集地点在所述建筑物中的所述位置;
通过所述一个或多个计算装置,确定所述采集地点和在所述采集地点处从其接收发射数据的单个无线信标发射器装置之间的方向和距离,并且将所确定的方向和距离与所述单个无线信标发射器装置在所述建筑物中的所述各个地点相结合,以确定所述采集地点在所述建筑物中的所述位置。
A12.根据条款A01至A11中的任一项所述的计算机实现的方法,其中,所述一个或多个无线信标发射器装置各自是蓝牙低功耗(BLE)信标装置和超宽带(UWB)装置中的至少一个。
A13.根据条款A01至A12中的任一项所述的计算机实现的方法,其中,确定所述多个采集地点中的一个在所述建筑物中的所述位置还包括:将在所述一个采集地点和在所述一个采集地点处从其接收发射数据的所述至少一个无线信标发射器装置中的每个之间确定的方向和距离中的至少一个与针对所述一个采集地点确定的附加地点数据相结合,所述附加地点数据基于以下项中的至少一个:通过在所述一个采集地点处采集所述多个图像中的一个或多个的图像采集装置接收的一个或多个GPS信号、通过所述图像采集装置执行的视觉测程法、来自所述图像采集装置上的一个或多个加速度计或陀螺仪的移动信息。
A14.根据条款A01至A13中的任一项所述的计算机实现的方法,其中,所述多个图像由图像采集装置在图像采集会话期间在所述建筑物处采集,并且包括具有360度水平视觉覆盖范围的至少一个全景图像。
A15.根据条款A14所述的计算机实现的方法,还包括:在所述图像采集会话开始时,将所述一个或多个无线信标发射器装置暂时地定位在所述建筑物中,并且在所述图像采集会话结束时,将所述一个或多个无线信标发射器装置从所述建筑物移除。
A16.根据条款A01至A15中的任一项所述的计算机实现的方法,其中,确定所述多个墙壁包括:确定其中定位多个采集位置的所述建筑物的多个房间的房间形状,并且在不使用在所述多个采集地点中的任一个处从深度传感器采集的任何深度数据的情况下,执行确定所述多个墙壁。
A17.根据条款A01至A16中任一项所述的计算机实现的方法,其中,所述多个数据组包括在所述建筑物的多个房间中采集的多个图像,并且其中,所述方法还包括:
至少部分地基于对所述多个图像的视觉数据的分析,确定所述多个房间的房间形状;以及
生成所述建筑物的至少局部楼层平面图,包括:至少部分地基于所述多个采集地点在所述建筑物中的所确定的位置,针对所述至少局部楼层平面图,定位所述多个房间的所述房间形状;以及
提供所生成的至少局部楼层平面图以供进一步使用。
A18.根据条款A01至A17中任一项所述的计算机实现的方法,其中,所述多个采集地点包括在所述建筑物内部的至少一个采集地点和在所述建筑物外部的至少一个其他采集地点,,并且其中,所述至少一个无线发射器装置包括在所述建筑物处的多个无线信标发射器装置,并且多个无线信标发射器装置各自具有在所述建筑物处的已知位置。
A19.根据条款A01至A18中任一项所述的计算机实现的方法,其中,所述至少一个无线发射器装置包括各自具有无线信号发射器和无线信号接收器的多个无线发射器装置,并且其中,所述自动化操作还包括在采集所述多个数据组之前:
至少部分地基于所述多个无线发射器装置之间的发射,生成包括所述多个无线发射器装置的网状网络;以及
至少部分地基于所述网状网络,确定在所述建筑物处的所述多个无线发射器装置的各个位置,其中,所述多个采集地点中的每个的所述至少一个无线发射器装置的所述位置是所述无线发射器装置的所确定的各个位置。
A20.根据条款A01至A19中任一项所述的计算机实现的方法,其中,所述多个数据组包括一个或多个图像、一个或多个视频、一个或多个音频记录中的至少一个,其中,所述至少一个无线发射器装置包括蓝牙低功耗(BLE)信标装置、超宽带(UWB)装置、Wi-Fi装置中的至少一个。
A21.根据条款A01至A20中的任一项所述的计算机实现的方法,其中,所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,并且其中,由所述图像采集装置执行采集所述多个数据组、所述确定、所述生成和所述呈现。
A22.根据条款A01至A21中的任一项所述的计算机实现的方法,其中,所述数据组由具有相关联的无线信号接收器的数据采集装置采集,其中,所述一个或多个计算装置包括移动计算装置,所述移动计算装置包括所述至少一个无线发射器装置,并且用于确定所述移动计算装置和所述至少一个无线发射器装置在所述建筑物处的位置的能力,并且其中,通过所述移动计算装置执行所述确定、所述生成和所述呈现。
A23.根据条款A01至A22中任一项所述的计算机实现的方法,其中,所述方法还包括:
通过所述一个或多个计算装置,通过具有信标信号接收器的附加数据采集装置,获得在所述建筑物处的一个或多个附加采集地点处采集的一个或多个附加数据组,并且针对所述一个或多个附加采集地点中的每个,获得在所述附加采集地点处从在所述建筑物处的至少一个附加无线信标发射器装置接收的发射数据;以及
针对所述一个或多个附加采集地点中的每个,并且至少部分地基于在所述附加采集地点处接收的所述发射数据,相对于在所述采集地点从其接收所述发射数据的至少一个附加无线发射器装置的位置,确定所述建筑物处的所述附加采集地点的位置,
并且其中,生成所述多个区域的所述测绘信息包括:生成所述建筑物的测绘信息,所述测绘信息进一步至少部分地基于所述一个或多个附加数据组和基于所述一个或多个附加采集地点在所述建筑物处的所确定的位置。
A24.根据条款A01至A23中任一项所述的计算机实现的方法,其中,所述多个区域的所述测绘信息包括具有在至少一些成对的所述多个图像之间的方向信息的所述多个图像的链接组、所述建筑物的包括所述建筑物的多个房间的房间形状的至少局部楼层平面图中的至少一个。
A25.根据条款A01至A24中任一项所述的计算机实现的方法,其中,所述建筑物包括在所述建筑物处的多个位置处的多个信标信号接收器装置,其中,所述自动化操作还包括:通过所述一个或多个计算装置,至少部分地基于所述多个信标信号接收器装置的网状网络,确定所述信标信号接收器装置中的每个在建筑物处的各个地点,并且其中,接收来自所述多个采集地点中的一个的无线发射的所述至少一个信标信号接收器装置中的每个在所述建筑物处的所述各个不同地点是所述信标信号接收器装置的所确定的各个地点。
A26.根据条款A01至A25中任一项所述的计算机实现的方法,其中,针对在所述采集地点中的一个处采集的所述图像中的至少一个,接收来自所述一个采集地点的无线发射的所述至少一个信标信号接收器装置是移动计算装置的部分,并且其中,所述自动化操作还包括:通过所述移动计算装置,在使用所述移动计算装置的能力接收来自所述一个采集地点的所述无线发射时,确定所述移动计算装置在所述建筑物处的所述各个不同地点。
A27.根据条款A01至A26中任一项所述的计算机实现的方法,其中,所述多个采集地点包括在所述建筑物内部的至少一个采集地点和在所述建筑物外部的至少一个其他采集地点,并且其中,所述至少一个信标信号接收器装置包括在所述建筑物处的多个信标信号接收器装置,并且所述多个信标信号接收器装置各自具有在所述建筑物处的已知地点。
A28.根据条款A01至A27中任一项所述的计算机实现的方法,其中,所述图像采集装置还包括一个或多个处理器,并且其中,所述一个或多个计算装置是所述图像采集装置。
A29.一种计算机实施的方法,包括多个步骤以执行自动化操作,所述自动化操作实施基本上如本文中公开的所描述的技术。
B01.一种非暂时性计算机可读介质,其存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或所述其他存储的内容致使一个或多个计算系统执行实施条款A01至A29中任一项所述的方法的自动化操作。
B02.一种非暂时性计算机可读介质,其存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或所述其他存储的内容致使一个或多个计算系统执行实施基本上如本文中公开的所描述的技术的自动化操作。
C01.一种或多种计算系统,包括一个或多个硬件处理器和具有存储的指令的一个或多个存储器,所述指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一种或多种计算系统执行实施条款A01至A29中任一项所述的方法的自动化操作。
C02.一种或多种计算系统,包括一个或多个硬件处理器和具有存储的指令的一个或多个存储器,所述指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一种或多种计算系统执行实施基本上如本文中公开的所描述的技术的自动化操作。
D01.一种计算机程序,当所述计算机程序在计算机上运行时,所述计算机程序适于执行条款A01至A29中任一项所述的方法。
本文参考根据本公开的实施方式的方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本公开的方面。将了解,可以通过计算机可读程序指令来实施流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合。将进一步了解,在一些实施方式中,可以以替代性方式提供由上文讨论的例程提供的功能,诸如划分到更多的例程当中或者合并到更少的例程中。类似地,在一些实施方式中,所说明的例程可以提供比所描述的功能更多或更少的功能,诸如在其他所说明的例程相应地改为缺少或包括这种功能时,或者在所提供的功能的量变更时。另外,尽管各种操作可以被说明为按特定方式(例如,串行或并行或者同步或异步)和/或按特定顺序执行,但在其他实施方式中,可以按其他顺序和其他方式执行操作。上文讨论的任何数据结构也可以按不同方式结构化,诸如通过将单个数据结构划分成多个数据结构和/或通过使多个数据结构合并成单个数据结构。类似地,在一些实施方式中,所说明的数据结构可以存储比所描述的信息更多或更少的信息,诸如在其他所说明的数据结构相应地改为缺少或包括这种信息时,或者在所存储的信息的量或类型变更时。
根据上述内容,将了解,尽管出于说明的目的在本文中已描述了具体实施方式,但是在不脱离本发明的精神和范围的情况下,可以做出各种修改。因此,除受对应的权利要求和那些权利要求所叙述的元素的限制外,本发明不受限制。此外,尽管在某些时候可以以某些权利要求形式呈现本发明的某些方面,但是本发明人设想以任何可用权利要求形式的本发明的各种方面。例如,尽管在特定时候仅本发明的一些方面可以被叙述为体现在计算机可读存储介质中,但是同样可以这样体现其他方面。
Claims (20)
1.一种计算机实现的方法,包括:
通过一个或多个计算装置,将建筑物中的各个地点与所述建筑物中的一个或多个无线信标发射器装置中的每个相关联;
通过所述一个或多个计算装置,获得在所述建筑物中的多个采集地点处采集的多个图像,并且针对所述多个采集地点中的每个,获得在采集地点处从所述一个或多个无线信标发射器装置中的至少一个接收的发射数据;
通过所述一个或多个计算装置,并且针对所述多个采集地点中的每个,至少部分地基于在所述采集地点处从其接收所述发射数据的至少一个无线信标发射器装置中的每个在所述建筑物中的所述各个地点,确定所述采集地点在所述建筑物中的位置;
通过所述一个或多个计算装置,并且至少部分地基于对所述多个图像的视觉数据的分析,确定所述建筑物的多个墙壁;
通过所述一个或多个计算装置,生成所述建筑物的至少局部楼层平面图,包括至少部分地基于所述多个采集地点在所述建筑物中的所确定的位置,将所述多个墙壁相对于彼此放置在所述至少局部楼层平面图上;以及
通过所述一个或多个计算装置,提供所生成的至少局部楼层平面图以供进一步使用。
2.根据权利要求1所述的计算机实现的方法,其中,所述一个或多个无线信标发射器装置包括在所述建筑物的多个房间中的多个地点处的多个无线信标发射器装置,并且所述多个无线信标发射器装置各自还包括信标信号接收器,并且其中,在采集所述多个图像之前,所述方法还包括:
至少部分地基于所述多个无线信标发射器装置之间的发射,生成包括所述多个无线信标发射器装置的网状网络;以及
至少部分地基于所述网状网络,确定在所述建筑物处的所述无线信标发射器装置中的每个的所述各个地点。
3.根据权利要求2所述的计算机实现的方法,其中,所述多个采集地点还包括在所述建筑物外部的至少一个附加采集地点,并且其中,所述建筑物的所生成的至少局部楼层平面图还包括在所述建筑物外部的至少一个区域的表示。
4.根据权利要求1所述的计算机实现的方法,其中,所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,并且其中,通过所述图像采集装置执行采集所述多个图像、确定所述多个采集地点在所述建筑物中的所述位置、确定所述多个墙壁、所述生成和所述提供。
5.根据权利要求1所述的计算机实现的方法,其中,所述一个或多个无线信标发射器装置包括在所述建筑物中的多个地点处的多个无线信标发射器装置,其中,所述多个无线信标发射器装置各自是蓝牙低功耗(BLE)信标装置和超宽带(UWB)装置中的至少一个,并且其中,确定所述多个采集地点中的每个在所述建筑物中的所述位置包括以下项中的至少一个:
通过所述一个或多个计算装置,至少部分地基于在所述采集地点处从其接收发射数据的所述多个无线信标发射器装置中的两个或更多个的两个或更多个各个地点和在所述采集地点与所述两个或更多个无线信标发射器装置中的每个之间确定的方向和距离中的至少一个,使用三角测量以确定所述采集地点在所述建筑物中的所述位置;
通过所述一个或多个计算装置,确定所述采集地点和在所述采集地点处从其接收发射数据的单个无线信标发射器装置之间的方向和距离,并且将所确定的方向和距离与所述单个无线信标发射器装置在所述建筑物中的所述各个地点相结合,以确定所述采集地点在所述建筑物中的所述位置。
6.根据权利要求1所述的计算机实现的方法,其中,确定所述多个采集地点中的一个在所述建筑物中的所述位置还包括:将在所述一个采集地点和在所述一个采集地点处从其接收发射数据的所述至少一个无线信标发射器装置中的每个之间确定的方向和距离中的至少一个与针对所述一个采集地点确定的附加地点数据相结合,所述附加地点数据基于以下项中的至少一个:通过在所述一个采集地点处采集所述多个图像中的一个或多个的图像采集装置接收的一个或多个GPS信号、通过所述图像采集装置执行的视觉测程法、来自所述图像采集装置上的一个或多个加速度计或陀螺仪的移动信息。
7.根据权利要求1所述的计算机实现的方法,其中,所述多个图像由图像采集装置在图像采集会话期间在所述建筑物处采集,并且包括具有360度水平视觉覆盖范围的至少一个全景图像,并且其中,所述方法还包括:在所述图像采集会话开始时,将所述一个或多个无线信标发射器装置暂时地定位在所述建筑物中,并且在所述图像采集会话结束时,将所述一个或多个无线信标发射器装置从所述建筑物移除。
8.根据权利要求1所述的计算机实现的方法,其中,确定所述多个墙壁包括:确定其中定位多个采集位置的所述建筑物的多个房间的房间形状,并且在不使用在所述多个采集地点中的任一个处从深度传感器采集的任何深度数据的情况下,执行确定所述多个墙壁。
9.一种系统,包括:
一个或多个计算装置的一个或多个硬件处理器;以及
一个或多个存储器,具有存储的指令,所述存储的指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一个或多个计算装置中的至少一个执行自动化操作,所述自动化操作至少包括:
获得在建筑物处的多个区域中的多个采集地点处采集的多个数据组,并且针对所述多个采集地点中的每个,获得在所述采集地点处从在所述建筑物处的至少一个无线发射器装置接收的发射数据;
针对所述多个采集地点中的每个,并且至少部分地基于在所述采集地点处接收的所述发射数据,相对于在所述采集地点从其接收所述发射数据的所述至少一个无线发射器装置的位置,确定在所述建筑物处的所述采集地点的位置;
基于所述多个数据组和所述多个采集地点的所确定的位置,生成与所述多个数据组的采集相关的反馈;以及
呈现所生成的反馈以用于在所述建筑物处采集一个或多个附加数据组。
10.根据权利要求9所述的系统,其中,所述多个数据组包括在所述建筑物的多个房间中采集的多个图像,并且其中,所述存储的指令包括软件指令,所述软件指令在被执行时,致使所述一个或多个计算装置执行进一步自动化操作,所述进一步自动化操作包括:
至少部分地基于对所述多个图像的视觉数据的分析,确定所述多个房间的房间形状;
生成所述建筑物的至少局部楼层平面图,包括:至少部分地基于所述多个采集地点在所述建筑物中的所确定的位置,针对所述至少局部楼层平面图,定位所述多个房间的所述房间形状;以及
提供所生成的至少局部楼层平面图以供进一步使用。
11.根据权利要求9所述的系统,其中,所述多个数据组包括一个或多个图像、一个或多个视频、一个或多个音频记录中的至少一个,其中,所述至少一个无线发射器装置包括蓝牙低功耗(BLE)信标装置、超宽带(UWB)装置、Wi-Fi装置中的至少一个,其中,所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,并且其中,由所述图像采集装置执行采集所述多个数据组、所述确定、所述生成和所述呈现。
12.根据权利要求9所述的系统,其中,所述数据组由具有相关联的无线信号接收器的数据采集装置采集,其中,所述一个或多个计算装置包括移动计算装置,所述移动计算装置包括所述至少一个无线发射器装置,并且用于确定所述移动计算装置和所述至少一个无线发射器装置在所述建筑物处的位置的能力,并且其中,通过所述移动计算装置执行所述确定、所述生成和所述呈现。
13.一种非暂时性计算机可读介质,具有存储的内容,所述存储的内容致使一个或多个计算装置执行自动化操作,所述自动化操作至少包括:
通过所述一个或多个计算装置,通过具有相关联的无线信标发射器装置的图像采集装置,获得在建筑物处的多个区域中的多个采集地点处采集的多个图像,并且针对所述多个采集地点中的每个,获得关于在所述建筑物处的各个不同地点处的至少一个信标信号接收器装置的信息,所述至少一个信标信号接收器接收来自所述采集地点的由所述相关联的无线信标发射器装置进行的无线发射;
通过所述一个或多个计算装置,并且针对所述多个采集地点中的每个,至少部分地基于接收来自所述采集地点的所述发射数据的所述至少一个信标信号接收器装置中的每个在所述建筑物处的所述各个不同地点以及基于从所述采集地点接收的所述无线发射确定的关于所述采集地点和所述信标信号接收器装置之间的方向和距离中的至少一个的信息,确定所述采集地点在所述建筑物处的位置;
通过所述一个或多个计算装置,至少部分地基于对所述多个图像的视觉数据的分析以及基于所述多个采集地点在所述建筑物处的所确定的位置,生成所述多个区域的测绘信息;以及
通过所述一个或多个计算装置,提供所述多个区域的所生成的测绘信息以供进一步使用。
14.根据权利要求13所述的非暂时性计算机可读介质,其中,所述存储的内容包括软件指令,所述软件指令在被执行时,致使所述一个或多个计算装置执行进一步自动化操作,所述进一步自动化操作包括:
通过所述一个或多个计算装置,通过具有信标信号接收器的附加数据采集装置,获得在所述建筑物处的一个或多个附加采集地点处采集的一个或多个附加数据组,并且针对所述一个或多个附加采集地点中的每个,获得在所述附加采集地点处从在所述建筑物处的至少一个附加无线信标发射器装置接收的发射数据;以及
针对所述一个或多个附加采集地点中的每个,并且至少部分地基于在所述附加采集地点处接收的所述发射数据,相对于在所述采集地点从其接收所述发射数据的至少一个附加无线发射器装置的位置,确定所述建筑物处的所述附加采集地点的位置,
并且其中,生成所述多个区域的所述测绘信息包括:生成所述建筑物的测绘信息,所述测绘信息进一步至少部分地基于所述一个或多个附加数据组和基于所述一个或多个附加采集地点在所述建筑物处的所确定的位置,所述多个区域的所述测绘信息包括具有在至少一些成对的所述多个图像之间的方向信息的所述多个图像的链接组、所述建筑物的包括所述建筑物的多个房间的房间形状的至少局部楼层平面图中的至少一个。
15.根据权利要求13所述的非暂时性计算机可读介质,其中,针对在所述采集地点中的一个处采集的所述图像中的至少一个,接收来自所述一个采集地点的无线发射的所述至少一个信标信号接收器装置是移动计算装置的部分,并且其中,所述自动化操作还包括:通过所述移动计算装置,在使用所述移动计算装置的能力接收来自所述一个采集地点的所述无线发射时,确定所述移动计算装置在所述建筑物处的所述各个不同地点。
16.根据权利要求13所述的非暂时性计算机可读介质,其中,所述多个采集地点包括在所述建筑物内部的至少一个采集地点和在所述建筑物外部的至少一个其他采集地点,并且其中,所述至少一个信标信号接收器装置包括在所述建筑物处的多个信标信号接收器装置,并且所述多个信标信号接收器装置各自具有在所述建筑物处的已知地点。
17.根据权利要求13所述的非暂时性计算机可读介质,其中,所述图像采集装置还包括一个或多个处理器,并且其中,所述一个或多个计算装置是所述图像采集装置。
18.一种计算机实现的方法,包括:
通过一个或多个计算装置,获得关于房屋的多个房间中的多个无线信标发射器装置的信息,所述一个或多个计算装置包括:图像采集装置,具有相机和信标信号接收器;以及一个或多个硬件处理器,对于所述无线信标发射器装置中的每个,所述信息包括由所述无线信标发射器装置发射的相关联的标识符和所述无线信标发射器装置在所述多个房间中的一个中的各个地点;
通过所述图像采集装置,在所述房屋的所述多个房间中的多个采集地点处采集多个图像和附加数据,对于所述多个采集地点中的每个,所述附加数据包括来自所述多个无线信标发射器装置中的一个或多个的一个或多个接收的无线发射,所述无线发射至少包括一个或多个无线信标发射器装置中的每个的所述标识符;以及
通过所述图像采集装置,并且针对所述多个采集地点中的每个,确定所述采集地点在所述房屋中的位置,包括:针对在所述采集地点处从其接收所述无线发射的所述一个或多个无线信标发射器装置中的每个,将所述无线信标发射器装置在所述房屋中的所述各个地点与从在所述采集地点处接收的一个或多个无线发射确定的关于所述采集地点与所述无线信标发射器装置之间的方向和距离中的至少一个的信息相结合;
通过所述图像采集装置,并且至少部分地基于所述多个采集地点在所述房屋中的所确定的位置,生成所述房屋的局部楼层平面图,包括:至少部分地基于对所述多个图像的视觉数据的分析,确定所述多个房间的房间形状,并且针对所述局部楼层平面图,定位所述多个房间的所确定的房间形状;
通过所述图像采集装置,并且至少部分地基于所生成的局部楼层平面图,生成有关在所述房屋的一个或多个附加区域中采集一个或多个附加图像的反馈;
通过所述图像采集装置,呈现所生成的局部楼层平面图和所生成的反馈;
通过所述图像采集装置,并且在所述呈现之后,在所述房屋的所述一个或多个附加区域中采集所述一个或多个附加图像;以及
通过所述一个或多个计算装置,至少部分地基于将所述房屋的信息添加到来自所采集的一个或多个附加图像的所述局部楼层平面图,生成所述房屋的进一步楼层平面图。
19.根据权利要求18所述的计算机实现的方法,其中,所述多个无线信标发射器装置各自还包括信标信号接收器,并且其中,在采集所述多个图像之前,所述方法还包括:
通过所述一个或多个计算装置,并且至少部分地基于所述无线信标发射器装置之间的发射,生成包括所述无线信标发射器装置的网状网络;以及
通过所述一个或多个计算装置,至少部分地基于所述网状网络,通过执行以下项中的至少一个,确定所述无线信标发射器装置的所述各个地点:
通过所述一个或多个计算装置,至少部分地基于所述网状网络中的成对的所述无线信标发射器装置的确定的相对地点,使用三角测量以确定所述无线信标发射器装置在共同坐标系中的相对坐标;
接收所述无线信标发射器装置中的至少一个的绝对坐标,并且通过所述一个或多个计算装置,至少部分地基于所述网状网络中的所述成对的所述无线信标发射器装置的所述确定的相对地点,确定一个或多个其他无线信标发射器装置的绝对坐标。
20.根据权利要求18所述的计算机实现的方法,其中,所述多个无线信标发射器装置各自包括信标信号接收器,并且其中,所述方法还包括:
通过具有附加相机和相关联的附加无线信标发射器装置的附加图像采集装置,在所述房屋处的一个或多个其他采集地点处采集一个或多个其他图像;
通过所述一个或多个计算装置,并且针对一个或多个其他采集地点中的每个,至少部分地基于从所述无线信标发射器装置中的一个或多个获得的关于由所述一个或多个无线信标发射器装置从所述采集地点处的所述附加无线信标发射器装置接收的一个或多个附加发射的信息,以及基于所述一个或多个无线信标发射器装置中的每个在所述房屋中的所述各个地点,确定所述采集地点在所述房屋处的位置,以及
其中,生成所述房屋的所述进一步楼层平面图还部分地基于将所述房屋的信息添加到所述局部楼层平面图,所述局部楼层平面图来自在所述进一步楼层平面图上的基于所述一个或多个其他采集地点中的每个的所确定的位置的位置处的所采集的一个或多个其他图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/093,780 US20240233260A1 (en) | 2023-01-05 | Automated Localization Using Beacon Transmitter Devices Of Data Acquired In Buildings | |
US18/093,780 | 2023-01-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118293918A true CN118293918A (zh) | 2024-07-05 |
Family
ID=85601633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310303154.7A Pending CN118293918A (zh) | 2023-01-05 | 2023-03-27 | 使用在建筑物中采集的数据的信标发射器装置的自动化定位 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4397945A1 (zh) |
CN (1) | CN118293918A (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9020191B2 (en) * | 2012-11-30 | 2015-04-28 | Qualcomm Incorporated | Image-based indoor position determination |
EP3314288A1 (en) * | 2015-06-29 | 2018-05-02 | HERE Global B.V. | Supporting a configuration of a device |
US11592969B2 (en) * | 2020-10-13 | 2023-02-28 | MFTB Holdco, Inc. | Automated tools for generating building mapping information |
-
2023
- 2023-03-13 EP EP23161622.8A patent/EP4397945A1/en active Pending
- 2023-03-27 CN CN202310303154.7A patent/CN118293918A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4397945A1 (en) | 2024-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3097163C (en) | Presenting integrated building information using three-dimensional building models | |
CA3097164C (en) | Generating floor maps for buildings from automated analysis of visual data from the buildings' interiors | |
US11243656B2 (en) | Automated tools for generating mapping information for buildings | |
CA3139429C (en) | Automated determination of image acquisition locations in building interiors using determined room shapes | |
US20200116493A1 (en) | Automated Mapping Information Generation From Inter-Connected Images | |
AU2021211999B2 (en) | Automated analysis of image contents to determine the acquisition location of the image | |
CA3144033C (en) | Automated room shape determination using visual data of multiple captured in-room images | |
CA3145605C (en) | Automated exchange and use of attribute information between building images of multiple types | |
CA3058602A1 (en) | Automated mapping information generation from inter-connected images | |
CN114792389A (zh) | 使用多个数据捕获装置对建筑物内部中的图像采集位置的自动化确定 | |
AU2022202815B2 (en) | Automated building information determination using inter-image analysis of multiple building images | |
US20230196684A1 (en) | Presenting Building Information Using Video And Building Models | |
CN117456040A (zh) | 用于建筑物测绘信息的增量生成的自动化工具 | |
CN117253139A (zh) | 用于评估建筑物测绘信息生成的自动化工具 | |
CA3187671A1 (en) | Presenting building information using building models | |
EP4397945A1 (en) | Automated localization using beacon transmitter devices of data acquired in buildings | |
US20240233260A1 (en) | Automated Localization Using Beacon Transmitter Devices Of Data Acquired In Buildings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |