CN117253139A - 用于评估建筑物测绘信息生成的自动化工具 - Google Patents
用于评估建筑物测绘信息生成的自动化工具 Download PDFInfo
- Publication number
- CN117253139A CN117253139A CN202310185127.4A CN202310185127A CN117253139A CN 117253139 A CN117253139 A CN 117253139A CN 202310185127 A CN202310185127 A CN 202310185127A CN 117253139 A CN117253139 A CN 117253139A
- Authority
- CN
- China
- Prior art keywords
- images
- image
- building
- information
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 283
- 230000008569 process Effects 0.000 claims abstract description 198
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims description 149
- 230000006872 improvement Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 22
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 19
- 238000011511 automated evaluation Methods 0.000 abstract description 5
- 238000003860 storage Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000009877 rendering Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005094 computer simulation Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
描述了以下技术:作为建筑物的楼层平面图或其他测绘信息的自动化生成过程的部分,计算装置执行与使用在建筑物中采集的图像相关的自动化操作,在一些情况下不使用来自深度感测设备的关于从图像的采集位置到周围建筑物中物体的距离的深度信息,并且随后以进一步自动化方式使用,诸如控制移动装置的导航和/或在对应的图形用户界面中显示给最终用户。对建筑物图像的分析和评估可以例如包括执行对测绘信息生成过程的一个或多个特性(例如,用于完成的预测时间量)的自动化评估并且提供自动化指令(例如,以调整图像采集装置设置)或其他反馈以改进该生成过程(例如,减少该预测时间)。
Description
技术领域
作为生成限定区域的测绘信息的部分,本公开总体上涉及使用自动化工具和关联的技术来分析、评估和使用在该区域中采集的图像,以便使用在建筑物处采集的图像自动地生成建筑物的楼层平面图并且评估自动化生成过程的特性,以及随后使用所生成的测绘图像。
背景技术
在各种领域和情况(诸如建筑分析、财产清查、不动产购置和开发、改建和改造服务、总承包和其他情况)下,可能期望查看关于房屋、办公室或其他建筑物的内部的信息而不必亲自前往或进入建筑物,包括确定关于建筑物的实际竣工信息而不是在建造建筑物之前得到的设计信息。然而,可能难以有效地捕获、表示和使用这种建筑物内部信息,包括向位于远程位置处的用户显示在建筑物内部内捕获的视觉信息(例如,使得用户能够充分理解内部的布局和其他细节,包括以用户选择的方式控制显示)。另外,尽管建筑物的楼层平面图可以提供关于布局的信息和建筑物内部的其他信息,但是在某些情形下,这样使用楼层平面图具有一些缺点,包括楼层平面图可能难以建造和维护、难以精确地缩放和填充关于房间内部的信息、难以可视化和以其他方式使用等。
附图说明
图1A至图1B是描绘了用于本公开的实施方式中的示例性建筑物环境和计算系统的图示,包括生成并呈现表示建筑物的信息。
图2A至图2N说明了在建筑物的图像的采集、分析、评估和使用中涉及的自动化操作的示例,诸如用于最终生成建筑物的楼层平面图。
图3是说明了适用于执行一个或多个系统的实施方式的计算系统的框图,该一个或多个系统执行本公开中所描述的技术中的至少一些。
图4说明了根据本公开的实施方式的自动化建筑物信息评估(ABIA)系统例程的流程图的示例实施方式。
图5A至图5B说明了根据本公开的实施方式的测绘信息生成管理器(MIGM)系统例程的流程图的示例实施方式。
图6说明了根据本公开的实施方式的图像捕获和分析(ICA)系统例程的流程图的示例实施方式。
图7说明了根据本公开的实施方式的建筑物信息访问系统例程的示例流程图。
具体实施方式
本公开描述了用于使用一个或多个计算装置来执行与作为生成限定区域的测绘信息,以便随后以一种或多种进一步自动化方式使用的部分来执行在限定区域中采集的图像的分析、评估和/或其他使用相关的自动化操作。在至少一些实施方式中,限定区域包括多房间建筑物(例如,房屋、办公室等)的内部,图像包括在建筑物处采集的全景图像(例如,在建筑物的房间内的各种采集位置采集的360°全景图像),并且所生成的信息包括建筑物的楼层平面图,诸如使用来自图像的信息生成的示意性楼层地图的2D(二维)俯视图(例如,直角顶视图)。在至少一些这种实施方式中,在不具有或不使用从深度感测设备采集的关于从图像的采集位置到周围建筑物内部中的墙壁或其他物体的距离的深度信息的情况下进一步执行测绘信息的生成。建筑物图像的分析和评估可以包括执行对自动化测绘信息生成过程的特性的自动化评估,以便评估例如完成自动化生成过程的预测时间量并且提供自动化指令(例如,以调整图像采集装置设置或参数)或其他反馈以减少该时间量或以其他方式改进生成过程。在各种实施方式中,随后可以以一种或多种方式使用所生成的楼层平面图和/或其他所生成的测绘相关信息,诸如用于控制移动装置(例如,自主车辆)的导航、用于在一个或多个客户端装置上的对应GUI(图形用户界面)中显示等。下文包括关于测绘信息的生成和使用中所涉及的计算装置的自动化操作的附加细节,并且在至少一些实施方式中,本文描述的技术中的一些或全部可以至少部分地经由在建筑物图像的分析和评估中所涉及的自动化建筑物信息评估(“ABIA”)系统的自动化操作来执行,如下文进一步讨论。
在至少一些实施方式和情形中,对于建筑物采集的图像中的一些或全部是各自在建筑物中或周围的多个采集位置中的一个处采集的360°全景图像,诸如其中每个全景图像围绕竖直轴水平地覆盖360度(例如,通过使用具有相机的图像采集装置,该相机具有一个或多个鱼眼镜头以诸如在一个瞬间捕获水平地延伸360度的全景图像,或以其他方式生成360°全景图像,诸如通过在采集位置水平地旋转相机,该相机在旋转期间捕获视频或一系列其他组成图像)。另外,在至少一些这种实施方式中,可以以具有等量矩形投影的球形格式提供和使用这种全景图像,其中房间中的平直的竖直数据(例如,典型的矩形门框的侧面)在图像中仍是平直的,并且其中如果在图像的水平中线处示出,房间中的平直的水平数据(例如,典型的矩形门框的顶部)在图像中仍是平直的,但随着在图像中距水平中线的距离增加而在图像中以相对于水平中线的凸出方式越来越弯曲。将理解,在一些情形下,360°全景图像可以用球形格式表示,并且围绕竖直轴覆盖高达360°,使得查看这种全景图像的用户可以在全景图像内将查看方向移动到不同取向,以致使在全景图像内呈现不同子集的图像(或“视图”)(包括如果用球形格式表示全景图像,则将正在呈现的图像转换成平面坐标系,诸如对于在显示之前的立体图像视图)。此外,可以以各种方式获得和使用关于这种全景图像和/或其他图像(例如,具有小于180°的视角且呈直线格式的照片和其他立体图像,其中房间中的水平和竖直直线在立体图像中仍是平直的)的捕获的采集元数据,诸如在移动图像采集装置被用户携带或以其他方式移动时从移动图像采集装置的IMU(惯性测量单元)传感器或其他传感器采集的数据(包括帮助确定图像的采集“姿势”,该采集姿势包括捕获图像的采集位置和与图像相关的取向或方向,诸如非全景照片图像的相机镜头的方向、全景图像的起始和/或结束方向等),和/或来自其他相关的传感器的其他数据(例如,来自在图像采集位置处的用于测量距房间中的墙壁或房间中的围绕采集位置的其他物体的距离的一个或多个深度传感器或其他距离测量装置的深度数据)。下文包括关于在采集图像和可选地采集元数据以及可选地在稍后使用之前执行图像的预处理所涉及的实施图像捕获和分析(ICA)系统的装置的自动化操作的附加细节(例如,以便以等量矩形格式呈现360°全景图像)。
在一些实施方式和情形中,用于提供所描述的技术的计算装置的自动化操作还可以包括实施自动化生成过程的测绘信息生成管理器(MIGM)系统的自动化操作,该自动化生成过程至少部分地基于在建筑物中和可选地周围的多个采集位置处采集的图像(例如,360°全景图像)的视觉数据来产生建筑物的楼层平面图和/或其他测绘信息。在至少一些这种实施方式中,MIGM系统的自动化操作可以包括评估图像和/或其相关的采集元数据(例如,由ICA系统部分地或完全地提供的图像和/或元数据),以便生成关于建筑物的房间形状和房间的布局的信息以供在建筑物的楼层平面图的生成期间使用,无论是在图像的采集期间(例如,以帮助图像采集)和/或是在完成图像采集之后。作为这样做的部分,自动化操作还可以包括识别房间的结构和其他视觉特征,包括墙壁/地板/天花板和它们之间的边界、房间间通道(例如,门道、非门道开口、楼梯、大厅等)和其他结构元素(例如,窗、壁炉、岛等),以及作为生成建筑物楼层平面图的部分来使用这种信息作为将房间形状结合在一起的部分。例如,生成建筑物的楼层平面图和可选地其他相关的测绘信息可以包括使用房间间通道信息和其他信息以在共同坐标系或其他共同参考系中确定相关联房间形状相对于彼此的相对全局位置(例如,而无需知道房间的实际测量值)。另外,如果距离缩放信息可用于图像中的一个或多个,则可以确定对应的距离测量值,以便允许确定房间大小和其他距离并且将其进一步用于所生成的楼层平面图。所生成的楼层平面图可以例如包括2D概览视图或其他格式(例如,3D或三维模型),并且可以包括其他类型的测绘信息,例如,在每个图像中具有方向信息的相互连接的图像(例如,360°全景图像)到一个或多个其他图像(例如,用户可选择的链接到其他附近图像)的虚拟巡视。下文包括与基于图像和/或其相关的采集元数据来这样生成和使用楼层平面图和/或其他建筑物测绘信息相关的附加细节。
另外,在一些实施方式和情形中,用于提供所描述的技术的计算装置的自动化操作还可以包括作为执行至少部分地基于那些图像的相关联的自动化测绘信息生成过程的特定的自动化评估的部分来分析和评估建筑物图像的ABIA系统的操作,以便评估例如完成自动化生成过程的预测时间量,并且提供指令或其他反馈(例如,提供给参与图像采集过程的一个或多个用户)以减少该时间量和/或以其他方式改进生成过程。在至少一些这种实施方式中,ICA和/或MIGM系统可以是ABIA系统的部分,或者ABIA系统可以以其他方式指示ICA和/或MIGM系统的一些或全部操作,而在其他实施方式中,ABIA系统可以改为接收和使用来自其他单独的源的图像和/或楼层平面图信息。例如,在至少一些实施方式中,当采集每个图像以用于产生建筑物的楼层平面图和/或其他测绘信息时,ABIA系统可以访问图像的视觉数据(和可选地与图像相关的其他信息,诸如图像采集元数据)以确定图像的质量和/或其他属性(例如,关于影响楼层平面图的生成过程的属性),并且提供对应的指令反馈和/或其他反馈(例如,自动化指令,以便自动地改变图像采集装置设置和/或其他参数,诸如照明、旋转速度和/或其上搁置或安装图像采集装置的设备的高度等;对参与采集图像的一个或多个用户(诸如摄影师用户)的关于当前图像的一个或多个问题的指令或其他反馈,以便改进一个或多个后续图像的采集和/或改进重新采集新图像以替换当前图像;等)。至少一些这种指令反馈或其他反馈可以以一种或多种方式提供给参与采集图像的一个或多个用户,以便在显示的GUI中显示反馈(例如,在图像采集装置上,诸如如果该图像采集装置是包括计算能力和图像采集能力的智能电话或其他图像采集计算装置上的话;在用户的另一个装置上等)。在至少一些这种实施方式中,附加信息还可以与反馈一起提供给用户,以便在GUI中显示以下各者中的一个或多个:至少部分地基于当前图像的视觉数据对包含当前图像的采集位置的房间的初始房间形状确定(例如,在图像采集装置上确定的初始房间形状);该房间的最终房间形状确定(例如,在向其传输当前图像和任何相关联的采集元数据的一个或多个远程计算装置上确定);根据对于建筑物采集的当前图像和任何先前图像生成的楼层平面图和/或其他测绘信息的局部版本;等。另外,一旦完成对建筑物的图像的采集(例如,在建筑物中的用于采集图像的一个或多个图像采集会话结束时),根据一组采集的图像对于建筑物生成的楼层平面图和/或其他测绘信息的最终版本可以类似地在GUI中显示和/或以其他方式提供给参与图像采集的用户和/或提供给其他用户。这种提供的反馈然后可以致使改进建筑物的楼层平面图和/或其他测绘信息的生成过程(例如,减少直到完成生成过程和/或生成过程的其他预测和/或实际特性为止的预测时间和/或实际时间),以便因当前图像的问题而引起重新采集当前图像(例如,以没有人类交互的自动化方式、基于提示人类用户进行重新采集等),这造成新改进的替换图像没有那些问题中的一些或全部;引起改进建筑物的一个或多个后续图像的采集(例如,以没有人类交互的自动化方式,以便自动地改变图像采集设备的设置和/或以其他方式修改后续图像的周围环境,诸如关于照明和/或通过确定在其处要采集后续图像的附加采集位置;基于提示人类用户以减少或消除问题的方式执行后续图像的采集;等);引起建筑物的测绘图像的生成过程的改变(例如,使用更多和/或不同的源、改变处理技术的类型等)等。下文包括与这样确定和提供反馈相关的附加细节,包括关于图2E至图2K的非排他性示例的附加细节。
关于评估目标图像的视觉数据(和可选地与图像相关的其他信息,诸如图像采集元数据)以确定图像的质量和/或其他属性,诸如对于最近采集的图像并且关于影响至少部分地基于视觉数据的楼层平面图或其他建筑物测绘信息的生成过程的属性,目标图像的可以评估并进一步使用的属性的非排他性示例包括以下各者中的一个或多个:视觉数据及其捕获的属性(例如,照明、模糊度/运动等);该目标图像与一个或多个其他采集的图像(诸如先前和/或后续图像)的视觉数据的关系(例如,目标图像的视觉数据与至少一个其他采集图像的视觉数据之间是否存在图像间视线和/或存在多少图像间视线;或目标图像的视觉数据与至少一个其他采集图像的视觉数据之间是否存在图像间重叠和/或存在多少图像间重叠;或采集图像的量(例如,低于定义的最小阈值、高于定义的最大阈值等);或目标图像的采集位置与至少一个墙壁之间的距离;或是否存在穿过目标图像的视觉数据中的至少一个门道的视线和/或存在多少视线;或用于采集目标图像的设备的至少部分的可见性,诸如相机或其他图像采集装置搁置或安装的三脚架或其他设备;或相对于采集一个或多个其他图像对用于采集目标图像的设备的改变,诸如距地板的高度的改变、图像采集装置设置或其他参数等;或参与采集目标图像的用户的至少部分的可见性;或目标图像的视觉数据中的挡住一个或多个墙壁(诸如家具、墙壁等)的障碍物的可见性;或缺乏对所有多个房间的覆盖;或缺乏对多个房间(诸如所有的墙壁)中的至少一个的全部的覆盖;或在基于目标图像的视觉数据确定多个房间中的至少一个的房间形状时的不确定性;或不能检测目标图像的视觉数据中的一个或多个墙壁和/或门道和/或非门道墙壁开口和/或与其相关联的不确定性;等)。下文包括与这样确定和使用关于采集图像的信息及其对用于产生楼层平面图和/或其他测绘信息的生成过程的贡献相关的附加细节,包括关于图2E至图2K的非排他性示例的附加细节。
关于评估建筑物的楼层平面图和/或其他测绘信息的自动化测绘信息生成过程的特性(例如,以评估完成自动化生成过程的预测时间量),诸如基于建筑物的一个或多个采集目标图像(例如,建筑物的要采集的图像的整个集合的子集)并且可选地基于将来要采集的预期附加图像(例如,在尚未完成的进行中图像采集会话期间),可以评估并且进一步使用的信息的非排他性示例包括以下中的一个或多个:建筑物的大小(例如,平方英尺)和/或相关联的外部区域(例如,其上定位有建筑物的房产)的大小;或建筑物的风格和/或类型(例如,中世纪现代风格、牧场风、科德角(Cape Cod)、殖民地时期风格、现代风格、乡间别墅、平房、工匠风格、农场住宅等;独户、复式住宅、三联排住宅、公寓、共管公寓、城市住房或联排别墅、微型住宅、工厂制造的房屋、预制住宅、3D打印房屋、活动房屋等);或建筑物的多个层和/或楼层;或建筑物的多个房屋(例如,任何类型、或一个或多个指示的类型等);或建筑物的一种或多种类型的一个或多个房间;或建筑物的一种或多种类型的一个或多个墙壁(例如,平坦、弯曲、非连续2D表面等);或建筑物是否有家具;或可从用于采集目标图像的一个或多个图像采集装置上的一种或多种类型的一个或多个传感器得到的数据(例如,GPS和/或其他位置数据、到周围表面的深度数据等);或目标图像的量;或目标图像的视觉数据对所有多个房间的覆盖量;或在基于目标图像的视觉数据确定多个房间的房间形状中的不确定性;或在目标图像的视觉数据中对窗或门道或非门道墙壁开口中的至少一个的检测;或可用于产生建筑物的测绘信息的计算资源量;或用于帮助产生测绘信息的一个或多个用户的可用性;或关于参与采集目标图像的至少一个用户的信息(例如,与用户采集有助于生成测绘信息的图像的能力相关联的经验水平或其他属性;关于使用由用户采集的图像来自动化生成其他建筑物的测绘信息的历史信息;用户的一个或多个偏好和/或从用户接收到的影响从目标图像生成测绘信息的指令,诸如所生成的测绘信息的质量或其他特性的多个等级中的一个,测绘信息的生成的请求高峰状态等;与用户相关联的优先水平,诸如与用户的订阅或会员状态对应,用户的订阅或会员状态影响如何相对于其他活动来执行对于用户的测绘信息的生成(例如,对于其他用户的其他测绘信息的生成),包括相对于基于采集图像或测绘信息生成请求的接收的次序来改变对于用户的处理次序;或关于与建筑物具有相似性的一个或多个其他建筑物(例如,以用于比较估计)等。另外,在至少一些实施方式和情形中,可以评估并使用除了直到完成为止的预测时间量外的自动化生成过程的特性,其中非排他性示例包括如下:直到除了完成外的生成过程的阶段为止的预测时间量;用于达到生成过程的完成或其他阶段的预测资源量(例如,CPU循环或计算资源的存储或其他度量的量;一个或多个人类MIGM和/或ABIA操作者用户参与生成过程的时间量,或这种用户的其他特性;在使用资源中所涉及的成本,诸如货币和/或非货币成本;等);关于一个或多个其他定义的度量测量的一个或多个特性;等。下文包括与这样确定和使用关于用于产生楼层平面图和/或其他测绘信息的生成过程的特性的信息相关的附加细节,包括关于图2E至图2N的非排他性示例的附加细节。
另外,在至少一些实施方式中,ABIA系统可以执行其他类型的自动化操作以至少部分地基于对于建筑物采集的图像的视觉数据来改进建筑物的测绘信息的生成过程,包括确定并提供附加类型的反馈(例如,提供给参与建筑物的图像中的一些或全部的采集过程的一个或多个用户,诸如通过在一个或多个显示的GUI中将附加的反馈显示给用户)。作为一个非排他性示例,ABIA系统可以在采集用于建筑物的测绘信息的生成过程中的任何图像之前确定并提供用于完成生成过程和/或生成过程的其他预测特性的预测时间量的初始估计,诸如基于上面讨论的不是基于来自建筑物内部的采集图像的视觉数据的因素中的任一个或全部(例如,基于关于建筑物的公开可用的信息,诸如大小、风格/类型、关于房间的信息等;基于参与图像采集过程的一个或多个用户,诸如基于用户的历史结果和/或用户的经验或其他相关属性和/或基于用户的偏好或指令和/或与用户相关联的生成过程优先级;基于在生成过程中未使用的建筑物的外部和/或其相关联的性质的图像,诸如来自卫星图像或其他俯视图像(诸如来自无人机和/或飞机,或来自街道或其他外部位置);等)。作为另一个非排他性示例,无论是补充还是代替提供生成过程的特性的初始估计,ABIA系统可以在图像采集过程期间(例如,在其中采集用于生成过程中的图像的一个或多个图像采集会话期间)确定并提供一种或多种类型的状态信息,以便表示图像采集过程的已完成和/或剩余的量(例如,已完成和/或剩余的预测或以其他方式估计的百分比或其他量,诸如所使用和/或直到完成的时间量、完成和/或剩余的百分比、平方英尺量和/或完成和/或剩余的房间量和房间类型等)。下文包括与这样确定和使用附加类型的反馈相关的附加细节,包括关于图2J至图2K的非排他性示例的附加细节。
如上所述,所描述的技术可以包括实施自动化生成过程的MIGM系统的自动化操作,以至少部分地基于在建筑物中和可选地在建筑物周围的多个采集位置处采集的图像的视觉数据来产生建筑物的楼层平面图和/或其他测绘信息。在至少一些实施方式和情形中,可以确定房间形状和/或房间的布局信息,其包括房间的形状(例如,房间的矩形形状或其他形状的墙壁的2D俯视图)和/或房间中的房间间墙壁开口的位置,可选地连同附加信息,诸如房间间墙壁开口的类型(例如,门或楼梯或其他房间间墙壁开口)、房间间墙壁开口的大小(例如,宽度和/或高度)、房间的类型(例如,厨房、浴室、卧室等)、房间的尺寸(例如,墙壁中的每一个的宽度和/或高度)等。在各种实施方式中,可以以各种方式从在房间中捕获的一个或多个图像确定房间的一些或全部这种房间布局信息,诸如通过应用机器学习技术来自动地评估图像(例如,将图像作为输入供应到已经使用其他图像和相关的房间布局信息训练的一个或多个神经网络以识别一个或多个这种类型的房间布局信息,并且从经训练的神经网络获得对应的房间布局信息作为输出)和/或通过使用由评估图像的一个或多个用户(例如,MIGM系统操作者用户)供应的信息来确定房间布局信息中的一些或全部。在一些实施方式中,其中在房间中的采集位置处捕获的图像的采集元数据包括来自一个或多个深度传感器的在采集位置到房间的周围墙壁或其他物体的深度数据,可以使用这种深度信息来确定一些或全部的这种房间布局信息,无论是使用这种深度信息以及其他所描述的图像评估技术还是改为仅使用这种深度信息。因此,在各种实施方式和情形中,在房间中采集的一个或多个图像的这种评估技术可以提供各种类型的房间信息,包括识别房间的结构和其他视觉特征,以便识别以下各者中的一个或多个:相邻墙壁之间的边界;墙壁和地板之间的边界;墙壁和天花板之间的边界;窗和/或天窗;进入和/或离开房间的通道,诸如门和楼梯和其他墙壁开口;其他结构(例如,被表示为立方体形状),诸如台面、浴缸、水槽、壁炉和家具;等。
另外,实施自动化生成过程以产生建筑物的楼层平面图和/或其他测绘信息的MIGM系统的自动化操作还可以包括与帮助生成测绘信息的一个或多个MIGM系统操作者用户交互(例如,通过显示示出与图像相关的信息和/或示出正在生成的相关联测绘信息的一个或多个GUI;通过接收由用户经由GUI提交的输入并将其用作测绘信息生成的部分,诸如校正为初始自动确定的信息;等)。作为一个非排他性示例,在至少一些实施方式中,一个或多个MIGM系统操作者用户可以操纵在GUI中显示的关于两个或更多个房间的信息以便识别和/或确认房间之间的经由进入和/或离开房间的通道的互连,诸如房间的墙壁中的门和其他开口(例如,房间间墙壁开口,诸如房间之间的门、楼梯和其他非门墙壁开口;不在两个房间之间的其他墙壁开口,诸如外窗和户外门;等)。另外,在至少这种实施方式中,经由GUI的这种用户操纵可以进一步修改并以其他方式控制房间如何互连,以便指定房间之间的墙壁的宽度、控制房间形状相对于彼此的对准等,和/或可以以其他方式指定关于房间或关于正在生成的楼层平面图的信息。在一些实施方式中,在GUI中显示的这种信息可以包括在GUI的一个或多个不同区段或“窗格”中显示的房间中的一个或多个的全景图像,其中附加的显示信息叠加在这些显示的全景图像中的一些或全部上以示出关于一个或多个其他房间的信息(例如,第二房间的部分或全部边界的轮廓覆盖在第一房间的全景图像上,如果通过两个房间的指定连接的房间间开口将第二房间连接到第一房间,则该第二房间将位于该图像内的位置上)。另外,在一些实施方式中,这种显示的信息可以包括GUI的所显示的楼层平面图窗格,该楼层平面图窗格在相对于彼此的位置示出两个或更多个房间的房间形状,以反映经由房间的指定房间间开口连接的房间(例如,房间的墙壁和墙壁开口的2D俯视图廓线,其中连接的房间间开口彼此相邻地定位或在彼此的顶部上,并且可选地具有在定义的平行阈值量内被调整为平行的两个房间的墙壁)。在具有各自示出不同信息的多个窗格的这种实施方式中(例如,第一窗格示出具有第一房间间开口的第一房间的第一全景图像;第二窗格示出具有第二房间间开口以经由第一房间间开口和第二房间间开口可能地连接到第一房间的第二房间的第二全景图像,以便示出第一房间间开口和第二房间间开口是在第一房间和第二房间之间的相同墙壁开口的两侧;第三窗格示出具有至少第一房间和第二房间以及可能地其他连接的房间的房间形状的楼层平面图视图;并且可选地一个或多个附加窗格示出可能连接到第一房间和第二房间中的一个或多个的附加房间的附加全景图像),在窗格之间显示的信息可以在GUI中协调,以便在用户操纵窗格中的一个中的信息时同时地更新其他窗格中的对应信息(例如,以在用户调整在窗格中的一个中的房间中的至少一个的位置时改变第一房间和第二房间的相对位置)。下文包括与这种GUI和用于生成楼层平面图的相关联的用户交互技术相关的附加细节。
下文包括有关作为执行对关于建筑物的信息和/或从系统操作者用户接收的信息的附加自动化分析的部分而实施ABIA系统的计算装置的进一步自动化操作以及与系统操作者用户交互的附加细节。在一些实施方式中,可以进一步执行一种或多种类型的附加处理,以便确定所生成的楼层平面图的附加测绘相关信息或以其他方式将附加信息与所生成的楼层平面图进行关联。作为一个示例,可以接收关于建筑物的一种或多种类型的附加信息并将其与楼层平面图(例如,与楼层平面图中的特定位置)进行关联,诸如特定房间或其他位置的附加图像、文本和/或音频注释或其他描述;其他音频信息,诸如周围噪声的记录;整体尺寸信息等。作为另一示例,在至少一些实施方式中,执行对图像的附加处理以确定一种或多种类型的估计距离信息,以便测量已知大小的物体在图像中的大小并且使用该信息来估计房间宽度、长度和/或高度尺寸。一个或多个房间的这种估计大小信息可以与楼层平面图相关联、进行存储并且可选地显示,并且如果在足够的准确度内生成所有房间的大小信息,则可以进一步生成建筑物的更详细楼层平面图,诸如具有足够的细节以允许生成蓝图或其他建筑平面图。另外,如果估计的大小信息包括从地板到天花板的高度信息,则可以创建2D(二维)楼层平面图中的一些或全部的3D(三维)模型(例如,其中表示全高度信息)和/或2.5D(二维半维度)模型(例如,其中示出的高度的部分表示)、将其与楼层平面图进行关联、进行存储并可选地显示。在一些实施方式中,可以生成或检索并且使用其他类型的附加信息,以便确定建筑物的地理对准(例如,相对于真北或磁北)和/或建筑物的地理位置(例如,相对于纬度和经度,或GPS坐标;对于街道地址;等),并且可选地包括关于所生成的楼层平面图的对应信息和/或其他生成的测绘相关信息,和/或可选地进一步将楼层平面图或其他生成的测绘相关信息与其他相关的外部信息对准(例如,建筑物的卫星图像或其他外部图像,包括街道图像以提供建筑物的“街道视图”和/或在院子或建筑物周围的其他区域中的一个或多个位置采集的全景图像;建筑物所在的区域的信息,诸如附近街道地图和/或感兴趣的点;等)。还可以例如从一个或多个外部源(例如,在线数据库、由一个或多个最终用户提供的“众包”信息等)检索关于建筑物的其他信息,并且将其与楼层平面图和/或楼层平面图内的特定位置进行关联和链接,这种附加信息还可以包括例如建筑物的外部尺寸和/或形状、所采集的与建筑物内的特定位置对应的附加图像和/或注释信息(可选地对于与所采集的全景或其他图像的采集位置不同的位置)等。如本文的其他地方所讨论的,这种所生成的楼层平面图和可选地附加相关联信息可以进一步以各种方式使用。
在各种实施方式中,所描述的技术提供各种益处,包括允许经由一个或多个计算系统的自动化操作从在建筑物或其他结构中采集的图像要生成的多房间建筑物和其他结构的楼层平面图,包括在一些实施方式中,不具有或不使用来自深度传感器的关于从图像的采集位置到周围建筑物或其他结构中的墙壁或其他物体的距离的所采集的深度信息。此外,这种自动化技术允许比先前存在的技术更快地并且在至少一些实施方式中以更高的准确度至少部分地使用从实际建筑物环境(而不是从关于理论上应如何建造建筑物的平面图)采集的信息来生成这种楼层平面图,包括基于使用呈等量矩形格式的显示整个房间并允许对房间中的感兴趣元素的高效用户识别的360°全景图像,以及使得能够捕获在最初建造建筑物之后发生的对结构元素的改变,并且包括在一些实施方式中执行自动化操作以与一个或多个用户交互以便获得用于进一步自动化分析的一种或多种类型的用户供应的输入。这种所描述的技术进一步提供了允许改进由移动装置(例如,半自主或全自主车辆)对建筑物的自动导航方面的益处,包括显著减少用于尝试以其他方式获悉建筑物布局的其计算能力和时间。另外,在一些实施方式中,所描述的技术可以用于提供改进的GUI,其中最终用户可以更准确地且更快速地获得关于建筑物内部的信息(例如,供在该内部导航时使用,诸如经由虚拟巡视),包括响应于搜索请求,作为向最终用户提供个性化信息的部分,作为向最终用户提供价值估计和/或其他关于建筑物的信息的部分等。所描述的技术还提供了各种其他益处,其中一些在本文的其他地方进一步描述。
出于说明性目的,下面描述一些实施方式,其中对于特定类型的结构以特定方式并通过使用特定类型的装置来采集、使用和/或呈现特定类型的信息。然而,将理解,所描述的技术可以在其他实施方式中以其他方式使用,并且因此本发明不限于所提供的示例性细节。作为一个非排他性示例,尽管可以对于房屋生成不包括特定房间或整个房屋的详细测量的楼层平面图,但将了解,在其他实施方式中,可以类似地生成其他类型的楼层平面图或其他测绘信息,包括生成3D模型楼层平面图并且对于与房屋分开的建筑物(或者其他结构或布局)这样做。作为另一个非排他性示例,尽管可以在某些示例中讨论某些类型的图像(例如,360°全景图像),但将了解,无论是补充还是代替这种图像类型,在一些实施方式中,可以类似地使用其他类型的图像(包括视频帧)和视觉数据。作为又一个非排他性示例,尽管房屋或其他建筑物的楼层平面图可以用于显示以帮助查看者导航建筑物,但在其他实施方式中,可以以其他方式使用所生成的测绘信息。另外,术语“建筑物”在本文中是指任何部分地或完全地封闭的结构,通常但不一定包括在视觉上或以其他方式划分结构的内部空间的一个或多个房间。此类建筑物的非限制性示例包括房屋、公寓大楼或其中的个人公寓、共管公寓、办公楼、商业建筑物或其他批发和零售结构(例如,购物中心、百货公司、仓库等)等。如本文所使用,参考建筑物内部、采集位置或其他位置(除非上下文另外明确指出)的术语“采集”或“捕获”可以是指对与建筑物内部的空间和/或视觉特性或其子集有关的媒体、传感器数据和/或其他信息的任何记录、存储或录入,诸如通过记录装置和/或通过从记录装置接收信息的另一装置。另外,出于示例性目的,在附图和文本中提供了各种细节,但这些细节并不旨在限制本发明的范围。例如,附图中元件的尺寸和相对位置不一定按比例绘制,一些细节被省略和/或更突出地提供(例如,经由尺寸和定位)以增强易读性和/或清晰度。此外,在附图中可以使用相同的附图标记来标识类似的元件或动作。
图1A是在一些实施方式中可以参与所描述的技术的各种计算装置和系统的示例框图。特别地,一个或多个360°全景图像165(例如,呈等量矩形格式)已经由内部捕获和分析(“ICA”)系统(例如,在一个或多个服务器计算系统180上执行的系统160,和/或由在一个或多个移动计算装置185上执行的应用154提供的系统)生成,诸如关于一个或多个建筑物或其他结构。图1B示出了在多个采集位置210采集特定房屋的这种全景图像的一个示例,并且图2A至图2N说明了关于使用这种全景图像来生成相关联的楼层平面图的附加细节,如下文进一步讨论。
MIGM(测绘信息生成管理器)系统140进一步在一个或多个服务器计算系统180上执行,以基于使用全景图像165和可选地附加关联的信息并且通过可选地使用由系统操作者用户经由计算装置105通过中间计算机网络170供应的支持信息来生成并提供建筑物楼层平面图145和/或其他测绘相关信息(未示出)。在本文的其他地方包括与MIGM系统的自动化操作相关的附加细节,包括关于图2A至图2N和图5A至图5B的附加细节。在一些实施方式中,ICA系统160和MIGM系统140可以在相同的服务器计算系统上执行,诸如如果两个系统由单个实体操作或者以其他方式彼此协作地执行的话(例如,两个系统的一些或全部功能被一起集成到较大的系统中),而在其他实施方式中,MIGM系统可以改为在没有ICA系统的情况下操作,并且改为从一个或多个外部源获得全景图像(或其他图像),并且可选地将它们本地(未示出)存储在MIGM系统中以供进一步分析和使用。
另外,在所说明的实施方式中,ICA系统160和MIGM系统140作为ABIA(自动化建筑物信息评估)系统150的部分操作,该ABIA系统在一个或多个服务器计算系统180上执行以作为执行自动化测绘信息生成过程的特性155的自动化评估的部分(例如,MIGM系统的生成建筑物楼层平面图145的自动化操作)来分析并评估采集的图像(例如,由ICA系统采集的图像165),以便评估例如完成自动化生成过程的预测时间量并且提供自动化指令和/或其他反馈155(例如,以调整图像采集装置设置或参数)以减少该时间量或以其他方式改进生成过程,以及可选地使用由系统操作者用户经由计算装置105通过中间计算机网络170供应的支持信息。在本文的其他地方包括与ABIA系统的自动化操作相关的附加细节,包括关于图2E至图2N和图4的附加细节。另外,至少一些这种反馈可以例如显示给移动计算装置185的一个或多个用户,该移动计算装置采集图像165中的至少一些(例如,包括用于采集图像162和/或165的一个或多个成像系统135的移动图像采集计算装置185)和/或从一个或多个可选的相关联的相机装置184接收图像162和/或165中的至少一些。在其他实施方式中,ABIA系统中的一些或全部可以改为在移动图像采集计算装置185上结合图像采集过程来执行,该图像采集过程采集图像162和/或165以用于对应的自动化建筑物测绘信息生成过程,以便执行评估并且确定初始房间形状估计并在计算装置185上提供馈送,而同时可选地通过一个或多个计算机网络与一个或多个其他系统(例如,在一个或多个服务器计算系统180上执行的MIGM系统140)交互。
图1A中还说明了移动计算装置185的各种部件,包括由一个或多个硬件处理器132在装置185的存储器152中执行的可选ICA系统应用154,并且可选地包括用于采集一个或多个图像162(例如,直线立体图像)和/或165的视觉数据的一种或多种类型的一个或多个成像系统135。在一些实施方式中,一些或全部的这种图像162和/或165可以由一个或多个分开的相关联相机装置184供应(例如,经由有线/电缆连接、经由蓝牙或其他装置间无线通信等),无论是补充还是代替由移动装置185捕获的图像。移动装置185的所说明的实施方式还包括一个或多个传感器模块148,在此示例中,该一个或多个传感器模块148包括陀螺仪148a、加速度计148b和指南针148c(例如,作为移动装置上的一个或多个IMU单元(未单独地示出)的部分)、可选地GPS(或全球定位系统)传感器或其他位置确定传感器(在此示例中未示出)、可选地一种或多种类型的一个或多个深度感测传感器或其他距离测量部件136、显示器系统142(例如,具有触敏屏)、管理该装置185的I/O(输入/输出)和/或通信和/或联网的一个或多个控制系统147(例如,以从用户接收指令和将信息呈现给用户)等。其他计算装置/系统105、175和180和/或相机装置184可以以与移动装置185类似的方式包括各种硬件部件和存储的信息,为了简洁起见,在此示例中未示出,并且在下文关于图3更详细地讨论。
在图1A的示例中,ICA系统可以执行在多个关联的采集位置处(例如,在建筑物或其他结构内的多个房间或其他位置中以及可选地在建筑物或其他结构的外部的一些或全部的周围)生成多个360°全景图像中所涉及的自动化操作,诸如使用经由移动装置185和/或相关的相机装置184采集的视觉数据,并且用于生成并提供建筑物或其他结构的内部的表示。例如,在至少一些这种实施方式中,这种技术可以包括使用一个或多个移动装置(例如,具有一个或多个鱼眼镜头并安装在可旋转三脚架上或以其他方式具有自动化旋转机构的相机、具有足以在不旋转的情况下水平地捕获360°的鱼眼镜头的相机、由用户握持和移动的智能电话;由用户握持或安装在用户身上或用户衣服上的相机等)来从房屋(或其他建筑物)的多个房间内的一系列多个采集位置捕获数据,并且可选地进一步捕获在采集装置的移动中所涉及的数据(例如,在采集位置处的移动,诸如旋转;在一些或全部的采集位置之间的移动,诸如用于将多个采集位置链接在一起;等),在至少一些情况下,不具有被测量的采集位置之间的距离或不具有到采集位置周围的环境中的物体的其他测量的深度信息(例如,不使用任何深度感测传感器)。在捕获了采集位置的信息之后,技术可以包括从该采集位置以围绕竖直轴的360度水平信息产生360°全景图像(例如,呈等量矩形格式的示出周围房间的360°全景图像),并且然后提供全景图像以供MIGM和/或ABIA系统后续使用。
一个或多个地图查看器客户端计算装置175的一个或多个最终用户(未示出)可以进一步通过计算机网络170与ABIA系统150(和可选地MIGM系统140和/或ICA系统160)交互,以便获得、显示、并且与生成的楼层平面图(和/或其他生成的测绘信息)和/或相关的图像交互。另外,尽管图1A中未说明,楼层平面图(或其部分)可以链接到一种或多种附加类型的信息或以其他方式与其关联,诸如一个或多个关联和链接的图像或其他关联和链接的信息,包括建筑物的二维(“2D”)楼层平面图链接到建筑物的单独2.5D模型渲染和/或建筑物的3D模型渲染等或以其他方式与其相关联,并且包括多层楼或其他多层建筑物的楼层平面图具有相互链接(例如,经由连接的楼梯通道)或作为共同2.5D和/或3D模型的部分的不同楼或层的多个相关联子楼层平面图。因此,最终用户与建筑物的所显示或以其他方式生成的2D楼层平面图的交互的非排他性示例可以包括以下各者中的一个或多个:在楼层平面图视图与楼层平面图内或附近的采集位置处的特定图像的视图之间改变;在2D楼层平面图视图与可选地包括纹理映射到所显示的模型的墙壁的图像的2.5D或3D模型之间改变;改变显示全景图像的对应子集视图(或入口)的水平和/或竖直查看方向,以便确定当前用户查看方向所指向的3D坐标系中的全景图像的部分,并且渲染说明全景图像的那个部分而在原始全景图像中不存在弯曲或其他失真的对应平面图像;等。另外,尽管在图1A中未说明,但在一些实施方式中,客户端计算装置175(或其他装置,未示出)可以接收所生成的楼层平面图和/或其他生成的测绘相关信息并且以附加方式使用,以便控制或帮助那些装置(例如,自主车辆或其他装置)的自动化导航活动,无论是代替还是补充所生成的信息的显示。
在图1A的所描绘的计算环境中,网络170可以是可能由各种不同的方操作的一个或多个公共可访问的链接网络,诸如互联网。在其他实施方式中,网络170可以具有其他形式,以便反而是非特权用户完全或部分无法访问的专用网络(诸如公司或大学网络)。在另外的其他实施方式中,网络170可以包括专用网络和公共网络两者,其中专用网络中的一个或多个可访问公共网络中的一个或多个和/或从公共网络中的一个或多个访问专用网络中的一个或多个。此外,在各种情形中,网络170可以包括各种类型的有线网络和/或无线网络和连接。
图1B描绘了示例性建筑物内部环境的框图,其中采集360°全景图像和/或其他图像,以由MIGM系统用于生成并提供对应的建筑物楼层平面图并且由ABIA系统用于至少部分地基于图像的属性的评估来执行楼层平面图生成过程的特性的自动化评估,如关于图2A至图2N更详细地讨论,以及用于将图像呈现给用户。特别地,图1B说明了多层房屋(或其他建筑物)198的一层,其中至少部分地经由多个全景图像来捕获内部,诸如由具有图像采集能力的移动图像采集装置185和/或一个或多个相关联的相机装置184在穿过建筑物内部移动到一系列多个采集位置210时捕获(例如,以采集位置210A开始、沿着行进路径115移动到采集位置210B等,并且以在建筑物外部的采集位置210-O或210P结束)。ICA系统的实施方式(例如,服务器计算系统180上的ICA系统160、在移动图像采集装置185上执行的ICA系统中的一些或全部的副本154等)可以自动地执行或帮助捕获表示建筑物内部的数据,以及进一步分析所捕获的数据来生成360°全景图像以提供建筑物内部的视觉表示,并且ABIA系统可以确定并且提供关于采集的图像中的一些或全部和/或图像采集过程(例如,经由ICA系统、直接经由移动装置185和/或184等)的反馈。尽管这种图像采集移动装置可以包括各种硬件部件,诸如相机、一个或多个传感器(例如,陀螺仪、加速度计、指南针等,诸如移动装置的一个或多个IMU或惯性测量单元的部分;测高仪;光检测器;等)、GPS接收器、一个或多个硬件处理器、存储器、显示器、传声器等,但在至少一些实施方式中,移动装置可能无法访问或使用设备来测量建筑物中的物体相对于移动装置的位置的深度,使得在这种实施方式中,可以部分地或完全地基于不同图像中的特征但不使用来自这种深度传感器的任何数据来确定不同全景图像与其采集位置之间的关系,而在其他实施方式中,可以使用这种深度数据。另外,尽管在图1B中提供了方向指示符109以供读者参考,但在至少一些实施方式中,移动装置和/或ICA系统可以不使用这种绝对方向信息和/或绝对位置,以便改为在这种实施方式中确定采集位置210之间的相对方向和距离而不考虑实际地理位置或方向,而在其他实施方式中,可以获得并使用这种绝对方向信息和/或绝对位置。
在操作中,移动装置185和/或相机装置184到达建筑物内部的第一房间内的第一采集位置210A(在此示例中,在可经由户外门190-1进入的客厅),并且捕获从该采集位置210A可见的建筑物内部的部分的视图(例如,第一房间中的一些或全部,以及可选地一个或多个其他相邻或附近房间的小部分,诸如穿过来自第一房间的门道、非门道墙壁开口、走廊、楼梯或其他连接通道)。视图捕获可以以如本文所讨论的各种方式执行,并且可以包括在从采集位置捕获的图像中可见的很多物体或其他特征(例如,结构细节)。在图1B的示例中,建筑物内的此类物体或其他特征包括门道190(包括190-1至190-5,诸如带有旋转门和/或滑动门)、窗196(包括196-1至196-8)、拐角或边缘195(包括在建筑物198的西北角的拐角195-1、在第一房间的东北角的拐角195-2、在第一房间的西南角的拐角195-3、在第一房间的东南角的拐角195-4、在第一房间与走廊之间的房间间通道的北边缘处的拐角195-5等)、家具191至193(例如,沙发191;椅子192;桌子193;等)、悬挂在墙壁上的图片或绘画或电视或其他悬挂的物体194(诸如194-1和194-2)、照明灯具(图1B中未示出)、各种内置家电或灯具或其他结构元素(图1B中未示出)等。用户还可以可选地提供与采集位置相关联的文本或听觉标识符,诸如用于包括采集位置210A和/或210B的房间的“客厅”,而在其他实施方式中,ICA系统可以自动地生成此类标识符(例如,通过自动地分析建筑物的图像和/或视频和/或其他记录信息来执行对应的自动化确定,诸如通过使用机器学习来执行),或者MIGM系统可以确定此类标识符(例如,至少部分地基于来自ICA和/或MIGM系统操作者用户的输入),或者可以不使用标识符。
在已经捕获第一采集位置210A之后,移动装置185和/或相机装置184可以移动或被移动到下一采集位置(诸如采集位置210B),从而可选地在采集位置之间移动期间记录图像和/或视频和/或来自硬件部件(例如,来自一个或多个IMU、来自相机等)的其他数据。在下一采集位置,移动装置185和/或相机装置184可以类似地从该采集位置捕获360°全景图像和/或其他类型的图像。可以对建筑物的一些或所有房间并且在一些情况下在建筑物外部重复这个过程,如在此示例中对于采集位置210C至210P所说明,其中在此示例中,在单个图像采集会话中捕获来自采集位置210A至210-O的图像(例如,以基本上连续的方式,诸如在总共5分钟或15分钟内),并且其中可选地在不同的时间捕获来自采集位置210P的图像(例如,从与建筑物或建筑物的前院相邻的街道捕获)。可以进一步分析对于每个采集位置采集的图像,包括在一些实施方式中无论是在图像采集时还是稍后渲染每个全景图像或以其他方式以等量矩形格式放置每个全景图像。
关于图1A至图1B提供了各种细节,但是将了解,所提供的细节是出于说明性目的而包括的非排他性示例,并且可以在没有一些或全部此类细节的情况下以其他方式执行其他实施方式。
图2A至图2N说明了使用建筑物内部的图像和建筑物的房间的附加房间布局信息来生成并且呈现建筑物的楼层平面图的示例,诸如对于房屋198和在图1B中讨论的采集位置210处采集的图像。
特别地,图2A说明了示例图像250a,诸如在图1B的房屋198的客厅中从采集位置210B向东北方向上拍摄的立体图像(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向东北的子集视图)。在此示例中进一步显示方向指示符109a以说明拍摄图像的向东北方向。在所说明的示例中,所显示的图像包括内置元素(例如,照明灯具130a)、家具(例如,椅子192)、两个窗196-1和挂在客厅北墙壁上的图片194-1。在此图像中没有进出客厅的房间间通道(例如,门或其他墙壁开口)是可见的。然而,在图像250a中可见多个房间边界,包括客厅北墙壁的可见部分和客厅天花板及地板之间的水平边界、客厅东墙壁的可见部分和客厅天花板及地板之间的水平边界、以及北墙壁和东墙壁之间的竖直边界195-2。
图2B继续图2A的示例,并且说明了在图1B的房屋198客厅中从采集位置210B向西北方向上捕获的附加立体图像250b(或从该采集位置拍摄并以直线方式格式化的360度全景图像的面向西北的子集视图)。进一步显示方向指示符109b以说明拍摄图像的向西北方向。在此示例图像中,窗196-1中的一个的一小部分连同窗196-2的部分以及附加的照明灯具130b继续可见。另外,在图像250b中水平和竖直房间边界以与图2A的方式类似的方式可见。
图2C继续图2A至图2B的示例,并且说明了在图1B的房屋198客厅中诸如从采集位置210B或210A向西南方向上拍摄的第三立体图像250c(或从这些采集位置中的一个拍摄并以直线方式格式化的360度全景图像的面向西南的子集视图)。进一步显示方向指示符109c以说明拍摄图像的向西南方向。在此示例图像中,窗196-2的部分继续可见,正如沙发191以及视觉水平和竖直房间边界以与图2A和图2B的方式类似的方式也继续可见。此示例图像进一步说明了客厅的墙壁开口通道,在此示例中是门道190-1(其在图1B中表示为通向房屋的外部的门道)。将了解,可以从采集位置210B和/或其他采集位置拍摄并以类似方式显示多种其他立体图像。
图2D继续图2A至图2C的示例,并且说明了以等量矩形格式显示整个客厅的360°全景图像250d(例如,从采集位置210B拍摄)。由于全景图像在与图2A至图2C的立体图像相同的方式上不具有方向,因此图2D中没有显示方向指示符109,但是全景图像的姿势可以包括一个或多个关联的方向(例如,全景图像的起始和/或结束方向,诸如如果通过旋转来采集的话)。全景图像250d的视觉数据的部分与第一立体图像250a对应(大约在图像250d的中心部分示出),而图像250d的左部分和图像250d的最右部分包括与立体图像250b和250c的那些部分对应的视觉数据。此示例全景图像250d包括窗196-1、196-2和196-3、家具191至193、门道190-1以及通向走廊房间的非门道墙壁开口263a(其中开口示出了在相邻的走廊中可见的门190-3的部分)。图像250d进一步以与立体图像类似的方式说明了多种房间边界,但其中水平边界以离图像的水平中线越远越弯曲的方式显示。可见边界包括竖直墙壁间边界195-1至195-4、在走廊开口的左侧的竖直边界195-5、在走廊开口的右侧和在客厅的东南角的竖直边界,以及在墙壁与地板之间和在墙壁与天花板之间的水平边界。
图2E继续图2A至图2D的示例,并且说明了可以由ABIA系统的实施方式提供的信息260e,以便提供给参与采集建筑物的图像(例如,图2A至图2D的图像250a至250d)的一个或多个用户。特别地,在图2E的示例中,信息260e说明了包含与由用户在建筑物中采集的第一图像250e(例如,与图2A至图2D的图像250a至250d中的一个对应)对应的信息的示例GUI,包括图像的视觉数据(例如,图像的缩略图副本),以及房间的包含图像的采集位置的粗略初始房间形状估计239a。初始房间形状估计可以用作关于图像的一种类型的反馈,以便在初始房间形状估计不确定或无法确定或看起来明显不正确的情况下反映图像的问题。在此示例中,附加信息255e是为了读者的益处而说明的,但可以不作为示例GUI的部分显示给用户,以便指示可以对于房间确定的最终房间形状239b(例如,在稍后时间,诸如由MIGM系统确定),在此示例中,该附加信息说明了在图像的视觉数据中检测到的窗、门道和非门道墙壁开口的位置(例如,可以类似地识别和指示其他类型的结构元素,诸如楼梯,但在此示例中未对于此房间形状示出)。
图2F继续图2A至图2E的示例,并且说明了可以在示例GUI中显示的更新信息260f,以便从ABIA系统向用户提供反馈。在此示例中,反馈包括有助于自动化楼层平面图生成过程的图像的价值的整体评估271f(例如,至少部分地基于图像的视觉数据的质量,并且在此示例中是“中等”等级)、与评估271f对应的文本反馈272f、最终的自动化楼层平面图生成过程的预测特性273f(在此示例中是直到完成生成过程为止的预测时间,其中初始预测时间是30分钟),以及与预测特性273f对应的文本反馈274f,在此示例中,如果在下一个小时执行自动化楼层平面图生成过程,以及如果使用与自动化楼层平面图生成过程相关联的当前优先水平(例如,基于由用户请求或以其他方式与用户相关联的优先水平),该文本反馈指示直到完成为止的预测时间是基于在该下一个小时可用的资源。另外,将缩略图图像250f添加到在示例GUI的右下部分中示出的当前图像队列或列表。将了解,在其他实施方式中可以提供其他类型的反馈,和/或在其他实施方式中可以以其他方式提供反馈,无论是补充还是代替所说明的反馈类型和所说明的提供反馈的方式。
图2G继续图2A至图2F的示例,并且说明了可以在示例GUI中显示的更新信息260g,在此示例中,该更新信息对应于对于建筑物采集的下一图像250g。在此示例中,更新的GUI包括图像250g的对应的整体评估271g、相关的文本描述272g、包括房间的包含图像250g的采集位置的初始估计房间形状238a的更新房间形状信息、以及最终的自动化楼层平面图生成过程的更新的预测特性273g和对应的文本反馈274g。在此示例中,当前图像的整体评估是“良好”等级,并且相关联的文本描述272g提供关于图像的与该等级对应的正属性和负属性的信息。另外,在相对于先前房间形状估计239a的位置的位置处示出初始附加房间形状估计238a,但可以以其他方式说明这种房间形状估计信息。还更新图像队列或列表以包括图像250g的缩略图复本,并且预测特性273g已经从先前的30分钟改变为当前的35分钟,以便反映所采集的图像的整体质量增加(例如,以与将用来完成自动化楼层平面图生成过程的附加计算时间对应)。出于读者的目的,图2G的示例进一步说明了示例信息255g,该示例信息255g可以不在示例GUI中显示,以便说明可以对于与图像250g对应的新房间确定的最终房间形状估计238b,其中最终房间形状估计239b和238b的相对位置说明了房间形状相对于彼此的最终布局(例如,其中在稍后时间确定两个房间形状的房间形状估计238b和最终布局,诸如由MIGM系统可选地部分地基于两个房间之间的共享共同非门道墙壁开口263a确定)。
图2H继续图2A至图2G的示例,并且说明了可以在示例GUI中显示的更新信息260h,在此示例中,该更新信息260h与对于建筑物采集的下一图像250h对应。在此示例中,图像250h被评估以具有整体“不良”质量等级,如在评估271h中反映,并且与图像对应的房间的最终估计房间形状231a指示因图像中的问题而无法根据图像来确定房间形状。文本反馈描述272h指示图像250h的问题中的一些,并且在一些实施方式和情形中可以包括对用户和/或图像采集装置的对应指令(例如,以重新捕获图像,可选地在校正问题中的一个或多个之后),但在此示例中未说明这种指令。自动化楼层平面图生成过程的更新的预测特性273h从图2G的35分钟显著地增加到120分钟,其中相关联的文本描述274h指示与难以或不可能进行基于图像的自动化房间形状确定对应的时间的增加,使得如果保留并使用当前图像250h(而不是被没有图像250h的问题的一个或多个其他图像替换),则可能需要来自一个或多个操作者用户的手动输入以确定对应的房间形状231a。当前更新图像中的两者或列表以说明图像250h的缩略图复本,但如果未保留图像250h以用于自动化楼层平面图生成过程,则随后可能无法保留缩略图复本(例如,基于用户提供指示以丢弃当前图像,诸如通过使用GUI中的对应的用户可选择控件(未示出);基于用户从相同或基本上相同的擦剂位置捕获新的替换图像;等)。
图2I继续图2A至图2H的示例,并且说明了可以在示例GUI中显示的更新信息260i,在此示例中,该更新信息260i与对于建筑物从外部位置采集的下一图像250i对应。在此示例中,图像队列或列表包括新图像250i而不是先前图像250h的缩略图复本,以便指示因先前图像250h的问题而未将先前图像250h保留用于自动化楼层平面图生成过程(例如,该先前图像250h将被新的替换图像(未示出)替换)。然而,示例图像250i具有其他类型的问题,如在文本描述272i中描述并且在当前评估271i中用“未知”等级反映,在此示例中,该示例图像250i与在室外捕获的图像对应,而没有将允许相对于其他图像250f和250g确定该图像的位置的位置信息,并且没有周围结构以能够确定外部区域的房间形状估计232a。自动化楼层平面图生成过程的更新的预测特性273i已经从图2G的35分钟增加到50分钟,其中相关联的文本描述274i指示与难以或不可能以自动化方式执行图像250i的采集姿势(位置和取向)的自动化“定位”确定对应的时间的增加,使得如果保留并使用当前图像250i,则可能需要来自一个或多个操作者用户的手动输入以确定对应的定位信息和可选地对应的房间形状232a。
图2J继续图2A至图2I的示例,并且说明了可以在示例GUI中显示的其他信息260j,在此示例中,该其他信息260j与可以在开始建筑物的图像采集过程之前(例如,在采集第一图像250e之前)显示给用户的初始信息对应。在此示例中,示例GUI中的信息与在图像采集过程开始之前由ABIA系统确定的初始估计对应,以便反映图像采集过程将花多长时间(在此示例中,20分钟)的初始估计和/或自动化楼层平面图生成过程将花多长时间(在此示例中,25分钟)的初始估计。这种估计可以基于多种因素,其中这种因素的示例包括在所说明的信息中,所说明的信息与关于建筑物的信息(例如,建筑面积;基于住宅结构的复杂性,诸如根据卫星视图、街道视图以及房间的数量和分布来估计;楼层和房间的数量;建造年份、建筑者信息;基于地理或建筑者信息的类似性质;等)对应、类似建筑物的先前性能数量、参与图像采集过程的用户(例如,用户的历史性能)、可供在生成过程期间使用的资源(例如,服务器可用性、GPU/CPU可用性、对于其他建筑物的生成过程的当前积压的请求和那些积压活动的复杂性、可用于提供手动帮助的人类用户等)、影响生成过程的其他因素(例如,如果可用的话,对来自多种类型的生成过程功能和/或性质中的一个或多个的选定的选择)等。另外,所说明的信息指示可以向用户提供进一步帮助,以便指示可以更快地或以另一种有利方式执行生成过程的不同时间(例如,以使用更少的资源),或以其他方式向用户提供其他类型的帮助信息。在其他实施方式中,可以不提供这种初始信息,或者提供的初始信息可以是其他类型,无论是补充还是代替所说明的信息类型。
图2K继续图2A至图2J的示例,并且说明了可以在示例GUI中显示的其他信息260k,在此示例中,该信息包括可以在图像采集过程的各种GUI显示中提供给用户的附加状态信息262(在此示例中示出为对图2G的信息260g的修改)。特别地,此示例的示例状态信息262包括关于完成图像采集过程的剩余估计时间量的信息,以及关于相对于图像捕获剩余的完成度或工作的百分比的信息。在其他实施方式中,可以不提供这种状态信息,或者可以提供不同类型的其他状态信息,无论是补充还是代替所说明的状态信息类型。
图2L继续图2A至图2K的示例,并且说明了与在捕获和分析附加图像时对最终房间形状和布局的持续确定对应的更新信息255l,从而在已经捕获并分析了一楼的所有图像之后得到建筑物的一楼的最终房间形状/布局230l。在一些实施方式中,最终房间形状/布局230l可以用作建筑物的一楼的2D楼层平面图,而在其他实施方式中,可以以其他方式生成并提供2D楼层平面图,诸如关于图2M说明。
将了解,在各种实施方式中,可以以各种方式执行关于图2E至图2L和在本文的其他地方讨论的类型的图像评估和对应的测绘信息生成过程特性的确定。在一个示例非排他性实施方式中,使用计算机视觉分析、机器学习算法和可选地用户供应的输入的组合来执行图像评估和特性确定。例如,当用户捕获房屋或其他建筑物的图像时,确定并更新两种图像质量/贡献测量和得到的生成过程特性(例如,直到完成为止的时间)。更新的特性和质量/贡献评估可以作为反馈通过适当的GUI呈现给用户,以便增强用户体验和/或改进结果。例如,一种可能性是将当前采集的图像叠加在从迄今采集的所有图像创建的楼层平面图的重建复制品,诸如使用如在捕获图像的移动图像采集计算装置上确定的初始粗略房间形状估计,并且其中这种重建的楼层平面图复制品能够用作GUI结果以及用于测量质量和直到完成为止的时间的输入。另外,这种反馈在图像采集过程期间和/或之后,向用户提供改进测绘信息生成过程的特性(例如,直到完成为止的时间、质量等)的能力,诸如通过修改、重新捕获或添加附加信息(诸如校正图像的位置、分类和其他注释的信息)。
作为此示例实施方式的评估图像质量/贡献的非排他性示例,ABIA系统可以确定图像质量和对楼层平面图生成的图像贡献中的一个或两者。关于单独的图像质量,可以例如使用计算机视觉和机器学习算法来分析各个图像以确定质量相关属性的以下非排他性列表中的一个或多个:房间中的照明;闪光灯或照片工艺品;图像中的变焦/运动模糊;分散注意力的元素的存在(例如,杂乱的东西、人、宠物、大型物体、相机三脚架、相机附件等);门和窗的打开/关闭性质;与墙壁和家具的接近;捕获相机设备的不同高度或其他参数(例如,变焦水平、孔径等);在与预期不同的取向上(水平对竖直)捕获图像;等。关于对楼层平面图生成的图像贡献,对采集图像的整体收集可以被视作完全自动化楼层平面生成过程和/或请求并使用人类输入的自动化楼层平面生成过程的联合输入,其中使得更容易分析该收集(例如,更容易在完全自动化生成过程处理)的各个图像在质量/贡献评估中排名更高。关于对楼层平面图生成的各个图像贡献,可以例如使用计算机视觉和机器学习算法来分析各个图像,以确定贡献相关属性的以下非排他性列表中的一个或多个:图像的采集位置距收集中的其他采集图像的距离;来自当前图像的估计房间形状的不确定性或不准确性;当包括当前图像时意外房间结构的存在(例如,碰撞的墙壁、未对准的门和墙壁、缺失的门和窗等);不能估计重建的楼层平面图中的图像的位置(例如,因计算机视觉或位置信息的其他源的失效,诸如基于IMU数据、GPS数据等中的一个或多个);因包括当前图像而引起的估计楼层平面图的意外改变(例如,图像看起来使楼层平面图比住宅的预期尺寸长得多);等。连同各个图像质量评估(例如,良好/好/不好/未知)和生成过程特性(例如,完成时间)一起,ABIA系统能够生成并提供估计值的原因背后的详细反馈。
作为评估一个或多个楼层平面图生成过程特性(例如,直到完成为止的时间)和/或在此示例实施方式中其他类型的测绘信息的生成过程的对应特性的非排他性示例,ABIA系统可以在捕获图像时评估图像对一个或多个这种生成过程特性的影响。例如,增加自动化、降低不确定性并且呈现对住宅的更宽覆盖的图像可以减少直到完成为止的时间特性,而不良地捕获的图像或在其他方面具有不良视觉图像质量的图像可能会增加这种特性(例如,因需要附加的自动化处理、因使用手动输入等)。在至少一些实施方式中,这种图像相关贡献评估可以进一步与其他类型的信息进行组合以评估生成过程直到完成为止的时间特性和/或其他类型的生成过程特性,诸如关于参与图像采集的用户的信息(例如,使用关于用户历史的信息)、关于建筑物的信息、关于可用于自动化生成过程的资源的信息等。此外,至少一些类型的信息可以在不同的时间变得可用或可以在图像采集过程期间改变(例如,关于可用资源),使得ABIA系统可以使用当前可用的信息以在任何给定的时间生成并提供最佳估计。关于评估图像对生成过程特性的贡献,ABIA系统可以确定并使用先前识别的图像质量相关属性中的一个或多个和/或成像的房间的一个或多个属性(例如,大小、类型/性质/分类、形状的复杂性等)。关于评估非图像因素对生成过程特性的贡献,ABIA系统可以确定并使用先前识别的贡献相关属性中的一个或多个和/或以下非排他性属性中的一个或多个:建筑物和/或其周围房产的细节(例如,大小、形状、复杂性、楼层的数量、房间的类型、有家具/无家具等);关于其他相关建筑物/房产的细节(例如,类似建筑物/房产的生成过程特性,诸如由相同或类似的建筑者建造、在相同或附近的社区、在相同或类似的时间建造等);关于可用于生成过程的资源的细节,诸如基于用于实施多个建筑物/房产的这种自动化生成过程的自动化流水线的当前和/或预测状态(无论是完全自动化还是使用手动帮助),并且基于诸如服务器能力和/或其他计算资源(例如,CPU和GPU的可用性)、流水线中使用的当前生产中机器学习模型的状态、用于提供手动帮助的人类用户资源的可用性、流水线中的其他当前和/或预期生成过程的量和/或复杂性、生成过程的优先级(例如,相对于流水线中的其他当前和/或预期生成过程)等)因素;关于用于采集图像的一个或多个图像采集装置的细节(例如,相机特性、装置年龄等);其他因素(例如,自动地生成的楼层平面图与来自其他源的预期结果之间的一致);关于参与采集图像的一个或多个用户的细节(例如,关于图像质量的用户历史表现、关于图像采集速度、关于基于用户的图像的生成过程的实际特性、关于基于用户的图像的生成过程的预测和实际特性之间的历史差异、关于影响生成过程的偏好或指令(诸如生成过程速度对成本或其他因素的相对重要性)等);等。在各种实施方式中,可以从各种源获得除了来自图像本身外的用于评估生成过程特性的信息,诸如从公开可用的记录获得或估计(例如,MLS、县级房产记录、列表细节等)、通过图像分析来确定(例如,将计算机视觉算法应用于卫星图像、诸如来自无人机或飞机或其他俯视位置的其他俯视图像、街道视图图像等)或以其他方式获得。
在此示例实施方式中,作为执行来评估图像质量和贡献的处理的非排他性示例,可以使用计算机视觉和/或机器学习算法来预测来自输入图像的属性。例如,对于每个属性,可以对数千个图像的训练集加标签,并且然后训练对应的机器学习模型(例如,使用神经网络、基于经典视觉等)以使用训练集(例如,使用监督式学习)来预测这些属性,其中然后应用得到的经训练机器学习模型以根据在建筑物的图像采集过程期间采集的新图像来预测那些属性。作为这样做的部分,每个这种属性的存在或不存在决定了图像相对于该属性的质量,并且其中执行将多个这种属性的质量估计聚集以确定图像的整体质量分类评估,并且可以自动地生成和/或从一组手动地指定的消息中选择对应的反馈消息。作为选择用于训练和使用对应的机器学习模型的属性的部分,在一些实施方式中,所述技术可以使用经训练的其他机器学习模型以从图像的数据集隐式地确定这种属性(例如,使用非监督式学习,而没有对图像的质量或属性进行任何人为加标记),以便使用图像的自动化和/或人类注释来确定每个图像的质量。例如,使用先前在自动化流水线中注释和/或手动地注释的图像,可以使用定义的标准来识别图像的子集(例如,对于正质量图像,手动注释花费少于X秒和/或手动注释的最终结果与自动注释相差少于Y%;对于负质量图像,手动注释花费至少X秒和/或手动注释的最终结果与自动注释相差至少Y%;等),并且然后可以使用它们来训练其他机器学习模型(例如,直到模型的损失函数在可接受阈值内或已经停止改进,并且对于训练集中的每个输入图像,预测图像的正或负标签,根据基础事实正或负标签来确定损失或误差,计算训练集中的所有图像上的二元交叉熵损失函数,并且更新模型的权重以最小化损失)。
在此示例实施方式中,作为被执行来评估一个或多个测绘信息生成过程特性(例如,直到完成为止的时间、直到完成为止的成本等)的处理的非排他性示例,可以使用回归模型(例如,使用神经网络、概率模型、随机树/森林等来实施)来预测特性。例如,对于先前图像采集过程和对应的采集图像,可以基于从那些图像和图像采集过程得到的一个或多个生成过程特性的对应实际值对它们进行过滤以创建训练集。接下来,可以使用它们来训练一个或多个机器学习模型(例如,直到模型的损失函数在可接受阈值内或已经停止改进,并且对于训练集中的每个输入图像和/或图像采集过程,预测直到完成为止的时间值和/或其他特性值,计算训练集中的所有示例上的损失函数,并且更新模型的权重以最小化损失)。
另外,在一些实施方式中,可以向用户提供影响如何执行测绘信息生成过程并且可选地影响过程的结果的选择,以便更快地但质量更低获得所生成的楼层平面图(例如,对于房间形状和/或大小有更多的不确定性,或以其他方式相对于一个或多个度量(例如,时间、质量、货币成本等)进行权衡)。作为这样做的部分,用户可以能够选择不同的时间来执行测绘信息生成过程(例如,在非高峰时段这样做以便在给定量的处理时间内接收更高质量的结果或以其他方式减少成本或时间或增加质量或其他特性,诸如对于由ABIA系统识别的特定时间),修改图像采集过程和/或提供附加数据(例如,由图像采集用户手动地供应的信息,诸如关于与特定采集图像相关联的特定采集位置的信息)以改进生成过程(例如,减少时间和/或成本、增加结果的质量等),或以其他方式影响如何执行生成过程(例如,从多个可用类型的功能中选择,以便生成2D楼层平面图和/或3D计算机模型楼层平面图和/或链接的图像的虚拟巡视等)。
图2M至图2N继续图2A至图2L的示例,并且进一步说明了可以从本文中讨论的分析类型生成的测绘信息。特别地,在已经确定了房屋的所有房间形状互连和其他布局信息之后(无论是由MIGM系统自动地确定和/或还是通过使用由一个或多个MIGM系统操作者用户供应的信息来确定),最终结果都可以用来生成房屋的2D楼层平面图,可选地在已经执行最终优化并且已经添加了最终楼层平面图的视觉方面之后,这种最终优化可以包括例如以下一个或多个:确保一致的视觉方面(例如,线宽度、颜色、文本风格等)、将文本房间标签放置在最终楼层平面图上的优选位置处、添加缺失的空间(诸如未被包括在限定的房间形状布局上的小衣帽间或其他附加区域)(例如,没有从中拍摄任何图像的区域,导致在建筑物的外部内的空的空间在限定的房间形状布局中没有被识别)、将多个重叠和/或相邻的墙壁合并、校正任何几何异常等。在至少一些实施方式中,所描述的技术可以包括以自动化方式执行至少一些这种更新,并且可选地将对应的GUI工具提供给一个或多个用户以做出对生成的房屋的楼层平面图的最终手动调整(例如,类似于绘图或绘画程序的那些工具的GUI工具)。在图2M的示例中,说明了可以基于所描述的技术构建的示例最终2D楼层平面图230m,在此示例中,2D楼层平面图230m包括墙壁以及门道和窗的指示,并且诸如可以在GUI 255m中呈现给系统操作者用户和/或最终用户,并且其中各种类型的信息添加到互连房间形状的组合。将了解,在一些实施方式中,可以类似地生成示出墙壁高度信息的3D或2.5D模型楼层平面图,无论是补充还是代替这种2D楼层平面图,诸如图2N的3D楼层平面图265n。在图2M的此示例中,已经向一些或全部房间添加了房间标签(例如,用于客厅的“客厅”),已经添加了一些或全部房间的房间尺寸,已经添加了一些或全部房间的灯具或家电或其他内置特征的视觉指示,已经添加了附加类型的关联和链接信息的位置的视觉指示(例如,最终用户可以选择来进一步显示的全景图像和/或立体图像、最终用户可以选择来进一步呈现的音频注释和/或声音记录等),可以示出门道和窗的视觉指示等。另外,在至少一些实施方式和情形中,一些或全部的这种类型的信息可以由一个或多个MIGM系统操作者用户提供(例如,以从那些用户接收文本房间标签)。另外,在此示例中,向GUI添加用户可选择的控件228以指示楼层平面图显示的当前楼层,并且允许用户选择不同的楼层来显示。在一些实施方式中,还可以直接从楼层平面图进行对楼层或其他层的改变(诸如经由选择连接通道,诸如在所说明的楼层平面图中通向2楼的楼梯),并且在一些实施方式中,将同时显示多个楼层(例如,所有楼层)的信息(无论是作为单独楼层的单独子楼层平面图,还是改为将所有房间和楼层的房间连接信息结合在同时一起示出的单个楼层平面图中)。将了解,在一些实施方式中可以添加各种其他类型的信息,在一些实施方式中可以不提供所说明类型的信息中的一些,并且在其他实施方式中可以以其他方式显示并选择链接和相关联信息的视觉指示及对其的用户选择。图2N说明了可以从本文中公开和显示(例如,在类似于图2M的GUI中)的自动化分析技术生成的附加信息265n,在此示例中,附加信息265n是房屋的2.5D或3D模型楼层平面图。这种模型265n可以是基于楼层平面图230m生成的附加测绘相关信息,其中示出了关于高度的附加信息以便说明诸如窗和门的特征在墙壁中的视觉位置,或者改为组合最终估计房间形状,所述房间形状是3D形状。尽管图2N中未说明,但在一些实施方式中,附加信息可以添加到显示的墙壁,诸如来自采集的图像(例如,在渲染的模型265n上渲染和说明来自房屋的实际绘画、墙纸或其他表面),和/或可以以其他方式使用以向墙壁和/或其他表面添加指定的颜色、纹理或其他视觉信息,和/或图2N中所示的其他类型的附加信息(例如,关于外部区域和/或附属结构的信息)可以使用此类渲染模型来显示。
已经关于图2A至图2N提供了各种细节,但将了解,所提供的细节是出于说明性目的而包括的非排他性示例,并且可以在没有一些或全部这种细节的情况下以其他方式执行其他实施方式。
另外,在至少一些实施方式中,可以提供和/或使用多种附加自动化功能(以及在至少一些实施方式中,供一个或多个系统操作者用户使用的关联GUI功能)。作为示例,在一些实施方式中,可以提供将在单个房间中拍摄的多个全景图像组合到单个全景图像中的功能,诸如将全景图像中的一个的信息定位到另一全景图像的空间中。例如,两个全景图像可以显示给选择两个图像中的一个或多个共同点的用户(例如,两个图像中的具有无限点的共同平面),其中MIGM系统基于所指示的共同点来确定两个全景图像的视觉信息的对应位置。在创建了这种组合全景图像之后,它可以进一步以其他全景图像类似的方式使用,如在本文的其他地方更详细地讨论。另外,在一些实施方式中,对于每个房间将一个或多个附加补充全景图像与单个主要全景图像结合使用,以便在一个或多个房间间连接中的每一个的位置生成补充全景图像,以便帮助确定这些房间中的连接(例如,房间的房间形状的对准和其他布局),诸如使用补充全景图像中的信息以匹配到连接房间中的每一个的全景图像中的对应特征。此外,在一些实施方式中,可以(例如,由MIGM系统)提供附加功能以执行所生成的楼层平面图的全局优化,以便识别墙壁的最终对准和其他房间形状信息。另外,在一些实施方式中,可以(例如,由MIGM系统)提供附加功能以细化房间形状的转换,诸如提供使用线段的对准的优化和自顶向下视图或使用直接图像重叠(例如,经由渲染)。此外,在一些实施方式中,可以(例如,由MIGM系统)提供附加功能以执行或帮助选择第一房间形状来开始楼层平面图的生成,诸如基于对关于该房间的信息的自动化分析(例如,相对于建筑物的其他房间),和/或基于由系统操作者用户供应的信息(例如,在向用户显示或以其他方式提供关于一些或全部房间形状的信息之后)。作为一个示例,可以基于一个或多个因素来选择房间以用作起始房间,诸如具有最多房间间墙壁开口、最少房间间墙壁开口、与户外门对应的墙壁开口(例如,通向建筑物的入口)、全景图像捕获的次序(例如,使用与第一全景图像捕获或最后捕获的全景图像对应的房间)等。
此外,在一些实施方式中,可以(例如,通过MIGM系统)提供附加功能以将建筑物的多个楼层或其他层对准或以其他方式连接,诸如经由连接楼梯或其他连接通道。这种附加功能可以包括例如将房屋的多个楼层对准到单个坐标系中,使得它们可以全部被渲染为3D模型(例如,在渲染系统中),和/或将房屋的多个楼层在2D中对准,使得它们可以在自顶向下正交投影中叠加(例如,在CAD系统或建筑蓝图中)。作为一个非排他性示例,实施两个分开的楼层上的房间之间的连接的一种方式是使用示出连接两个楼层的楼梯的全景图像,诸如在楼梯的底部和顶部中的一个或两者处的全景图像(例如,对于直接连接楼层而没有任何楼梯平台的平直楼梯),并且以类似于其他墙壁开口连接类似的方式将在楼梯的顶部和底部处的房间的墙壁开口互连(诸如包括两个墙壁开口之间的与楼梯的测量或估计长度对应的水平距离,并且可选地包括两个墙壁开口之间的竖直信息(如果可用的话)),并且其中两个这种楼层的子楼层平面图以一致的方式且在3D空间中的对应位置处旋转。例如,如果已知楼梯台阶的高度(例如,踢脚板和其上方的踏步板的高度)和/或如果可获得在其中楼梯脚和顶端(head end)两者可见(例如,从平直楼梯的顶部或底部;从非平直楼梯的每个楼梯平台,诸如通过将每个这种平台视作以与连接平直楼梯的两个楼层类似的方式与其他楼层连接的“中间”楼层;等)的全景图像,该全景图像使得能够确定全景图像中的与楼梯脚和/或顶对应的水平线,则可以确定对在楼梯的端部处的两个这种墙壁开口之间的高度差和水平距离的估计。在一些实施方式和情形中,可以在全景图像捕获期间测量台阶的高度和/或深度,无论是手动地还是自动地使用关于台阶中的一个上的已知大小的物体。另外,在一些实施方式中,可以使用图像处理来自动地确定台阶的量,其中该信息与台阶深度信息进行组合以确定楼梯的水平长度(可选地考虑到脚踢板上方的台阶踏步板的突出/悬垂)和/或与台阶高度信息进行组合以确定台阶的竖直高度。以此方式,这种实施方式可以使用最少数量的捕获的全景图像中的具有明确语义含义的相对稀疏几何特征(例如,一个或多个全景图像中的表示楼梯的脚和顶的线)来执行两个楼层上的房间的连接,而不是使用具有很多全景图像的密集数据(例如,以提供密集视觉连接信息)和/或沿着楼梯得到的其他密集测量。
另外,在至少一些实施方式中,在建筑物外部获得的附加信息可以用作生成建筑物的楼层平面图的部分,诸如在建筑物的外部采集的一个或多个全景图像(例如,其中建筑物中的一些或全部可见)、所采集的相同房产上的附属建筑物或其他结构的一个或多个全景图像、来自俯视的卫星图像和/或无人机图像、来自与建筑物相邻的街道的图像、来自房产记录或其他源的关于建筑物的外部的尺寸的信息等。作为一个示例,一个或多个外部全景图像可以用于识别建筑物的外墙的形状、外墙中的一个或多个窗的量和/或位置、建筑物的从外部可见的一个或多个楼层的识别等,诸如根据对全景图像的自动化分析和/或基于一个或多个MIGM系统操作者用户对全景图像的手动注释,并且这种信息随后用于根据可能的房间连接如何与从外部全景图像采集的信息拟合来消除/选择可能的房间连接和/或对其进行排列。作为另一个示例,一个或多个外部全景图像可以被视作包围建筑物或以其他方式与建筑物相关的一个或多个外部房间的部分,其中对外部房间进行建模(例如,用房间形状)并连接到楼层平面图中的建筑物的其他内部房间并且与其他内部房间一起使用和/或以其他方式使用。将了解,在至少一些实施方式中,可以类似地提供多种其他类型的功能。
图3是说明执行ABIA系统350的实施方式的一个或多个服务器计算系统300、执行MIGM系统389的实施方式的一个或多个服务器计算系统380、执行ICA系统368的实施方式的一个或多个图像采集移动计算装置360以及其他客户端计算装置390的实施方式的框图。服务器计算系统300和380以及计算装置360和390(以及ABIA和/或MIGM和/或ICA系统)可以使用多个硬件部件来实施,所述多个硬件部件形成适合于且被配置为在组合操作时执行本文描述的技术中的至少一些的电子电路。可以类似地使用一个或多个附加的单独相机装置,以便补充或代替移动装置360来采集建筑物图像,但在此示例中未说明。在所说明的实施方式中,每个服务器计算系统300包括一个或多个硬件中央处理单元(“CPU”)或其他硬件处理器305、各种输入/输出(“I/O”)部件310、存储装置320以及存储器330,其中所说明的I/O部件包括显示器311、网络连接件312、计算机可读介质驱动器313以及其他I/O装置315(例如,键盘、鼠标或其他指示装置、麦克风、扬声器、GPS接收器等)。每个服务器计算系统380以及计算装置360和390可以具有类似的部件,但为了简洁起见,仅说明了一些这种部件(例如,服务器计算系统380的一个或多个硬件处理器381、存储器387、存储装置385和I/O部件382;移动装置360的一个或多个硬件处理器361、存储器367、存储装置365和I/O部件362;等)。
在此说明的实施方式中,服务器计算系统300和执行的ABIA系统350以及服务器计算系统380和执行的MIGM系统389以及移动计算装置360和执行的ICA系统368以及诸如客户端装置390的其他装置(例如,由ABIA和/或MIGM和/或ICA系统的系统操作者用户用来与那些相应的系统交互;由最终用户用来查看楼层平面图,和可选地相关联的图像和/或其他相关信息;等)和/或可选的其他可导航装置395(例如,以供半自主或全自主车辆或其他装置使用)可以彼此通信并且经由一个或多个网络399(例如,互联网、一个或多个蜂窝电话网络等)与其他计算系统和装置通信。在其他实施方式中,所描述的功能中的一些可以组合在更少的计算系统中,以便将ABIA系统350和ICA系统368组合在单个系统或装置中,将ABIA系统350和MIGM系统389组合在单个系统或装置中,将MIGM系统389和ICA系统368组合在单个系统或装置中,将ABIA系统350和ICA系统368以及MIGM系统389组合在单个系统或装置中等。
在所说明的实施方式中,ABIA系统350的实施方式在服务器计算系统300的存储器330中执行以便执行所描述的技术中的至少一些,诸如使用处理器305以将处理器305和计算系统300配置为执行实施那些描述的技术的自动化操作的方式执行系统350的软件指令。ABIA系统的所说明的实施方式可以包括一个或多个部件(未示出)以各自执行ABIA系统的功能的部分(包括可选地包括ICA系统368和/或MIGM系统389),并且存储器可以进一步可选地执行一个或多个其他程序335(例如,ICA系统368和/或MIGM系统389,诸如代替或补充服务器计算系统380上的MIGM系统389和/或移动装置360上的ICA系统368)。ABIA系统350在其操作期间可以进一步存储和/或检索存储装置320上的各种类型的数据(例如,在一个或多个数据库或其他数据结构中),诸如如下中的一个或多个:所采集的(例如,360°全景图像的)图像信息324,诸如来自ICA系统368(例如,由MIGM系统分析以产生房间布局信息和/或以其他方式帮助生成楼层平面图;由ABIA系统分析以评估图像属性(诸如质量和/或对楼层平面图生成过程的共享)并且确定初始估计房间形状信息;提供给客户端计算装置390的用户以供显示;等);关于一个或多个建筑物的房间的房间形状和布局的所生成或接收的信息325(例如,房间形状以及门和窗以及其他墙壁开口在房间的墙壁中的位置);一个或多个建筑物的所生成的楼层平面图和其他关联的测绘信息326(例如,所生成并保存的2.5D和/或3D模型、与关联的楼层平面图一起使用的建筑物和房间尺寸、附加图像和/或注释信息等);关于评估的图像属性和关联的评估的生成过程特性的信息327;与提供到参与图像采集过程的用户和/或装置的指令或其他反馈有关的信息328;可选地各种类型的用户信息322(例如,与参与图像采集过程的用户有关,诸如历史结果、用户属性、用户偏好和/或关于执行生成过程的供应的指令、用于生成过程中的关联的房产信息等);和/或各种类型的附加可选信息329(例如,与由ICA系统捕获和/或由MIGM系统建模的一个或多个建筑物内部或其他环境的呈现或其他使用相关的各种信息)。
另外,在所说明的实施方式中,ICA系统368的实施方式在图像采集移动计算装置360的存储器367中执行,以便执行所描述的技术中的至少一些,诸如通过使用处理器361以将处理器361和计算装置360配置为执行实施那些描述的技术的自动化操作的方式执行系统368的软件指令。ICA系统的所说明的实施方式可以包括一个或多个部件(未示出)以各自执行ICA系统的功能的部分,并且存储器可以进一步可选地执行一个或多个其他程序(未示出)。ICA系统368在其操作期间还可以存储和/或检索存储装置385上的各种类型的数据(例如,在一个或多个数据库或其他数据结构中),诸如与所采集的图像和可选地关联的采集元数据有关的信息386,以及可选地在此示例中未示出的其他类型的信息(例如,关于ICA系统操作者用户、附加图像和/或注释信息、一个或多个图像的尺寸/大小信息等)。
此外,在所说明的实施方式中,MIGM系统389的实施方式在服务器计算系统380的存储器387中执行,以便执行所描述的技术中的至少一些,诸如使用处理器381以将处理器381和计算系统380配置为执行实施那些描述的技术的自动化操作的方式执行系统389的软件指令。MIGM系统的所说明的实施方式可以包括一个或多个部件(未示出)以各自执行MIGM系统的功能的部分,并且存储器还可以可选地执行一个或多个其他程序(未示出)。MIGM系统389在其操作期间可以进一步存储和/或检索存储装置385上的各种类型的数据(例如,在一个或多个数据库或其他数据结构中),诸如与所生成的楼层平面图和/或其他所生成的建筑物测绘信息有关的信息386,以及可选地在此示例中未示出的其他类型的信息(例如,关于MIGM系统操作者用户等)。
用户客户端计算装置390(例如,移动装置)、图像采集移动装置360、可选的其他可导航装置395和其他计算系统(未示出)中的一些或全部可以类似地包括对于服务器计算系统300所说明的相同类型部件中的一些或全部。作为一个非限制性示例,图像采集移动装置360各自被示出为包括一个或多个硬件CPU361、I/O部件362、存储装置365和存储器367,其中一个或多个客户端应用368(例如,特定于ABIA系统和/或MIGM系统和/或ICA系统的应用;浏览器,未示出;可选的其他执行程序,未示出;等)在存储器367内执行,以便参与与ABIA系统350、MIGM系统389和/或其他计算系统的通信。装置360各自还包括一个或多个成像系统364和IMU硬件传感器369以及可选地其他部件(例如,照明系统、深度感测系统、位置传感器等),诸如用于采集图像和装置360的关联移动数据。尽管对于其他可导航装置395或其他计算系统390未说明特定部件,但是将了解,它们可以包括类似和/或附加的部件。
还将了解,计算系统300和380和计算装置360以及图3内所包括的其他系统和装置仅仅是说明性的,并且不旨在限制本发明的范围。系统和/或装置可以改为各自包括多个交互的计算系统或装置,并且可以连接到未具体说明的其他装置,包括经由蓝牙通信或其他直接通信、通过一个或多个网络(诸如,互联网)、经由Web或者经由一个或多个专用网络(例如,移动通信网络等)进行连接。更一般地,装置或其他计算系统可以包括可选地在被编程或以其他方式配置有特定软件指令和/或数据结构时可以交互并执行所描述类型的功能的硬件的任何组合,装置或其他计算系统包括但不限于台式计算机或其他计算机(例如,平板计算机、平板电脑等)、数据库服务器、网络存储装置和其他网络装置、智能手机和其他蜂窝电话、消费者电子装置、可穿戴装置、数字音乐播放器装置、手持式游戏装置、PDA、无线电话、互联网电器、以及包括适当通信能力的各种其他消费者产品。另外,在一些实施方式中,由所说明的ABIA系统350和/或ICA系统368和/或MIGM系统389提供的功能可以分布在各种部件中,可以不提供ABIA系统350和/或ICA系统368和/或MIGM系统389的所描述的功能中的一些,并且/或者可以提供其他附加的功能。
还将了解,尽管各种条目被说明为在使用时存储在存储器中或在存储装置上,但是出于存储器管理和数据完整性的目的,这些条目或其部分可以在存储器和其他存储装置之间转移。替代地,在其他实施方式中,软件部件和/或系统中的一些或全部可以在另一个装置上的存储器中执行并且经由计算机间通信与所说明的计算系统通信。因此,在一些实施方式中,当被一个或多个软件程序(例如,被在服务器计算系统300上执行的ABIA系统350、被在装置360上和/或在服务器计算系统300上执行的ICA系统368、被在服务器计算系统380和/或在服务器计算系统300上执行的MIGM系统389等)和/或数据结构配置时,所描述的技术中的一些或全部可以由包括一个或多个处理器和/或存储器和/或存储装置的硬件器件执行,诸如通过执行该一个或多个软件程序的软件指令和/或通过存储这种软件指令和/或数据结构,并且以便执行如在流程图和本文的其他公开内容中所描述的算法。此外,在一些实施方式中,可以以其他方式实施或提供系统和/或部件中的一些或全部,诸如由部分地或完全地在固件和/或硬件中实施(例如,而不是作为由配置特定CPU或其他处理器的软件指令全部或部分地实施的装置)的一个或多个装置组成,包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如,通过执行适当的指令,并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等。部件、系统和数据结构中的一些或全部还可以(例如,作为软件指令或结构化数据)存储在非暂时性计算机可读存储介质上,诸如硬盘或闪存驱动器或者其他非易失性存储装置、易失性或非易失性存储器(例如,RAM或闪存RAM)、网络存储装置或者便携式媒体制品(例如,DVD盘、CD盘、光盘、快闪存储器装置等),以便由适当的驱动器或经由适当的连接来读取。在一些实施方式中,系统、部件和数据结构还可以经由所生成的数据信号(例如,作为载波或者其他模拟或数字传播信号的部分)在多种计算机可读传输介质上传输,计算机可读传输介质包括基于无线和基于有线/电缆的介质,并且可以采取多种形式(例如,作为单个或多路模拟信号的部分,或作为多个离散数字包或帧)。在其他实施方式中,这种计算机程序产品还可以采取其他形式。因此,可以利用其他计算机系统配置来实践本公开的实施方式。
图4说明了用于自动化建筑物信息评估(ABIA)系统例程400的流程图的示例实施方式。该例程可以例如通过执行图1A的ABIA系统150、图3的ABIA系统350和/或如在本文的其他地方所描述的ABIA系统来执行,以便作为执行至少部分地基于那些图像的自动化测绘信息生成过程的特性的自动化评估的部分来分析并评估建筑物图像(例如,以评估完成自动化生成过程的预测时间量),并且提供指令或其他反馈(例如,提供给参与图像采集过程的一个或多个用户)来改进生成过程。在图4的示例中,作为建筑物的楼层平面图的自动化生成过程的部分,采集并评估建筑物的图像(例如,360°全景图像),其中该楼层平面图然后被提供用于一个或多个后续用途,但在其他实施方式中,可以采集并评估其他类型的信息(无论是补充和/或还是代替图像),和/或可以生成其他类型的测绘相关信息(无论是补充和/或还是代替楼层平面图)并以其他方式使用,包括对于其他类型的结构和限定区域,如在本文的其他地方讨论。
例程的所说明的实施方式在框405处开始,其中接收信息或指令。例程继续到框410以确定框405的信息或指令是否指示采集图像和可选地表示建筑物的其他数据并且在采集过程期间执行相关联的评估和反馈,并且如果是的话,继续执行框415至485,否则继续到框490。在框415中,例程获得与采集过程和建筑物的楼层平面图和/或其他测绘信息的对应生成过程相关的信息,以便获得与建筑物有关、与参与采集过程的一个或多个用户有关、与可用于生成过程的资源有关等的信息(例如,如在框405中接收或从存储装置或其他源检索),并且可选地确定并提供生成过程的一个或多个特性的初始估计(例如,根据建筑物信息以及采集的用户和可用资源来完成生成过程的估计时间,诸如至少部分地基于也使用可用资源中的一些或全部执行的其他计算相关活动)。在至少一些实施方式中,经由显示的GUI将初始估计提供给参与采集过程的一个或多个用户,诸如在移动图像采集计算装置上或在与将采集图像的相机装置相关联的另一个移动装置上。在框415之后,例程继续到框420,其中执行ICA系统例程以在建筑物处采集一个或多个图像(例如,在建筑物的内部内,诸如在建筑物的一个或多个第一房间内)和可选地关联的附加数据(例如,音频、采集元数据等),并且返回所采集的图像和任何其他采集的数据以及可选地由ICA系统执行的任何图像相关评估。关于图6进一步说明了用于ICA系统的例程的一个示例。
在框430中,例程然后评估在建筑物处采集的一个或多个图像以确定与图像对建筑物的楼层平面图的生成过程的贡献相关的一个或多个属性,并且评估生成过程的对应特性,以便提供最初在框415中评估的一个或多个特性的更新估计。另外,在至少一些实施方式中,例程在框430中可选地进一步确定在图像中可见的一个或多个房间的初始房间形状,诸如稍后将由MIGM系统细化为最终房间形状的粗略或局部房间形状。在框430之后,例程继续到框440,其中可选地执行MIGM系统例程以至少部分地基于采集的图像的视觉数据来至少生成建筑物的局部楼层平面图,并且返回局部楼层平面图(如果生成的话)和可选地由MIGM系统执行的任何楼层平面图相关评估(例如,与所确定的房间形状相关联的不确定性)。在框440之后,例程继续到框445,其中基于在框430和可选地在框420和/或440中执行的评估来确定要提供的反馈,并且将所确定的反馈提供给与采集过程相关联的一个或多个用户(例如,经由所显示的GUI),以便更新在框415中提供的初始估计信息(如果有的话)并且可选地显示来自框430的初始估计房间形状和/或来自框440的局部楼层平面图信息和/或所采集的图像中的一些或全部连同反馈。在框445之后,例程继续到框450,其中确定是否存在在其处要采集建筑物的图像的更多采集位置,并且如果是的话,则返回到框420以采集一个或多个附加指令。
如果改为在框450中确定不存在在其处要采集建筑物的附加图像的附加采集位置,则例程继续到框460,其中可选地确定生成过程的一个或多个特性的最终估计并且将其提供给与采集过程相关联的一个或多个用户(例如,经由所显示的GUI)。另外,如果在框415至445的最后迭代期间,在框440中未确定最终楼层平面图,则例程在框460中可选地执行MIGM系统例程以确定最终楼层平面图和可选地建筑物的其他测绘信息,以及可选地将最终楼层平面图显示给与采集过程相关联的一个或多个用户(例如,经由所显示的GUI)。在框460之后,例程继续到框485,其中存储关于框415至460确定、生成和评估的信息,并且可选地将信息(例如,建筑物的所生成的最终楼层平面图和/或其他测绘信息)中的一些或全部提供给一个或多个接收方以供进一步使用。
如果改为在框410中确定在框405中接收到的指令或其他信息不是采集并评估表示建筑物的数据,则例程改为继续到框490,其中视情况执行一个或多个其他所指示的操作。这种其他所指示的操作的非排他性示例包括以下各者中的一个或多个:将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,诸如ABIA系统的操作者用户、采集一个或多个建筑物内部的图像并且指定用于那些采集和评估过程的偏好和/或设置的移动装置的用户,等)、响应于对所产生和存储的信息(例如,对先前生成的楼层平面图和/或其他建筑物测绘信息、对先前确定的评估和/或反馈等)的请求、获得和存储关于系统的用户的其他信息、执行任何家政任务等。
在框485或490之后,例程前进到框495以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回到框405以等待附加的指令或信息,并且如果不是的话,则前进到框499并结束。
尽管在一些实施方式中,例程400可以以同步方式操作(例如,在框420和/或440处等待以分别从ICA和/或MIGM系统接收响应),但在其他实施方式中,例程400可以以异步方式操作,诸如当在框420和/或440处等待或者以其他方式执行其他处理时执行其他处理活动(例如,对在框405处接收的其他指令或信息进行响应)。另外,尽管未相对于在图4的示例实施方式中所示的自动化操作说明,但在一些实施方式中,人类用户可以进一步帮助促进ABIA系统的一些操作,诸如供ABIA系统的操作者用户和/或最终用户提供进一步用于后续自动化操作的一种或多种类型的输入,如在本文的其他地方所讨论。
图6说明了ICA(图像捕获和分析)系统例程600的实施方式的示例流程图。该例程可以由例如图1A的ICA系统160、图3的ICA系统368执行和/或如本文以其他方式描述的那样执行,以便在建筑物或其他结构内的采集位置处采集360°全景图像和/或其他图像,诸如用于后续生成相关楼层平面图和/或其他测绘信息。尽管关于在特定采集位置处采集特定类型的图像讨论了示例例程600的部分,但是将了解,这个或类似的例程可以用于采集视频或其他数据(例如,音频),无论是代替还是补充这种图像。另外,尽管所说明的实施方式采集并使用来自目标建筑物的内部的信息,但是将了解,其他实施方式可以对于其他类型的数据(包括对于非建筑物结构和/或对于一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术。此外,例程中的一些或全部可以在用户所使用的移动装置上执行以采集图像信息,和/或由远离这种移动装置的系统执行。在至少一些实施方式中,可以从图4的例程400的框420调用例程600,其中作为该框420的实施方式的部分,将来自例程600的对应信息提供到例程400,并且其中在这种情形中,在框677和/或699之后,处理控制返回到例程400。在其他实施方式中,例程400可以以异步方式继续附加操作而无需等待返回这种处理控制(例如,一旦将来自例程600的对应信息提供到例程400就前进到框430、在等待将来自例程600的对应信息提供到例程400时继续其他处理活动等)。
例程的所说明的实施方式在框605处开始,其中接收指令或信息。在框610处,例程确定接收到的指令或信息是否指示采集表示建筑物内部的视觉数据和/或其他数据,并且如果否的话,则继续到框690。否则,例程前进到框612以接收在第一采集位置开始图像采集过程的指示(例如,从将执行采集过程的移动图像采集装置的用户接收)。在框612之后,例程前进到框615以便执行用于采集在感兴趣的目标建筑物的内部中的采集位置的360°全景图像的采集位置图像采集活动,诸如经由移动装置上的一个或多个鱼眼镜头和/或非鱼眼直线镜头并且提供围绕竖直轴的至少360°的水平覆盖范围,但在其他实施方式中,可以采集其他类型的图像和/或其他类型的数据。作为一个非排他性示例,移动图像采集装置可以是配备有鱼眼镜头(例如,具有180°度的水平覆盖范围)和/或其他镜头(例如,具有少于180°度的水平覆盖范围,诸如常规的镜头或广角镜头或超广镜头)的旋转(扫描)全景相机。例程还可以可选地从用户获得关于采集位置和/或周围环境的注释和/或其他信息,诸如供稍后用于呈现关于该采集位置和/或周围环境的信息。
在完成框615之后,例程继续到框620以确定是否存在在其处要采集图像的更多采集位置,诸如基于由移动装置的用户提供对应信息。在一些实施方式中,ICA例程将仅采集单个图像并且然后前进到框677以提供该图像和对应的信息(例如,以将图像和对应的信息返回到ABIA系统和/或MIGM系统以在接收到附加指令或信息之前进一步使用,以便在一个或多个下一采集位置采集一个或多个下一图像)。如果在当前时间存在在其处要采集附加图像的更多采集位置,当用户准备继续该过程时,例程继续到框622以可选地发起在移动装置沿着远离当前采集位置而朝向建筑物内部内的下一个采集位置的行进路径移动期间捕获链接信息(例如,加速度数据)。所捕获的链接信息可以包括在这种移动期间记录的附加传感器数据(例如,来自移动装置上或以其他方式由用户携带的一个或多个IMU或惯性测量单元)和/或附加视觉信息(例如,图像、视频等)。可以响应于来自移动装置的用户的明确指示或者基于从移动装置记录的信息的一个或多个自动化分析,执行发起对这种链接信息的捕获。另外,在一些实施方式中,例程还可以可选地在移动到下一采集位置期间监测移动装置的运动,并且向用户提供关于以下各者的一个或多个引导暗示:移动装置的运动、正被捕获的传感器数据和/或视频信息的质量、关联的照明/环境条件、捕获下一采集位置的可取性、以及捕获链接信息的任何其他合适方面。类似地,例程可以可选地从用户获得关于行进路径的注释和/或其他信息,诸如供稍后用于呈现关于该行进路径或得到的全景间图像连接链路的信息。在框624中,例程确定移动装置已到达下一采集位置(例如,基于来自用户的指示、基于用户的向前移动在至少预定义的时间量内停止等)以用作新的当前采集位置,并且返回到框615以便对于该新的当前采集位置执行采集位置图像采集活动。
如果改为在框620中确定不存在要在当前时间在其处要采集当前建筑物或其他结构的图像信息的任何更多采集位置,则例程前进到框635以可选地分析建筑物或其他结构的采集位置信息,以便识别要在建筑物内部内采集的可能附加覆盖范围(和/或其他信息)、可选地将对应的指令或其他反馈提供到用户和/或图像采集装置,并且可选地收集如所指示的附加信息(例如,一个或多个替换图像、一个或多个附加的新图像等)。尽管在示例实施方式中未示出,但在一些实施方式中,例程600可以改为从外部源接收一些或全部这种反馈(例如,ABIA系统,诸如在到达框635之前,将在框615处采集的图像中的一个或多个发送到ABIA系统之后,未示出)。例如,ICA系统可以向用户提供关于在捕获多个采集位置和可选地对应的链接信息期间所采集的信息的一个或多个通知,诸如如果确定所捕获的信息的一个或多个片段的质量不足或不合乎期望或者似乎没有提供完整的建筑物覆盖范围的话。在框635之后,例程继续到框645以可选地先预处理所采集的360°全景图像,然后随后将其用于生成相关的测绘信息,以便产生特定类型和/或呈特定格式的图像(例如,以对每个这种图像执行等量矩形投影,其中诸如典型的矩形门框或在2个相邻墙壁之间的典型边界的侧面的平直竖直数据保持平直,并且其中诸如典型的矩形门框或墙壁与地板之间的边界的顶部的平直水平数据在图像的水平中线处保持平直,但在等量矩形投影图像中随着在图像中距水平中线的距离增加而以相对于水平中线凸出的方式逐渐地弯曲)。在框655中,例程然后可选地评估所采集的图像的一个或多个属性,诸如关于图像的质量,或以其他方式评估图像的视觉数据对生成过程的贡献程度(例如,在生成建筑物的楼层平面图和/或其他测绘信息时),但在其他实施方式中,可以由另一个例程(例如,由ABIA系统的例程400)执行这种评估或可以不执行这种评估。在框677中,存储这些图像和任何关联的生成的或获得的信息以供稍后使用,并且可选地提供给一个或多个接收方(例如,提供到例程400的框420,如果从该框调用的话)。图5A至图5B说明了用于从这种所生成的全景信息生成建筑物内部的楼层平面图表示的例程的一个示例。
如果在框610中改为确定在框605中列举的指令或其他信息不是采集表示建筑物内部的图像和其他数据,但例程改为继续到框690以视情况执行任何其他所指示的操作,诸如任何家政任务,将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,诸如捕获一个或多个建筑物内部的移动装置的用户、ICA系统的操作者用户,等)、响应于对所产生和存储的信息的请求(例如,以识别匹配一个或多个指定的搜索标准的各自表示建筑物或建筑物的部分的一组或多组互连的链接全景图像、匹配一个或多个指定的搜索标准的一个或多个全景图像等)、生成并存储建筑物或其他结构的全景图像之间的全景图像间连接(例如,对于每个全景图像,确定该全景图像内的朝向一个或多个其他全景图像的一个或多个其他采集位置的方向,以便使得对于来自全景图像的每个这种确定的方向,该全景图像能够稍后显示箭头或其他视觉表示,以便使得最终用户能够选择所显示的视觉表示中的一个以切换到与所选择的视觉表示相对应的另一采集位置处的另一全景图像的显示)、获得并存储关于系统的用户的其他信息等。
在框677或690之后,例程前进到框695以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续,则例程返回到框605以等待附加的指令或信息,并且如果否的话,则前进到步骤699并结束。
图5A至图5B说明了用于MIGM(测绘信息生成管理器)系统例程500的流程图的示例实施方式。该例程可以通过例如执行图1A的MIGM系统140、图3的MIGM系统389和/或如在本文的其他地方描述的MIGM系统来执行,以便通过分析来自在房间中采集的一个或多个图像(例如,一个或多个360°全景图像)的信息来确定房间(或其他限定的区域)的房间形状、至少部分地基于区域的一个或多个图像和可选地由移动计算装置捕获的附加数据来生成建筑物或其他限定区域的楼层平面图,和/或至少部分地基于区域的一个或多个图像和可选地由移动计算装置捕获的附加数据来生成建筑物或其他限定区域的其他测绘信息。在图5A至图5B的示例中,房间的所确定的房间形状可以是平面表面的3D全封闭组合,以表示房间的墙壁和天花板和地板,并且为建筑物(例如,房屋)生成的测绘信息可以包括2D楼层平面图和/或3D计算机模型楼层平面图,但在其他实施方式中,可以以其他方式生成和使用其他类型的房间形状和/或测绘信息(例如,以生成2D房间形状),包括用于其他类型的结构和定义的区域,如在本文的其他地方讨论。在至少一些实施方式中,可以从图4的例程400的框440调用例程500,其中作为该框440的实施方式的部分,将来自例程500的对应信息提供到例程400,并且其中在这种情形中,处理控制在框588和/或599之后返回到例程400。在其他实施方式中,例程400可以以异步方式继续附加操作而无需等待返回这种处理控制(例如,一旦将来自例程500的对应信息提供到例程400就前进到框445、在等待将来自例程500的对应信息提供到例程400时继续其他处理活动等)。
例程的所说明的实施方式在框505处开始,其中接收信息或指令。例程继续到框510以确定图像信息是否已经可用于对于一个或多个房间(例如,对于所指示的建筑物的一些或全部,诸如基于在框505中接收的一个或多个这种图像)进行分析,或是否当前要采集这种图像信息。如果在框510中确定当前采集一些或全部图像信息,则例程继续到框512以采集这种信息,可选地等待一个或多个用户或装置移动穿过建筑物的一个或多个房间并且在一个或多个房间中的一个或多个采集位置(例如,在建筑物的每个房间中的多个采集位置)处采集全景图或其他图像,可选地连同关于采集的元数据信息和/或与采集位置之间的移动相关的互连信息,如在本文的其他地方更详细地讨论。框512的实施方式可以例如包括调用ICA系统例程来执行这种活动,其中图6提供了用于执行这种图像采集的ICA系统例程的一个示例实施方式。如果改为在框510中确定当前不采集图像,则例程改为继续到框515以从一个或多个房间中的一个或多个采集位置获得一个或多个现有的全景或其他图像(例如,在包括至少一个图像的多个采集位置和建筑物的每个房间中的采集位置处采集的多个图像),可选地连同关于与采集位置之间的移动有关的采集和/或互连信息的元数据信息,诸如在一些情形中可能已连同对应的指令在框505中被供应。
在框512或515之后,例程继续到框520,其中确定是否生成包括建筑物或其他组房间的一组链接的目标全景图像(或其他图像)的测绘信息(有时被称为“虚拟巡视”,以便使得最终用户能够从链接组的图像中的任一个移动到与起始当前图像链接的一个或多个其他图像,包括在一些实施方式中,经由对于连同当前图像一起显示的每个这种其他链接图像来选择用户可选择控件,可选地通过将这种用户可选择控件和对应的图像间方向的视觉表示叠加在当前图像的视觉数据上,并且类似地从下一图像移动到与下一图像链接的一个或多个附加图像等),并且如果是的话,则继续到框525。在框525中,例程选择图像中的至少一些的对(例如,基于具有重叠的视觉内容的一对的图像),并且对于每一对,基于共享的视觉内容和/或与该对的图像相关的其他捕获的链接互连信息(例如,移动信息)来确定该对的图像之间的相对方向(无论是从该对的一个图像的采集位置直接到该对的另一个图像的采集位置的移动,还是改为经由其他图像的一个或多个其他中间采集位置的那些起始和结束采集位置之间的移动)。在框525中,例程可以进一步可选地至少使用图像对的相对方向信息来确定在共同坐标系中一些或全部的图像相对于彼此的全局相对位置,和/或生成图像间链接和对应的用户可选择控件,如上所述。在本文的其他地方包括关于创建这种一组链接的图像的附加细节。
在框525之后,或如果改为在框520中确定在框505中接收的指令或其他信息不是确定一组链接的图像,则例程继续到框530以确定在框505中接收的指令是否指示从房间中的先前或当前采集的图像(例如,从在房间中的每一个中采集的一个或多个全景图像)确定一个或多个房间的形状,并且如果是的话,则继续到框545。否则,例程继续到框535以确定在框505中接收到的指令是否指示生成所指示的建筑物的其他测绘信息(例如,楼层平面图),并且如果是的话,则例程继续执行框537至585以这样做,否则继续到框590。
在框537中,例程可选地获得关于建筑物的附加信息,诸如来自在图像的采集和可选地分析图像期间所执行的活动、和/或来自一个或多个外部来源(例如,在线数据库、由一个或多个最终用户提供的信息等)。这种附加信息可以包括例如建筑物的外部尺寸和/或形状、与建筑物内的特定位置(可选地对于不同于所采集的全景或其他图像的采集位置的位置)对应的所采集的附加图像和/或注释信息、与建筑物外部的特定位置(例如,围绕建筑物和/或对于同一房产上的其他结构)对应的所采集的附加图像和/或注释信息等。
在框537之后,例程继续到框540以确定是否生成封闭所采集的建筑物的图像的房间的房间形状,以用于生成建筑物的楼层平面图,并且如果不是的话(例如,如果房间形状信息已经可用于建筑物的房间),则继续框570。否则,如果在框540中确定来确定房间形状以用于生成建筑物的楼层平面图,或者在框530中从采集的图像中确定一个或多个房间形状(例如,而不生成其他与测绘相关的信息),则例程继续执行框545至555以生成一个或多个房间的房间形状。
具体地,例程在框545中继续选择下一个房间(从第一个房间开始),在该房间中采集的一个或多个图像(例如,360°全景图像)可用于该下一个房间,以确定那些全景图像中的每一个的初始姿势信息(例如,如由全景图像的采集元数据供应),并且可选地获得每个全景图像的附加元数据(例如,用于采集相对于地板和/或天花板的全景图像的相机装置或其他图像采集装置的采集高度信息)。例程在框545中进一步分析房间的图像的视觉数据以确定房间形状(例如,通过至少确定墙壁位置)并且可选地识别其他墙壁和地板和天花板元素(例如,墙壁结构元素/特征,诸如窗、门道和楼梯以及其他房间间墙壁开口和连接通道、墙壁与另一个墙壁和/或天花板和/或地板之间的墙壁边界等)以及它们在房间的所确定的房间形状内的位置(例如,通过生成房间墙壁和可选地天花板和/或地板中的一些或全部的3D点云,诸如至少通过分析全景图像的视觉数据和可选地由图像采集装置或相关联的移动计算装置捕获的附加数据,可选地使用SfM(运动恢复结构)或SLAM(同时定位和测绘)或MVS(多视角立体观察)分析中的一个或多个)。在本文的其他地方包括关于确定房间形状和识别房间的附加信息的附加细节,包括在房间中采集的图像的初始估计采集姿势信息。
在框545之后,例程继续到框555,其中确定是否有更多的房间可以基于在这些房间中采集的图像来确定房间形状,并且如果是的话,则返回到框545以选择用于确定房间形状的下一这种房间。
如果改为在框555中确定没有更多房间可以为其生成房间形状,或者在框540中不确定房间形状,则例程继续到框570以(例如,至少部分地基于从框545确定的房间形状,以及可选地关于如何相对于彼此定位确定的房间形状的另外信息)确定是否进一步生成建筑物的楼层平面图。如果否的话,诸如当仅确定房间形状而不生成建筑物的另外测绘信息时(例如,以基于由ICA系统在房间中采集的一个或多个图像来为ABIA系统确定单个房间的房间形状),则例程继续到框588。否则,例程继续到框575以检索房间形状(例如,在框545中生成的房间形状)或以其他方式获得建筑物的房间的房间形状(例如,基于人类供应的输入),无论是2D房间形状还是3D房间形状,并且然后继续到框577。在框577中,例程使用房间形状以使用2D房间形状来创建初始2D楼层平面图(例如,通过使用3D房间形状的墙壁位置信息来确定3D房间形状的对应2D房间形状),通过连接它们各自房间中的房间间通道,通过可选地围绕目标图像的确定的采集位置来定位房间形状(例如,如果采集位置定位是相互连接并在共同的全局坐标系中的话),并且通过可选地应用一个或多个约束或优化。这种楼层平面图可以包括例如各种房间的相对位置和形状信息,而没有提供单独房间或作为整体的建筑物的任何实际尺寸信息,并且还可以包括建筑物的多个链接或关联的子地图(例如,以反映不同的楼层、层、区段等)。例程进一步关联门、墙壁开口和其他所识别的墙壁元素在楼层平面图上的位置。在框577之后,例程可选地执行一个或多个步骤580至583,以确定附加信息并将其与楼层平面图相关联。在框580中,例程可选地估计房间中的一些或全部的尺寸,诸如根据对图像和/或其采集元数据的分析或者根据对于建筑物的外部获得的整体尺寸信息,并且将所估计的尺寸与楼层平面图相关联。将了解,如果可获得足够详细的尺寸信息,则可以从楼层平面图生成建筑绘图、工程图纸等。在框580之后,例程继续到框583以可选地将进一步信息与楼层平面图(例如,具有在建筑物内的特定房间或其他位置)相关联,所述进一步信息诸如为具有指定的位置和/或注释信息的附加现有的图像。在框585中,如果来自框575的房间形状不是3D房间形状,例程进一步估计一些或全部房间中的墙壁的高度,诸如根据对图像的分析和可选地图像中的已知物体的大小、以及关于在采集图像时的相机的高度信息,并且使用该高度信息来生成房间的3D房间形状。例程进一步使用3D房间形状(无论来自框575还是框585)来生成建筑物的3D计算机模型楼层平面图,其中2D和3D楼层平面图彼此关联。在其他实施方式中,可能只生成并使用3D计算机模型楼层平面图(包括如果需要,通过使用3D计算机模型楼层平面图的水平切片来提供2D楼层平面图的视觉表示)。
在框585之后,或者如果改为在框570中确定不确定楼层平面图,则例程继续到框588以存储确定的房间形状和/或生成的测绘信息和/或其他生成的信息,以可选地将该信息中的一些或全部提供给一个或多个接收方(例如,提供到例程400的框440,如果从该框调用的话),并且可选地进一步使用所确定和生成的信息中的一些或全部,以便提供所生成的2D楼层平面图和/或3D计算机模型楼层平面图来显示在一个或多个客户端装置上和/或提供到一个或多个其他装置以用于那些装置和/或关联车辆或其他实体的自动化导航、以类似地提供和使用关于所确定的房间形状和/或一组链接的全景图像和/或关于根据房间的内容和/或房间之间的通道确定的附加信息的信息等。
如果改为在框535中确定在框505中接收到的信息或指令不是生成所指示的建筑物的测绘信息,则例程改为继续到框590以视情况执行一个或多个其他所指示的操作。这种其他操作可以包括例如接收对于先前生成的楼层平面图和/或先前确定的房间形状和/或其他生成的信息的请求(例如,请求ILDM系统使用这些信息,对于这种信息在一个或多个客户端装置上显示的请求、对于这种信息提供到一个或多个其他装置以用于自动化导航的请求等)并对其作出响应、获得和存储关于建筑物的信息以供在稍后操作中使用(例如,关于房间的尺寸、数量或类型、总建筑面积、相邻或附近的其他建筑物、相邻或附近的植被、外部图像等的信息)等。
在框588或590之后,例程继续到框595以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下才继续。如果确定继续,则例程返回框505以等待并接收附加指令或信息,否则继续到框599并结束。
尽管未说明相对于在图5A至图5B的示例实施方式中示出的自动化操作,但在一些实施方式中,人类用户可以进一步帮助促进MIGM系统的操作中的一些,诸如MIGM系统的操作者用户和/或最终用户提供进一步用于后续自动化操作的一种或多种类型的输入。作为非排他性示例,这种人类用户可以提供如下一种或多种类型的输入:提供输入以帮助链接一组图像,诸如在框525中提供被用作该框的自动化操作的部分的输入(例如,以指定或调整一个或多个图像对之间的初始自动地确定的方向、以指定或调整一些或全部图像相对于彼此的初始自动地确定的最终全局位置等);在框537中提供被用作后续自动化操作的部分的输入,诸如与建筑物有关的所说明的类型的信息中的一个或多个;相对于框545提供被用作后续自动化操作的部分的输入,以便指定或调整全景图像中的一个或多个的初始自动地确定的姿势信息(无论是初始姿势信息还是后续更新的姿势信息)和/或指定或调整自动地确定的元素位置和/或估计的房间形状,和/或手动地组合来自房间的多个估计房间形状的信息(例如,来自在房间中采集的不同图像的单独房间形状估计),以创建房间的最终房间形状,和/或指定或调整与最终房间形状有关的初始自动地确定的信息等;相对于框577提供被用作后续操作的部分的输入,以便指定或调整正在生成的楼层平面图内的房间形状的初始自动地确定的位置和/或指定或调整这种楼层平面图内的初始自动地确定的房间形状本身;相对于框580和583和585中的一个或多个提供被用作后续操作的部分的输入,以便指定或调整相对于那些框讨论的一种或多种类型的初始自动地确定的信息;等。在本文的其他地方包括关于其中一个或多个人类用户提供被进一步用于ABIA系统的附加自动化操作中的输入的实施方式的附加细节。
图7说明了用于建筑物地图访问系统例程700的流程图的示例性实施方式。该例程可以通过例如执行图1A的建筑物信息访问客户端计算装置175及其软件系统(未示出)、图3的客户端计算装置390和/或移动计算装置360、和/或如在本文的其他地方所描述的测绘信息访问查看器或呈现系统来执行,以便接收和显示生成的楼层平面图和/或限定区域的其他测绘信息(例如,3D模型楼层平面图、确定的房间结构布局/形状等),该测绘信息可选地包括一个或多个所确定的图像采集位置的视觉指示,以获得和显示与匹配一个或多个指示的目标图像的图像有关的信息,以获得和显示与在图像采集会话期间采集的一个或多个指示的目标图像对应的反馈(例如,相对于在该采集会话期间采集的其他图像和/或对于相关联的建筑物),以显示与测绘信息中的特定采集位置相关联的附加信息(例如,图像),显示由ABIA系统和/或其他源提供的反馈(例如,作为所显示的GUI的部分)等。在图7的示例中,所呈现的测绘信息是对于建筑物(诸如,房屋的内部),但在其他实施方式中,可以对于其他类型的建筑物或环境来呈现并以其他方式使用其他类型的测绘信息,如在本文的其他地方所讨论。
例程的所说明的实施方式在框705处开始,其中接收指令或信息。在框710处,例程确定在框705中接收的指令或其他信息是否将显示一个或多个目标建筑物的确定信息,并且如果是,则继续至框715,以使用特定标准来确定在框705中接收到的指令或信息是否将选择一个或多个目标建筑物,并且如果不是的话,则继续至框720以从用户获得要使用的目标建筑物的指示(例如,基于当前用户选择,诸如来自显示列表或其他用户选择机制;基于在框705中接收的信息;等)。否则,如果在框715中确定从特定标准选择一个或多个目标建筑物,则例程转而继续到框725,其中获得要使用的一个或多个搜索标准的指示,诸如从当前用户选择或如所指示的那样在框705接收到的信息或指令中,然后搜索关于建筑物的存储信息以确定满足搜索标准的建筑物中的一个或多个。在所说明的实施方式中,例程然后进一步从一个或多个返回的建筑物中选择最佳匹配目标建筑物(例如,对于指定的标准具有最高相似性或其他匹配率的返回的其他建筑物,或使用在框705中接收的指令或其他信息中指示的另一种选择技术)。
在框720或725之后,例程继续至框735以检索目标建筑物的楼层平面图和/或建筑物的其他所生成的测绘信息以及可选地建筑物内部或建筑物外部的周围位置的相关的链接信息的指示,并且选择检索到的信息的初始视图(例如,楼层平面图的视图、特定房间形状等)。在框740中,例程然后显示或以其他方式呈现检索到的信息的当前视图,并且在框745中等待用户选择。在框745中的用户选择之后,如果在框750中确定用户选择对应于调整当前目标建筑物的当前视图(例如,改变当前视图的一个或多个方面),则例程继续到框755以根据用户选择来更新当前视图,然后返回到框740以相应地更新所显示的或以其他方式呈现的信息。对当前视图的用户选择和对应更新可以包括例如显示或以其他方式呈现用户选择的一条相关的链接信息(例如,与所确定的采集位置的所显示的视觉指示相关的特定图像,以便将相关的链接信息叠加在至少一些先前的显示上)、和/或改变当前视图的显示方式(例如,放大或缩小;在适当时旋转信息;选择要显示或以其他方式呈现的楼层平面图的新部分,诸如其中该新部分中的一些或全部先前不可见,或者改为其中该新部分是先前可见信息的子集;等)。如果改为在框750中确定用户选择不显示当前目标建筑物的另外信息(例如,显示另一个建筑物的信息、结束当前显示操作等),则例程改为继续至框795,并且如果用户选择涉及这样的另外操作,则返回框705以执行用户选择的操作。
如果改为在框710中确定在框705中接收的指令或其他信息不呈现表示建筑物的信息,则例程改为继续到框760以确定在框705中接收的指令或其他信息是否对应于识别与一个或多个指示的目标图像对应的其他图像(如果有的话),并且如果继续到框765至770以执行这样的活动。具体地,框765中的例程接收用于匹配的一个或多个目标图像的指示(诸如来自在框705中接收的信息或基于与用户的一个或多个当前交互)连同一个或多个匹配标准(例如,视觉重叠的量),并且在框770中识别与指示的目标图像匹配的一个或多个其他图像(如果有的话),诸如通过与MIGM系统交互以获得其他图像。该例程然后在框770中显示或以其他方式提供与所识别的其他图像有关的信息,以便提供与它们有关的信息作为搜索结果的部分,以显示识别的其他图像中的一个或多个等。如果改为在框760中确定在框705中接收到的指令或其他信息不用于识别与一个或多个指示的目标图像对应的其他图像,则例程改为继续到框775以确定在框705中接收到的指令或其他信息是否与在图像采集会话期间获得和提供关于一个或多个指示的目标图像(例如,最近采集的图像)对应的反馈,并且如果是的话,则继续到框780,否则继续到框790。在框780中,例程获得关于一种或多种类型的反馈的信息(例如,所指示的目标图像与在当前图像采集会话期间采集的和/或对于当前建筑物采集的其他图像之间的视觉重叠量和/或其他关系),诸如通过与ABIA系统交互,并且在与反馈有关的框780中显示或以其他方式提供反馈。
在框790中,例程改为继续以视情况执行其他所指示的操作,以便将参数配置为在系统的各种操作中使用(例如,至少部分地基于由系统的用户指定的信息,用户诸如为采集一个或多个建筑物内部的移动装置用户、ABIA和/或MIGM系统的操作者用户等,包括用于对于特定用户根据他/她的偏好将信息显示个人化)、获得和存储关于系统用户的其他信息、响应于对于所生成和存储的信息的请求、执行任何家政任务等。
在框770或780或790之后,或者如果在框750中确定用户选择不对应于当前建筑物,则例程前进到框795以确定是否继续,诸如直到接收到明确的终止指示为止,或者改为只有在接收到明确的继续指示的情况下。如果确定继续(包括如果用户在框745中做出与要呈现的新建筑物有关的选择),则例程返回到框705以等待附加的指令或信息(或者如果用户在框745中做出与要呈现的新建筑物有关的选择,则直接继续到框735),并且如果不是的话,则前进到步骤799并结束。
在以下条款中进一步描述本文所描述的非排他性示例性实施方式。
A01.一种用于一个或多个计算装置以执行自动化操作的计算机实施的方法,所述自动化操作包括:
通过具有一个或多个相机的所述一个或多个计算装置中的一个并且在用户的控制下,在具有多个房间的建筑物的一个或多个第一房间中的一个或多个第一采集位置处采集一个或多个第一全景图像,其中,所述第一全景图像中的每一个呈球形格式并且包括围绕竖直轴的360度水平视觉覆盖范围,并且具有所述第一房间中的包括所述第一全景图像的相应第一采集位置的一个的至少一些墙壁的视觉覆盖范围;
通过所述一个计算装置,分析所述一个或多个第一全景图像的第一视觉数据以评估所述第一视觉数据的影响自动化楼层平面图生成过程的第一属性,所述自动化楼层平面图生成过程生成所述建筑物的楼层平面图并且是基于所述第一视觉数据和在稍后时间在所述建筑物的附加房间中的附加采集位置处的附加全景图像中采集的进一步视觉数据;
通过所述一个计算装置并且至少部分地基于所述第一视觉数据的所评估的第一属性,预测所述自动化楼层平面图生成过程的一个或多个特性,所述一个或多个特性包括完成生成所述建筑物的所述楼层平面图的预测时间量;
通过所述一个计算装置,向所述用户提供包括所述预测时间量和与所述第一视觉数据的所评估的第一属性有关的信息的反馈,以通过所述用户采集所述附加全景图像来致使所述自动化楼层平面图生成过程的改进;以及
通过所述一个计算装置,基于对于所述建筑物采集的进一步图像,重复地更新所述自动化楼层平面图生成过程的所预测的一个或多个特性,包括对于多个迭代中的每一个:
通过所述一个计算装置,在所述建筑物的一个或多个附加第二采集位置处采集所述附加全景图像中的一个或多个第二全景图像,其中,在所述多个房间中的至少一个第二房间中采集所述第二全景图像中的至少一个,并且所述第二全景图像中的至少一个具有对所述至少一个第二房间的至少一些墙壁的视觉覆盖范围;
通过所述一个计算装置,分析所述一个或多个第二全景图像的第二视觉数据以评估所述第二视觉数据的进一步影响所述自动化楼层平面图生成过程的第二属性,所述第二属性至少部分地基于所述第二视觉数据与一个或多个先前全景图像的其他视觉数据的重叠并且至少部分地基于所述第二视觉数据的质量;
通过所述一个计算装置并且至少部分地基于所评估的第二属性,预测所述自动化楼层平面图生成过程的一个或多个更新的特性,所述一个或多个更新的特性包括完成生成所述建筑物的所述楼层平面图的修改的预测时间量;以及
通过所述一个计算装置,向所述用户提供包括所述修改的预测时间量和关于所述第二视觉数据的所述评估的第二属性的信息的进一步反馈,以致使所述自动化楼层平面图生成过程的进一步改进。
A02.一种用于一个或多个计算装置以执行自动化操作的计算机实施的方法,所述自动化操作包括:
通过一个或多个计算装置并且对于具有多个房间的建筑物,获得由一个或多个用户在所述多个房间的子集中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个具有所述多个房间的其中定位有所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
通过所述一个或多个计算装置,分析所述一个或多个第一图像的视觉数据以评估所述一个或多个第一图像的一个或多个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,预测自动化生成过程的一个或多个特性以产生所述建筑物的楼层平面图,其中,所述自动化生成过程基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析,并且其中,所预测的一个或多个特性包括完成所述建筑物的所述楼层平面图的预测时间量;
通过所述一个或多个计算装置,将至少包括所述预测时间量的反馈呈现给所述一个或多个用户,以能够改进所述要采集的附加图像;
通过所述一个或多个计算装置,获得由所述一个或多个用户在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
通过所述一个或多个计算装置,分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
通过所述一个或多个计算装置并且至少部分地基于所评估的所述一个或多个第二图像的至少一个属性,预测所述自动化生成过程的一个或多个更新的特性,所述一个或多个更新的特性包括完成所述建筑物的所述楼层平面图的修改的预测时间量;以及
通过所述一个或多个计算装置,将至少包括所述修改的预测时间量的修改的反馈呈现给所述一个或多个用户,以能够进一步改进所述自动化生成过程。
A03.一种用于一个或多个计算装置以执行自动化操作的计算机实施的方法,所述自动化操作包括:
对于具有多个房间的建筑物,获得在所述多个房间中的一个或多个第一房间中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个均具有对所述第一房间中的包括所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
分析所述一个或多个第一图像的视觉数据,以评估所述一个或多个第一图像的一个或多个属性;
至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,生成用于产生所述建筑物的测绘信息的生成过程的一个或多个预测特性,所述一个或多个预测特性包括用于产生所述测绘信息的预测时间量,其中,所述生成过程至少部分地基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析;
提供至少包括所述预测时间量的反馈,以能够改进至少部分地源于要采集的所述附加图像的所述生成过程;
获得在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
至少部分地基于所述一个或多个第二图像的所评估的至少一个属性,生成所述生成过程的一个或多个更新的预测特性,所述一个或多个更新的预测特性包括用于产生所述建筑物的所述测绘信息的修改的预测时间量;以及
至少使用所述修改的预测时间量来能够进一步改进所述生成过程。
A04.一种用于一个或多个计算装置以执行自动化操作的计算机实施的方法,所述自动化操作包括:
通过所述一个或多个计算装置并且对于具有多个房间的建筑物,获得由一个或多个用户在一个或多个第一房间中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个均具有对所述第一房间中的包括所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
通过所述一个或多个计算装置,分析所述一个或多个第一图像的视觉数据,以评估所述一个或多个第一图像的一个或多个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,预测用于产生所述建筑物的楼层平面图的自动化生成过程的一个或多个特性,其中,所述自动化生成过程基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析,并且其中,所预测的一个或多个特性包括涉及产生所述建筑物的所述楼层平面图的一个或多个资源的预测量;
通过所述一个或多个计算装置,将至少包括所述一个或多个资源的所述预测量的反馈提供给所述一个或多个用户,以能够改进至少部分地源于采集所述附加图像的所述自动化生成过程;
通过所述一个或多个计算装置,获得由所述一个或多个用户在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
通过所述一个或多个计算装置,分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第二图像的所评估的至少一个属性,预测所述自动化生成过程的一个或多个更新的特性,所述一个或多个更新的特性包括涉及产生所述建筑物的所述楼层平面图的所述一个或多个资源的修改的预测量;以及
通过所述一个或多个计算装置,将至少包括所述一个或多个资源的所述修改的预测量的修改的反馈提供给所述一个或多个用户,以能够进一步改进所述自动化生成过程。
A05.如条款A01至A04中任一项所述的计算机实施的方法,其中,提供所述反馈和所述进一步反馈包括在所述一个或多个计算装置上显示的图形用户界面中显示所述反馈和所述进一步反馈,并且所述方法还包括:
在所述重复更新之前,通过所述一个或多个计算装置并且对于所述一个或多个第一房间中的每一个,使用所述第一视觉数据生成所述第一房间的房间形状的初始估计,并且连同所述反馈一起向所述用户显示所述第一房间的所述房间形状的所生成的初始估计的所述一个或多个第一房间中的每一个的视觉表示;以及
对于所述多个迭代中的每一个,通过所述一个或多个计算装置并且对于所述至少一个第二房间的在其处采集用于所述迭代的所述至少一个第二全景图像的每一个,使用所述第二视觉数据生成所述至少一个第二房间的房间形状的初始估计,并且连同所述进一步反馈一起向所述用户显示所述至少一个第二房间的所述房间形状的所生成的初始估计的所述至少一个第二房间中的每一个的进一步视觉表示,
并且其中,至少部分地基于与所述第一房间中的每一个的所述房间形状的所生成的初始估计相关联的第一房间形状不确定性,生成完成生成所述建筑物的所述楼层平面图的所述预测时间量,
并且其中,至少部分地基于与用于所述迭代的所述至少一个第二房间中的每一个的所述房间形状的所生成的初始估计相关联的第二房间形状不确定性,生成用于所述多个迭代中的每一个的所述修改的预测时间量。
A06.如条款A05所述的计算机实施的方法,还包括:
通过所述一个或多个计算装置并且通过一个或多个计算机网络向一个或多个服务器计算系统传输所述一个或多个第一全景图像,并且对于所述多个迭代中的每一个,传输对于所述迭代采集的所述一个或多个第二全景图像;
通过所述一个或多个服务器计算系统,使用所述第一视觉数据和使用对于所述多个迭代中的每一个采集的所述一个或多个第二全景图像的所述第二视觉数据来执行所述自动化楼层平面图生成过程,包括确定所述多个房间的最终房间形状并且使用所述最终房间形状来生成所述建筑物的所述楼层平面图;
通过所述一个或多个服务器计算系统并且通过所述一个或多个计算机网络向所述一个或多个计算装置传输所述建筑物的所生成的楼层平面图;以及
通过所述一个或多个计算装置并且向所述用户显示所述建筑物的所生成的楼层平面图。
A07.如条款A06所述的计算机实施的方法,还包括:
在采集所述一个或多个第一全景图像之前,
通过所述一个或多个计算装置,确定所述自动化楼层平面图生成过程的在当前时间可用于所述服务器计算系统的计算资源;以及通过所述一个或多个计算装置,呈现完成生成所述建筑物的所述楼层平面图的时间量的初始预测,所述初始预测是至少部分地基于所确定的计算资源并且基于与采集图像的用户的过去表现有关和与所述建筑物有关的公开可用信息来确定的,
并且其中,生成完成生成所述建筑物的所述楼层平面图的所述预测时间量和生成用于所述多个迭代中的每一个的所述修改的预测时间量是进一步部分地基于所确定的计算资源。
A08.如条款A07所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,分析所述一个或多个第一图像的所述视觉数据由所述图像采集计算装置执行并且包括对于包括所述第一采集位置的一个或多个第一房间中的每一个,确定所述第一房间的初始估计房间形状,并且其中,将所述反馈提供给所述一个或多个用户由所述图像采集计算装置执行并且包括在所述图像采集计算装置上显示信息,所述信息包括所述预测时间量和所述一个或多个第一房间中的每一个的所述初始估计房间形状以及在所述附加图像的采集期间要改变的所述一个或多个第一图像的方面的一个或多个指示,以在所述附加图像中产生改进。
A09.如条款A08所述的计算机实施的方法,其中,所述一个或多个计算装置还包括一个或多个附加计算装置,并且其中,所述方法还包括:
通过所述图像采集计算装置,通过一个或多个网络将数据传输到所述一个或多个附加计算装置,所述数据包括来自所述一个或多个第一图像和所述附加图像的信息;
通过所述一个或多个附加计算装置并且作为所述自动化生成过程的部分,使用所传输的数据生成所述建筑物的所述楼层平面图,包括确定所述多个房间的最终房间形状,并且组合所述多个房间的所述最终房间形状以完成所述楼层平面图;以及
通过所述一个或多个附加计算装置,提供所述建筑物的所述楼层平面图以供进一步使用。
A10.如条款A08所述的计算机实施的方法,其中,通过所述图像采集计算装置,将所述反馈提供给所述一个或多个用户还包括至少部分地基于所述一个第一图像的反映所述一个第一图像的所述视觉数据的质量的至少一个评估的属性来显示指令以校正所述第一图像中的一个。
A11.如条款A10所述的计算机实施的方法,还包括:在获得所述一个或多个第二图像之前:
通过所述图像采集计算装置在提供所述反馈之后,采集新图像以替换一个第一图像,所述新图像包括一个或多个改进以校正所述一个第一图像;
通过所述一个或多个计算装置并且至少部分地基于所述一个第一图像的一个或多个评估的属性,预测用于完成所述建筑物的所述楼层平面图的调整的预测时间量,所述调整的预测时间量至少部分地基于所述一个或多个改进而少于所述预测时间量;以及
通过所述图像采集计算装置,显示所述调整的预测时间量。
A12.如条款A01至A11中任一项所述的计算机实施的方法,其中,所述建筑物的所述测绘信息包括所述建筑物的楼层平面图,并且其中,所述自动化操作还包括产生并且提供所述建筑物的所述楼层平面图。
A13.如条款A12所述的计算机实施的方法,其中,提供所述反馈包括:将所述反馈提供给与采集所述一个或多个第一图像和采集所述附加图像相关联的一个或多个用户,并且包括:提供与所述一个或多个第一图像的所评估的一个或多个属性有关的信息,其中,所述一个或多个第一图像的所评估的一个或多个属性包括所述一个或多个第一图像的所述视觉数据的至少一个质量评估,并且其中,至少使用所述修改的预测时间量包括:将包括所述修改的预测时间量的修改的反馈提供给所述一个或多个用户,以能够进一步改进产生所述楼层平面图。
A14.如条款A13所述的计算机实施的方法,其中,将所述反馈和所述修改的反馈提供给所述一个或多个用户包括:在图形用户界面中显示所述反馈和所述修改的反馈,并且其中,在完成所述楼层平面图之后执行提供所述建筑物的所述楼层平面图,并且包括在所述图形用户界面中显示所完成的楼层平面图。
A15.如条款A01至A14中任一项所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,分析所述一个或多个第一图像的所述视觉数据至少部分地由所述图像采集计算装置执行并且包括对于所述一个或多个第一房间中的每一个,确定所述第一房间的初始估计房间形状,并且其中,提供所述反馈由所述图像采集计算装置执行并且包括在所述图像采集计算装置上将信息显示给一个或多个用户,所述信息包括所述预测时间量和所述一个或多个第一房间中的每一个的所述初始估计房间形状以及在所述附加图像的采集期间要改变的所述一个或多个第一图像的方面的一个或多个指示,以在所述生成过程中产生改进。
A16.如条款A15所述的计算机实施的方法,其中,所述测绘信息包括所述建筑物的楼层平面图,其中,所述一个或多个计算装置还包括一个或多个附加计算装置,并且其中,所述自动化操作还包括:
通过所述图像采集计算装置,通过一个或多个网络将数据传输到所述一个或多个附加计算装置,所述数据包括来自所述一个或多个第一图像和所述附加图像的信息;
通过所述一个或多个附加计算装置并且作为所述生成过程的部分,使用所传输的数据生成所述建筑物的所述楼层平面图,包括确定所述多个房间的最终房间形状,并且组合所述多个房间的所述最终房间形状以完成所述楼层平面图;以及
通过所述一个或多个附加计算装置,提供所述建筑物的所述楼层平面图以供进一步使用。
A17.如条款A16所述的计算机实施的方法,其中,生成所述建筑物的所述楼层平面图还包括从一个或多个用户获得与所述多个房间的所述最终房间形状中的至少一个或所述最终房间形状的所述组合相关的输入,并且将所述获得的输入用作生成所述楼层平面图的部分。
A18.如条款A15所述的计算机实施的方法,其中,通过所述图像采集计算装置提供所述反馈还包括发起对所述第一图像中的一个的一个或多个校正,并且其中,所述自动化操作还包括:
通过所述图像采集计算装置在提供所述反馈之后,采集新图像以替换一个第一图像,所述新图像包括一个或多个改进以校正所述一个第一图像;
至少部分地基于所述一个第一图像的一个或多个评估的属性,预测用于产生所述测绘信息的调整的预测时间量,所述调整的预测时间量至少部分地基于所述一个或多个改进而少于所述预测时间量;以及
通过所述图像采集计算装置,提供所述调整的预测时间量。
A19.如条款A15所述的计算机实施的方法,其中,所述第一图像和所述附加图像各自是具有围绕竖直轴的360度竖直视觉覆盖范围的全景图像,其中,在不使用来自任何深度感测传感器的关于到周围表面的距离的任何深度信息的情况下,执行采集所述第一图像和所述附加图像,并且包括使用所述图像采集计算装置的一个或多个惯性测量单元(IMU)传感器来采集运动数据,并且其中,所述自动化操作还包括:
对于所述第一图像和所述附加图像中的每一个,至少部分地基于在采集所述图像期间由所述一个或多个IMU传感器采集的所述运动数据并且基于所述图像的视觉数据,确定采集姿势信息,
并且其中,确定所述一个或多个第一图像中的每一个的所述初始估计房间形状是部分地基于所述一个或多个第一图像中的每一个的相应所确定的采集姿势信息。
A20.如条款A01至A19中任一项所述的计算机实施的方法,其中,所述测绘信息包括所述建筑物的内部的三维模型或虚拟巡视中的至少一个,所述虚拟巡视涉及所述第一图像和所述附加图像中的至少一些之间的至少表示图像间方向的用户可选择的互连,并且其中,所述自动化操作还包括呈现所述测绘信息,以能够由一个或多个用户与所呈现的测绘信息进行交互。
A21.如条款A01至A20中任一项所述的计算机实施的方法,其中,分析所述一个或多个第一图像的所述视觉数据包括识别要校正的一个或多个问题,所述一个或多个问题包括以下至少一个:缺乏在所述第一图像中的至少一个与至少一个其他采集的图像的视觉数据之间的图像间视线、或缺乏在所述第一图像中的至少一个与至少一个其他采集的图像的视觉数据之间的重叠、或采集的图像的量低于定义的最小阈值、或采集的图像的量高于定义的最大阈值、或所述第一图像中的一个的采集位置与至少一个墙壁之间的距离、或所述第一图像中的至少一个缺乏穿过至少一个门道的视线、或用于采集所述第一图像中的至少一个的设备的至少部分的可见性、或相对于采集一个或多个其他图像对用于采集所述第一图像中的至少一个的所述设备的改变、或参与采集所述第一图像中的至少一个的用户的至少部分的可见性、或所述第一图像中的至少一个的视觉数据中的挡住一个或多个墙壁的可见性的障碍物的可见性、或缺乏对所述多个房间的全部的覆盖范围、或缺乏对所述多个房间中的至少一个的全部的覆盖范围、或基于所述第一图像中的至少一个的视觉数据来确定所述多个房间中的至少一个的房间形状的不确定性、或不能检测所述第一图像中的至少一个的视觉数据中的一个或多个窗或门道或非门道墙壁开口,并且其中,提供所述反馈还包括提供信息以校正所识别的一个或多个问题。
A22.如条款A01至A21中任一项所述的计算机实施的方法,其中,生成预测时间量和修改的预测时间量包括使用与产生所述建筑物的所述测绘信息而采集的图像的属性有关的信息结合与以下至少一个有关的附加信息:所述建筑物的大小、或所述建筑物的风格、或所述建筑物的层数、或所述建筑物的楼层数量、或所述建筑物的房间数量、或所述建筑物的指示的类型的房间数量、或所述建筑物的一个或多个房间的类型、或所述建筑物的一个或多个墙壁的类型、或所述建筑物是否有家具、或从用于采集用于产生所述建筑物的所述测绘信息的所述图像的一个或多个图像采集装置上的一种或多种类型的一个或多个传感器能获得的数据、或为产生所述建筑物的所述测绘信息而采集的所述图像的量、或为产生所述建筑物的所述测绘信息而采集的所述图像的评估质量、或为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据对所述多个房间中的全部的覆盖量、或基于为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据来确定所述多个房间的房间形状的不确定性、或在为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据中检测窗或门道或非门道墙壁开口中的至少一个、或能用于产生所述建筑物的所述测绘信息的计算资源量、或一个或多个用户帮助产生所述测绘信息的可用性、或与参与采集用于产生所述建筑物的所述测绘信息的所述图像的至少一个用户有关的信息、或关于与所述建筑物具有相似性的一个或多个其他建筑物。
A23.如条款A01至A22中任一项所述的计算机实施的方法,其中,由一个或多个用户执行采集所述建筑物的所述第一图像和所述附加图像,其中,至少使用所述修改的预测时间量包括提供至少包括所述修改的预测时间量的进一步反馈,并且其中,所述自动化操作还包括在采集用于产生所述建筑物的所述测绘信息的所述建筑物的任何图像之前:
确定能用于实施所述生成过程的计算资源;
至少部分地基于所确定的计算资源和基于与所述一个或多个用户有关的信息以及基于与所述建筑物有关的公开可用信息,确定用于产生所述建筑物的所述测绘信息的时间量的初始预测;以及
向所述一个或多个用户呈现所确定的时间量的初始预测,
并且其中,基于所述建筑物的图像的累积采集,执行提供所述反馈和所述修改的反馈以向所述一个或多个用户提供对预测时间量的重复更新。
A24.如条款A01至A23中任一项所述的计算机实施的方法,其中,至少使用所述修改的预测时间量包括提供至少包括所述修改的预测时间量的进一步反馈,并且其中,所述自动化操作还包括:
至少部分地基于所述一个或多个第一图像并且在采集所述一个或多个第二图像之前,确定采集用于所述生成过程的图像的当前状态,所述当前状态包括采集用于所述生成过程的所述图像的完成量或采集用于所述生成过程的所述图像的剩余量中的至少一个的一个或多个特性,并且其中,提供所述反馈包括将包括所述预测时间量和所确定的包括所述一个或多个特性的当前状态的信息提供给一个或多个用户;以及
至少部分地基于所述一个或多个第二图像,确定采集用于所述生成过程的图像的修改的当前状态,所述修改的当前状态包括对所述一个或多个特性的修改,并且其中,提供所述进一步反馈包括将包括所述修改的预测时间量和所确定的修改的当前状态的信息提供给所述一个或多个用户。
A25.如条款A01至A24中任一项所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,提供所述反馈和所述修改的反馈由所述图像采集计算装置执行并且包括在图形用户界面中显示所述反馈和所述修改的反馈,并且其中,所述自动化操作还包括在所述图形用户界面中显示所述楼层平面图。
A26.如条款A01至A25中任一项所述的计算机实施的方法,其中,涉及产生所述建筑物的所述楼层平面图的资源的所述预测量包括以下至少一个:直到完成产生所述楼层平面图的时间量、或用于产生所述楼层平面图的计算资源量、或关于一个或多个所指示的成本度量的量。
A27.如条款A01至A26中任一项所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用来采集所述一个或多个第一图像和所述附加图像,其中,分析所述一个或多个第一图像的所述视觉数据由所述图像采集计算装置执行并且包括对于所述一个或多个第一房间中的每一个,确定所述第一房间的初始估计房间形状,并且其中,将所述反馈提供给所述一个或多个用户由所述图像采集计算装置执行并且包括在所述图像采集计算装置上显示信息,所述信息包括所述一个或多个资源的所述预测时间量和所述一个或多个第一房间中的每一个的所述初始估计房间形状以及在所述附加图像的采集期间要改变的所述一个或多个第一图像的方面的一个或多个指示,以在所述自动化生成过程中产生改进。
A28.如条款A27所述的计算机实施的方法,其中,所述一个或多个计算装置还包括一个或多个附加计算装置,并且其中,所述自动化操作还包括:
通过所述图像采集计算装置,通过一个或多个网络将数据传输到所述一个或多个附加计算装置,所述数据包括来自所述一个或多个第一图像和所述附加图像的信息;
通过所述一个或多个附加计算装置并且作为所述自动化生成过程的部分,使用所传输的数据生成所述建筑物的所述楼层平面图,包括确定所述多个房间的最终房间形状,并且组合所述多个房间的所述最终房间形状以完成所述楼层平面图;以及
通过所述一个或多个附加计算装置,提供所述建筑物的所述楼层平面图以供进一步使用。
A29.如条款A27所述的计算机实施的方法,其中,通过所述图像采集计算装置,将所述反馈提供给所述一个或多个用户还包括至少部分地基于所述一个第一图像的反映所述一个第一图像的所述视觉数据的质量的至少一个评估的属性来显示指令以校正所述第一图像中的一个。
A30.如条款A29所述的计算机实施的方法,其中,所述自动化操作还包括:
通过所述图像采集计算装置在提供所述反馈之后,采集新图像以替换一个第一图像,所述新图像包括一个或多个改进以校正所述一个第一图像;
通过所述一个或多个计算装置并且至少部分地基于所述一个第一图像的一个或多个评估的属性,预测参与产生所述建筑物的所述楼层平面图的调整的预测资源量,所述调整的预测资源量至少部分地基于所述一个或多个改进而少于所述预测资源量;以及
通过所述图像采集计算装置,显示参与产生所述建筑物的所述楼层平面图的所述调整的预测资源量。
A31.如条款A01至A30中任一项所述的计算机实施的方法,其中,用于产生所述建筑物的所述楼层平面图的所述自动化生成过程的所述预测的一个或多个特性包括完成在所有的所述多个房间中采集图像的预测时间量,并且其中,将所述反馈提供给所述一个或多个用户还包括完成在所有的所述多个房间中采集所述图像的所述预测时间量。
A32.根据条款A01至A31中任一项所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置。
A33.一种计算机实施的方法,包括多个步骤以执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
B01.一种非暂时性计算机可读介质,存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或其他存储的内容致使一个或多个计算系统执行自动化操作,所述自动化操作实施条款A01至A33中任一项所述的方法。
B02.一种非暂时性计算机可读介质,存储有可执行软件指令和/或其他存储的内容,所述可执行软件指令和/或其他存储的内容致使一个或多个计算系统执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
C01.一种或多种计算系统,包括一个或多个硬件处理器和存储有指令的一个或多个存储器,所述指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一种或多种计算系统执行自动化操作,所述自动化操作实施条款A01至A33中任一项所述的方法。
C02.一种或多种计算系统,包括一个或多个硬件处理器和存储有指令的一个或多个存储器,所述指令在被所述一个或多个硬件处理器中的至少一个执行时,致使所述一种或多种计算系统执行自动化操作,所述自动化操作实施基本上如本文所公开的所描述的技术。
D01.一种计算机程序,当所述计算机程序在计算机上运行时,所述计算机程序适于执行条款A01至A33中任一项所述的方法。
本文参考根据本公开的实施方式的方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本公开的方面。将了解,可以通过计算机可读程序指令来实施流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合。将进一步了解,在一些实施方式中,可以以替代性方式提供由上文讨论的例程提供的功能,诸如划分到更多的例程当中或者合并到更少的例程中。类似地,在一些实施方式中,所说明的例程可以提供比所描述的功能更多或更少的功能,诸如在其他所说明的例程相应地改为缺少或包括这种功能时,或者在所提供的功能的量变更时。另外,尽管各种操作可以被说明为按特定方式(例如,串行或并行或者同步或异步)和/或按特定顺序执行,但在其他实施方式中,可以按其他顺序和其他方式执行操作。上文讨论的任何数据结构也可以按不同方式结构化,诸如通过将单个数据结构划分成多个数据结构和/或通过使多个数据结构合并成单个数据结构。类似地,在一些实施方式中,所说明的数据结构可以存储比所描述的信息更多或更少的信息,诸如在其他所说明的数据结构相应地改为缺少或包括这种信息时,或者在所存储的信息的量或类型变更时。
根据上述内容,将了解,尽管出于说明的目的在本文中已描述了具体实施方式,但是在不脱离本发明的精神和范围的情况下,可以做出各种修改。因此,除受对应的权利要求和那些权利要求所叙述的元素的限制外,本发明不受限制。另外,尽管在某些时候可以以某些权利要求形式呈现本发明的某些方面,但是本发明人设想以任何可用权利要求形式的本发明的各种方面。例如,尽管在特定时候仅本发明的一些方面可以被叙述为体现在计算机可读存储介质中,但是同样可以这样体现其他方面。
Claims (20)
1.一种系统,包括:
一个或多个计算装置的一个或多个硬件处理器;以及
一个或多个存储器,其存储有指令,所述指令在由所述一个或多个硬件处理器中的至少一个执行时,致使所述一个或多个计算装置中的至少一个执行自动化操作,所述自动化操作至少包括:
对于具有多个房间的建筑物,获得在所述多个房间中的一个或多个第一房间中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个均具有对所述第一房间中的包括所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
分析所述一个或多个第一图像的视觉数据,以评估所述一个或多个第一图像的一个或多个属性;
至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,生成用于产生所述建筑物的测绘信息的生成过程的一个或多个预测特性,所述一个或多个预测特性包括用于产生所述测绘信息的预测时间量,其中,所述生成过程至少部分地基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析;
提供至少包括所述预测时间量的反馈,以能够改进至少部分地源于要采集的所述附加图像的所述生成过程;
获得在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
至少部分地基于所述一个或多个第二图像的所评估的至少一个属性,生成所述生成过程的一个或多个更新的预测特性,所述一个或多个更新的预测特性包括用于产生所述建筑物的所述测绘信息的修改的预测时间量;以及
至少使用所述修改的预测时间量来能够进一步改进所述生成过程。
2.如权利要求1所述的系统,其中,所述建筑物的所述测绘信息包括所述建筑物的楼层平面图,并且其中,所述自动化操作还包括产生并且提供所述建筑物的所述楼层平面图。
3.如权利要求2所述的系统,其中,提供所述反馈包括:将所述反馈提供给与采集所述一个或多个第一图像和采集所述附加图像相关联的一个或多个用户,并且包括:提供与所述一个或多个第一图像的所评估的一个或多个属性有关的信息,其中,所述一个或多个第一图像的所评估的一个或多个属性包括所述一个或多个第一图像的所述视觉数据的至少一个质量评估,并且其中,至少使用所述修改的预测时间量包括:将包括所述修改的预测时间量的修改的反馈提供给所述一个或多个用户,以能够进一步改进产生所述楼层平面图。
4.如权利要求3所述的系统,其中,将所述反馈和所述修改的反馈提供给所述一个或多个用户包括:在图形用户界面中显示所述反馈和所述修改的反馈,并且其中,在完成所述楼层平面图之后执行提供所述建筑物的所述楼层平面图,并且包括在所述图形用户界面中显示所完成的楼层平面图。
5.如权利要求1所述的系统,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,分析所述一个或多个第一图像的所述视觉数据至少部分地由所述图像采集计算装置执行并且包括对于所述一个或多个第一房间中的每一个,确定所述第一房间的初始估计房间形状,并且其中,提供所述反馈由所述图像采集计算装置执行并且包括在所述图像采集计算装置上将信息显示给一个或多个用户,所述信息包括所述预测时间量和所述一个或多个第一房间中的每一个的所述初始估计房间形状以及在所述附加图像的采集期间要改变的所述一个或多个第一图像的方面的一个或多个指示,以在所述生成过程中产生改进。
6.如权利要求5所述的系统,其中,所述测绘信息包括所述建筑物的楼层平面图,其中,所述一个或多个计算装置还包括一个或多个附加计算装置,并且其中,所述自动化操作还包括:
通过所述图像采集计算装置,通过一个或多个网络将数据传输到所述一个或多个附加计算装置,所述数据包括来自所述一个或多个第一图像和所述附加图像的信息;
通过所述一个或多个附加计算装置并且作为所述生成过程的部分,使用所传输的数据生成所述建筑物的所述楼层平面图,包括确定所述多个房间的最终房间形状,并且组合所述多个房间的所述最终房间形状以完成所述楼层平面图;以及
通过所述一个或多个附加计算装置,提供所述建筑物的所述楼层平面图以供进一步使用。
7.如权利要求6所述的系统,其中,生成所述建筑物的所述楼层平面图还包括从一个或多个用户获得与所述多个房间的所述最终房间形状中的至少一个或所述最终房间形状的所述组合相关的输入,并且将所述获得的输入用作生成所述楼层平面图的部分。
8.如权利要求5所述的系统,其中,通过所述图像采集计算装置提供所述反馈还包括发起对所述第一图像中的一个的一个或多个校正,并且其中,所述自动化操作还包括:
通过所述图像采集计算装置在提供所述反馈之后,采集新图像以替换一个第一图像,所述新图像包括一个或多个改进以校正所述一个第一图像;
至少部分地基于所述一个第一图像的一个或多个评估的属性,预测用于产生所述测绘信息的调整的预测时间量,所述调整的预测时间量至少部分地基于所述一个或多个改进而少于所述预测时间量;以及
通过所述图像采集计算装置,提供所述调整的预测时间量。
9.如权利要求5所述的系统,其中,所述第一图像和所述附加图像各自是具有围绕竖直轴的360度竖直视觉覆盖范围的全景图像,其中,在不使用来自任何深度感测传感器的关于到周围表面的距离的任何深度信息的情况下,执行采集所述第一图像和所述附加图像,并且包括使用所述图像采集计算装置的一个或多个惯性测量单元(IMU)传感器来采集运动数据,并且其中,所存储的指令包括软件指令,所述软件指令在由所述一个或多个硬件处理器执行时致使所述图像采集计算装置执行进一步自动化操作,所述进一步自动化操作包括:
对于所述第一图像和所述附加图像中的每一个,至少部分地基于在采集所述图像期间由所述一个或多个IMU传感器采集的所述运动数据并且基于所述图像的视觉数据,确定采集姿势信息,
并且其中,确定所述一个或多个第一图像中的每一个的所述初始估计房间形状是部分地基于所述一个或多个第一图像中的每一个的相应所确定的采集姿势信息。
10.如权利要求1所述的系统,其中,所述测绘信息包括所述建筑物的内部的三维模型或虚拟巡视中的至少一个,所述虚拟巡视涉及所述第一图像和所述附加图像中的至少一些之间的至少表示图像间方向的用户可选择的互连,并且其中,所述自动化操作还包括呈现所述测绘信息,以能够由一个或多个用户与所呈现的测绘信息进行交互。
11.如权利要求1所述的系统,其中,分析所述一个或多个第一图像的所述视觉数据包括识别要校正的一个或多个问题,所述一个或多个问题包括以下至少一个:缺乏在所述第一图像中的至少一个与至少一个其他采集的图像的视觉数据之间的图像间视线、或缺乏在所述第一图像中的至少一个与至少一个其他采集的图像的视觉数据之间的重叠、或采集的图像的量低于定义的最小阈值、或采集的图像的量高于定义的最大阈值、或所述第一图像中的一个的采集位置与至少一个墙壁之间的距离、或所述第一图像中的至少一个缺乏穿过至少一个门道的视线、或用于采集所述第一图像中的至少一个的设备的至少部分的可见性、或相对于采集一个或多个其他图像对用于采集所述第一图像中的至少一个的所述设备的改变、或参与采集所述第一图像中的至少一个的用户的至少部分的可见性、或所述第一图像中的至少一个的视觉数据中的挡住一个或多个墙壁的可见性的障碍物的可见性、或缺乏对所述多个房间的全部的覆盖范围、或缺乏对所述多个房间中的至少一个的全部的覆盖范围、或基于所述第一图像中的至少一个的视觉数据来确定所述多个房间中的至少一个的房间形状的不确定性、或不能检测所述第一图像中的至少一个的视觉数据中的一个或多个窗或门道或非门道墙壁开口,并且其中,提供所述反馈还包括提供信息以校正所识别的一个或多个问题。
12.如权利要求1所述的系统,其中,生成预测时间量和修改的预测时间量包括使用与产生所述建筑物的所述测绘信息而采集的图像的属性有关的信息结合与以下至少一个有关的附加信息:所述建筑物的大小、或所述建筑物的风格、或所述建筑物的层数、或所述建筑物的楼层数量、或所述建筑物的房间数量、或所述建筑物的指示的类型的房间数量、或所述建筑物的一个或多个房间的类型、或所述建筑物的一个或多个墙壁的类型、或所述建筑物是否有家具、或从用于采集用于产生所述建筑物的所述测绘信息的所述图像的一个或多个图像采集装置上的一种或多种类型的一个或多个传感器能获得的数据、或为产生所述建筑物的所述测绘信息而采集的所述图像的量、或为产生所述建筑物的所述测绘信息而采集的所述图像的评估质量、或为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据对所述多个房间中的全部的覆盖量、或基于为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据来确定所述多个房间的房间形状的不确定性、或在为产生所述建筑物的所述测绘信息而采集的所述图像的视觉数据中检测窗或门道或非门道墙壁开口中的至少一个、或能用于产生所述建筑物的所述测绘信息的计算资源量、或一个或多个用户帮助产生所述测绘信息的可用性、或与参与采集用于产生所述建筑物的所述测绘信息的所述图像的至少一个用户有关的信息、或关于与所述建筑物具有相似性的一个或多个其他建筑物。
13.如权利要求1所述的系统,其中,由一个或多个用户执行采集所述建筑物的所述第一图像和所述附加图像,其中,至少使用所述修改的预测时间量包括提供至少包括所述修改的预测时间量的进一步反馈,并且其中,所述自动化操作还包括在采集用于产生所述建筑物的所述测绘信息的所述建筑物的任何图像之前:
确定能用于实施所述生成过程的计算资源;
至少部分地基于所确定的计算资源和基于与所述一个或多个用户有关的信息以及基于与所述建筑物有关的公开可用信息,确定用于产生所述建筑物的所述测绘信息的时间量的初始预测;以及
向所述一个或多个用户呈现所确定的时间量的初始预测,
并且其中,基于所述建筑物的图像的累积采集,执行提供所述反馈和所述修改的反馈以向所述一个或多个用户提供对预测时间量的重复更新。
14.如权利要求1所述的系统,其中,至少使用所述修改的预测时间量包括提供至少包括所述修改的预测时间量的进一步反馈,并且其中,所述自动化操作还包括:
至少部分地基于所述一个或多个第一图像并且在采集所述一个或多个第二图像之前,确定采集用于所述生成过程的图像的当前状态,所述当前状态包括采集用于所述生成过程的所述图像的完成量或采集用于所述生成过程的所述图像的剩余量中的至少一个的一个或多个特性,并且其中,提供所述反馈包括将包括所述预测时间量和所确定的包括所述一个或多个特性的当前状态的信息提供给一个或多个用户;以及
至少部分地基于所述一个或多个第二图像,确定采集用于所述生成过程的图像的修改的当前状态,所述修改的当前状态包括对所述一个或多个特性的修改,并且其中,提供所述进一步反馈包括将包括所述修改的预测时间量和所确定的修改的当前状态的信息提供给所述一个或多个用户。
15.一种计算机实施的方法,包括:
通过一个或多个计算装置并且对于具有多个房间的建筑物,获得由一个或多个用户在所述多个房间的子集中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个具有所述多个房间的其中定位有所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
通过所述一个或多个计算装置,分析所述一个或多个第一图像的视觉数据以评估所述一个或多个第一图像的一个或多个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,预测自动化生成过程的一个或多个特性以产生所述建筑物的楼层平面图,其中,所述自动化生成过程基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析,并且其中,所预测的一个或多个特性包括完成所述建筑物的所述楼层平面图的预测时间量;
通过所述一个或多个计算装置,将至少包括所述预测时间量的反馈呈现给所述一个或多个用户,以能够改进所述要采集的附加图像;
通过所述一个或多个计算装置,获得由所述一个或多个用户在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
通过所述一个或多个计算装置,分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
通过所述一个或多个计算装置并且至少部分地基于所评估的所述一个或多个第二图像的至少一个属性,预测所述自动化生成过程的一个或多个更新的特性,所述一个或多个更新的特性包括完成所述建筑物的所述楼层平面图的修改的预测时间量;以及
通过所述一个或多个计算装置,将至少包括所述修改的预测时间量的修改的反馈呈现给所述一个或多个用户,以能够进一步改进所述自动化生成过程。
16.如权利要求15所述的计算机实施的方法,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,分析所述一个或多个第一图像的所述视觉数据由所述图像采集计算装置执行并且包括对于包括所述第一采集位置的一个或多个第一房间中的每一个,确定所述第一房间的初始估计房间形状,并且其中,将所述反馈提供给所述一个或多个用户由所述图像采集计算装置执行并且包括在所述图像采集计算装置上显示信息,所述信息包括所述预测时间量和所述一个或多个第一房间中的每一个的所述初始估计房间形状以及在所述附加图像的采集期间要改变的所述一个或多个第一图像的方面的一个或多个指示,以在所述附加图像中产生改进。
17.如权利要求16所述的计算机实施的方法,其中,所述一个或多个计算装置还包括一个或多个附加计算装置,并且其中,所述方法还包括:
通过所述图像采集计算装置,通过一个或多个网络将数据传输到所述一个或多个附加计算装置,所述数据包括来自所述一个或多个第一图像和所述附加图像的信息;
通过所述一个或多个附加计算装置并且作为所述自动化生成过程的部分,使用所传输的数据生成所述建筑物的所述楼层平面图,包括确定所述多个房间的最终房间形状,并且组合所述多个房间的所述最终房间形状以完成所述楼层平面图;以及
通过所述一个或多个附加计算装置,提供所述建筑物的所述楼层平面图以供进一步使用。
18.如权利要求16所述的计算机实施的方法,还包括:在获得所述一个或多个第二图像之前:
通过所述图像采集计算装置在提供所述反馈之后,采集新图像以替换一个第一图像,所述新图像包括一个或多个改进以校正所述一个第一图像;
通过所述一个或多个计算装置并且至少部分地基于所述一个第一图像的一个或多个评估的属性,预测用于完成所述建筑物的所述楼层平面图的调整的预测时间量,所述调整的预测时间量至少部分地基于所述一个或多个改进而少于所述预测时间量;以及
通过所述图像采集计算装置,显示所述调整的预测时间量,
并且其中,通过所述图像采集计算装置将所述反馈提供给所述一个或多个用户还包括:至少部分地基于所述一个第一图像的反映所述一个第一图像的所述视觉数据的质量的至少一个评估的属性来显示指令以校正所述第一图像中的一个。
19.一种非暂时性计算机可读介质,其存储有内容,所述内容致使一个或多个计算装置以执行自动化操作,所述自动化操作至少包括:
通过所述一个或多个计算装置并且对于具有多个房间的建筑物,获得由一个或多个用户在一个或多个第一房间中的一个或多个第一采集位置处采集的一个或多个第一图像,其中,所述第一图像中的每一个均具有对所述第一房间中的包括所述第一图像的相应第一采集位置的一个房间的至少一些墙壁的视觉覆盖范围;
通过所述一个或多个计算装置,分析所述一个或多个第一图像的视觉数据,以评估所述一个或多个第一图像的一个或多个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第一图像的所评估的一个或多个属性,预测用于产生所述建筑物的楼层平面图的自动化生成过程的一个或多个特性,其中,所述自动化生成过程基于对所述一个或多个第一图像的所述视觉数据的分析并且基于对在所述建筑物的附加采集位置处要采集的附加图像的未来分析,并且其中,所预测的一个或多个特性包括涉及产生所述建筑物的所述楼层平面图的一个或多个资源的预测量;
通过所述一个或多个计算装置,将至少包括所述一个或多个资源的所述预测量的反馈提供给所述一个或多个用户,以能够改进至少部分地源于采集所述附加图像的所述自动化生成过程;
通过所述一个或多个计算装置,获得由所述一个或多个用户在所述建筑物的一个或多个附加第二采集位置处采集的所述附加图像中的一个或多个第二图像;
通过所述一个或多个计算装置,分析所述一个或多个第二图像的视觉数据以评估所述一个或多个第二图像的至少一个属性;
通过所述一个或多个计算装置并且至少部分地基于所述一个或多个第二图像的所评估的至少一个属性,预测所述自动化生成过程的一个或多个更新的特性,所述一个或多个更新的特性包括涉及产生所述建筑物的所述楼层平面图的所述一个或多个资源的修改的预测量;以及
通过所述一个或多个计算装置,将至少包括所述一个或多个资源的所述修改的预测量的修改的反馈提供给所述一个或多个用户,以能够进一步改进所述自动化生成过程。
20.如权利要求19所述的非暂时性计算机可读介质,其中,所述一个或多个计算装置包括具有一个或多个相机的图像采集计算装置,所述图像采集计算装置用于采集所述一个或多个第一图像和所述附加图像,其中,涉及产生所述建筑物的所述楼层平面图的资源的所述预测量包括以下至少一个:直到完成产生所述楼层平面图的时间量、或用于产生所述楼层平面图的计算资源量、或关于一个或多个所指示的成本度量的量,其中,提供所述反馈和所述修改的反馈由所述图像采集计算装置执行并且包括在图形用户界面中显示所述反馈和所述修改的反馈,并且其中,所述存储的内容包括软件指令,所述软件指令在由所述图像采集计算装置执行时,还包括在所述图形用户界面中显示所述楼层平面图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/842,419 | 2022-06-16 | ||
US17/842,419 US20230409766A1 (en) | 2022-06-16 | 2022-06-16 | Automated Tools For Assessing Building Mapping Information Generation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117253139A true CN117253139A (zh) | 2023-12-19 |
Family
ID=85601525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310185127.4A Pending CN117253139A (zh) | 2022-06-16 | 2023-03-01 | 用于评估建筑物测绘信息生成的自动化工具 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230409766A1 (zh) |
EP (1) | EP4293562A1 (zh) |
CN (1) | CN117253139A (zh) |
AU (1) | AU2023201778A1 (zh) |
CA (1) | CA3180038A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11961005B1 (en) * | 2023-12-18 | 2024-04-16 | Storytellers.ai LLC | System for automated data preparation, training, and tuning of machine learning models |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210073446A1 (en) * | 2019-09-06 | 2021-03-11 | BeamUp. Ltd. | Structural design systems and methods for generating an actionable room index using modeling and simulation |
US11164361B2 (en) * | 2019-10-28 | 2021-11-02 | Zillow, Inc. | Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors |
US11074710B2 (en) * | 2019-12-23 | 2021-07-27 | Cisco Technology, Inc. | Image-based framework for improving location estimate accuracy in indoor positioning systems |
CN111598972B (zh) * | 2020-04-03 | 2021-06-29 | 深圳大学 | 户型图生成方法、装置、计算机设备和存储介质 |
US20220092227A1 (en) * | 2020-09-22 | 2022-03-24 | Zillow, Inc. | Automated Identification And Use Of Building Floor Plan Information |
US11481925B1 (en) * | 2020-11-23 | 2022-10-25 | Zillow, Inc. | Automated determination of image acquisition locations in building interiors using determined room shapes |
-
2022
- 2022-06-16 US US17/842,419 patent/US20230409766A1/en active Pending
- 2022-10-27 CA CA3180038A patent/CA3180038A1/en active Pending
-
2023
- 2023-03-01 CN CN202310185127.4A patent/CN117253139A/zh active Pending
- 2023-03-13 EP EP23161608.7A patent/EP4293562A1/en active Pending
- 2023-03-22 AU AU2023201778A patent/AU2023201778A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4293562A1 (en) | 2023-12-20 |
CA3180038A1 (en) | 2023-12-16 |
AU2023201778A1 (en) | 2024-01-18 |
US20230409766A1 (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11164361B2 (en) | Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors | |
AU2021240285B2 (en) | Automated tools for generating building mapping information | |
US11481925B1 (en) | Automated determination of image acquisition locations in building interiors using determined room shapes | |
US11501492B1 (en) | Automated room shape determination using visual data of multiple captured in-room images | |
EP4027301A1 (en) | Automated determination of image acquisition locations in building interiors using multiple data capture devices | |
US11842464B2 (en) | Automated exchange and use of attribute information between building images of multiple types | |
CA3154188A1 (en) | Automated building information determination using inter-image analysi s of multiple building images | |
EP4293562A1 (en) | Automated tools for assessing building mapping information generation | |
CN117456040A (zh) | 用于建筑物测绘信息的增量生成的自动化工具 | |
CN117409438A (zh) | 使用楼层平面图和采集的建筑物图像的自动化建筑物识别 | |
EP4358026A1 (en) | Automated determination of acquisition locations of acquired building images based on identified surrounding objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |