CN113196208A - 通过使用采集装置传感器对图像采集的自动化控制 - Google Patents

通过使用采集装置传感器对图像采集的自动化控制 Download PDF

Info

Publication number
CN113196208A
CN113196208A CN201980082577.2A CN201980082577A CN113196208A CN 113196208 A CN113196208 A CN 113196208A CN 201980082577 A CN201980082577 A CN 201980082577A CN 113196208 A CN113196208 A CN 113196208A
Authority
CN
China
Prior art keywords
target
view
camera
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980082577.2A
Other languages
English (en)
Other versions
CN113196208B (zh
Inventor
米切尔·大卫·道森
管理
安德鲁·H·奥特威尔
萧敦育
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mftb Co ltd
Pushsabo I Co
Original Assignee
Zillow LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zillow LLC filed Critical Zillow LLC
Publication of CN113196208A publication Critical patent/CN113196208A/zh
Application granted granted Critical
Publication of CN113196208B publication Critical patent/CN113196208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Selective Calling Equipment (AREA)

Abstract

描述了用于使用计算装置执行自动化操作以控制限定区域中的图像采集的技术，所述自动化操作包括：获得并使用来自采集图像的移动装置上的一个或多个硬件传感器的数据；分析传感器数据(例如，以实时方式)以确定移动装置在三维(3D)空间中的几何取向；以及使用确定的取向来控制移动装置对其他图像的采集。在一些情形下，确定的取向信息可以部分地用于在图像采集过程期间自动生成并显示对应的GUI(图形用户界面)，所述对应的GUI叠加在移动装置周围的环境的显示图像上并增强该显示图像，以便控制移动装置在3D空间中的几何取向。

Description

通过使用采集装置传感器对图像采集的自动化控制
技术领域
以下公开总体上涉及用于自动控制限定区域中的图像采集，以用于生成所述区域的测绘信息以及用于随后以一种或多种方式(诸如通过在采集图像的移动装置上实时分析并使用传感器数据)使用所生成的测绘信息的技术。
背景技术
在各种领域和情况(诸如建筑分析、财产清查、不动产购置和开发、总承包、改造成本估算和其他情况)下，可能期望观察房屋、办公室或其他建筑物的内部而无需亲自前往并进入建筑物。然而，在不使用专业化设备的情况下可能难以或不可能有效地捕获建筑物内部的视觉信息，以及向位于远程位置处的用户显示在建筑物内部捕获的视觉信息，诸如使得用户能够充分理解内部的布局和其他细节并以用户选择的方式控制显示。
附图说明
图1A至图1D是描绘了用于本公开的实施例中的示例性建筑物内部环境和计算系统的图示，包括生成并呈现表示建筑物内部的信息。
图2A至图2I示出了在正在从建筑物内部采集图像的移动装置上自动分析并使用传感器数据以便控制图像采集的示例。
图3是示出了适合于执行系统的实施例的计算系统的框图，所述系统执行本公开中所描述的技术中的至少一些。
图4A至图4D示出了根据本公开的实施例的图像捕获和分析(ICA)系统例程的流程图的示例性实施例。
图5A至图5B示出了根据本公开的实施例的用于测绘信息生成管理器(MIGM)系统例程的流程图的示例性实施例。
具体实施方式
本公开描述了用于使用计算装置来执行自动化操作以控制在限定区域中的图像采集的技术，以及用于进一步的自动化操作以随后以一种或多种其他方式从所采集的图像生成并使用测绘信息的技术。在至少一些实施例中，图像采集的自动化控制包括：从正在采集图像的手持式移动装置上的一个或多个硬件传感器获得并使用数据；分析传感器数据(例如，以实时方式)以确定移动装置在三维(3D)空间中的几何取向(例如，相对于3个旋转自由度，称为俯仰(pitch)、滚转(roll)和偏转(yaw)或回转(swivel)、倾斜(tilt)和枢转(pivot))；以及使用所确定的取向来控制移动装置对其他图像的采集。在一些此类实施例中，手持式移动装置可以由用户携带到限定区域内(例如，建筑物或其他结构内)的多个观察地点，并且用于通过用户在采集图像时在每个这样的观察地点处将他或她的身体转动整圆或部分圆而在该观察地点处采集全景图像(或其他信息)，并且其中所确定的取向信息对应于移动装置的相机或其他成像传感器的向外方向且部分地用于在图像采集过程期间自动生成和显示叠加在移动装置周围环境的显示图像上并增强显示图像的对应GUI(图形用户界面)，以通过引导移动装置的放置来控制移动装置在3D空间中的几何取向，以便从观察地点按满足一个或多个限定标准的限定取向来采集(或重新采集)图像。下文包括关于使用采集移动装置的传感器数据进行图像采集的自动化控制的附加细节，并且在至少一些实施例中，本文描述的对应技术中的一些或全部可以经由内部捕获和分析(“ICA”)系统的自动化操作来执行，如下进一步讨论。
如上所述，从多房间建筑物(或其他结构)采集的图像可以在各种实施例中以各种方式使用，任选地与在图像采集期间获得的附加元数据信息一起使用，包括进一步生成并使用建筑物或其他结构的测绘信息。例如，如果限定区域是多房间建筑物(例如，房屋、办公室等)的内部，则所生成的信息可以包括建筑物的楼层地图和/或多个相互连接的全景图像，或者在建筑物内的各个观察地点处采集的其他图像。这种所生成的楼层地图和/或其他所生成的测绘相关信息可以进一步在各种实施例中以各种方式使用，包括用于控制其他装置(例如，自主车辆)的导航、用于在一个或多个客户端装置上的对应GUI(图形用户界面)中显示等。下文包括关于测绘信息的自动化生成和使用的附加细节，并且在至少一些实施例中，本文描述的对应技术中的一些或全部可以经由测绘信息生成管理器(“MIGM”)系统的自动化操作来执行，如下进一步讨论。
在至少一些实施例和情形下，针对建筑物(或其他结构)采集的图像中的一些或全部可以是全景图像，在建筑物内或周围的多个观察地点中的每个处采集一个所述全景图像，诸如根据观察地点处的视频(例如，来自由在该观察地点处转身的用户握持的智能电话或其他移动装置拍摄的360°视频)、根据从观察地点以多个方向/取向采集的多个图像(例如，来自由在该观察地点处转身的用户握持的智能电话或其他移动装置)等任选地生成该观察地点处的全景图像。应当理解，在一些情形下，这样的全景图像可以用球面坐标系表示，并且围绕水平和/或竖直轴线覆盖高达360°，使得查看全景图像的最终用户可以在全景图像内将观察方向移动到不同方向，以使得在全景图像内呈现不同图像(或“视图”)(包括如果用球面坐标系表示全景图像，则将正在呈现的图像转换成平面坐标系)。此外，可以以各种方式获得并使用与捕获此类全景图像有关的采集元数据，诸如在移动装置由用户携带或以其他方式在观察地点之间移动时从移动装置的IMU(惯性测量单元)传感器(例如，一个或多个加速度计、陀螺仪、指南针等)或其他传感器(例如，成像传感器)采集的数据。
如上所述，在至少一些实施例中，图像采集的自动化控制包括显示GUI，当用户在观察地点处围绕竖直轴线旋转时，所述GUI叠加在从手持式移动装置的相机或其他成像系统采集的图像上，其中GUI包括基于移动装置在3D空间中的当前位置(相对于倾斜、枢转和回转的几何取向；以及任选地沿着竖直轴线和垂直水平轴线的位置平移，诸如相对于3D空间中的观察地点或其他限定位置；并且在本文中也更一般地称为“取向”和任选地“定位”)的视觉指示符，如本文所使用，除非另外指明，否则术语“位置”对应于此类3D几何取向和任选地定位。在至少一些实施例中，在用户转身时以连续或基本上连续的方式执行GUI的显示和更新，以基于从移动装置的IMU硬件传感器和/或其他硬件传感器采集的数据来提供实时或近实时反馈(例如，其中显示的GUI根据按微秒、毫秒、百分之一秒、十分之一秒、一秒等中的至少一者测量到的硬件传感器数据可用性而在视觉上示出在一段时间内移动装置的当前位置)。因此，当移动装置(或用户可用的其他装置)上的显示器示出可从移动装置的成像传感器获得的图像时，无论图像是否被自动保存(例如，作为连续视频)，叠加在图像上的显示都包括足够最新的信息，以允许用户在当前位置与3D空间中的要采集并保存图像的目标位置(目标几何取向以及任选地目标定位)的差异达超过限定阈值的量的情况下修改移动装置的位置。下文包括关于使用来自移动装置上的硬件传感器的数据确定移动装置在3D空间中的当前位置的附加细节。
在各种实施例中，显示的GUI及其内容的形式可以包括各种显示的图标或其他元素，包括用户可选择的控件和指示文本或其他视觉指示符。在至少一些实施例中，GUI的显示元素包括移动装置的当前位置的一个或多个视觉指示符，诸如在一些实施例中，在底层显示图像的中心处显示视觉指示符，此类视觉当前位置指示符的示例可以包括表示智能电话或其他移动装置的图标、十字准线或者至少一条水平线和/或竖直线(例如，以类似于飞机的飞行仪表中的姿态仪的方式)、多条水平线(例如，在当前位置的上方和下方)、多条竖直线(例如，当前位置的右侧和左侧)等的其他组合。另外，在至少一些实施例中，还可以在显示的GUI中示出一些或全部所采集且保存的图像的目标位置(例如，对于当前图像中可见的所有此类目标位置)，诸如提供关于已经发生的先前采集的反馈，在一些实施例中，先前目标位置的此类视觉指示符还可以包括图像采集的成功或失败的视觉指示(例如，一个或多个质量等级)，诸如经由颜色、图案和/或其他视觉指示。此外，在至少一些实施例中，GUI的显示元素包括一个或多个视觉目标位置指示符，所述视觉目标位置指示符在图像中的与要采集并保存图像的真实世界3D位置相对应的定位处显示，此类显示的视觉目标位置指示符可以包括例如要采集并保存的当前图像的一个或多个指示符、要在当前图像之后采集并保存的下一个图像的一个或多个指示符等，并且任选地包括在显示时已知且在显示的当前图像中可见的所有目标位置的指示符。应当理解，当移动装置的位置改变并从装置的成像传感器可见的对应图像改变时，即使在那些改变期间没有采集和保存图像，显示的GUI也将类似地更新。此外，如果未成功地采集并保存一个或多个错过的目标位置的图像，则显示的GUI可以进一步生成并显示与对该情形进行校正有关的指令，诸如让用户改变旋转方向(向后)以重新采集并保存此类错过的目标位置的图像，此类错过的目标位置可能是由多种因素引起的，诸如移动装置位置未成功匹配目标位置(例如，相对于移动装置的六个旋转度中的一个或多个)、移动装置转动得太快(导致图像模糊)或在其他方面无法采集足够质量的图像(例如，照明太低、介入的物体挡住了要采集的建筑物内部的一些或全部等)。在一些实施例中，如果移动装置围绕水平轴线枢转，使得装置的右侧和左侧处于不同高度(导致图像相对于水平面歪斜)，则将以这样歪斜的方式显示图像和视觉目标位置指示符，而视觉当前位置指示符处于图像中心和水平面，在这种情形下的其他实施例中，图像和视觉目标位置指示符将被调整成示出为处于水平面，而移动装置的视觉当前位置指示符的定位和/或歪斜可能会在显示的图像上变化。在另外的其他实施例中，可以不显示视觉目标位置指示符。下文包括关于可以在各种实施例中使用的显示的GUI的附加细节，诸如显示所确定的采集装置3D位置(例如，取向)，包括关于图2A至图2I所讨论的示例。
在各种实施例中，所描述的技术提供各种益处，包括至少部分地基于采集相对于观察地点在限定位置(例如，取向)处且可以满足附加限定标准的图像来相对于先前存在的技术更准确地且更快地从观察地点采集图像，包括经由使用手持式移动装置来提供优于固定在特定高度和/或定位处的其他图像采集装置的各种益处(例如，关于经由对握持手持式移动装置的人类用户的指令进行图像采集的动态校正、装置可用性和成本等的益处)。此类所描述的技术在使用此类采集的图像来生成建筑物或采集图像的其他定位的对应测绘信息方面提供其他益处，包括使得能够改进移动装置(例如，半自主或全自主车辆)对建筑物的自动导航，以便显著减少其用于尝试以其他方式学习建筑物的布局的计算能力和时间，以及提供改进的GUI，其中其他最终用户可以更准确地且更快速地获得关于建筑物内部的信息(例如，供在该内部导航时使用)。所描述的技术还提供了各种其他益处，其中一些在本文的其他地方进一步描述。
出于说明性目的，下文描述一些实施例，其中针对特定类型的结构以特定方式并通过使用特定类型的装置来采集、使用和/或呈现特定类型的信息，然而应当理解，所描述的技术可以在其他实施例中以其他方式使用，并且因此本发明不限于所提供的示例性细节。作为一个非排他性示例，尽管在特定示例中以特定方式使用特定类型的GUI，但是应当理解，可以以本文所讨论的方式使用其他类型的GUI。另外，尽管在特定示例中使用特定类型的数据(包括来自智能电话或其他移动装置上的IMU传感器的数据)来生成GUI，但是应当理解，在其他实施例中，可以以其他方式生成并使用相同或类似的GUI，包括基于其他类型的数据(例如，来自智能电话或其他移动装置上的相机)。另外，术语“建筑物”在本文中是指任何部分地或完全地封闭的结构，通常但不一定包括在视觉上或以其他方式划分结构的内部空间的一个或多个房间，此类建筑物的非限制性示例包括房屋、公寓大楼或其中的个人公寓、共管公寓、办公楼、商业建筑物或其他大规模和零散结构(例如，购物中心、百货公司、仓库等)等。如本文中，参考建筑物内部、观察地点或其他定位(除非上下文另外明确指出)来使用术语“采集”或“捕获”可以是指诸如通过记录装置或从记录装置接收信息的其他装置对与建筑物内部的空间和/或视觉特性或其子集有关的媒体、传感器数据和/或其他信息的任何记录、存储或录入。如本文所使用，术语“全景图像”是指基于、包括或可分成源于不同方向上的大致类似物理定位的多个离散分量图像并且描绘比离散分量图像中的任一个单独描绘的更大视野的任何视觉表示，包括来自物理位置具有足够宽的视角以包括超出人凝视单个方向可感知到的角度的图像。如本文所使用，术语“一系列”观察地点中的“系列”通常是指两个或更多个观察地点，按对应的次序访问每个观察地点至少一次，而无论在它们之间是否访问过其他非观察地点，以及无论对所述观察地点的访问是在单个连续时间段期间还是在多个不同时间段发生。另外，出于示例性目的，在附图和文本中提供了各种细节，但并不旨在限制本发明的范围。例如，附图中元件的大小和相对位置未必按比例绘制，一些细节被省略和/或更突出地提供(例如，经由尺寸和定位)以增强易读性和/或清晰度。此外，在附图中可以使用相同的附图标记来标识类似的元件或动作。
图1A是在一些实施例中可以参与所描述的技术的各种计算装置和系统的示例性框图。特别地，可以单独地生成一个或多个全景图像165，并且然后在此示例中，一个或多个全景图像165在一个或多个服务器计算系统180上执行的ICA系统160的控制下相互连接(或“链接”)，诸如相对于一个或多个建筑物或其他结构。特别地，在每个这样的建筑物或其他结构中，一个或多个用户(未示出)可以将一个或多个移动装置(诸如用户移动计算装置105)携带到建筑物或其他结构内的多个观察地点，并使用ICA系统的功能来自动控制在每个这样的观察地点处的全景图像(或其他信息)的采集的至少一部分，作为ICA系统的自动化操作的一部分，它可以从用户移动装置获得各种传感器数据(例如，IMU传感器数据)，并分析传感器数据以监视并控制该用户移动装置的图像采集过程，包括生成并修改GUI以在图像采集过程期间引导用户动作(例如，诸如相对于几何取向和任选地定位，控制移动装置在3D空间中的位置)。在一些实施例中，移动装置105可以包括专用于ICA系统的ICA应用程序155和/或浏览器162，ICA应用程序155和/或浏览器162在装置105的存储器152中由处理器132执行并通过一个或多个网络170与远程执行的ICA系统160进行交互，而在其他实施例中，一些或全部此类移动装置105则可以在其本地存储器152中本地执行ICA系统中的一些或全部的副本(图1A中未示出)，所述副本自动控制该装置105的图像采集活动的一部分或全部。
在操作中，ICA系统的副本可以从特定移动装置上的一个或多个硬件传感器获得信息，诸如与移动装置105上的一个或多个传感器模块148进行交互，在此示例中，所述传感器模块包括陀螺仪148a、加速度计148b和指南针148c(例如，作为移动装置上的一个或多个IMU单元(未单独示出)的一部分)以及任选地GPS(或全球定位系统)传感器或其他位置确定传感器(在此示例中未示出)。然后，ICA系统可以分析信息来确定移动装置的3D几何取向，以及在一些情况下确定3D定位(例如，在与附加信息相结合的情况下，诸如来自相机或成像系统135的其他成像传感器的信息)，并使用这样的装置位置信息来控制进一步图像采集。作为控制进一步采集的一部分，ICA系统可以从当前观察地点获得关于要采集并保存一个或多个接下来的图像的至少一个下一限定目标位置(取向和任选地定位)的信息，并且生成对应的GUI(任选地通过更新先前生成并显示的GUI)，所述对应的GUI显示在移动装置105的显示系统142上。如本文其他地方更详细地讨论，GUI可以叠加在当前从成像系统135可见的图像上，诸如用显示在图像中心(或任选地其他定位)的装置当前位置指示符来表示移动装置的当前位置，并允许用户操纵移动装置的位置，使得所显示的当前位置指示符与要采集接下来的图像的下一目标位置的显示的GUI中的一个或多个所显示的视觉目标指示符相匹配。在至少一些实施例中，在当前位置与目标位置相匹配时，ICA系统可以进一步使用成像系统135从该位置自动采集并保存一个或多个图像，而在其他实施例中，如果连续地采集并保存视频，则系统可以记录该位置的一个或多个当前帧。各种其他类型的信息也可以作为这种GUI的一部分显示和/或由移动装置以其他方式呈现(例如，经由扬声器发出的声音)，如下文进一步讨论，并且图2A至图2I示出了关于图像采集活动的自动化控制的其他细节，如下文进一步讨论。另外，图1B示出了采集特定房屋的此类全景图像的一个示例，并且图1C至图1D提供了将此类全景图像链接的其他示例，如也在下文进一步讨论。
在图1A中进一步示出在一个或多个服务器计算系统上执行MIGM(测绘信息生成管理器)系统140，以基于使用链接的全景图像165以及任选地关于其采集和链接的相关联元数据来生成并提供建筑物楼层地图145和/或其他测绘相关信息(未示出)。在一些实施例中，ICA系统160和MIGM系统140可以在相同的服务器计算系统上执行，诸如如果两个系统由单个实体操作或者以其他方式彼此协作而执行(例如，两个系统的一些或全部功能被一起集成到较大的系统中)，而在其他实施例中，MIGM系统可以反而从一个或多个外部源获得链接全景图像(或其他信息)，并且任选地将它们本地(未示出)存储在MIGM系统中以供进一步分析和使用。在另外的其他实施例中，ICA系统可以在不与这样的MIGM系统交互或不使用其功能的情况下进行操作。
一个或多个客户端计算装置175的一个或多个最终用户(未示出，并且在至少一些情况下不同于正在使用移动装置105的图像采集用户)可以进一步通过一个或多个计算机网络170与MIGM系统140和/或ICA系统160进行交互，诸如获得、显示所生成的楼层地图和/或一个或多个相关联的链接全景图像并与其交互(例如，在楼层地图视图与在楼层地图内或附近的观察地点处的特定全景图像的视图之间改变；改变显示全景图像的对应视图所依据的水平和/或竖直查看方向，诸如确定当前用户查看方向所指向的3D球面坐标系中的全景图像的一部分，并且在原始全景图像中不存在弯曲或其他失真的情况下呈现示出全景图像的该部分的对应平面图像；等等)。另外，虽然在图1A中未示出，但是在一些实施例中，客户端计算装置175(或其他装置，未示出)可以以附加方式接收并使用所生成的楼层地图和/或其他所生成的测绘相关信息，诸如控制或辅助这些装置(例如，自主车辆或其他装置)的自动化导航活动，而无论是代替还是补充所生成的信息的显示。
在图1A的所描绘计算环境中，网络170可以是可能由各种不同的方操作的一个或多个公共可访问的链接网络，诸如互联网。在其他实施方式中，网络170可以具有其他形式。例如，网络170也可以是专用网络，诸如非特权用户完全或部分无法访问的公司或大学网络。在另外的其他实施方式中，网络170可以包括专用网络和公共网络两者，其中专用网络中的一个或多个可访问公共网络中的一个或多个和/或从所述公共网络访问所述专用网络。此外，在各种情形下，网络170可以包括各种类型的有线和/或无线网络。另外，用户移动计算装置可以包括未示出的其他部件和存储的信息(例如，采集的图像、图像采集元数据、链接信息等)，并且客户端计算装置175和服务器计算系统180可以类似地包括各种硬件部件和存储的信息，如下文关于图3更详细地讨论。
作为在多个相关联观察地点处(例如，在建筑物或其他结构内的多个房间或其他定位以及任选地在建筑物或其他结构的外部的一些或全部的周围)采集和生成多个全景图像的一部分，诸如用于生成并提供建筑物或其他结构的内部的表示，ICA系统160可以执行此类活动所涉及的进一步自动化操作。例如，在至少一些此类实施例中，此类技术可以包括使用一个或多个移动装置105(例如，由用户握持的智能电话、由用户握持或安装在用户身上或用户的衣服上的相机等)来从房屋(或其他建筑物)的多个房间内的一系列多个观察地点捕获可视数据(例如，当移动装置在每个观察地点处旋转完整360度旋转的一些或全部时在该观察地点处连续捕获的视频、以非连续方式采集的一连串单独图像等)，并且进一步捕获链接多个观察地点的数据，但没有测量观察地点之间的距离或没有距观察地点周围的环境中的对象的其他测量到的深度信息(例如，不使用与相机分开的任何深度感测传感器)。在捕获观察地点的视频和链接信息之后，技术方案可以包括：分析在每个观察地点处捕获的视频，以从该观察地点创建具有多个方向上的视觉数据的全景图像(例如，围绕竖直轴线的360度全景)；分析信息以确定两个或更多个观察地点中的每一个之间的相对位置/方向；基于此类所确定的位置/方向在全景中创建到一个或多个其他全景中的每一个的全景间位置/方向链接；以及然后提供信息以显示或以其他方式呈现房屋内各个观察地点的多个链接的全景图像。与提供ICA系统的至少一些此类功能的系统的实施例有关的附加细节被包括在以下每一者中：2017年7月13日提交的标题为“连接并使用从移动装置获取的建筑物内部数据(Connecting And Using Building Interior Data Acquired From MobileDevices)”的共同待决美国非临时专利申请号15/649,434(其包括总体上涉及从一个或多个建筑物或其他结构内获得并使用全景图像的示例性BICA系统的公开内容)；2018年4月11日提交的标题为“呈现观察地点之间的图像转变序列(Presenting Image TransitionSequences Between Viewing Locations)”的美国非临时专利申请号15/950,881(其包括总体上涉及从一个或多个建筑物或其他结构内获得并使用全景图像的示例ICA系统以及总体上涉及确定和/或呈现不同全景图像或其他图像之间的转变序列的示例性ILTM系统的公开内容)；以及2018年11月14日提交的标题为“根据相互连接的图像的自动化绘图信息生成(Automated Mapping Information Generation From Inter-Connected Images)”的美国非临时专利申请号16/190,16(其包括总体上涉及从一个或多个建筑物或其他结构内获得并使用全景图像的示例性ICA系统以及总体上涉及使用建筑物或其他结构的多个捕获的全景图像或其他图像来确定和/或呈现那些结构的楼层地图和/或其他表示的示例性FMGM系统的公开内容)；上述专利申请中的每一者通过引用的方式以其全文并入本文。
图1B描绘了示例性建筑物内部环境的框图，在所述建筑物内部环境中将生成并随后使用链接的全景图像。特别地，图1B包括建筑物198，其中将至少部分地经由多个全景图像来捕获该建筑物的内部，诸如由携带具有图像采集能力的移动装置185的用户(未示出)在沿着行进路径115穿过建筑物内部移动到一系列多个观察地点210时进行捕获。ICA系统的实施例(例如，服务器计算系统180上的ICA系统160、在用户的移动装置上运行的ICA系统的一些或全部的副本等)可以自动执行或辅助捕获表示建筑物内部的数据，并且进一步分析所捕获数据以生成链接的全景图像，从而提供建筑物内部的视觉表示。尽管用户的移动装置可以包括各种硬件部件，诸如相机、一个或多个硬件传感器(例如，陀螺仪、加速计、指南针等，诸如移动装置的一个或多个IMU的一部分；测高仪；光检测器；等)、GPS接收器、一个或多个硬件处理器、存储器、显示器、传声器等，但在至少一些实施例中，移动装置可能无法访问或使用设备来测量建筑物中的物体相对于移动装置的定位的深度，使得可以部分地或完全地基于不同图像中的匹配特征和/或通过使用来自所列出的硬件部件的其他硬件部件的信息(但不使用来自此类深度传感器的任何数据)来确定不同全景图像与其观察地点之间的关系。另外，虽然提供方向指示符109以供读者参考，但是在至少一些实施例中，移动装置和/或ICA系统可以不使用这种绝对方向信息，诸如反而确定全景图像210之间的相对方向和距离而不考虑实际地理位置或方向。
在操作中，与移动装置相关联的用户到达建筑物内部的第一房间内的第一观察地点210A(在此示例中为从外门190到客厅的入口)，并且当移动装置在第一观察地点处围绕竖直轴线旋转时(例如，在用户将他或她的身体转圈而同时保持移动装置相对于用户的身体保持固定的情况下)捕获从该观察地点210A可见的建筑物内部的一部分的视图(例如，第一房间的一些或全部，以及任选地一个或多个其他相邻或附近房间的小部分，诸如穿过门、大厅、楼梯或始于第一房间的其他连接通道)。视图捕获可以通过记录视频和/或拍摄一系列图像来执行，并且可以包括可以在从观察地点捕获的图像(例如，视频帧)中可见的多个对象或其他特征(例如，结构细节)，在图1B的示例中，此类对象或其他特征通常可以包括门道190和197(例如，带有旋转门和/或滑动门)、窗户196、拐角或边缘195(包括在建筑物198的西北角的拐角195-1、在第一房间的东北角的拐角195-2以及未示出的其他拐角或边缘，包括墙壁、地板或天花板之间的拐角或边缘)、家具191至193(例如，沙发191；椅子192，诸如192-1和192-2；桌子193，诸如193-1和193-2；等)、悬挂在墙壁上的图片或绘画或电视或其他对象194(诸如194-1和194-2)、灯具(诸如图2A至图2I的灯具130)等。用户还可以任选地提供与观察地点相关联的文本或听觉标识符，诸如用于观察地点210A的“入口”或用于观察地点210B的“客厅”，而在其他实施例中，ICA系统可以自动生成此类标识符(例如，通过自动分析建筑物的视频和/或其他记录信息来执行对应的自动化确定，诸如通过使用机器学习来实现)，或者可以不使用标识符。
在已经适当捕获了第一观察地点210A(例如，通过移动装置的完整旋转)之后，用户可以前进到下一个观察地点(诸如观察地点210B)，从而任选地在沿着行进路径115在观察地点之间移动期间记录视频和/或来自硬件部件(例如，来自一个或多个IMU、来自相机等)的其他数据。在下一个观察地点处，用户可以类似地使用移动装置从该观察地点捕获一个或多个图像。该过程可以从建筑物的一些或全部房间(优选地全部房间)重复，并且可选地在建筑物外部重复，如针对观察地点210C至210J所示。进一步分析针对每个观察地点所采集的视频和/或其他图像，以生成观察地点210A至210J中的每一者的全景图像，在一些实施例中包括匹配不同图像中的对象和其他特征。可以执行随后的进一步处理和分析以便将全景中的至少一部分与它们之间的线215“链接”在一起，诸如关于图1C至图1D进一步讨论，诸如确定彼此可见的多对观察地点之间的相对位置信息，并且存储对应的全景间链接(例如，分别在观察地点A和B之间的方向215-AB、B和C之间的方向215-BC以及A和C之间的方向215-AC上的链接)，并且在一些实施例和情形下，进一步链接彼此不可见的至少一些观察地点(例如，在观察地点210B和210E之间)。
图1C和图1D提供了有关使用诸如来自图1B的观察地点210的全景图像执行链接操作的一个示例的其他细节，包括确定观察地点之间的相对位置信息以用于相互连接的全景图像或与那些观察地点相对应的其他视觉信息。虽然图1C和图1D的示例使用关于用户在观察地点之间采取的行进路径的信息来在那些观察地点的全景图像之间执行链接操作，但是在其他实施例中，全景图像之间的链接操作可以部分地或完全地使用其他技术来执行，诸如通过标识具有重叠视野的不同全景图像中的相同特征(例如，针对同一房间中的不同全景图像)，以及通过使用不同图像中的这些特征的相对位置来确定全景图像的观察地点之间的相对位置信息。
特别地，图1C提供了附加信息103，包括关于路径115ab和115bc分别反映用户从观察地点210A移动到观察地点210B并且随后从观察地点210B移动到210C的部分。应当理解，获得这样的链接信息的次序可以变化，诸如用户反而在观察地点210B处开始并在他或她沿着路径115bc行进到观察地点210C时捕获链接信息，并且稍后沿着行进路径115ab从观察地点210A前进到观察地点210B，其中捕获对应的链接信息(任选地，在从观察地点210C移动到210A之后未捕获链接信息)。在此示例中，图1C示出了用户在点137处沿刚好正北偏西的方向(如先前相对于图1B的方向指示符109所指示)从观察地点210A离开，以主要向北的方式前进至行进路径115ab的大致前半段，并且然后开始沿偏东的方向转弯，直到沿主要向东且略微向北的方向到达观察地点210B的进入点138。为了更具体地确定从点137的离开方向，包括相对于先前针对观察地点210A开始视频采集(并且所得的全景图像开始)的方向120A，可以将在用户沿着行进路径115ab行进时捕获的初始视频信息与观察地点210A的全景图像的帧进行比较，以便标识匹配帧/图像。特别地，通过匹配该全景图像中与在用户从点137离开时拍摄的一个或多个初始视频帧/图像中的信息相对应的一个或多个最佳帧，可以将从点137离开的方向与用于采集那些匹配的全景图像观察地点相匹配，尽管未示出，但是所得的确定可以对应于从起始方向120A到该离开方向的全景图像的一个或多个匹配帧/图像的特定旋转程度。以类似的方式，为了更具体地确定在点138处到达的方向，包括相对于针对观察地点210B开始视频采集(并且所得的全景图像开始)的方向120B，可以将在用户沿着行进路径115ab行进时捕获的所得视频信息与观察地点210B的全景图像的帧进行比较，以便标识匹配帧/图像，并且特别地标识方向139(与观察地点210B的用户到达的一侧相反)上的帧/图像。
尽管这样的离开方向和到达方向将允许在行进路径115ab基本上笔直的情况下确定观察地点210A和210B之间的实际相对方向215-AB，但是在此示例中，不是这种情况，相反，为了确定方向215-AB，分析作为行进路径115ab的链接信息的一部分捕获的加速度数据，以标识沿着行进路径115ab的用户速度和定位，以便对起始点137与到达点138之间的行进路径的最终相对定位进行建模。在此示例中，针对南北方向采集的加速度数据(例如，来自由用户携带的移动设备中的一个或多个IMU单元)指示在用户开始移动时向北方向上存在初始的明显加速度峰值，然后在用户沿着行进路径115ab的中部部分在大致向北方向上保持恒定速度时下降到接近零，并且然后在用户朝向观察地点210B转弯到主要向东方向时在向南方向上开始更长时间但不那么急剧的加速，并在到达时减速。加速度数据可以被积分以确定对应的南北速度信息，并且然后进一步积分以确定每个数据点的定位信息。通过组合所确定的速度和位置信息，可以确定用户沿着行进路径115ab的南北移动量，这与在观察地点210A和210B之间行进的总计南北距离量相对应。以类似的方式，可以确定在用户沿着行进路径移动时在行进路径115ab的东西方向上的加速度和速度信息，其中速度和位置数据的所得二重积分提供用户沿着行进路径115ab行进的总计东西距离量。通过将总计南北和东西距离(并且在此示例中假设没有发生高度变化，但在一些实施例中可以以类似的方式获得并分析高度信息)与所确定的离开和到达信息组合，确定沿对应方向215-AB在观察地点210A和210B之间行进的总距离(在此示例中，方向215-AB是从观察地点210A到210B和从观察地点210B到210A的双向方向)。
基于对从观察地点210B的离开方向、在观察地点210C处的到达方向以及沿着行进路径115bc捕获加速度数据的一些或全部数据点的中间速度和定位的类似分析，可以对用户沿行进路径115bc的移动进行建模，并且可以确定观察地点210B和210C之间的所得方向215-BC以及对应距离。因此，可以在到观察地点210C的方向215-BC上确定全景间链接225B-C，其中在观察地点210B处生成的全景图像中包括对应信息，并且可以在到观察地点210B的方向215-BC上类似地确定全景间链接225C-B，其中在观察地点210C处生成的全景中包括对应信息。类似地，可以在从观察地点210A到210B的方向215-AB上确定从观察地点210A到210B的全景间链接225A-B，其中在观察地点210A处生成的全景图像中包括对应信息，并且可以在从观察地点210B到观察地点210A的方向215-AB上类似地确定全景间链接225B-A，其中在观察地点210B处生成的全景中包括对应信息。
尽管缺乏在观察地点210A和210C之间捕获的链接信息(例如，因为用户没有沿着那些观察地点之间的路径行进，因为在用户沿着这样的路径行进时没有捕获链接信息等)，但是信息103进一步说明方向226的示例，所述方向可以至少部分地基于对行进路径115ab和115bc的链接信息的分析而任选地在观察地点210A和210C之间确定(并且其中对应的全景间链接225A-C和225C-A在方向226上生成并且被包括在观察地点210A和210C的全景图像中)。特别地，即使未从对行进路径115ab和115bc的链接信息的分析中得知观察地点210A、210B和210C的绝对定位，但也可以以上文讨论的方式确定那些观察地点的相对定位，包括观察地点210A和210B之间以及观察地点210B和210C之间的估计距离和方向。以这种方式，尽管缺乏观察地点210A和210C之间的直接链接信息，但可以使用几何分析将具有所确定线215-AB和215-BC的所得三角形的第三边确定为线226。将进一步注意，在此示例中，可以执行关于行进路径115ab和115bc执行的分析以及对应于226的方向和距离的估计，而不管观察地点210A、210B和/或210C是否彼此可见，特别地，即使三个观察地点在不同房间中和/或被墙壁(或其他结构或障碍)互相遮挡，链接信息的分析也可以用于确定各种观察地点的以上讨论的相对定位(包括方向和距离)。应当理解，对于建筑物198或原本其他类似建筑物或其他结构中的所有观察地点，可以继续参考图1C和图1D示出的技术，从而导致与观察地点210A至210J相对应的一组链接的全景图像。
图1D描绘了其中已生成并链接全景图像的建筑物内部环境的框图。特别地，图1D类似于图1B，但缺乏关于路径115和用户移动装置185(以及外部观察地点210I至210J)的细节，同时添加关于双向方向215上的全景间链接的信息，所述全景间链接包括观察地点215A和215B之间的方向215-AB上、观察地点215B和215C之间的方向215-BC上、以及观察地点215A和215C之间的方向215-AC上的所示链接。图1D进一步示出在一些实施例和情形下，可以确定并使用全景间链接以进一步链接彼此不可见的至少一些观察地点(例如，观察地点210B和210E之间的方向215-BE上的链接)。
关于图1A至图1D提供了各种细节，但是应当理解，所提供的细节是出于说明性目的而包括的非排他性示例，并且可以在没有一些或全部此类细节的情况下以其他方式执行其他实施例。
图2A至图2I示出了自动分析并使用手持式移动装置上的传感器数据的示例，所述手持式移动装置正在从建筑物内部采集图像以便控制图像采集，诸如在图1B至图1D中所讨论，基于建筑物198和观察地点210的相互连接的全景图像。在这些示例中，相对于在所示建筑物的客厅229a中的观察地点210B处采集的全景图像讨论了各种细节，应当理解，可以通过使用观察地点210A和210C的全景图像信息对同一房间执行类似分析，以及对建筑物的其他房间执行类似分析。在此示例中，建筑物的东南房间不具有在该房间内或附近的任何观察地点，并且因此可以不相对于这种房间内观察地点位置来对其执行分析，但是来自可看到该房间的其他观察地点(例如，观察地点210G和210H)的信息可以至少部分地用于从全景图像的分析采集的其他类型的信息。另外，出于此示例的目的，小区域(诸如壁橱和壁龛/角落)不作为单独的房间进行分析，而是被视为较大的容纳房间的一部分(任选地作为房间内的未测绘空间)，但是在其他实施例中，也可以单独地表示此类小区域(任选地包括具有位于其内的一个或多个观察地点)。类似地，虽然在此示例中将东西走廊建模为单独的房间，但是在其他实施例中，此类走廊也可以被视为连接到走廊的一个或多个房间的一部分，或者反而，走廊可以被视为房间之间的连接通道，而不是单独的房间。
特别地，图2A示出了可以在用户移动装置(或其他装置)的显示器上可见的图像250a，所述图像是在用户沿起始方向120B站在建筑物198a的房间229a的观察地点210B处时捕获的，如关于图1B至图1D更详细地讨论。在此示例中，用户尚未开始从观察地点210B采集全景图像，但是将发起该过程。图2A示出了房间229a中的在图像250a中可见的各种对象，包括椅子192-1、边界195-2、图片或绘画194-1、窗户196以及灯具130a和130b。
图2B继续图2A的示例，并且示出了来自在图2A的图像250a上叠加的所显示的GUI的信息。特别地，并且在本文的其他地方更详细地讨论，ICA系统可以使用来自手持式用户移动装置的硬件传感器的信息来确定移动装置在被用户握持时在3D空间中的当前位置(几何取向和任选地定位)，并且将该信息用作显示的GUI的一部分。在此示例中，显示的GUI包括表示移动装置的当前位置的显示的当前位置指示符270，在此示例中，所述指示符位于图像250b的中间的中心。另外，在此示例中，显示GUI包括多个显示的目标位置指示符280，以指示来自观察地点210B的要采集图像以用于生成表示观察地点210B的全景图像的目标位置，但是在其他实施例中(例如，在捕获连续视频而不是一连串单独图像的实施例中)，可以不包括此类视觉指示符，在此示例中，显示的目标位置指示符包括当前目标位置指示符280a、下一个目标位置指示符280b和附加的未来目标位置指示符，如图所示。在此示例中，显示的GUI进一步包括方向指示符285b，以提供用户在观察地点210B处将旋转或转动的方向的视觉指示，并且在此示例中进一步包括文本叠加275b，以提供关于从观察地点开始捕获全景图像的指示。
在各种实施例中，可以以各种方式确定从观察地点采集并保存图像的目标位置。例如，在一些实施例中，选择限定数量N的图像，并且这些图像围绕观察地点以相对于用户的转动身体的恒定倾斜、回转和枢转角度(例如，通过在身体转动时将手持式移动设备保持在相对于用户身体的水平不变位置)以360°圆内均匀间隔开(例如，对应于每M度，其中M为360除以N)。在其他实施例中，可以相对于采集并保存图像的一个或先前位置来确定目标位置，诸如基于自上次保存图像以来的旋转量和/或时间、内容与一个或多个先前保存的图像的重叠量等。另外，在一些实施例中，目标位置被确定为连续的或基本上连续的，诸如当以匹配或低于限定阈值的旋转速率采集视频，并且一些或全部所采集视频帧对应于目标位置时。此外，虽然在一些实施例中，以相对于用户的转动身体的单个倾斜、回转和枢转角度(例如，笔直向外并垂直于将用户的身体从头到脚等分的线)采集目标位置，但是在其他实施例中，目标位置可以被选择为以一个或多个此类旋转量度变化，并且有可能在观察地点处以多个用户旋转采集所述目标位置，作为一个示例，为了生成允许最终用户向上倾斜以看到天花板和/或向下倾斜以看到地板的全景(例如，包括来自观察地点的完整或大致完整的球体的数据的全景图像)，目标位置可以部分具有对应于从用户的转动身体笔直向外的倾斜角度(即，垂直于将用户的身体从头到脚等分的线)、部分具有向下倾斜角度(例如，相对于向外的向下45°)以及部分具有向上倾斜角度(例如，相对于向外的向上45°)。在其他实施例中，可以部分地或完全地基于用户偏好或所执行的其他用户配置(例如，在观察地点处开始图像采集之前)确定目标位置。应当理解，在其他实施例中，可以以其他方式选择目标位置。
另外，虽然图2B的示例(以及图2C至图2I的继续示例)示出了捕获可见光谱中的图像，但应当理解，无论代替还是补充此类可见光图像，其他实施例可以捕获其他类型的信息。可以采集并保存并且任选地被包括在要生成的全景图像中或以其他方式与其相关联的此类其他类型的信息的示例包括在一个或多个其他范围内的光(例如，红外光、紫外光等)、其他类型的电信号和/或磁场(例如，辐射、蜂窝电话信号、Wi-Fi信号等)、来自周围环境的音频信息、口头和/或文本注释(例如，对周围环境中的观察地点和/或对象的描述)等。此外，当目标位置指示符在视觉上被包括在显示的GUI中时(无论针对已经采集并保存其图像和/或其他信息的目标位置，和/或针对在将来要保存其图像和/或其他信息的目标位置)，在一些实施例中，可以进一步更改所述目标位置指示符(例如，相对于形状、大小、视觉外观、元素类型等)，以指示与那些目标位置相关联的一种或多种类型的元数据，诸如所采集的信息的类型、采集的新近度、所采集的信息的质量等。
图2C继续图2A至图2B的示例，并且示出了表示在图2B之后不久且全景图像捕获过程已经开始的时间的图像250c。特别地，在此示例中，移动装置的视觉当前位置指示符270继续在图像250c中居中，但是当用户开始在观察地点210B处开始转动时，房间的右侧的附加部分变得可见，而房间的左侧的部分(例如，灯具130b)不再可见。另外，在用户转动时，ICA系统继续以实时方式监测来自移动装置的硬件传感器的数据，包括确定在用户转动时移动装置的当前位置(几何取向和任选地定位)。在此示例中，已经向当前位置指示符270的左侧添加了附加的视觉过去目标位置指示符290，这表示应已经捕获图像的过去目标位置的指示，并且在此示例中已经成功地完成捕获。因此，当前目标位置指示符280a和下一目标位置指示符280b已经相对于房间内部移动以表示要采集附加图像的变化的下一位置，并且转动方向指示符285c已经类似地移动。在此示例中，文本指示符275c也已经更新，但在其他实施例中，文本指示符可以不改变或者在这种情形下可以不再显示。在此示例中，所采集的图像的过去目标位置指示符290可以进一步使用指示从那些位置采集并保存的图像的成功和/或质量的视觉指示，诸如使用特定颜色来指示完全成功，并且任选地使用一种或多种其他颜色来指示捕获时没有成功或成功的程度。在此示例中，成功视觉采集指示是过去目标位置指示符290中示出的交叉阴影图案，但是应当理解，在其他实施例中，可以使用其他视觉指示，并且在一些实施例中，可以不示出此类成功或缺乏成功的视觉指示，并且进一步地在其他实施例中，可以不展示此类过去目标位置指示符290(在本文中也被称为“足迹”)。
图2D继续图2A至图2C的示例，并且对应于在图2C所示的之后不久的时间段。尽管基于用户在他或她转动时维持移动装置的正确位置，图2C的示例先前指示在用户旋转时继续成功捕获图像，但是图2D示出了替代情形，其中移动装置的取向不再正确并且对应于移动装置从一侧枢转到另一侧(其中医用装置的右侧高于左侧)，使得它不与房间齐平并且使得其当前位置指示符270不再匹配要采集的目标位置的指示符280。在此示例中，移动装置的当前位置指示符270继续在新图像250d的中心显示并且相对于图像的边界处于相同水平取向，但是以歪斜的方式示出实际房间及其内容物以对应于由移动装置因其旋转而捕获到的图像。因此，在此示例中，所显示的GUI以多种方式更新，以指示因用户装置的不正确旋转而导致缺乏对当前和/或过去目标位置的一个或多个图像的成功捕获，特别地，ICA系统在用户转动时采集并使用来自手持式移动装置的硬件传感器的数据，以确定是否捕获了目标位置的图像，诸如在此示例中，因手持式移动装置的歪斜和/或用于该过去目标位置的移动装置的定位和移动的其他问题而不捕获过去目标位置292的图像，并且在此示例中，捕获其他过去目标位置291处的图像但将它们与较低质量相关联(例如，以在较高质量图像变得可用的情况下用较高质量图像替换它们，和/或不使用这些图像或者在稍后使用所捕获的图像来生成附加的测绘相关信息时以其他方式向所述图像给予较低权重或其他影响)。因此，文本指示符275d已经被更新以向用户指示倒退并重新捕获在一个或多个过去目标位置未成功捕获的一个或多个图像，在此示例中，这至少对应于过去目标位置292，如用空内容且没有用于指示缺乏成功的图像采集和保存的图案，并且在其他实施例中可以用特定颜色或以其他视觉方式示出。类似地示出的转动指示符285d向用户指示在先前用户转动的相反方向上返回，以回到需要重新捕获的目标位置292。在此示例中，两个常规的过去目标位置具有用不同的填充图案示出的指示符291(并且在其他实施例中，可以具有不同的颜色或其他视觉指示)以指示部分成功，诸如指示图像是不理想的但是满足用于后续生成全景图像的最小质量阈值，但是在其他实施例中，可以类似地重新捕获这种不理想的捕获的图像。替代地，在其他实施例中，可能不以这种方式重新捕获或根本不重新捕获过去目标位置的这种不理想或失败的图像采集，作为一个示例，用户反而可以被要求从观察地点210B进行房间的多次旋转，使得第二次旋转可以在一个或多个这种目标位置292和/或291处提供足够的图像，而在其他实施例中，有可能从其他附近成功的图像取向290来生成全景图像。另外，图2E所示的用户的进一步旋转现在已经将桌子193-1的一部分带入视野。
图2E继续图2A至图2D的示例，并且在这种情况下，示出了图像250e，该图像是在与先前相对于图2D讨论的相同定位处可能发生的替代类型的问题。特别地，在此示例中，移动装置的取向不是枢转的，而是在水平面处向下倾斜(其中移动装置的顶部比移动装置的底部离用户的身体更远)，使得其当前位置指示符270不再匹配要采集的目标位置的指示符280，从而类似地导致未成功地捕获的过去目标位置292以及对应于其相应图像部分成功的其他过去目标位置291。应当理解，可能类似地发生移动装置的取向和/或定位的其他类型的问题，以及对应于特定图像的其他问题(例如，照明不足、用户旋转太快以致于引起模糊、手指或其他对象挡住正在捕获的图像的一部分等)。
图2F继续图2A至图2E的示例，并且对应于用户已经在观察地点210B处完成完整的旋转并在所确定的目标位置中的每一个处成功地捕获图像的时间段，如由叠加在图2F的图像250f上的完整视觉过去目标位置指示符290所示。由于用户已经完成了完整的旋转，因此在图像250f的方向上的房间的视图对应于在全景图像捕获开始时的开始图像250a的视图。在此示例中，所示的GUI已经更新以包括附加文本信息275f，该附加文本信息的指示让用户继续该过程并且特别地将刚刚捕获的观察地点210B的全景图像连接到下一观察地点和要捕获的对应全景，诸如在此示例中，在观察地点210C处。应当理解，在其他实施例中，可以使用其他类型的方向以辅助用户移动到下一观察地点和/或沿着到该下一观察地点的行进路径捕获采集元数据。
图2G示出了替代图像250g，该替代图像对应于从观察地点210A在方向215-AB上朝向观察地点210B的完整全景图像的视图，诸如在完成生成建筑物198的相互连接的全景图像之后。在此示例中，虚线250a被指示为示出较大当前图像250g内的从观察地点210B可见的图像(其中视角较宽，因为是在距图2A所示的对象的较远距离处拍摄的)，但是在其他实施例中，可以不向用户显示这种视觉指示250a。图2G进一步示出在已经生成并链接全景图像之后，向最终用户示出的所显示的GUI可以进一步包括允许在观察地点及其全景图像之间的移动的视觉元素，诸如在此示例中，包括用户可以选择以移动来查看在观察地点210B处采集的全景图像的用户可选择控件241。所显示的GUI还包括文本信息243，所述文本信息提供观察地点210B的文本指示符，在此示例中，标记为“客厅”。另外，图2G还示出了信息245，在一些实施例中，无论在完成生成建筑物198的相互连接的全景图像之后，和/或已经在观察地点210B处采集全景图像之后且当用户在与可见观察地点210B不同的观察地点时捕获附加全景图像的过程期间，都可以向用户显示该信息。特别地，在此示例中，视觉指示符245可以向用户说明已经针对与观察地点210B相对应的所示定位采集了全景图像，诸如向用户提供已经捕获且不需要重复建筑物内部的对应部分的视觉指示。替代地，在一些实施例中，可以向最终用户显示此类视觉指示符245以说明在所示的位置处有其他图像可供查看，而无论是补充还是代替指示符241和243进行显示，并且任选地以用户可选择方式显示，使得用户可以选择所显示的指示符245中的一个并切换到在该方向上的观察地点210B的生成全景的视图。在其他实施例中，可以不向最终用户(例如，使用图1A的客户端计算装置175并且在完成全景间连接过程之后)和/或在捕获并生成全景图像的过程期间的用户展示此类视觉指示符245、241和/或243。尽管图2G中未示出，但最终用户可以以各种方式进一步操纵所显示的全景图像视图250g，诸如用户拖动、滚动、放大或以其他方式移动视图方向来改变从观察地点210A的生成全景图像可见的视图。
图2H和图2I继续图2A至图2G的示例，并且特别地示出可以用于在观察地点处采集全景图像的过程期间辅助用户的当前位置指示符的替代示例。特别地，图2H的图像250h类似于图2B的来自观察地点210B的图像250b。然而，在图2H中，叠加在图像250h上的所显示的GUI不包括移动装置的先前视觉指示符270，并且反而指示一个或多个替代的视觉当前位置指示符271h以辅助用户确定移动装置的位置(例如，取向)。在此示例中，视觉当前位置指示符271h包括彼此垂直地显示的水平条和竖直条(诸如与飞机用来显示地平和水平飞行的姿态仪类似的方式)，在此示例中，视觉当前位置指示符271h-1类似地在图像的中心示出，诸如对应于全景图像采集过程的开始，其中还示出了其他类似的视觉目标位置指示符280。
图2H进一步示出了替代的视觉当前位置指示符的示例271h-2，并且此示例对应于其中用户以不正确的取向握持移动装置的情形(在此示例中，这包括移动装置从目标指示符280的适当水平向下倾斜、向右旋转并且枢转，其中移动装置的顶部比底部离用户更远)。在此示例中，尽管来自移动装置的成像传感器的房间的实际图像将被旋转和歪斜以对应于移动装置的取向(以类似于相对于图2D所示的方式)，但房间的图像250h将被显示为水平的，尽管当前位置(取向)指示符271h-2已经在图像内移动以对应于移动装置的不正确取向，但在其他实施例中，视觉指示符271h-2的显示反而可以在图像的中心处，而同时基于从移动装置的相机或其他成像传感器当前可见的内容来显示图像的剩余部分。
图2I示出了与图2H类似但未示出当前位置指示符271h的图像250i，并且反而在类似地处于图像250i的中心的较小版本270i中示出图2B的指示符270的修改版本。另外，在此示例中，所显示的GUI还包括在转动方向285i上的延伸的上边界和下边界271i，使得当用户在观察地点210B处旋转时，用户将所显示的指示符270i保持在上边界和下边界内。在此示例中，所显示的GUI还包括用于指示将采集图像的目标位置的指示符282(而不是图2B的目标位置指示符280)，但是在其他实施例中，包括在捕获连续视频而不是一系列单独图像的实施例中，可以不包括此类视觉指示符。应当理解，图2B至图2I的所显示的GUI可以以此处未明确地说明的多种其他方式进行修改。
另外，尽管图2A至图2I中未示出，但是在其他实施例中，ICA系统可以在观察地点处捕获图像期间经由一个或多个视觉引导线索(包括经由连续视频)向移动装置的用户提供其他类型的实时反馈。例如，ICA系统可以确定(诸如基于由传感器模块148提供的传感器数据)移动装置旋转太快，并且如果是这样的话，则可以提供听觉、视觉或其他适当的通知以指示用户应更缓慢地旋转移动装置。作为另一个示例，ICA应用程序可以确定移动装置在晃动或在其他方面未能提供高质量视频(诸如基于传感器数据或者特定捕获的视频帧的一个或多个分析)，并且如果是这样的话，则可以提供通知以向用户通知问题。作为又一个示例，如果确定特定的观察地点不适合捕获关于建筑物内部的信息，诸如如果ICA系统检测到照明条件或当前观察地点的其他环境因素负面地影响记录过程，则ICA系统可以向用户提供通知。此外，在某些实施例中，ICA系统可以向用户提示有关正在捕获的观察地点中的一个或多个的信息，诸如提供与观察地点相关联的文本或听觉标识符(例如，“客厅”、“办公室”、“卧室1”或其他标识符)，或者以其他方式从用户捕获关于房间的描述性信息(例如，对内置特征的描述、改造的历史、关于正在记录的内部空间的特定属性的信息等)。在其他实施例中，可以以其他方式确定此类标识符和/或其他描述性信息，包括自动分析建筑物的视频和/或其他记录信息(例如，使用机器学习)以进行确定。在至少一个实施例中，此类采集或以其他方式确定的标识符和/或其他描述性信息可以稍后合并在观察地点的捕获信息中或以其他方式与其一起使用，诸如在ICA系统(或从ICA系统接收对应信息的另一个系统)对建筑物内部的后续显示或其他呈现期间提供标识符或其他描述性信息的文本或听觉指示。
已经关于图2A至图2I提供了各种细节，但是应当理解，所提供的细节是出于说明性目的而包括的非排他性示例，并且可以在没有一些或全部此类细节的情况下以其他方式执行其他实施例。
图3是示出执行ICA系统340的实施方式的一个或多个服务器计算系统300的实施例的框图，服务器计算系统和ICA系统可以使用多个硬件部件来实施，所述多个硬件部件形成适合于且被配置为在联合操作时执行本文所描述的技术中的至少一个的电子电路。在所示的实施例中，每个服务器计算系统300包括一个或多个硬件中央处理单元(“CPU”)或其他硬件处理器305、各种输入/输出(“I/O”)部件310、存储设备320以及存储器330，其中所示的I/O部件包括显示器311、网络连接312、计算机可读介质驱动器313以及其他I/O装置315(例如，键盘、鼠标或其他指示装置、传声器、扬声器、GPS接收器等)。
服务器计算系统300和执行的ICA系统340可以经由一个或多个网络399(例如，互联网、一个或多个蜂窝电话网络等)与其他计算系统和装置进行通信，诸如用户移动计算装置360(例如，用于捕获建筑物内部数据；用于存储和提供与建筑物相关的附加信息等)、MIGM服务器计算系统380(例如，MIGM系统在其上执行以生成并提供楼层地图和/或其他相关测绘信息386)、用户客户端计算系统390(例如，用于查看链接的全景图像和/或其他相关信息等)，以及任选地接收楼层地图和任选地其他生成的信息并将其用于导航目的(例如，以供半自主或全自主车辆或其他装置使用)的其他可导航装置395。
在所示的实施例中，ICA系统340的实施例在存储器330中执行以便执行所描述的技术中的至少一些，诸如以将处理器305和计算系统300配置为执行自动化操作的方式使用处理器305来执行系统340的软件指令，所述自动化操作实施那些描述的技术。ICA系统的所示实施例可以包括一个或多个部件(未示出)以各自执行ICA系统的功能的部分，并且存储器还可以任选地执行一个或多个其他程序335，作为一个具体示例，在至少一些实施例中，MIGM系统的副本可以作为其他程序335中的一个执行，诸如代替或补充MIGM服务器计算系统380上的MIGM系统389。ICA系统340在其操作期间还可以存储和/或检索存储设备320上(例如，在一个或多个数据库或其他数据结构中)的各种类型的数据，诸如各种类型的用户信息322、链接的全景图像信息324(例如，以提供给客户端计算装置360的用户进行显示；以供分析来生成楼层地图等)、任选地生成的楼层地图和其他相关联的信息326(例如，生成并保存的3D模型、用于与相关联的楼层平面图一起使用的建筑物和房间尺寸、附加的图像和/或注释信息等)和/或各种类型的任选附加信息328(例如，用于图像采集的定义目标位置信息、用于评估图像捕获信息的定义阈值等)。
用户移动计算装置360(例如，智能电话)、客户端计算系统380、客户端计算系统390和其他可导航装置395中的一些或全部可以类似地包括针对服务器计算系统300示出的相同类型部件中的一些或全部。作为一个非限制性示例，服务器计算系统380各自被示为包括一个或多个硬件CPU 381、I/O部件382、存储设备385以及存储器387，其中MIGM系统389的实施例在存储器387内执行，并且其中由MIGM系统生成的测绘信息386被存储在存储设备385上。作为另一个非限制性示例，移动客户端计算装置360各自被示为包括一个或多个硬件CPU 361、I/O部件362、存储设备365、具有一个或多个成像传感器(未示出)的成像系统364、IMU硬件传感器369以及存储器367，其中浏览器368和一个或多个客户端应用程序368(例如，专用于ICA系统的应用程序)中的一者或两者在存储器367内执行，诸如参与与ICA系统340、MIGM系统389和/或其他计算系统的通信，在其他实施例中，ICA系统中的一些或全部的副本反而可以在用户移动计算装置360中的一些或全部中的每一者上执行。尽管没有针对客户端计算系统390或其他可导航装置395示出特定部件，但是应当理解，它们可以包括类似和/或附加的部件。
还应当理解，计算系统300以及在图3内包括的其他系统和装置仅仅是说明性的，并且不意图限制本发明的范围。系统和/或装置反而可以各自包括多个交互的计算系统或装置，并且可以连接到没有具体示出的其他装置，包括经由蓝牙通信或其他直接通信、通过一个或多个网络(诸如互联网)、经由Web或者经由一个或多个专用网络(例如，移动通信网络等)进行连接。更一般地，装置或其他计算系统可以包括任选地在被编程或以其他方式被配置为具有特定软件指令和/或数据结构时可以交互并执行所描述的类型的功能的硬件的任何组合，所述硬件包括但不限于台式计算机或其他计算机(例如，平板计算机、平板电脑等)、数据库服务器、网络存储装置和其他网络装置、智能电话和其他蜂窝电话、消费者电子器件、可穿戴装置、数字音乐播放器装置、手持式游戏装置、PDA、无线电话、网络家电，以及包括适当通信能力的各种其他消费者产品。另外，在一些实施例中，由所示的ICA系统340提供的功能可以分布在各种部件中，可以不提供ICA系统340的所描述的功能中的一些，并且/或者可以提供其他附加的功能。
还应当理解，尽管各种项被示为在使用时存储在存储器中或在存储设备上，但是出于存储器管理和数据完整性目的，这些项或其部分可以在存储器与其他存储装置之间转移。替代地，在其他实施例中，软件部件和/或系统中的一些或全部可以在另一个装置上的存储器中执行并且经由计算机间通信与所示计算系统通信。因此，在一些实施例中，当被一个或多个软件程序(例如，被在服务器计算系统300和/或移动计算装置360上执行的ICA系统340和/或ICA客户端软件369)和/或数据结构配置时，所描述的技术中的一些或全部可以由包括一个或多个处理器和/或存储器和/或存储设备的硬件装置执行，诸如通过执行一个或多个软件程序的软件指令和/或通过存储此类软件指令和/或数据结构，并且诸如执行算法，如在流程图和本文的其他公开内容中所述。此外，在一些实施例中，可以以其他方式实施或提供系统和/或部件中的一些或全部，诸如通过由部分地或完全地在固件和/或硬件中实施(例如，而不是作为由配置特定CPU或其他处理器的软件指令全部或部分地实施的装置)的一个或多个装置组成，包括但不限于一个或多个专用集成电路(ASIC)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)等。部件、系统和数据结构中的一些或全部还可以(例如，作为软件指令或结构化数据)存储在非暂时性计算机可读存储介质上，诸如硬盘或闪存驱动器或者其他非易失性存储装置、易失性或非易失性存储器(例如，RAM或闪存RAM)、网络存储装置或者便携式媒体制品(例如，DVD盘、CD盘、光盘、快闪存储器装置等)，以便由适当的驱动器或经由适当的连接来读取。在一些实施例中，系统、部件和数据结构还可以经由所生成的信号(例如，作为载波或者其他模拟或数字传播信号的一部分)在各种计算机可读传输介质上传输，所述传输介质包括基于无线和基于有线/电缆的介质，并且可以采取多种形式(例如，作为单个或多路模拟信号的一部分，或作为多个离散数字包或帧)。在其他实施例中，此类计算机程序产品还可以采取其他形式。因此，可以利用其他计算机系统配置来实践本公开的实施例。
图4A至图4D示出了ICA系统例程400的实施例的示例流程图。所述例程可以由例如图1A的ICA系统160、图3的ICA系统340和/或相对于图1B至图2I描述且如本文以其他方式描述的ICA系统执行，诸如在建筑物或其他结构内的观察地点处采集全景或其他图像，以便生成并链接多个此类观察地点的全景图像，而同时使用来自采集移动装置的传感器数据来控制图像采集过程的至少一些。尽管相对于从观察地点在特定目标位置采集图像来讨论示例例程400的部分，但是应当理解，这个或类似的例程可以用于采集视频或在其他方面以连续或基本上连续的方式采集一系列图像。另外，尽管所示的实施例采集并使用来自目标建筑物的内部的信息，但是应当理解，其他实施例可以针对其他类型的数据(包括针对非建筑物结构和/或针对一个或多个感兴趣的目标建筑物外部的信息)执行类似的技术。此外，例程中的一些或全部可以在用户所使用的移动装置上执行以采集图像信息，和/或由远离这种移动装置的系统执行。
例程的所示实施例在框405处开始，其中接收指令或信息。在框410处，例程确定接收到的指令或信息是否指示采集表示建筑物内部的数据以作为生成一个或多个观察地点的全景图像并且任选地将多个此类全景图像链接的一部分，并且如果否的话，则继续到框490。否则，例程前进到框412，以接收来自移动装置的用户的指示以便在第一观察地点处开始图像采集过程。在框412之后，例程前进到框415，以便执行观察地点图像采集子例程(其中这种子例程的一个示例在图4B中示出，如下文进一步讨论)，以针对在感兴趣的目标建筑物的内部中的观察地点进行采集。
在完成框415并且从子例程接收到对应的采集图像和/或对应的采集图像以其他方式存储以供后续使用(在一些情况下，包括该观察地点的生成的全景图像)之后，例程继续到框420以诸如基于由移动装置的用户提供的对应信息来确定是否要采集更多的观察地点。如果是的话，并且当用户准备继续该过程时，例程继续到框422以发起在移动装置沿着远离当前观察地点而朝向建筑物内部内的下一观察地点的行进路径移动期间捕获链接信息(包括加速度数据)。如本文其他地方所述，捕获的链接信息可以包括在这种移动期间记录的附加传感器数据以及附加视频信息。可以响应于来自移动装置的用户的明确指示或者基于从移动装置记录的信息的一个或多个自动化分析而发起捕获这种链接信息。另外，在一些实施例中，例程还可以任选地在移动到下一观察地点期间监测移动装置的运动，并且向用户提供有关以下项的一个或多个引导线索：移动装置的运动、正在捕获的传感器数据和/或视频信息的质量、相关联的照明/环境条件、捕获下一观察地点的可取性，以及捕获链接信息的任何其他适当方面。类似地，例程可以任选地从用户获得有关行进路径的注释和/或其他信息，诸如便稍后用于呈现有关该行进路径或所得全景间连接链接的信息。在框424中，例程确定移动装置已经到达下一观察地点(例如，基于来用户的指示、基于用户的向前移动在至少预定义量的时间内停止等)，以用作新的当前观察地点，并且继续到框415以便执行观察地点图像采集子例程。
如在图4B中相对于针对每个观察地点执行观察地点图像采集子例程进一步讨论，例程在框440处开始，其中所述例程从要采集图像的当前观察地点确定一个或多个目标位置(在一些情况下，确定所有目标位置，诸如如果它们不取决于针对观察地点采集的先前图像的话)，并且其中每个目标位置指示从观察地点的取向以及任选地相对于用户的身体或观察地点的中心沿着x轴、y轴和/或z轴的定位平移。例程首先选择第一此类目标位置作为要采集一个或多个图像的当前目标位置，并且然后继续执行框442至456，以在当前观察地点处采集目标位置的图像，包括使用硬件传感器数据来显示GUI以引导图像采集过程。
特别地，在框442中，例程采集来自移动装置(诸如来自一个或多个IMU单元)的传感器数据，并且确定移动装置的当前位置，包括当前取向和任选地定位。在框444中，例程然后采集来自移动装置、相机或其他成像传感器的当前图像。在框446中，例程然后在移动装置(或用户在使用的其他装置)的显示器上显示当前图像，并且用显示的GUI叠加所显示的图像，所显示的GUI包括在图像的中心的装置当前位置视觉指示符、图像中的对应定位处的一个或多个接下来的目标位置中的每一个的目标位置视觉指示符，以及任选地与图像采集过程相关的附加指令和/或视觉指示。例程然后继续到框448，其中所述例程确定当前装置位置是否匹配要采集图像的当前目标位置，并且如果是的话，则继续到框452以保存当前图像(或者如果在用户在观察地点处转动时连续地记录视频，则指示当前帧)。如果在框448处反而确定当前装置位置不匹配当前目标位置，则例程反而继续到框450，其中所述例程任选地在GUI中向用户显示校正指令(例如，如果移动装置的当前位置与当前位置位置的差异量或类型超过一个或多个阈值的话)。在框452之后，例程继续到框454，其中所述例程确定对于当前观察地点来说是否要采集更多目标位置的图像(例如，基于在框440中确定的目标位置、基于用户是否在观察地点处进行完整的360°转动等)，并且如果是的话，则继续到框456以选择下一此类目标位置，从而如果在框440中未确定所有的目标位置，则任选地确定附加目标位置。在框450或456之后，例程返回到框442以重复所述过程并且继续采集图像，直到已经充分地捕获所有的目标位置为止。
如果在框454处反而确定已经在当前观察地点的所有目标位置处采集了图像，则例程继续到框458，其中所述例程从所保存的图像或帧来生成观察地点的全景图像，但是在其他实施例中，可以稍后在采集了建筑物或其他结构中的所有观察地点的图像信息之后生成全景图像。一般地，可以按任何次序实施生成和/或链接特定全景图像的时间，或可以根据本文所描述的技术来实施此类处理。例如，例程反而可以相继地处理所捕获的信息的各个片段，使得针对第一观察地点生成全景图像，接着处理在远离该第一观察地点的移动期间捕获的链接信息以确定第二观察地点的相对位置信息；针对第二观察地点生成全景图像，接着处理在远离该第二观察地点的移动期间捕获的链接信息以确定第三观察地点的相对位置信息等。在各种实施例中，可以按并行和/或分布的方式执行处理一个或多个建筑物内部的所捕获的信息，诸如利用一个或多个并行处理计算集群(例如，直接地通过ICA系统或经由一个或多个第三方云计算服务-)。在框458之后，例程继续到框460，其中所述例程任选地从用户获得有关观察地点的注释或其他信息，诸如与所生成的全景信息相关联，以便稍后与所生成的全景图像结合显示给最终用户。在框460之后，例程继续到框462并且返回，诸如前进到图4A的框420。
返回到图4A，并且如果在框420中反而确定没有要在其处采集当前建筑物或其他结构的图像信息的更多观察地点，则例程前进到框425，以任选地分析建筑物或其他结构的观察地点信息，诸如识别要在建筑物内部内采集的可能附加覆盖范围(和/或其他信息)。例如，ICA系统可以向用户提供有关在采集多个观察地点和对应的链接信息期间采集的信息的一个或多个通知，诸如如果确定所记录的信息的一个或多个片段的质量不足或不合期望而无法用作生成全景图像的基础，或所述一个或多个片段似乎没有提供建筑物的完整覆盖范围或者将为附加全景间链接提供信息的话。在框425之后，例程继续到框427以存储所生成的全景图像和任何相关联的所生成或获得的其信息，并且然后继续到框430以便执行全景连接子例程(其中这种例程的一个示例在图4C和图4D中示出，如下文进一步讨论)，以便在针对观察地点生成的全景图像中的一些或全部之间生成链接。
如在图4C和图4D中相对于针对建筑物或其他结构的观察地点执行全景连接子例程进一步讨论，例程在框605处开始，其中选择下一对全景图像以针对连接间信息进行分析，从而以第一对开始，所述第一对包括与房屋、建筑物或其他结构内的一系列多个观察地点中的第一和第二观察地点相对应的第一和第二全景图像。例程然后继续到框610以确定是否尝试经由图像/特征匹配来确定全景图像对之间的连接信息，诸如基于来自两个全景图像的图像/帧中的特征的重叠，并且如果是的话，则继续到框615。应当理解，在一些实施例中，可以不执行经由图像/特征匹配的连接确定，诸如如果使用所捕获的链接信息确定全景图像对之间的所有连接信息的话，如相对于框655至670更详细地讨论。
在所示的实施例中，例程在框615中开始于任选地从全景图像(例如，对应于来自用于构建全景图像的视频的各个帧)中过滤没有足够的重叠覆盖范围的帧/图像对，但是在其他实施例中，两个全景中的一个中的每个图像/帧可以与两个全景图像中的另一个中的每个图像/帧进行比较，以确定该对图像之间的重叠量(如果有的话)。在所示的实施例中，例程从框615继续到框620，其中所述例程将来自两个全景图像的未过滤的帧/图像对于重叠的覆盖范围进行比较，诸如使用本质矩阵和/或单应矩阵分解处理技术中的一者或两者，但是在其他实施例中，可以使用其他处理技术。另外，例程可以在框620中任选地选择是否保留并使用来自本质矩阵处理和单应矩阵分解处理中的仅一者(如果执行两者的话)的每一对的结果，诸如取决于帧对中的信息对应于平坦的平面表面还是反而作为3D空间中的信息。在其他实施例中，可以保留并使用来自本质矩阵处理和单应矩阵分解处理两者的结果，或者反而可以使用两种(以及可能地其他)类型的处理中的仅一者。所述例程还在框620中继续以根据一种或多种处理技术的结果来确定两个全景图像的观察地点之间的相对旋转和平移/距离，任选地将来自多个匹配的图像/帧对的结果相结合以确定聚合一致的全景间连接信息，并且任选地计算所得信息的置信度值。
在框620之后，例程继续到框625以确定是否尝试也经由分析沿着用户在对应于两个全景图像的观察地点之间采取的行进路径捕获的链接信息来连接两个全景图像。如果是的话，或者如果在框610中反而确定不尝试经由图像匹配来连接两个全景图像，则例程继续执行框650至670以使用这种链接信息来确定全景图像之间的相对旋转和定位/方向/距离。特别地，例程在框650中确定两个全景图像是否为序列中的连续图像，使得链接信息可用于用户在对应于两个全景图像的两个观察地点之间行进的行进路径，并且如果否的话，则继续到框630。否则，例程继续到框655以获得该行进路径的链接信息，包括来自移动装置IMU传感器单元的加速度数据以及任选地视频信息(如果可用的话)。
在框655之后，例程继续到框660以使用视频信息(如果可用的话)将离开的初始视频信息匹配到开始全景图像的一个或多个对应帧并且将到达的最终视频信息匹配到结束全景图像的一个或多个相反侧帧来确定离开与开始全景图像相对应的观察地点的离开方向和到达结束全景图像的观察地点的到达方向。如果视频信息不可用，则可以以其他方式确定离开和到达方向，诸如仅基于移动装置的所捕获的加速度数据和/或其他定位信息的分析。在框660之后，例程继续到框665以分析沿着行进路径的所捕获的链接信息中的加速度数据，特别地，对于每个加速度数据点，执行二重积分操作以确定与该加速度数据点相对应的第一速度以及定位，包括在所示的实施例中，确定三个维度上的x轴、y轴和z轴中的每一个的对应速度和定位。在框670中，例程然后将加速度数据点中的每一个的所确定的速度和定位相结合以形成建模的行进路径以及所确定的离开/到达方向，并且使用所得的信息来确定全景图像之间的相对旋转和定位/距离，任选地对应的置信度值。
在框670之后，或者如果在框650中反而确定两个全景图像没有在它们之间的行进路径的捕获链接信息，则例程继续到框630，以便如果可从两个图像匹配和链接信息得到连接信息，则将信息结合到全景图像的最终确定的聚合相对方向和距离/定位中并且从该组合得到所得的置信度值。在框630之后，或者如果在框625中反而确定不使用链接信息来连接两个全景图像，则例程继续到框635，以便针对该对中的每个全景并且基于确定的相对位置信息，确定另一全景相对于当前全景开始点的方向、识别当前全景中的与该确定的方向对应的一个或多个帧，并且存储当前全景的关于到那一个或多个帧的另一全景的全景间链接的信息。
在框635之后，例程继续到框645以确定是否要分析更多全景图像对，并且如果是的话，则返回到框605以选择下一个这种对。在一些实施例中，分析观察地点序列中的连续的每一对全景图像，并且然后考虑没有基于那些观察地点之间的行进路径的对应链接信息的一些或全部其他全景图像对，以便确定并提供可得到信息的所有全景图像对的全景间连接信息。如在本文中其他地方更详细地讨论，在一些实施例中，然而，可以不提供全景对之间的一些链接，即使可以计算出所述连接，诸如仅针对全景对的子集(例如，对应于彼此可见或在定义的距离内彼此靠近或者在其他方面满足一个或多个指定的标准的全景对)在显示时向最终用户提供全景间链接。
如果在框645中反而确定不需要考虑更多的全景图像对，则例程继续到框690以任选地执行相应全景定位和它们之间的相对方向的全局回顾以便获得整体一致性，并且视情况更新该确定的信息，如其他地方更详细地讨论。如果是的话，则这样的更新可以包括更新一个或多个全景的关于从该全景到一个或多个其他全景的一个或多个全景间链接的存储信息。在框690之后，例程继续到框695以提供关于所确定的链接全景图像的信息，并且继续到框699并返回图4A的框435，包括提供关于所确定的链接全景图像的信息。
返回图4A，并且在框430之后，例程前进到框435以存储建筑物或其他结构的所生成的信息，包括任选地创建并存储建筑物内部的一个或多个附加表示，诸如通过调用一个或多个对应的子例程。图5A至图5B示出了用于从所生成并链接的全景信息生成这种建筑物内部的楼层地图表示的例程的一个示例。
如果在框410中反而确定在框405中陈述的指令或其他信息不是采集表示建筑物内部的图像和其他数据，则例程反而继续到框490以视情况执行任何其他指示的操作(诸如任何家务任务)、将参数配置为在系统的各种操作中使用(例如，至少部分地基于由系统的用户(诸如捕获一个或多个建筑物内部的移动装置的用户、表示系统的操作者的用户等)指定的信息)、获得并存储关于系统的用户的其他信息、响应于对所生成并存储的信息等。
在框435或490之后，例程前进到框495以确定是否继续，诸如直到接收到明确的终止指示为止。如果确定继续，则例程返回框405以等待附加的指令或信息，并且如果否的话，则前进到步骤499并结束。
图5A至图5B示出了用于测绘信息生成管理器(MIGM)系统例程500的流程图的示例实施例。所述例程可以通过例如图1A的MIGM系统140、图3的MIGM系统389和/或如本文其他地方所述的MIGM系统的执行来执行，诸如至少部分地基于限定区域的相互连接图像来生成并使用所述区域的测绘信息。在图5A至图5B的示例中，所生成的测绘信息包括建筑物(诸如房屋)的楼层地图，但是在其他实施例中，可以针对其他类型的建筑物确定并生成其他类型的测绘信息并且以其他方式进行使用，如本文其他地方所讨论。
例程的所示实施例在框505处开始，其中接收信息或指令。例程继续到框510以确定在框505中接收到的指令是否指示生成所指示的建筑物的楼层地图，以及任选地关于建筑物的相关联信息，并且如果是的话，则继续执行框530至588以这样做，否则继续到框590。
在框530中，例程从建筑物的多个房间中的多个观察地点获得现有的全景或其他图像以及图像的相互连接信息和与观察地点之间的移动相关的元数据信息的采集，诸如可以任选地在框505以及对应的指令中供应。在框530之后，例程继续到框535以任选地获得关于建筑物的附加信息，诸如来自一个或多个外部源(例如，在线数据库、由一个或多个用户提供的信息等)，此类附加信息可以包括例如建筑物的外部尺寸和/或形状、对应于建筑物内的特定定位(任选地针对不同于所采集的全景或其他图像的观察地点的定位)采集的附加图像和/或注释信息等。
在框535之后，例程继续到框540以使用所获得或采集的图像和内在连接信息来针对建筑物内部的图像的观察地点确定观察地点在常见坐标系或其他常见参考系中的相对全局位置，诸如确定相应观察地点之间的方向和任选地距离。在框540之后，例程在框550中分析所采集或获得的全景或其他图像以针对具有一个或多个观察地点的建筑物中的每个房间确定那些观察地点的房间内的位置。在框555中，例程进一步分析图像和/或它们的采集元数据以针对建筑物中的每个房间确定进入或离开房间的任何连接通道。在框560中，例程然后针对建筑物中的一些或所有房间来接收或确定估计的房间形状信息和任选地房间类型信息，诸如基于图像的分析、由一个或多个用户供应的信息等。应当理解，尽管在单独的操作中示出框550至560，但是在一些实施例中，可以执行图像的单个分析来采集或确定多种类型的信息，诸如相对于框550至560讨论的那些。
在框565中，例程然后使用观察地点的先前确定的相对全局位置信息来将每个房间的每个形状单独地定位在房间中的任何图像的观察地点周围，以便确定房间形状的初始估计位置。在框570中，例程然后生成每个房间的最终位置以创建所得楼层地图，包括匹配房间之间的连接通道以及任选地应用来自以下一项或多项的其他约束：所获得的附加建筑物信息、房间形状和/或房间类型、来自图像和/或其采集元数据的分析的其他信息等。这种楼层地图可以包括例如各种房间的相对位置和形状信息，而没有提供单独房间或整个建筑物的任何实际尺寸信息，并且还可以包括建筑物的多个链接或相关联的子地图(例如，以反映不同的楼层、水平、部分等)。
在框570之后，例程任选地执行一个或多个步骤575至585，以确定附加信息并将其与楼层地图相关联。在框575中，例程任选地估计房间中的一些或全部的尺寸，诸如根据图像和/或其采集元数据的分析或者根据针对建筑物的外部获得的整体尺寸信息，并且将估计的尺寸与楼层地图相关联，应当理解，如果可得到足够详细的尺寸信息，则可以从楼层地图生成楼层平面图。在框575之后，例程继续到框580以任选地将其他信息(诸如附加图像和/或注释信息)与楼层地图相关联，并且与建筑物内的特定房间或其他定位相关联。在框585中，例程进一步任选地估计一些或所有房间的高度，诸如根据图像的分析和任选地图像中的已知对象的大小，以及关于在采集图像时的相机的高度信息，并且进一步使用此类信息来生成建筑物的3D模型，其中3D模型进一步与楼层地图相关联。
在框585之后，例程继续到框588以存储和/或以其他方式使用所生成的楼层地图信息和任选地其他生成的信息，诸如提供所生成的信息以供在一个或多个客户端装置上使用、将该所生成的信息提供到一个或多个其他装置以用于使那些装置和/或相关联的车辆或其他实体的导航自动化等。
如果在框510中反而确定在框505中接收到的信息或指令不是生成所指示的建筑物的楼层地图，则例程反而继续到框590以视情况执行一个或多个其他指示的操作。此类其他操作可以包括例如接收针对先前生成的楼层地图和/或其他生成的信息的请求并作出响应(例如，针对此类信息在一个或多个客户端装置上显示和/或提供到一个或多个其他装置以用于自动化导航的请求)、获得并存储关于建筑物的信息以用于稍后的楼层地图生成操作(例如，关于外部图像、尺寸、房间的数量或类型、总建筑面积等)等。
在框588或590之后，例程继续到框595以确定是否继续，诸如直到接收到明确的终止指示为止。如果确定继续，则例程返回框505以等待并接收附加的指令或信息，否则继续到框599并结束。
在以下条款中进一步描述本文所描述的非排他性示例实施例。
A01.一种计算机实现的方法，其包括：
针对在房间内的观察地点处的移动装置，确定所述移动装置的相机的当前方向以及始于所述观察地点的一系列目标方向，以用于采集捕获所述房间的内部的至少一部分的多个图像；
通过所述移动装置来识别所述相机的所述当前方向与所述目标方向中的一个或多个之间的一个或多个差异；
在所述移动装置上显示信息，所述信息包括来自在所述当前方向上的所述相机的视图、以及在所显示的视图的中心的表示所述相机的所述当前方向的当前方向视觉指示符、以及一个或多个目标方向视觉指示符，所述一个或多个目标方向视觉指示符表示所述一个或多个目标方向并且在所显示的视图中的与所显示的视图的所述中心相差与所述确定的一个或多个差异相对应的量的定位处；
通过所述移动装置且至少部分地基于从所述移动装置中的一个或多个惯性测量单元(IMU)传感器获得的数据，并且直到所述当前方向视觉指示符匹配所述目标方向视觉指示符中的一个为止，在所述相机的方向变化时更新所显示的信息，包括显示来自所述相机的变化视图并且维持所述当前方向视觉指示符在所显示的变化视图的中心，以及更新所述一个或多个目标方向视觉指示符在所显示的变化视图中的位置，以使得能够视觉确定从所述一个或多个目标方向到当前方向的变化差异；以及
通过所述相机并且在所述当前方向视觉指示符匹配所述一个目标方向视觉指示符时，采集在所述一个或多个目标方向中的由所述一个目标方向视觉指示符表示的一者上的所述多个图像中的一个。
A02.如条款A01的计算机实现的方法，其中显示所述当前方向视觉指示符包括：显示表示所述移动装置的矩形视觉元素，其中显示所述一个或多个目标方向视觉指示符包括：显示针对所述一个或多个目标方向视觉指示符中的每一个的表示所述移动装置的不同方向的附加矩形视觉元素，并且其中所述方法还包括：当所述一个目标方向视觉指示符的所显示的矩形视觉元素和所显示的附加矩形视觉元素至少部分地彼此重叠时，由所述移动装置确定所述当前方向视觉指示符匹配所述一个目标方向视觉指示符。
A03.如条款A01的计算机实现的方法，其中显示所述当前方向视觉指示符包括：显示表示所述移动装置的矩形视觉元素，其中显示所述一个或多个目标方向视觉指示符包括：显示针对所述一个或多个目标方向视觉指示符中的每一个的表示所述移动装置的不同方向的附加矩形视觉元素，并且其中所述方法还包括：当所述一个目标方向视觉指示符的所显示的矩形视觉元素和所显示的附加矩形视觉元素中的一个与所述一个目标方向视觉指示符的所显示的矩形视觉元素和所显示的附加矩形视觉元素中的另一个完全重叠时，由所述移动装置确定所述当前方向视觉指示符匹配所述一个目标方向视觉指示符。
A04.如条款A01的计算机实现的方法，其中显示所述当前方向视觉指示符包括确定来自所述当前方向上的所述相机的所述视图中的线，以及至少显示水平线以表示所述移动装置相对于所述房间的楼层水平部分的所述当前方向。
A05.如条款A01的计算机实现的方法，其中显示所述一个或多个目标方向视觉指示符包括：显示所述一个或多个目标方向视觉指示符中的每一个的上边界和下边界，并且其中所述方法还包括：当所显示的当前方向视觉元素指示符在所述一个目标方向视觉指示符的所述上边界与所述下边界之间时，由所述移动装置确定所述当前方向视觉指示符匹配所述一个目标方向视觉指示符。
A06.如条款A01的计算机实现的方法，其中由所述相机采集所述一个图像包括由所述移动装置且在没有来自用户的移动所述移动装置的对应指令的情况下，将可从所述相机得到的当前视图保存为所述一个图像。
A07.如条款A01的计算机实现的方法，其还包括在确定显示所述信息和更新所显示的信息期间通过所述相机来记录视频，并且其中由所述相机采集所述一个图像包括由所述移动装置且在没有来自用户的移动所述移动装置的对应指令的情况下，在所述当前方向视觉指示符匹配所述一个目标方向视觉指示符时保存关于所述视频的一个或多个当前帧的信息。
A08.如条款A01的计算机实现的方法，其中显示所述信息和更新所显示的信息包括将所述当前方向视觉指示符和所述一个或多个目标方向视觉指示符叠加在来自所述相机的所述视图和变化的视图上，并且还包括显示信息以引导移动所述移动装置的用户将所述当前方向视觉指示符与所述一个目标方向视觉指示符匹配。
A09.一种非暂时性计算机可读介质，其存储有内容，所述内容致使一个或多个计算装置执行自动化操作，所述自动化操作至少包括：
由所述一个或多个计算装置确定始于观察地点的多个目标方向来用于采集多个图像，以生成来自所述观察地点的全景图像；
由所述一个或多个计算装置至少部分地基于来自与相机相关联的一个或多个传感器的数据来确定在所述观察地点处的所述相机的当前方向，以及所述当前方向与所述多个目标方向中的一个或多个目标方向之间的一个或多个差异；
显示从所述相机可见的视图、以及所显示的视图的中心的叠加的视觉指示符、以及一个或多个叠加的目标方向视觉指示符，所述目标方向视觉指示符表示所述一个或多个目标方向并且在所显示的视图中的与所确定的一个或多个差异相对应的位置；
在相机方向改变时且至少部分地基于从所述移动装置中的一个或多个传感器获得的数据，并且直到所述目标方向视觉指示符中的一个处于所显示的视图的所述中心为止，更新从所述相机可见的所显示的视图和所述一个或多个目标方向视觉指示符在所显示的视图中的所述位置；以及
在所述一个目标方向视觉指示符处于所显示的视图的所述中心时，通过所述相机采集在由所述一个目标方向视觉指示符表示的所述目标方向上的所述多个图像中的一个。
A10.如条款A09的非暂时性计算机可读介质，其中显示所显示的视图的所述中心的所述叠加的视觉指示符包括：显示在所显示的视图的所述中心处相交的水平线和竖直线，并且显示表示所述一个或多个目标方向的所述一个或多个叠加的目标方向视觉指示符还包括：将所述一个或多个叠加的目标方向视觉指示符显示为各自具有表示包含所述相机的装置的当前倾斜、回转和枢转的倾斜、回转和枢转中的一个或多个的旋转，并且其中所述自动化操作还包括：至少部分地基于倾斜、回转和枢转中的所述一个或多个的所述一个目标方向视觉指示符的所述旋转匹配所述水平线和所述竖直线而确定执行采集所述一个图像。
A11.如条款A09的非暂时性计算机可读介质，其中显示表示所述一个或多个目标方向的所述一个或多个叠加的目标方向视觉指示符还包括显示上边界和下边界，并且其中所述自动化操作还包括至少部分地基于所述一个目标方向视觉指示符在所述上边界和下边界内来确定执行采集所述一个图像。
在本文中参考根据本公开的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图来描述本公开的方面。应当理解，可以通过计算机程序指令来实施流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合。还应当理解，在一些实施方式中，可以采用替代的方式提供由上文讨论的例程提供的功能，诸如在更多的例程之间分开或者合并到更少的例程中。类似地，在一些实施方式中，所示的例程可以提供比所述更多或更少的功能，诸如在其他所示的例程反而缺少或相应地包括此类功能时，或者在所提供的功能的量改变时。另外，尽管各种操作可以被示为按特定方式(例如，串行或并行或者同步或异步)和/或特定次序执行，但是在其他实施方式中，可以按其他顺序和其他方式执行操作。上文讨论的任何数据结构也可以按不同方式结构化，诸如将单个数据结构分成多个数据结构和/或将多个数据结构合并成单个数据结构。类似地，在一些实施方式中，所示的数据结构可以存储比所述更多或更少的信息，诸如在其他所示的数据化结构反而缺少或相应地包括此类信息时，或者在所存储的数据的量或类型改变时。
根据上述内容，应当理解，尽管出于说明的目的，本文中已经描述了具体实施例，但是在不脱离本发明的精神和范围的情况下，可以做出各种修改。因此，除对应的权利要求本发明和那些权利要求所叙述的元素外，本发明不受限制。另外，尽管在某些时候可以以某些权利要求形式呈现本发明的某些方面，但是本发明人设想以任何可用权利要求形式的本发明的各种方面。例如，尽管在特定时候，仅本发明的一些方面可以被叙述为体现在计算机可读存储介质中，但是同样可以这样体现其他方面。

Claims (15)

1.一种计算机实现的方法，包括：
针对在房间内的观察地点处的移动装置，确定所述移动装置的相机的当前方向以及始于所述观察地点的一系列目标方向，以用于采集捕获到所述房间内部的至少一部分的多个图像；
通过所述移动装置识别所述相机的所述当前方向与所述目标方向中的一个或多个之间的一个或多个差异；
在所述移动装置上显示信息，所述信息包括在所述当前方向上来自所述相机的视图、以及在所显示的视图的中心的表示所述相机的所述当前方向的当前方向视觉指示符、以及表示所述一个或多个目标方向的一个或多个目标方向视觉指示符，并且所述一个或多个目标方向视觉指示符在所显示的视图中的位置与所显示的视图的所述中心相差与所确定的一个或多个差异相对应的量；
通过所述移动装置且至少部分地基于从所述移动装置中的一个或多个惯性测量单元IMU传感器获得的数据，并且直到所述当前方向视觉指示符与所述目标方向视觉指示符中的一个目标方向视觉指示符匹配为止，在所述相机的方向变化时更新所显示的信息，包括显示来自所述相机的变化视图并且维持所述当前方向视觉指示符在所显示的变化视图的中心，以及更新所述一个或多个目标方向视觉指示符在所显示的变化视图中的位置，以使得能够视觉确定从所述一个或多个目标方向到当前方向的变化差异；以及
在所述当前方向视觉指示符与所述一个目标方向视觉指示符匹配时，通过所述相机采集在所述一个或多个目标方向中的由所述一个目标方向视觉指示符表示的一个目标方向上的所述多个图像中的一个图像。
2.如权利要求1所述的计算机实现的方法，还包括：在所述一个目标方向上采集所述一个图像之后，通过所述移动装置针对所述一系列目标方向中的除了所述一个目标方向以外的每一个进一步采集图像，包括重复地执行确定所述当前方向以及所述识别和更新以及所述采集，直到针对所述一系列目标方向中的除了所述一个目标方向以外的每一个的所述图像均被采集为止。
3.如权利要求2所述的计算机实现的方法，还包括：在针对所述一个目标方向采集所述图像并且针对所述一系列目标方向中除了所述一个目标方向以外的每一个进一步采集所述图像之后，使用针对目标方向的至少一些采集图像来生成从所述观察地点围绕竖直轴线提供360度视图的全景图像。
4.如权利要求3所述的计算机实现的方法，还包括：
针对包括所述房间的建筑物的附加房间中的多个附加观察地点中的每一个：
从始于所述附加观察地点的多个目标方向采集图像，包括针对所述附加观察地点重复地执行确定所述当前方向以及所述识别和更新以及所述采集，直到针对所述多个目标方向中的每一个的所述图像均被采集为止；
针对所述多个附加观察地点中的每一个，生成所述附加观察地点的全景图像，所述全景图像至少部分地基于始于所述附加观察地点的所述多个目标方向所采集的图像；
通过所述至少一个计算装置来生成至少一些生成的全景图像对之间的链接信息，所述链接信息包括确定所生成的全景图像对之间的方向；以及
通过所述至少一个计算装置向用户显示所生成的全景图像中的多个，包括基于用户指令而使用显示的所生成的链接信息视觉表示来将显示的信息从一个生成的全景图像变成另一个全景图像。
5.如权利要求4所述的计算机实现的方法，其中所述移动装置是手持式智能电话装置，其中所述至少一个计算装置是所述手持式智能电话装置，并且其中所述方法还包括：
由所述至少一个计算装置通过分析针对所述观察地点和所述多个附加观察地点所生成的链接信息和所生成的全景图像来生成所述建筑物的楼层地图；以及
响应于来自所述用户的指令而通过所述至少一个计算装置向所述用户显示所生成的所述建筑物的楼层地图。
6.如权利要求1所述的计算机实现的方法，
其中确定所述一系列目标方向包括：通过至少一个计算装置并且针对所述一系列目标方向中的每一个来确定在三维空间中的目标几何取向，所述三维空间包括倾斜、回转和枢转中的每一个的旋转值以对应于三个自由度，
其中确定所述相机的所述当前位置包括：确定所述相机在所述三维空间中的当前几何取向，所述三维空间包括倾斜、回转和枢转中的每一个的旋转值以对应于所述三个自由度，并且
其中显示所述一个或多个目标方向视觉指示符包括：相对于所确定的所述相机的当前几何取向在视觉上表示所确定的所述一个或多个目标方向视觉指示符中的每一个的目标几何取向。
7.如权利要求6所述的计算机实现的方法，
其中确定所述相机的所述当前位置还包括：使用在所述当前方向上来自所述相机的视图以确定所述相机在所述三维空间中的当前定位，所述三维空间包括三个垂直的方向轴线中的每一个的平移值以对应于三个附加的自由度，
其中确定所述一系列目标方向包括：确定所述目标方向中的每一个在所述三维空间中的目标定位，其中所述三维空间包括所述三个垂直的方向轴线中的每一个的平移值，并且
其中显示所述一个或多个目标方向视觉指示符包括：相对于所确定的所述相机的当前定位在视觉上表示所确定的所述一个或多个目标方向视觉指示符中的每一个的目标定位。
8.如权利要求1所述的计算机实现的方法，还包括：在所述一个目标方向上采集到所述一个图像之后，进一步由所述移动装置更新所显示的信息来改变所述一个目标方向视觉指示符的视觉外观以说明已经在所述一个目标方向视觉指示符中采集图像。
9.如权利要求8所述的计算机实现方法，还包括：
由所述移动装置确定所采集的一个图像满足一个或多个定义标准的多个程度中的一个，并且其中进一步更新所显示的信息包括向所改变的所述一个目标方向视觉指示符的视觉外观添加信息以在视觉上表示所确定的一个程度；和/或
由所述移动装置根据多个可能的特性来确定所采集的一个图像的特性，并且其中进一步更新所显示的信息包括向所改变的所述一个目标方向视觉指示符的视觉外观添加信息以在视觉上表示所确定的特性。
10.一种非暂时性计算机可读介质，其中存储有内容，所述内容致使一个或多个计算装置执行自动化操作，所述自动化操作至少包括：
由所述一个或多个计算装置确定始于观察地点的多个目标方向来用于采集多个图像，以生成始于所述观察地点的全景图像；
由所述一个或多个计算装置至少部分地基于来自与相机相关联的一个或多个传感器的数据来确定在所述观察地点处的所述相机的当前方向，以及所述当前方向与所述多个目标方向中的一个或多个目标方向之间的一个或多个差异；
显示从所述相机可见的视图、以及所显示的视图的中心叠加的视觉指示符、以及一个或多个叠加的目标方向视觉指示符，所述目标方向视觉指示符表示所述一个或多个目标方向并且在所显示的视图中的与所确定的一个或多个差异相对应的位置处；
在相机方向变化时且至少部分地基于从所述移动装置中的所述一个或多个传感器获得的数据，并且直到所述目标方向视觉指示符中的一个处于所显示的视图的所述中心为止，更新所显示的从所述相机可见的视图和所述一个或多个目标方向视觉指示符在所显示的视图中的所述位置；以及
通过所述相机并且在所述一个目标方向视觉指示符处于所显示的视图的所述中心时，采集在由所述一个目标方向视觉指示符表示的所述目标方向上的所述多个图像中的一个。
11.如权利要求10所述的非暂时性计算机可读介质，其中所述一个或多个计算装置包括移动计算装置，所述移动计算装置包括所述相机，其中与所述相机相关联的所述一个或多个传感器包括所述移动计算装置上的作为一个或多个惯性测量单元的部分的多个硬件传感器，并且其中显示所显示的视图的所述中心的所述叠加的视觉指示符包括在所述中心处显示表示所述移动计算装置的当前方向视觉指示符。
12.一种系统，包括：
一个或多个计算装置的一个或多个硬件处理器；以及
一个或多个存储器，所述一个或多个存储器存储有指令，所述指令在被所述一个或多个硬件处理器中的至少一个执行时致使所述一个或多个计算装置中的至少一个执行自动化操作，所述自动化操作至少包括：
确定始于观察地点的多个目标方向来用于从所述观察地点采集多个图像；
至少部分地基于来自与相机相关联的一个或多个惯性测量单元传感器的数据来确定在所述观察地点处的所述相机的当前方向；
显示从所述相机可见的视图并且在所述相机的所述当前方向变化时重复地更新所显示的视图，包括将一个或多个目标方向视觉指示符叠加在所显示的视图上，所述目标方向视觉指示符表示所述多个目标方向中的一个或多个目标方向并且在所更新的所显示的视图中的与所述当前方向和一个或多个目标方向之间的变化差异相对应的变化位置处；以及
通过所述相机并且在所述一个或多个目标方向视觉指示符中的一个处于所显示的视图的中心时，采集在由所述一个目标方向视觉指示符表示的所述目标方向上的所述多个图像中的一个。
13.如权利要求12所述的系统，其中所述一个或多个计算装置包括移动计算装置，所述移动计算装置包括相机，其中显示所述视图和重复地更新所显示的视图包括在所显示的视图上叠加表示所述相机的所述当前方向的至少一个当前方向视觉指示符，并且其中所述自动化操作还包括至少部分地基于所述至少一个当前方向视觉指示符匹配所述一个目标方向视觉指示符来确定执行采集所述一个图像。
14.一种计算机实现的方法，其包括：
由在房间内的观察地点处的移动计算装置确定始于所述观察地点的一系列目标方向来用于采集多个图像，以用于所述房间的内部的合成全景图像，其中所述目标方向中的每一个包括在三维空间中的目标几何取向，所述三维空间包括所述移动计算装置沿着三个自由度的倾斜、回转和枢转中的每一个的旋转值；
从所述移动计算装置上的相机采集所述多个图像，包括针对所述一系列目标方向中的每个连续目标方向：
至少部分地基于分析来自所述移动计算装置中的一个或多个惯性测量单元传感器的数据来确定在所述观察地点的所述相机的当前方向，其中所述当前方向包括在三维空间中的当前几何取向，所述三维空间包括所述移动计算装置沿着三个自由度的倾斜、回转和枢转中的每一个的旋转值；
在所述移动计算装置上显示信息，所述信息包括在所述当前方向上来自所述相机的当前可见视图、以及叠加在所述视图的中心的表示所述移动计算装置的当前方向视觉指示符、以及叠加在所述视图中的位置处以标识所述一系列目标方向中的所述连续目标方向的目标方向视觉指示符，其中所述目标方向视觉指示符在所述视图中的所述位置从所述视图的所述中心偏移的量对应于所述连续目标方向与所确定的当前方向之间的差异；
在相机方向变化时至少部分地基于分析来自所述一个或多个IMU传感器的附加数据，直到所述当前方向视觉指示符与所述目标方向视觉指示符匹配为止，重复地更新所显示的信息，包括更新正在显示的所述视图以从所述相机可见的反映变化的视图，以及基于所述相机方向的所述变化来更新所述当前方向和目标方向视觉指示符的相对位置以减小所述差异；以及
从所述相机并且在所述当前方向视觉指示符匹配所述目标方向视觉指示符时，采集在来自所述观察地点的所述连续目标方向上的所述多个图像中的一个；
由所述移动计算装置且从所采集的多个图像生成所述合成全景图像，以表示所述房间的所述内部；以及
向一个或多个用户显示所述合成全景图像。
15.如权利要求14所述的计算机实现的方法，其中当用户在所述观察地点处将所述移动计算装置以360度的圆转动时采集所述多个图像，其中所述一个或多个用户使用远离所述移动计算装置的客户端计算系统并且不同于所述用户，
其中显示所述当前方向视觉指示符包括：显示表示所述移动计算装置的矩形视觉元素，
其中显示连续目标方向的所述目标方向视觉指示符包括：显示附加矩形视觉元素，并且
其中所述方法还包括：当所述显示的矩形视觉元素和所述显示的附加矩形视觉元素中的一个与所述显示的矩形视觉元素和所述显示的附加矩形视觉元素中的另一个完全重叠时，由所述移动计算装置确定所述当前方向视觉指示符匹配所述目标方向视觉指示符。
CN201980082577.2A 2018-10-11 2019-10-09 通过使用采集装置传感器对图像采集的自动化控制 Active CN113196208B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862744480P 2018-10-11 2018-10-11
US62/744,480 2018-10-11
US16/236,187 2018-12-28
US16/236,187 US10708507B1 (en) 2018-10-11 2018-12-28 Automated control of image acquisition via use of acquisition device sensors
PCT/US2019/055282 WO2020076880A1 (en) 2018-10-11 2019-10-09 Automated control of image acquisition via use of acquisition device sensors

Publications (2)

Publication Number Publication Date
CN113196208A true CN113196208A (zh) 2021-07-30
CN113196208B CN113196208B (zh) 2024-06-18

Family

ID=70163724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980082577.2A Active CN113196208B (zh) 2018-10-11 2019-10-09 通过使用采集装置传感器对图像采集的自动化控制

Country Status (6)

Country Link
US (5) US10708507B1 (zh)
EP (1) EP3864490A4 (zh)
CN (1) CN113196208B (zh)
AU (4) AU2019356907B2 (zh)
CA (4) CA3229416A1 (zh)
WO (1) WO2020076880A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112020630B (zh) * 2018-04-27 2024-06-28 北京嘀嘀无限科技发展有限公司 用于更新建筑物的3d模型的系统和方法
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
JP7368699B2 (ja) * 2019-08-26 2023-10-25 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US11423624B2 (en) * 2019-11-18 2022-08-23 Magic Leap, Inc. Mapping and localization of a passable world
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
US11816943B2 (en) * 2020-07-14 2023-11-14 Carrier Corporation System and method for visually aided access control
CN112068751A (zh) * 2020-08-28 2020-12-11 北京五八信息技术有限公司 一种房源的展示方法和装置
US11514674B2 (en) 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
WO2022081717A1 (en) * 2020-10-13 2022-04-21 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US20220313216A1 (en) * 2021-03-31 2022-10-06 Baker Hughes Holdings Llc Augmented reality in ultrasonic inspection
US11683462B2 (en) * 2021-06-04 2023-06-20 Dierks Technology, Inc. Matching segments of video for virtual display of a space
US12056900B2 (en) 2021-08-27 2024-08-06 MFTB Holdco, Inc. Automated mapping information generation from analysis of building photos
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US12045951B2 (en) 2021-12-28 2024-07-23 MFTB Holdco, Inc. Automated building information determination using inter-image analysis of multiple building images
US11830135B1 (en) 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
JP2024017224A (ja) * 2022-07-27 2024-02-08 株式会社リコー 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
CA3188628A1 (en) * 2022-08-22 2024-02-22 MFTB Holdco, Inc. Automated generation and use of building videos with accompanying narration from analysis of acquired images and other building information

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192946A1 (en) * 2003-03-21 2006-08-31 Leica Geosystems Ag Method and device for image processing in a geodesical measuring appliance
US20060256109A1 (en) * 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
CN103218055A (zh) * 2010-02-05 2013-07-24 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
US20150116509A1 (en) * 2013-10-31 2015-04-30 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3d models of rooms
CN105359054A (zh) * 2013-06-10 2016-02-24 微软技术许可有限责任公司 在空间中对设备进行定位和取向
CN105453559A (zh) * 2013-04-16 2016-03-30 点积公司 手持式便携光学扫描器及其使用方法
US20180075168A1 (en) * 2015-03-24 2018-03-15 Carrier Corporation System and method for capturing and analyzing multidimensional building information

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5140352A (en) 1990-10-31 1992-08-18 Occipital, Inc. Ccd camera and method for fundus imaging
US6031540A (en) 1995-11-02 2000-02-29 Imove Inc. Method and apparatus for simulating movement in multidimensional space with polygonal projections from subhemispherical imagery
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6323858B1 (en) 1998-05-13 2001-11-27 Imove Inc. System for digitally capturing and recording panoramic movies
AU4184399A (en) 1998-05-13 1999-11-29 Infinite Pictures Inc. Panoramic movies which simulate movement through multidimensional space
US6317166B1 (en) 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
US6690374B2 (en) 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US7129971B2 (en) 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
AU2001264723A1 (en) 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
US6731305B1 (en) 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
US7312816B2 (en) 2002-07-24 2007-12-25 Freestone Systems, Inc. Digital observation system
US7909241B2 (en) 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
US7791638B2 (en) 2004-09-29 2010-09-07 Immersive Media Co. Rotating scan camera
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7627235B2 (en) 2006-03-17 2009-12-01 Immersive Media Company Spinning camera enclosure for environmental protection
US7973838B2 (en) 2006-07-07 2011-07-05 Immersive Media Company Active mask for electronic imaging system
US8594428B2 (en) 2006-07-25 2013-11-26 Humaneyes Technologies Ltd. Interactive segmentation of images with single scribbles
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
EP2122409B1 (en) 2007-02-25 2016-12-07 Humaneyes Technologies Ltd. A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
US7782319B2 (en) 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller
US7936354B2 (en) 2007-04-27 2011-05-03 Graphisoft R&D Zrt. Virtual trace-multiple view modeling system and method
WO2009013744A2 (en) 2007-07-23 2009-01-29 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
WO2010004548A1 (en) 2008-06-16 2010-01-14 Humaneyes Technologies Ltd. A method and an apparatus for processing a lenticular printing substrate
US8463020B1 (en) 2008-07-08 2013-06-11 Imove, Inc. Centralized immersive image rendering for thin client
BRPI0912063A2 (pt) 2008-08-04 2016-01-05 Humaneyes Technologies Ltd "método de preparação de um artigo de imagem lenticular, artigo de imagem lenticular e sistema de preparação de um artigo de imagem lenticular"
CA2687913A1 (en) 2009-03-10 2010-09-10 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Estimation of image relations from point correspondences between images
JP5940459B2 (ja) 2010-01-14 2016-06-29 ヒューマンアイズ テクノロジーズ リミテッド 三次元表示においてオブジェクトの深さ値を調整するための方法及びシステム
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
US9041796B2 (en) 2010-08-01 2015-05-26 Francis Ruben Malka Method, tool, and device for determining the coordinates of points on a surface by means of an accelerometer and a camera
US9361717B2 (en) 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8705892B2 (en) 2010-10-26 2014-04-22 3Ditize Sl Generating three-dimensional virtual tours from two-dimensional images
US9129438B2 (en) 2011-01-18 2015-09-08 NedSense Loft B.V. 3D modeling and rendering from 2D images
JP6027026B2 (ja) 2011-01-22 2016-11-16 ヒューマンアイズ テクノロジーズ リミテッド レンチキュラ印刷および表示におけるぼけアーチファクトを低減する方法およびシステム
US9151608B2 (en) 2011-03-31 2015-10-06 Francis Ruben Malka Apparatus, tool, and method for modifying a portion of a floor plan based on measurements made by one or more sensors
US8996336B2 (en) 2011-03-31 2015-03-31 Francis Ruben Malka Method, tool, and device for assembling a plurality of partial floor plans into a combined floor plan
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US20120293613A1 (en) 2011-05-17 2012-11-22 Occipital, Inc. System and method for capturing and editing panoramic images
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US9282242B2 (en) * 2011-08-24 2016-03-08 Htc Corporation Method and electric device for taking panoramic photograph
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US8989440B2 (en) 2012-03-27 2015-03-24 Way Out Ip, Llc System and method of room decoration for use with a mobile device
EP2842304B1 (en) 2012-04-25 2020-01-08 HumanEyes Technologies Ltd. Methods and systems of generating a lenticular article using a printing blanket
US8699005B2 (en) 2012-05-27 2014-04-15 Planitar Inc Indoor surveying apparatus
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
US8773502B2 (en) 2012-10-29 2014-07-08 Google Inc. Smart targets facilitating the capture of contiguous images
US9423261B2 (en) 2013-02-19 2016-08-23 Here Global B.V. Path curve confidence factors
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9025861B2 (en) 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
US20140307100A1 (en) 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US9635252B2 (en) 2013-04-16 2017-04-25 Disney Enterprises, Inc. Live panoramic image capture and distribution
EP3011535A4 (en) 2013-06-20 2016-12-28 Diakrit Int Ltd TOOL FOR VISUALIZING A DISPOSITION OF FURNITURE IN A REAL ESTATE
EP3042358A2 (en) 2013-09-03 2016-07-13 3ditize SL Generating a 3d interactive immersive experience from a 2d static image
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US9836885B1 (en) 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
US20150116691A1 (en) 2013-10-25 2015-04-30 Planitar Inc. Indoor surveying apparatus and method
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
WO2015134795A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
US9396586B2 (en) 2014-03-14 2016-07-19 Matterport, Inc. Processing and/or transmitting 3D data
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
EP3196594B1 (en) 2014-05-05 2021-08-11 Hexagon Technology Center GmbH Surveying system
US20150332464A1 (en) 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US10055876B2 (en) 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation
US9953111B2 (en) 2014-06-06 2018-04-24 Matterport, Inc. Semantic understanding of 3D data
US9619933B2 (en) 2014-06-16 2017-04-11 Occipital, Inc Model and sizing information from smartphone acquired image sequences
US20160134860A1 (en) 2014-11-12 2016-05-12 Dejan Jovanovic Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy
KR101638378B1 (ko) 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
WO2016097940A1 (en) 2014-12-16 2016-06-23 3Ditize Sl 3d rotational presentation generated from 2d static images
EP3251347A4 (en) 2015-01-28 2018-09-19 Matterport, Inc. Classifying, separating and displaying individual stories of a three-dimensional model of a multi-story structure based on captured image data of the multi-story structure
US20160260250A1 (en) 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
CN105120191A (zh) 2015-07-31 2015-12-02 小米科技有限责任公司 视频录制方法和装置
US20170078593A1 (en) 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
US9953430B1 (en) 2015-10-29 2018-04-24 Indoor Reality Inc. Methods for detecting luminary fixtures
US10706615B2 (en) 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US11218688B2 (en) 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10120397B1 (en) 2016-02-11 2018-11-06 Indoor Reality Inc. Interior climate control utilizing multimodal sensor positioning
US10163271B1 (en) 2016-04-04 2018-12-25 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10395435B2 (en) 2016-04-04 2019-08-27 Occipital, Inc. System for multimedia spatial annotation, visualization, and recommendation
US10554896B2 (en) 2016-05-04 2020-02-04 Insidemaps, Inc. Stereoscopic imaging using mobile computing devices having front-facing and rear-facing cameras
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10502363B2 (en) 2016-05-17 2019-12-10 Occipital, Inc. Self-contained mixed reality head mounted display
KR101770648B1 (ko) 2016-05-18 2017-08-23 주식회사 큐픽스 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법
US10030979B2 (en) 2016-07-29 2018-07-24 Matterport, Inc. Determining and/or generating a navigation path through a captured three-dimensional model rendered on a device
US10204185B2 (en) 2016-08-02 2019-02-12 Indoor Reality Inc. Building scan window detection
US10210285B2 (en) 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
US10142542B2 (en) 2016-08-18 2018-11-27 Amazon Technologies, Inc. Illuminated yard sign with wide-angle security camera and communication module for use with audio/video recording and communication devices
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10448012B2 (en) 2016-11-22 2019-10-15 Pixvana, Inc. System and method for data reduction based on scene content
US10304256B2 (en) 2016-12-13 2019-05-28 Indoor Reality Inc. Point cloud cleaning method
US10181215B2 (en) 2017-03-30 2019-01-15 EyeSpy360 Limited Generating a virtual map
US10122997B1 (en) 2017-05-03 2018-11-06 Lowe's Companies, Inc. Automated matrix photo framing using range camera input
US10809795B2 (en) 2017-05-31 2020-10-20 Occipital, Inc. Six degree of freedom tracking with scale recovery and obstacle avoidance
US10534962B2 (en) 2017-06-17 2020-01-14 Matterport, Inc. Automated classification based on photo-realistic image/model mappings
US20190041972A1 (en) 2017-08-04 2019-02-07 Cupix, Inc. Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
WO2019032736A1 (en) 2017-08-08 2019-02-14 Smart Picture Technologies, Inc. METHOD OF MEASURING AND MODELING SPACES USING AUGMENTED REALITY WITHOUT MARKER
US10540054B2 (en) 2017-09-20 2020-01-21 Matterport, Inc. Navigation point selection for navigating through virtual environments
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10366531B2 (en) 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US10235797B1 (en) 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11494857B2 (en) 2018-02-15 2022-11-08 Flyreel, Inc. Property inspection system and method
KR101930796B1 (ko) 2018-06-20 2018-12-19 주식회사 큐픽스 이미지를 이용한 3차원 좌표 계산 장치, 3차원 좌표 계산 방법, 3차원 거리 측정 장치 및 3차원 거리 측정 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192946A1 (en) * 2003-03-21 2006-08-31 Leica Geosystems Ag Method and device for image processing in a geodesical measuring appliance
US20060256109A1 (en) * 2005-03-18 2006-11-16 Kristin Acker Interactive floorplan viewer
CN103218055A (zh) * 2010-02-05 2013-07-24 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
CN105453559A (zh) * 2013-04-16 2016-03-30 点积公司 手持式便携光学扫描器及其使用方法
CN105359054A (zh) * 2013-06-10 2016-02-24 微软技术许可有限责任公司 在空间中对设备进行定位和取向
US20150116509A1 (en) * 2013-10-31 2015-04-30 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3d models of rooms
US20180075168A1 (en) * 2015-03-24 2018-03-15 Carrier Corporation System and method for capturing and analyzing multidimensional building information

Also Published As

Publication number Publication date
US11627387B2 (en) 2023-04-11
AU2023275894A1 (en) 2023-12-21
CA3113355A1 (en) 2020-04-16
US20210329174A9 (en) 2021-10-21
US11284006B2 (en) 2022-03-22
CA3229420A1 (en) 2020-04-16
AU2019356907A1 (en) 2021-06-03
AU2023200411B2 (en) 2023-12-21
US11638069B2 (en) 2023-04-25
US20200336675A1 (en) 2020-10-22
US20210044760A1 (en) 2021-02-11
CA3229409A1 (en) 2020-04-16
WO2020076880A1 (en) 2020-04-16
US20210044759A1 (en) 2021-02-11
CN113196208B (zh) 2024-06-18
AU2023200413B2 (en) 2023-11-16
CA3113355C (en) 2024-03-26
US11405558B2 (en) 2022-08-02
EP3864490A1 (en) 2021-08-18
CA3229416A1 (en) 2020-04-16
AU2019356907B2 (en) 2022-12-01
US10708507B1 (en) 2020-07-07
AU2023200413A1 (en) 2023-02-23
US20200389602A1 (en) 2020-12-10
AU2023200411A1 (en) 2023-02-23
EP3864490A4 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
CN113196208B (zh) 通过使用采集装置传感器对图像采集的自动化控制
US11494973B2 (en) Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US10834317B2 (en) Connecting and using building data acquired from mobile devices
US11252329B1 (en) Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11481925B1 (en) Automated determination of image acquisition locations in building interiors using determined room shapes
CA3126673C (en) Automated analysis of image contents to determine the acquisition location of the image
US20220224833A1 (en) Automated Determination Of Image Acquisition Locations In Building Interiors Using Multiple Data Capture Devices
US11501492B1 (en) Automated room shape determination using visual data of multiple captured in-room images
CA3090629A1 (en) Automated tools for generating mapping information for buildings
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Washington State

Applicant after: Zillow LLC

Address before: Washington State

Applicant before: ZILLOW Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230410

Address after: Washington State

Applicant after: MFTB Co.,Ltd.

Address before: Washington State

Applicant before: Pushsabo I Co.

Effective date of registration: 20230410

Address after: Washington State

Applicant after: Pushsabo I Co.

Address before: Washington State

Applicant before: Zillow LLC

GR01 Patent grant
GR01 Patent grant