CN117859077A - 用于生成室内空间的三维地图的系统和方法 - Google Patents

用于生成室内空间的三维地图的系统和方法 Download PDF

Info

Publication number
CN117859077A
CN117859077A CN202280056798.4A CN202280056798A CN117859077A CN 117859077 A CN117859077 A CN 117859077A CN 202280056798 A CN202280056798 A CN 202280056798A CN 117859077 A CN117859077 A CN 117859077A
Authority
CN
China
Prior art keywords
map
computing device
smart device
mobile computing
merged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280056798.4A
Other languages
English (en)
Inventor
吴升知
亚历山大·詹姆斯·法堡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN117859077A publication Critical patent/CN117859077A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/18—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/765—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted with exchange of information between interrogator and responder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284—Relative positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

可以基于使用移动计算设备的传感器对不同区域的扫描来生成该不同区域的三维(3D)地图。在每次扫描期间，可以使用超宽带通信(UWB)相对于固定地放置的智能设备测量移动计算设备的位置。可以基于在扫描期间获取的位置测量结果将这些区域的3D地图配准到智能设备的固定方位(即，锚定方位)，使得可以将3D地图合并成组合的3D地图。组合(即，合并)的3D地图然后可以用于促进移动计算设备或其他智能设备的位置特定操作。

Description

用于生成室内空间的三维地图的系统和方法
相关申请的交叉引用
本申请是2021年8月24日提交的美国申请No.17/445,751的继续申请，并且要求其优先权，该申请通过引用整体并入本文。
技术领域
本公开涉及增强现实系统，并且更具体地涉及用于组合(即，合并)通过多次扫描生成的三维(3D)地图并使用合并的3D地图用于移动应用的系统和方法。
背景技术
移动设备上的深度感测可以使得用户能够扫描室内空间(例如，房间)以创建3D模型(即，3D地图)。深度感测可以利用多个传感器，包括用于确定取向的惯性测量单元(IMU)和用于在移动计算设备被物理地移动(即，扫描)以感测不同区域时确定移动计算设备与房间中的对象之间的深度(即，距离)的专用深度传感器或相机。3D地图可以与图像组合以生成用户可以在沉浸式和逼真的体验(例如，虚拟游览)中与之交互的逼真的虚拟房间。3D模型还可以用于在增强现实(AR)环境中生成更逼真的虚拟对象。例如，3D模型可以帮助AR软件将虚拟对象放置在诸如建筑物或住宅的室内空间中的真实对象后面。成功地扫描室内空间具有多个要求，并且有时这些要求超出用户的控制。如果不满足所有要求，则可能导致不良的扫描，并且对应的3D地图可能不完整和/或失真。当扫描具有多个区域的大室内空间时尤其如此。
发明内容
在至少一个方面中，本公开总体上描述了一种用于生成3D地图的方法。该方法包括使用移动计算设备的深度传感器执行对第一区域的第一扫描。该方法还包括使用移动计算设备的超宽带(UWB)方位(position)传感器在第一扫描期间相对于锚定方位定位移动计算设备。该方法还包括生成第一区域的第一3D地图，其中第一3D地图是相对于锚定方位。
在可能的实施方式中，该方法还包括使用移动计算设备的深度传感器执行对第二区域的第二扫描。使用移动计算设备的UWB方位传感器在第二扫描期间相对于锚定方位定位移动计算设备，使得可以生成第二区域的第二3D地图。类似于第一3D地图，第二3D地图是相对于锚定方位。该方法还包括基于(共同的)锚定方位合并第一3D地图和第二3D地图。
第一区域可以是诸如建筑物或住宅的室内空间的第一房间，并且第二区域可以是室内空间的第二房间。锚定方位可以是室内空间中智能设备(例如，智能家居设备)被固定地放置的位置(location)。
智能设备可以被配置用于与移动计算设备的UWB方位传感器进行UWB通信。通过UWB通信，移动计算设备相对于智能设备的距离和/或方向可以被确定并且用于在扫描期间定位(即，跟踪)移动计算设备。3D地图可以在空间上被布置以形成覆盖两个区域的第三3D地图。空间布置是可能的，因为两个3D地图都是相对于智能设备在室内空间中的锚定方位生成(即，重建)的。
在另一方面中，本公开总体上描述了一种用于基于(可移动)智能设备的位置来控制其操作的方法。该方法包括生成合并的3D地图。3D地图包括由移动计算设备扫描的第一区域和第二区域。第一区域和第二区域根据它们与锚定方位的相对方位定位于合并的3D地图中，它们与锚定方位的相对方位通过UWB通信来确定。该方法还包括标记合并的3D地图中的多个位置。该方法还包括基于UWB通信和合并的3D地图来跟踪智能设备，确定智能设备处于合并的3D地图中的标记的位置处，以及基于标记的位置来调整智能设备的操作。
在可能的实施方式中，可以基于合并的3D地图来识别建筑物或住宅的边界，使得可以标记建筑物或住宅的边界之外的位置。当智能设备处于建筑物或住宅的边界之外的位置中时，其(例如，对网络的)访问可能受到限制。
在另一可能的实施方式中，可以基于与合并的3D地图相关的图像来识别对象，使得可以标记围绕对象的区域。当智能设备进入围绕对象的区域时，可以在智能设备上呈现信息。例如，健身脚踏车周围的区域可以触发智能设备呈现与健身脚踏车上的锻炼有关的信息。
在另一可能的实现方式中，可以基于合并的3D地图来识别房间。此外，可以根据基于在与合并的3D地图相关的图像中识别的对象确定的房间类型来标记房间。当智能设备进入房间时，可以(基于房间类型)控制其媒体的回放。例如，在图像中识别的床可以用于将房间标记为卧室，并且可以使智能设备(例如，智能扬声器)上的回放适合于卧室。
在另一方面中，本公开总体上描述了一种用于生成3D地图的系统。该系统包括固定地定位于锚定方位处并且被配置用于UWB通信的智能设备(例如，智能家居设备)。该系统还包括移动计算设备(例如，移动电话、平板电脑、AR眼镜)。移动计算设备包括深度传感器，该深度传感器被配置为当在第一扫描期间在第一区域上扫描深度传感器时收集对应于第一区域的第一深度数据集，并且当在第二扫描期间在第二区域上扫描深度传感器时收集对应于第二区域的第二深度数据集。移动计算设备还包括UWB标签，该UWB标签被配置为基于智能设备与UWB标签之间的UWB通信来确定在第一扫描和第二扫描期间移动计算设备与锚定方位之间的距离。移动计算设备还包括处理器，该处理器可以通过软件指令来配置为执行3D地图绘制方法。3D地图绘制方法包括在第一扫描期间基于移动计算设备与锚定方位之间的距离将第一深度数据集配准到锚定方位，以及基于配准的第一深度数据集来生成相对于锚定方位的第一3D地图。3D地图绘制方法还包括在第二扫描期间基于移动计算设备与锚定方位之间的距离将第二深度数据集配准到锚定方位，以及基于配准的第二深度数据集来生成相对于锚定方位的第二3D地图。3D地图绘制方法还包括合并第一3D地图和第二3D地图。
在以下详细描述及其附图内进一步解释了前述说明性概述以及本公开的其他示例性目的和/或优点以及实现其的方式。
附图说明
图1图示根据本公开的可能的实施方式的扫描室内区域以获取3D地图的深度数据的移动计算设备。
图2是包括配置在室内方定系统中的移动计算设备和智能设备的室内空间的平面图。
图3是根据本公开的可能的实施方式的超宽带标签的框图。
图4图示根据本公开的可能的实施方式的室内空间的可能的3D扫描场景。
图5是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第一可能的方法的流程图。
图6是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第二可能的方法的流程图。
图7是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第三可能的方法的流程图。
图8图示使用来自图4中图示的3D扫描场景的合并的3D地图的可能的应用。
图9是根据本公开的可能的实施方式的用于生成合并的3D地图的方法的流程图。
图10图示可以与本文描述的技术一起使用的示例计算环境。
附图中的组件不一定相对于彼此按比例绘制。贯穿若干视图，相同的附图标记指代对应的部分。
具体实施方式
移动计算设备(例如，移动电话、平板电脑、增强现实(AR)眼镜)可以被配置有深度传感器(即，深度相机)，该深度传感器可以扫描室内空间(例如，住宅、建筑物、办公室等)的区域(例如，房间、走廊等)以产生室内空间的3D地图(即，3D模型、3D扫描)。3D地图是室内空间的渲染，其包括以准确地描绘室内空间的空间关系布置的对象(例如，墙壁、家具、物品)的相对尺寸。3D地图可以直接用于获得空间的交互式视图(例如，虚拟游览)。替代地，可以从3D地图导出信息以增强或启用某个应用(例如，计算机辅助设计、增强现实等)。
如图1所示，获取3D地图的深度数据可以通过以下来实现：在室内区域100的3D扫描期间沿着路径120物理地扫描包括在移动计算设备110中的深度传感器以适应深度传感器的有限视场(FOV)。移动计算设备110可以在3D扫描期间(例如，使用惯性测量单元(IMU)和/或相机)监视其方位/取向，使得深度数据可以在扫描期间被配准到移动计算设备的相对方位/取向。因为深度数据是相对于在3D扫描期间移动计算设备的方位/取向而不是相对于任何物理坐标系的，所以可能难以确定来自不同3D扫描的深度数据集的相对方位/取向。因此，可能难以创建室内空间的多个不同区域的3D地图，并且目前大多数解决方案具有技术问题。
通过在单次扫描中连续扫描多个不同区域来创建多个不同区域的3D地图可能需要比实用方式更多的处理能力和/或存储器，并且如果扫描被中断，则用户可能必须重新开始冗长的扫描过程。通过单独地(即，在多个扫描会话中)扫描多个区域并且然后合并3D地图来创建多个区域的合并的3D地图可能需要3D地图具有重叠区域以确定它们的相对方位/取向。出于几个原因，获取和配准这些重叠区域可能是困难的。首先，如果重叠区域缺少不总是可用的可辨识地标，则获取可用的重叠区域可能是困难的。其次，如果用户不正确地扫描重叠区域，则获取可用的重叠区域可能是困难的，这对用户提出了附加的要求。即使当获取了可用的重叠区域时，由于需要的处理，可能仍然难以自动配准它们，并且基于重叠区域手动合并3D地图可能是耗时的。
所公开的系统和方法提供了一种用于通过以下操作来创建室内空间的多个区域的3D地图的技术方案：在每次3D扫描期间获取位置数据(即，方位数据)使得每次3D扫描被配准(或可以被配准)到室内空间中的物理位置(即，锚定方位)，并且然后，基于它们的共同锚定方位(即，锚定点)来合并3D地图。所公开的锚定方位可以是通常不被移动或被永久安装(即，固定地放置)的智能设备(例如，智能扬声器、中枢(hub)设备、智能恒温器等)的位置。可以通过基于执行扫描的移动计算设备与智能设备之间的超宽带(UWB)通信的位置跟踪来获取位置数据。本公开还描述了用于从合并的3D地图收集信息并使用合并的3D地图用于移动应用(包括增强现实)的可能的技术机会。
图2是包括移动计算设备和被配置为室内定位系统(IPS)的智能设备的室内空间的平面图。虽然仅示出了移动计算设备和智能设备，但是应当注意，IPS可以使用用于各种可能的应用的各种可能的设备的各种配置来实现。现在，将描述通过固定地定位于锚定方位处的智能设备220的移动计算设备210在3D扫描期间的位置/跟踪的一种可能的实施方式。
如图2所示，移动计算设备210可以在室内空间200的区域(即，卧室)内移动，而智能设备220保持定位于固定位置处。如图所示，智能设备定位于锚定方位处。锚定方位可以在室内空间200内或在室内空间200外部。例如，相邻室内空间(未示出)中的智能设备可以用作锚定点。
移动计算设备210和智能设备220被配置为通过UWB通信链路230进行通信。这些设备之间的UWB通信可以用于定位和跟踪移动计算设备210相对于智能设备220的方位(即，位置)。例如，移动计算设备210可以在区域的3D扫描期间定位和跟踪其相对于智能设备的方位。
移动计算设备210和智能设备220可以各自包括至少一个UWB标签(即，UWB模块)。UWB标签可以被配置为经由UWB通信发送和接收信息。该信息可以用于确定移动计算设备210和/或智能设备220的相对方位，并且当UWB标签被配置为输出相对方位时，其可以被称为UWB方位传感器。相对方位可以由UWB方位传感器使用各种方法来确定。
UWB方位传感器(即，UWB传感器)可以基于UWB通信来确定移动计算设备210与智能设备220之间的距离(r)。例如，距离(r)可以是基于在移动计算设备210与智能设备220之间交换信息(例如，握手)所花费的往返时间(RTT)。在一些实施方式中，UWB方位传感器可以确定角度(θ)以及距离(r)。该角度可以相对于固定坐标系225(x，y，z)，该固定坐标系225(x，y，z)可以定位于锚定方位处(如图2所示)或从锚定方位偏移的已知方位处。确定角度(θ)可以是基于到达时间差(TOA)。UWB方位传感器可以被配置有布置成阵列的多个天线，使得多个天线中的每个天线在不同时间接收UWB信号。通过计算到达时间差，可以确定对应于角度(θ)的UWB信号的入射角。这些测量结果还可以包括去除多径信号的步骤，并且可以扩展到其他维度(即，平面)。例如，UWB通信可以帮助确定两个设备(未示出)之间的相对高度。
在一些实施方式中，IPS包括多个智能设备(即，多个锚定方位)。因此，UWB通信可以包括智能设备标识信息(即，设备ID)，使得移动计算设备210可以确定每个智能设备的适当相对位置。多个智能设备的使用还可以允许基于移动计算设备与每个智能设备之间的距离的三角测量。另外，使用多个智能设备可以允许检测智能设备的移动。例如，每个智能设备可以监视其他智能设备的位置，并且智能设备的移动可以触发智能设备更新/修改其位置和/或更新/修改其设备ID。
图3是根据本公开的可能的实施方式的UWB标签的框图。所示的UWB标签可以被集成为移动计算设备和/或智能设备的一部分(即，非独立实施方式)或被集成为耦合到移动计算设备和/或智能设备的独立设备(即，独立实施方式)。在独立实施方式中，UWB标签300可以包括处理器310。处理器310可以被配置为根据软件指令来执行操作(例如，测距、定位)。软件指令(即，软件、代码等)可以被存储在存储器320(例如，非暂时性计算机可读存储器)上并且可从存储器320取得。处理器310可以通信地耦合到存储器320并且被配置为取得用于执行的软件并且读取/写入由软件的执行产生的信息。例如，关于往返时间、距离、角度、方位等的数据可以被存储在存储器320上(并且从存储器320取得)。当UWB标签300被集成为移动计算设备或智能设备的一部分(即，非独立实施方式)时，处理器310可以被实现为移动计算设备或智能设备的中央处理单元(CPU)。例如，被配置为在AR眼镜中提供UWB标签功能的组件可以利用AR眼镜的中央处理单元。
UWB标签300还可以包括以硬件(例如，逻辑电路)或软件(例如，循环计数器)实现的时钟315。时钟315可以控制数字处理的定时并且可以用作时间戳，这对于计算事件的定时(例如，周期、间隔)可能是有用的。事件可以对应于UWB标签300的通信(例如，往返时间)或与UWB通信的握手协议相关联的其他事件。
UWB标签300还可以包括数字信号处理器(DSP 330)，其被配置为辅助或替换处理器以用于某些功能。例如，DSP可以被配置为执行关于UWB标签之间的通信(例如，分组形成、信号标识等)的方面。处理器310和/或DSP 330可以配置UWB发射器/接收器(即，UWB收发器340)以经由UWB天线345通过UWB通信链路350传送信号。信号可以对应于UWB协议，其可以包括握手操作(即，握手协议)。UWB通信链路350可以用作用于包括多个UWB标签的UWB网络355的通信信道。在一些实施方式中，处理可以由多个UWB标签共享。在这些实施方式中，UWB通信链路350可以用于在UWB标签之间中继部分处理的信息。
UWB标签300还可以包括数据收发器360(例如，蓝牙收发器、WiFi收发器、5G收发器等)，其可以由处理器310和/或DSP 330配置为经由数据天线365通过数据通信链路370传送信号。数据通信链路370可以用作用于除了UWB网络之外的数据网络的通信信道。例如，数据通信链路370可以是被配置为允许UWB网络355中的一个或多个UWB标签经由蓝牙通信与移动计算设备通信的蓝牙通信链路。换句话说，除了作为UWB网络355的一部分(即，与其通信)之外，UWB标签中的一个或多个可以是数据网络375(例如，WiFi网络、CDMA网络、蓝牙网络)的一部分(即，与其通信)。该附加数据通信链路370可以被认为是用于另一设备(例如，AR设备、VR设备、移动电话、平板电脑等)与UWB标签300通信的端口。该端口在其他设备被配置为执行定位所需的处理的一部分的实施方式中或在其他设备被配置为接收方位的结果(例如，用于AR应用、用于VR应用等)的实施方式中可能是有用的。
UWB标签300还可以包括惯性测量单元(IMU 390)。IMU 390可以包括被配置为测量UWB标签300的移动和取向的一个或多个加速度计和磁力计。对于非独立实施方式，IMU 390可以是移动计算设备或智能设备的IMU。例如，在AR眼镜中提供UWB标签功能的组件可以利用AR眼镜的IMU。
UWB标签300还可以包括电源，诸如电池380(例如，可再充电电池)，以对组件电气地供能以供进行工作。对于非独立实施方式，电池可以是用于移动计算设备或智能设备的电池。例如，在AR眼镜中提供UWB标签功能的组件可以由AR眼镜的电池而不是专用于UWB标签的电池供电。
返回图2，UWB方位数据可以与由移动计算设备210收集的3D扫描数据(例如，深度数据)一起存储，并且用于重建配准到固定坐标系225的3D地图。因为移动计算设备可以用于在各种时间进行多次扫描并且可以使用各种智能设备作为锚定点，所以可以存在各种方式来识别、存储和合并数据以生成室内空间200中的多个区域(例如，房间)的3D地图。
图4图示室内空间的可能的3D扫描场景。虽然将详细描述所示的扫描场景以解释本公开的各方面，但是对该扫描场景和其他可能的扫描场景的明显变化可以被理解为在所公开的技术的范围内。如图4所示，室内空间400包括定位于第一锚定方位处的第一智能设备410(例如，智能家居中枢)和定位于第二锚定方位处的第二智能设备420(例如，智能家居恒温器)。移动计算设备430被配置为对室内空间400中的区域(例如，房间)进行3D扫描。3D扫描可以是用户参与的地图绘制过程的一部分，或者可以是用户不需要参与的另一过程(例如，AR游戏)的一部分。移动计算设备430还被配置为确定其相对于第一智能设备410和相对于第二智能设备420的方位。因此，3D扫描可以生成配准到第一锚定方位(即，第一智能设备410)和/或第二锚定方位(即，第二智能设备420)的3D地图。
配准到相同锚定方位的3D地图可以被合并以形成包括更多信息的合并的3D地图。例如，合并的3D地图可以包括(i)在第一3D扫描期间扫描的室内空间的第一房间和(ii)在第二3D扫描期间扫描的室内空间的第二房间。配准的3D地图的合并还可以允许在不同时间生成部分3D地图并且然后随时间合并在一起以形成更完整的3D地图。例如，合并的3D地图可以包括(i)在第一扫描期间扫描的第一房间的第一部分3D扫描和(ii)在第二扫描期间扫描的第一房间的第二部分3D扫描。换句话说，合并的3D地图可以包括比其组成部分的地图中的每一个更多的区域和/或更多的细节。
如图4所示，移动计算设备430对室内空间400的第一房间(即，卧室401)进行第一3D扫描431。在第一3D扫描431期间，移动计算设备430基于与第一智能设备410的UWB通信来收集相对方位数据，如上所述。可以通过与第一智能设备410相关联的标识符(即，ID)来相对于第一锚定方位识别该方位数据识别。
在第一3D扫描期间，移动计算设备430还可以基于与第二智能设备420的UWB通信来收集相对方位数据，如上所述。可以通过与第二智能设备420相关联的ID来相对于第二锚定方位识别该方位数据。
在不同的时间，移动计算设备430对室内空间400的第二房间(即，办公室402)进行第二3D扫描432。在第二3D扫描432期间，移动计算设备430基于与第一智能设备410的UWB通信来收集相对方位数据，如上所述。可以通过与第一智能设备410相关联的ID来相对于第一锚定方位识别该方位数据识别。
每个3D扫描产生3D扫描数据，其可以包括IMU数据、相机数据和/或深度传感器数据的某种组合。3D扫描数据可以与UWB方位数据(即，方位数据、UWB数据)相关联，该UWB方位数据可以包括相对于锚定方位的距离和/或方向。方位数据可以通过其ID(例如，设备ID)来识别以指示锚定方位。用于重建和合并扫描/方位数据以从图4中示出的示例场景生成合并的3D地图的一些可能的方法在图5至图7中示出并且接下来描述。
图5是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第一可能的方法的流程图。如上所述，第一3D扫描产生第一数据集501，其包括卧室401的3D扫描数据(即，3D-DATA)和相对于第一智能设备410的方位数据(即，POS-DATA(ID＝1))。第一3D扫描还产生第二数据集502，其包括卧室401的3D扫描数据(即，3D-DATA)和相对于第二智能设备420的方位数据(即，POS-DATA(ID＝2))。在该示例中，第一数据集501和第二数据集502的3D扫描数据是相同的(即，由相同扫描产生)，但是实际上它们可以是不同的。例如，可以获取卧室401的两次3D扫描，基于第一锚定方位的在第一时间的卧室的第一3D扫描和基于第二锚定方位的在第二时间的卧室扫描的第二3D扫描。
如上所述，办公室402的3D扫描产生包括办公室402的3D扫描数据(即，3D-DATA)和相对于第一智能设备410的方位数据(即，POS-DATA(ID＝1))的第三数据集503。第一数据集501、第二数据集502和第三数据集503可以存储在存储器520中以用于稍后的重建和合并。存储器可以是移动计算设备的本地存储器。替代地，存储器可以是移动计算设备可以经由网络访问的远程存储器(例如，云存储器)。在此实施方式中，来自每次3D扫描的数据被存储而不被重建为3D地图。换句话说，每次扫描的原始数据被存储而不被重建为3D地图。该方法可以具有简单性的优点，因为存储的数据处于原始状态并且可以根据需要被重建和合并。
如图5所示，该方法还包括重建(即，RECON)和合并(即，MERGE)过程530，其中原始数据被转换为合并的3D地图。重建/合并过程530可以包括在数据集(即，数据集的元数据)中搜索共享坐标系(即，具有来自共同的锚定点的方位数据)的数据集。例如，如图所示，重建和合并过程530对第一数据集501和第三数据集503进行操作，因为每个数据集的方位数据具有相同的标识符(ID＝1)。重建和合并过程530的输出是合并的3D地图510，其按照它们在图4中在空间上布置和取向来表示卧室401和办公室402。合并的3D地图510可以是3D格式(例如，obj)。合并的3D地图可以包括或可以不包括识别用于合并的锚定方位的元数据。
图6是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第二可能的方法的流程图。第一数据集501、第二数据集502和第三数据集503各自应用于3D重建算法610。第一数据集501的重建(即，RECON)产生卧室401的第一配准的3D地图601，其中数据配准到第一锚定点。因此，第一配准的3D地图601具有相关联的ID(即，ID＝1)以指示3D地图被配准到什么坐标系(即，锚定方位)(即，第一智能设备410)。第二数据集502的重建产生卧室401的第二配准的3D地图602，其中数据配准到第二锚定点。因此，第二配准的3D地图602具有相关联的ID(即，ID＝2)以指示3D地图被配准到什么坐标系(即，锚定方位)(即，第二智能设备420)。第三数据集502的重建产生办公室402的第三配准的3D地图603，其中数据配准到第一锚定点。因此，第三配准的3D地图603具有相关联的ID(即，ID＝1)以指示3D地图被配准到什么坐标系(即，锚定方位)(即，第一智能设备410)。
第一配准的3D地图601、第二配准的3D地图602和第三配准的3D地图603可以存储在存储器620中以供稍后使用和/或合并。存储器可以是移动计算设备的本地存储器。替代地，存储器可以是移动计算设备可以经由网络访问的远程存储器(例如，云存储器)。在该实施方式中，存储并识别可用的3D地图以用于可能的稍后合并。该方法可以在可用性和通用性方面具有优势，因为存储的配准的3D地图可用作单独的地图并且可以根据需要合并。每个配准的3D地图的重建和存储可以在不同的时间发生，使得区域的配准的地图可以随时间累积在存储中。
该方法还包括合并(即，MERGE)过程630，其中配准的3D地图被组合以生成合并的3D地图640。合并过程630可以包括检查配准的地图的标识符，合并具有相同标识的配准的3D地图，并且不合并不具有相同标识的配准的3D地图。如图6所示，第一配准的3D地图601和第三配准的3D地图603被合并630，因为它们都具有相同的标识符(即，ID＝1)。
每个配准的3D地图的数据可以包括3D点和/或从3D点创建的3D网格(例如，线框)。3D点可以被映射到由锚定方位定义的坐标系。在一些实施方式中，配准的3D地图包括区域的图像。例如，可以在表示该区域的3D表面上渲染该区域的图像。
图7是图示用于从图4中图示的3D扫描场景生成合并的3D地图的第三可能的方法的流程图。存储在存储器620中的第一配准的3D地图601、第二配准的3D地图602和第三配准的3D地图603可以包括相应区域的图像。因此，该方法可以包括识别过程710以针对关于区域的附加信息分析3D地图图像。该附加信息可以包括区域的特性(例如，大小、形状、颜色、配置等)和/或区域中的对象(例如，器具(appliance)、家具、设备等)。识别过程可以使用图像辨识算法来辨识该信息。该方法还可以包括将所辨识的信息与描述该区域的标签相关联。例如，第一配准的3D地图601的图像分析可以识别卧室401中的床。图像分析可以自动执行，这可以有利地消除用户在3D地图绘制时准确标记区域的责任。因此，第一配准的3D地图601配准的地图可以被标记为卧室。在标记之后，第一配准/标记的3D地图701被标记为卧室(即，TAG＝BEDROOM)，第二配准/标记的3D地图702被标记为卧室(即，TAG＝BEDROOM)，并且第三配准/标记的3D地图703被标记为办公室(即，TAG＝OFFICE)。配准和标记的3D地图可以存储在移动计算设备本地或远程(例如，云)的存储器730中。该方法还包括合并(即，MERGE)过程740，其中配准/标记的3D地图被组合以生成合并的3D地图750。如图6所示，第一配准/标记的3D地图701和第三配准/标记的3D地图703被合并740，因为它们都具有相同的标识符(即，ID＝1)。合并的结果是包括标记的区域的合并的3D地图750。虽然合并可能需要配准的3D地图具有相同的标识符，但是合并的3D中的一些配准的3D地图可能不被标记。
合并的3D地图可以用于各种应用中。可以在没有显著改变的情况下使用合并的3D地图来可视化室内空间。例如，合并的3D地图可以被呈现为室内空间的3D游览的一部分，或者帮助在AR应用(诸如AR云锚定)中生成逼真的虚拟对象，其可以将多个用户可以在不同时间(或在相同时间)从不同观察点(或相同观察点)观察/与其交互的持久虚拟对象添加到AR场景。合并的3D地图也可以用作用于测量和/或设计的基础。例如，合并的3D地图可以用于现场勘测和创建计算机辅助设计(CAD)模型。合并的3D地图还可以帮助利用室内定位来提供添加的功能的应用，尤其是当合并的3D地图包括标记的区域/位置时。
先前描述的室内定位系统(IPS)可以用于除3D地图绘制之外的应用。可以通过将收集的定位数据与合并的3D地图相关来进一步增强这些应用。例如，智能设备的操作可以基于其在区域的合并的3D地图内的跟踪的位置来调整。
图8图示来自图4中图示的3D扫描场景的合并的3D地图的可能的应用。虽然将详细描述所示的应用以解释本公开的各方面，但是本申请的明显变化以及其他可能的应用可以被理解为在所公开的技术的范围内。
如图8所示，定位于第一锚定方位处的第一智能设备(例如，智能家居中枢801)跟踪多个智能设备的方位(或接收来自多个智能设备的方位)。所示的多个智能设备包括第一智能扬声器810、第二智能扬声器820和一副AR眼镜830(由用户佩戴)。每个智能设备可以跟踪其自身或被跟踪以获得其相对于智能家居中枢801的方位。例如，使用UWB的室内定位可以确定第一智能扬声器810处于第一方位(x1，y1，z1)处，第二智能扬声器820处于第二方位(x2，y2，z2)处，并且该副AR眼镜830(由用户佩戴)处于第三方位(x3，y3，z3)处。每个确定的方位相对于坐标系840，坐标系840是基于智能家居中枢801定位于的第一锚定方位。
可以将所确定的方位与合并的3D地图750进行比较。此外，可以将所确定的方位与通过标记确定的附加信息进行比较。例如，应用可以基于第一方位和第二方位与合并的3D地图750中的标记的区域(即，BEDROOM、OFFICE)的比较来推断第一智能扬声器810在卧室中并且第二智能扬声器820在办公室中。合并的3D地图750还可以帮助定义室内空间的边界。例如，因为第三方位在由合并的3D地图定义的区域内，所以应用还可以推断AR眼镜830(由用户佩戴)在室内空间的边界内部。
应用可以使用推断的智能设备的位置来影响它们如何操作。例如，因为AR眼镜830被推断为在室内空间的边界内部，所以应用可以自动向用户提供功能(即，访问)，使得当用户说“Hey computer,play music in the office.(嘿，计算机，在办公室中播放音乐。)”时，执行该命令。换句话说，相对于合并的3D的跟踪可以用于向应用提供安全性的度量。为了执行命令，应用可以将第二智能扬声器820配置为基于其在办公室中的位置来播放音乐。第一智能扬声器810被配置为基于其在卧室中的位置保持静音。
除了区域之外，可以基于辨识的对象来标记合并的3D地图中的特定位置。如图所示，可以基于在该方位处辨识的对象(例如，健身机器850)来标记第四位置(x4，y4，z4)。相对于合并的3D地图750跟踪智能设备的应用可以将智能设备配置为当智能设备移动接近(例如，≤1米)对象时改变功能(例如，开始/停止过程)。例如，当AR眼镜830(即，用户)移动靠近健身机器850时，来自先前锻炼的统计数据可以显示在AR眼镜的AR显示器上。
图9是根据本公开的可能的实施方式的用于生成合并的3D地图的方法的流程图。方法900包括选择910用于扫描的区域。该选择可以包括将移动计算设备放置在用于扫描的室内空间的区域内。该方法还包括使用移动计算设备执行920对区域(例如，房间)的3D扫描。3D扫描可以包括在传感器(例如，深度传感器、相机、IMU)捕获关于区域和移动计算设备的信息时移动移动计算设备。该方法还包括使用(例如，移动计算设备的)UWB方位传感器在3D扫描期间相对于锚定方位定位930移动计算设备。定位可以包括使用UWB信号来计算移动计算设备与被配置用于UWB并且定位于锚定方位处的智能设备之间的距离和/或角度。该方法还包括生成940区域的3D地图。3D地图可以包括相对于基于锚定方位的坐标系(例如，锚定方位是坐标系的原点)的3D点。可以重复该过程以生成3D地图的汇集950(即，集合)。该方法还包括合并970具有相同锚定方位960的3D地图以形成合并的3D地图980。
图10图示计算机设备1000和移动计算机设备1050的示例，其可以与本文描述的技术一起使用(例如，以实现移动计算设备、智能设备、AR设备等)。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008、以及连接到低速总线1014和存储设备1006的低速接口1012。组件1002、1004、1006、1008、1010和1012中的每一个使用各种总线互连，并且可以安装在公共主板上或以其他适当的方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004中或存储设备1006上的指令，以在外部输入/输出设备(诸如耦合到高速接口1008的显示器1016)上显示GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和存储器类型。而且，可以连接多个计算设备1000，其中每个设备提供必要操作的部分(例如，作为服务器库、一组刀片服务器或多处理器系统)。
存储器1004在计算设备1000内存储信息。在一个实施方式中，存储器1004是一个或多个易失性存储器单元。在另一实施方式中，存储器1004是一个或多个非易失性存储器单元。存储器1004也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。
存储设备1006能够为计算设备1000提供大容量存储。在一个实施方式中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存存储器或其他类似的固态存储器设备、或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，该指令在被执行时执行一种或多种方法，诸如上述的那些。信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006或处理器1002上的存储器。
高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。功能的这种分配仅是示例。在一个实施方式中，高速控制器1008耦合到存储器1004、显示器1016(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口1010。在该实施方式中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪，或者例如通过网络适配器耦合到诸如交换机或路由器的联网设备。
如图所示，计算设备1000可以以多种不同的形式实现。例如，它可以实现为标准服务器1020，或者在一组这样的服务器中多次实现。它也可以被实现为机架服务器系统1024的一部分。此外，它可以在诸如膝上型计算机1022的个人计算机中实现。可替换地，来自计算设备1000的组件可以与移动设备(未示出)中的其他组件(诸如设备1050)组合。这样的设备中的每一个可以包含一个或多个计算设备1000、1050，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。
计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068以及其他组件。设备1050还可以设置有存储设备，诸如微驱动器或其他设备，以提供附加的存储。组件1050、1052、1064、1054、1066和1068中的每一个使用各种总线互连，并且组件中的若干组件可以安装在公共主板上或以其他适当的方式安装。
处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1050的其他组件的协调，诸如对用户接口的控制、由设备1050运行的应用以及设备1050的无线通信。
处理器1052可以通过耦合到显示器1054的控制接口1058和显示接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)和LED(发光二极管)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口1056可以包括用于驱动显示器1054以向用户呈现图形和其他信息的适当电路。控制接口1058可以从用户接收命令并且转换它们以提交给处理器1052。此外，可以提供与处理器1052通信的外部接口1062，以便实现设备1050与其他设备的近区域通信。外部接口1062可以例如在一些实施方式中提供用于有线通信，或者在其他实施方式中提供用于无线通信，并且也可以使用多个接口。
存储器1064在计算设备1050内存储信息。存储器1064可以被实现为以下中的一个或多个：计算机可读介质或媒介、一个或多个易失性存储器单元或一个或多个非易失性存储器单元。扩展存储器1074还可以被提供并且通过扩展接口1072连接到设备1050，扩展接口1072可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器1074可以为设备1050提供额外的存储空间，或者还可以为设备1050存储应用或其他信息。特别地，扩展存储器1074可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为设备1050的安全模块，并且可以用允许安全使用设备1050的指令来编程。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息安放在SIMM卡上。
存储器可以包括例如闪存存储器和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，该指令在被执行时执行一种或多种方法，诸如上述的那些。信息载体是计算机或机器可读介质，诸如存储器1064、扩展存储器1074或处理器1052上的存储器，其可以例如通过收发器1068或外部接口1062接收。
设备1050可以通过通信接口1066进行无线通信，通信接口1066在必要时可以包括数字信号处理电路。通信接口1066可以提供用于在各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器1068进行。此外，可以进行短距离通信，诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块1070可以向设备1050提供附加的导航和位置相关的无线数据，其可以适当地由在设备1050上运行的应用使用。
设备1050还可以使用音频编解码器1060可听地通信，音频编解码器1060可以从用户接收口头信息并将其转换为可用的数字信息。音频编解码器1060可以同样诸如通过扬声器(例如，在设备1050的手持机中)为用户产生可听声音。此类声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上操作的应用生成的声音。
如图所示，计算设备1050可以以多种不同的形式实现。例如，它可以被实现为蜂窝电话1080。其还可以被实现为智能电话1082、个人数字助理或其他类似的移动设备的部分。
本文描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，该可编程处理器可以是专用的或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并向其发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言和/或用汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，本文描述的系统和技术可以在具有用于向用户显示信息的显示设备(LED(发光二极管)或OLED(有机LED)或LCD(液晶显示器)监视器/屏幕)以及用户可以通过其向计算机提供输入的键盘和定点设备(例如，鼠标或轨迹球)的计算机上实现。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。
本文描述的系统和技术可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与本文描述的系统和技术的实施方式进行交互)，或者这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
在一些实施方式中，图中描绘的计算设备可以包括与AR头戴式耳机/HMD设备1090对接以生成用于查看物理空间内的插入内容的增强环境的传感器。例如，包括在图中描绘的计算设备1050或其他计算设备上的一个或多个传感器可以向AR头戴式耳机1090提供输入，或者通常向AR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050可以使用传感器来确定计算设备在AR空间中的绝对方位和/或检测到的旋转，然后可以将其用作对AR空间的输入。例如，计算设备1050可以被并入到AR空间中作为虚拟对象，诸如控制器、激光指示器、键盘、武器等，当被并入到AR空间中时，由用户对计算设备/虚拟对象的定位可以允许用户放置计算设备，以便在AR空间中以某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以操纵计算设备，就好像它是实际激光指示器一样。用户可以向左和向右、向上和向下、以圆形等移动计算设备，并且以与使用激光指示器类似的方式使用设备。在一些实施方式中，用户可以使用虚拟激光指示器瞄准目标位置。
在一些实施方式中，包括在计算设备1050上或连接到计算设备1050的一个或多个输入设备可以用作对AR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、相机、麦克风、具有输入功能的耳机或耳塞、游戏控制器或其他可连接的输入设备。当计算设备被并入到AR空间中时，与包括在计算设备1050上的输入设备交互的用户可以使得在AR空间中发生特定动作。
在一些实施方式中，计算设备1050的触摸屏可以被渲染为AR空间中的触摸板。用户可以与计算设备1050的触摸屏交互。例如，在AR头戴式耳机1090中，交互被渲染为AR空间中的渲染的触摸板上的移动。渲染的移动可以控制AR空间中的虚拟对象。
在一些实施方式中，包括在计算设备1050上的一个或多个输出设备可以向AR空间中的AR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或音频的。输出和/或反馈可以包括但不限于振动、打开和关闭一个或多个灯或闪光灯或一个或多个灯或闪光灯的闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动电机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算设备1050可以在计算机生成的3D环境中显现为另一对象。由用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、跨触摸屏滑动手指)可以被解释为与AR空间中的对象的交互。在AR空间中的激光指示器的示例中，计算设备1050在计算机生成的3D环境中显现为虚拟激光指示器。当用户操纵计算设备1050时，AR空间中的用户看到激光指示器的移动。用户从在计算设备1050上或AR头戴式耳机1090上的AR环境中与计算设备1050的交互接收反馈。用户与计算设备的交互可以被转化为与在AR环境中为可控设备生成的用户界面的交互。
在一些实施方式中，计算设备1050可以包括触摸屏。例如，用户可以与触摸屏交互以与可控设备的用户界面交互。例如，触摸屏可以包括用户界面元素，诸如可以控制可控设备的属性的滑块。
计算设备1000旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备1050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文示出的组件、它们的连接和关系以及它们的功能仅意味着为示例，并且不意味着限制在本文档中描述和/或要求保护的本发明的实施方式。
已经描述了多个实施例。然而，应当理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。
另外，附图中描绘的逻辑流程不需要所示的特定顺序或先后顺序来实现期望的结果。另外，可以提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统或从所描述的系统移除其他组件。因此，其他实施例在所附权利要求的范围内。
除了上面的描述之外，可以向用户提供控件，该控件允许用户做出关于本文描述的系统、程序或特征是否和何时可以实现用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)的收集以及用户是否从服务器发送内容或通信的选择。此外，某些数据可以在其被存储或使用之前以一种或多种方式被处理，使得个人可识别信息被移除。例如，可以处理用户的身份，使得无法针对用户确定个人可识别信息，或者可以在获得位置信息的情况下一般化用户的地理位置(诸如到城市、邮政编码或州级别)，使得不能确定用户的具体位置。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
虽然已经如本文所述的说明了所描述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入实施方式的范围内的所有这样的修改和改变。应当理解，它们仅通过示例而非限制的方式呈现，并且可以在形式和细节上进行各种改变。除了互斥组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。
除非另外定义，否则本文使用的所有技术和科学术语具有与本领域普通技术人员通常理解的相同的含义。与本文描述的方法和材料类似或等同的方法和材料可以在本公开的实践或测试中使用。如说明书和所附权利要求中所使用的，单数形式“一”、“一个”、“该”包括复数指示物，除非上下文另有清楚指示。如本文使用的术语“包括”及其变型与术语“包含”及其变型同义使用，并且是开放的非限制性术语。本文使用的术语“任选的”或“任选地”是指随后描述的特征、事件或条件可能发生或可能不发生，并且该描述包括所述特征、事件或条件发生的实例和其不发生的实例。范围在本文中可以被表达为从“约”一个特定值和/或到“约”另一个特定值。当这种范围被表达时，一个方面包括从一个特定值和/或到另一特定值。类似地，当通过使用在先“约”将值表示为近似值时，将理解，特定值形成另一方面。还应理解，每个范围的端点相对于另一端点和独立于另一端点都是重要的。

Claims (20)

1.一种用于生成三维(3D)地图的方法，所述方法包括：
使用移动计算设备的深度传感器执行对第一区域的第一扫描；
使用所述移动计算设备的超宽带方位传感器在所述第一扫描期间相对于锚定方位来定位所述移动计算设备；以及
生成所述第一区域的第一3D地图，所述第一3D地图是相对于所述锚定方位。
2.根据权利要求1所述的方法，还包括：
使用所述移动计算设备的所述深度传感器执行对第二区域的第二扫描；
使用所述移动计算设备的所述超宽带方位传感器在所述第二扫描期间相对于所述锚定方位来定位所述移动计算设备；
生成所述第二区域的第二3D地图，所述第二3D地图是相对于所述锚定方位；以及
基于所述锚定方位来合并所述第一3D地图和所述第二3D地图。
3.根据权利要求2所述的方法，其中：
所述第一区域是建筑物或住宅中的第一房间，并且所述第二区域是所述建筑物或住宅中的第二房间。
4.根据权利要求3所述的方法，其中：
所述锚定方位是固定地放置在所述建筑物或住宅中的智能设备的位置，所述智能设备被配置用于超宽带通信。
5.根据权利要求3所述的方法，其中：
所述锚定方位是固定地放置在所述建筑物或住宅外部的智能设备的位置，所述智能设备被配置用于超宽带通信。
6.根据权利要求2至5中任一项所述的方法，其中，基于所述锚定方位来合并所述第一3D地图和所述第二3D地图包括：
在空间上布置所述第一3D地图和所述第二3D地图以形成覆盖两个区域的第三3D地图。
7.根据前述权利要求中任一项所述的方法，其中，所述深度传感器是激光雷达传感器、相机或超声传感器。
8.根据前述权利要求中任一项所述的方法，其中，所述移动计算设备是移动电话、平板电脑或增强现实眼镜。
9.根据前述权利要求中任一项所述的方法，其中，所述超宽带方位传感器是超宽带标签。
10.根据权利要求9所述的方法，其中，相对于固定方位来定位所述移动计算设备包括：
确定所述超宽带标签与被配置用于与所述超宽带标签进行超宽带通信的智能设备之间的距离，所述智能设备定位于所述锚定方位处。
11.根据权利要求9所述的方法，其中，相对于固定方位来定位所述移动计算设备包括：
确定所述超宽带标签与被配置用于与所述超宽带标签进行超宽带通信的多个智能设备之间的距离，所述多个智能设备中的一个智能设备定位于所述锚定方位处。
12.一种用于基于智能设备的位置来控制所述智能设备的操作的方法，所述方法包括：
生成合并的3D地图，所述合并的3D地图包括由移动计算设备扫描的第一区域和第二区域，所述第一区域和所述第二区域根据它们与锚定方位的相对方位而定位于所述合并的3D地图中，所述相对方位是通过超宽带(UWB)通信来确定的；
标记所述合并的3D地图中的多个位置；
基于UWB通信和所述合并的3D地图来跟踪所述智能设备；
确定所述智能设备处于所述合并的3D地图中的标记的位置处；以及
基于所述标记的位置来调整所述智能设备的所述操作。
13.根据权利要求12所述的方法，其中，标记所述合并的3D地图中的所述多个位置包括：
基于所述合并的3D地图来识别建筑物或住宅的边界；以及
标记所述建筑物或住宅的所述边界外部的位置。
14.根据权利要求13所述的方法，其中，根据所述标记的位置来调整所述智能设备的所述操作包括：
当所述智能设备处于所述建筑物或住宅的所述边界外部的位置中时，限制所述智能设备对网络的访问。
15.根据权利要求12至14中任一项所述的方法，其中，标记所述合并的3D地图中的所述多个位置包括：
基于与所述合并的3D地图相关的图像来识别对象；以及
标记围绕所述对象的区域。
16.根据权利要求15所述的方法，其中，根据所述标记的位置来调整所述智能设备的所述操作包括：
当所述智能设备进入围绕所述对象的所述区域时，在所述智能设备上呈现关于所述对象的信息。
17.根据权利要求12至16中任一项所述的方法，其中，标记所述合并的3D地图中的所述多个位置包括：
基于所述合并的3D地图来识别房间；以及
标记所述房间。
18.根据权利要求17所述的方法，其中，根据所述标记的位置来调整所述智能设备的所述操作包括：
当所述智能设备进入所述房间时，控制所述智能设备上的媒体的回放。
19.根据权利要求17或18所述的方法，其中，标记所述房间包括：
基于与所述合并的3D地图相关的图像来识别所述房间中的对象；
基于所述房间中的对象来确定房间类型；以及
根据所述房间类型来标记所述房间。
20.一种用于生成三维(3D)地图的系统，所述系统包括：
智能设备，所述智能设备固定地定位于锚定方位处并且被配置用于超宽带(UWB)通信；以及
移动计算设备，所述移动计算设备包括：
深度传感器，所述深度传感器被配置为当在第一扫描期间在第一区域上扫描所述深度传感器时收集与所述第一区域相对应的第一深度数据集，并且当在第二扫描期间在第二区域上扫描所述深度传感器时收集与所述第二区域相对应的第二深度数据集；
UWB标签，所述UWB标签被配置为基于所述智能设备与所述UWB标签之间的UWB通信来确定在所述第一扫描和所述第二扫描期间所述移动计算设备与所述锚定方位之间的距离；以及
处理器，所述处理器通过软件指令来配置为：
在所述第一扫描期间基于所述移动计算设备与所述锚定方位之间的距离来将所述第一深度数据集配准到所述锚定方位；
基于配准的第一深度数据集来生成相对于所述锚定方位的第一3D地图；
在所述第二扫描期间基于所述移动计算设备与所述锚定方位之间的距离来将所述第二深度数据集配准到所述锚定方位；
基于配准的第二深度数据集来生成相对于所述锚定方位的第二3D地图；以及
合并所述第一3D地图和所述第二3D地图。
CN202280056798.4A 2021-08-24 2022-08-22 用于生成室内空间的三维地图的系统和方法 Pending CN117859077A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/445,751 US11585917B1 (en) 2021-08-24 2021-08-24 Systems and methods for generating three-dimensional maps of an indoor space
US17/445,751 2021-08-24
PCT/US2022/075263 WO2023028449A2 (en) 2021-08-24 2022-08-22 Systems and methods for generating three-dimensional maps of an indoor space

Publications (1)

Publication Number Publication Date
CN117859077A true CN117859077A (zh) 2024-04-09

Family

ID=83457145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280056798.4A Pending CN117859077A (zh) 2021-08-24 2022-08-22 用于生成室内空间的三维地图的系统和方法

Country Status (6)

Country Link
US (1) US11585917B1 (zh)
EP (1) EP4392808A2 (zh)
JP (1) JP2024532299A (zh)
KR (1) KR20240028481A (zh)
CN (1) CN117859077A (zh)
WO (1) WO2023028449A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12004046B2 (en) 2021-09-13 2024-06-04 Motorola Mobility Llc Object tracking based on UWB tags
US11990012B2 (en) 2021-11-29 2024-05-21 Motorola Mobility Llc Object contextual control based on UWB radios
US20230168343A1 (en) * 2021-11-29 2023-06-01 Motorola Mobility Llc Object and Environment Dimensioning Based on UWB Radios
US12069120B2 (en) 2021-11-29 2024-08-20 Motorola Mobility Llc Digital media playback based on UWB radios
US20230186563A1 (en) * 2021-12-10 2023-06-15 The Boeing Company Three-dimensional inspection twin for remote visual inspection of a vehicle
US12063059B2 (en) 2022-01-20 2024-08-13 Motorola Mobility Llc UWB accessory for a wireless device
SE2351434A1 (en) * 2023-12-15 2024-09-24 Flasheye Ab Method and assembly for configuration of a monitoring system in a physical space
SE2351435A1 (en) * 2023-12-15 2024-09-24 Flasheye Ab Method and assembly for configuration of a monitoring system in a physical space

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060121851A1 (en) * 2004-12-06 2006-06-08 Steve Moore Ultra-wideband security system
US20060143292A1 (en) * 2004-12-28 2006-06-29 Taubenheim David B Location-based network access
KR100981274B1 (ko) * 2010-03-11 2010-09-10 주식회사 베스트디지탈 자동 조명제어 시스템
US10332059B2 (en) * 2013-03-14 2019-06-25 Google Llc Security scoring in a smart-sensored home
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US10518407B2 (en) * 2015-01-06 2019-12-31 Discovery Robotics Apparatus and methods for providing a reconfigurable robotic platform
US10210285B2 (en) 2016-08-10 2019-02-19 Indoor Reality Inc. Methods for generating a floor plan from a building scan
CN106355647A (zh) 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN107958040B (zh) * 2017-11-22 2020-11-03 深圳慧智星晨科技有限公司 一种用于室内物品定位、管理以及分析的智能系统
US10176349B1 (en) 2017-12-07 2019-01-08 Kacchip, LLC Indoor position and vector tracking system and method
EP3746810A2 (en) * 2018-01-29 2020-12-09 Sonitor Technologies AS Ad hoc positioning of mobile devices using near ultrasound signals
US10951434B2 (en) 2018-03-23 2021-03-16 Apple Inc. Modular wall unit system
JP7120723B2 (ja) 2018-08-03 2022-08-17 株式会社トプコン レーザスキャナシステム
US11409881B2 (en) * 2019-08-12 2022-08-09 Dell Products, Lp Method and apparatus for wireless signal based location security system
CN111174799B (zh) 2019-12-24 2023-02-17 Oppo广东移动通信有限公司 地图构建方法及装置、计算机可读介质、终端设备

Also Published As

Publication number Publication date
WO2023028449A2 (en) 2023-03-02
WO2023028449A3 (en) 2023-04-06
JP2024532299A (ja) 2024-09-05
EP4392808A2 (en) 2024-07-03
US11585917B1 (en) 2023-02-21
US20230075389A1 (en) 2023-03-09
KR20240028481A (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
US11585917B1 (en) Systems and methods for generating three-dimensional maps of an indoor space
US11127210B2 (en) Touch and social cues as inputs into a computer
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
US10007349B2 (en) Multiple sensor gesture recognition
US20240085189A1 (en) System For Determining Position Both Indoor and Outdoor
US9301103B1 (en) Method and system for determining position of an inertial computing device in a distributed network
US9978174B2 (en) Remote sensor access and queuing
CN113728293B (zh) 用于基于位所的设备控制的系统和界面
JP7096569B2 (ja) 現実シーンの複製物に仮想画像及び音声データを重ね合わせるための方法及び装置、並びに携帯デバイス
US10733798B2 (en) In situ creation of planar natural feature targets
CN109584373B (zh) 协同增强现实地图界面
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2019103971A1 (en) Positional recognition for augmented reality environment
CN105378801A (zh) 全息图快照网格
KR20190004809A (ko) 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라
KR20220122675A (ko) 공동 적외선 및 가시 광 시각-관성 오브젝트 추적
US9292963B2 (en) Three-dimensional object model determination using a beacon
US20230122450A1 (en) Anchored messages for augmented reality
CN111373410B (zh) 增强现实环境的位所识别
CN113614793B (zh) 创建增强现实中的持续的映射的系统和方法
US20240280687A1 (en) System and method for motion capture
WO2020185115A1 (ru) Способ и система сбора информации для устройства совмещенной реальности в режиме реального времени

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination