CN112740283A - 增强现实映射系统和相关方法 - Google Patents

增强现实映射系统和相关方法 Download PDF

Info

Publication number
CN112740283A
CN112740283A CN201880097577.5A CN201880097577A CN112740283A CN 112740283 A CN112740283 A CN 112740283A CN 201880097577 A CN201880097577 A CN 201880097577A CN 112740283 A CN112740283 A CN 112740283A
Authority
CN
China
Prior art keywords
data
environment
objects
state
event graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880097577.5A
Other languages
English (en)
Inventor
理查德·安德鲁·纽科姆比
雅各布·朱利安·恩格尔
朱利安·斯特劳布
托马斯·约翰·威兰
史蒂文·约翰·洛夫格罗夫
任宇恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN112740283A publication Critical patent/CN112740283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

所公开的计算机实现的方法可以包括从环境中的设备接收与环境相关联的实时数据。该方法还可以包括根据实时数据确定当前映射和对象数据。当前映射数据可以包括环境的坐标数据，且当前对象数据可以包括环境中对象的状态数据和关系数据。该方法还可以包括确定当前映射数据和基线地图数据之间的映射增量，以及确定当前对象数据和事件图之间的对象增量。事件图可以包括对象的先前状态数据和先前关系数据。该方法还可以包括基于增量更新基线地图数据和事件图，并将更新的基线地图数据和事件图数据发送到设备。还公开了各种其他方法、系统和计算机可读介质。

Description

增强现实映射系统和相关方法
相关申请的交叉引用
本申请要求2018年9月14日提交的第16/131,066号美国申请的权益，该申请的公开内容通过引用整体结合于此。
背景
增强现实(AR)设备通常用计算机生成的信息来增强用户的真实世界环境。例如，AR设备可以通过将视觉信息叠加到用户的正常视图上来改变用户对他或她的真实世界环境的感知。通过这样做，AR设备可以为最终用户提供沉浸式体验，而不会完全取代用户对其现实世界环境的看法。
AR设备可用于游戏和其他互动娱乐应用。例如，AR应用经常显示虚拟对象，就像虚拟对象在现实世界中一样。然后，用户可以与虚拟对象进行交互。然而，随着AR设备变得越来越普遍，用户也可能希望使用AR技术来进一步增强他们对现实世界环境的感知。
概述
本发明由独立权利要求限定。在从属权利要求和以下描述中具体说明了进一步的实施例。根据本发明的实施例在所附权利要求中具体公开，涉及计算机实现的方法、系统和计算机可读介质，其中在一个权利要求类别(例如计算机实现的方法)中提到的任何特征也可以在另一个权利要求类别(例如系统)中要求保护。所附权利要求中的从属关系或往回引用仅出于形式原因而选择。然而，也可以要求保护由对任何前面的权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
如将在下面更详细描述的，本公开描述了一种AR映射系统，其能够基于来自多个AR设备的输入来映射现实世界环境。在一个示例中，用于执行这种任务的计算机实现的方法可以包括：(1)从环境中的多个设备接收与环境相关联的实时数据，以及(2)从实时数据确定环境的当前映射数据和当前对象数据。当前映射数据可以包括环境的坐标数据，并且当前对象数据可以包括由多个设备检测到的环境中的对象的状态数据和关系数据。该方法还可以包括(3)确定当前映射数据和包括环境特征的基线地图(baseline map)数据之间的映射增量，以及(4)确定当前对象数据和事件图之间的对象增量。事件图可以包括环境中对象的先前状态数据和先前关系数据。此外，该方法可以包括(5)基于映射增量更新基线地图数据并基于对象增量更新事件图，以及(6)向多个设备发送更新的基线地图数据和更新的事件图数据。
在一些示例中，事件图的状态数据可以包括环境中对象的时空状态数据，其指示环境中对象随时间的位置数据。事件图的关系数据可以包括链接时空状态数据的节点的转换数据。转换数据可以对应于指示环境中的对象之间的交互的事件。
在一些示例中，基于对象增量更新事件图可以进一步包括将对象增量中的对象识别为事件图中的对象，基于来自对象增量的状态数据在事件图中为所识别的对象创建新节点，以及基于来自对象增量的关系数据在事件图中将新节点与所识别的对象的先前节点相链接。
在一些示例中，基线地图数据可以包括环境中的平面图(floor plan)、墙壁、天花板、结构特征或静态家具物品中的至少一个。在一些示例中，环境中的对象可以包括静物(inanimate object)或人中的至少一个。
在一些示例中，人的状态数据可以包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个。在一些示例中，静物的状态数据可以包括对象类型、实例标识、姿势或属性中的至少一个。
此外，相应的AR映射系统可以包括一个或更多个处理器和存储器设备，该存储器设备包括指令，当该指令被一个或更多个处理器执行时，使得该系统从环境中的多个设备接收与该环境相关联的实时数据。这些指令还可以使系统根据实时数据确定环境的当前映射数据和当前对象数据。当前映射数据可以包括环境的坐标数据，并且当前对象数据可以包括由多个设备检测到的环境中的对象的状态数据和关系数据。这些指令还可以使系统确定当前映射数据和包括环境特征的基线地图数据之间的映射增量，并确定当前对象数据和事件图之间的对象增量。事件图可以包括环境中对象的先前状态数据和先前关系数据。这些指令还可以使系统基于映射增量更新基线地图数据，基于对象增量更新事件图，并将更新的基线地图数据和更新的事件图数据发送到多个设备。
在一些示例中，事件图的状态数据可以包括环境中对象的时空状态数据，其指示环境中对象随时间的位置数据，并且事件图的关系数据可以包括链接时空状态数据的节点的转换数据。转换数据可以对应于指示环境中的对象之间的交互的事件。
在一些示例中，用于基于对象增量更新事件图的指令还包括用于将对象增量中的对象识别为事件图中的对象、基于来自对象增量的状态数据在事件图中为所识别的对象创建新节点、以及基于来自对象增量的关系数据在事件图中将新节点与所识别的对象的先前节点相链接的指令。
在一些示例中，基线地图数据可以包括环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。在一些示例中，环境中的对象可以包括静物或人中的至少一个。人的状态数据可以包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，静物的状态数据可以包括对象类型、实例标识、姿势或属性中的至少一个。
在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，当由计算设备的至少一个处理器执行时，这些指令可以使得计算设备(1)从环境中的多个设备接收与环境相关联的实时数据，以及(2)从实时数据确定环境的当前映射数据和当前对象数据。当前映射数据可以包括环境的坐标数据，并且当前对象数据可以包括由多个设备检测到的环境中的对象的状态数据和关系数据。这些指令还可以使计算设备(3)确定当前映射数据和包括环境特征的基线地图数据之间的映射增量，以及(4)确定当前对象数据和事件图之间的对象增量。事件图可以包括环境中对象的先前状态数据和先前关系数据。这些指令还可以使计算设备(5)基于映射增量更新基线地图数据，并基于对象增量更新事件图，以及(6)向多个设备发送更新的基线地图数据和更新的事件图数据。
在一些示例中，事件图的状态数据可以包括环境中对象的时空状态数据，其指示环境中对象随时间的位置数据，并且事件图的关系数据可以包括链接时空状态数据的节点的转换数据。在一些示例中，转换数据可以对应于指示环境中的对象之间的交互的事件。
在一些示例中，基于对象增量更新事件图可以进一步包括将对象增量中的对象识别为事件图中的对象，基于来自对象增量的状态数据在事件图中为所识别的对象创建新节点，以及基于来自对象增量的关系数据在事件图中将新节点与所识别的对象的先前节点相链接。
在一些示例中，基线地图数据可以包括环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。在一些示例中，环境中的对象可以包括静物或人中的至少一个。人的状态数据可以包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，静物的状态数据可以包括对象类型、实例标识、姿势或属性中的至少一个。
根据本文描述的一般原理，来自上述和下述实施例中的任何一个的特征可以彼此结合使用。通过结合附图和权利要求阅读以下详细描述，将会更全面地理解这些和其他实施例、特征和优点。
在一个实施例中，计算机实现的方法可以包括，特别是在服务器处，从在环境中的多个设备，特别是从多个计算设备，接收与该环境相关联的实时数据。该方法还可以包括，特别是在服务器处，从实时数据中确定环境的当前映射数据和当前对象数据，其中当前映射数据可以包括环境的坐标数据，并且当前对象数据可以包括由多个设备检测到的环境中的对象的状态数据和关系数据。该方法还可以包括，特别是在服务器处，确定当前映射数据和可以包括环境特征的基线地图数据之间的映射增量。该方法还可以包括特别是在服务器处确定当前对象数据和事件图之间的对象增量，其中事件图可以包括环境中对象的先前状态数据和先前关系数据。该方法还可以包括特别是在服务器处，基于映射增量更新基线地图数据，并且可以基于对象增量更新事件图。该方法可以进一步包括，特别是从服务器将更新的基线地图数据和更新的事件图数据发送到多个计算设备。
在一个实施例中，该方法可以包括环境中的多个设备，特别是多个计算设备，可以包括传感器，诸如照相机、麦克风和能够检测环境中的特征和/或对象的其他传感器。
在一个实施例中，环境中的多个设备，特别是多个计算设备，可以使用一个或更多个传感器收集实时数据，并且可以通过一个或更多个网络通信地耦合到一个或更多个服务器，其中网络可以包括通过一个或更多个物理连接的任何类型或形式的通信网络。
在一个实施例中，实时数据可以包括视频数据、音频数据、时间戳和/或基于来自计算设备的传感器数据的其他数据。
在一个实施例中，当前映射数据和当前对象数据可以由映射系统确定，该映射系统可以包括人工智能代理。
在一个实施例中，状态数据可以指描述对象关于属性和/或情况的状况的数据。
在一个实施例中，关系数据可以指可以描述对象之间的关系的数据，其中对象之间的关系可以包括例如对象之间的交互，状态变化可以由对象、组合和/或对象之间的其他关联引起，其中交互可以包括例如拿起和/或放下、携带、放置、附着、看、说、听、触摸等。
在一个实施例中，关系数据可以描述对象状态的变化。
在一个实施例中，状态数据可以进一步用于确定关系数据。
在一个实施例中，可以相对地定义映射增量，例如通过识别哪些特征已经改变并确定到它们的新坐标的平移。
在一个实施例中，对象增量可以由状态和关系相比于事件图中的先前状态和先前关系的变化来定义。
附图简述
附图示出了多个示例性实施例，并且是说明书的一部分。这些附图连同下面的描述一起展示并解释了本公开的各种原理。
图1是根据本公开的方面的用于AR映射的示例性方法的流程图。
图2是根据本公开的方面的AR映射系统的示例性系统的框图。
图3是根据本公开各方面的AR映射系统的示例性网络的框图。
图4是根据本公开各方面的AR映射系统的示例性流水线的示意图。
图5A-图5B是根据本公开的方面的AR映射系统的示例性映射层。
图6是根据本公开的方面，对应于AR映射系统的事件图的图。
图7是根据本公开的方面的具有更新数据的图6的事件图。
在所有附图中，相同的参考标记和描述表示相似但不一定相同的元件。虽然本文所述的示例性实施例容许各种修改和替代的形式，但是特定的实施例在附图中作为示例被示出并且在本文将被详细描述。然而，本文描述的示例性实施例并不旨在受限于所公开的特定形式。更确切地，本公开覆盖了落入所附权利要求的范围内的所有修改、等同物和替代物。
示例性实施例的详细描述
本公开总体涉及AR映射系统。如下文将更详细解释的，本公开的实施例可以包括从多个设备接收与现实世界环境相关联的实时数据。AR映射系统可以基于实时数据来确定环境的当前映射数据和当前对象数据。AR映射系统然后可以使用当前映射数据和当前对象数据来更新基线地图数据和事件图。通过聚集从多个设备接收的实时数据，AR映射系统可以提供包括环境中的对象的改进的映射能力。该系统还可以通过提供用于聚集实时数据的有效系统和用于表示现实世界对象和它们之间的交互的数据的改进存储来改进计算设备的功能。该系统可以通过提供能够实时感知环境中的对象的系统来进一步改进映射技术。此外，系统可以通过聚集来自多个AR设备的数据来增强每个AR设备，从而改进AR技术。
下面将详细描述更新图1中的AR映射系统的示例性过程。图2描绘了示例性AR映射系统。图3描绘了AR映射系统的示例性网络环境。图4描绘了AR映射系统的示例性数据流水线。图5A-图5B描绘了对应于由AR映射系统维护的数据的示例性层。图6-图7描绘了AR映射系统的示例性事件图。
图1是用于更新AR映射系统的示例性计算机实现的方法100的流程图。图1所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(包括图2和/或图3所示的系统)来执行。在一个示例中，在图1中所示的步骤中的每一个可以表示算法，其结构包括多个子步骤和/或由多个子步骤表示，将在下面更详细地提供子步骤的示例。
如图1所示，在步骤110，本文描述的一个或更多个系统可以从环境中的多个设备接收与该环境相关联的实时数据。
在一些实施例中，术语“实时”可以指没有显著和/或不可避免的延迟而发生的操作。实时操作可能受到例如设备传感器处理速度、网络通信速度、系统处理速度等的限制。实时数据可以包括视频数据、音频数据、时间戳和/或基于来自环境的传感器数据的其他数据。
本文描述的系统可以以多种方式执行步骤110。图2是用于维护AR映射系统的示例系统200的框图。如该图所示，示例系统200可以包括用于执行一个或更多个任务的一个或更多个模块202。如下文将更详细解释的，模块202可以包括接收模块204、当前数据模块206、映射增量模块208、对象增量模块210、更新模块212和发送模块214。尽管被示为独立的元件，但是图2中的一个或更多个模块202可以代表单个模块或应用的部分。
在某些实施例中，图2中的一个或更多个模块202可以表示一个或更多个软件应用或程序，当由计算设备执行时，这些软件应用或程序可以使计算设备执行一项或更多项任务。例如，如将在下面更详细描述的，一个或更多个模块202可以表示被存储和配置为在诸如图3所示的设备(例如，计算设备302(1)-(N)和/或服务器306)的一个或更多个计算设备上运行的模块。图2中的一个或更多个模块202也可以代表被配置成执行一项或更多项任务的一个或更多个专用计算机的全部或部分。
如图2所示，示例系统200还可以包括一个或更多个存储器设备(诸如存储器240)。存储器240通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器240可以存储、加载和/或维护一个或更多个模块202。存储器240的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、一个或更多个上述存储器的变型或组合、和/或任何其他合适的储存存储器。
如图2所示，示例性系统200还可以包括一个或更多个物理处理器，例如物理处理器230。物理处理器230通常表示能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器230可以访问和/或修改存储在存储器240中的一个或更多个模块202。附加地或替代地，物理处理器230可以执行一个或更多个模块202，以便于维护映射系统。物理处理器230的示例非限制地包括微处理器、微控制器、中央处理单元(CPU)、实现软核(softcore)处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个部件的部分、这些部件中的一个或更多个部件的变型或组合、和/或任何其他合适的物理处理器。
如图2所示，示例系统200还可以包括一个或更多个附加元素220，诸如实时数据250、基线地图数据256和事件图260。实时数据250、基线地图数据256和/或事件图260可以存储在诸如存储器240的本地存储设备上，或者可以远程访问。实时数据250可以表示从环境中的设备接收的数据，并且可以包括当前映射数据252和当前对象数据254，这将在下面进一步解释。在某些实施方式中，实时数据250还可以包括与实时数据250的源设备相关的数据。事件图260可以表示对应于环境中的对象和它们之间的关系的数据，并且可以包括状态数据262和关系数据264，这将在下面进一步解释。
基线地图数据256可以包括对应于环境的映射数据的数据。基线地图数据256可以包括关于包括但不限于墙壁、地板、天花板、窗户、门、大桌子等的环境静态特征的数据。基线地图数据256可以进一步包括静态特征的坐标数据，其可以定义静态特征的位置。坐标数据的坐标系可以是相对的，诸如相对于环境中特定点的坐标。例如，如果映射系统覆盖的环境被限制在建筑物的单楼层或一层，则坐标数据可以相对于该层上的特定点来定义。或者，坐标系可以是全局的，诸如由纬度和经度定义的。另外，坐标系可以包括两个以上的维度。坐标系也可以是3D的，并且可以包括特征的高度位置。
图2中的示例系统200可以以多种方式实现。例如，示例系统200的全部或一部分可以代表图3中的示例网络环境300的部分。
图3示出了实现本公开各方面的示例性网络环境300。网络环境300包括计算设备302(1)-(N)、网络304和服务器306。计算设备302可以是客户端设备或用户设备，诸如AR设备(例如，AR眼镜)、台式计算机、膝上型计算机、平板设备、智能手机或其他计算设备。计算设备302可以包括可以是一个或更多个处理器的物理处理器330、可以存储诸如实时数据250的数据的存储器340、能够从环境中检测实时数据250的传感器370以及显示器380。在一些实施方式中，计算设备302可以表示AR设备，使得显示器380将图像覆盖在用户对他或她的本地环境的视图上。例如，显示器380可以包括透明介质，该透明介质允许来自用户环境的光穿过，使得用户可以看到环境。显示器380然后可以在透明介质上绘制以覆盖信息。或者，显示器380可以将图像投影到透明介质上和/或用户的眼睛上。在一些实施方式中，计算设备302还可以包括用于声音输出的扬声器382。
传感器370可以包括一个或更多个传感器，诸如照相机、麦克风和能够检测环境中的特征和/或对象的其他传感器。计算设备302能够使用传感器370收集实时数据250以发送给服务器306。
服务器306可以代表或包括能够托管映射系统的一个或更多个服务器。映射系统可以处理来自计算设备302(1)-(N)的实时数据250，以构建、维护和/或更新基线地图数据256和事件图260。在一些示例中，映射系统可以表示AR映射系统，其可以处理数据以在AR设备上显示。服务器306可以包括物理处理器330(其可以包括一个或更多个处理器)、可以存储模块202的存储器340以及附加元素220，诸如基线地图数据256和事件图260。
计算设备302可以通过网络304通信耦合到服务器306。网络304可以代表任何类型或形式的通信网络(诸如互联网)，并且可以包括一个或更多个物理连接，诸如LAN，和/或无线连接，诸如WAN。
回到图1，在一个示例中，系统200和/或服务器306的接收模块204可以从环境中的一个或更多个计算设备302接收与该环境相关联的实时数据250。实时数据250可以与环境中的对象相关联，该对象可以包括静物、人和/或由计算设备302检测到的其他可识别的对象。例如，计算设备302可以位于建筑物的单层中，收集和发送该建筑物层的实时数据250。
图4示出了描绘映射系统的数据流的示例性流水线400。如该图所示，图4可以包括对应于系统200和/或服务器306的映射系统406，以及对应于计算设备302的本地设备402。映射系统406可以接收原始数据450，其可以对应于实时数据250。原始数据450可以包括从环境收集的视频数据、音频数据和/或其他传感器数据。原始数据450还可以包括来自源设备的位置和/或取向数据。在一些示例中，原始数据450可能需要由映射系统406进一步处理。
回到图1，在步骤120，本文描述的一个或更多个系统可以根据实时数据来确定环境的当前映射数据和当前对象数据。例如，系统200和/或服务器306的当前数据模块204可以根据实时数据250确定当前映射数据252和当前对象数据254。
当前映射数据252可以包括符合基线地图数据256的坐标系的坐标数据，并且描述环境内对象的位置和/或取向。具体地，当前映射数据252可以包括环境中的静态特征的坐标数据和当前对象数据254所表示的对象的坐标数据。例如，坐标数据可以包括由计算设备302检测到的环境中的人、家具物品和/或结构特征的当前坐标数据。
当前对象数据254可以包括由计算设备302检测到的环境中的对象的状态数据和关系数据。状态数据可以例如描述对象的状况。具体地，状态数据可以对应于对象的属性、特性和/或其他区别特征。如下文所详述的，该状态数据与坐标数据相结合，可以使AR映射系统能够生成在环境中的对象(包括它们的位置、取向、状态等)的完整再现，以例如用于在AR设备上显示。
在一些实施例中，术语“状态数据”可以指可以描述对象关于属性和/或情况的状况的数据。人的状态数据可以包括例如头部姿势、眼睛状态、音频数据、手的状态、呼吸率、心率和/或其他生理属性，以及许多其他潜在的示例。静物的状态数据可以包括例如对象类型、实例标识、姿势和/或对象类型特有的属性，如门是否打开，以及许多其他潜在的示例。状态数据可以提供环境的完整状态。
在一些实施例中，术语“关系数据”可以指可以描述对象之间关系的数据。对象之间的关系可以包括例如对象之间的交互、由对象引起的状态变化、组合和/或对象之间的其他关联。交互可以包括，例如，拿起和/或放下、携带、放置、附着、看、说、听、触摸等。例如，一个人可能会抓起一把椅子，建立一种关系。在一些示例中，关系数据可以描述对象状态的变化。状态数据可以进一步用于确定关系数据。例如，跟踪人的手、眼睛和/或声音可以帮助识别人的交互的目标对象。
本文描述的系统可以以多种方式执行步骤120。在一个示例中，映射系统406的人工智能(AI)代理432可以使用机器学习来处理原始数据450。AI代理432可以以软件和/或硬件的方式实现。AI代理432可以从视频数据中识别对象和结构特征。AI代理432的数据流水线可以分为地图处理器434和对象处理器436。在一些示例中，地图处理器434和/或对象处理器436可以与AI代理432集成，或者可以用单独的硬件和/或软件来实现。
地图处理器434可以通过计算识别的对象和结构特征之间的距离来确定坐标数据，并且可以使用原始数据450的源设备的位置和/或取向来确定坐标数据。例如，来自原始数据450的视频数据可用于计算对象之间的距离。使用对象和一个或更多个参考点(诸如源设备的位置)之间的距离可以确定对象的坐标数据。
对象处理器436可以识别对象和结构特征，并且可以进一步使用机器学习来识别对象和结构特征的状态数据。例如，通过分析来自原始数据450的视频数据，对象处理器436可以使用机器学习来识别和分类对象以及确定对象的状态数据。其他数据可用于确定状态数据，诸如音频数据、源设备的位置和/或取向、对象之间的接近度等。
返回图1，在步骤130，本文描述的一个或更多个系统可以确定当前映射数据和包括环境特征的基线地图数据之间的映射增量。例如，系统200和/或服务器306的映射增量模块208可以确定当前映射数据252和基线地图数据256之间的映射增量。
基线地图数据256可以包括表示环境静态特征(诸如建筑物的单层)的数据。基线地图数据256可以包括环境的静态特征，诸如平面图、墙壁、地板、天花板、大桌子、门、窗、静态家具物品和环境的结构特征。静态特征可以例如通过定义对象可以移动或放置的限制并且进一步通过定义或提供坐标系的参考来定义环境。
在某些实施方式中，基线地图数据256可以被划分成粒度级别。例如，第一级别或最低级别可以对应于环境的平面图。第二级别可以包括填充第一级别的稀疏特征集。更高级别可以包括结构元素的类别、结构元素的纹理以及结构元素的实例。实例可以对应于特定的对象。在其他实施方式中，可以有更少或更多的级别。
基线地图数据256可以例如通过将已知的平面图和静态特征输入作为基线地图数据256来预先建立。替代地或附加地，基线地图数据256可以由环境中的设备的连续扫描建立。换句话说，基线地图数据256可以是先前接收的映射数据的集合。
图5A示出了基础级别501，其可以对应于基线地图数据256的2D表示，并且可以不按比例示出。基础级别501可以类似于平面图，并且可以包括结构特征510、静态家具512和静态元素514。结构特征510可以包括墙壁、门、窗户和环境的其他结构特征。静态家具512可以包括桌子和其他通常不移动的家具，诸如长凳、沙发、书桌等。静态元素514可以包括可以保持静态的其他特征，例如大型植物、雕像以及环境中的其他装饰和/或功能元素。
回到图1，本文描述的系统可以以多种方式执行步骤130。在一个示例中，AI代理432通过地图处理器434可以确定地图数据库456(其可以对应于基线地图数据256)和来自原始数据450的当前映射数据之间的差异。映射增量可以相对地定义，例如通过识别哪些特征已经改变并确定到它们的新坐标的平移。可选地，映射增量可以由具有不同于地图数据库456中的坐标的任何特征来定义。
在某些情况下，映射增量可能在源设备之间存在不一致和/或冲突。当多个设备发送数据时，第一设备关于特征的数据可能不同于第二设备关于相同特征的数据。例如，第一设备可能在第二设备之前记录了该特征，因此发送了过时的数据。不一致可以通过对数据进行优先排序来解决。例如，具有较新时间戳的数据可能比具有较旧时间戳的数据优先。类似地，来自更接近所讨论的特征或具有更高分辨率检测能力的源设备的数据可以优先。在某些实施方式中，可以组合不一致，例如使用基于优先级的加权平均。
在步骤140，本文描述的一个或更多个系统可以确定当前对象数据和事件图之间的对象增量，该事件图包括环境中对象的先前状态数据和先前关系数据。例如，系统200和/或服务器306的对象增量模块210可以确定当前对象数据254和事件图262之间的对象增量。
事件图260可以包括状态数据262和关系数据264。事件图260可以包括在环境中检测到的所有对象的数据。状态数据262可以包括环境中对象的时空状态数据。时空状态数据可以指示环境中对象随时间的位置数据。状态数据262因此可以包括对象的先前状态数据，从而跟踪对象状态的变化。关系数据264可以包括链接对象的各种状态的转换数据(transition data)。转换数据可以对应于指示环境中的对象之间的交互的事件。事件图260可以存储为多维矩阵或能够存储时空数据和转换数据的其他数据结构。
图6示出了事件图600，其可以对应于事件图260的图形表示。事件图600可以包括节点602和边604。事件图600可以具有两个维度，在图6中被描绘为时间轴和空间轴，尽管在其他实现方式中，事件图600可以包括更多维度，例如附加的空间维度和对应于状态数据的属性的维度。
节点602可以对应于对象的状态。在沿时间轴的给定时间，对象的空间(例如位置)可以由节点602表示。链接节点602的边604可以对应于由节点602表示的状态之间的转换数据。转换可以指示交互，诸如移动或被移动。节点602的收敛可以指示相应的对象已经交互。
图5B描绘了示例活动层502，其可以对应于事件图260的简化2D环境表示，并且可以不按比例示出。活动层502可以表示环境中的动态或非静态对象。活动层502可以包括人520、先前状态522、对象524和人526。虽然图5B示出了对象的简化形式，但是因为状态数据和关系数据可以包括姿态和取向数据，所以可以获得对象的鲁棒3D表示。先前状态522可以指示人520的先前状态，诸如先前位置。因此，先前状态522可以显示人520已经行进的地方。人526被示为靠近对象524。人526和对象524的状态已经改变，这可以指示交互。具体地，人526可能已经重新定位了对象524。
在某些实施方式中，环境中的设备可以表示为不同的对象，或者可以与另一个对象密切相关。例如，人可能佩戴了AR设备，这可以与没有AR设备的人区分开来。另外，佩戴AR设备的人可以包括状态和关系数据更新的一致流。
回到图1，本文描述的系统可以以多种方式执行步骤140。在一个示例中，AI代理432通过对象处理器436可以确定来自原始数据450的当前对象数据和事件图460之间的差异，事件图460可以对应于事件图260。对象数据库462可以包括来自环境的所有被识别的对象。在一些实施方式中，对象数据库462可以结合在事件图460和/或地图数据库456中。对象增量可以通过状态和关系与事件图460中的先前状态和先前关系相比的变化来定义。类似于上述映射增量，对象增量可能在源设备之间具有不一致和/或冲突，这可以通过对数据进行优先级排序来解决。例如，具有较新时间戳的数据可能优先。类似地，来自更接近所讨论的特征或具有更高分辨率检测能力的源设备的数据可以优先。在某些实施方式中，可以组合不一致，例如使用基于优先级的加权平均。
在步骤150，本文描述的一个或更多个系统可以基于映射增量更新基线地图数据，并且基于对象增量更新事件图。例如，系统200和/或服务器306的更新模块212可以基于映射增量更新基线地图数据256，并且可以基于对象增量更新事件图260。
本文描述的系统可以以多种方式执行步骤150。在一个示例中，AI代理432可以通过地图处理器434来更新地图数据库456。另外，AI代理432可以通过对象处理器436来更新事件图460。在某些实施方式中，对象处理器436也可以更新对象数据库462。
基于对象增量更新事件图还可以包括将对象增量中的对象识别为事件图460中的对象，基于来自对象增量的状态数据在事件图460中为识别的对象创建新节点，以及基于来自对象增量的关系数据将新节点与事件图460中识别的对象的先前节点相链接。例如，图7示出了事件图700，其可以是图6中的事件图600的更新版本。在图7中，可以添加新节点702，并且新边704可以将新节点连接到先前节点。对象增量可以指示对象已经从其在事件图600中的最近节点移动。对象的移动可以在事件图700中以放置新节点702和新边704来表示，新边704连接到对象的次新节点。随着对象的状态随时间变化，可以为每个新状态向事件图700添加额外的节点和边。
更新基线地图数据256可以确保基线地图数据256包括环境的最新结构特征。例如，在图5中，更新基础层501可以导致映射出附加的结构特征510。更新事件图260可以确保事件图260包括环境中对象的最新状态数据262和关系数据264。另外，基线地图数据256和事件图260最初可以用最少的数据来播种，因为随着时间的推移，环境中的设备可以提供基线地图数据256和事件图260中缺失的区域和/或对象的数据。
在一些示例中，基线地图数据256和事件图260可以以分布式方式更新。环境中的多个设备可以比单个设备跟踪更多的环境。另外，这些设备可以在整个环境中移动，允许对不同于静态设备的区域进行更新。映射系统可以协调数据的聚集，使得每个单独的设备不需要向环境中的另一个单独的设备请求数据。
可以分析事件图260以进一步确定对象的特征和/或它们之间的关系。通过分析特定对象随时间的移动和/或关系模式，可以推断特定对象的当前和/或未来状态和关系。例如，如果对象丢失(例如，其当前位置未知)，分析最后已知的位置和可能的移动可以提供其当前位置的准确预测。如果人倾向于在一天中的某个时间沿着某条路径行走，则可以在一天中的类似时间预测人的位置。事件图260的进一步分析可以揭示对象的附加特征。
可以分析事件图260的其他方面。例如，可以分析特定的时间窗口以确定发生什么类型的交互、哪些位置变得拥挤等。可以监测环境的变化以确定其影响。改变结构特征(诸如改变墙壁和/或门和/或其他通常静态的特征)可能会导致对象交互的改变。然后可以将这些交互与结构变化之前的交互进行比较。
在某些实施方式中，事件图260可以包括虚拟对象。虚拟对象可能是环境中的设备未检测到的对象。例如，预测的对象位置可以由虚拟对象来表示。另外，用户可以在环境中放置虚拟对象，例如供其他用户交互。
回到图1，在步骤160，本文描述的一个或更多个系统可以向多个设备发送更新的基线地图数据和更新的事件图数据。例如，系统200和/或服务器306的发送模块214可以向计算设备302发送基线地图数据256的部分和事件图260的部分。
本文描述的系统可以以多种方式执行步骤160。在一个示例中，映射系统406可以将地图数据库456、事件图460和/或对象数据库462的部分发送到本地设备402，本地设备402可以对应于计算设备302。
本地设备402可以包括本地AI代理433、本地地图数据库457、本地事件图461和本地对象数据库463。本地地图数据库457可以是地图数据库456的子集。本地事件图461可以是事件图460的子集。本地对象数据库463可以是对象数据库462的子集。本地AI代理433可以从映射系统406接收数据并更新本地数据库。本地数据库可以允许本地设备402维护其自己对环境的本地表示。
所公开的映射系统可用于跟踪环境中的对象。用户可能能够跟踪他或她的财产。例如，用户可能能够定位丢失的对象，诸如他或她的钥匙、膝上型电脑等。即使映射系统缺少丢失的对象的最新数据，用户也能够确定最后已知位置，以找到丢失的对象。或者，用户可以检查丢失对象的先前位置，以跟踪它们的移动并推断它们的当前位置。如果用户正在使用AR设备，用户可能能够环顾四周的环境，并在视觉上定位丢失的对象。例如，AR设备可以在用户面对对象时突出显示该对象，或者可以显示方向指示符(indicator)以将用户指向该对象。
用户还能够确定哪些对象和/或人已经与对象交互。例如，用户可能看到在膝上型电脑丢失之前，第二个人使用了用户的膝上型电脑。用户然后可以询问第二个人关于膝上型电脑的当前位置。用户也能够定位第二个人。例如，如果第二个人佩戴了AR设备，则用户能够实时看到第二个人在哪里，并确定第二个人去过哪里，以及第二个人与谁或什么进行了交互。如果第二个人没有佩戴AR设备，则用户可能能够确定第二个人已经在哪里，第二个人在整个环境中的运动习惯，并且估计第二个人当前在哪里。
用户还可以创建虚拟对象供其他用户交互。例如，用户可以创建虚拟笔记并将其留在墙上。第二个用户使用AR设备，可能能够看到虚拟笔记。
如上所述，所公开的映射系统可以从环境中的多个设备收集关于环境的数据。该映射系统可以包括环境的几乎所有设备可检测方面的数据表示，这些数据表示可以随着时间进一步保存。因此，映射系统可以以其当前配置以及过去的配置重建环境。这也允许分析环境随时间的变化。映射系统可以向环境中的设备发送数据，使得这些设备具有比单个设备通常可获得的更大的环境视图。即使无法检测整个环境，设备也可以重建整个环境。因此，映射系统可以利用多个设备，进而能够比环境中的单个设备所允许的那样更有效地重建环境。
如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块中包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中，这些计算设备(一个或多个)可以各自包括至少一个存储器设备和至少一个物理处理器。
在一些示例中，术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的模块中的一个或更多个。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合或者任何其他合适的储存存储器。
在一些示例中，术语“物理处理器”通常指能够解析和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合或者任何其他合适的物理处理器。
尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应用程序的部分。此外，在某些实施例中，这些模块中的一个或更多个可以表示一个或更多个软件应用或程序，其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如，本文描述和/或示出的模块中的一个或更多个可以表示被存储和配置为在本文描述和/或示出的计算设备或系统中的一个或更多个上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
此外，本文描述的模块中的一个或更多个可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。例如，本文所述的一个或更多个模块可以接收要转换的实时数据，转换实时数据，使用转换的结果来确定具有基线地图数据的映射增量和具有事件图的对象增量，并存储转换的结果来更新基线地图数据和事件图。附加地或可替代地，本文所述的模块中的一个或更多个可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。
在一些实施例中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例非限制地包括传输型介质(例如载波)以及非暂时性介质(例如磁性存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如，光盘(CD)、数字视频盘(DVD)和蓝光光盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分布系统)。
本公开的实施例可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。可以在各种平台(包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。
本文描述和/或说明的过程参数和步骤顺序仅作为示例给出，并且可以根据需要改变。例如，虽然本文所示和/或所述的步骤可以以特定顺序示出或讨论，但是这些步骤不一定需要以所示或讨论的顺序执行。本文描述和/或示出的各种示例性方法也可以省略在本文描述或示出的一个或更多个步骤，或者包括除了那些所公开的步骤之外的附加步骤。
提供前面的描述以使本领域中的其他技术人员能够最好地利用本文公开的示例性实施例的各种方面。该示例性描述并不旨在是穷尽的或受限于所公开的任何精确形式。在不脱离本公开的精神和范围的情况下，许多修改和变化是可能的。本文公开的实施例应该被认为在所有方面都是说明性的，而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。
除非另有说明，否则说明书和权利要求书中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，通过其他元件或组件)连接。此外，如在说明书和权利要求中使用的术语“一个(a)”或“一个(an)”应被解释为意指“...中的至少一个”。最后，为了便于使用，说明书和权利要求书中使用的术语“包括(including)”和“具有”(及其派生词)可与词语“包括(comprising)”互换并具有相同的含义。

Claims (35)

1.一种方法，包括：
从环境中的多个设备接收与所述环境相关联的实时数据；
从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
向所述多个设备发送更新的基线地图数据和更新的事件图数据。
2.根据权利要求1所述的方法，其中，所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据。
3.根据权利要求2所述的方法，其中所述转换数据对应于指示所述环境中的对象之间的交互的事件。
4.根据权利要求2所述的方法，其中基于所述对象增量更新所述事件图还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
5.根据权利要求1所述的方法，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。
6.根据权利要求1所述的方法，其中所述环境中的对象包括静物或人中的至少一个。
7.根据权利要求1所述的方法，其中，人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个。
8.根据权利要求1所述的方法，其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
9.一种系统，包括：
一个或更多个处理器；
存储器设备，所述存储器设备包括指令，所述指令在被所述一个或更多个处理器执行时，使得所述系统：
从环境中的多个设备接收与所述环境相关联的实时数据；
从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
向所述多个设备发送更新的基线地图数据和更新的事件图数据。
10.根据权利要求9所述的系统，其中，所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据。
11.根据权利要求10所述的系统，其中所述转换数据对应于指示所述环境中的对象之间的交互的事件。
12.根据权利要求10所述的系统，其中用于基于所述对象增量更新所述事件图的指令还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
13.根据权利要求9所述的系统，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。
14.根据权利要求9所述的系统，其中所述环境中的对象包括静物或人中的至少一个，其中人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，并且其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
15.一种包括计算机可读指令的计算机可读介质，所述计算机可读指令在被计算设备的至少一个处理器执行时，使得所述计算设备：
从环境中的多个设备接收与所述环境相关联的实时数据；
从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
向所述多个设备发送更新的基线地图数据和更新的事件图数据。
16.根据权利要求15所述的计算机可读介质，其中，所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据。
17.根据权利要求16所述的计算机可读介质，其中，所述转换数据对应于指示所述环境中的对象之间的交互的事件。
18.根据权利要求16所述的计算机可读介质，其中基于所述对象增量更新所述事件图还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
19.根据权利要求15所述的计算机可读介质，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。
20.根据权利要求15所述的计算机可读介质，其中所述环境中的对象包括静物或人中的至少一个，其中人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，并且其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
21.一种计算机实现的方法，包括：
特别是在服务器处，从环境中的多个设备，特别是从多个计算设备，接收与所述环境相关联的实时数据；
特别是在服务器处，从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
特别是在服务器处，确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
特别是在服务器处，确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
特别是在服务器处，基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
特别是从服务器向所述多个计算设备发送更新的基线地图数据和更新的事件图数据。
22.根据权利要求21所述的方法，其中，环境中的所述多个设备，特别是所述多个计算设备，包括传感器，诸如照相机、麦克风和能够检测所述环境中的特征和/或对象的其他传感器；和/或
其中环境中的所述多个设备，特别是所述多个计算设备，使用一个或更多个传感器收集实时数据，并且通过一个或更多个网络通信地耦合到一个或更多个服务器，其中网络包括通过一个或更多个物理连接的任何类型或形式的通信网络；和/或
其中实时数据包括视频数据、音频数据、时间戳和/或基于来自计算设备的传感器数据的其他数据；和/或
其中当前映射数据和当前对象数据由映射系统确定，所述映射系统包括人工智能代理；和/或
其中所述状态数据是指描述对象关于属性和/或情况的状况的数据；和/或
其中所述关系数据是指描述对象之间的关系的数据，其中对象之间的关系包括例如对象之间的交互、由对象引起的状态变化、组合和/或对象之间的其他关联，其中所述交互包括例如拿起和/或放下、携带、放置、附着、看、说、听、触摸等；和/或
其中所述关系数据描述对象状态的变化；和/或
其中所述状态数据还用于确定所述关系数据；和/或
其中相对地定义所述映射增量，例如通过识别哪些特征已经改变并确定到它们的新坐标的平移；和/或
其中所述对象增量由状态和关系相比于所述事件图中的先前状态和先前关系的变化来定义。
23.根据权利要求21或22所述的方法，其中所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据。
24.根据权利要求23所述的方法，其中所述转换数据对应于指示所述环境中的对象之间的交互的事件；和/或
其中基于所述对象增量更新所述事件图还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
25.根据权利要求21至24中任一项所述的方法，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个；和/或
其中所述环境中的对象包括静物或人中的至少一个；和/或
其中人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个；和/或
其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
26.一种系统，包括：
一个或更多个处理器；
存储器设备，所述存储器设备包括指令，所述指令在被所述一个或更多个处理器执行时，使得所述系统：
从环境中的多个设备接收与所述环境相关联的实时数据；
从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
向所述多个设备发送更新的基线地图数据和更新的事件图数据。
27.根据权利要求26所述的系统，其中，所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据。
28.根据权利要求27所述的系统，其中所述转换数据对应于指示所述环境中的对象之间的交互的事件。
29.根据权利要求26至28中任一项所述的系统，其中用于基于所述对象增量更新所述事件图的指令还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
30.根据权利要求26至29中任一项所述的系统，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个。
31.根据权利要求26至30中任一项所述的系统，其中所述环境中的对象包括静物或人中的至少一个，其中人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，并且其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
32.一种包括计算机可读指令的计算机可读介质，所述计算机可读指令在被计算设备的至少一个处理器执行时，使得所述计算设备：
从环境中的多个设备接收与所述环境相关联的实时数据；
从所述实时数据确定所述环境的当前映射数据和当前对象数据，其中所述当前映射数据包括所述环境的坐标数据，并且所述当前对象数据包括由所述多个设备检测到的所述环境中的对象的状态数据和关系数据；
确定所述当前映射数据和包括所述环境的特征的基线地图数据之间的映射增量；
确定所述当前对象数据和事件图之间的对象增量，其中所述事件图包括所述环境中的对象的先前状态数据和先前关系数据；
基于所述映射增量更新所述基线地图数据，并基于所述对象增量更新所述事件图；和
向所述多个设备发送更新的基线地图数据和更新的事件图数据。
33.根据权利要求32所述的计算机可读介质，其中，所述事件图的状态数据包括所述环境中的对象的时空状态数据，所述时空状态数据指示所述环境中的对象随时间的位置数据，并且所述事件图的关系数据包括链接所述时空状态数据的节点的转换数据；和/或
其中所述转换数据对应于指示所述环境中的对象之间的交互的事件。
34.根据权利要求32或33所述的计算机可读介质，其中基于所述对象增量更新所述事件图还包括：
将所述对象增量中的对象识别为所述事件图中的对象；
基于来自所述对象增量的状态数据，在所述事件图中为所识别的对象创建新节点；和
基于来自所述对象增量的关系数据，在所述事件图中将所述新节点与所识别的对象的先前节点相链接。
35.根据权利要求32至34中任一项所述的计算机可读介质，其中所述基线地图数据包括所述环境中的平面图、墙壁、天花板、结构特征或静态家具物品中的至少一个；和/或
其中所述环境中的对象包括静物或人中的至少一个，其中人的状态数据包括头部姿势、眼睛状态、音频数据、手状态、呼吸率或心率中的至少一个，并且其中静物的状态数据包括对象类型、实例标识、姿势或属性中的至少一个。
CN201880097577.5A 2018-09-14 2018-10-18 增强现实映射系统和相关方法 Pending CN112740283A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/131,066 2018-09-14
US16/131,066 US10635905B2 (en) 2018-09-14 2018-09-14 Augmented reality mapping systems and related methods
PCT/US2018/056588 WO2020055437A1 (en) 2018-09-14 2018-10-18 Augmented reality mapping systems and related methods

Publications (1)

Publication Number Publication Date
CN112740283A true CN112740283A (zh) 2021-04-30

Family

ID=69773685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097577.5A Pending CN112740283A (zh) 2018-09-14 2018-10-18 增强现实映射系统和相关方法

Country Status (6)

Country Link
US (2) US10635905B2 (zh)
EP (1) EP3850590A4 (zh)
JP (1) JP7250901B2 (zh)
KR (1) KR102511762B1 (zh)
CN (1) CN112740283A (zh)
WO (1) WO2020055437A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635905B2 (en) 2018-09-14 2020-04-28 Facebook Technologies, Llc Augmented reality mapping systems and related methods
EP3798926A1 (en) * 2019-09-24 2021-03-31 Vectra AI, Inc. Method, product, and system for detecting malicious network activity using a graph mixture density neural network
US11623653B2 (en) * 2020-01-23 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Augmented reality assisted traffic infrastructure visualization

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140078853A (ko) * 2012-12-18 2014-06-26 삼성전자주식회사 증강현실시스템 및 그 제어방법
CN107005689B (zh) * 2014-12-03 2019-06-14 诺基亚技术有限公司 数字视频渲染
GB2538751A (en) * 2015-05-27 2016-11-30 Imp College Of Science Tech And Medicine Modelling a three-dimensional space
US9830726B2 (en) * 2015-07-24 2017-11-28 Bae Systems Information And Electronic Systems Integration Inc. Providing coordinating location information using a gridded reference graphic (GRG)
US20170308800A1 (en) * 2016-04-26 2017-10-26 Smokescreen Intelligence, LLC Interchangeable Artificial Intelligence Perception Systems and Methods
KR20180028764A (ko) * 2016-09-09 2018-03-19 몬스터스쿨 주식회사 증강현실을 이용한 유아 학습 장치 및 방법
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
US10635905B2 (en) 2018-09-14 2020-04-28 Facebook Technologies, Llc Augmented reality mapping systems and related methods

Also Published As

Publication number Publication date
US20200218898A1 (en) 2020-07-09
US11042749B2 (en) 2021-06-22
US10635905B2 (en) 2020-04-28
JP2022502728A (ja) 2022-01-11
KR20210044882A (ko) 2021-04-23
KR102511762B1 (ko) 2023-03-20
JP7250901B2 (ja) 2023-04-03
EP3850590A1 (en) 2021-07-21
US20200089953A1 (en) 2020-03-19
WO2020055437A1 (en) 2020-03-19
EP3850590A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
JP7486565B2 (ja) クラウド支援型の新しい視点を利用したローカルマップデータの生成
US11580705B2 (en) Viewpoint dependent brick selection for fast volumetric reconstruction
US11238659B2 (en) Caching and updating of dense 3D reconstruction data
US11587298B2 (en) Caching and updating of dense 3D reconstruction data
US11042749B2 (en) Augmented reality mapping systems and related methods
US20190259221A1 (en) 3d scene reconstruction using shared semantic knowledge
US20110202326A1 (en) Modeling social and cultural conditions in a voxel database
US20230147759A1 (en) Viewpoint dependent brick selection for fast volumetric reconstruction
Blach Virtual reality technology-an overview
US20190378335A1 (en) Viewer position coordination in simulated reality
CN114079801A (zh) 按需将元数据叠加到视频流上以进行智能视频分析
US20240127538A1 (en) Scene understanding using occupancy grids
US10930077B1 (en) Systems and methods for rendering augmented reality mapping data
KR20230080886A (ko) 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Richard Andrew Newcomby

Inventor after: Jacob Julian Engel

Inventor after: Julian Straub

Inventor after: Thomas John Welland

Inventor after: Steven John Lovegrove

Inventor after: Ren Yuheng

Inventor before: Richard Andrew Newcomby

Inventor before: Jacob Julian Engel

Inventor before: Julian Straub

Inventor before: Thomas John Welland

Inventor before: Steven John Lovegrove

Inventor before: Ren Yuheng

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC