CN113259652A - 提供增强现实显示的方法和系统 - Google Patents

提供增强现实显示的方法和系统 Download PDF

Info

Publication number
CN113259652A
CN113259652A CN202110183758.3A CN202110183758A CN113259652A CN 113259652 A CN113259652 A CN 113259652A CN 202110183758 A CN202110183758 A CN 202110183758A CN 113259652 A CN113259652 A CN 113259652A
Authority
CN
China
Prior art keywords
environment
electronic device
augmented reality
analysis
reality display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110183758.3A
Other languages
English (en)
Inventor
D·克罗克斯福德
R·洛佩兹·门德斯
S·M·唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
ARM Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Ltd filed Critical ARM Ltd
Publication of CN113259652A publication Critical patent/CN113259652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1063—Discovery through centralising entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1087—Peer-to-peer [P2P] networks using cross-functional networking aspects
    • H04L67/1089—Hierarchical topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供增强现实显示的方法和系统。在向环境中的用户提供增强现实显示时，彼此靠近的可操作以为了增强现实显示目的而对环境进行分析的两个或更多个电子装置共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据和/或处理，然后其中各个装置在向用户提供增强现实显示时使用该装置从另一装置接收到的数据。

Description

提供增强现实显示的方法和系统
技术领域
本发明涉及提供增强现实(AR：augmented reality)显示的系统和方法，特别是涉及向环境中的便携式装置的用户提供增强现实显示的技术。
背景技术
在提供增强现实(AR)显示时，必需对要提供增强现实显示的环境进行有关分析，以便能够例如在用户正在观看的环境上提供适当的AR覆盖物(overlay)(并且例如确定究竟是否应当提供AR显示)。这种环境分析通常包括例如分析环境图像(例如，使用计算机视觉)来标识环境中的对象。该环境分析还可以包括分析环境中的声音。
图1是AR流程图，示出了以这种方式提供增强现实显示的示例性操作。
如图1所示，在典型的增强现实操作中，当希望向例如便携式电子装置(诸如头戴式显示器(HMD：head-mounted display))的用户显示增强现实显示时，在初始的“本地化”处理1(例如，确定装置在环境中的初始位置、下载适当的地图(若可用的话)等)之后，执行分析6装置的本地环境的处理。
如图1所示，该分析可以包括捕获环境中的声音(音频)2和环境的图像3两者。该分析还可以包括确定装置在环境中的位置和取向4(例如，使用适当的卫星导航(例如GPS)、蜂窝网络信号(例如，5G)和/或惯性跟踪(例如，使用装置的陀螺仪和/或加速度计))(可以将所使用的这些与环境的图像组合，以执行同时定位和地图构建(SLAM：simultaneouslocation and mapping)分析5，从而确定装置在环境中的位置和取向)。
一旦已经捕获到有关装置所处(例如，装置的观看者正在观看)的环境的信息等，就对环境进行分析6，并且一旦已经分析了环境，就执行适当的增强现实应用处理7，并且例如可以渲染(生成)用于向用户显示的适当的增强现实显示(例如，覆盖物)。然后，将增强现实显示在适当的显示器(诸如适当的头戴式显示器)上显示9给用户(例如，与诸如音频信号和触知反馈的其它感官输出相结合)。
然后，随着用户移动通过环境以及随着希望向环境中的用户提供增强现实显示，将适当地重复该操作。
在这样的AR显示处理中，为了能够提供适当的增强现实显示，必需对正在提供增强现实显示的装置的环境进行分析。如图1所示，这例如可以包括分析从环境中捕获的图像和声音连同某一形式的导航(位置)确定，例如使用SLAM。
用于增强现实显示目的而对便携式装置所处的环境的分析可能会给该装置带来相对较高的处理负担(和/或该装置可能不具备以所需速率处理所述环境的能力)，特别是在以实时方式进行分析的情况下，例如以便提供实时(且实时变化)的增强现实显示。这对应地可以导致高功耗，从而可能会不合需要地很快(过快)耗尽装置的电池。
虽然有可能将该处理中的一些处理从正在提供增强现实显示的装置卸载至“云”，但是申请人已经认识到，这并不总是可行或所希望的。
因此，申请人认为，增强现实系统的操作，特别是有关正相对于其显示增强现实显示的环境的分析仍有改进的余地。
发明内容
根据本发明的第一方面，提供了一种操作便携式电子装置的方法，所述便携式电子装置要向环境中的用户提供增强现实显示，所述方法包括以下步骤：
确定是否存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的任何其它电子装置；并且
在确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置时，进行如下操作：
确定是否从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；并且
在确定从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
在向所述便携式电子装置的用户提供增强现实显示时，所述便携式电子装置使用所提供的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据。
根据本发明的第二方面，提供了一种能操作以向环境中的用户提供增强现实显示的便携式电子装置，所述便携式电子装置包括：
处理电路，所述处理电路被配置成进行如下操作：
确定是否存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的任何其它电子装置；并且
在确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置时，进行如下操作：
当所述便携式电子装置正在操作以向用户提供增强现实显示时，确定是否使用来自所述另一电子装置的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；并且
在确定使用来自所述另一电子装置的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，从所述另一电子装置接收与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
处理电路，所述处理电路被配置成，使用从所述另一电子装置接收到的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据，来向所述便携式电子装置的用户提供增强现实显示。
根据本发明第三方面，提供了一种操作向环境中的用户提供增强现实显示的系统的方法，所述系统包括：
多个电子装置，所述多个电子装置能操作以分析用于增强现实显示的环境，所述多个电子装置包括多个便携式电子装置，各个便携式电子装置能操作以向环境中的用户提供增强现实显示；
所述方法包括以下步骤：
确定能操作以为了增强现实显示目的对所述环境进行分析的所述电子装置中的两个或更多个电子装置是否彼此靠近；并且
在确定能操作以为了增强现实显示目的对所述环境进行分析的所述电子装置中的两个或更多个电子装置彼此靠近时，进行如下操作：
确定是否在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；并且
当确定在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
在向用户提供增强现实显示时，能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的一个或更多个电子装置，使用它们已经接收到的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据。
本发明涉及增强现实显示，特别是涉及为了增强现实显示目的而对环境进行分析。
在本发明中，当便携式装置正在提供增强现实显示时，确定环境中是否存在也能操作以分析用于提供增强现实显示目的的环境的任何其它装置，并且如果存在，则确定该装置是否应当共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据。如下将进一步讨论的，与为了增强现实显示目的而对所述环境进行的所述分析相关的数据的这种共享可以减少正在提供增强现实显示的单独装置上的处理负担，从而例如有助于(改善)环境中的单独装置上的增强现实显示。
本申请人在这点上已经认识到，情况可能是，给定环境内存在均可以进行操作以在所讨论的环境内提供增强现实显示的多个装置，而且，这种空间上的本地装置很可能执行类似的环境分析，从而生成并使用彼此相关的数据。类似地，现实中的许多对象不太可能随着时间的推移而发生显著改变，使得例如由一个装置得出的与这种对象相关的数据可被所讨论的环境中的另一装置或者进入所讨论的环境的另一装置所使用。对应地，对于可用于许多用户的环境，可能存在持久性的虚拟对象，再次使得例如由一个装置得出的与这种物体相关的数据可被所讨论的环境中的另一装置或者进入所讨论的环境的另一装置所使用。
因此，本申请人已经认识到，同一环境中的装置皆可以具有和/或能够提供对于该环境中的其它装置有用的数据，使得所需的为了提供增强现实显示目的而对环境进行的分析实际上可以在该环境中的所述多个装置之间进行共享，并且对应地，该环境中的装置可以避免复制彼此相对的分析和计算。这因而将具有如下效果：减少要由环境中的单独装置执行的分析和处理的量(以及例如由此带来的功耗量)，而仍向该装置(以及环境中的其它装置)提供用于提供它们的增强现实显示目的的更加错综复杂的环境分析。
如下将进一步讨论的，共享(提供)与为了增强现实显示目的而对所述环境进行的所述分析相关的数据的步骤可以包括：共享(提供)已经生成的数据(即，来自在进行共享(提供)数据的确定时已经存在的现有环境分析的数据)，或者可以代替或另外包括：首先在不同的装置之间划分环境分析处理，并且各个装置接着执行该装置的相应处理部分，再然后共享(提供)来自该装置之间经划分的处理的一些或全部数据。因此，本发明既涵盖提供装置已经拥有的数据，又涵盖分发(distributing)(划分(partitioning))仍要在装置之间执行的处理，再然后在该装置之间共享(提供)该处理的结果。
正在为其提供增强现实显示并且要在本发明中加以分析的环境可以是：便携式电子装置希望能够在其中提供AR显示的任何合适且希望的环境。在特别优选的实施方式中，环境是室内环境，诸如一个或多个建筑物(特别是大型建筑物，诸如机场、火车站、大型购物中心、医院、工厂等)或者船舶(诸如(大型)船只)。优选地，环境是交通量大和/或繁忙的环境，例如机场、火车站或大型购物中心，例如，其中完整的环境分析(例如，环境内的人脸识别)可能对于单个便携式装置负担太大。其它环境当然也是可行的。
便携式电子装置可以是：可以提供增强现实显示(并且可以执行对于以本发明的方式进行操作所需的任何“装置上”处理)的任何合适的便携式电子装置。因此，该便携式电子装置例如可以包括移动电话或平板电脑。在优选实施方式中，便携式电子装置包括可佩戴装置，诸如头戴式装置，诸如头戴式送受话器、诸如眼镜(例如，AR眼镜)。在优选实施方式中，该便携式电子装置是头戴式显示装置(增强现实(AR)头戴式显示器(HMD))。
在特别优选的实施方式中，便携式电子装置包括AR头戴式显示器，和关联移动电话(或其它处理单元)。还可以是提供触觉(haptic)(触知(tactile))反馈的另一可佩戴装置，诸如手环或手表。
其它形式的便携式电子装置当然也是可行的。
便携式电子装置应当并且优选地确实包含以本发明的方式进行操作，特别是向用户提供增强现实显示并为此执行环境分析的必需且希望的组件。因此，便携式电子装置优选地包括：适当的显示器(诸如屏幕或头戴式显示器)，该显示器向用户显示增强现实图像(例如，视频)；以及适当的一个或多个处理器，该处理器提供增强现实显示并为此执行适当的环境分析。
对应地，便携式电子装置优选地包括适当的传感器，该传感器捕获关于环境的信息，用于然后分析环境并提供环境的增强现实显示的目的。
因此，便携式电子装置应当并且优选地确实包括图像传感器，该图像传感器可操作以拍摄(捕获)便携式电子装置所处的环境的图像，该图像传感器优选地采用摄像头的形式。
对应地，便携式电子装置还可以包括：捕获环境中的声音的麦克风；和/或捕获有关环境的信息的其它传感器，诸如深度传感器(例如，飞行时间(time of flight)、结构化光(structured light)、立体声和雷达等的传感器)。
便携式电子装置应当并且优选地确实还包括与其它电子装置、“云”等进行通信的适当形式的无线通信系统，诸如并且优选为以下项中的一个和更多个并且优选为全部：适当的Wi-Fi通信系统；蜂窝网络通信系统；以及其它短距离无线通信系统，诸如蓝牙。在特别优选的实施方式中，电子装置支持并且能够使用例如根据IEEE 802.11ad和IEEE 802.11ay的WiGig(60GHz Wi-Fi)无线通信协议。
就像用于以本发明的方式进行特定操作所需的任何组件、电路、功能单元等一样，电子装置可以另外包括任何希望且合适的部件、电路，组件等。因此，电子装置可以并且优选地确实还包括以下项中的一个或更多个并且优选为全部：中央处理单元(CPU)(主机处理器)、图形处理单元(GPU)(通信处理器)、显示控制器、视频处理单元(VPU)、神经网络处理器(NPU)、系统总线、优选为采用存储器的形式的本地存储部、以及存储器控制器。存储器例如可以包括该装置的主存储器。(因此，电子装置优选地还包括存储本文所描述的数据和/或执行本文所描述的处理的软件的一个或更多个存储器和/或存储器装置，和/或与该存储器和/或存储器装置进行通信)。
对应地，便携式电子装置(潜在地)从中接收与环境分析相关的数据的另一电子装置可以是靠近该便携式电子装置(并且能够与该电子装置进行通信)的任何合适且希望的电子装置)。
在一个优选实施方式中，另一电子装置是对应的便携式电子装置，该便携式电子装置也可操作以向用户提供环境的增强现实显示。
然而，另一电子装置也可以是例如存在于环境中但非“便携式”的电子装置(并且其本身不能操作以向用户提供AR显示)，诸如固定在环境中的装置(并且在优选实施方式中，就是这种情况)。这样的固定装置例如可以包括存在于环境中的并且也可以参与环境分析和/或数据共享等的安全摄像头，AR“热点”、信标(beacon)或节点、Wi-Fi热点或节点等。
可以以任何合适和希望的方式来确定并检测是否存在靠近便携式电子装置的、可操作以为了提供增强现实显示目的而对环境进行分析的另一电子装置。例如，要提供增强现实显示的便携式电子装置可以搜索附近的其它合适的电子装置，用于然后确定是否请求与为了提供增强现实显示目的而对环境进行的分析相关的数据。(本发明在这点上是，如果确定所述装置彼此靠近，那么这些装置很可能能够彼此进行通信(并且例如，使用很少的功率)，并且可能具有对彼此有价值的信息。)
在这种情况下，便携式电子装置例如可以确定在该便携式电子装置的特定(例如，阈值)范围内是否存在任何电子装置(例如，基于所述电子装置的位置分析和/或所述电子装置之间的位置信息的交换)。在这种情况下，例如，将确定是否任何(合适的)电子装置与要提供增强现实显示的便携式电子装置具有特定的优选选择的(阈值)距离。该特定的阈值范围(距便携式电子装置的距离)可以是固定的，但是在优选实施方式中，使用中是可变的(例如，基于便携式电子装置所处的环境的大小和/或性质)。例如，在非常繁忙的环境中，能够使用缩小的范围。
因而，在优选实施方式中，确定是否存在靠近所述便携式电子装置的、可操作以为了增强现实显示目的而对环境进行分析的任何其它电子装置的步骤包括：确定是否存在处于要提供增强现实显示的便携式电子装置的特定的、优选选择的、以及在实施方式中预定的阈值距离(范围)内的任何电子装置。该阈值距离(范围)可以按照指定(定义)的距离来进行定义，或者例如可以以另一方式来表示，例如，根据所述装置是否能够使用给定的、优选选择的通信协议彼此进行通信来进行表示。所述确定还可以基于所述装置是否处于所述环境内的同一特定的、优选选择的、优选定义的区域或面积内，诸如确定所述装置是否处于所述环境内的同一房间或其它空间或(定义)的位置内。
在特别优选的实施方式中，在所述便携式电子装置确定其能够使用特定的、优选选择的短距无线通信协议(例如，蓝牙或Wi-Fi协议)与所述另一电子装置进行通信时，确定存在靠近所述便携式电子装置的、可操作以为了增强现实显示目的而对环境进行分析的另一电子装置。然后，实际上，当装置处于彼此适当的通信范围内(然后可以视为所述装置处于同一环境内并且(潜在地)分析同一环境)时，这将触发以本发明的方式进行的操作。
因此，优选实施方式是，当装置以特定的、例如选择的、例如预定义的短距无线通信协议(例如，蓝牙或Wi-Fi协议)(并且使得所述装置能够使用所讨论的协议，独立于任何系统基础结构地彼此直接通信)自动地将另一装置检测为处于范围内时，要触发以本发明的方式进行的操作。
因而，在优选实施方式中，将“本地”通信协议(诸如蓝牙/WiFi)用于指示装置是否靠近，但是若希望的话，还可以或者代替地使用使用其它的布置，诸如蜂窝网络信号或者来自远程装置(诸如，在云中)的信息。
其它布置当然也是可行的。
在优选实施方式中，确定另一电子装置是否靠近还考虑了一个或更多个其它因素，诸如并且优选为以下项中的一个或更多个并且优选为全部：一个或多个电子装置的位置、一个或多个电子装置的视野、以及一个或多个装置的姿态(pose)(取向(orientation))。然后，这将例如考虑所述装置的位置和/或所述环境内的所述装置所处的那个空间(例如，房间)。
可以以任何适当的方式来确定该信息，例如使用适当的SLAM或其它技术来确定该信息。可以由SLAM和/或使用其它导航技术(诸如卫星导航技术，例如GPS等)来提供所述位置信息。例如，针对当前位置(其中，所述便携式电子装置然后将该信息用于使用其本地SLAM地图数据来确定另一电子装置的位置)、经度和维度信息、本地地图上的位置等，可以基于SLAM地图或SLAM点云中的位置来提供位置。
一旦已经确定了存在靠近便携式电子装置的另一电子装置，就接着确定是否从所述另一电子装置向所述便携式电子装置提供与环境分析相关的数据(即，是否应当在装置之间共享与环境分析相关的数据)。
该确定可以基于任何合适且希望的标准。在优选实施方式中，该确定基于以下项中的一个或更多个、优选为其中一些并且优选为全部：所述装置在所述环境中的(相对)位置；所述装置在所述环境中的(相对)视野(和/或面对方向)；所述另一电子装置是否已经具有其能够共享的与所述环境的分析相关的数据(并且在该情况下，例如并且优选地，该数据的年龄(是否是最近的环境分析)，和/或该数据(例如正在提供数据的装置的)“信任度(trustworthiness)”的度量；所述另一电子所述装置分析所述环境并且生成与所述环境相关的数据的能力(例如，按照所述装置具有什么能力来用于分析环境，诸如并且优选地，所述装置的计算(处理)能力)；所述装置的传感器功能(例如，范围和/或准确度)，和/或所述装置的剩余电池水平(以及所述装置是否由电网供电)(以及再次，例如，由所述装置执行的任何分析的“信任度”的度量))。
该信息例如可以是已知的，例如可以基于所讨论的装置的标识，和/或可以提供在装置之间进行适当的信息交换来确定。
其它布置当然也是可行的。
在确定从另一电子装置向所述便携式电子装置提供与为了提供增强现实显示目的而对环境进行的分析相关的数据时，然后至少将数据从所述另一电子装置提供给所述便携式电子装置。因此，至少将数据从所述另一电子装置提供给所述便携式电子装置。在优选实施方式中，沿两个“方向”来提供与所述环境的分析相关的数据，即，既从所述另一电子装置向所述便携式电子装置又从所述便携式电子装置向所述另一电子装置来提供与所述环境的分析相关的数据。在具有存在于环境中并且可操作以按照本发明的方式来提供和交换数据的多于两个的电子装置的情况下，那么在环境中合适存在的并且可操作的所有装置可以并且优选地确实交换与所述环境的分析相关的数据。
从一个电子装置向另一电子装置提供的与为了提供增强现实显示目的而对环境进行的分析相关的数据可以是任何合适且希望的与为了增强现实显示目的而对所述环境进行的所述分析相关数据。由此，所述数据例如可以包括以下项中的一个或更多个并且优选为全部：3D环境建模数据；对象标识；位置和/或移动数据；与要为环境显示的虚拟对象相关的数据；与环境图像分析相关的数据(例如，标识环境中的对象)；与环境中的声音分析相关的数据(例如，与环境中特定声音的标识相关的数据)；与以下项中的一个或更多个相关的数据：位置、对象类型、对象取向、颜色、照明、表面法线、尺寸标签等；对象3D表示；与对象之间的关系相关的数据；与环境中的材料相关的数据；3D对象分割；上下文信息；应用要求；通信数据；等。
从一个电子装置向另一电子装置提供的与环境分析相关的数据(至少)优选为与环境分析相关的最近(当前)数据，例如，已经在特定的、优选选择的、优选预定义的(先前的)时段内生成的数据。特别地，优选地在装置之间交换与环境内的“当前”活动相关的实时数据。
若希望的话，也可以交换与环境的长期方面相关的数据。例如，可以按照对应的方式从一个装置向另一装置传递与环境中的持久性虚拟对象相关的数据(并且在优选实施方式中，就是这样做的)。这可能是有利的，因为例如一些持久性虚拟对象可能具有较大的数据大小，从而将这些对象从环境中的其它装置(若可用的话)递送至多个装置可能更高效，而不是所述装置将这样的持久性虚拟对象(例如)从云单独下载至各个装置。
如上面所讨论的，在一个优选实施方式中，从所述另一电子装置向所述便携式电子装置提供与环境分析相关的数据的步骤包括：将已经存在的已由所述另一电子装置进行的分析(数据)提供给所述便携式电子装置。例如，在所述便携式电子装置进入所述另一电子装置已经存在于的环境并且所述另一电子装置已经对所述环境执行了一些分析的情况下，和/或在所述便携式电子装置正在进入所述另一电子装置正在离开的环境，但是所述另一电子装置具有与所述便携式电子装置正在进入的环境的分析相关的数据的情况下，这可能是适当的。因此，在这种情况下，所述另一电子装置将向所述便携式电子装置提供与所述另一电子装置已经拥有的环境的分析相关的数据。
(在该后一种情况下，离开一个环境的用户(这些用户具有所述环境的分析数据)实际上将遇到正在进入所述环境的另一用户，从而随着一个用户进入而另一用户离开所讨论的环境，用户之间可以会交换数据)。
在特别优选的实施方式中，从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据的步骤包括：首先确定所述便携式电子装置和所述另一电子装置中的一者或两者是否应当执行为了增强现实显示目的而对所述环境进行的所述分析；然后基于所述确定，向所述另一电子装置和所述便携式电子装置中的一者或两者分配与为了提供增强现实显示目的而对环境进行的分析相关的处理，其中，所述另一电子装置和/或所述便携式电子装置接着执行它们的如此分配的与所述环境的分析相关的处理(若有的话)，然后将所得的分析数据从该处理(若有的话)发送至另一装置。
在这种情况下，也可以在装置之间共享在一个或多个装置上已经存在的数据，以及作为新的环境分析的结果而生成的任何附加数据。
在这种情况下，可以确定仅所述装置中的一个装置要执行环境分析(然后将来自该分析的数据提供给另一装置)，但是在优选实施方式中，两个装置均是随着在不同的装置之间细分(划分)分析来执行环境分析的。(因而，在后一种情况下，该操作将包括：在存在于环境中的装置之间分发分析环境的处理负担，然后这些装置共享它们的相应处理的结果)。
为了增强现实显示目的而对所述环境进行的所述分析可以包括用于该目的的任何合适且希望的分析，例如，以便能够在用户的环境视图上显示适当的AR覆盖物。因此，分析优选地例如包括(捕获并且)分析环境的图像，以标识环境中的对象。该分析例如能够使用适当的计算机视觉、对象识别和/或图像分析技术来完成。
环境分析还可以包括分析环境中的声音。该分析还可以包括使用SLAM(同时定位和地图构建)来标识装置在环境中的位置等。
可以基于任何合适且希望的标准，来确定哪个装置或哪些装置应当分析环境，和/或如何在装置之间进行划分(分配)处理。
在优选实施方式中，该确定基于以下项中的一个或更多个、优选为其中一些并且优选为全部：所述装置在所述环境中的(相对)位置；所述装置在所述环境中的(相对)视野(和/或面对方向)；所述装置分析所述环境并且生成与所述环境相关的数据的能力(例如，按照所述装置具有什么能力来用于分析环境，诸如并且优选地，所述装置的计算(处理)能力)；所述装置的传感器功能(例如，范围和/或准确度)，和/或所述装置的剩余电池水平(以及所述装置是否由电网供电)；待执行的分析(例如，用于分析的处理要求和/或所需的处理任务的复杂度等)；以及所述装置(所述多个装置)执行的任何分析的“信任度”的度量。
(如上面所讨论的，该信息例如可以是已知的，例如可以基于所讨论的装置的标识，和/或可以提供在装置之间进行适当的信息交换来确定。)
在特别优选的实施方式中，确定哪个装置或哪些装置应当分析环境，和/或如何在装置之间划分(分配)处理是基于所述装置是否具有重叠的视野的。在所述装置具有重叠的视野的情况下，然后，优选地，基于所述装置的相应能力和/或所需的处理，将环境分析的处理(针对重叠的视野)接着分发在具有重叠的视野的装置之间，如上面讨论的。
其它布置当然也是可行的。
可以以任何合适且希望的方式在装置之间发送(交换)与环境分析相关的数据(无论是已经存在的数据还是最近生成的数据)。
在优选实施方式中，直接在相应装置之间交换数据(作为直接在相应装置之间进行点对点操作)(并且不涉及任何通信系统(网络)基础结构)。这可以有助于最小化延迟、功耗以及环境中的任何更广泛的网络问题的影响。
这可以根据需要完成，例如，使用适当的直接装置到装置无线通信链路，诸如蓝牙或WiFi。
在特别优选的实施方式中，使用WiGig(60GHz Wi-Fi)无线通信协议来交换数据(如上讨论的)。这将促进更高的数据传递速率(并相应地降低在装置之间传送数据的成本)。
若希望的话，还可以经由所述两个装置用以某一通信形式的通信系统/网络基础结构(诸如本地Wi-Fi节点)来进行数据交换。
若希望的话，例如，还可以经由集中式和/或外部控制器来提供数据共享的某一形式的更集中的管理和控制(以及任何“工作”划分，若合适的话)，该外部控制器例如从相应的便携式(或其它)装置接收信息，并且对应地，将数据分发至所述装置(和/或在装置之间划分环境分析)。这可以是除了直接点对点共享之外的或者代替直接点对点共享的。
因此，在这种情况下，所述另一电子装置例如将是某一形式的“中央”分发电子装置，例如，在环境中固定的、例如进入环境的便携式电子装置可以与之通信的，并且该集中式控制装置然后将从环境中的电子装置接收分析数据，并将该数据分发至环境中的其它装置，和/或在合适时候将环境分析工作分配给环境中的装置。
在这种情况下，各个装置再次优选地通过诸如Wi-Fi或蓝牙这样的适当短程无线通信链路与“中央”控制/分发装置进行通信。
在这种情况下，集中式/外部管理可以在云中进行，和/或由本地控制装置(例如，控制信标或节点)来执行。因此，例如，所述装置可以与云中的服务器通信(例如，经由蜂窝网络)，并且服务器可以分配工作、分发数据等。
在这种情况下，集中式/控制器装置可以管理(curate)环境的“当前”(最新)模型，其中，装置向控制器报告所述装置正在生成的环境数据，以及正在从控制器获取的现有环境数据，而不是点对点的(peer-to-peer.)。
在优选实施方式中，就像在环境中的装置之间交换数据一样，所生成的数据也被向外存储至云，例如，供例如“虚拟地”访问环境的其它用户(远程参与者)使用。
一旦便携式电子装置已经从另一装置接收到与环境分析相关的数据，就可以在向用户提供增强现实显示时使用并接着将使用该数据。
当以任何合适且希望的方式(例如并且优选地根据接收到的数据的性质)来提供增强现实显示时，能够使用从另一电子装置提供的数据。
例如，然后可以将与环境中的物体的标识相关的数据用于导出并渲染适当的增强现实覆盖物，以用于相对于环境中的那些经标识的物体进行显示。其它布置当然也是可行的。
在此应意识到，电子装置可以基于或者可以不基于所接收到的与环境分析相关的数据，来向其用户提供增强现实显示。例如，电子装置可以基于其接收到的环境信息(以及例如其自身生成的信息)来确定当前不需要增强现实显示。例如，给定用户在环境中的当前位置，可以确定没有要显示给这些用户的内容。
因此，在优选实施方式中，便携式电子装置使用从另一装置接收到的与环境分析相关的数据来确定是否向用户提供增强现实显示，然后，当确定要向用户提供增强现实显示时，在向用户提供该增强现实显示时，优选地使用从另一装置或多个装置接收到的与环境分析相关的数据来向用户提供增强现实显示。
向用户提供的增强现实显示可以采取任何合适且希望的形式。它优选地包括例如向用户显示增强现实覆盖物(例如，平视显示器)，例如，在用户的环境视图中，和/或在正在向用户显示的环境的摄像头馈送上。这可以例如并且优选地经由便携式装置的合适显示器(例如，经由AR头戴式显示器的显示器)来进行。
他还可以提供其它形式的AR反馈，诸如音频信号和/或触觉(触知)反馈(例如，振动，例如经由单独的可穿戴装置，诸如手表或手环)。
因此，向用户提供的增强现实显示优选地包括向用户显示某一形式的图像，但是它还可以包括提供另一形式的增强现实输出，诸如音频输出。这可以是代替向用户显示图像的或者除了向用户显示图像之外的。
在优选实施方式中，所述便携式电子装置可操作以基于以下一个或更多个因素或标准来控制(并且例如，进行加权)所述便携式电子装置使用从另一电子装置接收到的数据：诸如并且优选为，从中接收数据的所述装置的相关“信任度”；和/或数据的(相对)年龄(age)(新鲜度)(已经生成的数据有多新)；以便例如并且优选地在更新的和/或来自更受信任的装置的数据上放置更多的权重、使这样的数据得到更多使用和/或优选这样的数据。例如，还可以检查例如不太受信任的装置的数据，以确定该数据是否适合使用。
如上面所讨论的，在优选实施方式中，当共享数据时，将装置的“信任度”考虑在内，例如并且优选地使得有利于来自更受信任的装置的数据。
在这种情况下，出于增强现实分析和显示的目的，优选地为相应装置分配某一形式的“信任度”排序或度量，然后将该度量用作装置的信任度的指示。可以为装置分配固定的、预定的信任度等级，或者一些或所有装置可以具有在使用中可以设定和改变的信任度等级。
可以以任何合适且希望的方式并且基于任何合适且希望的标准来设定装置的信任度等级。例如，可以为作为固定基础结构的一部分的电子装置分配更高(以及例如固定)的信任度等级，而可以向将要移入和移出环境的便携式装置分配较低的信任度等级和/或可变的信任度等级。例如，特定的、选定的装置(诸如对环境的“官方”模型进行分发的固定节点或信标)可以被证明为具有“最大的”信任，并且优先于点对点的数据来使用，例如特别是在交通量大的环境(机场、大型购物中心等)中。
给定装置的信任度等级可以是对于单独装置是特定的(使得各个装置皆针对其遇到的其它装置具有所述装置自己的信任度等级)，和/或可以在多个装置之间共享信任度等级，例如使得系统中的所有装置均针对系统中的装置使用公共的一组信任度等级(例如，由公共的例如控制装置保持的)。
在优选的这种实施方式中，所述电子装置中的一个或更多个电子装置可操作并且进行操作以检查其它装置的信任度，以及例如并且优选地根据这些检查来调整这些装置的信任度等级。例如，并且优选地，装置可以检查从另一装置接收到的数据(例如，通过自身执行进行对应的分析，然后比较结果)，以确定另一装置的分析是否可信(以及该分析的信任度如何)。然后，检查装置可以修改其它装置的信任度等级(若合适的话并且在合适的时候)。
这样的检查例如可以仅仅或者优先地由环境中的固定的(并因此更有能力和/或更可信的)装置(诸如环境中的适当的控制装置(一个或多个节点))来执行。
因此，除了使用对环境进行分析来生成新的环境数据之外，装置还可以专用于它们的可用环境分析能力的一部分，以验证从其它装置接收到的环境数据。如果检测到显著差异(例如，数据质量较差或已被恶意修改)，则装置可以选择废弃从该装置接收到的所有数据，将该装置标记为不受信任，中心报告信任得分，以考虑对好/差装置数据源等的得分跟踪。
还可以或者代替地执行从多个不同的装置接收到的数据的比较(例如，标识差异)，以例如标识质量较低的装置，和/或将数据验证分析集中在环境中的具有更显著差异的面积上。
若希望的话，采用本发明的方式的操作可以与其它的AR技术相组合，诸如AR云部署。
可以以任何合适且希望的方式来实现本发明的增强现实操作。
在特别优选的实施方式中，本发明是借助于在便携式电子装置上执行的适当的“增强现实”应用来实现的，该应用可操作以执行和/或促使执行本发明的各个步骤和处理。在这种情况下，当用户想要使用便携式电子装置在环境中使用AR显示时，该应用例如可以由用户启用。
尽管上面主要参照在两个装置之间共享用于提供增强现实显示目的的数据，对本发明进行了描述，但是本领域技术人员应意识到，在所讨论的环境中存在多于两个的适当的装置的情况下，若希望的话，例如并且优选地，可以在多于两个的装置之间共享(交换)与为了提供增强现实显示目的而对环境进行的分析相关的数据(以及与该分析相关的处理)。例如，可以将来自一个装置的数据提供给多个其它的装置，和/或三个或更多个装置可以彼此共享所述处理和/或共享(交换)数据。
在这种情况下，在所述多个装置之间进行数据/处理的共享可以并且优选地以上面讨论的方式来执行和确定。因此，例如，可以将各种不同的装置的相对能力和/或位置和/或取向(视野)等加以考虑并用于，例如在所述多个装置之间分发与为了增强现实显示目的而对所述环境进行的所述分析相关的处理，然后所述装置适当地共享它们的分析的结果。
因而，在优选实施方式中，具有存在于环境中的、可操作以为了增强现实显示目的而对环境进行分析的三个或更多个电子装置，并且在那三个或更多个装置之间分发与用于增强现实显示目的的分析相关的处理，并且所述装置接着出于向它们的相应用户提供增强现实显示的目的，共享所得的与所述环境的分析相关的数据。
本发明可以在任何合适的系统中实现，如基于适当配置的微处理器的系统。在实施方式中，本发明是在计算机和/或基于微处理器的系统中实现的。
可以按任何期望和合适的方式来执行本发明的各种功能。例如，本发明的功能可以如所希望地按硬件或软件来实现。由此，例如，除非另外表明，否则本发明中的各种功能部件、级(stage)以及“装置(means)”可以包括可操作以执行各种功能等的合适的一个或多个处理器、一个或多个控制器、功能单元、电路系统、电路、处理逻辑、微处理器排布结构等，诸如可以被编程成以希望的方式操作的适当专用硬件部件(处理电路/电路系统)和/或可编程硬件部件(处理电路/电路系统)。
这里还应注意，如本领域技术人员将意识到，本发明的各种功能等可以在指定处理器上复制和/或并行执行。同等地，若希望的话，各种处理级可以共用处理电路/电路系统等。
本领域技术人员还应清楚，本发明的所有描述的实施方式在合适时候，可以(并且在实施方式中)包括本文所述的特征中的任一个或更多个或全部。
根据本发明的方法可以至少部分地利用软件(例如，计算机程序)来实现。由此，可以看到，当从另一些实施方式观看时，本发明提供当安装在数据处理器上时具体适于执行在此所描述的方法的计算机软件，计算机程序部件，该计算机程序部件包括计算机软件代码，该计算机软件代码用于当该程序部件在数据处理器上运行时执行本文所描述的方法；以及计算机程序，该计算机程序包括代码，该代码适于当该程序在数据处理系统上运行时，执行本文所描述的方法的所有步骤或者其中一个方法的所有步骤。该数据处理器可以是微处理器系统、可编程FPGA(现场可编程门阵列)等。
本发明还扩展至包括这种软件的计算机软件载体，其在被用于操作包括数据处理器的显示控制器，或微处理器系统时，使与所述数据处理器、所述控制器或系统结合地执行本发明的方法的步骤。这种计算机软件载体可以是物理存储介质，例如ROM芯片、CD ROM、RAM、闪速存储器或磁盘，或者可以是信号，诸如导线传输电子信号、诸如卫星的光学信号或无线电信号等。
还应清楚，不是本发明的方法的所有步骤都需要通过计算机软件来执行，并由此，根据另一宽泛的实施方式，本发明提供了用于执行本文所述方法的步骤中的至少一个步骤的计算机软件和安装在计算机软件载体上的这种软件。
因此，本发明可以适当地具体实现为与计算机系统一起使用的计算机程序产品。这种实现可以包括在诸如计算机可读介质(例如，软盘、CD-ROM、ROM、RAM、闪速存储器，或硬盘)的有形非-暂时介质上固定的一系列计算机可读指令。这种实现还可以包括能通过有形的介质(包括但不限于光学或模拟通信线路)，或者利用无线技术(包括但不限于微波、红外线或其它传输技术)无形地，经由调制解调器或其它接口装置向计算机系统传输的一系列计算机可读指令。该一系列计算机可读指令具体实现本文先前所描述的全部或部分功能。
本领域技术人员应意识到，这种计算机可读指令可以采用许多编程语言来编写，以供与许多计算机架构或操作系统一起使用。而且，这种指令可以利用当前或将来的任何存储器技术(包括但不限于半导体、磁或光学存储器技术)来存储，或者利用当前或将来的任何通信技术(包括但不限于光学、红外线或微波通信技术)来传送。设想的是，这种计算机程序产品可以作为具有附随打印或电子文档的可去除介质(例如，收缩-包装软件)分发、随计算机系统预-装(例如，在系统ROM或固定盘上)，或者从服务器或电子公告板通过网络(例如，互联网或万维网)分发。
附图说明
现在，仅通过示例的方式并且参照附图，对本发明的许多优选实施方式进行描述，其中：
图1示意性地示出了在电子装置上提供AR显示时的操作；
图2示出了环境中存在多个用户并且能够使用以本发明的实施方式的方式进行操作的示例性情形；
图3示意性地示出了可根据本发明操作的便携式电子装置的实施方式；
图4和图5示出了环境中存在多个用户并且能够使用以本发明的实施方式的方式进行操作的示例性情形；以及
图6和图7是示出本发明的实施方式中的环境中的便携式电子装置的操作的流程图。
在适当的情况下，贯穿附图，将相同的标号用于相同的要素。
具体实施方式
现在，对本发明的实施方式进行描述。
本发明和当前实施方式特别是涉及向环境中的便携式电子装置的用户共享为了提供增强现实显示目的而对环境进行的分析的数据。
图2示出了室内环境20的示例性部分，其中存在多个用户21，各个用户皆具有可操作以提供增强现实显示的相应的便携式电子装置22。根据本发明，并且如下将进一步讨论的，用户的相应便携式电子装置可以共享与用于提供增强现实显示目的的对环境20的分析相关的数据和/或处理负担，以使所述装置中的各个装置那个以更高效的方式向这些装置的相应用户提供环境20中的增强现实显示。
在图2中，环境20被举例为房间，但是其它的环境当然也是可行的。
如图2示意性地示出，用户的便携式电子装置22例如可以采用头戴式装置的形式，诸如头戴式送受话器(headset)或眼镜，诸如AR头戴式显示器，该头戴式装置潜在地与移动电话或其它装置联接以进行处理和通信。便携式电子装置22中的各个便携式电子装置例如尤其可操作以执行增强现实显示环境分析和增强现实显示处理，如图1所示(并且根据图1所示的处理)。
图3示意性地示出了示例性便携式电子装置的系统图，该便携式电子装置具有以当前实施方式的方式进行并且要以当前实施方式操作的必需能力，包括各种传感器和各种接口。因此，图2所示的便携式电子装置22中的各个便携式电子装置皆可以是根据图3所示的系统。
如图3所示，便携式电子装置22包括多种处理器(处理单元)，包括：图像信号处理器(ISP)102、中央处理单元(CPU)103、神经网络处理单元(NPU)104、图形处理单元(GPU)105、视频处理单元(VPU)106以及显示控制器107。
如图3所示，图像信号处理器102与便携式电子装置22的摄像头108通信。对应地，显示控制器107与便携式电子装置22的适当的头戴式显示器(HMD)109通信(若希望的话，也可以或者代替地使用其它类型的显示器，诸如电话或平板电脑上的显示器)。
便携式电子装置22还包括传感器接口110，该传感器接口与便携式电子装置22的惯性传感器(诸如加速度计和/或陀螺仪111)通信并从该惯性传感器接收输入。
便携式电子装置22还包括：音频编解码器112，该音频编解码器与便携式电子装置22的麦克风和扬声器113通信；以及存储器控制器116，存储器控制器与便携式电子装置22的存储器117通信。
便携式电子装置22还包括适当的无线通信能力，在当前实施方式中，采用了蜂窝调制解调器118、蓝牙调制解调器119以及Wi-Fi调制解调器121的形式，以便于与其它电子装置等进行通信。该便携式电子装置还包括用于导航目的的卫星导航系统(例如，GPS)功能122。
便携式电子装置22的各种部件经由适当的互连120彼此通信。
如图3所示的便携式电子装置22的各种组件、功能等可以存在于单个物理装置中，或者例如横跨共同充任诸如AR头戴式显示器的总体装置的多个物理装置进行分发，该AR头戴式显示器例如具有摄像头、显示器、麦克风系统，被联接至具有基于处理和通信的能力的移动电话，并且可选地连同诸如手表或手环的另一些可可佩戴触知/触觉反馈装置。
在这个系统中，便携式电子装置22可以存储增强现实应用(app)123，该app当在CPU 103上执行时触发以当前实施方式的方式进行的增强现实操作。因此，当他们想要在环境中接收增强现实显示时便携式电子装置22的用户可以启用增强现实应用123。
当前实施方式中的操作特别是涉及在具有存在于所讨论的环境中的多个装置的情形下，向用户提供用于提供增强现实显示目的的数据。特别地，在装置之间共享与用于提供AR显示目的的环境的分析相关的数据以及在实施方式中与所述环境的分析相关的处理(在适当的情况下才这样做)。
图4和图5示出了能够使用以(本发明的)当前实施方式的方式进行操作的示例性情形。
在图4中，具有存在于环境20中的带着适当的电子装置的多个用户，并且所述用户中的各个用户皆想要提供环境的增强现实显示。图4还示出了存在固定电子装置40(诸如安全摄像头)，该固定电子装置还可操作以分析环境20。在这种情况下，如下将进一步讨论的，可以在不同的用户21与固定电子装置40之间细分为了提供增强现实显示目的而对环境进行的分析，并且所述不同的用户(他们的便携式电子装置)接着从这些装置接收与环境分析相关的数据，然后在向这些装置的用户提供增强现实显示时使用该共享数据。以这种方式，在环境中的所述多个装置之间共享了执行为了提供增强现实显示目的而对环境进行的分析的处理负担。
图5例示了能够使用以本发明的当前实施方式的方式进行操作的另一情形。在这种情况下，假设第一用户51正在离开他们的便携式电子装置已经分析了用于提供增强现实显示目的的第一环境53，以进入第二用户52已经进行分析的第二环境54(并且该第二用户52也可能正在离开该环境54)。在这种情况下，随着用户51进入环境54，可以将由用户52的便携式电子装置执行的对环境54的现有分析提供给用户51(提供给用户51的便携式电子装置)，以减少或避免用户51必须执行对环境54的(完全)分析(并且对应地，考虑从用户51向用户52提供与环境53相关的数据)。
图6和图7是更详细地示出在本发明的实施方式中共享与为了提供增强现实显示目的而对环境进行的分析相关的数据的操作的流程图。图6示出了主要的“数据共享”操作，以及图7更详细地示出了环境中的不同的装置之间的环境分析工作的划分(分发)。
如图6所示，例如，当用户已经启用它们的便携式电子装置上的相关增强现实应用时，便携式电子装置(App)将首先确定是否存在处于附近的任何其它便携式电子装置(步骤60)。
在当前实施方式中，这是通过确定便携式电子装置的适当的Wi-Fi通信范围内是否具有任何其它的便携式电子装置来完成的。其它布置当然也是可行的。
然后，确定附近的便携式电子装置的相应视野(步骤61)。
然后，对于各个装置，确定是否与环境中的处于附近的其它装置中的任一其它装置共享环境分析数据和/或处理(步骤62、69以及70)。
为了做到这一点，对于各个装置，首先确定用户(装置)是否已经进入新位置(步骤63)。如果进入了新位置，则如图6所示，如果存在具有该新位置的环境分析数据的另一装置，则所述另一装置请求该环境分析数据(步骤64)。
如果用户尚未输入新位置，则确定所讨论的装置的视野与环境中的处于附近的其它装置中的任一其它装置的视野是否重叠(步骤65)。如果所述装置中的任一装置的视野重叠，则在具有重叠视野的装置之间划分(细分)用于提供增强现实显示的环境分析工作(步骤66)。将参考图7更详细地讨论该操作。
如果环境中的附近的装置中还有其它装置，但这些装置的视野不重叠，则确定来自其视野不与所讨论的装置重叠的所述其它装置的环境分析数据中的任一环境分析数据是否有用(步骤67)。如果所述环境的分析数据有用，则所讨论的装置再次从一个或多个所述其它附近的装置请求并接收适当的环境分析数据(步骤68)。
对各个装置重复该操作(步骤69和70)，直到已经考虑了所有附近的装置。
然后，将完成所讨论的装置的环境分析，并因此所述装置接着操作以在合适的时候，使用所述装置已经执行的环境分析以及所述装置从另一装置接收到的任何此类数据，来向所述装置的用户提供适当的增强现实显示(如图1所示)(步骤71)。例如，这可以包括首先确定是否向用户更新显示，并且如果要更新显示，则在装置的摄像头屏幕上方渲染虚拟资产，以提供增强现实显示，从而根据需要播放适当的音频信号、提供触知反馈等。
然后，该处理继续进行下一分析和显示序列(步骤72)等等。
如上面关于图6所讨论的，当前实施方式中的操作的一个方面在于，可以在环境中的不同的电子装置之间划分(细分)为了提供增强现实显示目的而对环境进行的分析(图6中的步骤66)。
图7更详细地示出了当前实施方式中的这个操作。
在图7中，该处理开始于已经确定在多个装置之间划分(细分)环境分析工作的时候(步骤66)。
如图7所示，划分(细分)操作会考虑所讨论的装置的许多不同的能力，以确定是否以及如何在装置之间划分工作。
因此，如图7所示，首先确定所述装置中的任何装置是否是由电网供电的(步骤80)。如果所述装置是由电网供电的，那么如果该装置具有适当的处理能力，则将有关重叠视野的所有处理均分配给该由电网供电的装置(针对该由电网供电装置的视野)(步骤81)(使得被由电网供电的装置的视野部分或完全覆盖的其它装置然后可以针对该视野，依靠并且使用来自由电网供电装置的分析数据)。
另一方面，如果共享视野的所有装置均不是由电网供电的，则将工作分发至共享视野的装置将基于该装置的相应电池容量以及这些装置的执行环境分析的处理能力。
特别地，并且如图7所示，如果存在具有相同视野的多于一个的装置，那么在当前实施方式中，不是在那些装置之间均等地分配工作(例如，使得如果存在具有相同视野的两个装置，则在那些装置之间50:50地分配工作)，而是在共享视野的装置之间进行工作分配要考虑到所述装置的相应电池容量以及所述装置的处理能力。
因此，如图7所示，将分析工作的较高比例部分分配给具有较高处理能力的装置(因为期望这样的装置能够承担所述工作的大部分)以及具有较高当前电池容量的装置(使得相对于电池水平较低的装置，将更多的工作分配给具有满电池水平的装置)。
因此，如图7所示，对于各个装置，考虑电池的状态及所述装置的处理(计算)能力，然后相应地将针对所讨论的视野的分析工作的或多或少部分分配给所述装置(步骤82、83、84、85、86以及87)。
因此，如图7所示，在装置具有较高的分析处理(计算)能力和/或较高的电池容量的情况下，将视野内的有关环境的处理的更多部分分配给该装置(步骤82和83)，并且对应地，将优先为具有较低处理(计算)能力和/或低电池水平的任何装置分配分析工作中的较少部分(至少是在存在可以分配更多处理能力的其它装置的情况下)等等(步骤84、85、86以及87)。
一旦相应装置已经完成它们的所分配的处理，然后，就将这些装置生成的环境分析数据与具有重叠视野的其它装置共享(步骤88)。
图7还示出了对可以从中接收环境分析数据的其它装置的“信任度”进行评估和排序的一序列步骤。如图7所示，对于该处理，首先确定已经从中接收到数据的装置是否是高度可信的(例如，根据已经分配给所述装置的某一信任度等级)(步骤89))。如果指示该装置为“高度可信的”，那么在该实施方式中，假设从该装置接收到的数据将是可靠的，因此不会进行与该装置的可靠性相关的进一步检查或处理。
另一方面，在该装置未被表示为“高度可信的”的情况下，然后，从该非高度可信的装置接收数据的装置进行操作，以定期执行与该“非高度可信的”装置所执行的环境分析相对应的环境分析，并且将所述环境的分析的结果与从该“非高度可信的”装置接收到的数据进行比较，然后基于该比较来增加或减少所述另一装置的信任度等级(步骤90、91、92、93和94)。
这样，环境中的不同的装置可以“检查”其它装置的环境分析，并且为相应装置提供并更新适当的“信任度”排序。
若希望的话，当在不同的装置之间分配环境分析工作时，还可以考虑装置的“信任度”。例如，具有低“信任度”的装置可能根本不会被分配任何工作，和/或具有高“信任度”的装置可能会被优先分配环境分析工作(和/或分配环境分析工作中的更多部分)(假设所述装置具有所需的能力和电池容量)。
每当任何适当配备的便携式电子装置要在环境中提供增强现实显示时，都将重复图6和图7所示的操作，以确定是否以及何时与环境中的其它装置共享与环境分析相关的数据。
如本领域技术人员应意识到，若希望的话，可以对所描述的优选施方式进行各种修改、改变、添加以及删除。
例如，可以经由集中式和/或外部控制器来提供数据共享的某一形式的更集中的管理和控制，该控制器例如从相应便携式(或其它)装置接收信息，并且对应地将该数据分发至该装置。“中央”控制器电子装置例如可以被固定在环境中，并且在适当的时候，从环境中的电子装置接收分析数据，以及将该数据分发至环境中的其它装置。在这种情况下，集中式控制器装置可以管理环境的“当前”(最新)模型，其中，装置向控制器报告该装置正在生成的环境数据，以及正在从控制器获取的现有环境数据。集中式控制器还可以执行任何希望的信任度检查、排序更新等。
根据上述可以看出，本发明在其优选实施方式中，至少提供了以下方法和装置：该方法和装置可以减少为分析环境所需的计算的量，并因此减少单独AR装置的处理负担和功耗。
这是在本发明的优选实施方式中，至少通过以下方式来实现的：当在同一环境中具有处于活动状态以分析用于AR目的的环境的多个装置时，在所述多个装置之间共享分析的结果(并且潜在地共享分析本身)。

Claims (22)

1.一种操作便携式电子装置的方法，所述便携式电子装置用于向环境中的用户提供增强现实显示，所述方法包括以下步骤：
确定是否存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的任何其它电子装置；
在确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置时，进行如下操作：
确定是否从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；
在确定从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
在向所述便携式电子装置的用户提供增强现实显示时，所述便携式电子装置使用所提供的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据。
2.根据权利要求1所述的方法，其中，所述便携式电子装置从如下的所述另一电子装置接收与所述环境的分析相关的数据：所述另一电子装置是在所述环境中固定的装置。
3.根据权利要求1或2所述的方法，所述方法包括以下步骤：
在所述便携式电子装置确定其能够使用特定无线通信协议与所述另一电子装置进行通信时，执行确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置的步骤。
4.根据前述权利要求中的任一项所述的方法，所述方法包括以下步骤：
基于以下项中的一个或更多个来确定是否从所述另一电子装置向所述便携式电子装置提供与所述环境的分析相关的数据：
所述装置在所述环境中的位置；
所述装置在所述环境中的视野；
所述另一电子装置是否已经具有其能够共享的与所述环境的分析相关的数据；以及
由所述另一电子装置执行的任何分析的信任度的度量。
5.根据前述权利要求中的任一项所述的方法，其中，从所述另一电子装置向所述便携式电子装置提供与为了增强现实显示目的而对所述环境进行的所述分析相关的数据的步骤包括：
确定所述便携式电子装置和所述另一电子装置中的一者或两者是否应当执行为了增强现实显示目的而对所述环境进行的所述分析；
基于所述确定，向所述另一电子装置和所述便携式电子装置中的一者或两者分配与为了增强现实显示目的而对所述环境进行的所述分析相关的处理；以及
所述另一电子装置和/或所述便携式电子装置接着执行它们的如此分配的与所述环境的分析相关的处理，然后将所得的分析数据从该处理发送至另一电子装置。
6.根据权利要求5所述的方法，所述方法包括以下步骤：
基于以下项中的一个或更多个来确定如何在所述装置之间分配所述处理：
装置在所述环境中的位置；
所述装置在所述环境中的视野；
所述装置分析所述环境并且生成与所述环境相关的数据的能力；
所述装置的处理能力；
所述装置的传感器能力；
所述装置的剩余电池水平；
所述装置是否由电网供电；
待执行的所述分析；以及
由所述装置执行的任何分析的信任度的度量。
7.根据前述权利要求中的任一项所述的方法，其中，与所述环境的分析相关的数据是作为相应装置之间的点对点操作而直接在所述装置之间提供的。
8.根据前述权利要求中的任一项所述的方法，所述方法包括以下步骤：所述装置向中央分发电子装置发送与所述环境的分析相关的数据，所述中央分发电子装置然后将该数据分发给所述环境中的电子装置。
9.根据前述权利要求中的任一项所述的方法，其中，所述便携式电子装置基于以下项中的一个或更多个来控制所述便携式电子装置使用从另一电子装置接收到的数据：
接收到数据所来自的装置的信任度度量；以及
从所述装置接收到的数据的年龄。
10.根据前述权利要求中的任一项所述的方法，所述方法还包括以下步骤：电子装置检查从所述另一电子装置接收到的数据，以确定所述另一电子装置的分析是否可信。
11.根据前述权利要求中的任一项所述的方法，其中，在所述环境中存在能操作以为了增强现实显示目的对所述环境进行分析的三个或更多个电子装置，并且所述方法包括以下步骤：
在所述三个或更多个装置之间分发与为了增强现实显示目的而对所述环境进行的所述分析相关的所述处理，并且所述装置接着出于向它们的相应用户提供增强现实显示的目的，共享所得的与所述环境的分析相关的数据。
12.一种操作向环境中的用户提供增强现实显示的系统的方法，所述系统包括：
多个电子装置，所述多个电子装置能操作以分析用于增强现实显示的环境，所述多个电子装置包括多个便携式电子装置，各个便携式电子装置能操作以向环境中的用户提供增强现实显示；
所述方法包括以下步骤：
确定能操作以为了增强现实显示目的对所述环境进行分析的所述电子装置中的两个或更多个电子装置是否彼此靠近；
在确定能操作以为了增强现实显示目的对所述环境进行分析的所述电子装置中的两个或更多个电子装置彼此靠近时，进行如下操作：
确定是否在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；
当确定在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，在能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的两个或更多个电子装置之间共享与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
在向用户提供增强现实显示时，能操作以为了增强现实显示目的对所述环境进行分析的所述两个或更多个电子装置中的一个或更多个电子装置使用它们已经接收到的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据。
13.一种能操作以向环境中的用户提供增强现实显示的便携式电子装置，所述便携式电子装置包括：
处理电路，该处理电路被配置成进行如下操作：
确定是否存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的任何其它电子装置；并且
在确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置时，进行如下操作：
当所述便携式电子装置正在向用户提供增强现实显示时，确定是否使用来自所述另一电子装置的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；并且
在确定使用来自所述另一电子装置的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据时，从所述另一电子装置接收与为了增强现实显示目的而对所述环境进行的所述分析相关的数据；以及
处理电路，该处理电路被配置成使用从所述另一电子装置接收到的与为了增强现实显示目的而对所述环境进行的所述分析相关的数据，来向所述便携式电子装置的用户提供增强现实显示。
14.根据权利要求13所述的便携式电子装置，其中，所述处理电路被配置成进行如下操作：
在所述便携式电子装置确定其能够使用特定无线通信协议与所述另一电子装置进行通信时，确定存在靠近所述便携式电子装置的、能操作以为了增强现实显示目的对所述环境进行分析的另一电子装置。
15.根据权利要求13或14所述的便携式电子装置，其中，所述处理电路被配置成进行如下操作：
基于以下项中的一个或更多个来确定是否使用从所述另一电子装置向所述便携式电子装置提供的与所述环境的分析相关的数据：
装置在所述环境中的位置；
所述装置在所述环境中的视野；
所述另一电子装置是否已经具有其能够共享的与所述环境的分析相关的数据；以及
由所述另一电子装置执行的任何分析的信任度的度量。
16.根据权利要求13至15中的任一项所述的便携式电子装置，其中，所述处理电路被配置成进行如下操作：
确定所述便携式电子装置和所述另一电子装置中的一者或两者是否应当执行为了增强现实显示目的而对所述环境进行的所述分析；以及
基于所述确定，向所述另一电子装置和所述便携式电子装置中的一者或两者分配与为了增强现实显示目的而对所述环境进行的所述分析相关的处理。
17.根据权利要求16所述的便携式电子装置，其中，所述处理电路被配置成进行如下操作：
基于以下项中的一个或更多个来确定如何在所述装置之间分配所述处理：
装置在所述环境中的位置；
所述装置在所述环境中的视野；
所述装置分析所述环境并且生成与所述环境相关的数据的能力；
所述装置的处理能力；
所述装置的传感器能力；
所述装置的剩余电池水平；
所述装置是否由电网供电；
待执行的所述分析；以及
由所述装置执行的任何分析的信任度的度量。
18.根据权利要求13至17中的任一项所述的便携式电子装置，其中，与所述环境的分析相关的数据是作为相应装置之间的点对点操作而直接在所述装置之间提供的。
19.根据权利要求13至18中的任一项所述的便携式电子装置，其中，所述处理电路被配置成向中央分发电子装置发送与所述环境的分析相关的数据，所述中央分发电子装置然后将该数据分发给所述环境中的电子装置。
20.根据权利要求13至19中的任一项所述的便携式电子装置，其中，所述便携式电子装置被配置成基于以下项中的一个或更多个来控制所述便携式电子装置使用从另一电子装置接收到的数据：
接收到数据所来自的装置的信任度度量；以及
从所述装置接收到的数据的年龄。
21.根据权利要求13至20中的任一项所述的便携式电子装置，其中，所述处理电路还被配置成检查从所述另一电子装置接收到的数据，以确定所述另一电子装置的分析是否可信。
22.一种计算机程序，所述计算机程序包括计算机软件代码，当该计算机程序在一个或更多个数据处理器上运行时，所述计算机软件代码执行根据权利要求1至12中的任一项所述的方法。
CN202110183758.3A 2020-02-13 2021-02-10 提供增强现实显示的方法和系统 Pending CN113259652A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB2001981.6 2020-02-13
GB2001981.6A GB2592040B (en) 2020-02-13 2020-02-13 Method and System for Providing Augmented Reality Displays

Publications (1)

Publication Number Publication Date
CN113259652A true CN113259652A (zh) 2021-08-13

Family

ID=69956395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183758.3A Pending CN113259652A (zh) 2020-02-13 2021-02-10 提供增强现实显示的方法和系统

Country Status (4)

Country Link
US (1) US11647076B2 (zh)
KR (1) KR20210103414A (zh)
CN (1) CN113259652A (zh)
GB (1) GB2592040B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11652878B2 (en) * 2020-11-30 2023-05-16 Arm Limited Extended-reality system and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US10565464B2 (en) * 2017-12-21 2020-02-18 At&T Intellectual Property I, L.P. Adaptive cloud offloading of mobile augmented reality
US10915781B2 (en) * 2018-03-01 2021-02-09 Htc Corporation Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
US11727255B2 (en) * 2019-10-15 2023-08-15 Rutgers, The State University Of New Jersey Systems and methods for edge assisted real-time object detection for mobile augmented reality

Also Published As

Publication number Publication date
US20210258376A1 (en) 2021-08-19
US11647076B2 (en) 2023-05-09
GB2592040A (en) 2021-08-18
KR20210103414A (ko) 2021-08-23
GB2592040B (en) 2022-10-12
GB202001981D0 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
CN110531960B (zh) 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
US20210279953A1 (en) Cross reality system with wifi/gps based map merge
CN106575425B (zh) 经由地理围栏边界段穿越进行的调节
US20140152869A1 (en) Methods and Systems for Social Overlay Visualization
KR101932007B1 (ko) 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템
US10257256B2 (en) IOT interaction system
US20200233212A1 (en) Systems and methods for relative representation of spatial objects and disambiguation in an interface
Klinker et al. Distributed user tracking concepts for augmented reality applications
US20230326352A1 (en) Platoon driving control method and apparatus, medium, and electronic device
JP2019185236A (ja) 案内システム
CN112418903A (zh) 在数字现实范围里的持续的以质量为基础的遥测及跟踪的系统和方法
US11562645B2 (en) Edge-accelerated artificial intelligence for collaborative sensing of physical intelligent moving objects
US20220157032A1 (en) Multi-modality localization of users
US11647076B2 (en) Method and system for providing augmented reality displays
CN113850909B (zh) 点云数据处理方法、装置、电子设备及自动驾驶设备
US11652878B2 (en) Extended-reality system and method
US20230141545A1 (en) Device and method for providing augmented reality content
KR20190041695A (ko) 가속도 센서를 이용한 측위 주기 조절
CN114623836A (zh) 车辆位姿确定方法、装置及车辆
EP4258766A1 (en) Data processing method and apparatus
US20240161422A1 (en) Electronic device for providing at least one multimedia content to users accessing object and method thereof
EP4270906A1 (en) System and method enabling accurate context-aware location-based services
EP4130663A1 (en) Positioning apparatus and method
CN116389219A (zh) 元宇宙消息的传输处理方法、系统及可读存储介质
GB2610700A (en) Positioning apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination