CN116721235A - 利用缓冲的交叉现实系统用于定位精度 - Google Patents
利用缓冲的交叉现实系统用于定位精度 Download PDFInfo
- Publication number
- CN116721235A CN116721235A CN202310695366.4A CN202310695366A CN116721235A CN 116721235 A CN116721235 A CN 116721235A CN 202310695366 A CN202310695366 A CN 202310695366A CN 116721235 A CN116721235 A CN 116721235A
- Authority
- CN
- China
- Prior art keywords
- map
- image
- user
- canonical
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003139 buffering effect Effects 0.000 title claims description 9
- 230000002085 persistent effect Effects 0.000 claims description 300
- 230000009466 transformation Effects 0.000 claims description 137
- 230000008859 change Effects 0.000 claims description 47
- 238000009877 rendering Methods 0.000 claims description 30
- 238000013519 translation Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 15
- 239000000872 buffer Substances 0.000 abstract description 51
- 238000000034 method Methods 0.000 description 221
- 210000003128 head Anatomy 0.000 description 170
- 238000012545 processing Methods 0.000 description 112
- 230000008569 process Effects 0.000 description 95
- 238000010586 diagram Methods 0.000 description 76
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 75
- 238000003860 storage Methods 0.000 description 52
- 238000001914 filtration Methods 0.000 description 48
- 230000000875 corresponding effect Effects 0.000 description 42
- 238000000844 transformation Methods 0.000 description 34
- 101150064138 MAP1 gene Proteins 0.000 description 30
- 230000033001 locomotion Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 23
- 230000008447 perception Effects 0.000 description 22
- 230000015654 memory Effects 0.000 description 21
- 230000014616 translation Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 15
- 230000007613 environmental effect Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 230000002688 persistence Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 238000004441 surface measurement Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 235000019587 texture Nutrition 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 241000282994 Cervidae Species 0.000 description 3
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000004418 eye rotation Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 229910001416 lithium ion Inorganic materials 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 235000019615 sensations Nutrition 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002022 differential scanning fluorescence spectroscopy Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Abstract
一种用于用动态缓冲来定位电子设备的系统，从缓冲器中识别从由电子设备捕获的第一图像中提取的第一特征集，并在系统处接收从由电子设备捕获的第二图像中提取的第二特征集。该系统进一步确定第一特征集的第一特性和第二特征集的第二特性，并且至少部分地基于第一特征集的第一特性和第二特征集的第二特性来确定是否满足用于动态改变缓冲器的大小的触发条件。
Description
本申请是申请号为202180017052.8的中国专利申请“利用缓冲的交叉现实系统用于定位精度”(申请日为2021年2月25日)的分案申请。
技术领域
本申请总体上涉及交叉现实系统。
背景技术
计算机可以控制人类用户界面以创建交叉现实(XR或交叉现实)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，并且可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。
XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。
为了现实地渲染虚拟内容，XR系统可以建立围绕系统的用户的物理世界的表示。例如，此表示可以通过对利用可穿戴设备上的传感器获取的图像进行处理来构建，其中的可穿戴设备形成XR系统的一部分。在这样的系统中，用户可以通过环顾用户打算在其中使用XR系统的房间或其他物理环境，直到系统获得足够的信息来构建该环境的表示，来执行初始化例程。随着系统运行且用户在环境中移动或移动到其他环境，可穿戴设备上的传感器可以获取其他信息以扩展或更新物理世界的表示。
发明内容
本申请的方面涉及用于提供X现实(交叉现实或XR)场景的方法和装置。如本文所描述的技术可以一起、单独或以任何适合的组合使用。
根据一些实施例，提供了一种电子设备。电子设备被配置为在交叉现实系统内操作。该电子设备包括一个或多个传感器，该一个或多个传感器被配置为捕获关于三维(3D)环境的信息。捕获的信息包括多个图像。该电子设备还包括被配置为执行计算机可执行指令的至少一个处理器。计算机可执行指令包括用于以下的指令：生成用于表示在3D环境中的位置的本地坐标系；从3D环境的多个图像中的每一个中提取特征集；向定位服务提供批量(batch)，该批量包括多个特征集和在本地坐标系中表达的用于多个集中的多个特征的位置信息；以及从定位服务接收将本地坐标系与第二坐标系相关的至少一个变换。计算机可执行指令进一步包括用于以下的指令：响应于事件的检测而触发用λ于提取特征集的指令从而提取特征集；并将所提取的特征集添加到批量中。
根据一些实施例，提供了一种操作便携式设备以在3D环境中渲染虚拟内容的方法。该方法包括利用一个或多个处理器，基于便携式设备上的一个或多个传感器的输出，在便携式设备上生成本地坐标系；响应于事件的检测，在便携式设备上生成用于在3D环境中感测的多个特征的多个描述符；将生成的用于多个特征的多个描述符添加到批量中；通过网络向定位服务发送批量，该批量包括在本地坐标系中表达的特征的位置信息和特征的多个描述符；从定位服务获得关于3D环境的存储空间信息的存储坐标系与本地坐标系之间的变换；接收具有虚拟对象坐标系和虚拟对象相对于存储坐标系的位置的虚拟对象的规范；在至少部分地基于计算的变换和接收的虚拟对象的位置而确定的位置处，在便携式设备的显示器上渲染虚拟对象。
根据一些实施例，提供了至少一个计算机可读介质。至少一个计算机可读介质具有记录在其上的指令，当指令在包括便携式设备和定位服务的计算系统中执行时使计算系统执行一种方法。该方法包括以下动作：(A)接收与便携式设备和便携式设备的物理环境之间的交互相关的信息，该信息包括与物理环境相关的图像信息；(B)响应于事件的检测，生成图像信息所描绘的物理环境的特征的多个描述符；(C)将本地坐标系中的位置信息与在动作(A)中生成的特征的多个描述符相关联；(D)将生成的多个描述符添加到批量中；(E)向定位服务发送包括在本地坐标系中表达的特征的位置信息和特征的多个描述符的批量；(F)接收关于便携式设备的物理环境的存储空间信息的存储坐标系与本地坐标系之间的变换；(G)将变换应用到虚拟内容的由便携式设备上的应用所指定的位置，使得这些位置被配置为由本地增强现实(AR)框架进行如下处理时使用：基于虚拟内容的所指定的位置，在便携式设备的显示器上渲染相对于物理环境定位的虚拟内容。
前述概述是通过说明的方式提供的，并非旨在进行限制。
附图说明
附图并非旨在按比例绘制。在附图中，在各个附图中示出的每个相同或几乎相同的部件由相似的数字表示。为了清楚起见，并非每个部件都可以在每个附图中标记。在附图中：
图1是示出根据一些实施例的简化的增强现实(AR)场景的示例的示意图；
图2是根据一些实施例的示例性简化AR场景的示意图，示出了XR系统的示例性使用情况；
图3是示出根据一些实施例的用于AR系统中的单个用户的数据流的示意图，该AR系统被配置为向用户提供与物理世界交互的AR内容的体验；
图4是示出根据一些实施例的示例性AR显示系统的示意图，该示例性AR显示系统为单个用户显示虚拟内容；
图5A是根据一些实施例的示出了当用户穿着AR显示系统时，该AR显示系统在用户移动穿过物理世界环境时渲染AR内容的示意图；
图5B是示出根据一些实施例的观看光学组件和伴随部件的示意图；
图6A是示出根据一些实施例的使用世界重建系统的AR系统的示意图；
图6B是示出根据一些实施例的维持可通行世界的模型的AR系统的部件的示意图。
图7是由设备遍历穿过物理世界的路径形成的跟踪图的示意图。
图8是示出根据一些实施例的感知虚拟内容的交叉现实(XR)系统的用户的示意图；
图9是根据一些实施例的在坐标系之间进行变换的图8的XR系统的第一XR设备的部件的框图；
图10是根据一些实施例的示出将原点坐标框架示例性变换为目的地坐标框架以便正确地渲染本地XR内容的示意图；
图11是示出根据一些实施例的基于瞳孔的坐标框架的顶视平面图；
图12是示出根据一些实施例的包括所有瞳孔位置的相机坐标框架的顶视平面图；
图13是根据一些实施例的图9的显示系统的示意图；
图14是示出根据一些实施例的持久坐标系(PCF)的创建以及XR内容到PCF的附接的框图；
图15是示出根据一些实施例的建立和使用PCF的方法的流程图；
图16是根据一些实施例的包括第二XR设备的图8的XR系统的框图；
图17是示出根据一些实施例的房间和为房间中的各个区域建立的关键帧的示意图；
图18是示出根据一些实施例的基于关键帧的持久姿势的建立的示意图；
图19是示出根据一些实施例的基于持久姿势的持久坐标系(PCF)的建立的示意图；
图20A至图20C是示出根据一些实施例的创建PCF的示例的示意图；
图21是示出根据一些实施例的用于为单个图像和/或地图生成全局描述符的系统的框图；
图22是示出根据一些实施例的计算图像描述符的方法的流程图；
图23是示出根据一些实施例的使用图像描述符的定位方法的流程图；
图24是示出根据一些实施例的训练神经网络的方法的流程图；
图25是示出根据一些实施例的训练神经网络的方法的框图；
图26是示出根据一些实施例的被配置为对多个环境图进行排名和合并的AR系统的示意图；
图27是示出根据一些实施例的存储在远程存储介质上的多个规范地图的简化框图；
图28是示出根据一些实施例的选择规范地图以例如在一个或多个规范地图中定位新的跟踪地图和/或从规范地图获得PCF的方法的示意图；
图29是示出根据一些实施例的选择多个排名的环境地图的方法的流程图；
图30是示出根据一些实施例的图26的AR系统的示例性地图排名部分的示意图；
图31A是示出根据一些实施例的数据库中的跟踪地图(TM)和环境地图的区域属性的示例的示意图；
图31B是示出根据一些实施例的确定用于图29的地理位置过滤的跟踪地图(TM)的地理位置的示例的示意图；
图32是示出根据一些实施例的图29的地理位置过滤的示例的示意图；
图33是示出根据一些实施例的图29的Wi-Fi BSSID过滤的示例的示意图；
图34是示出根据一些实施例的使用图29的定位的示例的示意图；
图35和36是根据一些实施例的被配置为对多个环境地图进行排名和合并的XR系统的框图。
图37是示出根据一些实施例的以规范形式创建物理世界的环境地图的方法的框图；
图38A和38B是示出根据一些实施例的通过用新的跟踪地图更新图7的跟踪地图以规范形式创建的环境地图的示意图。
图39A至39F是示出根据一些实施例的合并地图的示例的示意图；
图40是根据一些实施例的可由图9的第一XR设备生成的三维第一本地跟踪地图(地图1)的二维表示；
图41是示出根据一些实施例的从第一XR设备向图9的服务器上传地图1的框图；
图42是示出根据一些实施例的图16的XR系统的示意图，示出在第一用户已经终止第一会话之后第二用户已经使用XR系统的第二XR设备发起第二会话；
图43A是示出根据一些实施例的用于图42的第二XR设备的新会话的框图；
图43B是示出根据一些实施例的用于图42的第二XR设备的跟踪地图的创建的框图；
图43C是示出根据一些实施例的从服务器向图42的第二XR设备下载规范地图的框图；
图44是示出根据一些实施例的将可以由图42的第二XR设备生成的第二跟踪地图(地图2)定位到规范地图的定位尝试的示意图；
图45是示出根据一些实施例的将图44的第二跟踪地图(地图2)定位到规范地图的定位尝试的示意图，该第二跟踪地图可以进一步被开发并且具有与地图2的PCF相关联的XR内容；
图46A至图46B是示出根据一些实施例的将图45的地图2成功定位到规范地图的示意图；
图47是示出根据一些实施例的通过将来自图46A的规范地图的一个或多个PCF包括到图45的地图2中而生成的规范地图的示意图；
图48是示出根据一些实施例的图47的规范地图以及第二XR设备上的地图2的进一步扩展的示意图；
图49是示出根据一些实施例的从第二XR设备向服务器上传地图2的框图；
图50是示出根据一些实施例的将地图2与规范地图合并的框图；
图51是示出根据一些实施例的从服务器到第一XR设备和第二XR设备传输新规范地图的框图；
图52是示出根据一些实施例的地图2的二维表示和参考地图2的第二XR设备的头部坐标框架的框图；
图53是根据一些实施例的以二维方式示出可以在六个自由度中发生的头部坐标框架的调节的框图；
图54是示出根据一些实施例的第二XR设备上的规范地图的框图，其中，声音相对于地图2的PCF被定位；
图55和图56是示出根据一些实施例的当第一用户已经终止第一会话并且第一用户已经使用XR系统发起第二会话时XR系统的使用的透视图和框图；
图57和图58是示出根据一些实施例的当三个用户在同一会话中同时使用XR系统时XR系统的使用的透视图和框图；
图59是示出根据一些实施例的恢复和重置头部姿势的方法的流程图；
图60是根据一些实施例的可以在本发明的系统中找到应用的计算机形式的机器的框图；
图61是根据一些实施例的示例XR系统的示意图，其中多个设备中的任一个可以访问定位服务；
图62是根据一些实施例的用于操作便携式设备的示例处理流程，其中的便携式设备作为提供基于云的定位的XR系统的一部分；以及
图63A、图63B和图63C是根据一些实施例的用于基于云的定位的示例处理流程。
图64、图65、图66、图67和图68是便携式XR设备在佩戴该XR设备的用户穿越3D环境时利用具有无线指纹的多个图块构建跟踪地图的一系列示意图。
图69是使用无线指纹来选择一组存储地图中的存储地图中的图块作为候选图块以用于定位构建图64、图65、图66、图67和图68的跟踪地图的便携式XR设备的示意图。
图70是示出根据一些实施例的操作便携式XR设备以生成无线指纹的方法的流程图。
图71是描绘根据一些实施例的包括XR设备和基于云的定位服务的呈现XR系统的框图。
具体实施方式
在以下描述中，阐述了某些特定细节以便提供对各种公开的实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者用其他方法、组件、材料等来实践实施例。在其他实例中，与眼镜相关联的众所周知的结构，包括空间计算头戴式装置，以及用于眼镜的镜腿的铰链系统没有被详细示出或描述，以避免不必要地模糊实施例的描述。
除非上下文另有要求，否则在以下说明书和权利要求书中，词语“包括”和其变型，诸如“包括”和“包含”，应以开放、包容的意义解释为“包括，但不限于”。
贯穿本说明书对“一个实施例”或者“实施例”的引用意味着结合实施例描述的特定特征、结构或者特点被包括在至少一个实施例中。因此，贯穿本说明书的各个地方中的短语“在一个实施例”或“在实施例中”的出现不必全部指代相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何适合的方式组合。
在以下描述中，阐述了某些特定细节以便提供对各种公开的实施例的透彻理解。然而，相关领域的技术人员将认识到，可以在没有这些具体细节中的一个或多个的情况下，或者用其他方法、组件、材料等来实践实施例。在其他情况下，未详细示出或描述与虚拟现实(VR)、增强现实(AR)、混合现实(MR)和扩展现实(XR)系统相关联的众所周知的结构，以避免不必要地模糊实施例的描述。应当注意，术语虚拟现实(VR)、增强现实(AR)、混合现实(MR)和扩展现实(XR)在本公开中可以互换使用，以表示用于经由本文所描述的至少可穿戴光学组件12向用户显示至少虚拟内容的方法或系统。
在此描述的是用于提供交叉现实(XR)场景的方法和装置。为了向多个用户提供逼真的XR体验，XR系统必须了解用户的位置，以便正确地将与实际对象相关的虚拟对象的位置进行关联。XR系统可以构建场景的环境地图，该环境地图可以从传感器收集的图像和/或深度信息创建，该传感器是由XR系统的用户佩戴的XR设备的一部分。
在XR系统中，每个XR设备可以通过整合来自收集的一个或多个图像的信息来开发其物理环境的本地地图。在一些实施例中，该地图的坐标系被绑定到设备在设备开始扫描其环境时的取向。当用户与XR系统交互时，该取向可能会因会话而异，无论不同的会话与不同的用户相关联，每个用户都有自己的可穿戴设备，可穿戴设备带有扫描环境的传感器，还是不同时间使用同一设备的同一用户。
在XR系统上执行的应用可以基于持久空间信息来指定虚拟内容的位置，例如可以从可以是以规范形式的持久地图中获得，该规范地图可以由与XR系统交互的多个用户以共享方式访问。持久地图可以存储在远程存储介质(例如，云)中。例如，由用户佩戴的可穿戴设备在被打开之后，可以从诸如云存储的持久存储中取得先前创建和存储的适当的存储的地图。取得存储的地图可以实现可穿戴设备的使用，而无需采用可穿戴设备上的传感器扫描物理世界。可替代地或另外地，设备在进入物理世界的新区域时可以类似地取得适当的存储的地图。
在多个设备之间共享关于物理世界的数据可以实现虚拟内容的共享用户体验。例如，访问同一存储的地图的两个XR设备都可以相对于存储的地图进行定位。一旦定位，用户设备可以通过将位置翻译成由用户设备维护的参考的框架来渲染具有通过参考存储的地图指定的位置的虚拟内容。用户设备可以使用该本地参考框架来控制用户设备的显示以在指定位置中渲染虚拟内容。
存储的地图可以以的规范形式来表示，规范形式可以与每个XR设备上的本地参考系相关。每个设备的本地地图和规范地图之间的关系可以通过定位过程来确定。具有该关系使设备能够使用其本地地图在相对于规范地图指定的位置渲染内容。
可以基于选择并发送到设备的一组规范地图在每个XR设备上执行定位过程。替代地或附加地，定位可以由定位服务执行，该定位服务可以在远程处理器上实现，例如可以部署在云中。
无论在何处执行定位，定位都需要收集反映便携式设备环境的位置信息。该信息可以相对于在设备上维护的跟踪地图成姿势(pose)，其在设备的本地坐标系中。该位置信息可以提供给定位部件，该部件在规范地图中找到对应的位置信息。该位置信息可以在规范地图的坐标系中成姿势。定位部件可以计算来自设备的位置信息与来自规范地图的对应的位置信息之间的变换。该变换还可以作为设备的本地坐标系与规范地图的坐标系之间的变换。
可以在设备上使用该变换来将在规范地图的坐标系中表达的虚拟内容或其他项目的位置转换为设备的本地坐标系。针对与XR系统交互的多个设备中的每一个计算的变换可能不同，但每个设备可以使用变换和其自己的本地坐标系，以在相对物理世界相同位置的规范地图的坐标系中指定的位置渲染虚拟内容——使多个用户可共享该虚拟内容的体验。
在定位过程中可能由于多种原因出现错误。反映便携式设备环境的位置信息可以表示为从环境的可见图像中提取的稀疏特征集，以使位置信息能够在没有过多计算资源和不需要过多时间的情况下进行处理。从物理世界中相同对象的不同图像中提取的稀疏特征集可能不同。例如，可以在不同的照明条件下、或从不同的取向、或在以其他方式不同的捕获条件下拍摄图像。此外，图像捕获过程中的噪声可能会使比较发生扭曲，因为在形成稀疏特征集的过程中会丢失关于环境的信息。因此，物理世界不同部分的图像可能会导致看似相同的稀疏特征集。相反，这些变化源可能会导致稀疏的特征集，表示物理世界中的相同位置，但它们是不同的。
在给定变化源的情况下，将设备成功定位到规范地图可能不需要精确匹配的特征集。相反，它涉及在规范地图中找到特征集，来自设备的特征集可以与这些特征集对齐，使得在这些集合中的特征的配准中的误差测量足够小。如果找不到这样的特征集，则可以认为定位失败。
发明人已经认识到并意识到，从设备以批量提供多个特征集作为定位过程的输入可以降低定位失败的可能性。定位的准确性可以通过找到指示设备的针对多个特征集的一致位置的对应关系来提高。
发明人进一步认识到并意识到，响应于一个或多个事件向批量添加特征集可以增加批量的交叉熵。根据信息理论，增加的交叉熵意味着平均需要更少的信息来找到存储的地图与批量表示的位置之间的匹配。因此，对于固定大小的批量，增加的交叉熵增加了定位成功的可能性。此外，可以快速实现成功定位。在一些实施例中，如果用于集合的编码方案针对估计的概率分布q而不是真实分布p进行了优化，则在相同的基础(underlying)事件集上的两个概率分布p和q之间的交叉熵测量了识别从集合中抽取的事件所需的平均比特(bit)数。交叉熵可用于量化两个概率分布之间的差异。通常，在某些实施例中，“真实”分布(您的机器学习算法试图匹配的那个)以独热(one-hot)分布的形式表示。例如，如果特定训练实例的真实标签是B(在可能的标签A、B和C中)，则该训练实例的独热分布可能是概率(类A)＝0.0，概率(类B)＝1.0，以及概率(类C)＝0.0。在A、B和C的相应概率是非零的更一般分布中，交叉熵可用于通过使用公式H(p，q)＝-∑xp(x)logq(x)来确定分布与真实分布的接近程度，其中p(x)表示真实概率分布，q(x)表示预测概率分布。输出H表示分布偏离真实分布的程度。可以迭代地执行交叉熵的使用，直到满足收敛标准(例如，当两次连续迭代中计算的交叉熵值在阈值内时)。对于定位，可以类似地为第一特征集确定交叉熵值；并且对应于比第一特征集增加的交叉熵的第二特征集指示第二特征集可能包含较少重复的信息。
批处理可以通过响应于事件向批量添加从环境的图像中提取的稀疏特征集来实现。在下一次定位尝试中，可以将批量作为输入提供给定位过程。
可触发将特征集添加到批量的事件示例可以包括以下一项或多项：IMU的输出和/或所计算的设备相对于跟踪地图的姿势的变化，其指示设备的平移超过阈值距离；IMU的输出和/或所计算的设备相对于跟踪地图的姿势的变化，其指示设备的旋转超过阈值角度；无线指纹的变化，其指示设备的平移超过阈值；对于由设备上的图像传感器顺序捕获的图像帧，代表图像帧的内容的描述符的值的变化；和/或另一个可测量参数的变化，其指示设备的姿势已经改变了多于阈值量。
通过以批量发送这样的特征集，成功的定位很可能以平均速率实现，确保与系统交互的多个设备中的每一个都具有准确的定位信息，这反过来又提供了多用户系统中的更逼真和沉浸式的体验。
AR系统概述
图1和图2示出了具有虚拟内容的场景，这些场景与物理世界的一部分一起显示。为了说明的目的，AR系统被用作XR系统的示例。图3-6B示出示例性AR系统，其包括可以根据在此描述的技术操作的一个或多个处理器、存储器、传感器和用户界面。
参考图1，描绘了室外AR场景354，其中AR技术的用户看到了物理世界的类似公园的设置356，其特征是人、树、背景中的建筑物以及混凝土平台358。除了这些项目之外，AR技术的用户还感知到他们“看到”了站在物理世界混凝土平台358上的机器人雕像357，以及似乎是大黄蜂的头像的飞行着的卡通般的头像角色352，即使这些元素(例如，头像角色352和机器人雕像357)在物理世界中不存在。由于人类视觉感知和神经系统的极端复杂性，产生一种对于在其它虚拟或物理世界图像元素中促进舒适、自然感觉、丰富的虚拟图像元素呈现的AR技术具有挑战性。
这样的AR场景可以通过基于跟踪信息来建立物理世界的地图的系统来实现，使用户能够将AR内容放置在物理世界中，确定在物理世界的地图中放置AR内容的位置，保留AR场景以便可以在例如不同的AR体验会话期间重新加载放置的AR内容以在物理世界中显示，并使多个用户共享AR体验。该系统可以建立和更新用户周围的物理世界表面的数字表示。该表示可以用于将虚拟内容渲染为看起来被在用户与虚拟内容的渲染位置之间的物理对象完全或部分遮挡，以便在基于物理的交互中放置虚拟对象，以及用于虚拟角色路径计划和导航，或用于其中使用关于物理世界的信息的其他操作。
图2描绘了根据一些实施例的室内AR场景400的另一个示例，示出了XR系统的示例性用例。示例性场景400是客厅，其具有墙壁、墙壁一侧的书架、房间角落的落地灯、地板、沙发、和地板上的咖啡桌。除了这些实物，AR技术的用户还感知到虚拟对象，如沙发后面墙壁上的图像、飞过门的鸟、从书架上探出头来的鹿、以及形状为风车放在咖啡桌上的装饰物。
对于墙壁上的图像，AR技术不仅需要关于墙壁的表面的信息，而且还需要关于房间中的对象和表面(例如灯的形状)的信息，这些信息会遮挡图像以正确渲染虚拟对象。对于飞翔的鸟，AR技术需要关于房间周围所有对象和表面的信息，以便用逼真的物理效果渲染鸟，从而避免对象和表面在鸟碰撞时反弹离开。对于鹿来说，AR技术需要关于诸如地板或咖啡桌等表面的信息来计算鹿的放置位置。对于风车，系统可以识别它是与桌子分离的对象并且可以确定它是可移动的，而架子的角落或墙壁的角落可以被确定为静止的。这种区别可以用于确定在各种操作的每一个中使用或更新场景的哪些部分。
可以将虚拟对象放置在先前的AR体验会话中。当新的AR体验会话在客厅开始时，AR技术需要虚拟对象准确地显示在先前放置的位置，并且从不同的角度真实地可见。例如，风车应该显示为树立在书本上，而不是在没有书本的情况下漂浮在桌子上方的不同位置。如果新的AR体验会话的用户的位置没有准确地定位在客厅中，则可能会发生这种漂移。再例如，如果用户从与放置风车时的视点不同的视点观看风车，则AR技术需要显示风车的相应侧面。
场景可以经由包括多个部件的系统呈现给用户，所述部件包括可以刺激诸如视觉、声音和/或触摸之类的一种或多种用户感觉的用户界面。此外，该系统可以包括一个或多个传感器，该一个或多个传感器可以测量场景的物理部分的参数，包括用户在场景的物理部分内的位置和/或运动。此外，该系统可以包括一个或多个计算设备，以及相关联的计算机硬件，例如存储器。这些部件可以集成到单个设备中，也可以分布在多个互连的设备上。在一些实施例中，这些部件中的一些或全部可以集成到可穿戴设备中。
本文所描述的各种实施例采用一种或多种地图，其可包括但不限于一个或多个稀疏地图、一个或多个密集地图、一个或多个跟踪地图、一个或多个规范地图、和/或一个或多个环境地图。
跟踪地图对于最初创建或随后更新跟踪地图的设备(例如，XR设备)可能是本地的。跟踪地图可以用作密集地图，尽管跟踪地图可以作为稀疏地图开始。在一些实施例中，跟踪地图可包括诸如设备的头部姿势数据的数据(例如，创建或更新跟踪地图的XR设备的位置、取向、和/或姿势)。在这些实施例中的一些实施例中，这样的数据可以被表示为跟踪地图中的点或点节点。
在这些实施例中的一些实施例中，跟踪地图还可包括可以表示为一组网格的数据或表面信息或深度信息和/或可以从表面或深度信息导出的其他高级数据(例如，与一个或多个平面或表面或其他对象相关的位置和/或一个或多个特性)。可以将跟踪地图提升为将在下面更详细描述的规范地图。在一些实施例中，跟踪地图提供物理对象在物理世界中的平面图。例如，物理对象或其特征(例如，根据图像处理确定的顶点、边缘、平面或表面等)可以表示为跟踪地图中的点或点节点。
在这些实施例中的一些实施例中，跟踪地图可以包括与点或点节点相关的数据。这样的数据可包括例如绝对和/或相对姿势(例如，相对于已知、固定参考的绝对位置、取向和/或注视方向，相对于在特定位置、取向和/或注视方向处的XR设备的相对位置、取向和/或注视方向)。表示物理对象或其一部分的特征可以从例如包含物理对象或其部分的一个或多个图像的图像处理导出，并且可以用作持久姿势，该持久姿势进而可以变换为持久坐标系(PCF)。在一些实施例中，持久坐标系包括允许内容持久性的本地坐标系(例如，XR设备的参考点或坐标系的本地坐标系)——将数字内容放置在虚拟或混合现实环境中，以及使放置的数字内容停留在例如虚拟或混合现实环境中的相同位置(例如，可通行的世界模型、共享的世界模型、和/或本文所描述的一个或多个地图)，即使在关闭、重新打开应用或重新启动XR设备之后，也不会跨多个用户会话(对于一个或更多XR设备)出现超过预定义阈值的漂移或偏差。
例如，从首先创建PCF以表示对象或其一部分的查看XR设备的角度，在特定位置、以特定取向、和/或以特定注视方向，PCF可以放置在本文所描述的规范地图中。当XR设备进入XR设备或另一协作XR设备之前已经看到的物理环境时(例如经由由XR设备或者另一协作XR设备捕获的一个或多个图像)，通过检索为物理环境的至少一部分创建的一个或多个对应的规范地图，XR设备可以将为该物理环境放置的持久坐标系恢复到正确的位置。
在一些实施例中，PCF对应于物理世界中的预定义位置，并且具有用户可以存储在浏览器会话中、便携式计算设备(例如，XR设备)上、或远程服务器上的唯一标识符。该唯一标识符可以在多个用户之间共享。例如，当数字内容被放置在虚拟或混合现实会话中时，可以请求较近或最近的PCF，并且可以存储较近或最近的PCF的唯一标识符以及对应于PCF的位置。
当PCF在不同会话中为不同位置处的用户重新使用时，对应于PCF的该存储位置可以相对于不同虚拟或混合现实会话的不同位置的当前坐标系进行变换(例如，平移、旋转、镜像等)，使得将数字内容相对于不同会话中的用户被放置在正确位置处。在一些实施例中，PCF可以存储持久空间信息。在这些实施例中的一些实施例中，PCF还可包括相对于参考位置、取向和/或注视方向的变换以及从对应于PCF的位置处的一个或多个图像导出的信息。例如，PCF可包括地图(例如，跟踪地图、规范地图、环境地图、稀疏地图和/或密集地图等)的坐标系与PCF之间的变换，或可以至少与其相关联。
在这些实施例中的一些实施例中，PCF可以包括地理或空间信息，该地理或空间信息指示从其创建持久坐标系的3D环境的关键帧或图像帧内的位置。在一些实施例中，可以在便携式计算设备(例如，XR设备)本地的坐标系与存储的坐标系之间确定变换。
在一些实施例中，所有PCF是可共享的并且可以在相应不同位置处的多个用户之间发送。在一些其他实施例中，一个或多个PCF仅对于首先创建这些一个或多个PCF的XR设备是已知的。在一些实施例中，例如，关于物理世界的信息可以表示为持久坐标系(PCF)。PCF可以基于表示在物理世界中识别的特征的一个或多个点来定义。可以选择特征，使得它们在XR系统的从用户会话到用户会话可能是相同的。PCF可能稀疏存在，提供的关于物理世界的少于所有可用信息，使得它们可以被有效地处理和传送。用于处理持久空间信息的技术可以包括跨一个或多个会话基于现实空间中的一个或多个坐标系创建动态地图，以及在稀疏地图上生成持久坐标系(PCF)，该持久坐标系可以经由例如应用编程接口(API)暴露给XR应用。这些能力可以通过用于对由一个或多个XR设备创建的多个地图进行排名和合并的技术来支持。持久空间信息还可以使能以计算有效的方式在一个或多个XR设备中的每一个上快速恢复和重置头部姿势。在一些实施例中，XR系统可以将坐标系分配给虚拟内容，这与将虚拟内容附在世界坐标系中相反。这样的配置使得能够描述虚拟内容而不考虑它在哪里为用户渲染，但是它可以附接到更持久的框架位置，诸如要在指定位置渲染的持久坐标系(PCF)。当对象的位置改变时，XR设备可以检测环境地图的变化并且确定由用户穿戴的头部单元相对于现实世界对象的运动。
在一些实施例中，可以通过持久坐标系(PCF)来提供空间持久性。PCF可以基于表示物理世界中识别的特征(例如角、边)的一个或多个点来定义。可以选择特征，使得它们在XR系统的用户实例到另一个用户实例可能是相同的。另外或在替代方案中，使得计算跟踪路径(例如，相机轨迹)偏离实际跟踪路径的跟踪期间的漂移当相对于仅基于跟踪地图的本地地图进行渲染时，可能使得虚拟内容的位置不适当地出现。随着XR设备收集更多场景超时的信息，可以细化用于空间的跟踪地图以纠正漂移。然而，如果虚拟内容在地图细化之前放置在真实对象上并相对于从跟踪地图导出的设备的世界坐标系进行保存，则虚拟内容可能出现位移，好像真实对象在地图细化期间移动一样。PCF可以根据地图细化进行更新，因为PCF是基于特征定义的，并且在地图细化期间随着特征移动而更新。
在一些实施例中，PCF可以包括具有相对于地图坐标系的平移和旋转的六个自由度。PCF可以存储在本地和/或远程存储介质中。PCF的平移和旋转可以取决于例如存储位置相对于地图坐标系来计算。例如，由设备本地使用的PCF可能具有相对于设备的世界坐标系的平移和旋转。云中的PCF可能具有相对于规范地图的规范坐标系的平移和旋转。在一些实施例中，PCF可以提供物理世界的稀疏表示，提供少于所有关于物理世界的可用信息，使得可以有效地处理和传送它们。用于处理持久空间信息的技术可以包括跨一个或多个会话基于现实空间中的一个或多个坐标系创建动态地图，在稀疏地图上生成持久坐标系(PCF)，该持久坐标系可以经由例如应用编程接口(API)暴露给XR应用。
在一些实施例中，跟踪地图可以包括一个或多个图像帧、关键帧等、和/或从一个或多个图像帧、关键帧等导出的数据。应当注意，并非所有特征和图像帧(或关键帧)可以保留为跟踪地图的一部分。相反，提供有意义的信息(例如，非冗余信息、具有足够高的准确度和/或超过预定义阈值的分辨率的信息等)的特征点或图像帧可以保留在跟踪地图中。因此，可以用由一个或多个相机、图像传感器、深度传感器、GPS(全球定位)设备、无线设备(例如，Wi-Fi或蜂窝收发机)等收集或采集的数据来构建跟踪地图。
跟踪地图可以被存储为环境地图或与环境地图合并，这也将在下文更详细地描述。跟踪地图可以被细化以校正例如偏离实际跟踪路径的计算跟踪路径(例如，计算的相机轨迹)的任何偏差或漂移。在一些实施例中，可以将向跟踪地图提供有意义的信息的图像被选择为关键帧，该关键帧可以进一步整合在跟踪地图内(例如嵌入跟踪地图内)或与跟踪地图相关联(例如，分开存储但与跟踪地图链接)。在一些实施例中，跟踪地图可以连接到姿势和PCF(持久坐标系)变换器或与其相关联。
在一些实施例中，稀疏地图可包括指示关注的点或结构(例如，角、边、表面等)的位置的数据，而不是所有特征的位置。即，物理环境中的某些点或结构可能从稀疏地图中丢弃。通过例如提取一个或多个关注的点或结构的图像处理，可以用一组映射的关注点和/或关键帧来构建稀疏地图。稀疏的一个示例可以包括上文所描述的跟踪地图。在该示例中，跟踪地图可被认为是头部姿势稀疏地图，尽管应当注意，其他稀疏地图可能并不总是包括头部姿势数据。在一些实施例中，稀疏地图可包括可用于导出坐标系的信息或数据。在一些其他实施例中，稀疏地图可以包括坐标系或者可以与坐标系相关联。这样的坐标系可用于定义密集地图中的对象或其特征的位置和/或取向，这将在下文更详细地描述。
在一些实施例中，密集地图可包括例如数据或信息，诸如由网格表示的表面数据或深度信息。在这些实施例中的一些实施例中，密集地图可以包括可以从表面或深度信息导出的高级信息。例如，密集地图可包括与位置和/或平面和/或其他对象的一个或多个特性相关的数据。可以通过用任何上述数据或信息扩充稀疏地图的原始数据来从稀疏地图扩充密集地图，但应注意，在一些实施例中，稀疏地图可独立于密集地图的创建而创建，反之亦然。
环境地图可以包括一块物理世界的数据或信息。例如，环境可以包括物理环境(例如，房间的一部分)中物理对象的位置、取向和/或注视方向(当利用XR设备感知时)以及与物理对象相关的其他数据(例如，表面纹理、颜色等)。可以利用来自例如来自相机的图像和/或来自深度传感器的深度数据的数据来创建环境地图。因此，环境可以包括比本文所描述的任何其他地图更多的关于物理环境的细节，并且可以用于构建可以协作(例如，由在物理世界周围移动的多个XR设备创建)并在多个XR设备之间共享的可通行的3D世界。在一些实施例中，可以通过例如移除不需要的数据或信息来将环境地图转换或剥离成规范地图。环境地图还可以与多个区域或体积属性(诸如一个或多个参数、无线网络的接收信号的强度等)或任何其他期望或要求的参数相关联。
规范地图可以包括数据或信息，使得规范地图可以被定位和取向到多个计算设备中的每一个，使得每个计算设备可以重新使用规范地图。因此，在一些实施例中，规范地图可以起源为跟踪地图或稀疏地图，或者在一些其他环境中起源为环境地图。
在一些实施例中，规范地图可包括确定在规范地图中表示的对象的位置的刚好足够的数据或可以与其相关联。例如，规范地图可包括关注的对象或其一部分的持久姿势和/或持久坐标系或可以与其相关联。与本文所描述的任何其他地图一样，规范地图可以与例如另一地图中的持久坐标系合并以渲染新的规范地图(例如，通过使用地图合并算法)。
已定位到特定XR设备的规范地图可以称为提升地图。在一些实施例中，规范地图包括坐标信息(例如，点的坐标、坐标系等)，并且还可以包括一个或多个结构，该结构包括例如至少一个PCF(持久坐标系)。为了定位跟踪地图，与跟踪地图相关的图像帧或关键帧可以与与规范地图相关的至少一个PCF相关联；并且然后可以使用图像的姿势来定位存储姿势信息的跟踪地图。在一些实施例中，规范地图包括一个或多个结构(例如，对象)，其包括存储在规范地图内或以其他方式单独存储在数据结构中并与该一个或多个结构相关联的一个或多个持久坐标系(PCF)。在一些实施例中，在规范地图中表示的结构(例如，对象)可以包括具有持久坐标系信息并且表示对象的单个PCF节点。在一些其他实施例中，规范地图中表示的结构可以包括多个PCF，每个PCF是相对于例如生成或更新规范地图的设备的参考坐标系的本地坐标系。而且，这些多个PCF可以分别表示对象的多个对应特征。在一些实施例中，针对规范框架定义和/或包括在规范框架中的态射或一个或多个函数可以进一步包括以下一个或多个操作：接收来自例如跟踪地图、稀疏地图、密集地图等输入(例如，输入位置、取向、姿势、表面、坐标系、和/或深度信息)，并通过执行变换(例如，用于平移、旋转、镜像等的矩阵运算)来生成针对输入的输出。在一些实施例中，规范地图仅包括态射(或一个或多个函数)和一个或多个结构，每个结构由一个或多个持久坐标系表示，但不是其他数据或信息。在一些其他实施例中，规范地图包括态射、一个或多个结构，每个结构由一个或多个持久坐标系表示，以及对应于该结构的描述或特征的数据或元数据。下面进一步描述关于持久坐标系的更多细节。
规范地图可以用相应的排名进行排名，这些排名可以指示具有与跟踪地图的区域相似的区域的规范地图，使得在尝试将跟踪地图合并到规范地图中时，很可能在跟踪地图的至少一部分与规范地图的至少一部分之间将存在对应关系。规范地图可能具有一个或多个图块或定义区域；并且将规范地图与另一地图合并可能限于一个或多个图块或定义区域以节省计算资源消耗。
在一些实施例中，规范地图可以包括定义一个或多个持久坐标系(PCF)的一组特征，尽管不要求该组特征与规范地图或跟踪地图中的单个持久位置相关联。在一些实施例中，跟踪地图中的一组特征点变换为与规范地图中的一组候选特征对齐。该变换可以应用于整个跟踪地图，从而使得跟踪地图和规范地图的重叠部分能够被标识。
可以合并多个规范地图以渲染新的规范地图。在一些实施例中，规范地图的属性可以从用于形成规范地图区域的一个或多个跟踪地图的属性导出。在其中基于合并到规范地图中的跟踪地图中的持久姿势来定义规范地图的持久坐标系的一些实施例中，可以为持久坐标系分配与持久姿势相同的属性。在一些实施例中，规范地图可以包括用作规范地图标识符的多个属性，指示规范地图在物理空间内的位置，诸如在地球上的某个地方或空间中的某个地方。
在一些实施例中，多个规范地图可以在地理上以二维图案设置，因为这些多个规范地图可以存在于地球表面上(或空间中)。这些规范地图可以通过例如对应的经度和纬度或相对于地球的位置来唯一地标识。在这些实施例中，这些规范地图可以提供对应物理世界中重建的物理对象的平面图，由相应点表示。规范地图中的地图点可以表示可能包括多个特征的物理对象的特征。在服务器未存储由跟踪地图表示的物理世界区域的规范地图的一些实施例中，跟踪地图可以存储为初始规范地图，当可用时，可以进一步处理该初始规范地图以变成具有相关数据的规范地图。
图3描绘了根据一些实施例的AR系统502，其被配置为提供与物理世界506交互的AR内容的体验。AR系统502可以包括显示器508。在所示的实施例中，显示器508可以由用户作为头戴式耳机的一部分来佩戴，使得用户可以像一副护目镜或眼镜一样将显示器戴在他们的眼睛上。显示器的至少一部分可以是透明的，使得用户可以观察到透视现实510。透视现实510可以对应于处于AR系统502的当前视点内的物理世界506的部分，在用户戴上结合了AR系统的显示器和传感器的头戴式耳机以获取有关物理世界的信息的情况下，这可以与用户的视点相对应。
AR内容也可以呈现在显示器508上，覆盖在透视现实510上。为了在显示器508上提供AR内容和透视现实510之间的准确交互，AR系统502可以包括被配置为捕获有关物理世界506的信息的传感器522。
传感器522可包括输出深度图512的一个或多个深度传感器。每个深度图512可具有多个像素，每个像素可表示距在特定方向中相对于深度传感器的物理世界506中的表面的距离。原始深度数据可来自深度传感器以创建深度图。该深度图可以与深度传感器可以形成新图像的速度一样快地被更新，其可以是每秒成百上千次。然而，该数据可能是嘈杂的和不完整的，并且在所示的深度图上具有示为黑色像素的孔。
该系统可以包括其它传感器，诸如图像传感器。图像传感器可以获取单眼或立体信息，该信息可以被处理为以其它方式表示物理世界。例如，可以在世界重建部件516中对图像进行处理以创建网格，该网格表示物理世界中对象的连接部分。有关这种对象的元数据(包括例如颜色和表面纹理)可以类似地采用传感器获取，并作为世界重建的一部分进行存储。
系统还可以获取关于用户相对于物理世界的头部姿势(或“姿势”)的信息。在一些实施例中，系统的头部姿势跟踪部件可以用于实时计算头部姿势。头部姿势跟踪部件可以在具有六个自由度的坐标系中表示用户的头部姿势，六个自由度包括例如三个垂直轴的平移(例如，向前/向后，向上/向下，向左/向右)以及围绕该三个垂直轴的旋转(例如，俯仰、偏航和滚动)。在一些实施例中，传感器522可包括可用于计算和/或确定头部姿势514的惯性测量单元(“IMU”)。用于深度图的头部姿势514可指示例如以六个自由度捕获深度图的传感器的当前视点，但是头戴式耳机514可用于其它目的，诸如将图像信息与物理世界的特定部分相联系或将佩戴在用户头部上的显示器的位置与物理世界相联系。
在一些实施例中，头部姿势信息可以以不同于IMU(诸如分析图像中的对象)的其它方式来导出。例如，头部姿势跟踪部件可以基于由相机捕获的视觉信息和由IMU捕获的惯性信息来计算AR设备相对于物理对象的相对位置和取向。头部姿势跟踪部件然后可以例如通过将所计算的AR设备相对于物理对象的相对位置和取向与物理对象的特征进行比较来计算AR设备的头部姿势。在一些实施例中，该比较可以通过识别利用一个或多个传感器522捕获的图像中的特征来进行，该一个或多个传感器522是随时间稳定的，以便随时间捕获的图像中的这些特征的位置的变化可以与用户的头部姿势的变化相关联。
发明人已经认识到并理解了用于操作XR系统以提供XR场景用于更沉浸的用户体验的技术，诸如以1kHz的频率估计头部姿势，以与XR设备相关的计算资源的低使用率，其可以配置有例如以30Hz操作的四个视频图形阵列(VGA)相机、以1kHz操作的一个惯性测量单元(IMU)、单个高级RISC机器(ARM)内核的计算能力，内存小于1GB，网络带宽小于100Mbp。这些技术涉及减少生成和维护地图和估计头部姿势所需的处理，以及以低计算开销提供和使用数据。XR系统可以基于匹配的视觉特征来计算其姿势。
在一些实施例中，AR设备可以根据用户带着该AR设备在整个物理世界中移动时捕获的一系列图像帧中的连续图像中识别出的特征点来构建地图。尽管每个图像帧可以取自用户移动时的不同姿势，但是系统可以通过将连续图像帧的特征与先前捕获的图像帧相匹配，来调整每个连续图像帧的特征的取向，以与初始图像帧的取向相匹配。连续图像帧的平移使得表示相同特征的点将与先前收集的图像帧中的对应特征点相匹配，可用于对齐每个连续图像帧以与先前处理的图像帧的取向相匹配。生成的地图中的帧可以具有在第一图像帧被添加到地图时建立的共同取向。该地图在公共参考框架中具有多组特征点，该地图可用于通过将当前图像帧中的特征与地图进行匹配来确定用户在物理世界中的姿势。在一些实施例中，该地图可以被称为跟踪地图。
除了能够跟踪用户在环境中的姿势之外，该地图还可以使系统的其他部件(例如世界重建部件516)能够确定物理对象相对于用户的位置。世界重建部件516可以从传感器接收深度图512和头部姿势514以及任何其它数据，并将该数据集成到重建518中。重建518可以比传感器数据更完整并且噪声更少。世界重建部件516可以使用随时间推移的来自多个视点的传感器数据的空间和时间平均来更新重建518。
重建518可以包括一种或多种数据格式(包括例如体素、网格、平面等)的物理世界的表示。不同格式可以表示物理世界的相同部分的替代表示或可以表示物理世界的不同部分。在所示的示例中，在重建518的左侧，物理世界的部分被呈现为全局表面；在重建518的右侧，物理世界的部分被呈现为网格。
在一些实施例中，由头部姿势部件514保持的地图可以相对于可能保持的物理世界的其他地图稀疏。稀疏地图可以指示关注点和/或结构(例如拐角或边缘)的位置，而不是提供有关表面的位置以及可能的其他特征的信息。在一些实施例中，地图可以包括由传感器522捕获的图像帧。这些帧可以被简化为可以表示关注点和/或结构的特征。结合每个帧，关于从其获取帧的用户的姿势的信息也可以被存储为地图的一部分。在一些实施例中，可以存储或可以不存储由传感器获取的每个图像。在一些实施例中，当图像被传感器收集时，系统可以处理图像，并且选择图像帧的子集用于进一步计算。该选择可以基于一个或多个标准，该标准限制信息的添加，但确保地图包含有用的信息。系统可以例如基于与已经添加到地图的先前图像帧的重叠或者基于包含被确定为可能表示静止对象的足够数量的特征的图像帧，来向地图添加新图像帧。在一些实施例中，所选择的图像帧或来自所选择的图像帧的特征组可以用作地图的关键帧，其用于提供空间信息。
在一些实施例中，可以减少在构建地图时处理的数据量，诸如通过构建具有映射点和关键帧的集合的稀疏地图和/或将地图划分为块以使能逐块更新。映射点可以与环境中的关注点相关联。关键帧可能包括从相机捕获的数据中所选择的信息。
AR系统502可以从物理世界的多个角度随时间整合传感器数据。当包括传感器的设备移动时，可以跟踪传感器的姿势(例如，位置和取向)。由于传感器的帧姿势及其与其他姿势的关系是已知的，因此可以将物理世界的这些多个视点中的每个视点融合在一起，形成物理世界的单个组合重建，这可以用作地图的抽象(abstract)层并提供空间信息。通过使用空间和时间平均(即，随时间推移从多个视点对数据进行平均)或任何其他适当的方法，重建可以比原始传感器数据更完整且噪声更少。
在图3所示的实施例中，地图表示其中存在单个可穿戴设备的用户的物理世界的部分。在那种情况下，与地图中的框架相关联的头部姿势可以被表示为本地头部姿势，指示相对于会话开始时单个设备的初始取向的取向。例如，当设备被开启时可以相对于初始头部姿势对头部姿势进行跟踪，或者以其他方式操作来扫描环境以建立该环境的表示。
结合表征物理世界的那部分的内容，地图可以包括元数据。元数据例如可以指示捕获用于形成地图的传感器信息的时间。可替代地或另外地，元数据可以指示在捕获用于形成地图的信息时传感器的位置。位置可以直接表示，诸如采用来自GPS芯片的信息，也可以间接表示，诸如采用无线(例如，Wi-Fi)签名，该Wi-Fi签名指示在收集传感器数据的同时从一个或多个无线接入点接收到的信号的强度，和/或采用收集传感器数据的同时用户设备连接到的无线接入点的诸如BSSID的标示符。
重建518可以用于AR功能，诸如产生用于遮挡处理或基于物理的处理的物理世界的表面表示。该表面表示可能随着用户移动或真实世界中的对象改变而改变。重建518的各方面可以例如由在世界坐标中产生改变的全局表面表示的部件520使用，其可以由其它部件使用。
可以基于该信息，诸如通过AR应用504来生成AR内容。AR应用504可以是例如游戏程序，其基于关于物理世界的信息来执行一个或多个功能，诸如视觉遮挡、基于物理的交互和环境推理。它可以通过查询来自世界重建部件516所产生的重建518的不同格式的数据来执行这些功能。在一些实施例中，部件520可以被配置为当物理世界的关注区域中的表示改变时输出更新。例如，该关注区域可以被设置为近似于系统用户附近的物理世界的一部分，诸如用户视野内的部分，或者被投影(预测/确定)为进入用户的视野内。
AR应用504可以使用该信息来生成和更新AR内容。AR内容的虚拟部分可以结合透视现实510呈现在显示器508上，从而创建真实的用户体验。
在一些实施例中，可以通过XR设备向用户提供AR体验，该XR设备可以是可穿戴显示设备，它可以是系统的一部分，该系统可以包括远程处理和/或远程数据存储和/或，在一些实施例中，其他用户佩戴的其他可穿戴显示设备。为了简化图示，图4示出了包括单个可穿戴设备的系统580(以下称为“系统580”)的示例。系统580包括头戴式显示设备562(以下称为“显示设备562”)，以及支持显示设备562的功能的各种机械和电子模块和系统。显示设备562可以耦合至框架564，该框架564可由显示系统用户或观看者560(以下称为“用户560”)佩戴，并被配置为将显示设备562定位在用户560的眼前。根据各种实施例，显示设备562可以顺序显示。显示设备562可以是单眼的或双眼的。在一些实施例中，显示设备562可以是图3中的显示器508的示例。
在一些实施例中，扬声器566耦合到框架564并定位在用户560的耳道附近。在一些实施例中，未示出的另一扬声器定位在用户560的另一耳道附近，以提供立体声/可塑声音控制。显示设备562诸如通过有线导线或无线连接568可操作地耦合到本地数据处理模块570，该本地数据处理模块570可以以各种配置安装，诸如固定地附接到框架564，固定地附接到用户560所戴的头盔或帽子，嵌入耳机中或以其它方式可移除地附接到用户560(例如，以背包式配置，以腰带耦合式配置)。
本地数据处理模块570可以包括处理器以及诸如非易失性存储器(例如，闪存)的数字存储器，这二者都可以用于协助数据的处理、缓存和存储。数据包括：a)从传感器(例如，可以可操作地耦合到框架564)捕获或以其它方式附接到用户560的数据，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块572和/或远程数据存储库574获取和/或处理，可能在该处理或取得之后传递给显示设备562的数据。
在一些实施例中，可穿戴设备可以与远程部件通信。本地数据处理模块570可以通过通信链路576、578(诸如经由有线或无线通信链路)相应地可操作地耦合到远程处理模块572和远程数据存储库574，使得这些远程模块572、574彼此可操作地相互耦合并且可用作本地数据处理模块570的资源。在进一步的实施例中，作为远程数据存储库574的补充或替代，可穿戴设备可以访问基于云的远程数据存储库和/或服务。在一些实施例中，上述头部姿势跟踪部件可以至少部分地在本地数据处理模块570中实现。在一些实施例中，图3中的世界重建部件516可以至少部分地在本地数据处理模块570中实现。例如，本地数据处理模块570可以被配置为执行计算机可执行指令以至少部分地基于数据的至少一部分来生成地图和/或物理世界表示。
在一些实施例中，处理可以分布在本地处理器和远程处理器上。例如，本地处理可以用于基于利用用户设备上的传感器收集的传感器数据来构造该用户设备上的地图(例如，跟踪地图)。此类地图可由该用户设备上的应用使用。另外，先前创建的地图(例如，规范地图)可以存储在远程数据存储库574中。在适当的已存储或持久地图可用的情况下，它可以代替在设备上本地创建的跟踪地图或在设备上本地创建的跟踪地图之外使用。在一些实施例中，可以将跟踪地图定位到存储地图，使得在跟踪地图与规范地图之间建立对应关系，其中跟踪地图可能相对于用户开启系统时的可穿戴设备的位置来取向，规范地图可以相对于一个或多个持久特征取向。在一些实施例中，持久地图可以被加载在用户设备上，以允许用户设备渲染虚拟内容而没有与对位置进行扫描相关联的延迟，从而根据在扫描期间获取的传感器数据来构建用户的整个环境的跟踪地图。在一些实施例中，用户设备可以访问远程持久地图(例如，存储在云端)，而无需在用户设备上下载持久地图。
在一些实施例中，空间信息可以从可穿戴设备传送到远程服务，例如被配置为将设备定位到在云服务上维护的存储地图的云服务。根据一个实施例，定位过程可以在云中进行，将设备位置与现有地图(例如规范地图)相匹配，并返回将虚拟内容链接到可穿戴设备位置的变换。在这样的实施例中，系统可以避免将地图从远程资源传送到可穿戴设备。其他实施例可以被配置用于基于设备和基于云的定位，例如，以启用网络连接不可用或用户选择不启用基于基于云的定位的功能。本文描述的基于云的定位环境提供计算资源(例如，计算资源、存储资源等)的按需可用性，由XR设备的用户直接管理。基于云的定位环境在一些实施例中可以是私有云，在一些其他实施例中可以是公共云，或者在另外其他实施例中可以是私有云和公共云的混合云。
私有云包括仅为单个组织操作的云基础设施，无论是内部管理还是由第三方管理，并且在内部或外部托管。公共云通过公共互联网或直接连接服务提供服务，允许用户将其数据中心安全地链接到其云驻留应用，此类服务可以作为付费订阅或免费提供。混合云是公共云和私有环境(例如私有云或本地(on-premise)资源)的组合，它们仍然是不同的实体，但被绑定在一起，提供多种部署模型的好处。混合云可以提供将组合(collocation)、管理和/或专用服务与云资源连接的能力，并且可以包括来自不同服务提供商的私有、公共和社区云服务的某种组合。
在一些实施例中，本文描述的基于云的定位环境共享各种计算资源，使得XR设备的用户可以利用各种应用、服务、微服务等的功能，同时与在本地拥有部分或全部此类功能相比时避免前期成本以及后续维护和升级成本。在一些实施例中，基于云的定位环境提供高级应用编程接口以抽象低级底层基础设施(例如，计算资源、安全性、备份等)，从而以基础设施即服务的形式提供资源池，其中具有管理程序(hypervisor)的集合，每个管理程序都支持一组虚拟机，以动态向上和向下扩展服务(例如，任意软件应用、服务、微服务等)。
在一些实施例中，本文描述的基于云的定位环境可以通过将各种应用(例如，由客户端创建的软件应用)、库、服务、工具等部署到云基础设施上来提供为平台即服务，其中云基础设施包括用于软件开发者客户端或用户的基本计算资源(例如，网络、一个或多个服务器、一个或多个Web服务器、一个或多个编程语言执行环境、一个或多个数据库、一个或多个操作系统等)以在云平台上开发并且运行他们的软件应用。在一些实施例中，本文描述的基于云的定位环境可以作为软件即服务来提供。在这些实施例中，基于云的定位环境可以将由基于云的定位环境的提供商或任何第三方云服务提供商开发的软件应用、服务和/或微服务作为按需软件提供给客户和用户。在一些实施例中，可以将基于云的定位环境作为移动后端即服务来提供，以便将用户的网络应用和移动应用(例如，XR设备上的网络应用和移动应用)链接到存储和计算服务，其中，一个或多个API向此类Web应用和移动应用公开。
此外，在现收现付的基础上，XR设备的用户可以使用至少一些应用功能以提供可扩展性。在一些实施例中，本文描述的基于云的定位环境可以采用硬件虚拟化(例如，通过使用一个或多个管理程序来虚拟化硬件资源以及通过以服务或执行应用或服务的虚拟机的形式提供资源池等)和/或面向服务的结构，以在细粒度、自助服务的基础上向用户提供具有安全性、冗余、可扩展性、弹性、和/或动态的各种功能，用户可能通过浏览器和/或一个或多个应用编程接口(API)通过网络连接获得此类功能。此外，基于云的定位环境中的服务器或虚拟机可以监控、收集、控制和优化资源利用，例如，通过在一个或多个抽象级别上利用计量能力，这些抽象级别适用于特定的相应类型的服务。此外，本文描述的基于云的定位环境还提供生产力应用、服务和/或微服务，以使多个用户能够就任务进行协作，例如在3D虚拟环境中参加虚拟会议，就好像这些多个用户是在物理会议室中，其中，尽管在虚拟环境中呈现、在同一文件上进行编辑等，但所有工具(例如，白板、投影仪等)都可用。
可替代地或另外地，可以将跟踪地图与先前存储的地图合并以扩展或改善那些地图的质量。确定合适的先前创建的环境地图是否可用和/或将跟踪地图与一个或多个存储的环境地图合并的处理可以在本地数据处理模块570或远程处理模块572中完成。
在一些实施例中，本地数据处理模块570可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器(例如，图形处理单元(GPU))。在一些实施例中，本地数据处理模块570可以包括单个处理器(例如，单核或多核ARM处理器)，这将限制本地数据处理模块570的计算预算，但是实现更小型的设备。在一些实施例中，世界重建部件516可以使用小于单个高级RISC机器(ARM)核心的计算预算来在非预定义空间上实时生成物理世界表示，使得单个ARM核心的剩余计算预算可以访问以用于其它用途，诸如例如提取网格。
在一些实施例中，远程数据存储库574可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它联网配置而可用。在一些实施例中，所有数据被存储在并且所有计算在本地数据处理模块570中执行，从而允许来自远程模块的完全自主的使用。在一些实施例中，所有数据被存储并且所有或大多数计算在远程数据存储库574中执行，从而允许较小的设备。例如，世界重建可以全部或部分地存储在该存储库574中。
在其中数据被远程存储并且可以通过网络访问的实施例中，数据可以被增强现实系统的多个用户共享。例如，用户设备可以上传他们的跟踪地图，以增强环境地图的数据库。在一些实施例中，跟踪地图上传发生在与可穿戴设备的用户会话结束时。在一些实施例中，跟踪地图上传可以在预定义时间，从先前上传开始的预定义时间段之后，或者在被事件触发时，连续、半连续、间歇地发生。无论基于来自该用户设备还是任何其他用户设备的数据，任何用户设备上传的跟踪地图都可用于扩展或改善先前存储的地图。同样，下载到用户设备的持久地图可以基于来自该用户设备或任何其他用户设备的数据。以该方式，用户可以容易地获得高质量的环境地图以改善他们在AR系统中的体验。
在另外的实施例中，可以基于在(例如，在云中的)远程资源上所执行的定位来限制和/或避免持久地图下载。在这样的配置中，可穿戴设备或其他XR设备向云服务传送与姿势信息相结合的特征信息(例如，在感测到特征信息中表示的特征时设备的定位信息)。云服务的一个或多个部件可以将特征信息与相应的存储地图(例如，规范地图)相匹配，并且生成由XR设备所维护的跟踪地图与规范地图的坐标系之间变换。其跟踪地图相对于规范地图进行定位的每个XR设备可以基于其自己的跟踪在相对于规范地图指定的位置准确地渲染虚拟内容。
在一些实施例中，本地数据处理模块570可操作地耦合到电池582。在一些实施例中，电池582是可移动电源，诸如在计数器电池上方。在其它实施例中，电池582是锂离子电池。在一些实施例中，电池582既包括在系统580的非操作时间期间可由用户560充电的内部锂离子电池，又包括可移除的电池，使得用户560可以在更长的时间段内操作系统580，而不必连接到电源以为锂离子电池充电，或者不必关闭系统580以更换电池。
图5A示出了当用户530在移动穿过物理世界环境532(以下称为“环境532”)时，佩戴有渲染AR内容的AR显示系统的用户530。AR系统沿着用户的移动路径捕获的信息可以被处理成一个或多个跟踪地图。用户530将AR显示系统定位在位置534，并且AR显示系统记录可通行世界相对于位置534的环境信息(例如，物理世界中真实对象的数字表示，其可以随着对真实对象在物理世界的改变被存储和更新)。该信息可以与图像、特征、定向音频输入或其他所需数据结合起来作为姿势存储。位置534例如作为跟踪地图的一部分被聚集到数据输入536，并且至少由可通行世界模块538处理，该可通行世界模块538可以例如通过在图4的远程处理模块572上的处理来实现。在一些实施例中，可通行世界模块538可以包括头部姿势部件514和世界重建部件516，使得经处理的信息可以结合与在渲染虚拟内容中使用的物理对象相关的其他信息来指示对象在物理世界中的位置。
可通行世界模块538至少部分地确定如从数据输入536确定的AR内容540可以被放置在物理世界中的位置和方式。AR内容通过经由用户界面呈现物理世界呈现和AR内容二者来“放置”在物理世界中，AR内容渲染为好像与物理世界中的对象进行交互，并且物理世界中的对象呈现为好像AR内容在适当时掩盖了用户对这些对象的观看。在一些实施例中，可以通过从重建(例如重建518)中适当地选择固定元素542(例如桌子)的部分来确定AR内容540的形状和位置来放置AR内容。作为示例，固定元素可以是桌子，并且虚拟内容可以定位成使得其看起来好像在该桌子上。在一些实施例中，可以将AR内容放置在视野544中的结构内，该视野可以是当前视野或估计的未来视野。在一些实施例中，AR内容可以持续相对于物理世界的模型546(例如网格)。
如所描绘的，固定元素542用作可存储在可通行世界模块538中的物理世界内的任何固定元素的代理(例如，数字副本)，使得用户530可以感知固定元素542上的内容而无需每次用户530看到固定元素542时系统都必须地图构建到固定元素542。因此，固定元素542可以是来自先前建模会话的网格模型，或者可以由单独的用户确定但是仍然由可通行世界模块538存储，以供多个用户将来参考。因此，可通行世界模块538可以从先前地图构建的环境中识别环境532并显示AR内容，而无需用户530的设备首先对环境532的全部或一部分进行地图构建，从而节省了计算过程和周期并避免了任何渲染的AR内容的时延。
可以通过AR显示系统来创建物理世界的网格模型546，并且用于交互和显示AR内容540的适当的表面和度量可以由可通行世界模块538存储，以供用户530或其他用户将来取得，而无需完全或部分地重新创建模型。在一些实施例中，数据输入536是诸如地理位置、用户标识和当前活动的输入，以向可通行世界模块538指示一个或多个固定元素中的哪个固定元素542可用，哪个AR内容540最后被放置在固定元素542上，以及是否显示该相同的内容(无论用户如何观看特定的可通行世界模型，这种AR内容都是“持久”内容)。
即使在其中对象被认为是固定的(例如，厨房桌子)实施例中，可通行世界模块538也可以不时更新物理世界模型中的那些对象新，以考虑到物理世界中变化的可能性。固定对象的模型可能以非常低的频率更新。物理世界中的其它对象可能正在移动或以其它方式不被认为是固定的(例如厨房椅子)。为了渲染具有真实感的AR场景，AR系统可以以比用于更新固定对象的频率高得多的频率来更新这些非固定对象的位置。为了能够准确跟踪物理世界中的所有对象，AR系统可以从多个传感器(包括一个或多个图像传感器)中获取信息。
图5B是观看光学组件548和伴随部件的示意图。在一些实施例中，指向用户眼睛549的两个眼睛跟踪相机550检测用户眼睛549的度量，诸如用户眼睛549上的眼睛形状、眼睑闭塞、瞳孔方向和闪烁。
在一些实施例中，传感器之一可以是深度传感器551，诸如飞行时间传感器，其向世界发射信号并检测来自附近对象的那些信号的反射以确定与给定对象的距离。深度传感器例如可以由于那些对象的运动或用户姿势的变化而快速确定对象是否已经进入用户的视野。然而，关于对象在用户视野中的位置的信息可以可替代地或另外地由其它传感器收集。深度信息例如可以从立体视觉图像传感器或全光传感器获得。
在一些实施例中，世界相机552记录大于外围的视图以对环境532进行地图构建和/或以其他方式创建环境532的模型，并检测可影响AR内容的输入。在一些实施例中，世界相机552和/或相机553可以是灰度和/或彩色图像传感器，该传感器可以以固定的时间间隔输出灰度和/或彩色图像帧。相机553可以在特定时间进一步捕获用户视野内的物理世界图像。即使基于帧的图像传感器的像素的值不变，也可以重复对其像素进行采样。世界相机552、相机553和深度传感器551中的每一个具有相应的视野554、555和556，以从诸如图5A中描绘的物理世界环境532的物理世界场景中收集数据并记录该物理世界场景。
惯性测量单元557可以确定观看光学组件548的运动和取向。在一些实施例中，每个部件可操作地耦合到至少一个其它部件。例如，深度传感器551可操作地耦合到眼睛跟踪相机550，以相对于用户眼睛549正在注视的实际距离来确认所测量的适应。
应当理解，观看光学组件548可以包括图5B中所示的一些部件，并且可以包括代替所示部件或除了所示部件之外的部件。例如，在一些实施例中，观看光学组件548可以包括两个世界相机552而不是四个。可替代地或另外地，相机552和553不需要捕获其全部视野的可见光图像。观看光学组件548可以包括其它类型的部件。在一些实施例中，观看光学组件548可以包括一个或多个动态视觉传感器(DVS)，其像素可以异步地响应超过阈值的光强度的相对变化。
在一些实施例中，基于飞行时间信息，观看光学组件548可以不包括深度传感器551。例如，在一些实施例中，观看光学组件548可以包括一个或多个全光相机，其像素可以捕获光强度和入射光的角度，由此可以确定深度信息。例如，全光相机可以包括覆盖有透射衍射掩模(TDM)的图像传感器。可替代地或另外地，全光相机可以包括图像传感器，该图像传感器包含角度敏感像素和/或相位检测自动聚焦像素(PDAF)和/或微透镜阵列(MLA)。代替深度传感器551或除了深度传感器551之外，这种传感器可以用作深度信息源。
还应当理解，图5B中的部件的配置被提供为示例。观看光学组件548可以包括具有任何适当配置的部件，该适当配置可以设定为向用户提供对于一组特定部件实际可行的最大视野。例如，如果观看光学组件548具有一个世界相机552，则该世界相机可以放置在观看光学组件的中心区域而不是侧面。
来自观看光学组件548中的传感器的信息可以耦合到系统中的一个或多个处理器。处理器可以生成可以被渲染以便使用户感知与物理世界中的对象交互的虚拟内容的数据。可以以任何合适的方式来实现该渲染，包括生成描绘物理和虚拟对象二者的图像数据。在其它实施例中，可以通过调制用户在物理世界中浏览的显示设备的不透明度来在一个场景中描绘物理和虚拟内容。可以控制不透明度以便创建虚拟对象的外观，并且还阻止用户看到物理世界中被虚拟对象遮挡的对象。在一些实施例中，当通过用户界面观看时，图像数据可以仅包括虚拟内容，该虚拟内容可以被修改以使得虚拟内容被用户感知为与物理世界现实地交互(例如，剪辑内容以考虑遮挡)。
观看光学组件548上的显示内容以产生对象位于特定位置的印象的位置可以取决于观看光学组件的物理性质。此外，用户头部相对于物理世界的姿势以及用户眼睛注视的方向可以影响在物理世界中显示内容的位置将会出现在观察光学组件上的特定位置。如上所述的传感器可以收集该信息，和/或提供可以从中计算该信息的信息，使得接收传感器输入的处理器可以计算应该在观看光学组件548上渲染对象的位置从而为用户创建期望的外观。
无论如何向用户呈现内容，都可以使用物理世界的模型，使得可以正确计算可受到物理对象影响的虚拟对象的特性，包括虚拟对象的形状、位置、运动和可见性。在一些实施例中，模型可以包括物理世界的重建，例如重建518。
可以根据从用户的可穿戴设备上的传感器收集的数据来创建该模型。但是，在一些实施例中，可以从多个用户收集的数据中创建模型，该数据可以在远离所有用户的计算设备中汇总(并且该数据可以在“云中”)。
模型可以至少部分地由世界重建系统创建，诸如例如，图6A中更详细地描绘的图3的世界重建部件516。世界重建部件516可以包括感知模块660，该感知模块660可以生成、更新和存储物理世界的一部分的表示。在一些实施例中，感知模块660可以将传感器的重建范围内的物理世界的部分表示为多个体素。每个体素可以对应于物理世界中预定体积的3D立方体，并且包括表面信息，该表面信息指示在体素表示的体积中是否存在表面。可以为体素分配值，该值指示是否已经确定了它们的对应体积以包括物理对象的表面，确定为空的还是尚未用传感器测量，并且因此其值是未知的。应当理解，不需要明确地存储指示被确定为空或未知的体素的值，因为可以以任何合适的方式将体素的值存储在计算机存储器中，包括不存储被确定为空或未知的体素的信息。
除了生成用于持久世界表示的信息之外，感知模块660还可以识别并输出AR系统的用户周围的区域中的变化的指示。这种变化的指示可以触发对作为持久世界的一部分存储的体积数据的更新，或者触发其它功能，诸如触发生成AR内容以更新AR内容的触发部件604。
在一些实施例中，感知模块660可以基于符号距离函数(SDF)模型来识别变化。感知模块660可以被配置为接收诸如例如深度图660a和头部姿势660b的传感器数据，并且然后将传感器数据融合到SDF模型660c中。深度图660a可以直接提供SDF信息，并且图像可以被处理以获得SDF信息。SDF信息表示距用于捕获该信息的传感器的距离。由于那些传感器可以是可穿戴单元的一部分，因此SDF信息可以从可穿戴单元的角度以及因此从用户的角度表示物理世界。头部姿势660b可以使SDF信息能够与物理世界中的体素相关。
在一些实施例中，感知模块660可以生成、更新和存储在感知范围内的物理世界的部分的表示。感知范围可以至少部分地基于传感器的重建范围来确定，该传感器的重建范围可以至少部分地基于传感器的观察范围的限制来确定。作为特定示例，使用主动IR脉冲操作的主动深度传感器可以在一定距离范围内可靠地操作，从而创建传感器的观察范围，该观察范围可以从几厘米或几十厘米到几米。
世界重建部件516可以包括可以与感知模块660交互的附加模块。在一些实施例中，持久世界模块662可以基于由感知模块660获取的数据来接收对物理世界的表示。持久世界模块662还可以包括物理世界的各种格式的表示。例如，可以存储诸如体素的体积元数据662b以及网格662c和平面662d。在一些实施例中，可以保存其它信息，诸如深度图。
在一些实施例中，物理世界的表示(诸如图6A中所示的表示)与稀疏地图相比(诸如如上所述的基于特征点的跟踪地图)可以提供关于物理世界的相对密集的信息。
在一些实施例中，感知模块660可以包括以各种格式生成物理世界的表示的模块，这些格式包括例如网格660d、平面和语义660e。物理世界的表示可以跨本地存储介质和远程存储介质进行存储。取决于例如存储介质的位置，可以在不同的坐标框架中描述物理世界的表示。例如，可以在相对设备本地的坐标框架中描述存储在设备中的物理世界的表示。物理世界的表示可以具有存储在云端中的对应表示(counterpart)。可以由XR系统中的所有设备所共享的坐标框架中描述云端中的对应表示。
在一些实施例中，这些模块可以基于在生成表示时一个或多个传感器的感知范围内的数据以及在先前时间捕获的数据和持久世界模块662中的信息来生成表示。在一些实施例中，这些部件可以关于采用深度传感器捕获的深度信息来操作。然而，AR系统可以包括视觉传感器，并且可以通过分析单眼或双眼视觉信息来生成这种表示。
在一些实施例中，这些模块可以在物理世界的区域上操作。当感知模块660检测到物理世界的子区域中的物理世界的变化时，可以触发那些模块以更新物理世界的子区域。例如，可以通过在SDF模型660c中检测新的表面或其它标准(例如改变表示子区域的足够数量的体素的值)来检测这种变化。
世界重建部件516可以包括可以从感知模块660接收物理世界的表示的部件664。关于物理世界的信息可以由这些部件根据例如来自应用的使用请求来提取。在一些实施例中，可以诸如经由对预识别区域中的变化或感知范围内的物理世界表示的变化的指示，将信息推送到使用部件。部件664可以包括例如游戏程序和执行用于视觉遮挡、基于物理的交互以及环境推理的处理的其它部件。
响应于来自部件664的查询，感知模块660可以一种或多种格式发送用于物理世界的表示。例如，当部件664指示该使用是用于视觉遮挡或基于物理的交互时，感知模块660可以发送表面的表示。当部件664指示该使用是用于环境推理时，感知模块660可以发送物理世界的网格、平面和语义。
在一些实施例中，感知模块660可以包括格式化信息以提供部件664的部件。这种部件的示例可以是光线投射部件660f。使用部件(例如，部件664)例如可以从特定的视点查询关于物理世界的信息。光线投射部件660f可以从该视点从视野内的物理世界数据的一种或多种表示中选择。
从以上描述中应该理解，感知模块660或AR系统的另一部件可以处理数据以创建物理世界的部分的3D表示。可以通过以下方式来减少要处理的数据：至少部分基于相机视锥和/或深度图像来剔除3D重建体积的部分；提取和保留平面数据；捕获、保留和更新块中的3D重建数据，这些块允许在保持近邻一致性的同时进行本地更新；将遮挡数据提供给生成此类场景的应用，其中遮挡数据是从一个或多个深度数据源的组合中导出的；和/或执行多阶段网格简化。重建可以包含不同复杂程度的数据，包括例如原始数据(例如实时深度数据)，融合体积数据(例如体素)和计算数据(例如网格)。
在一些实施例中，可通行世界模型的部件可以是分布式的，其中一些部分在XR设备上本地执行，而一些部分在远程执行，例如在网络连接的服务器上，或者在云端。本地XR设备与云端之间的信息处理和存储的分配可以影响XR系统的功能和用户体验。例如，通过将处理分配给云端来减少本地设备上的处理可以延长电池寿命并减少本地设备上产生的热量。但是，将过多的处理分配给云端可能会产生不希望的延迟，这导致无法接受的用户体验。
图6B描绘了根据一些实施例的被配置用于空间计算的分布式部件架构600。分布式部件架构600可以包括可通行世界部件602(例如，图5A中的PW 538)、Lumin OS 604、API606、SDK 608和应用610。LuminOS 604可以包括基于Linux的内核，其具有与XR设备兼容的自定义驱动器。API 606可包括准许XR应用(例如，应用610)访问XR设备的空间计算特征的应用编程接口。SDK 608可包括允许创建XR应用的软件开发套件。
架构600中的一个或多个部件可以创建并保持可通行世界的模型。在此示例中，传感器数据是在本地设备上收集的。该传感器数据的处理可以部分地在XR设备上本地执行，部分地在云端执行。PW 538可以包括至少部分基于由多个用户佩戴的AR设备所捕获的数据而创建的环境地图。在AR体验的会话期间，各个AR设备(诸如以上结合图4描述的可穿戴设备)可以创建跟踪地图，该跟踪地图是地图的一种类型。
在一些实施例中，设备可以包括构建稀疏地图和密集地图的部件。跟踪地图可以用作稀疏地图，并且可以包括扫描环境的AR设备的头部姿势以及在每个头部姿势处在该环境内检测到的对象有关的信息。可以为每个设备在本地保持那些头部姿势。例如，每个设备上的头部姿势可以是相对于设备开启其会话时的初始头部姿势。结果，每个跟踪地图对创建它的设备可以是本地的。密集地图可以包括表面信息，该表面信息可以由网格或深度信息表示。替代地或附加地，密集地图可以包括从表面或深度信息中导出的更高级别的信息，例如平面和/或其他对象的位置和/或特征。
在一些实施例中，密集地图的创建可以独立于稀疏地图的创建。例如，可以在AR系统内的单独的处理管线中执行密集地图和稀疏地图的创建。例如，分开的处理可以使得能够以不同的速率来执行不同类型的地图的生成或处理。例如，稀疏地图的刷新速度可能比密集地图的刷新速度快。然而，在一些实施例中，即使在不同的管线中执行，密集地图和稀疏地图的处理也可能是相关的。例如，在稀疏地图中显露的物理世界的变化可以触发密集地图的更新，反之亦然。此外，即使是独立创建的，这些地图也可以一起使用。例如，从稀疏地图导出的坐标系可以用于定义密集地图中的对象的位置和/或取向。
稀疏地图和/或密集地图可以被持久保存以由同一设备重用和/或与其他设备共享。这样的持久性可以通过将信息存储在云端来实现。AR设备可以将跟踪地图发送到云端，从而例如与从先前存储在云端的持久地图中选择的环境地图合并。在一些实施例中，可以将所选的持久地图从云端发送到AR设备以进行合并。在一些实施例中，持久地图可以相对于一个或多个持久坐标系取向。这样的地图可以用作规范地图，因为它们可以被多个设备中的任何一个使用。在一些实施例中，可通行世界的模型可以包括或由一个或多个规范地图或根据其来创建。即使基于设备本地的坐标框架执行一些操作，设备也可以通过确定设备本地的坐标框架与规范地图之间的变换来使用规范地图。
规范地图可以起源于跟踪地图(TM)(例如，图31A中的TM 1102)，其可以被提升为规范地图。可以持久保存规范地图，以便访问规范地图的设备一旦确定其本地坐标系与规范地图的坐标系之间的变换，就可以使用规范地图中的信息来确定规范地图中表示的对象在设备周围的物理世界中的位置。在一些实施例中，TM可以是由XR设备创建的头部姿势稀疏地图。在一些实施例中，当XR设备将一个或多个TM发送到云服务器以与由XR设备在不同时间或由其他XR设备捕获的附加TM合并时，可以创建规范地图。
规范地图或其他地图可以提供由被处理以创建相应地图的数据所表示的物理世界的各个部分有关的信息。图7描绘了根据一些实施例的示例性跟踪地图700。跟踪地图700可以提供由点702表示的对应物理世界中的物理对象的平面图706。在一些实施例中，地图点702可以表示可以包括多个特征的物理对象的特征。例如，桌子的每个角可以是由地图上的点所表示的特征。这些特征可以通过处理图像导出，例如图像可以用增强现实系统中的可穿戴设备的传感器来获取。例如，可以通过以下方式来导出特征：通过处理传感器输出的图像帧，以基于图像中的大梯度或其他适当的标准来识别特征。进一步的处理可能会限制每个帧中的特征数量。例如，处理可以选择可能表示持久对象的特征。一种或多种试探法可以应用于该选择。
跟踪地图700可以包括关于由设备收集的点702的数据。对于具有跟踪地图中所包括的数据点的每个图像帧，可以存储姿势。姿势可以表示从其捕获图像帧的取向，使得每个图像帧内的特征点可以在空间上相关。该姿势可以通过定位信息来确定，定位信息诸如可通过可穿戴设备上的传感器(诸如IMU传感器)导出。替代地或附加地，可以通过将图像帧匹配到描绘物理世界的重叠部分的其他图像帧来确定姿势。通过寻找这种位置相关性，这可以通过匹配两个帧中的特征点的子集来实现，可以计算两个帧之间的相对姿势。相对姿势对于跟踪地图可能就足够了，因为该地图可以相对于基于在开始构建跟踪地图时设备的初始姿势而建立的该设备本地的坐标系。
并非设备收集的所有特征点和图像帧都可以保留为跟踪地图的一部分，因为用传感器收集的许多信息很可能是多余的。相反，仅某些帧可以添加到地图。可以基于一个或多个标准来选择那些帧，例如与地图中已经存在的图像帧的重叠程度，它们包含的新特征的数量、或该帧中特征的质量度量。未添加到跟踪地图的图像帧可以被丢弃或可用于修改特征的位置。作为另一替代方案，可以保留表示为一组特征的所有或大多数图像帧，但是可以将这些帧的子集指定为关键帧，以用于进一步处理。
关键帧可以被处理以产生关键装配(keyrig)704。关键帧可以被处理以产生特征点的三维集合并被保存为关键装配704。例如，这种处理可能需要比较从两个相机同时得到的图像帧来立体确定特征点的3D位置。元数据可以与这些关键帧和/或关键装配(例如，姿势)相关联。
环境地图可以取决于例如环境地图的存储位置而具有多种格式中的任何一种，该环境地图包括例如AR设备的本地存储和远程存储。例如，在内存有限的可穿戴设备上，远程存储中的地图可比本地存储中的地图具有更高的分辨率。为了将更高分辨率的地图从远程存储发送到本地存储，可以对地图进行下采样或以其它方式转换为适当的格式，例如通过减少存储在地图中的物理世界的每个区域的姿势数量和/或为每个姿势存储的特征点的数量。在一些实施例中，来自远程存储的高分辨率地图的切片或部分可以被发送到本地存储，其中切片或部分未被下采样。
当创建新的跟踪地图时，可以更新环境地图的数据库。为了确定数据库中可能非常大量的环境地图中的哪一个环境地图将被更新，更新可以包括有效地选择数据库中存储的与新的跟踪地图有关的一个或多个环境地图。可以通过相关性对所选的一个或多个环境地图进行排名，并且可以选择较高或最高排名的地图中的一个或多个地图以进行处理，以将较高排名的所选环境地图与新的跟踪地图合并以创建一个或多个更新的环境地图。当新的跟踪地图表示没有预先存在的环境地图要更新的物理世界的一部分时，该跟踪地图可以作为新的环境地图存储在数据库中。
观看独立显示
在此描述了用于使用与观看虚拟内容的眼睛的位置无关的XR系统提供虚拟内容的方法和装置。传统上，虚拟内容在显示系统的任何运动时被重新渲染。例如，如果佩戴显示系统的用户观看了显示器上的三维(3D)对象的虚拟表示并围绕3D对象出现的区域走动，则应为每个视点重新渲染3D对象，使得用户具有他或她正围绕占据真实空间的对象走动的感受。然而，重新渲染消耗了系统的大量计算资源，并且由于时延而导致伪像。
发明人已经认识并理解到，头部姿势(例如，佩戴XR系统的用户的位置和取向)可以用于渲染与用户的头部内的眼睛旋转无关的虚拟内容。在一些实施例中，可以基于跨一个或多个会话的真实空间中的多个坐标框架来生成场景的动态地图，使得与动态地图交互的虚拟内容可以被稳健地渲染，而与用户头部内的眼睛旋转无关和/或与例如在高速的计算密集型操作期间生成的热量所引起的传感器变形无关。在一些实施例中，多个坐标框架的配置可以使第一用户所佩戴的第一XR设备和第二用户所佩戴的第二XR设备能够识别场景中的公共位置。在一些实施例中，多个坐标框架的配置可以使佩戴XR设备的用户能够在场景的相同位置观看虚拟内容。
在一些实施例中，可以在世界坐标框架中构建跟踪地图，该世界坐标框架可以具有世界原点。当XR设备通电时，世界原点可以是XR设备的第一姿势。世界原点可以与重力对齐，使得XR应用的开发者可以在无需额外工作的情况下进行重力对齐。可以在不同的世界坐标框架中构建不同的跟踪地图，因为跟踪地图可以由在不同的会话中的相同的XR设备和/或由不同的用户佩戴的不同的XR设备捕获。在一些实施例中，XR设备的会话可以从设备通电开始到设备关闭。在一些实施例中，XR设备可以具有头部坐标框架，该头部坐标框架可以具有头部原点。头部原点可以是拍摄图像时XR设备的当前姿势。世界坐标框架的头部姿势与头部坐标框架的头部姿势之间的差异可用于估计跟踪路线。
在一些实施例中，XR设备可以具有相机坐标框架，该相机坐标框架可以具有相机原点。相机原点可以是XR设备的一个或多个传感器的当前姿势。发明人已经认识并且理解到，相机坐标框架的配置使得能够稳健地显示与用户的头部内的眼睛旋转无关的虚拟内容。该配置还使得能够稳健地显示虚拟内容，而与例如由于操作期间生成的热量导致的传感器变形无关。
在一些实施例中，XR设备可以具有头部单元，该头部单元具有用户可固定到其头部的头戴式框架，并且可以包括两个波导，在用户的每只眼睛前面一个。波导可以是透明的，使得来自真实世界的对象的环境光可以透射通过波导，并且用户可以看到真实世界的对象。每个波导可以将来自投影仪的投影光发送到用户的相应眼睛。投影光可以在眼睛的视网膜上形成图像。因此，眼睛的视网膜接收环境光和投影光。用户可以同时看到真实世界的对象以及由投影光创建的一个或多个虚拟对象。在一些实施例中，XR设备可以具有检测用户周围的真实世界对象的传感器。这些传感器例如可以是捕获可被处理以识别真实世界对象的位置的图像的相机。
在一些实施例中，与将虚拟内容附加到世界坐标框架中相反，XR系统可以将坐标框架分配给虚拟内容。这样的配置使得能够描述虚拟内容而不必考虑虚拟内容在何处渲染给用户，但是虚拟内容可以被附接到更持久的框架位置，诸如将在指定位置渲染的关于例如图14至图20C描述的持久坐标系(PCF)。当对象的位置改变时，XR设备可以检测环境地图中的改变并且确定用户佩戴的头部单元相对于真实世界对象的运动。
图8示出了根据一些实施例的在物理环境中正在体验由XR系统10渲染的虚拟内容的用户。XR系统可以包括由第一用户14.1佩戴的第一XR设备12.1、网络18和服务器20。用户14.1处于具有以桌子16形式的真实对象的物理环境中。
在所示示例中，第一XR设备12.1包括头部单元22、腰包24和电缆连接26。第一用户14.1将头部单元22固定至其头部，并且将远离头部单元22的腰包24固定至其腰部。电缆连接26将头部单元22连接到腰包24。头部单元22包括用于在允许第一用户14.1看到诸如桌子16的真实对象的同时向第一用户14.1显示一个或多个虚拟对象的技术。腰包24主要包括第一XR设备12.1的处理和通信能力。在一些实施例中，处理和通信能力可以全部或部分地驻留在头部单元22中，使得腰包24可以被移除或者可以位于诸如背包的另一设备中。
在所示的示例中，腰包24经由无线连接被连接到网络18。服务器20连接到网络18并保持代表本地内容的数据。腰包24经由网络18从服务器20下载表示本地内容的数据。腰包24经由电缆连接26向头部单元22提供数据。头部单元22可以包括具有光源(例如激光光源或发光二极管(LED)光源)的显示器，以及引导光的波导。
在一些实施例中，第一用户14.1可以将头部单元22安装至其头部，并将腰包24安装至其腰部。腰包24可以通过网络18从服务器20下载图像数据。第一用户14.1可以通过头部单元22的显示器看到桌子16。形成头部单元22的一部分的投影仪可以从腰包24接收图像数据并基于该图像数据生成光。光可以行进通过形成头部单元22的显示器的一部分的一个或多个波导。然后，光可以离开波导并传播到第一用户14.1的眼睛的视网膜上。投影仪可以以在第一用户14.1的眼睛的视网膜上复制的图案生成光。落在第一用户14.1的眼睛的视网膜上的光可以具有所选择的景深，使得第一用户14.1感知在波导之后的预选深度处的图像。另外，第一用户14.1的两只眼睛可以接收稍微不同的图像，使得第一用户14.1的大脑感知到距头部单元22的所选择距离处的一个或多个三维图像。在所示的示例中，第一用户14.1感知桌子16上方的虚拟内容28。虚拟内容28的比例及其相距第一用户14.1的位置和距离由表示虚拟内容28的数据以及用于向第一用户14.1显示虚拟内容28的各种坐标框架确定。
在所示的示例中，虚拟内容28从附图的角度是不可见的，并且通过使用第一XR设备12.1对于第一用户14.1是可见的。虚拟内容28可以最初作为数据结构驻留在腰包24中的视觉数据和算法内。然后，当头部单元22的投影仪基于数据结构生成光时，数据结构可以将自身表现为光。应当理解，尽管虚拟内容28在第一用户14.1前面的三维空间中不存在，但是虚拟内容28仍表示在三维空间中的图1中，以说明头部单元22的佩戴者感知。可以在该描述中使用三维空间中的计算机数据的可视化来示出由一个或多个用户感知到有助于渲染的数据结构如何在腰包24中的数据结构内彼此相关。
图9示出根据一些实施例的第一XR设备12.1的部件。第一XR设备12.1可以包括头部单元22，以及形成视觉数据和算法的一部分的各种部件，包括例如渲染引擎30、各种坐标框架32、各种原点和目的地坐标框架34以及各种原点到目的地坐标框架变换器36。各种坐标系可以基于XR设备的本征性质，或者可以通过参考其他信息来确定，诸如此处描述的持久姿势或持久坐标系。
头部单元22可以包括头戴式框架40、显示系统42、真实对象检测相机44、运动跟踪相机46和惯性测量单元48。
头戴式框架40可以具有可固定到图8中的第一用户14.1的头部的形状。显示系统42、真实对象检测相机44、运动跟踪相机46和惯性测量单元48可以安装到头戴式框架40，并且因此与头戴式框架40一起移动。
坐标系统32可以包括本地数据系统52、世界框架系统54、头部框架系统56和相机框架系统58。
本地数据系统52可以包括数据通道62、本地框架确定例程64和本地框架存储指令66。数据通道62可以是内部软件例程，诸如外部电缆或射频接收机的硬件部件，或者诸如打开的端口的混合部件。数据通道62可以被配置为接收表示虚拟内容的图像数据68。
本地框架确定例程64可以连接到数据通道62。本地框架确定例程64可以被配置为确定本地坐标框架70。在一些实施例中，本地框架确定例程可以基于真实世界对象或真实世界位置来确定本地坐标框架。在一些实施例中，本地坐标框架可以基于相对于浏览器窗口的底部边缘的顶部边缘、字符的头部或脚、包围虚拟内容的棱柱或边界框的外表面上的节点，或放置定义虚拟内容的面向方向和放置虚拟内容的位置(例如，节点，诸如放置节点或PCF节点)的坐标框架的任何其它合适位置等。
本地框架存储指令66可以连接到本地框架确定例程64。本领域技术人员将理解，软件模块和例程通过子例程、调用等彼此“连接”。本地框架存储指令66可以将本地坐标框架70存储为原点和目的地坐标框架34内的本地坐标框架72。在一些实施例中，原点和目的地坐标框架34可以是可被操纵或变换以使虚拟内容在会话之间持续存在的一个或多个坐标框架。在一些实施例中，会话可以是XR设备的启动和关闭之间的时间段。两个会话可以是单个XR设备的两个启动和关闭时间段，或者是两个不同的XR设备的启动和关闭时间段。
在一些实施例中，原点和目的地坐标框架34可以是为了使第一用户的XR设备和第二用户的XR设备识别公共位置所需的一个或多个变换中涉及的坐标框架。在一些实施例中，目的坐标框架可以是应用于目标坐标框架的一系列计算和变换的输出，以便第一和第二用户在相同位置中观看虚拟内容。
渲染引擎30可以连接到数据通道62。渲染引擎30可以从数据通道62接收图像数据68，使得渲染引擎30可以至少部分地基于图像数据68渲染虚拟内容。
显示系统42可以连接到渲染引擎30。显示系统42可以包括将图像数据68变换为可见光的部件。可见光可以形成两个图案，每只眼睛一个。可见光可以进入图8中的第一用户14.1的眼睛，并且可以在第一用户14.1的眼睛的视网膜上被检测到。
真实对象检测相机44可以包括可以从头戴式框架40的不同侧捕获图像的一个或多个相机。运动跟踪相机46可以包括可以在头戴式框架40的侧面上捕获图像的一个或多个相机。可以使用一组一个或多个相机代替表示真实对象检测相机44和运动跟踪相机46的两组一个或多个相机。在一些实施例中，相机44、46可以捕获图像。如上所述，这些相机可以收集用于构造跟踪地图的数据。
惯性测量单元48可以包括用于检测头部单元22的运动的多个设备。惯性测量单元48可以包括重力传感器、一个或多个加速度计以及一个或多个陀螺仪。惯性测量单元48的传感器组合地跟踪头部单元22在至少三个正交方向中以及围绕至少三个正交轴的运动。
在所示的示例中，世界框架系统54包括世界表面确定例程78、世界框架确定例程80和世界框架存储指令82。世界表面确定例程78连接到真实对象检测相机44。世界表面确定例程78接受基于由真实对象检测相机44捕获的图像的图像和/或关键帧，并且处理图像以识别图像中的表面。深度传感器(未示出)可以确定到表面的距离。因此，这些表面由包括他们的大小、形状和与真实对象检测相机的距离的三个维度的数据表示。
在一些实施例中，世界坐标框架84可以基于初始化头部姿势会话时的原点。在一些实施例中，世界坐标框架可以位于设备被启动的位置，或者如果在启动会话期间丢失头部姿势，则世界坐标框架可以位于新的地方。在一些实施例中，世界坐标框架可以是头部姿势会话开始时的原点。
在所示的示例中，世界框架确定例程80被连接到世界表面确定例程78，并基于由世界表面确定例程78确定的表面的位置来确定世界坐标框架84。世界框架存储指令82被连接到世界框架确定例程80，以从世界框架确定例程80接收世界坐标框架84。世界框架存储指令82将世界坐标框架84存储为原点与目的地坐标框架34内的世界坐标框架86。
头部框架系统56可以包括头部框架确定例程90和头部框架存储指令92。头部框架确定例程90可以连接到运动跟踪相机46和惯性测量单元48。头部框架确定例程90可以使用来自运动跟踪相机46和惯性测量单元48的数据来计算头部坐标框架94。例如，惯性测量单元48可以具有确定相对于头部单元22的重力方向的重力传感器。运动跟踪相机46可以连续地捕获由头部框架确定例程90用来细化头部坐标框架94的图像。当图8中的第一用户14.1移动他们的头部时，头部单元22移动。运动跟踪相机46和惯性测量单元48可以连续地将数据提供给头部框架确定例程90，使得头部框架确定例程90可以更新头部坐标框架94。
头部框架存储指令92可以连接到头部框架确定例程90，以从头部框架确定例程90接收头部坐标框架94。头部框架存储指令92可以将头部坐标框架94存储为原点和目的地坐标框架34中的头部坐标框架96。头部框架存储指令92可以在头部框架确定例程90重新计算头部坐标框架94时，将更新的头部坐标框架94重复存储为头部坐标框架96。在一些实施例中，头部坐标框架可以是可穿戴XR设备12.1相对于本地坐标框架72的位置。
相机框架系统58可以包括相机内在特性98。相机内在特性98可以包括作为其设计和制造特征的头部单元22的尺寸。相机内在特性98可用于计算存储在原点和目的地坐标框架34内的相机坐标框架100。
在一些实施例中，相机坐标框架100可以包括图8中的第一用户14.1的左眼的所有瞳孔位置。当左眼从左向右或上下移动时，左眼的瞳孔位置位于相机坐标框架100内。另外，右眼的瞳孔位置位于右眼的相机坐标框架100内。在一些实施例中，相机坐标框架100可以包括当拍摄图像时相机相对于本地坐标框架的位置。
原点到目的地坐标框架变换器36可以包括本地到世界坐标变换器104、世界到头部坐标变换器106和头部到相机坐标变换器108。本地到世界坐标变换器104可以接收本地坐标框架72并将本地坐标框架72变换为世界坐标框架86。本地坐标框架72到世界坐标框架86的变换可以表示为在世界坐标框架86内的变换为世界坐标框架110的本地坐标框架。
世界到头部坐标变换器106可以从世界坐标框架86变换为头部坐标框架96。世界到头部坐标变换器106可以将变换为世界坐标框架110的本地坐标框架变换为头部坐标框架96。该变换可以表示为在头部坐标框架96内变换为头部坐标框架112的本地坐标框架。
头部到相机坐标变换器108可以从头部坐标框架96变换为相机坐标框架100。头部到相机坐标变换器108可以将变换为头部坐标框架112的本地坐标框架变换为在相机坐标框架100内的变换为相机坐标框架114的本地坐标框架。可以将变换为相机坐标框架114的本地坐标框架输入到渲染引擎30中。渲染引擎30可以基于变换为相机坐标框架114的本地坐标框架来渲染表示本地内容28的图像数据68。
图10是各种原点和目的地坐标框架34的空间表示。在该图中表示了本地坐标框架72、世界坐标框架86、头部坐标框架96和相机坐标框架100。在一些实施例中，当在现实世界中放置虚拟内容以便用户可以观看该虚拟内容时，与XR内容28相关联的本地坐标框架可以具有相对于本地和/或世界坐标框架和/或PCF的位置和旋转(例如，可以提供节点和面向方向)。每个相机可以具有包含一只眼睛的所有瞳孔位置的其自己的相机坐标框架100。附图标记104A和106A分别表示由图9中的本地到世界坐标变换器104、世界到头部坐标变换器106和头部到相机坐标变换器108进行的变换。
图11描绘了根据一些实施例的用于从头部坐标框架变换到相机坐标框架的相机渲染协议。在所示的示例中，单只眼睛的瞳孔从位置A移动到位置B。要显现为静止的虚拟对象将取决于瞳孔的位置投影到两个位置A或B之一的深度平面上(假设相机被配置为使用基于瞳孔的坐标框架)。结果，当眼睛从位置A移动到位置B时，使用变换为头部坐标框架的瞳孔坐标框架将导致静止的虚拟对象的抖动。该情况称为视图相关的显示或投影。
如图12所示，相机坐标框架(例如CR)被放置并包含所有瞳孔位置，并且无论瞳孔位置A和B如何，对象投影现在都将是一致的。头部坐标框架变换为CR框架，该CR框架被称为视图独立显示或投影。可以将图像重新投影应用于虚拟内容以解决眼睛位置的变化，然而，由于渲染仍处于相同位置，因此可以最小化抖动。
图13更详细地示出显示系统42。显示系统42包括立体分析器144，该立体分析器144连接到渲染引擎30并形成视觉数据和算法的一部分。
显示系统42进一步包括左投影仪166A和右投影仪166B以及左波导170A和右波导170B。左投影仪166A和右投影仪166B连接到电源。每个投影仪166A和166B具有用于将要提供给相应投影仪166A或166B的图像数据的相应输入。相应的投影仪166A或166B在通电时生成二维图案的光并从中发出光。左波导170A和右波导170B被定位成分别接收来自左投影仪166A和右投影仪166B的光。左波导170A和右波导170B是透明波导。
在使用中，用户将头戴式框架40安装到他们的头部。头戴式框架40的部件可例如包括围绕用户的头部的后面缠绕的带子(未示出)。左波导170A和右波导170B然后位于用户的左眼220A和右眼220B的前面。
渲染引擎30将其接收的图像数据输入到立体分析器144中。该图像数据是图8中本地内容28的三维图像数据。该图像数据被投影到多个虚拟平面上。立体分析器144分析图像数据，以基于用于投影到每个深度平面上的图像数据确定左图像数据集和右图像数据集。左图像数据集和右图像数据集是表示二维图像的数据集，该二维图像以三维进行投影以给予用户深度感。
立体分析器144将左图像数据集和右图像数据集输入到左投影仪166A和右投影仪166B。然后，左投影仪166A和右投影仪166B创建左照明图案和右照明图案。显示系统42的部件以平面图示出，但是应当理解，当以正视图示出时，左图案和右图案是二维图案。每个光图案包括多个像素。为了说明的目的，示出了来自两个像素的光线224A和226A离开左投影仪166A并进入左波导170A。光线224A和226A从左波导170A的侧面反射。示出了光线224A和226A通过内部反射在左波导170A内从左向右传播，但是应当理解，光线224A和226A也使用折射和反射系统在一定方向中传播到纸中。
光线224A和226A通过瞳孔228A离开左光波导170A，并且然后通过左眼220A的瞳孔230A进入左眼220A。然后，光线224A和226A落在左眼220A的视网膜232A上。以该方式，左光图案落在左眼220A的视网膜232A上。给用户的感觉是，形成在视网膜232A上的像素是用户感知为在左波导170A的与左眼220A相对的一侧上的某个距离处的像素234A和236A。深度感知是通过操纵光的焦距来创建的。
以类似的方式，立体分析器144将右图像数据集输入到右投影仪166B中。右投影仪166B透射右光图案，该右光图案由光线224B和226B形式的像素表示。光线224B和226B在右波导170B内反射并通过瞳孔228B出射。光线224B和226B然后通过右眼220B的瞳孔230B进入并且落在右眼220B的视网膜232B上。光线224B和226B的像素被感知为右波导170B后面的像素134B和236B。
在视网膜232A和232B上创建的图案被分别感知为左图像和右图像。由于立体分析器144的功能，左图像和右图像彼此略有不同。左图像和右图像在用户的脑海中被感知为三维渲染。
如所提及的，左波导170A和右波导170B是透明的。来自诸如左波导170A和右波导170B的与眼睛220A和220B相对的一侧上的桌子16的真实对象的光可以投影通过左波导170A和右波导170B并落在视网膜232A和232B上。
持久坐标系(PCF)
本文描述了用于在共享空间内在用户实例之间提供空间持久性的方法和装置。如果没有空间持久性，则用户在会话中放置在物理世界中的虚拟内容在不同会话中的用户视图中可能不存在，或者可能会放错位置。如果没有空间持久性，则一个用户放置在物理世界中的虚拟内容在第二用户的视图中可能不存在或可能错位，即使第二用户打算与第一用户共享相同的物理空间体验。
发明人已经认识并理解到，可以通过持久坐标系(PCF)提供空间持久性。可以基于一个或多个点来定义PCF，这些点表示在物理世界中识别的特征(例如，拐角、边缘)。可以选择特征，使得它们从XR系统的一个用户实例到另一个用户实例看起来是相同的。
此外，当相对于仅基于跟踪地图的本地地图进行渲染时，使得计算的跟踪路径(例如，相机轨迹)偏离实际跟踪路径的跟踪期间的漂移会导致虚拟内容的位置出现错位。当XR设备随着时间收集场景的更多信息时，可以细化空间的跟踪地图以校正漂移。但是，如果在地图细化之前将虚拟内容放置在真实对象上并相对于从跟踪地图导出的设备的世界坐标框架进行保存，则虚拟内容可能会出现位移，就像真实对象在地图细化过程中已移动一样。可以根据地图细化来更新PCF，因为PCF是基于特征定义的，并且随着特征在地图细化期间移动而被更新。
在一些实施例中，可以以可以在用户之间以及在包括应用的分布式组件之间容易地共享的方式来表示持久空间信息。例如，关于物理世界的信息可以表示为持久坐标系(PCF)。PCF可以基于表示在物理世界中识别的特征的一个或多个点来定义。可以选择特征，使得它们在XR系统的从用户会话到用户会话可能是相同的。PCF可能稀疏存在，提供的关于物理世界的少于所有可用信息，使得它们可以被有效地处理和传送。用于处理持久空间信息的技术可以包括跨一个或多个会话基于现实空间中的一个或多个坐标系创建动态地图，以及在稀疏地图上生成持久坐标系(PCF)，该持久坐标系可以经由例如应用编程接口(API)暴露给XR应用。这些能力可以通过用于对由一个或多个XR设备创建的多个地图进行排名和合并的技术来支持。持久空间信息还可以使能以计算有效的方式在一个或多个XR设备中的每一个上快速恢复和重置头部姿势。
PCF可以包括六个自由度相，对于地图坐标系的平移和旋转。PCF可以存储在本地存储介质和/或远程存储介质中。取决于例如存储位置，可以相对于地图坐标系计算PCF的平移和旋转。例如，设备本地使用的PCF可能相对于设备的世界坐标框架具有平移和旋转。云端的PCF可能具有相对于规范地图的规范坐标框架的平移和旋转。
PCF可以提供对物理世界的稀疏表示，提供的关于物理世界的信息少于所有可用信息，使得它们可以被有效地处理和转移。用于处理持久空间信息的技术可包括基于跨越一个或多个会话的真实空间中的一个或多个坐标系来创建动态地图，在稀疏地图上生成持久坐标系(PCF)，其可通过例如应用编程接口(API)暴露给XR应用。
图14是示出根据一些实施例的持久坐标系(PCF)的创建以及XR内容到PCF的附加的框图。每个框可以表示存储在计算机存储器中的数字信息。在应用1180的情况下，数据可以表示计算机可执行指令。在虚拟内容1170的情况下，数字信息可以定义例如由应用1180指定的虚拟对象。在其他框的情况下，数字信息可以表征物理世界的某些方面。
在所示的实施例中，一个或多个PCF根据可穿戴设备上的传感器捕获的图像来创建。在图14的实施例中，传感器是视觉图像相机。这些相机可以是与用于形成跟踪地图的相机相同的相机。因此，由图14建议的一些处理可以作为更新跟踪地图的一部分而被执行。但是，图14示出了除了跟踪地图之外还生成了提供持久性的信息。
为了导出3D PCF，一起处理来自以能够进行立体图像分析的配置被安装到可穿戴设备的两个相机的两个图像1110。图14示出了图像1和图像2，图像1和图像2中的每个图像均来自相机之一。为了简单起见，示出了来自每个相机的单个图像。然而，每个相机可以输出图像帧的流，并且可以针对流中的多个图像帧执行图14的处理。
因此，图像1和图像2可以分别是图像帧序列中的一个帧。可以对序列中的连续图像帧重复图14所示的处理，直到包含特征点的图像帧提供合适的图像以根据该图像形成持久的空间信息。替代地或附加地，在用户移动使得用户不再足够靠近先前(previous)识别的PCF以可靠地使用该PCF来确定相对于物理世界的位置时，可以重复图14的处理。例如，XR系统可以为用户保持当前的PCF。当该距离超过阈值时，系统可以切换到更靠近用户的新的当前PCF，其可以根据图14的过程使用在用户当前位置获取的图像帧来生成。
即使当生成单个PCF时，也可以处理图像帧的流以识别描述物理世界中内容的图像帧，该内容可能是稳定的，并且可以由图像帧中描绘的物理世界区域附近的设备容易地识别出来。在图14的实施例中，该处理开始于图像中的特征1120的识别。例如，可以通过寻找图像中超过阈值或其他特征的梯度的位置来识别特征，该特征可以例如对应于对象的拐角。在所示的实施例中，特征是点，但是可以替代地或附加地使用其他可识别的特征，例如边缘。
在所示的实施例中，选择固定数量N的特征1120进行进一步处理。可以基于一个或多个标准，例如，梯度的大小或与其他特征点的接近度，来选择那些特征点。替代地或附加地，特征点可以例如基于暗示特征点是持久的特性来试探性地选择。例如，可以基于可能对应于窗户或门或大件家具的拐角的特征点的特性来定义试探法。这种试探法可能会考虑到特征点本身及其周围的事物。作为特定示例，每个图像的特征点的数量可以在100与500之间或150与250之间，例如200。
不管选择的特征点的数量如何，都可以为特征点计算描述符1130。在该示例中，为每个选择的特征点计算描述符，但是可以为特征点的组或特征点的子集或图像内的所有特征计算描述符。描述符表征特征点，以便在物理世界中表示相同对象的特征点被分配相似的描述符。描述符可以实现两个帧的对齐，例如在一个地图相对于另一个地图定位时可能会发生。代替搜索使两个图像的特征点之间的距离最小化的帧的相对取向，可以通过识别具有相似的描述符的特征点来进行两个帧的初始对齐。图像帧的对齐可以基于具有相似描述符的对齐点，与计算图像中所有特征点的对齐相比，这可能需要更少的处理。
描述符可以被计算为特征点到描述符的映射，或者在一些实施例中，计算为特征点周围的图像的块(patch)到描述符的映射。描述符可以是数值量。
在图14的示例中，为每个图像帧中的每个特征点计算描述符1130。基于描述符和/或特征点和/或图像本身，图像帧可以被识别为关键帧1140。在所示的实施例中，关键帧是满足某一标准的图像帧，然后选择该图像帧用于进一步处理。例如，在制作跟踪地图时，可以选择将有意义的信息添加到地图的图像帧作为整合到地图中的关键帧。另一方面，可以丢弃基本上与已经将图像帧整合到地图中的区域重叠的图像帧，使得它们不会成为关键帧。替代地或附加地，可以基于图像帧中的特征点的数量和/或类型来选择关键帧。在图14的实施例中，被选择以包括在跟踪地图中的关键帧1150也可以被视为用于确定PCF的关键帧，但是可以使用选择用于生成PCF的关键帧的不同或附加标准。
尽管图14示出了关键帧被用于进一步处理，但是从图像获取的信息可以以其他形式被处理。例如，可以替代地或附加地处理诸如在关键装配中的特征点。而且，尽管关键帧被描述为是从单个图像帧导出的，但是关键帧与所获取的图像帧之间不必存在一对一的关系。例如，关键帧例如可以获取自多个图像帧，诸如通过将图像帧拼接或者聚合在一起，使得在关键帧中仅保留出现在多个图像中的特征。
关键帧可以包括图像信息和/或与图像信息相关联的元数据。在一些实施例中，可以将由相机44、46(图9)捕获的图像计算为一个或多个关键帧(例如，关键帧1、2)。在一些实施例中，关键帧可以包括相机姿势。在一些实施例中，关键帧可以包括以相机姿势捕获的一个或多个相机图像。在一些实施例中，XR系统可以确定以相机姿势捕获的相机图像的一部分是无用的，并且因此不将该部分包括在关键帧中。因此，使用关键帧将新图像与场景的早期认知对齐可以减少XR系统计算资源的使用。在一些实施例中，关键帧可以在具有方向/角度的位置处包括图像和/或图像数据。在一些实施例中，关键帧可以包括可以观察到一个或多个地图点的位置和方向。在一些实施例中，关键帧可以包括具有ID的坐标帧。
可以选择一些或全部关键帧1140进行进一步处理，例如为关键帧生成持久姿势1150。该选择可以基于图像帧中所有特征点或其子集的特性。这些特性可以根据对描述符、特征和/或图像帧本身进行处理来确定。作为特定示例，选择可以基于被识别为可能与持久对象有关的特征点的聚类。
每个关键帧与获取该关键帧的相机的姿势相关联。对于选择用于处理成持久姿势的关键帧，该姿势信息可以与关于关键帧的其他元数据一起保存，例如在获取时和/或在获取位置处的Wi-Fi指纹和/或GPS坐标。在一些实施例中，例如GPS坐标的元数据可以单独地或组合地用作定位过程的一部分。
持久姿势是设备可以用来相对于先前获取的有关物理世界的信息进行自身定向的信息源。例如，如果从中创建了持久姿势的关键帧被合并到物理世界的地图中，则设备可以使用与持久姿势相关联的关键帧中足够数量的特征点，将自身相对于该持久姿势进行定向。设备可以将其对周围环境拍摄的当前图像与持久姿势对齐。该对齐可以基于将当前图像与引起持久姿势的图像1110、特征1120和/或描述符1130、或该图像或那些特征或描述符的任何子集进行匹配。在一些实施例中，与持久姿势匹配的当前图像帧可以是已合并到设备的跟踪地图中的另一个关键帧。
关于持久姿势的信息可以以促进在多个应用之间共享的格式存储，该多个应用可以在相同或不同的设备上执行。在图14的示例中，一些或所有的持久姿势可以被反映为持久坐标系(PCF)1160。像持久姿势一样，PCF可以与地图相关联并且可以包括设备可以用来确定其相对于该PCF的取向的一组特征或其他信息。PCF可以包括定义相对于其地图的原点的变换的变换，使得通过将其位置与PCF相关联，设备可以确定其相对于地图中所反映的物理世界中的任何对象的位置。
由于PCF提供了一种用于确定相对于物理对象的位置的机制，因此应用(例如应用1180)可以定义虚拟对象相对于一个或多个PCF的位置，这些位置用作虚拟内容1170的锚点。例如，图14示出了App 1已经将其虚拟内容2与PCF 1.2相关联。同样，应用2已将其虚拟内容3与PCF 1.2相关联。还示出了App 1将其虚拟内容1与PCF 4.5相关联，并且示出了App2将其虚拟内容4与PCF 3相关联。在一些实施例中，PCF 3可以基于图像3(未示出)，并且PCF4.5可以基于图像4和图像5(未显示)，类似于PCF 1.2如何基于图像1和图像2。当渲染此虚拟内容时，设备可以应用一个或多个变换来计算信息，例如虚拟内容相对于设备的显示的位置和/或物理对象相对于虚拟内容的所需位置的位置。使用PCF作为参考可以简化此类计算。
在一些实施例中，持久姿势可以是具有一个或多个相关联的关键帧的坐标位置和/或方向。在一些实施例中，可以在用户已经行进一定距离(例如三米)之后自动创建持久姿势。在一些实施例中，持久姿势可以在定位期间用作参考点。在一些实施例中，可以将持久姿势存储在可通行世界中(例如，可通行世界模块538)。
在一些实施例中，可以基于相邻PCF之间允许的预定距离来确定新的PCF。在一些实施例中，当用户行进预定距离(例如，五米)时，可以将一个或多个持久姿势计算到PCF中。在一些实施例中，PCF可以与例如可通行世界中的一个或多个世界坐标框架和/或规范坐标框架相关联。在一些实施例中，取决于例如安全设置，PCF可以被存储在本地数据库和/或远程数据库中。
图15示出了根据一些实施例的建立和使用持久坐标系的方法4700。方法4700可以开始于使用XR设备的一个或多个传感器捕获(动作4702)关于场景的图像(例如，图14中的图像1和图像2)。可以使用多个相机，并且一个相机可以生成多个图像，例如以流的形式。
方法4700可以包括从捕获的图像提取(4704)关注点(例如，图7中的地图点702，图14中的特征1120)，生成(动作4706)所提取的关注点的描述符(例如，图14中的描述符1130)，并基于描述符生成(动作4708)关键帧(例如，关键帧1140)。在一些实施例中，该方法可以比较关键帧中的关注点，并形成共享预定量的关注点的关键帧对。该方法可以使用各个关键帧对来重建物理世界的一部分。可以将物理世界的映射部分保存为3D特征(例如，图7中的关键装配704)。在一些实施例中，关键帧对中的被选择部分可以用于构建3D特征。在一些实施例中，可以选择性地保存映射的结果。未用于构建3D特征的关键帧可以通过姿势与3D特征关联，例如，利用关键帧的姿势之间的协方差矩阵表示关键帧之间的距离。在一些实施例中，可以选择关键帧对来构建3D特征，使得构建的3D特征的每两个之间的距离在预定距离内，这可以被确定以平衡所需的计算量和结果模型的准确度水平。这样的方法能够为XR系统提供具有适合于进行高效且准确计算的数据量的物理世界的模型。在一些实施例中，两个图像的协方差矩阵可以包括两个图像的姿势(例如，六个自由度)之间的协方差。
方法4700可以包括基于关键帧生成(动作4710)持久姿势。在一些实施例中，该方法可以包括基于从关键帧对中重建的3D特征来生成持久姿势。在一些实施例中，持久姿势可以被附接到3D特征。在一些实施例中，持久姿势可以包括用于构建3D特征的关键帧的姿势。在一些实施例中，持久姿势可以包括用于构建3D特征的关键帧的平均姿势。在一些实施例中，可以生成持久姿势，使得相邻的持久姿势之间的距离在预定值内，例如在一米至五米的范围内，介于两者之间的任何值或任何其他适当的值。在一些实施例中，相邻的持久姿势之间的距离可以由相邻的持久姿势的协方差矩阵表示。
方法4700可以包括基于持久姿势来生成(动作4712)PCF。在一些实施例中，可以将PCF附接到3D特征。在一些实施例中，PCF可以与一个或多个持久姿势相关联。在一些实施例中，PCF可以包括相关联的持久姿势之一的姿势。在一些实施例中，PCF可以包括相关联的持久姿势的姿势的平均姿势。在一些实施例中，可以生成PCF，以使得相邻PCF之间的距离在预定值内，例如在三米到十米的范围内，介于两者的任何值或任何其他适当的值。在一些实施例中，相邻PCF之间的距离可以由相邻PCF的协方差矩阵表示。在一些实施例中，PCF可以经由例如应用编程接口(API)暴露给XR应用，使得XR应用可以通过PCF访问物理世界的模型而无需访问模型本身。
方法4700可以包括将要由XR设备显示的虚拟对象的图像数据与PCF中的至少一个相关联(动作4714)。在一些实施例中，该方法可以包括计算虚拟对象相对于相关联的PCF的平移和取向。应当理解，没有必要将虚拟对象与由放置虚拟对象的设备生成的PCF相关联。例如，设备可以获取云端的规范地图中的被保存的PCF，并将虚拟对象与获取到的PCF相关联。应当理解，在随时间而调整PCF时，虚拟对象可以与相关联的PCF一起移动。
图16示出了根据一些实施例的第一XR设备12.1以及第二XR设备12.2和服务器20的视觉数据和算法。图16中所示的部件可以操作以执行与如本文中所描述的生成、更新和/或使用空间信息(诸如，持久姿势、持久坐标系、跟踪地图或规范地图)相关联的一些或全部操作。尽管未示出，但是第一XR设备12.1可以被配置为与第二XR设备12.2相同。服务器20可以具有地图存储例程118、规范地图120、地图发送器122和地图合并算法124。
可以与第一XR设备12.1处于相同场景中的第二XR设备12.2可以包括永久坐标框架(PCF)集成单元1300、生成可以用于渲染虚拟对象的图像数据68的应用1302、以及框架嵌入生成器308(参见图21)。在一些实施例中，可以将地图下载系统126、PCF识别系统128、地图2、定位模块130、规范地图合并器132、规范地图133和地图发布者136集合为可通行世界单元1304。PCF集成单元1300可以连接到可通行世界单元1304和第二XR设备12.2的其它部件，以允许PCF的取得、生成、使用、上传和下载。
包括PCF的地图可以在变化的世界中实现更多的持久性。在一些实施例中，定位包括例如图像的匹配特征的跟踪地图可以包括从由PCF构成的地图中选择表示持久内容的特征，这使得能够进行快速匹配和/或定位。例如，在人们进出场景并且诸如门之类的对象相对于场景移动的世界中，需要更少的存储空间和传输速率，并且能够使用单独的PCF及其相互之间的关系(例如，PCF的集成星座)来映射场景。
在一些实施例中，PCF集成单元1300可以包括先前存储在第二XR设备12.2的存储单元上的数据存储中的PCF 1306、PCF跟踪器1308、持久姿势获取器1310、PCF检查器1312、PCF生成系统1314、坐标框架计算器1316、持久姿势计算器1318和包括跟踪地图和持久姿势变换器1320、持久姿势和PCF变换器1322以及PCF和图像数据变换器1324的三个变换器。
在一些实施例中，PCF跟踪器1308可以具有由应用1302可选择的打开提示和关闭提示。应用1302可以由第二XR设备12.2的处理器可执行，以例如显示虚拟内容。应用1302可以具有经由打开提示来打开PCF跟踪器1308的调用。当PCF跟踪器1308打开时，PCF跟踪器1308可以生成PCF。应用1302可以具有可以经由关闭提示来关闭PCF跟踪器1308的后续调用。当PCF跟踪器1308关闭时，PCF跟踪器1308终止PCF生成。
在一些实施例中，服务器20可包括先前已经与规范地图120相关联地保存的多个持久姿势1332和多个PCF 1330。地图发送器122可将规范地图120与持久姿势1332和/或PCF1330一起发送到第二XR设备12.2。持久姿势1332和PCF 1330可以与规范地图133相关联地存储在第二XR设备12.2上。当地图2定位到规范地图133时，可以与地图2相关联地存储持久姿势1332和PCF 1330。
在一些实施例中，持久姿势获取器1310可以获取地图2的持久姿势。PCF检查器1312可以连接到持久姿势获取器1310。PCF检查器1312可以基于由持久姿势获取器1310取得的持久姿势从PCF 1306取得PCF。由PCF检查器1312取得的PCF可以形成初始组的PCF，该初始组的PCF用于基于PCF的图像显示。
在一些实施例中，应用1302可能需要生成附加PCF。例如，如果用户移动到之前未地图构建的区域，则应用1302可以打开PCF跟踪器1308。PCF生成系统1314可以连接到PCF跟踪器1308，并且随着地图2开始扩展而开始基于地图2生成PCF。由PCF生成系统1314生成的PCF可以形成第二组PCF，该第二组PCF可以用于基于PCF的图像显示。
坐标框架计算器1316可以连接到PCF检查器1312。在PCF检查器1312取得PCF之后，坐标框架计算器1316可以调用头部坐标框架96以确定第二XR设备12.2的头部姿势。坐标框架计算器1316还可调用持久姿势计算器1318。持久姿势计算器1318可直接或间接连接到帧嵌入生成器308。在一些实施例中，可以将图像/帧指定为与先前的关键帧相距阈值距离(例如3米)行进之后的关键帧。持久姿势计算器1318可以基于多个(例如，三个)关键帧生成持久姿势。在一些实施例中，持久姿势可以基本上是多个关键帧的坐标框架的平均值。
跟踪地图和持久姿势变换器1320可以连接到地图2和持久姿势计算器1318。跟踪地图和持久姿势变换器1320可以将地图2变换为持久姿势以确定相对于地图2的原点处的持久姿势。
持久姿势和PCF变换器1322可以连接到跟踪地图和持久姿势变换器1320，并进一步连接到PCF检查器1312和PCF生成系统1314。持久姿势和PCF变换器1322可以将(跟踪地图已经变换到的)持久姿势从PCF检查器1312和PCF生成系统1314变换为PCF，以确定相对于持久姿势的PCF。
PCF和图像数据变换器1324可以连接到持久姿势和PCF变换器1322以及数据通道62。PCF和图像数据变换器1324将PCF变换为图像数据68。渲染引擎30可以连接到PCF和图像数据变换器1324以相对于PCF向用户显示图像数据68。
PCF集成单元1300可以将采用PCF生成系统1314生成的附加PCF存储在PCF 1306内。PCF 1306可以相对于持久姿势存储。当地图发布者136向服务器20发送地图2时，地图发布者136可以取得PCF 1306和与PCF 1306相关联的持久姿势，地图发布者136还向服务器20发送与地图2相关联的PCF和持久姿势。当服务器20的地图存储例程118存储地图2时，地图存储例程118还可以存储由第二观看设备12.2生成的持久姿势和PCF。地图合并算法124可以采用与规范地图120相关联并分别存储在持久姿势1332和PCF 1330内的地图2的持久姿势和PCF来创建规范地图120。
第一XR设备12.1可以包括与第二XR设备12.2的PCF集成单元1300相似的PCF集成单元。当地图发送器122向第一XR设备12.1发送规范地图120时，地图发送器122可以发送与规范地图120相关联并且源自第二XR设备12.2的持久姿势1332和PCF 1330。第一XR设备12.1可以将PCF和持久姿势存储在第一XR设备12.1的存储设备上的数据存储内。然后，第一XR设备12.1可以利用源自第二XR设备12.2的持久姿势和PCF以用于相对于PCF的图像显示。另外地或替代地，第一XR设备12.1可以以类似于如上所述的第二XR设备12.2的方式取得、生成、使用、上传和下载PCF和持久姿势。
在所示的示例中，第一XR设备12.1生成本地跟踪地图(以下称为“地图1”)，并且地图存储例程118从第一XR设备12.1接收地图1。然后，地图存储例程118将地图1作为规范地图120存储在服务器20的存储设备上。
第二XR设备12.2包括地图下载系统126、锚点识别系统128、定位模块130、规范地图合并器132、本地内容定位系统134以及地图发布者136。
在使用中，地图发送器122将规范地图120发送到第二XR设备12.2，并且地图下载系统126从服务器20下载并存储规范地图120作为规范地图133。
锚点识别系统128连接到世界表面确定例程78。锚点识别系统128基于由世界表面确定例程78检测到的对象来识别锚点。锚点识别系统128使用锚点生成第二地图(地图2)。如循环138所示，锚点识别系统128继续识别锚点并继续更新地图2。基于由世界表面确定例程78提供的数据，将锚点的位置记录为三维数据。世界表面确定例程78从真实对象检测相机44接收图像并且从深度传感器135接收深度数据，以确定表面的位置以及它们与深度传感器135的相对距离。
定位模块130连接到规范地图133和地图2。定位模块130重复尝试将地图2定位到规范地图133。规范地图合并器132连接到规范地图133和地图2。当定位模块130将地图2定位到规范地图133时，规范地图合并器132将规范地图133合并到地图2的锚点中。然后，采用规范地图中包括的丢失数据来更新地图2。
本地内容定位系统134连接到地图2。本地内容定位系统134例如可以是用户可以在世界坐标框架内的特定位置定位本地内容的系统。然后，本地内容将自身附加到地图2的一个锚点。本地到世界坐标变换器104基于本地内容定位系统134的设置将本地坐标框架变换为世界坐标框架。已经参考图2描述了渲染引擎30、显示系统42和数据通道62的功能。
地图发布者136将地图2上传到服务器20。服务器20的地图存储例程118然后将地图2存储在服务器20的存储介质内。
地图合并算法124将地图2与规范地图120合并。当已经存储了多于两个的地图(例如，与物理世界的相同或相邻区域相关的三个或四个地图)时，地图合并算法124将所有地图合并到规范地图120中以渲染新规范地图120。然后，地图发送器122将新规范地图120发送到位于由新规范地图120表示的区域中的任何和所有设备12.1和12.2。当设备12.1和12.2将它们相应的地图定位到规范地图120时，规范地图120成为升级的地图。
图17图示了根据一些实施例的为场景的地图生成关键帧的示例。在所示示例中，针对房间左墙壁上的门生成了第一关键帧KF1。针对房间的地板、左墙壁和右墙壁相交的角落区域生成第二关键帧KF2。针对房间右墙壁上的窗户区域生成第三关键帧KF3。在墙壁的地板上，在地毯的远端区域生成第四关键帧KF4。针对地毯的最接近用户的区域生成第五关键帧KF5。
图18示出了根据一些实施例的为图17的地图生成持久姿势的示例。在一些实施例中，当设备测量行进的阈值距离时，和/或当应用请求新的持久姿势(PP)时，创建新的持久姿势。在一些实施例中，阈值距离可以是3米、5米、20米或任何其它合适的距离。选择较小的阈值距离(例如1m)可导致计算负荷的增加，因为与较大的阈值距离相比，可以创建和管理较大数量的PP。选择较大的阈值距离(例如40m)可导致增加的虚拟内容放置错误，因为将创建较少数量的PP，这将导致创建的较少PCF数量，意味着附加到PCF的虚拟内容可能是远离PCF相对较大的距离(例如30m)，并且误差随着从PCF到虚拟内容的增加距离而增加。
在一些实施例中，可以在新会话开始时创建PP。该初始PP可以被认为是零，并且可以可视化为具有等于阈值距离的半径的圆的中心。当设备到达圆的周长，并且在一些实施例中，应用请求新的PP时，可以将新的PP放置在设备的当前位置(在阈值距离处)。在一些实施例中，如果设备能够在距设备新位置的阈值距离内找到现有的PP，则不会在阈值距离处创建新的PP。在一些实施例中，当创建新的PP时(例如，图14中的PP 1150)，设备将一个或多个最接近的关键帧附加到PP。在一些实施例中，PP相对于关键帧的位置可以基于在创建PP时设备的位置。在一些实施例中，当设备行进阈值距离时将不会创建PP，除非应用请求PP。
在一些实施例中，当应用具有要显示给用户的虚拟内容时，应用可以从设备请求PCF。来自应用的PCF请求可触发PP请求，并且在设备行进阈值距离后将创建新的PP。图18示出第一永久姿势PP1，其可以具有通过例如计算关键帧与持久姿势之间的相对姿势附加的最接近的关键帧(例如，KF1、KF2和KF3)。图18还示出第二永久姿势PP2，其可以具有附加的最接近的关键帧(例如，KF4和KF5)。
图19示出了根据一些实施例的为图17的地图生成PCF的示例。在所示示例中，PCF1可以包括PP1和PP2。如上所述，PCF可用于显示与PCF相关的图像数据。在一些实施例中，每个PCF可以具有另一个坐标框架(例如，世界坐标框架)中的坐标和PCF描述符，例如，唯一地识别PCF。在一些实施例中，可以基于与PCF相关联的帧中的特征的特征描述符来计算PCF描述符。在一些实施例中，可以组合PCF的各种星座以需要较少数据和较少数据传输的持久方式来表示现实世界。
图20A至20C是示出建立和使用持久坐标系的示例的示意图。图20A示出具有尚未定位到规范地图的相应的本地跟踪地图4804A、4804B的两个用户4802A、4802B。各个用户的原点4806A、4806B由其相应区域中的坐标系(例如，世界坐标系)来描绘。每个跟踪地图的这些原点对于每个用户来说可能是本地的，因为这些原点取决于启动跟踪时他们各自设备的取向。
当用户设备的传感器扫描环境时，该设备可以捕获如以上结合图14所描述的可以包含表示持久对象的特征的图像，使得那些图像可以被分类为关键帧，可以根据这些关键帧创建持久姿势。在该示例中，跟踪地图4802A包括持久姿势(PP)4808A；跟踪4802B包括PP4808B。
同样如以上结合图14所述，一些PP可以被分类为PCF，这些PCF用于确定虚拟内容的取向以将其渲染给用户。图20B示出了相应的用户4802A、4802B所佩戴的XR设备可以基于PP 4808A、4808B来创建本地PCF 4810A、4810B。图20C示出了持久内容4812A、4812B(例如，虚拟内容)可以通过相应的XR设备附接到PCF 4810A，4810B。
在该示例中，虚拟内容可以具有虚拟内容坐标框架，该虚拟内容坐标框架可以由生成虚拟内容的应用使用，而不管应如何显示虚拟内容。例如，虚拟内容可以被指定为相对于虚拟内容坐标框架以特定位置和角度的表面，例如网格的三角形。为了将该虚拟内容渲染给用户，可以相对于要感知该虚拟内容的用户来确定那些表面的位置。
将虚拟内容附加到PCF可以简化确定虚拟内容相对于用户的位置时所涉及的计算。可以通过应用一系列变换来确定虚拟内容相对于用户的位置。这些变换中的一些可能会更改，并且可能会频繁更新。这些变换中的其他变换可能是稳定的，可能会频繁更新或根本不更新。无论如何，可以以相对较低的计算负担来应用变换，使得可以相对于用户频繁地更新虚拟内容的位置，从而为所渲染的虚拟内容提供逼真的外观。
在图20A至图20C的示例中，用户1的设备具有一个坐标系，该坐标系与通过变换rig1_T_w1定义地图原点的坐标系有关。用户2的设备具有类似的变换rig2_T_w2。这些变换可以表示为6个变换度，指定平移和旋转以将设备坐标系与地图坐标系对齐。在一些实施例中，变换可以表示为两个单独的变换，一个指定平移，另一个指定旋转。因此，应当理解，可以以简化计算或以其他方式提供优势的形式来表达变换。
跟踪地图的原点与由相应的用户设备识别出的PCF之间的变换表示为pcf1_T_w1和pcf2_T_w2。在此示例中，PCF和PP相同，因此相同的变换也表征了PP。
因此，可以通过这些变换的串行应用来计算用户设备相对于PCF的位置，例如rig1_T_pcf1＝(rig1_T_w1)*(pcf1_T_w1)。
如图20C所示，通过obj1_T_pcf1的变换，虚拟内容相对于PCF进行定位。该变换可以由生成虚拟内容的应用来设置，该应用可以从世界重建系统接收描述相对于PCF的物理对象的信息。为了将虚拟内容渲染给用户，计算到用户设备的坐标系的变换，这可以通过变换obj1_t_w1＝(obj1_T_pcf1)*(pcf1_T_w1)将虚拟内容坐标框架关联到跟踪地图的原点来计算。然后，该变换可以通过进一步的变换rig1_T_w1与用户的设备相关。
基于来自生成虚拟内容的应用的输出，虚拟内容的位置可以改变。当变化时，可以重新计算从源坐标系到目的地坐标系的端到端变换。另外，用户的位置和/或头部姿势可以随着用户移动而改变。结果，变换rig1_T_w1可以改变，取决于用户的位置或头部姿势的任何端到端变换也可以改变。
可以基于跟踪用户相对于物理世界中的静止对象的位置，随着用户的运动来更新变换rig1_T_w1。可以通过如上所述的处理图像序列的耳机(headphone)固定(tacking)部件或系统的其他部件来执行这种跟踪。可以通过确定用户相对于固定参考框架(例如PP)的姿势来进行这样的更新。
在一些实施例中，由于PP被用作PCF，因此可以相对于最近的持久姿势或在该示例中为PCF来确定用户设备的位置和取向。可以通过在利用设备上的传感器捕获的当前图像中识别表征PP的特征点来做出这样的确定。使用诸如立体图像分析的图像处理技术，可以确定设备相对于那些特征点的位置。根据该数据，系统可以基于关系rig1_T_pcf1＝(rig1_T_w1)*(pcf1_T_w1)计算与用户运动相关联的变换的变化。
系统可以以计算高效的顺序确定并应用变换。例如，可以通过跟踪用户姿势并定义虚拟内容相对于基于持久姿势而构建的PP或PCF的位置，来避免从产生rig1_T_pcf1的测量中计算rig1_T_w1的需要。这样，从虚拟内容的源坐标系到用户设备的目的地坐标系的变换可以基于根据表达式(rig1_T_pcf1)*(obj1_t_pcf1)的测量到的变换，其中第一变换由系统来测量，后一变换由指定虚拟内容进行渲染的应用提供。在其中虚拟内容相对于地图的原点定位的实施例中，端到端变换可以基于地图坐标与PCF坐标之间的进一步变换将虚拟对象坐标系与PCF坐标系相关。在虚拟内容相对于与针对其跟踪用户位置的PP或PCF不同的PP或PCF进行定位的实施例中，可以在两者之间进行变换。这样的变换可以是固定的，并且可以例如从两者都出现的地图中确定。
例如，可以在具有处理传感器数据以构建跟踪地图的部件的设备中实现基于变换的方法。作为该过程的一部分，这些部件可以识别可用作持久姿势的特征点，而这些持久姿势又可以变成PCF。这些部件可以限制针对地图生成的持久姿势的数量，以在持久姿势之间提供适当的间隔，同时允许用户无论物理环境中的位置如何都足够接近持久姿势位置，以准确计算用户的姿势，如以上结合图17至图19所示。随着距用户最近的持久姿势的更新，由于用户移动，对跟踪地图或其他的细化使得用于计算取决于PP(或PCF，如果正在使用)的位置的虚拟内容相对于用户的位置的任何变换都可以进行更新并存储以供使用，至少直到用户离开该持久姿势为止。尽管如此，通过计算和存储变换，每次更新虚拟内容的位置时的计算负担可以相对较低，从而可以以相对较低的等待时间来执行它。
图20A至图20C示出了相对于跟踪地图进行定位，并且每个设备具有其自己的跟踪地图。但是，可以相对于任何地图坐标系生成变换。XR系统的用户会话之间的内容持久性可以通过使用持久地图来实现。通过使用可以将多个用户设备定向到的地图，也可以实现用户的共享体验。
在下面更详细描述的一些实施例中，可以相对于规范地图中的坐标来指定虚拟内容的位置，规范地图的格式被设置为使得多个设备中的任何一个可以使用该地图。每个设备可能保持跟踪地图，并且可以确定用户的姿势相对于跟踪地图的变化。在此示例中，可以通过“定位”过程来确定跟踪地图与规范地图之间的变换，该过程可以通过将跟踪地图中的结构(诸如一个或多个持久姿势)匹配到规范地图的一个或多个结构(例如一个或多个PCF)来执行。
下面更详细地描述了以这种方式创建和使用规范地图的技术。
深度关键帧
本文所述的技术依赖于图像帧的比较。例如，为了建立设备相对于跟踪地图的位置，可以使用用户佩戴的传感器捕获新图像，并且XR系统可以在用于创建跟踪地图的图像集中，搜索与新图像共享至少预定数量的关注点的图像。作为涉及图像帧比较的另一种场景的示例，可以通过首先寻找跟踪地图中的与持久姿势相关联的图像帧，该图像帧类似于规范地图中的与PCF相关联的图像帧，来将跟踪地图定位到规范地图。可替代地，可以通过首先寻找两个地图中相似的图像帧来计算两个规范地图之间的变换。
如本文所述的技术可以实现空间信息的有效比较。在一些实施例中，图像帧可以由数字描述符表示。该描述符可以通过将图像中标识的一组特征映射到描述符的变换来计算。可以在经过训练的神经网络中执行该变换。在一些实施例中，被提供为神经网络的输入的一组特征可以是使用例如优先选择可能持久的特征的技术从图像中提取的经过滤的一组特征。
将图像帧表示为描述符使得例如能够高效地将新图像信息与存储的图像信息进行匹配。XR系统可以与持久地图下面的一个或多个帧的持久地图描述符一起存储。由用户设备获取的本地图像帧可以类似地被转换为这样的描述符。通过选择具有与本地图像帧的描述符相似的描述符的存储的地图，可以用相对较少的处理量来选择可能表示与用户设备相同的物理空间的一个或多个持久地图。在一些实施例中，可以针对本地地图和持久地图中的关键帧来计算描述符，从而进一步减少比较地图时的处理。例如，可以使用这种高效的比较来简化寻找持久地图从而加载到本地设备中，或者寻找持久地图以基于利用本地设备所获取的图像信息来更新。
深度关键帧提供了减少识别相似图像帧所需的处理量的方法。例如，在一些实施例中，比较可以是在新的2D图像中的图像特征(例如，“2D特征”)和地图中的3D特征之间。这种比较可以以任何适当的方式进行，诸如通过将3D图像投影到2D平面中。诸如词袋(Bag ofWords,BoW)之类的常规方法在包括地图中所有2D特征的数据库中搜索新图像的2D特征，这可能需要大量的计算资源，尤其是当地图表示大区域时。然后，常规方法定位与新图像共享至少一个2D特征的图像，这些图像可以包括对于在地图中定位有意义的3D特征没有用的图像。然后，常规方法定位相对于新图像中的2D特征没有意义的3D特征。
发明人已经认识并理解使用更少的存储器资源(例如，BoW使用的存储器资源的四分之一)、更高的效率(例如，每个关键帧的处理时间为2.5ms，针对500个关键帧进行比较为100μs)、并且更高的准确性(例如，对于1024维模型，检索召回率比BoW好20％，对于256维模型，检索召回率比BoW好5％)来检索地图中的图像的技术。
为了减少计算，可以针对图像帧计算描述符，该描述符可以用于将图像帧与其他图像帧进行比较。可以代替图像帧和特征点存储描述符，或者除图像帧和特征点之外还存储描述符。在其中可以根据图像帧生成持久姿势和/或PCF的地图中，可以将生成每个持久姿势或PCF所根据的一个或多个图像帧的描述符存储为持久姿势和/或PCF的一部分。
在一些实施例中，可以根据图像帧中的特征点来计算描述符。在一些实施例中，神经网络被配置为计算表示图像的唯一帧描述符。该图像可以具有高于1兆字节的分辨率，从而在图像中捕获用户所佩戴的设备的视场内的3D环境的足够的细节。帧描述符可以短得多，诸如数字字符串，例如，在128字节到512字节的范围内或者介于两者之间的任何数量的数字字符串。
在一些实施例中，神经网络被训练为计算出的帧描述符指示图像之间的相似性。可以通过在包括用于生成地图的图像的数据库中，识别可以具有在距新图像的帧描述符预定距离之内的帧描述符的最近图像，来定位地图中的图像。在一些实施例中，图像之间的距离可以由两个图像的帧描述符之间的差异表示。
图21是示出根据一些实施例的用于为单独图像生成描述符的系统的框图。在所示的示例中，示出了帧嵌入生成器308。在一些实施例中，帧嵌入生成器308可以在服务器20内使用，但是可以替代地或另外地在XR设备12.1和12.2之一或任何其他处理图像以与其他图像进行比较的设备中全部或部分地执行。
在一些实施例中，帧嵌入生成器可以被配置为生成从初始大小(例如，76,800字节)到最终大小(例如，256字节)的图像的缩减数据表示，该缩减数据表示尽管缩小了大小但是仍然指示图像中的内容。在一些实施例中，帧嵌入生成器可以用于生成图像的数据表示，该图像可以是关键帧或以其他方式使用的帧。在一些实施例中，帧嵌入生成器308可以被配置为将位于特定位置和取向的图像转换为唯一的数字字符串(例如，256字节)。在所示的示例中，XR设备拍摄的图像320可以由特征提取器324处理，以检测图像320中的关注点322。关注点可以从或可以不从如上针对特征1120所述识别出的特征点导出(图14)或如本文中另外描述的。在一些实施例中，关注点可以由如以上针对描述符1130(图14)所描述的描述符来表示，这些关注点可以使用深度稀疏特征方法来生成。在一些实施例中，每个关注点322可以由数字字符串(例如，32个字节)表示。例如，可以有n个特征(例如100个)，并且每个特征由32个字节的字符串来表示。
在一些实施例中，帧嵌入生成器308可以包括神经网络326。神经网络326可以包括多层感知器单元312和最大(max)池化单元314。在一些实施例中，多层感知器(MLP)单元312可以包括多层感知器，可以对该多层感知器进行训练。在一些实施例中，可以通过多层感知器312来减少关注点322(例如，用于关注点的描述符)，并且可以将其输出为描述符的加权组合310。例如，MLP可以将n个特征减少为少于n个特征的m个特征。
在一些实施例中，MLP单元312可以被配置为执行矩阵乘法。多层感知器单元312接收图像320的多个关注点322，并将每个关注点转换为相应的数字字符串(例如，256)。例如，可能有100个特征，并且每个特征可以由256个数字的字符串来表示。在此示例中，可以创建具有100个水平行和256个垂直列的矩阵。每行可具有一系列256个数字的系列，这一系列的256个数字在大小上有所不同，其中一些较小，而另一些较大。在一些实施例中，MLP的输出可以是n×256矩阵，其中n表示从图像提取的关注点的数量。在一些实施例中，MLP的输出可以是m×256矩阵，其中m是从n缩减的关注点的数量。
在一些实施例中，MLP 312可以具有训练阶段和使用阶段，在该训练阶段期间确定用于MLP的模型参数。在一些实施例中，可以如图25中所示训练MLP。输入训练数据可以包括三个一组的数据，三个一组包括1)查询图像、2)正样本、和3)负样本。查询图像可以被认为是参考图像。
在一些实施例中，正样本可以包括与查询图像相似的图像。例如，在一些实施例中，相似可以是在查询图像和正样本图像中具有相同的对象，但是从不同的角度观看。在一些实施例中，相似可以是在查询图像和正样本图像中具有相同的对象，但是该对象相对于另一图像移位(例如，向左、向右、向上、向下)。
在一些实施例中，负样本可以包括与查询图像不相似的图像。例如，在一些实施例中，不相似图像可以不包含在查询图像中突出的任何对象，或者可以仅包含查询图像中的突出对象的一小部分(例如，＜10％，1％)。与之相比，例如，相似图像可以具有查询图像中的对象的大部分(例如，>50％或>75％)。
在一些实施例中，可以从输入训练数据中的图像中提取关注点，并且可以将关注点转换成特征描述符。可以针对如图25所示的训练图像和针对图21的帧嵌入生成器308的操作中提取出的特征两者来计算这些描述符。在一些实施例中，如美国专利申请16/190,948中所述，可以使用深度稀疏特征(DSF)处理来生成描述符(例如，DSF描述符)。在一些实施例中，DSF描述符是n×32维。然后可以通过模型/MLP传递描述符，以创建256字节的输出。在一些实施例中，模型/MLP可以具有与MLP 312相同的结构，使得一旦通过训练设置了模型参数，就可以将所得的训练后的MLP用作MLP 312。
在一些实施例中，然后可以将特征描述符(例如，从MLP模型输出的256字节)发送到三元组边界损失模块(该三元组边界损失模块可以仅在训练阶段期间使用，而不在MLP神经网络的使用阶段期间使用)。在一些实施例中，三元组边界损失模块可以被配置为选择模型的参数，以减小来自查询图像的256字节输出与来自正样本的256字节输出之间的差异，并增大来自查询图像的256字节输出和来自负样本的256字节输出。在一些实施例中，训练阶段可以包括将多个三元组输入图像馈送到学习过程中以确定模型参数。该训练过程可以继续，例如，直到使正图像的差异最小化并且使负图像的差异最大化，或者直到达到其他适当的退出标准为止。
再次参考图21，帧嵌入生成器308可以包括池化层，在这里被示为最大(max)池化单元314。最大池化单元314可以分析每一列以确定相应列中的最大数。最大池化单元314可以将MLP 312的输出矩阵的每列数字的最大值组合成例如256个数字的全局特征串316。应当理解，在XR系统中处理的图像可能期望具有高分辨率的帧，潜在地具有数百万个像素。全局特征串316是相对较小的数字，其占用相对较少的存储器，并且与图像(例如，具有高于1兆字节的分辨率)相比易于搜索。因此可以搜索图像而无需分析来自相机中的每个原始帧，并且存储256字节而不是完整帧也更便宜。
图22是示出根据一些实施例的计算图像描述符的方法2200的流程图。方法2200可以从接收(动作2202)由用户佩戴的XR设备捕获的多个图像开始。在一些实施例中，方法2200可以包括从多个图像确定(动作2204)一个或多个关键帧。在一些实施例中，动作2204可以被跳过和/或可以代替地在步骤2210之后发生。
方法2200可以包括：利用人工神经网络在多个图像中识别(动作2206)一个或多个关注点；以及利用人工神经网络计算(动作2208)各个关注点的特征描述符。该方法可以包括针对每个图像计算(动作2210)帧描述符，从而至少部分基于利用人工神经网络针对图像中所识别的关注点而计算出的特征描述符来表示该图像。
图23是示出根据一些实施例的使用图像描述符进行定位的方法2300的流程图。在该示例中，可以将描述XR设备的当前位置的新图像帧与结合地图中的点(例如，如上所述的持久姿势或PCF)进行存储的图像帧进行比较。方法2300可以从接收(动作2302)由用户佩戴的XR设备捕获的新图像开始。方法2300可以包括在数据库中识别(动作2304)一个或多个最近的关键帧，该数据库包括用于生成一个或多个地图的关键帧。在一些实施例中，可以基于粗略的空间信息和/或先前确定的空间信息来识别最近的关键帧。例如，粗略的空间信息可以指示XR设备位于由地图的50m×50m区域表示的地理区域中。可以仅对该区域内的点执行图像匹配。作为另一示例，基于跟踪，XR系统可以知道XR设备先前在地图中接近第一持久姿势并且当时正在朝地图中第二持久姿势的方向移动。该第二持久姿势可以被认为是最近的持久姿势，并且与其一起存储的关键帧可以被认为是最近的关键帧。替代地或附加地，例如GPS数据或Wi-Fi指纹的其他元数据可以用于选择最近的关键帧或最近的关键帧的集合。
不管如何选择最近的关键帧，都可以使用帧描述符来确定新图像是否与被选择为与附近的持久姿势相关联的任何帧相匹配。可以通过以下处理来进行该确定：将新图像的帧描述符与最近的关键帧的帧描述符或以任何其他适当方式选择的数据库中的关键帧的子集的帧描述符进行比较，并选择具有帧描述符在新图像的帧描述符的预定距离内的关键帧。在一些实施例中，可以通过获得可以表示两个帧描述符的两个数字字符串之间的差来计算两个帧描述符之间的距离。在将字符串作为多个字符串进行处理的实施例中，可以将差计算为向量差。
一旦识别出匹配的图像帧，就可以确定XR设备相对于该图像帧的取向。方法2300可以包括：对地图中与所识别的最近关键帧相对应的3D特征执行(动作2306)特征匹配，以及基于特征匹配结果来计算(动作2308)用户所佩戴的设备的姿势。以此方式，可以针对已经被确定为与新图像的可能匹配的少至一个图像，来执行两个图像中的特征点的计算密集匹配。
图24是示出根据一些实施例的训练神经网络的方法2400的流程图。方法2400可以从生成(动作2402)包括多个图像集的数据集开始。多个图像集的每一个可以包括查询图像、正样本图像和负样本图像。在一些实施例中，多个图像集可以包括合成记录对，该合成记录对被配置为例如教导神经网络基本信息(诸如形状)。在一些实施例中，多个图像集可以包括真实记录对，这些真实记录对可以根据物理世界记录。
在一些实施例中，可以通过在两个图像之间拟合基本矩阵来计算内点(inlier)。在一些实施例中，稀疏重叠可以被计算为两个图像中看到的关注点的交并比(intersection over union，IoU)。在一些实施例中，正样本可以包括与查询图像中的相同的至少二十个关注点作为内点。负样本可以包括少于十个内点。负样本可以具有少于一半的与查询图像的稀疏点重叠的稀疏点。
方法2400可以包括针对每个图像集通过比较查询图像与正样本图像和负样本图像来计算(动作2404)损失。方法2400可以包括基于计算出的损失来修改(动作2406)人工神经网络，使得由人工神经网络针对查询图像生成的帧描述符与针对正样本图像的帧描述符之间的距离小于针对查询图像的帧描述符与针对负样本图像的帧描述符之间的距离。
应该理解，尽管以上描述了被配置为生成各个图像的全局描述符的方法和装置，但是方法和装置可以被配置为生成各个地图的描述符。例如，地图可以包括多个关键帧，每个关键帧可以具有如上所述的帧描述符。最大池化单元可以分析地图的关键帧的帧描述符，并将帧描述符组合为该地图的唯一地图描述符。
此外，应了解，可将其他架构用于如上所述的处理。例如，描述了用于生成DSF描述符和帧描述符的分离的神经网络。这种方法在计算上是高效的。然而，在一些实施例中，可以在不首先生成DSF描述符的情况下，根据所选择的特征点生成帧描述符。
对地图进行排名和合并
本文描述了用于在X现实(XR)系统中对多个环境地图进行排名的方法和装置，作为进一步处理的先驱，例如合并地图或相对于地图定位设备。地图合并可以使表示物理世界的重叠部分的地图能够被组合以表示更大的区域。对地图进行排名可以使得能够高效执行本文所述的技术，包括地图合并或定位，二者可以涉及基于相似性从一组地图中选择地图。在一些实施例中，例如，系统可以保持一组规范地图，该组规范地图以许多XR设备中的任何XR设备可以对其进行访问的方式被格式化。这些规范地图可以通过将来自那些设备的所选择的跟踪地图与其他跟踪地图或先前存储的规范地图进行合并而形成。
例如，可以对规范地图进行排名，用于选择一个或多个规范地图以与新的跟踪地图合并和/或从集合中选择一个或多个规范地图以在设备内使用。排名可以指示具有类似于跟踪地图的区域的区域的规范地图，使得在尝试将跟踪地图合并到规范地图中时，很可能在跟踪地图的一部分与规范地图的一部分之间将存在对应关系。这样的对应关系可以是进一步处理的先驱，在该进一步处理中，跟踪地图与规范地图对齐，使得可以将其合并到规范地图中。
在一些实施例中，可以将跟踪地图与规范地图的图块或其他定义区域合并，以便限制将跟踪地图与规范地图合并所需的处理量。对规范地图的区域进行操作，特别是对于表示相对大区域的规范地图，诸如建筑物中的多个房间，可能需要比对整个地图的操作更少的处理。在那些实施例中，地图排名或其他选择预处理可以标识先前存储的规范地图的一个或多个区域以尝试合并。
对于定位，将关于便携式设备的位置的信息与规范地图中的信息进行比较。如果通过对集合中的规范地图进行排名来标识一组规范地图中的一组候选区域，则可以更快地标识来自本地设备的信息与规范地图之间的对应区域。
发明人已经认识到并且理解到，XR系统可以通过实现有效地共享由多个用户收集的真实/物理世界的环境地图来向共享包括真实和/或虚拟内容的相同世界的多个用户提供增强的XR体验，无论这些用户是在同一时间还是在不同时间出现在世界中。然而，在提供这种系统方面存在重大挑战。这样的系统可以存储由多个用户生成的多个地图和/或系统可以存储在不同时间生成的多个地图。对于可能采用先前生成的地图执行的操作(诸如例如定位或地图合并)，可能需要进行大量处理才能从XR系统中收集的所有环境地图中识别同一世界(例如，相同的真实世界位置)的相关环境地图。
在一些系统中，可能存在从其做出地图的选择的大量的环境地图。发明人已经认识到和理解了从所有可能的环境地图中快速和准确地对环境地图的相关性进行排名的技术，诸如例如图28中的所有规范地图120的全域。然后可以选择高排名地图或一小组高排名地图用于进一步处理。该进一步处理可以包括确定用户设备相对于所选地图的位置，或在用户显示器上渲染虚拟对象，与用户周围的物理世界真实交互，或将由该用户设备收集的地图数据与存储的地图合并以创建更大或更准确的地图。
在一些实施例中，可以通过基于多个标准过滤存储的地图来识别与在物理世界中的位置处的用户的任务有关的存储的地图。这些标准可以指示由用户的可穿戴设备在该位置中生成的跟踪地图或其他位置信息与存储在数据库中的候选环境地图的比较。可以基于与地图相关联的元数据(诸如由生成地图的设备检测到的Wi-Fi指纹和/或在形成地图的同时设备所连接到的一组BSSID)来执行比较。地理定位信息，诸如GPS数据，可替代地或附加地用于选择一个或多个候选环境地图。先验信息也可用于候选地图的选择。例如，如果最近已经相对于规范地图确定了设备的位置，则可以选择表示先前确定的位置和/或相邻位置的规范地图。
可以基于地图的压缩或未压缩内容执行比较。可以通过比较从地图内容计算出的矢量来执行基于压缩表示的比较。例如，可以通过在存储的地图内定位跟踪地图来执行基于未压缩表示的比较，反之亦然。例如，可以通过将表示一个地图的一部分的一组或多组特征与另一地图中的特征组匹配来执行定位。可以基于减少要考虑的候选地图的数量所需的计算时间来按顺序执行多次比较，其中与需要更多计算的其它比较相比，涉及较少计算的比较将按顺序更早地执行。
在一些实施例中，比较可以基于跟踪地图的一部分，并且跟踪地图的一部分可以取决于为其选择环境地图的过程而不同。例如，对于定位，可以基于在要执行定位时最接近用户的跟踪地图中的持久姿势来选择候选地图。相反，当为地图合并操作选择候选地图时，可以基于规范地图与跟踪地图中的任何一个或多个持久姿势之间的相似性来选择候选地图。无论比较两个地图的什么部分，找到匹配部分可能需要与在地图中找到可能对应于物理世界中相同位置的特征组相关联的实质性过程。
图26描绘了根据一些实施例的被配置为对一个或多个环境地图进行排名的AR系统800。在此示例中，排名是作为合并操作的先导进行的。AR系统可以包括AR设备的可通行世界模型802。填充可通行世界模型802的信息可来自AR设备上的传感器，该传感器可包括存储在处理器804(例如，图4中的本地数据处理模块570)中的计算机可执行指令，该处理器可执行一些或全部处理以将传感器数据转换为地图。这种地图可以是跟踪地图，因为当AR设备在区域中操作时可以一边收集传感器数据一边构建跟踪地图。与该跟踪地图一起，可以提供可以被格式化为地图的元数据的区域属性，以便指示该跟踪地图表示的区域。这些区域属性可以是地理位置标识符，诸如表示为纬度和经度的坐标，或者是AR系统用来表示位置的ID。可替代地或另外地，区域属性可以是对于该区域具有唯一的很高的可能性的被测量的特性。区域属性例如可以从在该区域中检测到的无线网络的参数导出。在一些实施例中，区域属性可以与AR系统在附近和/或连接到的接入点的唯一地址相关联。例如，区域属性可以与5G基站/路由器、Wi-Fi路由器等的MAC地址或基本服务集标识符(BSSID)相关联。
属性可以附加到地图本身或地图中表示的位置。例如，跟踪地图的属性可以与地图中的持久姿势相关联。对于规范地图，属性可以与持久坐标系或地图的图块或其他区域相关联。
在图26的示例中，可以将跟踪地图与环境的其它地图合并。地图排名部分806从设备PW 802接收跟踪地图，并与地图数据库808通信以选择和排名来自地图数据库808中的环境地图。将排名较高的所选择地图发送到地图合并部分810。
地图合并部分810可以对从地图排名部分806发送的地图执行合并处理。合并处理可能需要将跟踪地图与一些或所有排名地图合并，并将新的合并地图发送到可通行世界模型812。地图合并部可以通过识别描绘物理世界的重叠部分的地图来合并地图。可以对齐那些重叠的部分，以便可以将两个地图中的信息聚合到最终地图中。
在一些实施例中，可以通过首先标识规范地图中的一组特征来标识重叠部分，该组特征可能对应于与跟踪地图中的持久姿势相关联的一组特征。规范地图中的该组特征可以是定义持久坐标系的一组特征。然而，不需要特征组与规范地图或跟踪地图中的单个持久位置相关联。在一些实施例中，可以通过标识已分配属性的特征组之间的对应关系来简化处理，使得可以比较那些属性的值以选择特征组用于进一步处理。
一旦一组候选地图，或在一些实施例中，地图的候选区域已被标识，则进一步的步骤可减少候选组，并且可以最终导致匹配地图的标识。一个这样的步骤可以是计算跟踪地图中的特征点组的变换，以与规范地图中的候选特征组对齐。该变换可以应用于整个跟踪地图，从而使得跟踪地图和规范地图的重叠部分能够被标识。重叠部分中的特征之间的高于阈值的对应关系可以指示跟踪地图已经与规范地图配准的强可能性。如果对应关系低于阈值，则可以处理跟踪地图和/或规范地图中的其他候选特征组以尝试找到地图的匹配区域。当找到足够大的对应关系时，可以将跟踪地图视为相对于规范地图定位的，其中导致大对应关系的变换指示跟踪地图相对于规范地图的位置。
可以执行类似的处理以将规范地图与其他规范地图以及跟踪地图合并。可以不时地执行规范地图的合并以标识其中规范地图已经通过跟踪地图的重复合并而被扩展的场景，使得多个地图表示物理世界的重叠区域。不管合并的地图类型如何，当正在合并的地图之间存在重叠时，合并可能需要聚合来自两个地图的数据。聚合可能需要用来自另一地图的信息来扩展一个地图。替代地或附加地，聚合可能需要基于另一地图中的信息来调整一个地图中的物理世界的表示。例如，后面的地图可以揭示造成特征点已经移动的对象，从而可以基于后面的信息来更新地图。替代地，两个地图可以用不同的特征点来表征同一区域，并且聚合可能需要从两个地图中选择一组特征点以更好地表示该区域。
不管合并过程中发生的具体处理如何，在一些实施例中，来自被合并的所有地图的持久位置(例如持久姿势或PCF)可以被保留，使得相对于它们对内容进行定位的应用可以继续这样做。在一些实施例中，地图的合并可以导致冗余的持久姿势，并且一些持久姿势可以被删除。当PCF与要删除的持久姿势相关联时，合并地图可能需要修改PCF以与合并后保留在地图中的持久姿势相关联。
在一些实施例中，随着地图进行扩展和/或更新，它们可以被细化。细化可能需要进行计算以减少可能表示物理世界中相同对象的特征点之间的内部不一致。这种不一致可能产生于与提供表示物理世界中相同对象的特征点的关键帧相关联的姿势不准确。例如，这种不一致可能产生于XR设备相对于跟踪地图计算姿势，该跟踪地图又是基于估计姿势而建立的，因此姿势估计中的误差会累积，从而随时间推移形成姿势准确性的“漂移”。通过执行光束法平差或其他操作以减少来自多个关键帧的特征点的不一致，可以细化地图。
在细化时，持续点相对于地图原点的位置可以改变。因此，与该持久点相关联的变换，例如持久姿势或PCF，可能会发生变化。在一些实施例中，结合地图细化(无论是作为合并操作的一部分还是出于其他原因而执行)的XR系统可以重新计算与已变化的任何持久点相关联的变换。这些变换可能被从计算变换的部件推送到使用该变换的部件，以使变换的任何使用都可以基于持久点的经更新的位置。
合并还可能需要基于与要合并的地图中的位置相关联的属性将位置元数据分配给合并地图中的位置。例如，规范地图的属性可以从用于形成规范地图的区域的一个或多个跟踪地图的属性导出。在其中基于合并到规范地图中的跟踪地图中的持久姿势来定义规范地图的持久坐标系的场景中，可以为持久坐标系分配与持久姿势相同的属性。在持久坐标系从来自一个或多个跟踪地图的一个或多个持久姿势导出的情况下，分配给持久坐标系的属性可以是持久姿势的属性的聚合。聚合属性的方式可能基于属性的类型而不同。地理位置属性可以通过根据与持久姿势相关联的地理位置信息内插持久坐标系的位置的属性值来聚合。对于其他属性，可以通过考虑应用于持久坐标系的所有值来聚合值。可以应用类似的逻辑来导出地图的图块或其他区域的属性。
在提交用于合并的跟踪地图与任何先前存储的规范地图没有足够相关性的场景中，系统可以基于该跟踪地图创建新的规范地图。在一些实施例中，跟踪地图可以被提升为规范地图。以这种方式，由规范地图集表示的物理世界的区域可以随着用户设备提交用于合并的跟踪地图而增长。
可通行世界模型812可以是云模型，该云模型可以由多个AR设备共享。可通行世界模型812可以存储或以其它方式访问地图数据库808中的环境地图。在一些实施例中，当更新先前计算的环境地图时，可以删除该地图的先前版本，以便从数据库中删除过时的地图。在一些实施例中，当更新先前计算的环境地图时，该地图的先前版本可以被存档，从而使得能够取得/观看环境的先前版本。在一些实施例中，可以设置许可，使得只有具有某些读/写访问权限的AR系统才可以触发地图的先前版本被删除/存档。
从由一个或多个AR设备/系统提供的跟踪地图创建的这些环境地图可以由AR系统中的AR设备访问。地图排名部分806也可以用于向AR设备提供环境地图。AR设备可以发送请求其当前位置的环境地图的消息，并且地图排名部分806可以用于选择和排名与请求设备有关的环境地图。
在一些实施例中，AR系统800可以包括被配置为从云端PW 812接收合并地图的下采样部814。从云端PW 812接收的合并地图可以是用于云端的存储格式，其可以包括高分辨率信息，例如每平方米大量的PCF或多个图像帧或与PCF相关的大量特征点集。下采样部814可以被配置为将云端格式地图下采样为适合于存储在AR设备上的格式。设备格式的地图可以包含较少的数据，例如较少的PCF或针对每个PCF存储的较少数据，以适应AR设备有限的本地计算能力和存储空间。
图27是示出了可以存储在例如云端的远程存储介质中的多个规范地图120的简化框图。每个规范地图120可以包括用作规范地图标识符的多个属性，这些标识符指示规范地图在物理空间内的位置，例如地球上某处。这些规范地图标识符可以包括以下标识符中的一个或多个：由经度和纬度范围表示的区域标识符、帧描述符(例如，图21中的全局特征串316)、Wi-Fi指纹、特征描述符(例如，图21中的特征描述符310)、以及指示对地图做出贡献的一个或多个设备的设备标识。在搜索地图之间的对应关系时，这些属性可用于定义比较哪些地图和/或比较哪些部分或地图。
尽管图27中的元素中的每一个可以被视为单独的地图，但是在一些实施例中，可以对规范地图的图块或其他区域执行处理。例如，规范地图120可以各自表示较大地图的区域。在那些实施例中，可以将属性分配给区域而不是整个地图或除了整个地图之外。因此，本文中对地图选择的讨论可替代地或附加地适用于选择地图的片段，诸如一个或多个图块。
在示出的示例中，规范地图120以二维模式在地理上布置，因为它们可以存在于地球表面上。规范地图120可以由相应的经度和纬度唯一地可识别，因为具有重叠的经度和纬度的任何规范地图都可以合并为新的规范地图。
图28是示出根据一些实施例的选择规范地图的方法的示意图，该方法可以用于将新的跟踪地图定位到一个或多个规范地图。这样的处理可以用于标识用于合并的候选地图或者可以用于相对于规范地图定位用户设备。该方法可以从访问(动作120)规范地图120的世界开始，作为示例，该规范地图120的世界可以存储在可通行世界的数据库中(例如，可通行世界模块538)。规范地图的世界可以包括来自所有先前到访过的位置的规范地图。XR系统可以将所有规范地图的世界过滤为一个小的子集或仅一个地图。选择的集合可以被发送到用户设备用于在设备上进行进一步处理。替代地或附加地，一些或全部进一步处理可以在云中执行，并且该处理的结果可以被发送到用户设备和/或存储在云中，如合并地图的情况。
该方法可以包括过滤(动作300)规范地图的世界。在一些实施例中，动作300可以选择覆盖经度和纬度的至少一个匹配规范地图120，其中的经度和纬度包括从XR设备接收到的位置标识符的经度和纬度，只要在该经度和纬度处存在至少一个地图即可。在一些实施例中，动作300可以选择覆盖与匹配的规范地图相邻的经度和纬度的至少一个相邻规范地图。在一些实施例中，动作300可以选择多个匹配规范地图和多个相邻规范地图。动作300可以例如将规范地图的数量减少大约十倍，例如从数千减少到数百，以形成第一过滤选择。替代地或附加地，可以使用除纬度和经度以外的标准来识别相邻地图。例如，XR设备可以先前已经利用集合中的规范地图进行定位作为同一会话的一部分。云服务可以保留有关XR设备的信息，包括先前定位到的地图。在该示例中，在动作300处选择的地图可以包括覆盖与XR设备定位到的地图相邻的区域的那些地图。
该方法可以包括基于Wi-Fi指纹来过滤(动作302)规范地图的第一过滤选择。动作302可以基于作为位置标识符的一部分从XR设备接收的Wi-Fi指纹来确定纬度和经度。动作302可以将来自Wi-Fi指纹的纬度和经度与规范地图120的纬度和经度进行比较，以确定形成第二过滤选择的一个或多个规范地图。动作302可以将规范地图的数量减少大约十倍，例如，从数百个规范地图减少到形成第二选择的数十个(例如50个)规范地图，例如，第一过滤选择可以包括130个规范地图，第二过滤选择可以包括130个规范地图中的50个，并且可以不包括130个规范地图中的其他80个。
该方法可以包括基于关键帧来过滤(动作304)规范地图的第二过滤选择。动作304可以将表示由XR设备捕获的图像的数据与表示规范地图120的数据进行比较。在一些实施例中，表示图像和/或地图的数据可以包括特征描述符(例如，图25中的DSF描述符)和/或全局特征串(例如，图21中的316)。动作304可以提供规范地图的第三过滤选择。在一些实施例中，例如，动作304的输出可以仅是在第二过滤选择之后识别出的50个规范地图中的五个规范地图。然后，地图发送器122将基于第三过滤选择的一个或多个规范地图发送到观看设备。动作304可以将规范地图的数量减少大约十倍，例如，从数十个规范地图减少到形成第三选择的个位数的规范地图(例如，5个)。在一些实施例中，XR设备可以在第三过滤选择中接收规范地图，并且尝试定位到所接收的规范地图中。
例如，动作304可以基于规范地图120的全局特征串316和基于由观看设备捕获的图像(例如，可以是用户的本地跟踪地图的一部分的图像)的全局特征串316来过滤规范地图120。因此，图27中的每个规范地图120具有与其相关联的一个或多个全局特征串316。在一些实施例中，当XR设备向云端提交图像或特征细节并且在云端处理这些图像或特征细节以生成用于规范地图120的全局特征串316时，可以获取全局特征串316。
在一些实施例中，云端可以接收由观看设备捕获的实时/新/当前图像的特征细节，并且云端可以生成实时图像的全局特征串316。然后，云端可以基于实时全局特征串316来过滤规范地图120。在一些实施例中，可以在本地观看设备上生成全局特征串。在一些实施例中，可以例如在云端远程生成全局特征串。在一些实施例中，云端可以将过滤后的规范地图连同与过滤后的规范地图相关联的全局特征串316一起发送到XR设备。在一些实施例中，当观看设备将其跟踪地图定位到规范地图时，它可以通过将本地跟踪地图的全局特征串316与规范地图的全局特征串进行匹配来做到这一点。
应当理解，XR设备的操作可以不执行所有动作(300、302、304)。例如，如果规范地图的世界相对较小(例如，500个地图)，则尝试进行定位的XR设备可以基于Wi-Fi指纹(例如，动作302)和关键帧(例如，动作304)来过滤规范地图的世界，但是省略了基于区域的过滤(例如，动作300)。而且，没有必要对整个地图进行比较。例如，在一些实施例中，两个地图的比较可以导致识别共同的持久点，例如在新地图中和从地图世界选择的地图中都出现的持久姿势或PCF。在那种情况下，描述符可以与持久点相关联，并且可以比较那些描述符。
图29是示出根据一些实施例的选择一个或多个排名的环境地图的方法900的流程图。在所示的实施例中，对正在创建跟踪地图的用户的AR设备执行排名。因此，跟踪地图可用于对环境地图进行排名。在其中跟踪地图不可用的实施例中，可以使用不明确依赖于跟踪地图的环境地图的选择和排名的一些或全部部分。
方法900可以从动作902开始，其中可以访问位于形成跟踪地图的位置附近的环境地图(其可以被格式化为规范地图)数据库中的一组地图，并且然后过滤以便排名。另外，在动作902处，确定用户的AR设备正在其中操作的区域的至少一个区域属性。在用户的AR设备正在构造跟踪地图的场景中，区域属性可对应于在其上创建跟踪地图的区域。作为特定示例，可以在AR设备正在计算跟踪地图的同时基于从接入点到计算机网络的接收信号来计算区域属性。
图30描绘了根据一些实施例的AR系统800的示例性地图排名部分806。地图排名部分806可以在云计算环境中执行，因为它可以包括在AR设备上执行的一部分和在诸如云的远程计算系统上执行的部分。地图排名部分806可以被配置为执行方法900的至少一部分。
图31A描绘了根据一些实施例的数据库中的跟踪地图(TM)1102和环境地图CM1-CM4的区域属性AA1-AA8的示例。如图所示，环境地图可以与多个区域属性相关联。区域属性AA1-AA8可以包括由AR设备计算跟踪地图1102检测到的无线网络的参数，例如，AR设备所连接的网络的基本服务集标识符(BSSID)和/或通过例如网络塔1104到无线网络的接入点的接收信号的强度。无线网络的参数可以符合包括Wi-Fi和5G NR的协议。在图32中所示的示例中，区域属性是用户AR设备在其中收集传感器数据以形成跟踪地图的区域的指纹。
图31B描绘了根据一些实施例的跟踪地图1102的所确定的地理位置1106的示例。在所示的示例中，确定的地理位置1106包括质心点1110和围绕质心点环绕的区域1108。应当理解，本申请的地理位置的确定不限于所示出的格式。所确定的地理位置可以具有任何合适的格式，包括例如不同的区域形状。在该示例中，使用将区域属性与地理位置相关联的数据库，从区域属性确定地理位置。数据库是可商购的，例如，将Wi-Fi指纹与表达为纬度和经度的位置相关联并且可用于该操作的数据库。
在图29的实施例中，包含环境地图的地图数据库还可以包括那些地图的位置数据，包括地图所覆盖的纬度和经度。在动作902处的处理可能需要从该数据库中选择一组环境地图，该环境地图覆盖针对跟踪地图的区域属性确定的相同纬度和经度。
动作904是对在动作902中访问的一组环境地图的第一过滤。在动作902中，基于与跟踪地图的地理位置的接近度，将环境地图保留在该组中。可以通过比较与该组中的跟踪地图和环境地图相关联的纬度和经度来执行该过滤步骤。
图32描绘了根据一些实施例的动作904的示例。每个区域属性可以具有对应的地理位置1202。该组环境地图可以包括具有至少一个区域属性的环境地图，该至少一个区域属性具有与跟踪地图的确定的地理位置重叠的地理位置。在所示的示例中，一组识别的环境地图包括环境地图CM1、CM2和CM4，每个环境地图都具有至少一个区域属性，该区域属性具有与跟踪地图1102的确定的地理位置重叠的地理位置。与区域属性AA6相关联的CM3未包括在该组中，因为它在跟踪地图的确定的地理位置之外。
还可以对该组环境地图执行其它过滤步骤，以减少/排名该组中最终被处理的环境地图的数量(诸如，用于地图合并或向用户设备提供可通行世界信息)。方法900可以包括基于与跟踪地图和该组环境地图的环境地图相关联的网络接入点的一个或多个标识符的相似性来过滤(动作906)该组环境地图。在地图的形成期间，可以将收集传感器数据以生成地图的设备通过网络接入点(诸如通过Wi-Fi或类似的无线通信协议)连接到网络。接入点可以通过BSSID来识别。当用户设备移动通过收集数据的区域以形成地图时，用户设备可以连接到多个不同的接入点。同样，当多个设备提供信息以形成地图时，该设备可能已通过不同的接入点进行连接，因此出于该原因，在形成地图时也可能会使用多个接入点。因此，可能存在与地图相关联的多个接入点，并且该组接入点可以是地图位置的指示。来自接入点的信号强度可以反映为RSSI值，可以提供进一步的地理信息。在一些实施例中，BSSID和RSSI值的列表可以形成针对地图的区域属性。
在一些实施例中，基于网络接入点的一个或多个标识符的相似性来过滤该组环境地图可以包括：基于网络接入点的一个或多个标识符，将与跟踪地图的至少一个区域属性具有最高Jaccard相似性的环境地图保留在该组环境地图中。图33描绘了根据一些实施例的动作906的示例。在所示的示例中，可以将与区域属性AA7相关联的网络标识符确定为跟踪地图1102的标识符。动作906之后的该组环境地图包括：环境地图CM2，其可具有与AA7更高的Jaccard相似性内的区域属性；以及环境地图CM4，其还包括区域属性AA7。环境地图CM1不包括在该组中，因为它具有与AA7最低的Jaccard相似性。
可以基于与地图相关联的元数据来执行动作902-906的处理，而无需实际访问存储在地图数据库中的地图的内容。其它处理可涉及访问地图的内容。动作908指示在基于元数据过滤之后访问保留在子集中的环境地图。应当理解，如果可以对所访问的内容执行后续操作，则可以在该过程中的较早或较晚时执行该动作。
方法900可以包括基于表示跟踪地图和一组环境地图的环境地图的内容的度量的相似性来过滤(动作910)一组环境地图。表示跟踪地图和环境地图的内容的度量可以包括从地图的内容计算出的值的矢量。例如，如上所述，为用于形成地图的一个或多个关键帧计算的深度关键帧描述符可以提供用于比较地图或地图的部分的度量。度量可以从在动作908处取得的地图来计算，或者可以被预先计算并存储为与那些地图相关联的元数据。在一些实施例中，基于表示跟踪地图和一组环境地图的环境地图的内容的度量的相似性来过滤一组环境地图可包括：将跟踪地图的特征矢量与表示一组环境地图中的环境地图的矢量之间具有最小矢量距离的环境地图保留在一组环境地图中。
方法900可以包括：基于跟踪地图的一部分与一组环境地图的环境地图的部分之间的匹配程度来进一步过滤(动作912)一组环境地图。匹配程度可以被确定为定位过程的一部分。作为非限制性示例，可以通过在跟踪地图和环境地图中识别与它们可以表示物理世界的相同部分足够相似的临界点来执行定位。在一些实施例中，关键点可以是特征、特征描述符、关键帧、关键装配、持久姿势和/或PCF。然后，可能将跟踪地图中的一组临界点对齐以与环境地图中的该组临界点产生最优适配。可能计算对应的临界点之间的均方距离，并且如果低于跟踪地图的特定区域的阈值，则用作指示跟踪地图和环境地图表示物理世界的相同区域。
在一些实施例中，基于跟踪地图的一部分与一组环境地图的环境地图的部分之间的匹配程度来过滤一组环境地图可包括：计算由跟踪地图表示的物理世界的体积，该跟踪地图也表示在一组环境地图的环境地图中；以及将具有比从一组中过滤出的环境地图更大的计算体积的环境地图保留在一组环境地图中。图34描绘了根据一些实施例的动作912的示例。在示出的示例中，在动作912之后的一组环境地图包括环境地图CM4，该环境地图CM4具有与跟踪地图1102的区域匹配的区域1402。环境地图CM1不包括在该组中，因为它不具有与跟踪地图1102的区域匹配的区域。
在一些实施例中，可以按照动作906、动作910和动作912的顺序来过滤该组环境地图。在一些实施例中，可以基于动作906、动作910和动作912来过滤该组环境地图，可以根据从最低到最高的，基于执行过滤所需的处理的顺序来执行该动作906、动作910和动作912。方法900可以包括加载(动作914)该组环境地图和数据。
在所示的示例中，用户数据库存储指示使用AR设备的区域的区域标识。区域标识可以是区域属性，该区域属性可以包括AR设备在使用中检测到的无线网络的参数。地图数据库可以存储由AR设备提供的数据和相关联的元数据构造的多个环境地图。相关联的元数据可以包括从提供数据的AR设备的区域标识中导出的区域标识，环境地图从该数据中构造。AR设备可以向PW模块发送消息，指示创建或正在创建新的跟踪地图。PW模块可以计算用于AR设备的区域标识符，并基于接收到的参数和/或计算出的区域标识符来更新用户数据库。PW模块还可以确定与请求环境地图的AR设备相关联的区域标识符，基于区域标识符从地图数据库中识别该组环境地图，过滤该组环境地图，并且向AR设备发送过滤的一组环境地图。在一些实施例中，PW模块可以基于一个或多个标准来过滤该组环境地图，该标准包括例如跟踪地图的地理位置，与跟踪地图以及该组环境地图的环境地图相关联的网络接入点的一个或多个标识符的相似性，表示跟踪地图和该组环境地图的环境地图的内容的度量的相似性，以及跟踪地图的一部分与该组环境地图的环境地图的部分之间的匹配程度。
至此已经描述了一些实施例的几个方面，应当理解，本领域技术人员将容易想到各种改变、修改和改进。作为一个示例，结合增强(AR)环境来描述实施例。应当理解，在此描述的一些或全部技术可以在MR环境中或更普遍地在其它XR环境和VR环境中应用。
作为另一个示例，结合诸如可穿戴设备的设备来描述实施例。应当理解，可以经由网络(诸如云)、分立应用和/或设备、网络和分立应用的任何合适的组合来实现在此描述的一些或全部技术。
此外，图29提供了可用于过滤候选地图以产生一组高排名地图的标准的示例。代替所描述的标准或除了所描述的标准之外，可以使用其它标准。例如，如果多个候选地图具有用于过滤掉不太理想的地图的度量的相似值，则候选地图的特性可以用于确定哪些地图被保留为候选地图或被过滤掉。例如，更大或更密集的候选地图可以优先于较小的候选地图。在一些实施例中，图27-28可以描述图29-34中描述的全部或部分的系统和方法。
图35和36是示出根据一些实施例的被配置为对多个环境地图进行排名和合并的XR系统的示意图。在一些实施例中，可通行世界(PW)可以确定何时触发对地图进行排名和/或合并。在一些实施例中，确定要使用的地图可以至少部分地基于以上关于图21至图25描述的深度关键帧。
图37是示出根据一些实施例的创建物理世界的环境地图的方法3700的框图。方法3700可以从将由用户佩戴的XR设备捕获的跟踪地图定位(动作3702)到规范地图(例如，通过图28的方法和/或图29的方法900选择的规范地图)的群组。动作3702可以包括将跟踪地图的关键装配定位到规范地图的群组中。每个关键装配的定位结果可以包括关键装配的本地化姿势和2D到3D特征对应关系的集合。
在一些实施例中，方法3700可以包括将跟踪地图分裂(动作3704)为连接的部分，这可以通过合并连接的片段来鲁棒地合并地图。每个连接的部分可以包括在预定距离内的关键装配。方法3700可以包括：将大于预定阈值的连接部分合并(动作3706)到一个或多个规范地图中；以及从跟踪地图中移除已合并的连接部分。
在一些实施例中，方法3700可以包括合并(动作3708)与跟踪地图的相同连接部分进行合并的群组中的规范地图。在一些实施例中，方法3700可以包括将尚未与任何规范地图合并的跟踪地图的其余连接部分提升(动作3710)为规范地图。在一些实施例中，方法3700可以包括合并(动作3712)跟踪地图和规范地图的持久姿势和/或PCF，其中的规范地图与跟踪地图的至少一个连接部分进行合并。在一些实施例中，方法3700可以包括例如通过融合地图点并修剪冗余关键装配来最终化(行动3714)规范地图。
图38A和38B示出了根据一些实施例的通过更新规范地图700创建的环境图3800，该规范地图700可以用新跟踪地图从跟踪地图700(图7)进行升级。如相对于图7所图示和描述的，规范地图700可以提供由点702表示在相应物理世界中的重建物理对象的平面图706。在一些实施例中，地图点702可以表示物理对象的特征，该物理对象可以包括多个特征。可以捕获关于物理世界的新跟踪地图，并将其上传到云端以与地图700合并。新跟踪地图可以包括地图点3802以及关键装配3804、3806。在所示的示例中，关键装配3804表示通过例如建立与地图700的关键装配704的对应关系(如图38B所示)而成功地定位到规范地图的关键装配。另一方面，关键装配3806表示尚未定位到地图700的关键装配。在一些实施例中，可以将关键装配3806提升为单独的规范地图。
图39A至39F是示出基于云的持久坐标系的示例的示意图，该基于云的持久坐标系为相同物理空间中的用户提供共享的体验。图39A示出了例如来自云端的规范地图4814由图20A至图20C的用户4802A和4802B所佩戴的XR设备接收。规范地图4814可具有规范坐标框架4806C。规范地图4814可以具有带有多个相关联的PP的PCF 4810C(例如，图39C中的4818A、4818B)。
图39B示出了XR设备在其相应的世界坐标系4806A、4806B与规范坐标框架4806C之间建立的关系。例如，这可以通过定位到相应设备上的规范地图4814来完成。对于每个设备，将跟踪地图定位到规范地图可以导致对于每个设备其本地世界坐标系与规范地图的坐标系之间的变换。
图39C示出可以计算在相应设备上的本地PCF(例如，PCF 4810A、PCF 4810B)到规范地图上的相应持久姿势(例如，PP 4818A、PP 4818B)之间的变换(例如，变换4816A、变换4816B)作为定位的结果。利用这些转换，每个设备都可以使用其本地PCF来确定相对于本地设备在何处显示附接到PP 4818A、PP 4818B或规范地图的其他持久点的虚拟内容，其中的本地PCF可以通过处理利用设备上的传感器检测到的图像来在设备本地进行检测。这样的方法可以相对于每个用户准确地定位虚拟内容，并且可以使每个用户能够在物理空间中具有虚拟内容的相同体验。
图39D示出了从规范地图到本地跟踪地图的持久姿势快照。可以看出，本地跟踪地图通过持久姿势相互连接。图39E示出了由用户4802A佩戴的设备上的PCF 4810A能够通过PP 4818A在用户4802B佩戴的设备中访问。图39F示出了跟踪地图4804A、4804B和规范地图4814可以合并。在一些实施例中，一些PCF可以由于合并而被去除。在所示的示例中，合并地图包括规范地图4814的PCF 4810C，但不包括跟踪地图4804A、4804B的PCF 4810A、PCF4810B。在地图合并之后，先前与PCF 4810A、PCF 4810B相关联的PP可以与PCF 4810C相关联。
示例
图40和图41示出了由图9的第一XR设备12.1使用跟踪地图的示例。图40是根据一些实施例的三维的第一本地跟踪地图(地图1)的二维表示，其可以由图9的第一XR设备生成。图41是示出根据一些实施例的从图9的第一XR设备向服务器上传地图1的框图。
图40示出第一XR设备12.1上的地图1和虚拟内容(内容123和内容456)。地图1具有原点(原点1)。地图1包括许多PCF(PCF a至PCF d)。从第一XR设备12.1的角度来看，PCF a例如被定位在地图1的原点处并具有(0，0，0)的X、Y和Z坐标，并且PCF b具有X、Y和Z坐标(-1，0，0)。内容123与PCF a相关联。在本示例中，内容123具有相对于(1，0，0)的PCF a的X、Y和Z关系。内容456具有相对于PCF b的关系。在本示例中，内容456具有相对于PCF b的(1，0，0)的X、Y和Z关系。
在图41中，第一XR设备12.1将地图1上传到服务器20。在该示例中，由于服务器没有为跟踪地图所表示的物理世界的同一区域存储规范地图，并且跟踪地图被存储为初始规范地图。服务器20现在具有基于地图1的规范地图。第一XR设备12.1具有在该阶段为空的规范地图。为了讨论的目的，并且在一些实施例中，服务器20除了地图1之外不包括其它地图。第二XR设备12.2上没有存储地图。
第一XR设备12.1还向服务器20发送其Wi-Fi签名数据。服务器20可以使用Wi-Fi签名数据基于从其它设备收集的情报来确定第一XR设备12.1的大致位置，该其它设备过去已经与已记录的这类其它设备的GPS位置一起连接到服务器20或其它服务器。第一XR设备12.1现在可以结束第一会话(参见图8)，并且可以与服务器20断开连接。
图42是示出了根据一些实施例的图16的XR系统的示意图，示出了在第一用户14.1终止第一会话之后，第二用户14.2已经使用XR系统的第二XR设备发起第二会话。图43A示出第二用户14.2发起第二会话的框图。因为第一用户14.1的第一会话已经结束，所以以虚线示出了第一用户14.1。第二XR设备12.2开始记录对象。服务器20可以使用具有不同粒度的各种系统来确定第二XR设备12.2的第二会话与第一XR设备12.1的第一会话在相同的附近处。例如，第一XR设备12.1和第二XR设备12.2中可以包括Wi-Fi签名数据、全球定位系统(GPS)定位数据、基于Wi-Fi签名数据的GPS数据或指示位置的任何其它数据，以记录他们的位置。可替代地，由第二XR设备12.2识别的PCF可以显示与地图1的PCF的相似性。
如图43B中所示，第二XR设备启动并开始收集数据，诸如来自一个或多个相机44、46的图像1110。如图14中所示，在一些实施例中，XR设备(例如第二XR设备12.2)可以收集一个或多个图像1110并执行图像处理以提取一个或多个特征/关注点1120。每个特征可以转换为描述符1130。在一些实施例中，描述符1130可以用于描述关键帧1140，该关键帧1140可以具有附加的关联图像的位置和方向。一个或多个关键帧1140可以对应于单个持久姿势1150，该单个持久姿势1150可以在距先前持久姿势1150阈值距离(例如3米)之后被自动生成。一个或多个持久姿势1150可以对应于单个PCF 1160，该单个PCF 1160可以在预定距离(例如，每5米)之后被自动生成。随着时间推移，随着用户继续在用户的环境周围移动，并且XR设备继续收集更多的数据(诸如图像1110)，可能创建附加PCF(例如PCF 3和PCF 4、5)。一个或多个应用1180可以在XR设备上运行，并将虚拟内容1170提供给XR设备以呈现给用户。虚拟内容可以具有关联的内容坐标框架，该内容坐标框架可以相对于一个或多个PCF放置。如图43B中所示，第二XR设备12.2创建三个PCF。在一些实施例中，第二XR设备12.2可以尝试定位到存储在服务器20上的一个或多个规范地图。
在一些实施例中，如图43C中所示，第二XR设备12.2可以从服务器20下载规范地图120。第二XR设备12.2上的地图1包括PCF a至d和原点1。在一些实施例中，服务器20可以具有用于各个位置的多个规范地图，并且可以确定在第一会话期间第二XR设备12.2位于与第一XR设备12.1附近相同的附近处，并向第二XR设备12.2发送该附近的规范地图。
图44示出第二XR设备12.2开始识别PCF以用于生成地图2。第二XR设备12.2仅识别了单个PCF，即PCF 1,2。第二XR设备12.2的PCF 1，2的X、Y和Z坐标可以是(1，1，1)。地图2具有其自己的原点(原点2)，该原点可以基于在设备开始时当前头部姿势会话的设备2的头部姿势。在一些实施例中，第二XR设备12.2可以立即尝试将地图2定位到规范地图。在一些实施例中，因为系统不能识别两个地图之间的任何或足够的重叠，所以地图2可能不能定位到规范地图(地图1)中(即，定位可能失败)。可以通过识别在第一地图中表示的、也在第二地图中表示的物理世界的一部分，并计算对齐这些部分所需的第一地图和第二地图之间的变换来执行定位。在一些实施例中，系统可以基于本地地图和规范地图之间的PCF比较来定位。在一些实施例中，系统可以基于本地地图和规范地图之间的持久姿势比较来定位。在一些实施例中，系统可以基于本地地图和规范地图之间的关键帧比较来定位。
图45示出第二XR设备12.2识别出地图2的其它PCF(PCF 1、2，PCF 3，PCF 4、5)之后的地图2。第二XR设备12.2再次尝试将地图2定位到规范地图。由于地图2已扩展为与规范地图的至少一部分重叠，因此定位尝试将成功。在一些实施例中，本地跟踪地图、地图2和规范地图之间的重叠可以由PCF、持久姿势、关键帧或任何其它合适的中间或派生构造来表示。
此外，第二XR设备12.2已将内容123和内容456与地图2的PCF 1、2和PCF 3相关联。内容123具有相对于的PCF 1、2的X、Y和Z坐标(1，0，0)。类似地，相对于地图2中的PCF 3，内容456的X、Y和Z坐标为(1，0，0)。
图46A和图46B示出地图2到规范地图的成功定位。定位可以基于将一个地图中的特征与另一个地图匹配。通过适当的变换，这里涉及一个地图相对于另一个地图的平移和旋转，地图1410的重叠区域/体积/截面表示地图1和规范地图的共同部分。由于地图2在定位之前创建了PCF 3和4、5，而规范地图在创建地图2之前创建了PCF a和c，因此创建了不同的PCF以表示实际空间中的相同体积(例如，在不同的地图中)。
如图47中所示，第二XR设备12.2扩展了地图2，以包括来自规范地图的PCF a-d。包括PCF a-d表示地图2到规范地图的定位。在一些实施例中，XR系统可以执行优化步骤以从重叠区域去除重复的PCF，诸如1410中的PCF，PCF 3和PCF 4、5。在地图2定位后，虚拟内容(诸如内容456和内容123)的放置将予更新的地图2中最接近的更新的PCF相关联。虚拟内容相对于用户出现在相同的真实世界位置中，尽管更改了内容的PCF附加，并且尽管更新了地图2的PCF。
如图48中所示，第二XR设备12.2继续扩展地图2，例如当用户围绕真实世界走动时，第二XR设备12.2会识别出其它PCF(PCF e、f、g和h)。还应注意，地图1在图47和图48中没有扩展。
参考图49，第二XR设备12.2将地图2上传到服务器20。服务器20将地图2与规范地图一起存储。在一些实施例中，当针对第二XR设备12.2的会话结束时，地图2可以上传到服务器20。
服务器20内的规范地图现在包括PCF i，该PCF i不包括在第一XR设备12.1上的地图1中。当第三XR设备(未示出)将地图上传到服务器20并且该地图包括PCF i时，服务器20上的规范地图可能已扩展为包括PCF i。
在图50中，服务器20将地图2与规范地图合并以形成新的规范地图。服务器20确定PCF a至d对于规范地图和地图2是共同的。服务器扩展规范地图以包括PCF e至h和来自地图2的PCF 1、2，以形成新的规范地图。第一XR设备12.1和第二XR设备12.2上的规范地图基于地图1，并且已过时。
在图51中，服务器20将新的规范地图发送到第一XR设备12.1和第二XR设备12.2。在一些实施例中，当第一XR设备12.1和第二设备12.2试图在不同的或新的或随后的会话期间进行定位时，这可能发生。第一XR设备12.1和第二XR设备12.2如上所述进行，以将其相应的本地地图(分别为地图1和地图2)定位到新的规范地图。
如图52中所示，头部坐标框架96或“头部姿势”与地图2中的PCF相关。在一些实施例中，地图的原点，原点2，是基于会话开始时的第二XR设备12.2的头部姿势。在会话期间创建PCF时，将相对于世界坐标框架原点2放置PCF。地图2的PCF用作相对于规范坐标框架的持久坐标系，其中世界坐标框架可以是前一会话的世界坐标框架(例如，图40中的地图1的原点1)。这些坐标框架通过用于将地图2定位到规范地图的相同变换相关，如上面结合图46B所讨论的。
先前已经参考图9讨论了从世界坐标框架到头部坐标框架96的变换。图52中所示的头部坐标框架96仅具有两个正交轴，该两个正交轴相对于地图2的PCF处于特定的坐标位置中，以及相对于地图2处于特定的角度。然而应当理解，头部坐标框架96相对于地图2的PCF位于三维位置，并且在三维空间内具有三个正交轴。
在图53中，头部坐标框架96已相对于地图2的PCF移动。由于第二用户14.2已移动其头部，因此头部坐标框架96已移动。用户可以以六个自由度(6dof)移动其头部。头部坐标框架96因此可以在6dof(即，从其在图52中的先前位置在三维中，以及相对于地图2的PCF围绕三个正交轴)中移动。当图9中的真实对象检测相机44和惯性测量单元48分别检测头部单元22的真实对象和运动时，头部坐标框架96被调节。
图54示出声音可以与一个或多个PCF相关联。用户可以例如佩戴具有立体声的头戴式耳机或耳机。通过耳机的声音位置可以使用传统技术进行模拟。声音的位置可以位于固定位置，使得当用户将其头部向左旋转时，声音的位置向右旋转，使得用户感知到来自真实世界中相同位置的声音。在本示例中，声音的位置由声音123和声音456表示。为了便于讨论，图54在分析方面与图48相似。当第一用户14.1和第二用户14.2在相同或不同时间位于同一房间时，他们感知到声音123和声音456来自真实世界中的相同位置。
图55和图56示出上述技术的另一实现方式。如参考图8所述，第一用户14.1已经发起了第一会话。如图55中所示，第一用户14.1已经终止了第一会话，如虚线所示。在第一会话结束时，第一XR设备12.1将地图1上传到服务器20。第一用户14.1现在已在比第一会话更晚的时间发起了第二会话。由于地图1已经存储在第一XR设备12.1上，因此第一XR设备12.1不会从服务器20下载地图1。如果丢失了地图1，则第一XR设备12.1从服务器20下载地图1。然后，第一XR设备12.1继续构建地图2的PCF，定位到地图1，并进一步开发如上所述的规范地图。然后，如上所述，第一XR设备12.1的地图2用于关联本地内容、头部坐标框架、本地声音等。
参考图57和图58，也有可能多于一个的用户在同一会话中与服务器交互。在本示例中，第一用户14.1和第二用户14.2由第三用户14.3与第三XR设备12.3结合在一起。每个XR设备12.1、12.2和12.3开始生成自己的地图，即分别是地图1，地图2和地图3。当XR设备12.1、12.2和12.3继续开发地图1、2和3时，地图被增量上传到服务器20。服务器20合并地图1、2和3以形成规范地图。然后将规范地图从服务器20发送到XR设备12.1、12.2和12.3中的每个XR设备。
图59示出根据一些实施例的用于恢复和/或重置头部姿势的观看方法的方面。在所示的示例中，在动作1400处，观看设备被通电。在动作1410处，响应于通电，发起新的会话。在一些实施例中，新的会话可以包括建立头部姿势。通过首先捕获环境的图像并且然后从图像确定表面，在固定到用户头部的头戴式框架上的一个或多个捕获设备捕获环境的表面。在一些实施例中，表面数据可以与来自重力传感器的数据相结合以建立头部姿势。可以使用其他合适的建立头部姿势的方法。
在动作1420处，观看设备的处理器输入用于跟踪头部姿势的例程。当用户移动其头部以确定头戴式框架相对于表面的取向时，捕获设备继续捕获环境的表面。
在动作1430处，处理器确定头部姿势是否已经丢失。头部姿势可能由于“边缘”情况而丢失，诸如可导致低特征获取的过多的反射表面、弱光、空白的墙壁、在室外等；或者由于诸如移动和形成地图的一部分的人群的动态情况而丢失。在1430处的例程允许经过一定量的时间，例如10秒，以允许足够的时间来确定头部姿势是否已经丢失。如果头部姿势尚未丢失，则处理器返回到1420，并再次进入对头部姿势的跟踪。
如果在动作1430处头部姿势已经丢失，则处理器在1440处进入例程以恢复头部姿势。如果由于弱光导致头部姿势丢失，则将通过观看设备的显示器向用户显示诸如以下消息的消息：
系统正在检测弱光条件。请移动到光线更充足的区域。
系统将继续监视是否有足够的光可用以及是否可以恢复头部姿势。该系统可以可替代地确定表面的低纹理正在导致头部姿势丢失，在这种情况下，在显示器中向用户给出以下提示，作为改善表面捕获的建议：
系统无法检测到具有精细纹理的足够的表面。请移动至表面纹理较不粗糙以及纹理更精细的区域。
在动作1450处，处理器进入例程以确定头部姿势恢复是否已经失败。如果头部姿势恢复没有失败(即，头部姿势恢复已经成功)，则处理器通过再次输入对头部姿势的跟踪来返回动作1420。如果头部姿势恢复已经失败，则处理器返回到动作1410以建立新的会话。作为新会话的一部分，所有缓存的数据均无效，此后重新建立头部姿势。
远程定位
各种实施例可以利用远程资源来促进个人和/或用户组之间的持久且一致的交叉现实体验。发明人已经认识到并理解，可以在不下载一组规范地图的情况下实现利用如本文所述的规范地图操作XR设备的益处。上面讨论的图30示出了将规范下载到设备的示例实现方式。例如，不下载地图的好处可以通过将特征和姿势信息发送到维护一组规范地图的远程服务来实现。根据一个实施例，寻求使用规范地图以将虚拟内容定位在相对于规范地图指定的位置的设备可以从远程服务接收特征与规范地图之间的一个或多个变换。这些变换可以在设备上使用，该设备维护关于这些特征在物理世界中的位置的信息，以将虚拟内容定位在相对于规范地图指定的位置中，或者以其他方式识别物理世界中相对于规范地图指定的位置。
在一些实施例中，空间信息由XR设备捕获并传送到远程服务，例如基于云的服务，该服务使用空间信息将XR设备定位到由XR系统的应用或其他部件使用的规范地图，从而指定虚拟内容相对于物理世界的位置。一旦被定位，将由设备维护的跟踪地图链接到规范地图的变换可以被传送到设备。可以结合跟踪地图使用变换来确定渲染相对于规范地图指定的虚拟内容的位置，或者以其他方式识别物理世界中相对于规范地图指定的位置。
发明人已经意识到，与传送地图数据相比，需要在设备和远程定位服务之间交换的数据可能非常小，传送地图数据可能在设备将跟踪地图传送到远程服务并从该服务接收一组规范地图以用于基于设备的定位时发生这种情况。在一些实施例中，在云资源上执行定位功能仅需要从设备向远程服务传输少量的信息。例如，不需要将完整的跟踪地图传送给远程服务以执行定位。在一些实施例中，特征和姿势信息，例如可能与如上所述的持久姿势相关地存储，可以被传输到远程服务器。如上所述，在特征由描述符表示的实施例中，上传的信息可能更小。
从定位服务返回到设备的结果可以是将上传的特征与匹配的规范地图的部分相关的一个或多个变换。这些变换可以在XR系统中结合其跟踪地图用于识别虚拟内容的位置或以其他方式识别物理世界中的位置。在使用诸如上述PCF的持久空间信息来指定相对于规范地图的位置的实施例中，定位服务可以在成功定位之后将特征与一个或多个PCF之间的变换下载到设备。
结果，XR设备和用于执行定位的远程服务之间的通信所消耗的网络带宽可能很低。该系统因此可以支持频繁定位，使与系统交互的每个设备能够快速获得用于定位虚拟内容或执行其他基于位置的功能的信息。当设备在物理环境中移动时，它可能会重复针对更新的定位信息的请求。此外，设备可能会频繁地获取对定位信息的更新，例如当规范地图发生变化时，例如通过合并额外的跟踪地图以扩展地图或提高其准确性。
此外，上传特征和下载变换可以通过增加凭借欺骗获得地图的难度，来增强在多个用户之间共享地图信息的XR系统中的隐私。例如，可以阻止未授权的用户通过发送对表示物理世界中未授权的用户并不处于的部分的规范地图的虚假请求来从系统获取地图。未授权的用户不太可能访问其所正在请求的地图信息的物理世界的区域中的特征，如果未授权的用户并非在该区域中实际存在的话。在特征信息被格式化为特征描述的实施例中，在对地图信息的请求中欺骗特征信息的难度将更加复杂。此外，当系统返回旨在应用于在请求位置信息的区域中操作的设备的跟踪地图的变换时，系统返回的信息可能对冒名顶替者几乎没有用处或没有用。
根据一个实施例，定位服务被实现为基于云的微服务。在一些示例中，实现基于云的定位服务可以帮助节省设备计算资源，并且可以使定位所需的计算能够以非常低的延迟执行。这些操作可以由几乎无限的计算能力或通过提供额外的云资源而可用的其他计算资源来支持，从而确保XR系统的可扩展性以支持众多设备。在一个示例中，可以在存储器中维护许多规范地图以进行几乎即时的访问，或者将其存储在高可用性设备中以减少系统延迟。
此外，对云服务中的多个设备执行定位可以实现对过程的改进。定位遥感(telemetry)和统计可以提供关于哪些规范地图在有源存储器和/或高可用性存储中的信息。例如，可以使用多个设备的统计来识别最频繁被访问的规范地图。
作为在云环境或具有相对于远程设备的大量处理资源的其他远程环境中的处理的结果，也可以实现额外的准确性。例如，相对于在本地设备上执行的处理，可以在云中更高密度的规范地图上进行定位。地图可以存储在云中，例如，具有更多的PCF或每个PCF更高密度的特征描述符，从而提高了来自设备的一组特征与规范地图之间匹配的准确性。
图61是XR系统6100的示意图。在用户会话期间显示交叉现实内容的用户设备可以有多种形式。例如，用户设备可以是可穿戴XR设备(例如，6102)或手持移动设备(例如，6104)。如上所述，这些设备可以配置有软件，例如应用或其他部件，和/或硬连线以生成可以用于在它们各自的显示器上渲染虚拟内容的本地位置信息(例如，跟踪地图)。
可以相对于全局位置信息指定虚拟内容定位信息，例如，全局位置信息可以被格式化为包含一个或多个PCF的规范地图。根据一些实施例，系统6100配置有支持虚拟内容在用户设备上的运行和显示的基于云的服务。
在一个示例中，定位功能被提供为基于云的服务6106，其可以是微服务。基于云的服务6106可以在多个计算设备中的任何一个上实现，计算资源可以从这些计算设备分配给在云中执行的一个或多个服务。那些计算设备可以彼此互连并且对于诸如可穿戴XR设备6102和手持设备6104的设备是可访问的。这样的连接可以通过一个或多个网络提供。
在一些实施例中，基于云的服务6106被配置为接受来自各个用户设备的描述符信息并且将设备“定位”到匹配的一个或多个规范地图。例如，基于云的定位服务将接收到的描述符信息与相应的规范地图的描述符信息相匹配。可以使用如上所述的技术来创建规范地图，该技术通过合并由具有图像传感器或获取关于物理世界的信息的其他传感器的一个或多个设备所提供的地图来创建规范地图。然而，不要求规范地图由访问它们的设备来创建，因为这样的地图可以由地图开发者创建，例如，地图开发者可以通过使地图对定位服务6106能够使用来发布地图。
根据一些实施例，云服务处理规范地图识别，并且可以包括将规范地图的存储库过滤为一组潜在匹配的操作。过滤可以如图29所示来执行，或者通过使用过滤标准的任何子集和代替图29中所示的过滤标准或者除了图29中所示的过滤标准之外的其他过滤标准来执行。在一个实施例中，地理数据可用于将匹配规范地图的搜索限制为表示与请求定位的设备靠近的区域的地图。例如，区域属性，例如Wi-Fi信号数据、Wi-Fi指纹信息、GPS数据、和/或其他设备位置信息，可用作存储的规范地图上的粗略过滤器，从而将描述符的分析限制为已知的或可能靠近用户设备的规范地图。类似地，每个设备的位置历史可以由云服务维护，以便优先搜索设备最后位置附近的规范地图。在一些示例中，过滤可以包括上面关于图31B、图32、图33和图34讨论的功能。
图62是可以由设备执行以使用基于云的服务来利用规范地图定位设备的位置并接收指定设备本地坐标系和规范地图的坐标系之间的一个或多个变换的变换信息的示例流程。各种实施例和示例将变换描述为指定从第一坐标框架到第二坐标框架的变换。其他实施例包括从第二坐标框架到第一坐标框架的变换。在任何其他实施例中，变换实现从一个坐标框架到另一个坐标框架的转变，所得到的坐标框架仅取决于期望的坐标框架输出(包括例如在其中显示内容的坐标框架)。在又一实施例中，坐标系变换使得能够确定从第二坐标框架到第一坐标框架和从第一坐标框架到第二坐标框架。
根据一些实施例，可以向设备传送反映关于规范地图所定义的每个持久姿势的变换的信息。
根据一个实施例，过程6200可以在6202处以新会话开始。在设备上开始新会话可以启动图像信息的捕获以构建设备的跟踪地图。此外，设备可以发送消息，向定位服务的服务器注册，提示服务器为该设备创建会话。
在一些实施例中，在设备上开始新会话可选地可以包括从设备向定位服务发送调整数据。定位服务向设备返回基于一组特征和相关联的姿势所计算的一个或多个变换。如果在计算变换之前基于设备特定信息调整特征的姿势和/或在计算变换之后基于设备特定信息调整变换，而不是在设备上执行那些计算，则设备特定信息可能被发送到定位服务，以便定位服务可以应用这些调整。作为特定示例，发送设备特定的调整信息可以包括捕获传感器和/或显示器的校准数据。校准数据可用于例如调整特征点相对于测量位置的位置。替代地或附加地，校准数据可用于调整命令显示器渲染虚拟内容的位置，以便看起来针对该特定设备准确定位。该校准数据可以例如从使用设备上的传感器拍摄的同一场景的多个图像中获得。在那些图像中检测到的特征的位置可以表示为传感器位置的函数，使得多个图像产生可以求解传感器位置的一组方程。可以将计算出的传感器位置与标称位置进行比较，并且可以从任何差异中得出校准数据。在一些实施例中，关于设备构造的内在信息还可以使得能够针对显示器计算校准数据，在一些实施例中。
在针对传感器和/或显示器生成校准数据的实施例中，校准数据可应用于测量或显示过程中的任何点。在一些实施例中，可以将校准数据发送到定位服务器，该定位服务器可以将校准数据存储在为每个设备建立的数据结构中，该每个设备已经向定位服务器注册并且因此处于与服务器的会话中。定位服务器可以将校准数据应用于作为用于提供该校准数据的设备的定位过程的一部分而计算的任何变换。因此，使用校准数据来提高感测和/或显示信息的准确性的计算负担由校准服务承担，从而提供了进一步的机制来减少设备上的处理负担。
一旦建立了新会话，过程6200可以在6204继续捕获设备的环境的新帧。在6206，每个帧可以被处理以生成用于捕获的帧的描述符(包括例如上面讨论的DSF值)。这些值可以使用上面描述的一些或所有技术来计算，包括上面关于图14、图22和图23讨论的技术。如所讨论的，描述符可以被计算为特征点的映射，或者在一些实施例中，特征点周围的图像块到描述符的映射。描述符可以具有能够在新获取的帧/图像和存储的地图之间进行有效匹配的值。此外，从图像中提取的特征的数量可以被限制为每幅图像的特征点的最大数量，例如每幅图像200个特征点。如上所述，可以选择特征点来表示关注点。因此，动作6204和6206可以作为形成跟踪地图或以其他方式周期性地收集设备周围的物理世界的图像的设备过程的一部分来执行，或者可以但不必为了定位而单独执行。
在6206的特征提取可以包括将姿势信息附加到在6206提取的特征。姿势信息可以是设备的本地坐标系中的姿势。在一些实施例中，姿势可以相对于跟踪地图中的参考点，例如如上所述的持久姿势。替代地或附加地，姿势可以相对于设备的跟踪地图的原点。这样的实施例可以使如本文所述的定位服务能够为范围广泛的设备提供定位服务，即使它们不使用持久姿势。无论如何，姿势信息可以附加到每个特征或每组特征，使得定位服务可以使用姿势信息来计算可以在将特征与存储的地图中的特征匹配时返回给设备的变换。
过程6200可以继续到决策框6207，在该决策框6207中做出是否请求定位的决定。可以应用一个或多个标准来确定是否请求定位。该标准可以包括时间的流逝，使得设备可以在一定阈值时间量之后请求定位。例如，如果在阈值时间量内没有尝试定位，则该过程可以从决策框6207继续到动作6208，在该处从云请求定位。该阈值时间量可以在10到30秒之间，例如25秒。替代地或附加地，定位可以由设备的运动来触发。执行过程6200的设备可以使用IMU及其跟踪地图来跟踪其运动，并在检测到距设备最后被请求定位的位置超过阈值距离的运动时启动定位。例如，阈值距离可以在1到10米之间，例如在3到5米之间。作为又一替代，可以响应于事件来触发定位，例如当设备创建新的持久姿势或设备的当前持久姿势改变时，如上所述。
在一些实施例中，可以实现决策框6207，从而可以动态地建立用于触发定位的阈值。例如，在特征很大程度上一致使得将一组提取的特征与存储的地图的特征进行匹配的置信度可能较低的环境中，可能会更频繁地请求定位，以增加至少一次定位尝试将会成功的机会。在这种情况下，可以降低在决策框6207应用的阈值。类似地，在特征相对较少的环境中，可以降低在决策框6207应用的阈值以增加定位尝试的频率。
不管定位如何被触发，当被触发时，过程6200可以进行到动作6208，其中设备向定位服务发送请求，包括由定位服务用来执行定位的数据。在一些实施例中，可以提供来自多个图像帧的数据用于定位尝试。例如，除非多个图像帧中的特征产生一致的定位结果，否则定位服务可能不会认为定位成功。在一些实施例中，过程6200可以包括将特征描述符和附加的姿势信息保存到缓冲器中。缓冲器可以例如是循环缓冲器，存储从最新捕获的帧中提取的特征集。因此，定位请求可以与在缓冲器中累积的多个特征集一起发送。在一些设置中，缓冲器大小被实现为累积更有可能产生成功定位的多个数据集。在一些实施例中，缓冲器大小可以被设置为从例如两个、三个、四个、五个、六个、七个、八个、九个或十个帧中累积特征。可选地，缓冲器大小可以具有可以响应于定位失败而增加的基线(baseline)设置。在一些示例中，增加缓冲器大小和传输的特征集的相应数量会降低后续定位功能无法返回结果的可能性。
不管如何设置缓冲器大小，设备都可以将缓冲器的内容传送到定位服务作为定位请求的一部分。其他信息可以连同特征点和附加的姿势信息一起传输。例如，在一些实施例中，可以传输地理信息。地理信息可以包括例如GPS坐标或与跟踪地图的设备相关联的无线签名或当前持久姿势。
响应于在6208发送的请求，云定位服务可以分析特征描述符以将设备定位成规范地图或由服务维护的其他持久地图。例如，描述符与设备所定位的地图中的一组特征相匹配。基于云的定位服务可以相对于基于设备的定位执行如上所述的定位(例如，可以依赖于上面讨论的用于定位的任何功能(包括地图排名、地图过滤、位置估计、过滤的地图选择、图44至图46中的示例，和/或相对于定位模块、PCF和/或PP识别和匹配等进行讨论的)。然而，代替将识别的规范地图传送到设备(例如，在设备定位中)，基于云的定位服务可以继续基于规范地图的匹配特征和从设备发送的特征集的相对取向来生成变换。定位服务可以将这些变换返回给设备，设备可以在框6210处接收。
在一些实施例中，由定位服务维护的规范地图可以采用PCF，如上所述。在这样的实施例中，与从设备发送的特征点匹配的规范地图的特征点可以具有相对于一个或多个PCF指定的位置。因此，定位服务可以识别一个或多个规范地图，并且可以计算在随定位请求发送的姿势中表示的坐标框架与一个或多个PCF之间的变换。在一些实施例中，通过基于相应设备的地理数据过滤潜在地图来帮助识别一个或多个规范地图。例如，一旦过滤到候选集(例如，通过GPS坐标等其他选项)，可以详细分析规范地图的候选集以确定匹配的特征点或如上所述的PCF。
在动作6210返回到请求设备的数据可以被格式化为持久姿势变换表。该表可以伴随一个或多个规范地图标识符，指示设备由定位服务定位到的规范地图。然而，应当理解，定位信息可以以其他方式格式化，包括作为变换列表，具有相关联的PCF和/或规范地图标识符。
不管变换是如何被格式化的，在动作6212，设备可以使用这些变换来计算渲染虚拟内容的位置，该虚拟内容的位置已经由XR系统的应用或其他部件相对于任何PCF进行指定。该信息替代地或附加地在设备上用于执行任何基于位置的操作，其中基于PCF来指定位置。
在一些场景中，定位服务可能无法将从设备发送的特征匹配到任何存储的规范地图，或者可能无法匹配与对定位服务的请求一起传送的足够数量的特征集从而认为成功进行了定位。在这样的场景中，定位服务可以向设备指示定位失败，而不是如上面结合动作6210所述的将变换返回给设备。在这样的场景中，过程6200可以在决策框6209处分支到动作6230，其中设备可以采取一个或多个动作用于失败处理。这些动作可以包括增加保存为了定位而发送的特征集的缓冲器的大小。例如，如果定位服务不认为定位成功，除非三个特征集匹配，则缓冲器大小可以从5增加到6，从而增加三个所传输的特征集与由定位服务维护的规范地图匹配的机会。
替代地或附加地，失败处理可以包括调整设备的操作参数以触发更频繁的定位尝试。例如，可以减少定位尝试之间的阈值时间和/或阈值距离。作为另一示例，可以增加每个特征集中的特征点的数量。当从设备发送的集合中的足够数量的特征与地图的特征匹配时，可以认为发生特征集与存储在规范地图内的特征之间的匹配。增加发送的特征数量可以增加匹配的机会。作为具体示例，初始特征集大小可以是50，在每次连续定位失败时，其可以增加到100、150，然后是200。在成功匹配后，设置的大小然后可以返回到它的初始值。
失败处理还可以包括除了从定位服务以外获得定位信息。根据一些实施例，用户设备可以被配置为缓存规范地图。缓存地图允许设备访问和显示云不可用的内容。例如，缓存的规范地图允许在通信失败或其他不可用的情况下进行基于设备的定位。
根据各种实施例，图62描述了用于设备发起基于云的定位的高级流程。在其他实施例中，所示步骤中的各种一个或多个步骤可以进行组合、省略、或调用其他过程以完成对相应设备视图中的虚拟内容的定位和最终可视化。
此外，应当理解，虽然过程6200示出了设备在决策框6207处确定是否启动定位，但是用于启动定位的触发可以来自设备外部，包括来自定位服务。例如，定位服务可以维护关于与其会话中的每个设备的信息。例如，该信息可以包括每个设备最新被定位到的规范地图的标识符。XR系统的定位服务或其他部件可以更新规范地图，包括使用上面结合图26描述的技术。当规范地图被更新时，定位服务可以向最新被定位到该地图的每个设备发送通知。该通知可以用作设备请求定位的触发和/或可以包括使用从设备最新发送的特征集所重新计算的更新的变换。
图63A、图63B和图63C是示出设备和云服务之间的操作和通信的示例过程流。框6350、6352、6354和6456所示的是示例架构和参与基于云的定位过程的部件之间的分离。例如，被配置为处理用户设备上的感知的模块、部件和/或软件在6350处示出(例如，660，图6A)。用于持久世界操作的设备功能在6352处示出(包括，例如，如上所述并且关于持久世界模块(例如，662，图6A))。在其他实施例中，不需要6350和6352之间的分离并且所示的通信可以在设备上执行的过程之间。
类似地，在框6354处示出的是被配置为处理与可通行世界/可通行世界建模相关联的功能的云过程(例如，802、812，图26)。在框6356处示出的是云过程，其被配置为处理与基于从设备发送的信息将设备定位到所存储的规范地图的存储库中的一个或多个地图相关联的功能。
在所示实施例中，过程6300在6302处开始，此时新会话开始。在6304获得传感器校准数据。获得的校准数据可以取决于在6350处表示的设备(例如，多个相机、传感器、定位设备等)。一旦针对设备获得传感器校准，在6306处校准可以被缓存。如果设备操作导致频率参数(例如，收集频率、采样频率、匹配频率、以及其他选项)的变化，则在6308处频率参数被重置为基线。
一旦新会话功能完成(例如，校准，步骤6302-6306)，过程6300可以继续捕获新帧6312。在6314，从帧中提取特征及其对应的描述符。在一些示例中，描述符可以包括DSF，如上所述。根据一些实施例，描述符可以具有附加到它们的空间信息以实现后续处理(例如，变换生成)。在6316处，在设备上生成的姿势信息(例如，如上所述，相对于设备的跟踪地图指定的用于定位物理世界中的特征的信息)可以附加到提取的描述符。
在6318，描述符和姿势信息被添加到缓冲器。以循环执行步骤6312-6318中所示的新帧捕获和添加到缓冲器，直到在6319超过缓冲器大小阈值。在6320处，响应于确定满足缓冲器大小，将定位请求从设备传送到的云。根据一些实施例，该请求可以由在云中实例化的可通行世界服务(例如，6354)来处理。在进一步的实施例中，用于识别候选规范地图的功能操作可以与用于实际匹配的操作分离(例如，示出为框6354和6356)。在一个实施例中，用于地图过滤和/或地图排名的云服务可以在6354执行并处理从6320接收的定位请求。根据一个实施例，地图排名操作被配置为在6322确定可能包括设备的位置的候选地图集。
在一些实施例中，地图排名功能包括基于地理属性或其他位置数据(例如，观察或推断的位置信息)识别候选规范地图的操作。在这些实施例中，一个或多个候选规范地图的识别可以被视为多层定位方案的粗粒度定位操作，用于通过一个或多个已识别的候选规范地图定位例如XR设备或从XR设备跟踪到共享世界模型。在这些实施例中的一些实施例中，这样的其他位置数据可以包括Wi-Fi签名或GPS信息。
根据其他实施例，可以在与设备和用户的交叉现实会话期间捕获位置数据。过程6300可以包括针对给定设备和/或会话(未示出)填充(populate)位置的附加操作。例如，位置数据可以存储为设备区域属性值和用于选择接近设备位置的候选规范地图的属性值。
在一些实施例中，任何一个或多个位置选项可用于将规范地图集过滤为可能表示包括用户设备的位置的区域的那些规范地图集。在一些实施例中，规范地图可以覆盖物理世界的相对较大的区域。规范地图可以被分割成区域，使得地图的选择可能需要地图区域的选择。例如，地图区域可以是几十平方米的数量级。因此，经过滤的规范地图集可以是地图的区域集。
根据一些实施例，可以从候选规范地图、姿势特征、和传感器校准数据构建定位快照(snapshot)。例如，候选规范地图、姿势特征和传感器校准信息的阵列可以与确定特定匹配规范地图的请求一起发送。可以基于从设备接收的描述符和与规范地图相关联的存储的PCF数据来执行与规范地图的匹配。
在一些实施例中，将来自设备的特征集与作为规范地图的一部分存储的特征集进行比较。该比较可以基于特征描述符和/或姿势。例如，可以基于候选集中特征的数量来选择规范地图的候选特征集，这些特征的描述符与来自设备的特征集的描述符足够相似以致于它们可能是相同的特征。例如，候选集可以是从用于形成规范地图的图像帧中导出的特征。
在一些实施例中，如果相似特征的数量超过阈值，则可以对候选特征集执行进一步处理。进一步的处理可以确定来自设备的姿势特征集可以与候选特征集对齐的程度。可以对于来自规范地图的特征集(类似于来自设备的特征)进行摆姿势。
在一些实施例中，特征被格式化为高维嵌入(例如，DSF等)并且可以使用最近邻搜索来进行比较。在一个示例中，系统被配置(例如，通过执行过程6200和/或6300)以使用欧几里得距离找到前两个最近邻，并且可以执行比率测试。如果最近邻比第二近邻更接近，则系统认为最近邻是匹配的。例如，可以通过欧几里得距离相对于第二近邻的比率比欧几里得距离相对于最近邻的比率超出阈值倍数来确定该上下文中的“更接近”。一旦来自设备的特征被认为与规范地图中的特征“匹配”，系统就可以配置为使用匹配特征的姿势来计算相对变换。在一些实施例中，从姿势信息发展而来的变换可用于指示将设备定位到规范地图所需的变换。在这些实施例中，定位设备(或来自设备的跟踪地图)可以被视为本文描述的多层定位方案的细粒度定位操作以定位设备(或来自设备的跟踪地图)。
内围层(inlier)的数量可以用作匹配质量的指示。例如，在DSF匹配的情况下，内围层的数量反映了在接收到的描述符信息和存储的/规范地图之间匹配的特征的数量。在另外的实施例中，可以通过计数每个集合中“匹配”的特征的数量来确定在该实施例中确定的内围层。
可以替代地或附加地以其他方式确定匹配质量的指示。在一些实施例中，例如，当计算变换以基于匹配特征的相对姿势使来自设备的可能包含多个特征的地图定位到规范地图时，针对多个匹配特征中的每一个计算的变换统计可以作为质量指示。例如，较大的差异可以表明匹配质量较差。替代地或附加地，对于确定的变换，系统可以计算具有匹配描述符的特征之间的平均误差。可以针对变换计算平均误差，反映位置失配的程度。均方误差是误差度量的具体示例。不管具体的误差度量如何，如果误差低于阈值，则可以确定变换可用于从设备接收的特征，并且计算的变换用于定位设备。替代地或附加地，内围层的数量还可用于确定是否存在与从设备接收到的描述符和/或设备的位置信息匹配的地图。
如上所述，在一些实施例中，设备可以发送多个特征集用于定位。当至少阈值数量的特征集与来自规范地图的特征集以误差低于阈值并且内围层数量高于阈值相匹配时，可以认为定位成功。该阈值数可以是例如三个特征集。然而，应当理解，用于确定足够数量的特征集是否具有合适值的阈值可以根据经验或以其他合适的方式来确定。同样，匹配过程的其他阈值或参数，例如根据相似度分析(例如，余弦相似度分析、聚类操作、分类操作等)被视为匹配的特征描述符之间的相似度、用于选择候选特征集的内围层数、和/或失配误差的大小，可以类似地根据经验或以其他合适的方式确定。
一旦确定匹配，就识别与匹配的一个或多个规范地图相关联的持久地图特征集。在匹配基于地图区域的实施例中，持久地图特征可以是匹配区域中的地图特征。持久地图特征可以是如上所述的持久姿势或PCF。在图63的示例中，持久地图特征是持久姿势。
不管持久地图特征的格式如何，每个持久地图特征可以具有相对于它所属的规范地图的预定取向。该相对取向可以应用于计算的变换，以使来自设备的特征集与来自规范地图的特征集对齐，从而确定来自设备的特征集与持久地图特征之间的变换。任何调整，例如可能来自校准数据的调整，都可以应用于该计算的变换。得到的变换可以是设备的本地坐标框架和持久地图特征之间的变换。该计算可以针对匹配地图区域的每个持久地图特征执行，并且可以将结果存储在表中，在6326中表示为持久_姿势_表(persistent_pose_table)。
在一个示例中，框6326返回持久姿势变换、规范地图标识符和内围层数的表。根据一些实施例，规范地图ID是用于唯一标识规范地图和规范地图版本(或地图的区域，在定位基于地图区域的实施例中)的标识符。
在各种实施例中，在6328，计算的定位数据可用于填充由定位服务维护的定位统计和遥感。该信息可以针对每个设备存储，并且可以针对每次定位尝试进行更新，并且可以当设备的会话结束时清除。例如，设备匹配过的地图可用于改进地图排名操作。例如，覆盖设备先前匹配的相同区域的地图可以在排名中被优先考虑。同样，覆盖相邻区域的地图可能比更偏远的区域被赋予更高的优先级。此外，可能基于检测到的设备随时间的轨迹对相邻地图进行优先级排序，其中在运动方向上的地图区域被赋予比其他地图区域更高的优先级。定位服务可以使用该信息，例如，根据来自设备的后续定位请求来限制在存储的规范地图中针对候选特征集搜索的地图或地图区域。如果在该有限区域中识别出具有低误差度量和/或大量或大百分比的内围层的匹配，则可以避免处理该区域外部的地图。
过程6300可以继续从云(例如，6354)到用户设备(例如，6352)的信息传送。根据一个实施例，在6330，将持久姿势表和规范地图标识符传送给用户设备。在一个示例中，持久姿势表可以由至少包括识别持久姿势ID的字符串(string)和使该设备的跟踪地图与持久姿势进行链接的变换的元素构成。在持久地图特征是PCF的实施例中，该表可以替代地指示对匹配地图的PCF的变换。
如果在6336处定位失败，则过程6300通过调整可以增加从设备发送到定位服务的数据量的参数来继续，以增加定位成功的机会。例如，当在规范地图中找不到具有超过阈值数量的相似描述符的特征集时，或者当与所有变换的候选特征集相关联的误差度量高于阈值时，可以指示失败。作为可以调整的参数的示例，描述符缓冲器的大小约束可以增加(6319)。例如，在描述符缓冲器大小为5的情况下，定位失败可以触发增加到从至少六个图像帧中提取的至少六个特征集。在一些实施例中，过程6300可以包括描述符缓冲器增量值。在一个示例中，增量值可用于控制缓冲器大小的增加速率，例如，响应于定位失败。其他参数，例如控制定位请求速率的参数，可以在未能找到匹配的规范地图时更改。
在一些实施例中，6300的执行可以在6340处生成错误条件，其包括定位请求未能工作而不是返回不匹配结果的执行。例如，由于网络错误导致保存规范地图数据库的存储对于执行定位服务的服务器不可用，或接收到的针对定位服务的请求包含不正确格式信息，可能会发生错误。在错误条件的情况下，在该示例中，过程6300在6342处调度请求的重试。
当定位请求成功时，响应于失败而调整的任何参数可以被重置。在6332，过程6300可以继续操作以将频率参数重置为任何默认值或基线。在一些实施例中，无论任何改变如何都执行6332，从而确保始终建立基线频率。
在6334，设备可以使用接收到的信息来更新高速缓存定位快照。根据各种实施例，相应的变换、规范地图标识符、和其他定位数据可以由设备存储，并用于将相对于规范地图指定的位置，或者例如持久姿势或PCF的它们的持久地图特征，与由设备相对于其本地坐标框架而确定的位置(这些位置诸如可以根据其跟踪地图来确定)进行相关。
用于在云中定位的过程的各种实施例可以实施任何一个或多个前述步骤并且基于前述架构。其他实施例可以组合前述步骤中的各种一个或多个，同时、并行或以另一顺序执行步骤。
根据一些实施例，在交叉现实体验的上下文中的云中的定位服务可以包括附加功能。例如，可以执行规范地图缓存来解决连接问题。在一些实施例中，设备可以周期性地下载和缓存它已经定位到的规范地图。如果云中的定位服务不可用，则设备可以自己运行定位(例如，如上所述——包括关于图26)。在其他实施例中，从定位请求返回的变换可以被链接在一起并应用于后续会话。例如，设备可以缓存一系列变换并使用变换序列来建立定位。
系统的各种实施例可以使用定位操作的结果来更新变换信息。例如，定位服务和/或设备可以被配置为将跟踪地图上的状态信息维护到规范地图变换。接收到的变换可以随时间平均。根据一个实施例，可以将平均操作限制为在阈值数量的定位成功(例如，三、四、五或更多次)之后发生。在进一步的实施例中，可以在云中跟踪其他状态信息，例如通过可通行世界模块。在一个示例中，状态信息可以包括设备标识符、跟踪地图ID、规范地图参考(例如，版本和ID)、以及规范地图到跟踪地图的变换。在一些示例中，系统可以使用状态信息来不断更新并获得更准确的规范地图，以采用每次执行基于云的定位功能来跟踪地图变换。
对基于云定位的附加增强可以包括向设备传送特征集中与规范地图中的特征不匹配的异常值(outlier)。设备可以使用该信息例如来改进其跟踪地图，诸如通过从用于构建其跟踪地图的特征集中移除异常值。替代地或附加地，来自定位服务的信息可以使设备能够将针对其跟踪地图的光束平差(bundle adjustment)限制为基于内围层特征的计算调整或以其他方式对光束平差过程施加约束。
根据另一个实施例，各种子过程或附加操作可以结合针对基于云定位所讨论的过程和/或步骤和/或作为针对基于云定位所讨论的过程和/或步骤的替代来使用。例如，候选地图识别可以包括基于与相应地图一起存储的区域标识符和/或区域属性来访问规范地图。
基于事件的缓冲
如上文结合图63所述，便携式设备可以将图像信息添加到缓冲器，然后将其作为定位请求的一部分发送到定位服务。在一些实施例中，可以使用基于事件的缓冲来确定被添加到缓冲器的特征集。在将缓冲器中的信息作为查询批量发送到定位服务之前，例如在如图63B中所示的动作6324，相对于周期性地将特征集添加到缓冲器，这些事件可以是使得各个集之间的交叉熵增加。
发明人已经认识到并意识到，如果批量中的视觉信息不包含基本上重复的信息，而是代表从设备捕获的各种不同视点，则针对规范地图成功定位的机会，以及定位的准确性很可能会得到改善。例如，如果设备的用户没有四处走动，而是在定期时间间隔收集10个特征集的时间周期保持静止，则发送查询与缓冲器，缓冲器充满基于同一区域的多个图像帧的特征集，这样有定位请求失败的风险。通过将具有增加的交叉熵的特征集添加到缓冲器，可以产生更成功和一致的定位结果。
此外，响应于特定事件来选择要在缓冲器中批处理的特征集还可以避免可能冗余的多个特征集使云定位服务器不堪重负。因此，可以减少从图像流中获取数据的传输带宽和延迟。
可以应用一个或多个标准来确定是否将提取的特征集添加到缓冲器。可以评估一个或多个标准，这可能导致检测到触发将新提取的特征集添加到缓冲器的事件，并且可以指示新提取的特征集可能与先前提取的特征集具有大的交叉熵。
在一些实施例中，评估的标准可以基于图像帧流。检测到的事件可以是平移距离、旋转角度、视点或其任何组合的变化。例如，与新特征集和先前特征集相关联的位置之间的至少50cm、1m、2m或5m的平移可以用作事件的触发条件。作为另一个非限制性示例，在各种实施例中，至少10度、15度、20度或30度的旋转角可以用作事件的触发条件。诸如平移和旋转度之类的位置信息可以使用上述各种手段中的任何一种来跟踪，例如但不限于使用IMU跟踪设备的运动或将图像帧与设备维护的跟踪地图进行比较。替代地或附加地，Wi-Fi指纹可以用作检测事件的基础。Wi-Fi指纹是可测量参数的示例，该参数基于便携式设备的位置而改变，并且可以用于制定触发条件。
在一些实施例中，由设备捕获的图像帧的描述符可以是用于制定触发条件的可测量参数。可以计算帧描述符以表示由设备上的图像传感器捕获的图像帧所描绘的物理环境的特征。描述符可以如上文结合深度关键帧所描述的那样。这样的描述符具有指示图像的视觉相似性的值，因此两个图像的描述符值的足够差异可以指示那些图像被捕获的位置之间的物理分离了足够的距离，使得那些图像被捕获的环境看起来不同。在一些实施例中，为其计算这样的描述符的图像可以是如上所述选择的关键帧。然而，任何按时间顺序捕获的图像都可用于确定位置随时间的变化。表示图像帧的特征集的缓冲可以是基于事件的，基于描述符值，使得只有具有大交叉熵的特征集可以存储在缓冲器中，并作为对定位服务的请求进行批处理。
不管用于定义一个或多个触发条件的参数如何，都可以基于该参数值的变化来检测事件。该变化可能相对于与基线，该基线指示基于设备捕获的当前图像向缓冲器添加另一特征集可能导致高的交叉熵。可以相对于图像序列中的先前图像测量该变化。例如，这些图像可能是关键帧的序列。该变化可能相对于序列中紧邻先前图像。替代地或附加地，该变化可以相对于用于将特征集添加到缓冲器的最新图像。替代地或附加地，该变化可以相对于其特征被添加到缓冲器的任何图像。
不管用于限定用以将源自由便携式设备获取的图像的特征集添加到缓冲器的事件的标准是什么，其他标准可以用于确定何时发送缓冲器作为定位请求的一部分。可以基于周期性时间表或基于缓冲器的内容的大小，将缓冲器作为查询批量传输到定位服务。例如，当向缓冲器添加10个特征集时，设备可以将缓冲器内容作为定位请求的一部分发送到定位服务。
在一些实施例中，如果在某个时间段之后没有检测到事件，例如当用户在一段时间内没有移动设备时，不是继续等待具有足够交叉熵的适当数量的信息被添加到缓冲器，而是可以通过例如设备上的显示器等的用户界面将消息传送给用户。该消息可以包含鼓励用户探索环境的文字和/或符号和/或声音和/或任何其他合适的视觉、听觉、或触觉事件。替代地或附加地，用于事件检测的阈值可以逐渐降低，直到将足够数量的特征添加到缓冲器。
图71是描绘根据一些实施例的包括XR设备和基于云的定位服务的代表性XR系统的框图。在该示例中，XR设备可以是如上所述的具有头戴式装置(headset)和相关联的处理器的设备，该处理器专门配置为与XR系统一起使用。在其他场景中，XR设备可以是智能手机或其他便携式设备，其上已经加载了XR平台以执行本文所述的功能。
图71示出了与基于云的定位服务7104通信以执行定位的示例性XR设备7102。定位服务不需要位于云中。例如，如本文所述，基于事件的缓冲替代地或附加地与设备本身上的定位服务一起使用。
在XR设备7102内，多个图像被捕获作为相机输入7106。这些图像可以被处理，从而针对一些或所有图像检测特征。在该示例中，图像由角(corner)检测7108处理以识别关注点和/或结构，例如但不限于角或边缘。
在框7112，处理所识别的关注点以选择稀疏的特征集。如上所述，特定特征的选择可以基于视觉区别性、计划的持久性、或其他标准。进一步地，可以仅选择某些图像作为关键帧，并且可以仅对关键帧的特征进行进一步处理。这些和其他技术可以减少相对于整个相机输出7106的信息量。在一些实施例中，密集的视觉特征(例如表面)也可以识别为框7112处处理的结果。在一些实施例中，定位可以基于稀疏特征进行处理，而密集的视觉特征可以单独处理。
在该示例中是一系列关键帧的稀疏表示可以被提供给框7110以计算帧描述符，该帧描述符表示是关键帧的起源的捕获图像的特征集。描述符可以是如上所述的深度关键帧描述符。
在框7112计算的稀疏特征也被提供用于在框7116的姿势估计。作为在框7116处的处理的结果，可以对特征进行姿态化(posed)，被分配相对于由设备7102使用的坐标系的位置和取向。该坐标系例如可以是由设备维护的跟踪地图的坐标系。
在框7112导出的稀疏特征、在框7116导出的姿势信息和帧描述符被提供给框7114，在框7114将它们组合为PFR(“成姿势特征装配(Posed Feature Rig)”)。PFR是可以在定位中使用的数据结构的一个示例，它可以包括定位所需的信息。此类信息包括从捕获的图像中提取的特征集，以及附加的位置信息(姿势)。PFR可以另外包括位置元数据，例如特征描述符、GPS数据、或无线指纹。
PFR生成器/调度器7114可以执行一个或多个动作来控制定位请求何时被发送到基于云的定位服务7118。控制可以包括在向基于云的定位服务7104发送请求之前如上所述的基于事件的缓冲。在所示实施例中，随着关于图像的信息被处理，PFR生成器/调度器7114可以应用一个或多个标准来确定触发PFR缓冲的事件是否已经发生。PFR生成器/调度器7114可以访问由设备7102的其他部件生成的数据，其用作用于评估标准的参数。例如，该数据可以从定期收集无线元数据的部件导出，该部件可以访问例如GPS数据和/或IMU。
例如，可以使用基于Wi-Fi元数据、来自GPS或IMU的数据、或头部姿势数据的标准来确定正在处理的PFR对于先前添加的PFR是否是冗余的。如果没有，则PFR生成器/调度器7114可以将PFR添加到缓冲器。
在一些实施例中，除了基于事件的标准之外，还可以使用基于时间的标准来确定是否将PFR添加到缓冲器。例如，如果在设定的时间内(例如两秒)没有将PFR添加到缓冲器，则可以添加PFR。作为另一个示例，如果自上次定位请求以来已经过去超过三秒并且缓冲器未满50％，则可以将PFR添加到缓冲器。基于时间的标准可以与基于事件的标准结合应用，以确保缓冲器中有足够的数据用于定位请求，例如，其中事件不经常发生。
PFR生成器/调度器7114还可以控制将用于定位的请求7122发送到基于云的定位部件7118的时序。可以例如基于缓冲器何时填充有预定数量的PFR来做出该决定。可以替代地或附加地应用其他标准。例如，如果在超过预定时间段内没有请求定位，则PFR生成器/调度器7114可以发送请求。
基于请求7122中的信息，基于云的定位部件7118可以执行如上所述的定位。作为定位的一部分，定位部件7118可以生成将XR设备7102的物理环境的坐标系与规范地图数据库7120中的共享规范地图的坐标系进行关联的变换。
当定位请求成功时，包括变换的定位结果7124然后被发送回XR设备7102。
在一些实施例中，定位请求可能不被认为是成功的，除非在针对随请求发送的多个PFR实现的定位结果中存在共识。例如，要使定位请求被视为成功，至少30％的PFR必须与具有足够相似变换的同一地图对齐才能被视为匹配。使用如上所述的基于事件的处理来增加批量的交叉熵可能会增加足够的共识以使定位成功的机会。由于尝试不成功后的处理可能是计算密集型的，例如重复整个定位或为后续定位请求增加批量中的PFR数量，减少失败的数量可能会显著减少平均处理。
无线指纹辅助定位
不管定位是在定位服务(例如其可以存储规范地图集)中还是在设备(例如其可以接收用于定位的规范地图集)上执行的，定位过程可以通过有效地过滤可以针对其尝试定位的规范地图的世界而更有效。在一些实施例中，诸如无线指纹之类的描述物理世界的相对较小区域的位置元数据可以与由便携式设备获取的关于物理世界的信息相关联，并且可以与可以针对其尝试定位的规范地图一起存储。基于无线指纹与便携式设备捕获的信息的相似度来选择地图或地图的一部分可以简化定位过程。
可以根据在物理世界的相对较小区域中接收的无线信号的特性来构建无线指纹。在本文描述的示例性实施例中，Wi-Fi信号被用作无线信号的示例。具体而言，BSSID和RSSI是接收到的无线信号的特性的示例。然而，在其他实施例中，来自无线网络接入点或其他无线通信的信号的其他特性替代地或附加地用于形成签名。在一些实施例中，GPS和/或蓝牙信标可以单独或与Wi-Fi信号组合地用于形成无线指纹。
此外，在本文描述的一些示例性实施例中，无线指纹与持久姿势相关联，持久姿势是关于由便携式设备捕获的物理世界的持久信息的示例。通过处理在便携式设备上捕获的图像信息来识别持久姿势，以检测指示物理世界中什么可能是持久内容的特征集群。然后将持久姿势集成到跟踪地图中。例如，持久姿势分布在整个跟踪地图中，其间隔对应于物理世界中的2到4米的距离。跟踪地图可以被分割成图块，每个图块包含一个持久姿势。
规范地图中的持久坐标系(PCF)是设备可以针对其定位的持久信息的示例。PCF可能附有无线签名。如上所述，规范地图可以从跟踪地图形成，例如使用如上所述的地图合并过程。在将跟踪地图提升或合并到规范地图中时，可以从跟踪地图的一个或多个持久姿势创建PCF。
图64到图68示出了根据一些实施例的便携式设备生成包含Wi-Fi指纹的跟踪地图以用于Wi-Fi辅助定位或其他功能的示例。
在图64中，具有便携式设备的用户6402示出在包含无线网络接入点6404a到6404e的三维(3D)环境中。在一些实施例中，用户6402的便携式设备可以从附近的网络接入点接收信号，例如如图64所示的网络接入点6404a、6404b和6404c。便携式设备上的无线硬件可以确定网络接入点标识符和针对检测到信号的每个网络接入点的信号强度指示值。例如，无线芯片组可以被配置为执行可用无线网络的扫描。可以启动该扫描功能以获得如本文所述的无线信息。
在一些实施例中，网络接入点标识符可以是基本服务集标识符(BSSID)并且信号强度指示值可以是接收到的信号强度指示(RSSI)值。在一些实施例中，除了或代替网络接入点标识符和信号强度指示符，可以收集关于网络接入点的其他信息。在一些实施例中，网络接入点信息可用于形成Wi-Fi指纹。
网络接入点信息6406可以与地图6412的图块6410中的持久位置信息6408相关联地存储。例如，持久姿势可以作为数据结构通过网络存储在便携式设备内的或连接到便携式设备的非易失性存储器中。例如，无线信息可以存储为该数据结构中的BSSID、RSSI元组的列表。在一些实施例中，持久位置信息6408可以包括如上所述的持久坐标系或持久姿势。在64图的示例中，持久位置信息6408是持久姿势，并且在捕获无线信号时被选为最接近用户6402的持久姿势。在此上下文中，最接近的持久姿势是基于用户与关联于持久姿势的特征的3D环境中的位置之间的距离所确定的姿势，尽管可以使用其他方法。
在一些实施例中，持久位置信息6408可以包括关于便携式设备在3D环境中的定位、位置或取向的其他信息。在一些实施例中，多条位置信息和相关联的网络接入点信息可以存储在单个图块内。例如，可以在便携式设备构建跟踪地图时捕获无线信息，从而可以在创建新的持久姿势时捕获和存储无线信息。
图65示出了用户6402在3D环境中移动。在所示示例中，用户6402的便携式设备从相同的无线网络接入点6404a、6404b和6404c接收信号，但是由于便携式设备与无线网络接入点6404a-6404e之间的接近度的变化而获得与这些无线网络接入点相关联的新信号强度值。在此示例中，用户的位置已使得用户进入尚未在跟踪地图中映射的空间，从而创建新的持久姿势。在一些实施例中，新的持久姿势可以定义用于跟踪地图的新图块。在一些实施例中，图块的网格可以是预定义的(例如，相对于其他图块的固定尺寸和形状)但可能不包含数据(例如，如果在用户进入该图块之前该区域之前没有被映射，并且在一些实施例中，创建持久姿势和/或PCF。新的网络接入点信息6506可以与新的持久位置信息6508一起存储在所示的地图6412的新图块6510中。在一些实施例中，可以创建新图块6510，例如，因为便携式设备自从先前图块创建以来移动的距离超过了阈值。
图66示出了用户6402在3D环境中进一步移动。在该示例中，用户6402的便携式设备从无线网络接入点6404a、6404b、6404c和6404d接收信号。如结合图64和图65所讨论的，网络接入点信息6606和持久位置信息6608可以存储在地图6412的图块6610中。
与持久姿势相关联的无线信息，如图64、图65和图66所示，可以是该图块的初始无线签名。在一些实施例中，图块的无线签名可以随着用户设备继续操作和收集更多无线信息而被细化。
在图67中，用户6402被示出在3D环境6102内的与图66中相同的位置。在一些实施例中，这可以在用户在相同位置停留一段时间时发生。例如，图块可以对应于2到4平方米之间的区域，并且可以大约每20到60秒执行一次无线扫描。因此，用户在扫描之间的时间里通常可能不会移动足够远以从一个图块移动到另一个单元。替代地或附加地，这可能在用户移动到别处之后返回到相同位置时发生。在所示示例中，用户6402的便携式设备从相同的无线网络接入点6404a-6404d接收信号并获得新的网络接入点信息。
然而，尽管用户在同一图块中，但新的网络接入点信息可能不同于先前存储在图块6610(例如图66中的6606)中的网络接入点信息。当执行不同的无线扫描时，用户与一个图块在不同的位置可能会导致变化。替代地或附加地，变化可能由无线信号的传播条件的变化、无线接入点的变化或其他原因引起。通过将新的无线信息与先前收集的信息合并，无线信息可以更稳定，因此更有效作为无线签名，以便与其他无线签名进行比较。
在所示示例中，新的网络接入点信息与先前存储的网络接入点信息合并以产生合并的网络接入点信息6706，其可以与相同的持久位置信息6608存储在相同的图块6610中。在所示实施例中，先前存储的信息被合并信息替换，从而与每个持久姿势相关联存储的无线信息反映了最新的无线扫描。
在一些实施例中，产生合并的网络接入点信息可以包括对与接入点标识符相关联的新信号强度指示符和先前存储的信号强度指示符取平均。例如，可以将平均计算为滚动平均。产生合并的网络接入点信息可以替代地或附加地包括用新的网络接入点信息中的一些、全部一些存储的网络接入点信息、或不替换一些存储的网络接入点信息。在所示示例中，在合并的网络接入点信息6706中以粗体指示的RSSI值表示先前存储的网络接入点信息6606中的RSSI值和从网络接入点获得的新RSSI值的平均。
其他处理可以替代地或附加地用于提高无线签名的稳定性或以其他方式格式化信息以有效地比较无线签名。图68示出了用户6402在3D环境中进一步移动。在所示示例中，便携式设备不再在无线网络接入点6404a的范围内，而是从网络接入点6404b、6404c、6404d和6404e接收信号。在一些实施例中，由便携式设备收集的网络接入点信息可以在被存储之前被过滤。
在图68的示例中，当便携式设备在图块6810内时从无线网络接入点6404b-e收集的网络接入点信息6806被示为新的网络接入点信息6807。可以在存储之前对信息6807进行过滤。例如，可以基于信号强度过滤新的网络接入点信息。在一些实施例中，网络接入点的类型或包括网络接入点信息的其他信息可以是用于过滤的标准。在图68中，由于低信号强度值而要被过滤的接入点标识符的示例在网络接入点信息6807中以粗体显示。在该示例中，新网络接入点信息6807中与无线网络接入点6404e相关联的RSSI值3低于阈值并被过滤掉。因此，无线网络接入点6404e的BSSID没有出现在网络接入点信息6806中。
图69示出了根据一些实施例的基于网络接入点信息将来自便携式设备的地图定位在另一地图内的示例。在图69中，便携式设备地图7002将要针对可以存储在例如远程计算设备上的多个地图中的存储地图7004进行定位。在一些实施例中，便携式设备地图可以是由便携式设备创建的跟踪地图。在一些实施例中，多个存储的地图可以是表示先前映射的环境的规范地图，例如如上所述的由定位服务存储的规范地图。便携式设备地图和存储地图可以具有多个图块，如结合图64到图68所描述的，具有相关联的位置信息和网络接入点信息，用作无线签名。
便携式设备地图相对于存储的地图的定位可以通过选择候选地图的子集和每个地图内的图块的子集作为定位尝试的一部分进行比较来开始。可以应用一个或多个过滤标准来选择所存储地图的子集作为候选地图。无线签名的相似度可以用作一个这样的过滤标准。
在图69的所示示例中，便携式设备地图7002中的图块7006的网络接入点信息类似于存储的地图7004的图块7008中存储的网络接入点信息。基于这种相似度，地图7004可以被选为候选地图。此外，可以选择图块7006和7008作为候选图块。定位尝试最初可能限于尝试使这些图块相对于彼此定位。如果这些图块无法定位，则可以尝试在其他图块对之间进行定位。可以按相似度的降序选择图块对。替代地或附加地，即使图块7006和7008可以以足够低的误差对齐以致它们可以被认为是定位的，也可以相对于其他图块对尝试进行定位，其可以按图块对之间的相似度的降序来选择。来自定位其他对的附加数据可以提高地图相对于彼此的位置的准确性。替代地或附加地，可以执行其他图块对的定位以识别覆盖与地图7002相同区域的全部或部分的附加地图。
在一些实施例中，无线签名的相似度可以基于Jaccard相似度。可以通过计算与便携式设备地图图块一起存储的相应RSSI值和BSSID的列表与存储的地图图块的对应信息之间的Jaccard相似度来比较所选择的便携式设备地图图块和存储的地图图块的网络接入点信息。可以附加地或替代地采用用于比较网络接入点信息的其他算法和试探法，以便将所选择的便携式设备地图图块的网络接入点信息与存储的地图图块的网络接入点信息进行比较。
在图69的图示示例中，存储的地图7004的候选图块7008被选择为与便携式设备地图7002的所选择图块7006相比最相似。在该示例中，选择可以基于关联于便携式设备地图图块7006的网络接入点信息7010与存储地图7004的候选图块7008的网络接入点信息7012之间的相似度。在一些实施例中，可以在规范地图中选择多个候选图块。
识别具有相似图块的地图可以作为附加处理的预备步骤来完成，例如合并地图和/或相对于共享坐标框架来定位便携式设备。根据一些实施例，便携式设备地图可以定位在存储的地图内，从基于网络接入点信息的比较而选择的一个或多个候选图块开始。至少结合以上图23、图34、图44、图45、图46A和图46B详细描述了定位过程。应当理解，本小节中描述的定位技术可以与这里描述的用于定位的任何其他方法结合使用。
在一些实施例中，当相对于一个或多个存储地图来定位设备时，可能不需要相对于存储地图来比较整个跟踪地图。例如，设备当前所在的当前图块可以相对于存储地图的图块进行定位。存储地图的选择作为尝试定位的候选的图块可以基于无线签名的相似度来选择。替代地或附加地，地图可以具有多个层次划分，并且无线指纹可以与层次的任何级别相关联，使得基于无线指纹对地图的选择可以导致在层次的任何级别上的选择。
例如，地图可以被细分为区域，这些区域又可以被划分为图块。区域内任何图块的无线指纹可以用于选择该区域作为候选地图。替代地或附加地，该区域内的多个图块的无线指纹可以被聚合(aggregate)成该区域的组合指纹。例如，可以通过形成出现在任何图块中的BSSID的列表并对在一个以上图块的指纹中的BSSID的RSSI值进行平均来执行聚合。
替代地或附加地，每个图块可以包含多个持久点，例如多个PCF。每个这样的持久点可以有它自己的无线签名。一个或多个PCF可以基于它们的无线签名而被选择作为候选地图选择的一部分。
此外，不要求存储地图中的图块的选择导致关于跟踪地图的任何部分的定位尝试。在一些实施例中，例如，用于利用共享地图进行定位的位置信息可以从当前图像数据而不是从跟踪地图中得到。尽管如此，与便携式设备当前所在的图块相关联的无线签名可以用于选择存储地图的图块作为定位的候选。
在一些实施例中，基于网络接入点信息比较的定位可以包括计算便携式设备地图的所选坐标框架与被定位到的存储地图的坐标框架之间的变换。在一些实施例中，坐标框架可以是持久坐标系(PCF)和/或持久姿势和/或跟踪地图和规范地图的原点。便携式设备地图的所选坐标框架可以是与选择用于比较网络接入点信息的图块相关联的坐标框架。被定位到的存储地图的坐标框架可以是与作为网络接入点比较的结果而选择的候选图块相关联的坐标框架。在一些实施例中，替代地或附加地基于网络接入点信息的比较来计算其他坐标框架的变换。
不管如何使用无线签名，如本文所述的技术可以导致有效地生成可以以低延迟可用的无线签名。图70是说明根据一些实施例的这种过程的流程图。在一些实施例中，结合图70描述的处理可以在便携式设备上执行，但是可以替代地或附加地通过网络在连接到便携式设备的一个或多个处理器或系统的其他处理器上执行。动作7102到7108由创建地图的便携式设备执行，而其他所示动作可以由例如远程计算设备执行，例如服务器或包括采用云配置的多个计算设备的计算设备。
在动作7102中，便携式设备在其在3D环境内的位置处获得网络接入点信息。该动作可以包括获得便携式设备从其接收信号的网络接入点的BSSID和对应的RSSI值。在一些实施例中，可以收集其他网络接入点信息，例如网络接入点的名称或类型。该信息可以在针对Wi-Fi而配备的便携式设备上通过该设备上的Wi-Fi芯片执行的扫描来获取。扫描可以由下面结合元素7112更详细地讨论的任何一个或多个条件触发。
在动作7104中，便携式设备可以可选地过滤和处理在动作7102中收集的网络接入点信息。过滤或处理动作可以包括丢弃网络接入点信息。例如，可以基于相应的信号强度值或基于BSSID的排除标准来过滤BSSID。例如，排除标准可以基于例如BSSID名称。可以排除包含术语“电话”或其他暗示便携式接入点的其他术语的名称。类似地，可以排除无法发现的接入点，具有任何其他特性的接入点也可以被排除，这些其他特性可以指示在相同空间中操作的另一个设备可能无法检测到的接入点。在一些实施例中，过滤步骤7104可以过滤除预定数量的接入点信息之外的所有接入点信息。例如，除了具有最高信号强度值的三个BSSID之外，所有的BSSID都可以从网络接入点信息中滤除。
可以附加地或替代地采用处理网络接入点信息的其他方法，例如规范化网络接入点信息或以不同格式表达网络接入点信息以供进一步处理或传输。
在动作7106中，选择持久点来表示便携式设备的位置。在一些实施例中，已选择的持久点可以是在便携式设备定位到的地图中相对于便携式设备最靠近的持久姿势或PCF。替代地或附加地，已选择的持久点可以是表示便携式设备的位置的其他信息。
然而，在图70的示例中，持久点可以是设备的跟踪地图中的持久姿势。在动作7108a中，在一些实施例中，如果还没有针对便携式设备的当前位置存储数据，则可以将新图块添加到跟踪地图。在其他实施例中，可以创建空图块并且可以将新的持久点和对应的数据添加到空图块。新图块可以包括动作7106的持久点，以及动作7104和7102的网络接入点信息。
替代地，在动作7108b中，动作7104和7102的网络接入点信息可以与已经与跟踪地图中的图块相关联的网络接入点信息合并。在一些实施例中，这可以包括对与网络接入点信息中的对应的BSSID相关联的RSSI值进行平均。在一些实施例中，这替代地或附加地包括用新的网络接入点信息替换已存储的网络接入点信息，或者相反，保留所存储的网络接入点信息并丢弃新的网络接入点信息。新的网络接入点信息可能会被丢弃而不是合并，例如，如果它不符合某些质量标准，例如它与先前收集的信息有很大的偏差，或者所有网络接入点的RSSI值都非常低，这表明可能接收问题。
在动作7108a或7108b中已经存储数据之后，便携式设备可以不采取关于形成无线指纹的进一步动作，直到触发新的网络接入点扫描。触发新扫描的示例标准在动作7110a到7110c中示出。如图所示，可以基于自上次扫描以来便携式设备行进的距离超过阈值来触发新的扫描(7110c)。行进的距离可以由设备的硬件和/或软件部件确定。例如，该设备可以包括提供定位或位置的指示的IMU或GPS硬件，该指示可用于确定何时已经行进了阈值距离。替代地或附加地，从一系列捕获的图像形成跟踪地图的设备可以基于设备在地图内的相对位置来确定行进的距离。
在其他示例中，新扫描可以通过自前一次扫描以来经过的时间量来触发(7110b)。例如，如果在超过阈值时间量(例如可能是20秒或60秒或20秒到60秒范围内的任何值)内未执行扫描，则可以触发扫描。
在其他示例中，网络接入点中的更新，例如BSSID改变，可以触发新的扫描(7110a)和/或可以触发无线硬件发送扫描结果。
尽管这些动作不需要在便携式设备上发生，但应该理解的是，在一些实施例中，便携式设备本身可以根据动作7110a、7110b或7110c触发新的扫描。除了图70中所示的原因之外，还可以出于其他原因自动触发扫描。例如，在设备上执行的其他部件可以出于与维护无线签名无关的原因命令无线芯片组执行扫描。在一些实施例中，每当执行扫描时，无线部件可以输出扫描数据可用的指示，然后可以将其用于更新无线签名，从而可以在没有构成无线指纹的来自设备部件的明确请求的情况下从硬件推送关于无线网络接入点的信息。
不管触发扫描的具体机制如何，在动作7112中，都会触发新的网络扫描。该过程然后进行到动作7102，如上所述。
应当理解，本小节中描述的技术可以与这里描述的其他技术结合使用。例如，本小节中描述的定位过程中涉及的地图可以经历结合图28到图34描述的过滤过程。如图28所示，过滤过程可以包括邻域过滤器、Wi-Fi指纹过滤器、关键帧过滤器，或本申请中描述的任何其他过滤器。如图28中进一步所示，定位过程可以在过滤过程之后。在一些实施例中，该定位过程可以利用网络接入点比较技术来进行本小节中描述的定位。
此外，应当理解，无线指纹可以用于比较地图或选择表示物理世界中的特定位置的地图，而不管所选地图的使用。本节中描述的技术不限于在定位过程中使用。例如，无线指纹可以用作如上所述的地图排名过程的一部分。替代地或附加地，无线指纹可用于选择表示相同或重叠区域的地图以用于地图合并，同样如上所述。
其它考虑
图60示出根据一些实施例的计算机系统1900的示例性形式的机器的示意图，在该机器内可以执行一组指令以使该机器执行在此讨论的方法中的任何一个或多个方法。在替代实施例中，该机器作为独立设备操作，或者可以连接(例如，联网)到其它机器。此外，虽然仅示出了单个机器，但是术语“机器”也应被理解为包括机器的任何集合，该机器单独地或共同地执行一组(或多组)指令以执行在此讨论的任何一个或多个方法。
示例性计算机系统1900包括经由总线1908彼此通信的处理器1902(例如，中央处理单元(CPU)、图形处理单元(GPU)或二者)、主存储器1904(例如，只读存储器(ROM)、闪存，诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等的动态随机存取存储器(DRAM))和静态存储器1906(例如闪存、静态随机存取存储器(SRAM)等)。
计算机系统1900可以进一步包括磁盘驱动器单元1916和网络接口设备1920。
磁盘驱动器单元1916包括机器可读介质1922，在其上存储体现在此所述方法或功能中的任何一个或多个方法或功能的一组或多组指令1924(例如，软件)。在计算机系统1900执行软件期间，软件还可以全部或至少部分地驻留在主存储器1904内和/或处理器1902内，主存储器1904和处理器1902也构成机器可读介质。
还可以经由网络接口设备1920在网络18上发送或接收软件。
计算机系统1900包括用于驱动投影仪以生成光的驱动器芯片1950。驱动器芯片1950包括其自己的数据存储1960及其自己的处理器1962。
虽然在示例性实施例中将机器可读介质1922示为单个介质，但是术语“机器可读介质”应理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本发明的任何一种或多种方法的任何介质。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光学和磁性介质以及载波信号。
至此已经描述了一些实施例的几个方面，应当理解，本领域技术人员将容易想到各种改变、修改和改进。
作为一个示例，结合增强(AR)环境来描述实施例。应当理解，在此描述的一些或全部技术可以在MR环境中或更普遍地在其它XR环境和VR环境中应用。
作为另一个示例，结合诸如可穿戴设备的设备来描述实施例。应当理解，可以经由网络(诸如云)、分立应用和/或设备、网络和分立应用的任何合适的组合来实现在此描述的一些或全部技术。
此外，图29提供了可用于过滤候选地图以产生一组高排名地图的标准的示例。代替所描述的标准或除了所描述的标准之外，可以使用其它标准。例如，如果多个候选地图具有用于过滤掉不太理想的地图的度量的相似值，则候选地图的特性可以用于确定哪些地图被保留为候选地图或被过滤掉。例如，更大或更密集的候选地图可以优先于较小的候选地图。
应当注意，任何明显的改变、修改和改进被设想并且旨在是本公开的一部分，并且旨在处于本公开的精神和范围内。此外，尽管指示了本公开的优点，但是应当理解，并非本公开的每个实施例将包括每个描述的优点。在一些情况下，一些实施例可能不实现在此描述为有利的任何特征。因此，前面的描述和附图仅作为示例。
本公开的上述实施例可以以多种方式中的任何一种方式来实现。例如，可以使用硬件、软件或其组合来实现实施例。当以软件实现时，软件代码可以在任何合适的处理器或处理器集合上执行，无论是在单个计算机中提供还是在多个计算机中分布。这种处理器可以被实现为集成电路，在集成电路部件中具有一个或多个处理器，包括本领域已知的可商购的集成电路部件，其名称诸如CPU芯片、GPU芯片、微处理器、微控制器或协处理器。在一些实施例中，可以在定制电路(诸如ASIC)或者在通过配置可编程逻辑器件而产生的半定制电路中实现处理器。作为另一替代方案，处理器可以是较大的电路或半导体设备的一部分，无论是可商购的，半定制的还是定制的。作为特定示例，一些可商购的微处理器具有多个核心，使得这些核心中的一个或子集可以构成处理器。但是，可以使用任何适当格式的电路来实现处理器。
此外，应当理解，计算机可以以多种形式中的任何一种形式来体现，诸如机架式计算机、台式计算机、膝上型计算机或平板计算机。另外，计算机可以被嵌入通常不被认为是计算机但具有合适的处理能力的设备中，该设备包括个人数字助理(PDA)、智能电话或任何其它合适的便携式或固定电子设备。
此外，计算机可以具有一个或多个输入和输出设备。这些设备尤其可以用于呈现用户界面。可以用于提供用户界面的输出设备的示例包括用于视觉呈现输出的打印机或显示屏，以及用于听觉呈现输出的扬声器或其它声音生成设备。可以用于用户界面的输入设备的示例包括键盘和指向设备，诸如鼠标、触摸板和数字化平板计算机。作为另一个示例，计算机可以通过语音识别或其它可听格式接收输入信息。在所示的实施例中，输入/输出设备被示为与计算设备物理上分开。然而，在一些实施例中，输入和/或输出设备可以物理地集成到与处理器或计算设备的其它元件相同的单元中。例如，键盘可能实现为触摸屏上的软键盘。在一些实施例中，输入/输出设备可以与计算设备完全断开，并且通过无线连接在功能上集成。
这种计算机可以通过任何适当形式的一个或多个网络互连，包括作为局域网或诸如企业网络或互联网的广域网。这种网络可以基于任何适当的技术，并且可以根据任何适当的协议进行操作，并且可以包括无线网络、有线网络或光纤网络。
此外，在此概述的各种方法或过程可以被编码为可在采用多种操作系统或平台中的任何一种操作系统或平台的一个或多个处理器上执行的软件。另外，可以使用多种合适的编程语言和/或编程或脚本工具中的任何一种来编写此类软件，并且还可以将其编译为可执行的机器语言代码或在框架或虚拟机上执行的中间代码。
在这方面，本公开可以体现为采用一个或多个程序编码的计算机可读存储介质(或多个计算机可读介质)(例如，计算机存储器、一个或多个软盘、压缩光盘(CD)、光盘、数字视频盘)(DVD)、磁带、闪存、现场可编程门阵列或其它半导体设备或其它有形计算机存储介质中的电路装置)，该程序在一个或多个计算机或其它处理器上执行时将执行实现以上讨论的本公开的各种实施例的方法。从前述示例显而易见，计算机可读存储介质可以将信息保留足够的时间，以提供非暂态形式的计算机可执行指令。这种一个或多个计算机可读存储介质可以是可移动的，使得可以将存储在其上的一个或多个程序加载到一个或多个不同的计算机或其它处理器上，以实现如上所述的本公开的各个方面。如在此所使用的，术语“计算机可读存储介质”仅涵盖可以被认为是制品(即，制造品)或机器的计算机可读介质。在一些实施例中，本公开可以体现为除计算机可读存储介质之外的计算机可读介质，诸如传播信号。
在一般意义上在此使用术语“程序”或“软件”来指代可用于对计算机或其它处理器进行编程以实现如上所述的本公开的各个方面的计算机代码或计算机可执行指令集。另外，应当理解，根据该实施例的一方面，当被执行时执行本公开的方法的一个或多个计算机程序不需要驻留在单个计算机或处理器上，而是可以以模块化的方式在多个不同的计算机或处理器之间分布，以实现本公开的各个方面。
计算机可执行指令可以具有许多形式，诸如由一个或多个计算机或其它设备执行的程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。通常，在各种实施例中，程序模块的功能可以根据需要进行组合或分布。
此外，数据结构可以以任何合适的形式存储在计算机可读介质中。为了简化说明，可以示出数据结构具有通过数据结构中的位置而相关的字段。同样地，可以通过传达字段之间的关系的在计算机可读介质中的位置为字段分配存储来实现此类关系。然而，可以使用任何合适的机制来建立数据结构的字段中的信息之间的关系，包括通过使用指针、标签或在数据元素之间建立关系的其它机制。
本公开的各个方面可以单独、组合或在前述实施例中未具体讨论的各种布置中使用，并且因此，在其应用中不限于在前面的描述中阐述或在附图中示出的部件的细节和布置。例如，一个实施例中描述的方面可以以任何方式与其它实施例中描述的方面组合。
此外，本公开可以体现为一种方法，已经提供了方法的一个示例。作为该方法的一部分执行的动作可以以任何合适的方式排序。因此，可以构造实施例，其中以与所示出的顺序不同的顺序执行动作，即使在说明性实施例中被示为顺序动作，该动作也可以包括同时执行一些动作。
在权利要求中使用诸如“第一”、“第二”、“第三”等序数术语来修改权利要求元素本身并不表示一个权利要求元素相对于执行方法动作的另一个顺序或临时顺序的任何优先级、优先权或顺序，但仅用作标记，以区分具有某些名称的一个权利要求元素与具有相同名称的另一个元素(但用于序数词)来区分权利要求元素。
另外，在此使用的措词和术语是出于描述的目的，并且不应被视为限制。在此“包括”、“包含”或“具有”、“包含了”、“涉及”及其变体的使用旨在涵盖其后列出的项目及其等同物以及其它项目。
Claims (15)
1.一种用于在交叉现实环境中用动态缓冲来渲染虚拟内容的电子设备，包括：
传感器，其捕获关于三维3D环境的图像信息，所述信息包括多个图像；
处理器，其执行计算机可执行指令，其中，所述计算机可执行指令包括指令，所述指令在由所述处理器执行时使得所述处理器执行一组动作，所述一组动作包括：
生成用于表示所述3D环境中的对象或所述对象的一部分的本地坐标系；
根据所述3D环境的所述图像信息来确定特征集；
将以所述本地坐标系表示的所述特征集转发到远程服务器上的定位服务；以及
从所述定位服务接收至少一个变换，所述至少一个变换将所述本地坐标系定位到可共享世界模型的规范地图的单独坐标系。
2.根据权利要求1所述的电子设备，其中，所述特征集指示所述电子设备的位置信息相对于已被发送到所述定位服务的单独特征集的变化，并且所述位置信息的变化包括平移距离、旋转角度、或其组合的变化超过阈值。
3.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：至少部分地基于所述特征集的第一交叉熵和已被发送到所述定位服务的单独特征集的第二交叉熵，向所述定位服务发送定位请求。
4.根据权利要求3所述的电子设备，其中，所述第二交叉熵包括与以下项的变化有关的数据：平移距离、旋转角度、第一图像与第二图像之间的视点、捕获所述第二图像的所述电子设备的无线指纹、至少部分地基于跟踪地图的所述电子设备的姿势跟踪数据、或者所述第二图像与所述第一图像的视觉相似性。
5.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：生成具有所述特征集的跟踪地图，其中，所述跟踪地图包括一个或多个点节点，所述一个或多个点节点分别表示与所述电子设备有关的一个或多个头部姿势，并且所述规范地图包括一个或多个持久坐标系。
6.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：将以所述本地坐标系表示的位置信息转发到所述远程服务器上的所述定位服务。
7.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：响应于检测到事件，触发用于确定所述特征集的指令以确定所述特征集。
8.根据权利要求7所述的电子设备，其中，所述事件选自包括以下项的组：
惯性测量单元IMU的输出的变化，其指示所述设备的平移超过阈值距离；
所计算的所述设备相对于跟踪地图的姿势的变化，其指示所述设备的平移超过阈值距离；
IMU的输出的变化，其指示所述设备的旋转超过阈值角度；
所计算的所述设备相对于跟踪地图的姿势的变化，其指示所述设备的旋转超过阈值角度；
无线指纹的变化，其指示所述设备的平移超过阈值；
对于由所述设备上的图像传感器顺序捕获的图像帧，表示图像帧的内容的描述符的值的变化；以及
另一个可测量参数的变化，其指示所述设备的所述姿势已经改变得多于阈值量。
9.根据权利要求1所述的电子设备，其中，所述变换将所述特征集与所述可共享世界模型的所述规范地图中的单独特征集对齐。
10.根据权利要求9所述的电子设备，其中，所述单独特征集限定单独坐标系。
11.根据权利要求1所述的电子设备，其中，所述单独坐标系是持久坐标系。
12.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：将与所述传感器有关的姿势信息转发到所述远程服务器上的所述定位服务。
13.根据权利要求12所述的电子设备，其中，基于所述特征集和所述姿势信息来计算所述变换。
14.根据权利要求1所述的电子设备，其中，所述一组动作进一步包括：
根据所述3D环境的所述图像信息来确定多个特征集，所述多个特征集包括所述特征集；以及
将以所述本地坐标系表示的所述多个特征集转发到所述远程服务器上的所述本地服务，以及
其中，基于所述多个特征集来计算所述变换。
15.根据权利要求14所述的电子设备，其中，将所述多个特征集转发到所述远程服务器上的所述定位服务增加所述多个特征集的所述交叉熵。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062981961P | 2020-02-26 | 2020-02-26 | |
| US62/981,961 | 2020-02-26 | ||
| PCT/US2021/019716 WO2021173862A1 (en) | 2020-02-26 | 2021-02-25 | Cross reality system with buffering for localization accuracy |
| CN202180017052.8A CN115176285B (zh) | 2020-02-26 | 2021-02-25 | 利用缓冲的交叉现实系统用于定位精度 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180017052.8A Division CN115176285B (zh) | 2020-02-26 | 2021-02-25 | 利用缓冲的交叉现实系统用于定位精度 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116721235A true CN116721235A (zh) | 2023-09-08 |
Family
ID=77366367
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310695366.4A Pending CN116721235A (zh) | 2020-02-26 | 2021-02-25 | 利用缓冲的交叉现实系统用于定位精度 |
| CN202180017052.8A Active CN115176285B (zh) | 2020-02-26 | 2021-02-25 | 利用缓冲的交叉现实系统用于定位精度 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180017052.8A Active CN115176285B (zh) | 2020-02-26 | 2021-02-25 | 利用缓冲的交叉现实系统用于定位精度 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11557099B2 (zh) |
| EP (1) | EP4111368A4 (zh) |
| JP (1) | JP2023515523A (zh) |
| CN (2) | CN116721235A (zh) |
| WO (1) | WO2021173862A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11823339B2 (en) * | 2021-04-06 | 2023-11-21 | Apple Inc. | Localization accuracy response |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0907145A3 (en) | 1997-10-03 | 2003-03-26 | Nippon Telegraph and Telephone Corporation | Method and equipment for extracting image features from image sequence |
| US20020180793A1 (en) | 2001-05-31 | 2002-12-05 | International Business Machines Corporation | Dynamic buffering of graphic images by a platform independent application program interface |
| WO2004093013A1 (ja) * | 2003-04-15 | 2004-10-28 | Fujitsu Limited | 画像照合装置、画像照合方法、及び画像照合プログラム |
| US8970690B2 (en) * | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
| US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| JP6144826B2 (ja) * | 2013-06-11 | 2017-06-07 | クアルコム，インコーポレイテッド | データベース作成のための対話型および自動的３ｄオブジェクト走査方法 |
| JP6547744B2 (ja) * | 2014-06-03 | 2019-07-24 | 日本電気株式会社 | 画像処理システム、画像処理方法及びプログラム |
| JP6759550B2 (ja) | 2015-03-04 | 2020-09-23 | ソニー株式会社 | 情報処理装置、プログラム、情報処理方法及び観察システム |
| CN107646126B (zh) * | 2015-07-16 | 2020-12-08 | 谷歌有限责任公司 | 用于移动设备的相机姿态估计 |
| CA3007367A1 (en) | 2015-12-04 | 2017-06-08 | Magic Leap, Inc. | Relocalization systems and methods |
| JP6747504B2 (ja) * | 2016-04-18 | 2020-08-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN109923867A (zh) * | 2016-09-14 | 2019-06-21 | 皇家Kpn公司 | 流式传输虚拟现实视频 |
| US10242654B2 (en) * | 2017-01-25 | 2019-03-26 | Microsoft Technology Licensing, Llc | No miss cache structure for real-time image transformations |
| US11227435B2 (en) * | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| CN110378965B (zh) * | 2019-05-21 | 2022-04-15 | 北京百度网讯科技有限公司 | 确定路侧成像设备坐标系转换参数的方法、装置、设备 |
-
2021
- 2021-02-25 EP EP21759777.2A patent/EP4111368A4/en active Pending
- 2021-02-25 CN CN202310695366.4A patent/CN116721235A/zh active Pending
- 2021-02-25 WO PCT/US2021/019716 patent/WO2021173862A1/en unknown
- 2021-02-25 CN CN202180017052.8A patent/CN115176285B/zh active Active
- 2021-02-25 US US17/185,706 patent/US11557099B2/en active Active
- 2021-02-25 JP JP2022550929A patent/JP2023515523A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20210264674A1 (en) | 2021-08-26 |
| EP4111368A1 (en) | 2023-01-04 |
| CN115176285B (zh) | 2023-07-25 |
| WO2021173862A1 (en) | 2021-09-02 |
| EP4111368A4 (en) | 2023-08-16 |
| US20220406024A1 (en) | 2022-12-22 |
| CN115176285A (zh) | 2022-10-11 |
| JP2023515523A (ja) | 2023-04-13 |
| US11557099B2 (en) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830149B2 (en) | Cross reality system with prioritization of geolocation information for localization | |
| US11900547B2 (en) | Cross reality system for large scale environments | |
| US11257294B2 (en) | Cross reality system supporting multiple device types | |
| US11967020B2 (en) | Cross reality system with map processing using multi-resolution frame descriptors | |
| CN115151947B (zh) | 具有基于wifi/gps的地图合并的交叉现实系统 | |
| CN114600064A (zh) | 具有定位服务的交叉现实系统 | |
| EP4046401A1 (en) | Cross reality system with wireless fingerprints | |
| CN115427758A (zh) | 具有精确共享地图的交叉现实系统 | |
| CN115461787A (zh) | 具有快速定位的交叉现实系统 | |
| US11694394B2 (en) | Cross reality system for large scale environment reconstruction | |
| CN113544748A (zh) | 交叉现实系统 | |
| CN115176285B (zh) | 利用缓冲的交叉现实系统用于定位精度 | |
| US12002170B2 (en) | Cross reality system with buffering for localization accuracy | |
| CN118135082A (zh) | 具有基于wifi/gps的地图合并的交叉现实系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |