CN112639664B - 用于确定和/或评价图像显示设备的定位地图的方法和装置 - Google Patents

Abstract

一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中，装置的处理单元还被配置为获得度量，该度量指示使用地图成功定位用户的可能性，并且其中，处理单元被配置为通过计算度量或通过接收度量来获得度量。

Description

用于确定和/或评价图像显示设备的定位地图的方法和装置

技术领域

本公开涉及被配置为佩戴在用户的头部上的图像显示设备，以及用于确定和评价针对此类图像显示设备的定位地图的方法和装置。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)系统的发展，其中，数字再现的图像或其部分以他们看起来是真实的或可被感知为真实的方式呈现给用户。VR场景通常涉及以对实际的真实世界视觉输入不透明的方式来呈现数字或虚拟图像信息。AR场景通常涉及将数字或虚拟图像信息的呈现作为对用户周围的真实世界(即，对真实世界视觉输入的透明度)的可视化的增强。因此，AR场景涉及以对真实世界视觉输入透明的方式来呈现数字或虚拟图像信息。

MR系统可以生成并显示颜色数据，这增加了MR场景的真实性。这些MR系统中的许多系统通过快速连续地按顺序投射与彩色图像对应的不同(例如，原色)颜色或“场”(例如，红色、绿色和蓝色)的子图像来显示颜色数据。以足够高的速率(例如，60Hz、120Hz等)投射彩色子图像可以在用户的头脑中传递平滑的彩色MR场景。

各种光学系统在用于显示MR(VR和AR)场景的各种深度处生成包括彩色图像的图像。一些这样的光学系统在2014年11月27日提交的美国实用专利申请No.14/555,585(代理案号ML.20011.00)中描述，其内容通过引用整体被明确地并完整地并入本文中，如同完全阐述一样。

MR系统可以采用可穿戴显示设备(例如，被配置为佩戴在头部上的显示器、头盔式显示器或智能眼镜)，其至少松散地耦接到用户的头部，并由此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，则可以更新(例如，“改变(warp)”)正在显示的数据以考虑头部姿势(即，用户头部的取向和/或位置)的变化。

作为示例，如果佩戴显示设备的用户观看显示器上的虚拟对象的虚拟表示并且在虚拟对象出现的区域周围行走，则可以针对每个观看点渲染虚拟对象，从而给予用户他们在占据真实空间的对象周围行走的感知。如果显示设备用于呈现多个虚拟对象，则可以使用头部姿势的测量来渲染场景以匹配用户的动态变化的头部姿势并且提供增加的沉浸感。

能够实现AR的显示设备(被配置为佩戴在用户的头部上)提供对真实对象和虚拟对象两者的同时观看。通过“光学透视”显示器，用户可以透视显示系统中的透明(或半透明的)元件以直接观看来自环境中的真实对象的光。透明元件(通常称为“组合器”)将来自显示器的光叠加在用户对真实世界的视图上，其中来自显示器的光将虚拟内容的图像投射在环境中的真实对象的透视图上。相机可以被安装到显示设备上以捕获由用户观看到的场景的图像或视频。

当前光学系统，诸如MR系统中的那些光学系统，光学地渲染虚拟内容。内容是“虚拟的”，因为其不对应于位于空间中的相应位置的真实物理对象。相反，当用户被指向其的眼睛的光束刺激时，虚拟内容仅存在于显示设备的用户的大脑(例如，光学中心)中。

在一些情况下，被配置为佩戴在用户的头部上的图像显示设备可以相对于真实环境显示虚拟对象和/或可以允许用户相对于真实环境来放置和/或操纵虚拟对象。在这种情况下，图像显示设备可以被配置为相对于真实环境定位用户，使得虚拟对象可以相对于真实环境被正确地移位。本文公开了用于确定和/或评价图像显示设备(例如，MR设备、AR设备、VR设备等)的定位地图的方法和装置。定位地图被配置为由图像显示设备用于用户的定位。

发明内容

一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中装置的处理单元还被配置为确定度量，该度量指示使用地图成功定位用户的可能性。

可选地，处理单元可以被配置为通过计算度量来确定度量。

可选地，处理单元可以被配置为通过接收度量来确定度量。

可选地，处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，处理单元被配置为确定度量而不确定任何凸包。

可选地，度量具有基于方向性的值。

可选地，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，方向性包括转动方向。

可选地，方向性包括倾斜角。

可选地，方向性包括偏转角。

可选地，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，处理单元还被配置为确定来自相机系统的用于多个单元中的一个单元的图像的总数。

可选地，图像的总数与用于单元的某个观看方向相关联。

可选地，图像的总数与用于单元的多个观看方向相关联。

可选地，相机系统被配置为获得多个图像，并且其中处理单元被配置为通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，处理单元还被配置为通过将总分数除以图像的子集中的图像的数量来确定平均分数。

可选地，平均分数是度量。

可选地，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，处理单元被配置为通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，处理单元被配置为通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，处理单元还被配置为确定指示地图的覆盖程度的区域分数。

可选地，区域分数是基于地图的数据点的空间分布。

可选地，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，单元中的至少一个单元还具有预定高度。

可选地，处理单元被配置为通过以下来确定度量：从相机系统获得多个图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，相机系统包括多个相机。

可选地，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，多个相机包括第一前向相机。

可选地，多个相机包括第二前向相机。

可选地，多个相机包括第一侧向相机。

可选地，多个相机包括第二侧向相机。

可选地，处理单元被配置为确定相机系统的期望观看方向，用于改进度量的值。

可选地，处理单元被配置为基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，相机系统被配置为在已达到相机系统的期望观看方向之后获得环境的图像。

可选地，处理单元被配置为基于图像来更新地图。

可选地，处理单元被配置为基于更新的地图来更新度量。

可选地，处理单元还被配置为在使用地图相对于环境定位用户之前确定度量。

可选地，处理单元被配置为在允许装置与另一装置共享内容之前确定度量。

可选地，处理单元被配置为在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，处理单元被配置为通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

可选地，处理单元被配置为执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，数据包括来自相机系统的图像，并且其中处理单元被配置为通过移除或忽略图像来执行净化。

可选地，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中处理单元被配置为通过移除或忽略该图像集合来执行净化。

可选地，数据包括来自相机系统的图像中的参考点的识别，并且其中处理单元被配置为通过忽略参考点的识别来执行净化。

可选地，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中处理单元被配置为通过忽略与图像相关联的射线或线来执行净化。

可选地，处理单元被配置为执行净化作为局部优化的一部分。

可选地，处理单元被配置为执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中处理单元被配置为在执行净化以移除数据之后执行束调整。

可选地，处理单元被配置为执行束调整作为全局优化的一部分。

可选地，处理单元被配置为基于来自相机系统的图像和三维参考点执行全局优化。

可选地，处理单元被配置为还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，处理单元被配置为确定从相机系统获得的图像的分数。

可选地，分数是约束分数。

可选地，分数指示图像被约束得如何。

可选地，处理单元被配置为基于参考点测量的雅可比矩阵来确定分数。

可选地，处理单元被配置为基于作为对角矩阵的信息矩阵来确定分数。

可选地，处理单元被配置为基于在图像中检测到的参考点的数量来确定分数。

可选地，处理单元被配置为基于分数执行数据净化。

可选地，处理单元被配置为当执行数据净化时移除图像的约束或者移除图像。

可选地，处理单元被配置为当分数低于阈值时，移除图像的约束或者移除图像。

可选地，处理单元被配置为通过以下来确定地图：确定多个地图片段；以及连接地图片段。

可选地，处理单元被配置为通过从相机系统获得图像并且链接该图像来确定地图片段的第一地图片段，其中图像由相机系统依次生成。

可选地，处理单元被配置为确定图像的相应分数。

可选地，处理单元被配置为：从相机系统获得附加图像、确定附加图像的分数、以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

可选地，处理单元被配置为当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，输出包括来自相机系统的一个或多个图像。

一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中装置的处理单元还被配置为获得度量，该度量指示使用地图成功定位用户的可能性，并且其中处理单元被配置为通过计算度量或通过接收度量来获得度量。

一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中处理单元被配置为确定从相机系统获得的图像的分数，该分数指示图像相对于用于形成地图的地图片段被约束得如何。

可选地，处理单元可以被配置为通过计算分数来确定分数。

可选地，处理单元可以被配置为通过接收分数来确定分数。

可选地，处理单元被配置为基于参考点测量的雅可比矩阵来确定分数。

可选地，处理单元被配置为基于作为对角矩阵的信息矩阵来确定分数。

可选地，处理单元被配置为基于在图像中检测到的参考点的数量来确定分数。

可选地，处理单元被配置为基于分数执行数据净化。

可选地，处理单元被配置为当执行数据净化时移除图像的约束或者移除图像。

可选地，处理单元被配置为当分数低于阈值时，移除图像的约束或者移除图像。

可选地，处理单元被配置为执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，数据包括来自相机系统的图像，并且其中处理单元被配置为通过移除或忽略图像来执行净化。

可选地，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中处理单元被配置为通过移除或忽略该图像集合来执行净化。

可选地，数据包括来自相机系统的图像中的参考点的识别，并且其中处理单元被配置为通过忽略参考点的识别来执行净化。

可选地，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中处理单元被配置为通过忽略与图像相关联的射线或线来执行净化。

可选地，处理单元被配置为执行净化作为局部优化的一部分。

可选地，处理单元被配置为执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中处理单元被配置为在执行净化之后执行束调整，其中确定了分数的图像是一个或多个图像或者不同于该一个或多个图像。

可选地，处理单元被配置为执行束调整作为全局优化的一部分。

可选地，处理单元被配置为基于来自相机系统的一个或多个图像和三维参考点执行全局优化。

可选地，处理单元被配置为还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，处理单元被配置为通过以下来确定地图：确定多个地图片段，其中该多个地图片段包括地图片段；以及连接地图片段；其中地图的部分包括地图片段中的一个。

可选地，相机系统被配置为提供附加图像，该附加图像在确定了分数的图像被生成之前由相机系统生成，其中处理单元被配置为通过链接附加图像来确定地图片段的第一地图片段，并且其中附加图像由相机系统依次生成。

可选地，处理单元被配置为确定附加图像的相应分数。

可选地，处理单元被配置为响应于来自相机系统的图像的分数满足准则来开始地图片段的第二地图片段。

可选地，处理单元被配置为当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，装置的处理单元还被配置为确定度量，该度量指示使用地图成功定位用户的可能性。

可选地，处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，处理单元被配置为确定度量而不确定任何凸包。

可选地，度量具有基于方向性的值。

可选地，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，方向性包括转动方向。

可选地，方向性包括倾斜角。

可选地，方向性包括偏转角。

可选地，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，处理单元还被配置为确定来自相机系统的用于多个单元中的一个单元的图像的总数。

可选地，图像的总数与用于单元的某个观看方向相关联。

可选地，图像的总数与用于单元的多个观看方向相关联。

可选地，相机系统被配置为获得多个图像，该多个图像包括确定了分数的图像，并且其中处理单元被配置为通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，处理单元还被配置为通过将总分数除以图像的子集中的图像的数量来确定平均分数。

可选地，平均分数是度量。

可选地，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，处理单元被配置为通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，处理单元被配置为通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，处理单元还被配置为确定指示地图的覆盖程度的区域分数。

可选地，区域分数是基于地图的数据点的空间分布。

可选地，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，单元中的至少一个单元还具有预定高度。

可选地，处理单元被配置为通过以下来确定度量：从相机系统获得多个图像，该多个图像包括确定了分数的图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，相机系统包括多个相机。

可选地，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，多个相机包括第一前向相机。

可选地，多个相机包括第二前向相机。

可选地，多个相机包括第一侧向相机。

可选地，多个相机包括第二侧向相机。

可选地，处理单元被配置为确定相机系统的期望观看方向，用于改进度量的值。

可选地，处理单元被配置为基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，相机系统被配置为在已达到相机系统的期望观看方向之后获得附加图像。

可选地，处理单元被配置为基于附加图像来更新地图。

可选地，处理单元被配置为基于更新的地图来更新度量。

可选地，处理单元还被配置为在使用地图相对于环境定位用户之前确定度量。

可选地，处理单元被配置为在允许装置与另一装置共享内容之前确定度量。

可选地，处理单元被配置为在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，处理单元被配置为通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中处理单元被配置为确定从相机系统获得的图像的分数，该分数指示图像相对于用于形成地图的地图片段被约束得如何，并且其中处理单元被配置为通过计算分数或通过接收分数来获得分数。

一种由被配置为佩戴在用户的头部上的装置执行的方法，装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元，方法包括：由处理单元从相机系统获得输出；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中，地图被配置为由处理单元使用以相对于环境定位用户；以及由处理单元获得度量，度量指示使用地图成功定位用户的可能性。

可选地，确定度量的动作包括计算度量。

可选地，确定度量的动作包括接收度量。

可选地，基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，由处理单元确定度量而不确定任何凸包。

可选地，度量具有基于方向性的值。

可选地，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，方向性包括转动方向。

可选地，方向性包括倾斜角。

可选地，方向性包括偏转角。

可选地，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，确定度量的动作包括确定来自相机系统的与多个单元中的一个单元相关联的图像的总数。

可选地，图像的总数与用于单元的某个观看方向相关联。

可选地，图像的总数与用于单元的多个观看方向相关联。

可选地，相机系统被配置为获得多个图像，并且其中通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，通过将总分数除以图像的子集中的图像的数量以获得平均分数来确定度量。

可选地，平均分数是度量。

可选地，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，方法还包括确定指示地图的覆盖程度的区域分数。

可选地，基于地图的数据点的空间分布来确定区域分数。

可选地，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，单元中的至少一个单元还具有预定高度。

可选地，通过以下来确定度量：从相机系统获得多个图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，相机系统包括多个相机。

可选地，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，多个相机包括第一前向相机。

可选地，多个相机包括第二前向相机。

可选地，多个相机包括第一侧向相机。

可选地，多个相机包括第二侧向相机。

可选地，方法还包括由处理单元确定相机系统的期望观看方向，用于改进度量的值。

可选地，方法还包括基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，方法还包括在已达到相机系统的期望观看方向之后从相机系统获得环境的图像。

可选地，方法还包括基于图像来更新地图。

可选地，方法还包括基于更新的地图来更新度量。

可选地，在地图被用于相对于环境定位用户之前确定度量。

可选地，在装置与另一装置共享内容之前确定度量。

可选地，在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

可选地，方法还包括执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，数据包括来自相机系统的图像，并且其中通过移除或忽略图像来执行净化。

可选地，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中通过移除或忽略该图像集合来执行净化。

可选地，数据包括来自相机系统的图像中的参考点的识别，并且其中通过忽略参考点的识别来执行净化。

可选地，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中通过忽略与图像相关联的射线或线来执行净化。

可选地，净化被执行作为局部优化的一部分。

可选地，方法还包括执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中在执行净化以移除数据之后执行束调整。

可选地，束调整被执行作为全局优化的一部分。

可选地，基于来自相机系统的图像和三维参考点执行全局优化。

可选地，还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，方法还包括由处理单元确定从相机系统获得的图像的分数。

可选地，分数是约束分数。

可选地，分数指示图像被约束得如何。

可选地，基于参考点测量的雅可比矩阵来确定分数。

可选地，基于作为对角矩阵的信息矩阵来确定分数。

可选地，基于在图像中检测到的参考点的数量来确定分数。

可选地，方法还包括基于分数执行数据净化。

可选地，执行数据净化的动作包括移除图像的约束或者移除图像。

可选地，当分数低于阈值时，移除图像的约束或者移除图像。

可选地，通过以下来确定地图：确定多个地图片段；以及连接地图片段。

可选地，确定多个地图片段的动作包括通过从相机系统获得图像并且链接该图像来确定地图片段的第一地图片段，其中图像由相机系统依次生成。

可选地，方法还包括确定图像的相应分数。

可选地，方法还包括：从相机系统获得附加图像、确定附加图像的分数、以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

可选地，当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，输出包括来自相机系统的一个或多个图像。

一种由被配置为佩戴在用户的头部上的装置执行的方法，装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元，方法包括：由处理单元从相机系统获得输出；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中，地图被配置为由处理单元使用以相对于环境定位用户；以及由处理单元获得度量，度量指示使用地图成功定位用户的可能性，其中该获得的动作包括由处理单元计算度量或接收度量。

一种由被配置为佩戴在用户的头部上的装置执行的方法，装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元，方法包括：由处理单元从相机系统获得输出；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中，地图被配置为由处理单元使用以相对于环境定位用户；以及由处理单元获得从相机系统获得的图像的分数，该分数指示图像相对于用于形成地图的地图片段被约束得如何。

可选地，确定分数的动作包括计算分数。

可选地，确定分数的动作包括接收分数。

可选地，基于参考点测量的雅可比矩阵来确定分数。

可选地，基于作为对角矩阵的信息矩阵来确定分数。

可选地，基于在图像中检测到的参考点的数量来确定分数。

可选地，方法还包括由处理单元基于分数执行数据净化。

可选地，执行数据净化的动作包括移除图像的约束或者移除图像。

可选地，执行数据净化的动作包括当分数低于阈值时移除图像的约束或者移除图像。

可选地，执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，数据包括来自相机系统的图像，并且其中执行净化以移除或忽略图像。

可选地，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中执行净化以移除或忽略该图像集合。

可选地，数据包括来自相机系统的图像中的参考点的识别，并且其中执行净化以忽略参考点的识别。

可选地，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中执行净化以忽略与图像相关联的射线或线。

可选地，净化被执行作为局部优化的一部分。

可选地，方法还包括执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中在执行净化之后执行束调整，其中被确定分数的图像是一个或多个图像中的一个图像、或者与该一个或多个图像不同。

可选地，束调整被执行作为全局优化的一部分。

可选地，方法进一步包括由处理单元基于来自相机系统的一个或多个图像和三维参考点来执行全局优化。

可选地，还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，通过以下来确定地图：确定多个地图片段，其中该多个地图片段包括地图片段；以及连接地图片段；其中地图的部分包括该地图片段中的一个。

可选地，相机系统被配置为提供附加图像，在被确定分数的图像被生成之前由相机系统生成附加图像，其中确定地图的动作包括通过链接附加图像来确定地图片段的第一地图片段，并且其中附加图像由相机系统依次生成。

可选地，方法还包括确定附加图像的相应分数。

可选地，方法还包括响应于来自相机系统的图像的分数满足准则，由处理单元开始地图片段的第二地图片段。

可选地，当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，方法还包括确定度量，该度量指示使用地图成功定位用户的可能性。

可选地，基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，由处理单元确定度量而不确定任何凸包。

可选地，度量具有基于方向性的值。

可选地，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，方向性包括转动方向。

可选地，方向性包括倾斜角。

可选地，方向性包括偏转角。

可选地，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，确定度量的动作包括确定来自相机系统的与多个单元中的一个单元相关联的图像的总数。

可选地，图像的总数与应用单元的某个观看方向相关联。

可选地，图像的总数与应用单元的多个观看方向相关联。

可选地，相机系统被配置为获得多个图像，该多个图像包括被确定分数的图像，并且其中通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，方法还包括将总分数除以图像的子集中的图像的数量以获得平均分数。

可选地，平均分数是度量。

可选地，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，方法还包括确定指示地图的覆盖程度的区域分数。

可选地，区域分数是基于地图的数据点的空间分布。

可选地，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，单元中的至少一个单元还具有预定高度。

可选地，通过以下来确定度量：从相机系统获得多个图像，该多个图像包括被确定分数的图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，相机系统包括多个相机。

可选地，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，多个相机包括第一前向相机。

可选地，多个相机包括第二前向相机。

可选地，多个相机包括第一侧向相机。

可选地，多个相机包括第二侧向相机。

可选地，方法还包括由处理单元确定相机系统的期望观看方向，用于改进度量的值。

可选地，方法还包括基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，方法还包括在已达到相机系统的期望观看方向之后从相机系统获得附加图像。

可选地，方法还包括基于附加图像来更新地图。

可选地，方法还包括基于更新的地图来更新度量。

可选地，在处理单元使用地图相对于环境定位用户之前确定度量。

可选地，在装置与另一装置共享内容之前确定度量。

可选地，在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

一种由被配置为佩戴在用户的头部上的装置执行的方法，装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元，方法包括：由处理单元从相机系统获得输出；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中，地图被配置为由处理单元使用以相对于环境定位用户；以及由处理单元获得从相机系统获得的图像的分数，该分数指示图像相对于用于形成地图的地图片段被约束得如何，其中获得分数的动作包括由处理单元计算分数或接收分数。

在详细描述、附图和权利要求中描述了本公开的附加和其他目的、特征和优点。

附图说明

附图示出了本公开的各种实施例的设计和实用性。应该注意，附图未按比例绘制，并且贯穿所有附图，具有相似结构或功能的元件由相同的参考标号表示。为了更好地理解如何获得本公开的各种实施例的上述和其他优点和目标，将通过参考本公开的具体实施例来呈现上面简要描述的本公开的更详细的说明。应理解，这些附图仅示出了本公开的典型实施例，因此不应认为是对其范围的限制，将通过使用附图，借助附加特征和细节来描述和解释本公开，其中：

图1示出了根据一些实施例的具有图像显示设备的另一图像显示系统。

图2示出了根据其他实施例的具有图像显示设备的另一图像显示系统。

图3示出了根据其他实施例的具有图像显示设备的另一图像显示系统。

图4示出了根据其他实施例的具有图像显示设备的另一图像显示系统。

图5示出了在多个深度平面显示帧的图像显示设备。

图6示出了用于确定地图的方法，该地图用于允许图像显示设备定位地图像显示设备的用户和/或执行其他功能。

图7示出了被划分成多个单元的环境的示例。

图8A示出了确定度量的方法，改度量指示使用地图来成功定位用户的可能性。

图8B示出了图8A的方法的图形表示。

图9示出了共同可见性图的示例。

图10示出了地图和定位管理方法。

图11示出了在图像显示设备的用户之间共享内容的方法。

图12示出了用于确定地图的技术，该地图允许图像显示设备定位地图像显示设备的用户和/或执行其他功能。

图13示出了用于确定地图的方法，该地图允许图像显示设备定位地图像显示设备的用户和/或执行其他功能。

图14示出了根据一些实施例的由图像显示设备执行的方法。

图15示出了根据一些实施例的由图像显示设备执行的另一方法。

图16示出了根据一些实施例的专用处理系统。

具体实施方式

本公开的各种实施例涉及用于为被配置为佩戴在用户的头部上的视频图像设备提供输入的方法、装置和制品。在详细描述、附图和权利要求中描述了本公开的其他目的、特征和优点。

在下文中参考附图描述各种实施例。应当注意，附图不是按比例绘制的，并且在整个附图中，具有相似结构或功能的元件由相同的附图标记表示。还应注意，附图仅旨在有利于对实施例的描述。它们不旨在作为对本发明的详尽描述或作为对本发明的范围的限制。另外，所说明的实施例不需要具有所示出的所有方面或优点。结合特定实施例描述的方面或优点不一定限于该实施例，并且即使未被那样示出或者如果未被那样明确地描述，上述方面或优点也可以在任何其他实施例中实践。

以下描述涉及可以实践本文中所描述的实施例的示例性VR、AR和/或MR系统。然而，应当理解，实施例还适用于其他类型的显示系统(包括其他类型的VR、AR和/或MR系统)中的应用，并且因此实施例不限于仅在此公开的示例性示例。

问题和解决方案的概述

在一些情况下，为了相对于用户的环境来定位地图像显示设备的用户，获得环境的定位地图。然后，来自图像显示设备的相机系统的实时跟踪图像被与定位地图进行匹配以定位用户。定位的成功取决于定位地图的质量。因此，确定用于指示地图的质量的度量将是有利的，该度量指示使用地图进行定位的成功的可能性。可以采用各种技术来确定度量。在一个实现方式中，基于在不同图像中捕获的参考点的共同可见性来确定度量。参考点可以是表示感兴趣的特征(诸如拐角、边缘等)的地图点，其中感兴趣的特征可以用于在环境中识别用于定位目的的对象。在用户可以相对于用户的环境被成功定位之后，用户然后可以使用图像显示设备来相对于环境放置虚拟内容、从先前的会话中取得先前的内容、与其他用户共享环境中的内容等。

可以使用图像显示设备的相机系统来创建定位地图。具体地，图像显示设备的用户执行不同的头部姿势(例如，转动头部)以“扫描”环境。在这样做时，相机系统捕获环境的图像。然后，图像显示设备的处理单元处理图像以创建地图。在一些实施例中，为了改进地图的质量，可以在地图创建过程期间移除和/或调整可能贡献于地图的不期望的数据。

在一个示例中，不期望的数据可以是相对于地图片段未被良好约束的图像。当为了创建地图而按序列生成图像时，图像被链接在一起以形成地图片段。每个图像可捕获某个数量的参考点(例如，地图点)。如果图像已捕获也由其他图像捕获的许多参考点，那么可将该图像视为相对于正被创建的片段是被良好约束的。另一方面，如果图像仅具有几个参考点、以及/或者图像中的参考点未被其他图像检测到，则该图像可被视为相对于正被创建的片段是被较差约束的。在一些实施例中，可以移除未被良好约束的图像，并且具有被良好约束的图像的地图片段可以被连接在一起以形成定位地图。

图1-4示出了在各种实施例中的图像显示系统100的各种组件。图像显示系统100包括图像显示设备101和用于为图像显示设备101提供输入的装置200。下面将更详细地描述装置200。图像显示设备101可以是VR设备、AR设备、MR设备或其他类型的显示设备中的任一者。图像显示设备101包括由终端用户50佩戴的框架结构102、由框架结构102承载的显示子系统110以使得显示子系统110定位在终端用户50的眼睛前方、以及由框架结构102承载的扬声器106以使得扬声器106定位成与终端用户50的耳道相邻(可选地，另一扬声器(未示出)定位成与终端用户50的另一耳道相邻以提供立体声/可成形声音控制)。显示子系统110被设计为以高水平的图像质量和三维感知向终端用户50的眼睛呈现可以被舒适地感知为对物理现实的增强的光图案以及能够呈现二维内容。显示子系统110以提供单个相干场景的感知的高频来呈现帧序列。

在所示实施例中，显示子系统110采用“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接观看来自真实对象的光。透明元件，其通常被称为“组合器”，将来自显示器的光叠加在用户对真实世界的视图上。为此，显示子系统110包括部分透明的显示器。显示器被定位在终端用户50的眼睛与周围环境之间的终端用户的50视场中，使得来自周围环境的直接光通过显示器被传输到终端用户50的眼睛。

在所示实施例中，图像投射组件向部分透明的显示器提供光，从而与来自周围环境的直接光组合，并且被从显示器传输到用户50的眼睛。投射子系统可以是基于光纤扫描的投射设备，并且显示器可以是基于波导的显示器，其中来自投射子系统的扫描光被注入到该基于波导的显示器中以产生例如在比无限远(例如，手臂的长度)更近的单个光学观看距离处的图像、在多个离散光学观看距离或聚焦平面处的图像和/或堆叠在多个观看距离或聚焦平面处的图像层，以表示体积3D对象。光场中的这些层可以足够紧密地堆叠在一起以显得与人类视觉子系统连续(即，一个层在相邻层的混淆锥(cone of confusion)内)。附加地或替代地，即使这些层更稀疏地堆叠(即，一个层在相邻层的混淆锥之外)，图像元素也可以跨两个或更多个层混合以增加光场中的层之间的过渡的感知连续性。显示子系统110可以是单眼或双眼的。

图像显示设备101还可以包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和移动和/或终端用户50的眼睛位置和眼间距离。这样的传感器可以包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速计、罗盘、GPS单元、无线电设备和/或陀螺仪)或前述的任何组合。这些传感器中的许多传感器基于其被固定到的框架102依次基本上被固定到用户的头部、眼睛和耳朵的假设来进行操作。

图像显示设备101还可以包括用户取向检测模块。用户取向模块检测终端用户50的头部54的瞬时位置(例如，经由耦合到框架102的传感器)，并且可以基于从传感器接收的位置数据来预测终端用户50的头部54的位置。检测终端用户50的头部54的瞬时位置有助于确定终端用户50正在看的特定实际对象，从而提供关于该实际对象要生成的特定虚拟对象的指示，并且进一步提供要显示虚拟对象的位置的指示。用户取向模块还可以基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛。

图像显示设备101还可以包括可以采取多种形式中的任何形式的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其他集成电路控制器，其他集成电路控制器例如专用集成电路(ASIC)、可编程门阵列(PGA)(例如，场PGA(FPGA))和/或可编程逻辑控制器(PLU)。

图像显示设备101的控制子系统可以包括中央处理单元(CPU)、图形处理单元(GPU)、一个或多个帧缓冲器、以及用于存储三维场景数据的三维数据库。CPU可控制总体操作，而GPU可从被存储在三维数据库中的三维数据来渲染帧(即，将三维场景转换成二维图像)并将这些帧存储在帧缓冲器中。一个或多个附加集成电路可以控制对来自帧缓冲器的帧的读取和/或读出以及控制显示子系统110的图像投射组件的操作。

图像显示设备101的各种处理组件可以被物理地包含在分布式子系统中。例如，如图1-4所示，图像显示设备101包括本地处理和数据模块130，该本地处理和数据模块130可操作地耦合(例如通过有线引线或无线连接136)到显示子系统110和传感器。本地处理和数据模块130可以以各种配置安装，例如固定地附到框架结构102(图1)、固定地附到头盔或帽子56(图2)、可拆卸地附到终端用户50的躯干58(图3)或者以带耦合方式配置可拆卸地附到终端用户50的髋部60(图4)。图像显示设备101还包括可操作地耦合(例如通过有线引线或无线连接138、140)到本地处理和数据模块130的远程处理模块132和远程数据储存库134，使得这些远程模块132、134可操作地彼此耦合并且可用作本地处理和数据模块130的源。

本地处理和数据模块130可以包括功率有效的处理器或控制器以及诸如闪存的数字存储器，两者都可以用于帮助处理、缓存和存储从传感器捕获的数据和/或使用远程处理模块132和/或远程数据储存库134获取和/或处理的数据，该数据可能在这样的处理或检索之后被传递到显示子系统110。远程处理模块132可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据储存库134可以包括相对大规模的数字数据存储设施，该设施通过互联网或“云”资源配置中的其他网络配置是可获得的。在一些实施例中，存储全部数据并且在本地处理和数据模块130中执行全部计算，允许从任何远程模块完全自主使用。

上述各种组件之间的耦合136、138、140可以包括用于提供线或光通信的一个或多个有线接口或端口或者诸如通过RF、微波和IR提供无线通信的一个或多个无线接口或端口。在一些实现中，全部通信可以是有线的，而在其他实现中，全部通信都可以是无线的。在更进一步的实现中，有线和无线通信的选择可以是与图1-4中所示的不同。因此，不应将有线或无线通信的特定选择视为限制。

在一些实施例中，用户取向模块被包含在本地处理和数据模块130中，而CPU和GPU被包含在远程处理模块中。在替代实施例中，CPU、GPU或其的部分可被包含在本地处理和数据模块130中。3D数据库可与远程数据储存库134相关联或被本地地设置。

一些图像显示系统(例如，VR系统、AR系统、MR系统等)使用内嵌有深度平面信息的多个体积相位全息图、表面浮雕全息图或光导光学元件来生成看起来来自各个深度平面的图像。换言之，衍射图案或衍射光学元件(“DOE”)可以被嵌入到光导光学元件(“LOE”；例如，平面波导)内或压印/雕刻(emboss)在LOE上，使得准直光(具有基本平面波前的光束)沿着LOE基本上全内反射，它在多个位置处与衍射图案相交并且朝着用户眼睛出射。DOE被配置为使得通过其从LOE出射的光发生会聚，使得它们看起来源自特定的深度平面。可以使用光学聚光透镜(“聚光器”)生成准直光。

例如，第一LOE可以被配置为将准直光传送到眼睛，该准直光看起来源自光学无限远深度平面(0屈光度)。另一LOE可以被配置为传送看起来源自2米距离(1/2屈光度)的准直光。又一LOE可以被配置为传送看起来源自1米距离(1屈光度)的准直光。通过使用堆叠的LOE组件，可以理解，可以形成多个深度平面，其中，每个LOE被配置为显示看起来源自特定深度平面的图像。应该理解，该堆叠可以包括任何数量的LOE。然而，需要至少N个堆叠的LOE来生成N个深度平面。此外，可以使用N、2N或3N个堆叠的LOE在N个深度平面上生成RGB彩色图像。

为了将3D虚拟内容呈现给用户，图像显示系统100(例如，VR系统、AR系统、MR系统等)将虚拟内容的图像投射到用户的眼睛中，使得这些图像看起来源自Z方向(即，正交地远离用户的眼睛)的各个深度平面。换言之，虚拟内容不仅可以在X和Y方向上(即，在与用户眼睛的中心视轴正交的2D平面中)改变，而且也可以看起来在Z方向上改变，使得用户可以感知到对象非常靠近或处于无限远距离或位于它们之间的任何距离处。在其他实施例中，用户可以同时感知到不同深度平面处的多个对象。例如，用户可以看到虚拟龙看起来从无限远处奔向用户。或者，用户可以同时看到距用户3米距离处的虚拟鸟和距用户一臂长(约1米)处的虚拟咖啡杯。

多平面聚焦系统通过在多个深度平面中的一些或全部上投射图像以形成可变深度感知，该多个深度平面在Z方向上距用户眼睛的各个固定距离处。现在参考图5，应当理解，多平面聚焦系统可以在固定深度平面150(例如，图5所示的六个深度平面150)处显示帧。尽管MR系统可以包括任何数量的深度平面150，但是一个示例性多平面聚焦系统在Z方向上具有六个固定深度平面150。当在六个深度平面150中的一个或多个深度平面处生成虚拟内容时，形成3D感知，使得用户感知到在距用户眼睛不同距离处的一个或多个虚拟对象。假定人眼对距离更近的对象比看起来较远的对象更敏感，因此生成更多个距眼睛更近的深度平面150，如图5所示。在其他实施例中，深度平面150可以被放置在距离彼此相等距离处。

可以以屈光度来测量深度平面位置150，屈光度是光焦度单位，其等于以米为单位测量的焦距的倒数。例如，在一些实施例中，深度平面1可以是1/3屈光度远，深度平面2可以是0.3屈光度远，深度平面3可以是0.2屈光度远，深度平面4可以是0.15屈光度远，深度平面5可以是0.1屈光度远，深度平面6可以表示无限远(即，0屈光度远)。应当理解，其他实施例可以在其他距离/屈光度处生成深度平面150。因此，在策略性放置的深度平面150处生成虚拟内容时，用户能够感知三维虚拟对象。例如，用户可以将在深度平面1中显示的第一虚拟对象感知为靠近他，而另一虚拟对象看起来在无限远处的深度平面6。或者，虚拟对象可以首先在深度平面6处显示，然后在深度平面5处显示，依此类推，直到虚拟对象看起来非常靠近用户。应该理解，出于说明的目的，上述示例被明显简化。在另一实施例中，所有六个深度平面可以被集中在远离用户的特定焦距上。例如，如果要显示的虚拟内容是距离用户半米的咖啡杯，则可以在咖啡杯的各个横截面处生成所有六个深度平面，给用户高度粒化的3D咖啡杯视图。

在一些实施例中，图像显示系统100(例如，VR系统、AR系统、MR系统等)可以用作多平面聚焦系统。换言之，可以同时照射所有六个LOE，从而快速连续地生成看起来源自六个固定深度平面的图像，其中，光源将图像信息快速传递到LOE 1，然后是LOE 2，然后是LOE3，以此类推。例如，可以在时间1处注入所需图像的一部分，该部分包括光学无限远处的天空的图像，并且可以利用保持光准直的LOE(例如，图5中的深度平面6)。然后，可以在时间2处注入更近的树枝的图像，并且可以利用被配置为形成看起来源自10米远的深度平面(例如，图5中的深度平面5)的图像的LOE；然后，可以在时间3处注入钢笔图像，并且可以利用被配置为生成看起来源自1米远的深度平面的图像的LOE。此类范例可以以极快时序(例如，以360Hz)的方式重复，使得用户的眼睛和大脑(例如，视觉皮层)将输入感知为同一图像的全部部分。

图像显示系统100可以投射图像(即，通过发散或会聚光束)，这些图像看起来源自沿Z轴的各个位置(即，深度平面)以生成用于3D体验/场景的图像。如在本申请中使用的，“光束”包括但不限于从光源辐射的光能(包括可见光和不可见光能)的取向投射。生成看起来源自各个深度平面的图像遵循用户眼睛针对该图像的聚散和适应，并最小化或消除聚散-适应冲突。

定位地图

图6示出了用于确定地图的方法，该地图用于允许图像显示设备101定位地图像显示设备101的用户50。如图所示，当用户50正在使用图像显示设备101时，用户50可以移动图像显示设备101以实现不同的观看位置和/或方向。例如，用户50可以转动他/她的头部、转动他/她的身体和/或行走到不同的位置。在一些实施例中，图像显示设备101包括面向前的相机。因此，通过移动图像显示设备101，图像显示设备101的面向前的相机的视场将相应地改变。当用户50处于不同姿势时，图像显示设备101的相机生成对应的图像。在所示示例中，用户50通过转动他/她的头部来实现三个不同姿势，并且图像显示设备101的面向前的相机生成与三个姿势对应的三个图像200a-200c。图像200a-200c中的每一个捕获环境中的某些对象202。例如，图像200b捕获对象202a-202d，并且图像200c捕获对象202b-202e。取决于用户50所实现的姿势，环境中的某个对象可以被捕获在相机的多个图像202中，并且某个其他对象可被捕获在仅一个图像200中。在一些实施例中，图像显示设备101的处理单元130被配置为从图像显示设备101的相机获得图像200，且执行图像处理以从图像200提取特征以创建地图220。地图220可被存储在图像显示设备101的非暂时性介质中，且可由处理单元130使用以执行用户50的定位。由此，地图220用作定位地图。在所示实施例中，地图220是由用户50的不同姿势检测到的环境的三维表示。

在一些实施例中，用户50周围的环境可以被划分成多个单元。在这种情况下，上述地图创建技术可以用于环境的不同单元。图7示出了被划分成多个单元300的环境的示例。每个单元300是表示环境的一部分的被限定的三维空间。每个单元300可以具有预定大小和形状。例如，每个单元300可以具有2m×2m的覆盖面积和2m的高度。在其他实施例中，每个单元300可以具有其他覆盖尺寸和/或其他高度。此外，在其他实施例中，每个单元300可以不具有所示的矩形配置，并且可以具有其他形状。在所示实施例中，单元300都具有相同的形状和尺寸。在其他实施例中，单元300中的至少两个可以具有不同的相应尺寸和/或形状。

在一些实施例中，图像显示设备101的用户50可进入环境中的与不同单元300对应的不同位置，且可以使用图像显示设备101的相机扫描对应单元中的空间以获得环境的相应单元的不同地图。地图可被存储在图像显示设备101的非暂时性介质中，以允许图像显示设备101的处理单元130执行用户50的定位。

在使用地图来定位用户50期间，图像显示设备101的相机基于用户50的特定位置和取向来获得环境的图像。这样的相机图像用作跟踪图像(一个或多个图像可以用于创建跟踪地图)，用于允许图像显示设备101的处理单元130跟踪用户50的位置和/或姿势和/或取向。具体地，图像显示设备101的处理单元130处理来自相机的图像以确定图像中的特征是否与地图220中的某些特征相匹配。如果发现匹配，则处理单元130可以基于所匹配的特征来确定用户50的位置和取向。在一些实施例中，地图220可以包含比由图像显示设备101的相机提供的跟踪图像更少的信息(例如，特征)，因为当地图220被创建时，某些特征被过滤出或被移除。这是有利的，因为它允许处理单元130有效地将跟踪图像与地图220相匹配。另外，在一些实施例中，地图220可以被称为“标准(canonical)地图”。在一些实施例中，可以存在一个或多个标准地图。例如，可以使用多于一个的标准地图来对应于针对某些位置或某些虚拟内容或应用的安全设置或访问许可。当执行定位时，处理单元130对来自相机图像(跟踪图像)的额外特征执行特征提取，并且将特征与标准地图中的特征相匹配。例如，处理单元130可以通过在图像中识别对象、拐角等来执行特征提取。在一个实现方式中，处理单元130被配置为找到在跟踪图像与标准地图之间的六自由度变换，以定位用户50。一旦用户50可以使用地图来相对于他/她的环境成功定位，处理单元130然后可以允许用户使用地图来相对于环境放置虚拟内容、从先前的会话取得虚拟内容、与其他用户共享虚拟内容等。

在一些实施例中，如果存在针对多个单元创建的多个地图(如参考图7所描述的那些)，处理单元130可以被配置为基于用户50的当前位置来确定哪些地图是适用的。例如，如果用户50位于单元No.4内的位置，则处理单元130然后可以检索或访问针对单元No.4创建的地图，并且然后可以在用户处于与单元No.4对应的空间中的同时，使用这样的地图用于用户50的定位。当用户50已经移出单元No.4的空间时，处理单元130然后停止使用单元No.4的地图来定位用户。例如，用户50可以从单元No.4移动到单元No.5，在这种情况下，处理单元130然后可以使用检索或访问针对单元No.5创建的地图，并且然后可以在用户处于与单元No.5对应的空间中的同时，使用这样的地图用于用户50的定位。

地图质量评分

如上，因为用户50相对于环境的定位是基于跟踪相机图像的特征与地图220的特征的匹配，所以地图220的质量可以与用户50的成功定位相关联。在一些实施例中，图像显示设备101的处理单元130可以被配置为确定度量，该度量指示使用地图220成功定位用户的可能性。在一些实施例中，图像显示设备101的处理单元130可以被配置为在用户50使用图像显示设备101扫描环境的地图构建会话期间来确定这样的度量。可替换地或附加地，处理单元130可以在地图220已被构造成评价所构建的地图220的质量之后逆动地(retroactively)确定这样的度量。

在一些实施例中，处理单元130可以通过执行计算以获得度量来确定度量。在其他实施例中，处理单元130可以通过从另一组件或设备接收度量以获得度量来确定度量。借助于非限制性示例，提供度量的另一组件或设备可以是图像显示设备101中的模块、或与图像显示设备通信的外部设备，其中该外部设备可由用户佩戴或可与用户物理地解耦合。例如，外部设备可以是无线发射机、计算机、手持式或身体穿戴设备、数据库、服务器、基站等。

图8A示出了用于确定度量的方法的示例，该度量指示使用地图来成功定位用户50的可能性。度量可以被认为是地图的质量的测量。在所示示例中，针对环境的特定单元300确定度量。在一些情况下，在环境中可以存在多个单元300，并且可以针对多个单元300中的每一个来确定度量。如图所示，当用户50处于单元300的空间中时，用户50可以执行不同的姿势以允许图像显示设备101的相机捕获与相应姿势对应的不同图像310。在所示示例中，用户50已经执行六个姿势，并且图像显示设备101的相机生成六个对应的图像310a-310f。图像310a是在用户50正大体上在北方向上观看时生成的。图像310b-310d是在用户50正大体上在东方向上观看时生成的。图像310e是在用户正大体上在南方向上观看时生成的。图像310f是在用户正大体上在西方向上观看时生成的。

在一些实施例中，为了确定测量地图的质量的度量，处理单元130首先量化用户50的姿势，使得属于相同观看方向或相同范围的观看方向的图像被分组在一起。例如，在一个实施方式中，具有不从给定参考方向变化超过30°的对应观看方向的图像可以被分组在一起。在以上示例之后，关于东方向(参考方向)，处理单元130可被配置为将具有面向东(参考方向)±30°的对应观看方向的所有图像310进行分组。因此，处理单元130可将图像310b-310d分组，因为其对应的观看方向在东方向±30°的范围内。类似技术可用于针对其他参考方向(例如，南方向、西方向、北方向等)对图像进行分组。

在处理单元130已量化姿势且已基于所量化的姿势将来自图像显示设备101的相机的图像300分组之后，处理单元130然后可基于组中的图像300来确定关于给定参考方向的度量。在以上示例之后，处理单元130可针对属于东参考方向的组的三个图像310b-310d中的每一者来确定分数。如图所示，处理单元130可以确定关于图像310b的分数1、关于图像310c的分数2和关于图像310d的分数3。在一些实施例中，图像310的分数表示在图像中捕获的参考点的数量。通过非限制性示例，参考点可以是特征的一部分、对象的一部分、三维空间中的点等，以由地图220表示或被包括在地图220中。地图220的参考点允许跟踪图像与地图220匹配。因此，在单元300中针对给定的观看方向的参考点越多，跟踪图像能够与针对该给定观看方向的地图220相匹配的机会越高。

可以采用各种技术来确定图像310的分数。在一种技术中，处理单元130可以利用共同可见性图来确定关于图像310的相应分数。共同可见性图是基于参考点中的哪个参考点在图像310中的哪个图像中可见，来将参考点链接到图像310的双片(bi-parte)图。图9示出了共同可见性图400的示例。在该示例中，还示出了八个参考点R1-R8，并且图像310b-310d的与参考方向(即，在示例中是东)对应的识别(identity)也被示出。在共同可见性图400的示例中，图像310b与参考点R1-R4链接，因为这些参考点在图像310b中被捕获。此外，图像310c与参考点R2-R4和R6-R7链接，因为这些参考点在图像310c中被捕获。图像310d与参考点R5-R8链接，因为这些参考点在图像310d中被捕获。在所示的示例中，出于说明的目的，仅图像310b-310d的识别以及相关联的参考点被包括在共同可见性图400中。应注意，共同可见性图400可包括由其他图像检测到的其他参考点及图像的统一性，例如图像310a、310e、310f等。在一些实施例中，共同可见性图400可以包括当用户在环境的特定单元300中正在执行不同姿势时由图像显示设备101的相机生成的所有图像的识别、在所有图像中捕获的所有参考点、以及将参考点与图像相关联的链接。

返回到上述示例，图像310b-310d的分数可以分别由处理单元130确定为4、5和4。在处理单元130针对属于相同参考方向(或参考方向的范围)的相应图像确定分数之后，处理单元130然后可以将分数组合以确定合成分数。例如，处理单元130可以加上所有分数以获得总分数。在以上示例之后，针对东参考方向的总分数将是4+5+4＝13。处理单元130还可以将总分数除以用于导出总分数的图像310的数量，以便获得平均分数。在以上示例之后，针对东参考方向的平均分数将是13/3＝4.33。以上示例中的分数4.33指示在针对东参考方向的每个图像中检测到平均4.33个参考点。

在其他实施例中，代替包括与共同可见性图400中的每个图像310链接的所有参考点以用于确定对应图像310的分数，处理单元130可以被配置为仅包括参考点的子集。例如，在其他实施例中，处理单元130可被配置为仅对链接到两个或两个以上图像310的参考点进行计数以用于确定分数。具体地，在图9的共同可见性图的示例之后，处理单元130可以将图像310b的分数确定为3，因为在图像310b中捕获到的参考点R2-R4也在图像310c中被捕获。参考点R1未被计数为分数的一部分，因为参考点R1仅在图像310b中被捕获，而未在其他图像310中被捕获。类似地，处理单元130可以将图像310c的分数确定为5，并且将图像310d的分数确定为3。处理单元130可以加上所有分数以获得总分数。在以上示例之后，针对东参考方向的总分数将是3+5+3＝11。处理单元130还可以将总分数除以用于导出总分数的图像310的数量，以便获得平均分数。在以上示例之后，针对东参考方向的平均分数将是11/3＝3.67。以上示例中的分数3.67指示在针对东参考方向的图像中的至少两个图像中检测到平均3.67个参考点。

在上述示例中，处理单元130还被配置为从用于多个单元300中的一个单元的相机确定图像310的总数，其中图像的总数与单元300的某个参考(观看)方向(例如，东方向±30°)相关联。在其他实施例中，参考方向可以是其他方向，诸如北方向、南方向、西方向等。此外，在其他实施例中，参考方向可具有不同于60°(±30°)的范围。举例来说，在其他实施例中，参考方向可具有小于60°的范围，例如50°(例如，±25°)、40°(例如，±20°)、30°(例如，±15°)、20°(例如，±10°)、10°(例如，±5°)、0°等。在其他实施例中，处理单元130可以被配置为确定与用于单元300的多个观看方向相关联的图像310的总数。例如，如果图像310a-310f是针对单元300生成的所有图像，则处理单元130可以确定图像310的总数为6。

在一些实施例中，用于指示地图220的质量的度量可以是或者可以包括针对某个参考方向(例如，北、东、南、西等)的总分数或平均分数。在其他实施例中，用于指示地图220的质量的度量可以是或者可以包括针对不同的相应参考方向(例如，北、东、南、西等)的总分数或平均分数。在另外的实施例中，处理单元130可以组合不同方向的分数以确定针对特定单元300的单元分数。例如，处理单元130可以加上关于北、东、南和西方向的总分数或者平均分数以确定针对单元300的单元分数。

在另外的实施例中，用于指示地图220的质量的度量可以是阵列或值的集合。例如，度量可以包括针对不同观看方向的不同值。在这种情况下，度量可具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

如以上实施例中所示，用于指示地图220的质量的度量可以具有基于方向性的值。在一些实施例中，方向性是关于一个或多个垂直轴、和/或一个或多个水平轴。此外，在一些实施例中，方向性可包括转动(turn)方向(如图6中所示)、倾斜角度(例如，由用户倾斜他/她的头部以改变观看方向导致的)、偏转(roll)角度(例如，由用户偏转他/她的头部以改变观看方向导致的)或前述的任何组合。

此外，在一些实施例中，度量可以具有基于用户50相对于单元300的坐标的位置的值。例如，如果用户50站在单元300的东部边界附近，并且面向东，则与用户50站在单元300的西部边界附近并且面向东的场景相比，相机将检测更少的参考点(因为在后者场景中，在单元300内将存在更多的对象)。因此，在一些实施例中，度量可具有与单元300内的第一位置相关联的第一值和与单元300内的第二位置相关联的第二值。

在一些实施例中，处理单元130还可以被配置为确定指示地图覆盖程度的区域分数。在一些情况下，区域分数基于地图的数据点的空间分布。区域分数是有利的，因为它可以确保地图覆盖环境的不同部分。

如以上示例中所示，处理单元130被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。度量是有利的，因为它指示可用于相对于环境定位用户50的参考点的数量。因此，度量指示在一个或多个观看方向上成功定位用户50的可能性。此外，如以上示例中所示，处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定度量。因此，可在不涉及复杂计算且不消耗显著计算资源的情况下容易且高效地确定度量。

在上述实施例中，度量已被描述为基于佩戴图像显示设备101的用户50的不同观看取向来确定，其中通过改变相机的视场的方向性来实现不同的观看取向。在以上示例中，方向性的改变以实现用于确定度量的不同观看取向是由用户围绕垂直轴或多个垂直轴转动他/她的头部或身体来实现。替代地或另外地，方向性的改变以实现用于确定度量的不同观看取向可由用户围绕水平轴或多个水平轴转动他/她的头部或身体来实现。例如，方向性的改变可包括转动角度的改变(如图6所示)、倾斜角度的改变(例如，由用户倾斜他/她的头部或身体以改变观看方向导致的)、偏转角度的改变(例如，由用户偏转他/她的头部或身体以改变观看方向导致的)、或前述的任何组合。

如所讨论的，在一些实施例中，处理单元130被配置为在其中处理单元130确定地图220的地图构建会话期间确定度量。在一些情况下，处理单元130可以被配置为在地图构建会话期间生成来自图像显示设备101的相机的附加图像时确定或更新度量。例如，处理单元130可以初始地基于在其中用户50使用相机来扫描环境的地图构建会话期间由图像显示设备101的相机提供的图像310a、310b来确定地图220。在地图构建会话期间，处理单元130还可以确定用于指示地图220的质量的度量(最初基于图像310a、310b)。当用户50继续使用相机扫描环境时，相机基于用户的姿势生成附加图像。例如，相机可以接下来生成图像310c。然后，处理单元130可以基于新图像310c来确定(例如，更新)地图220。因此，更新的地图220将是基于图像310a-310c。在一些情况下，更新后的图220可以被认为是从先前的地图构建的新的地图。处理单元130还可以确定用于指示更新的地图220的质量的度量。例如，处理单元130可以基于更新的地图220通过改变用于该度量的一个或多个值、添加用于该度量的一个或多个值、和/或删除用于该度量的一个或多个值来更新先前确定的度量。替代地，处理单元130可以基于更新的地图220来确定附加度量(即，除了先前确定的度量之外的度量)。

在其他实施例中，代替基于每个新生成的图像来更新地图220，处理单元130可以被配置为在相机已经生成某个预定数量(例如，2、3、4、10、20或任何任意数量)的图像之后更新地图220。在这种情况下，处理单元130可被配置为每当更新地图220时确定度量(例如，更新先前的度量或确定附加度量)。

在另外地实施例中，处理单元130可被配置为在达到一个或多个准则之后更新地图220，其中一个或多个准则可能涉及或可能不涉及所生成的图像的数量。例如，准则可以是用于确定地图220的用户的命令。在这种情况下，图像显示设备101可以包括用于允许用户50输入地图构建命令的用户控制。当处理单元130接收到来自用户50的这样的命令时，处理单元130然后使用最新生成的图像来构建地图220。如果先前的地图220已经被确定，则处理单元130可以响应于用户的命令使用最新图像来更新地图220。每当地图220被更新时，处理单元130还可以确定用于更新的地图220的度量。因此，可以响应于用户的输入来执行度量的确定。

作为另一示例，准则可以是用户姿势的取向(对应于图像取向)的变化，该取向在某个阈值内。在这种情况下，处理单元130可以被配置为使用新生成的图像来更新地图220，只要生成新图像的用户的姿势不偏离先前姿势超过某个阈值。在一个实现方式中，当生成图像310时，图像310被存储在非暂时性介质中。处理单元130保持对相邻图像之间的相对取向的跟踪。如果新生成的图像310具有相对于先前图像310的超过阈值的取向，则处理单元130然后使用生成的图像310的最终集合来更新地图220。例如，假设图像310c具有相对于图像310b的为20°的取向，图像310d具有相对于图像310c的为15°的取向，图像310e具有相对于图像310d的为55°的取向，并且阈值为25°，在这种情况下，当处理单元130确定图像310d与310e之间的相对取向超过阈值时，处理单元130然后使用图像310b-310d来确定(例如，更新)地图。该技术允许处理单元130使用相对于彼此紧密约束的图像集合来进行地图更新。

在另外的实施例中，代替基于来自图像显示设备101的相机的一个或多个新生成的图像来更新先前的地图220，处理单元130可以被配置为基于一个或多个新生成的图像来确定附加地图。例如，参考图8A，假设已经基于图像310b-310d确定了第一地图(地图部分)，在相机生成图像310e之后，处理单元130可以确定基于新生成的图像310e的新的和附加的地图是期望的。在这种情况下，处理单元130可以基于图像310e来确定第二地图(地图部分)。在一些实施例中，处理单元130可以被配置为在生成第一地图和第二地图之后组合第一地图和第二地图，以获得用于单元300的最终地图。例如，处理单元130可以被配置为链接与第一地图和第二地图相关联的特征以形成最终地图。在一些实施例中，在地图构建会话期间，处理单元130可以被配置为生成用于第一地图的第一度量和用于第二地图的第二度量。在这种情况下，第一度量和第二度量可以被认为是度量的单独的值(或值的集合)。此外，在一些实施例中，处理单元130可以组合第一度量和第二度量以确定组合度量。因此，如本说明书中所使用，术语“度量”可指代一个或多个值、一个或多个值集合、一个或多个量化、用于量化目的的任何信息、或从任何前述导出的任何信息。

在又一实施例中，处理单元130可被配置为在用户50已使用图像显示设备101的相机完成扫描环境之后确定地图220。在这种情况下，在用户50处于单元300中时生成的所有图像310被存储在非暂时性介质中。在扫描完成之后，处理单元130然后检索所存储的图像310，并且处理图像310以创建地图220。在这种情况下，处理单元130还在创建地图220之后确定度量。因此，代替在地图220的构建期间确定度量，在完成最终地图220之后确定度量。

如以上示例中所示，在本说明书中使用的术语“地图”可以指初始创建的地图、更新的地图、最终地图、一个或多个地图部分、来自组合地图部分的组合地图、或前述的任何组合。另外，术语“地图”可以指代从初始创建的地图、从更新的地图、从最终地图、从一个或多个地图部分、从组合地图等导出的任何类型的地图。此外，术语“地图”可以指代任何数据结构、任何三维表示、或从一个或多个图像的特征导出的任何类型的信息，其中，这样的数据结构、三维表示或类型的信息可以形成地图的至少一部分、或者可以是用于获得地图的任何数据实体。

在上述任何示例中，处理单元130可以操作图像显示设备101的屏幕以显示度量，使得当用户正在使用图像显示设备101的相机扫描环境时，用户50可以看到该度量。替代地或另外地，在处理单元130正在使用地图220来相对于用户的环境定位用户50时，处理单元130还可以在屏幕上呈现度量，用于向用户50通知正在使用的地图220的质量。这样，用户50可以选择性地决定是否继续使用地图220进行定位、或者发起地图构建会话以调整地图220(例如，如果度量的值指示地图具有低质量)。

在一些实施例中，在地图构建会话期间，处理单元130可以被配置为基于度量值来确定相机的期望观看方向。例如，处理单元130可被配置为确定相机的期望观看方向以用于改进度量的值。在这种情况下，处理单元130可以被配置为基于所确定的期望观看方向来生成图形，并且发送图形供图像显示设备101的屏幕显示。图形被配置为指示用户50将相机系统的当前观看方向改变为期望观看方向。例如，图形地图指导用户50转动某个方向。在一个实施方式中，图形可以包括目标对象以及用于指示用户50移动(例如，转动头部)以跟随目标对象的指令。处理单元130被配置为将目标对象放置在图像显示设备101的屏幕中的某个位置处，其中该目标对象在屏幕中的位置对应于用户要实现的期望观看方向。处理单元130还可以显示相对于图像显示设备101的显示器被固定在位置上的固定对象。例如，固定对象可以是位于屏幕中间的十字形、圆形、点等，并且这样的固定对象不响应于用户的移动而移动(即，如果用户50转动他/她的头部，则固定对象在屏幕中的位置不改变)。处理单元还可以指示用户移动图像显示设备101，使得固定对象将对准或截取目标对象。在一些情况下，在用户50已经移动图像显示设备101以使得固定对象已经对准或已经截取了目标对象之后，图像显示设备101的相机系统然后可以在图像显示设备101处于实现的期望取向时捕获环境的一个或多个图像。如果没有生成地图，则处理单元130可以利用图像来创建地图，并且可以基于该地图计算度量。如果已经创建了初始地图，则处理单元130然后可以基于新获取的图像来更新地图，并且可以基于更新的地图来更新度量。

可以重复上述过程，其中处理单元130将目标对象放置在不同的位置，从而引起用户50移动图像显示设备以在不同的观看方向上观看环境，以便构建地图。当地图基于用于新观看方向的新生成的图像而被更新时，处理单元130基于地图的当前状态来计算度量。在一些实施例中，处理单元130被配置为使用用于地图的当前状态的度量的值来确定下一期望观看方向。例如，如果度量指示地图在某一方向上具有薄弱点，则处理单元130然后可以确定这样的方向，并且确定用于在屏幕中放置目标对象的位置，使得其将引起用户50转动期望观看方向。在其他实施例中，代替确定用于在图像显示设备101的屏幕中放置目标对象的位置，可以预先确定目标对象的位置。例如，图像显示设备101的期望轨迹可以被预确定，并且表示这种期望轨迹的数据可被存储在图像显示设备101的非暂时性介质中。在这种情况下，不管用户50是否成功地将屏幕中的固定对象移动到目标对象，图像显示设备101的相机系统将在用户50的移动期间捕获图像。此外，在这种情况下，因为目标对象在屏幕中的定位不是基于度量的值，所以处理单元130不需要在生成地图时计算度量。相反，处理单元130可以在完成地图之后(例如，在地图生成会话结束之后)计算度量。

在其他实施例中，处理单元130被配置为通过访问先前从非暂时性介质确定的地图220来逆动地确定度量。非暂时性介质可以是图像显示设备101的一部分。替代地，非暂时性介质可以被存储在数据库中，诸如在云网络中。在一些情况下，处理单元130可确定相机的期望观看方向以用于改进用于先前确定的地图220的度量的值，且地图从图像显示设备101的相机获得图像以用于改进地图220，如先前所描述的。然后，改进的地图220可以被存储在非暂时性介质中。

在上述实施例中，已经参考提供用于在图像显示设备101的屏幕上显示的目标对象以及指示用户50跟随目标对象以改进度量的值来描述处理单元130。在其他实施例中，代替上述技术，处理单元130可以指示用户50移动到某个位置和/或通过呈现用于在屏幕上显示的文本指令和/或通过使用扬声器呈现音频指令来改变观看方向。例如，处理单元130可以指示用户50向右转30°等。在一些实施例中，可以由处理单元130确定期望观看取向，以便最大化用于特定单元的度量值。此外，在一些实施例中，当确定期望观看取向时，处理单元130可以考虑最短路径和/或最快时间来获得良好的地图。

图8B示出了图8A的方法的图形表示。如图中所示，对于给定单元，图像显示设备101的相机系统可以捕获多个图像。当图像显示设备101处于某个位置和取向时(如由金字塔对象表示，其中尖端表示相机位置，以及基部表示捕获的图像的取向)，捕获图像中的每一个。在所示示例中，针对朝东观看方向来确定度量。因此，处理单元130量化姿势并选择与朝东观看方向对应的那些图像以用于确定度量。应当注意，可以针对特定单元300捕获更多图像，但是在所示的图中，仅示出图像的子集(即，仅示出了当用户正大体上在朝东方向观看时捕获的那些图像)。对于朝东观看图像中的每一个，确定分数a_i。可通过对所有分数a_i求和以获得总和来确定用于特定单元300的度量。在一些实施例中，还可通过将总和除以图像的数量N以获得平均分数来确定用于特定单元300的度量。然后，所确定的度量可以被存储在与(1)所确定的单元300的识别和(2)观看方向(例如，以上示例中的“东”)相关联的非暂时性介质中。在一些实施例中，度量还可以被存储为与某个参考位置(例如，(x,z))相关联。用于特定单元300的度量可以具有不同的值，这取决于参考位置。例如，如果参考位置被选择为在所示出的示例中的位置350(单元300的质心)处，则仅存在三个图像位于参考位置350的东侧。因此，仅选择那三个图像用于计算关于东方向和位置350的度量。另一方面，如果参考位置被选择为在所示出的示例中的位置352处，则存在五个图像位于参考位置352的东侧。因此，选择五个图像用于计算关于东方向和位置352的度量。

用于确定指示地图220的质量的度量的上述技术是有利的。这是因为上述技术不需要图像显示设备101的处理单元130来确定任何凸包(hull)，这可能在计算上是复杂的并且可能消耗大量的处理资源。此外，在一些实施例中，度量可以用于确保被创建用于定位的地图在使用地图定位用户10之前是足够好的。在一些情况下，具有良好质量的定位地图不仅可以提高定位的准确性，而且还可以提高定位速度。例如，利用良好的定位地图，可以在100ms，更优选地，在50ms内或更少执行定位。

在其他实施例中，度量可以由图像显示设备101的处理单元130用于选择最佳地图(从多个可用地图中)以用于用户50的定位。例如，在一些实施例中，可以存在针对相同环境(例如，针对特定单元300)创建的多个地图。在这种情况下，处理单元130可以选择具有最高值的度量的地图以用于定位用户50。

在上述实施例中，已经参考捕获环境的图像的相机系统描述了地图创建过程，并且处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。在一些实施例中，相机系统可以仅包括单个相机(例如，前向相机)以捕获图像用于地图构建。在其他实施例中，相机系统可以包括两个相机(例如，两个前向相机)以捕获图像用于地图构建。在另外的实施例中，图像显示设备101的相机系统可以包括四个相机(例如，两个前向相机，第一侧向相机(例如，面向左)和第二侧向相机(例如，面向右))。因此，在一些情况下，与感兴趣点的共同可见性相关联的相机位置可包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。在其他情况下，相机位置可包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

此外，如所讨论的，在一些实施例中，相机系统可以包括用于生成用于创建地图的多个图像的多个相机。在这种情况下，当图像显示设备101的相机系统处于第一位置时，多个图像可以包括由多个相机生成的图像的第一子集。当图像显示设备101的相机系统处于第二位置时，多个图像还可以包括由多个相机生成的图像的第二子集。因此，当图像显示设备101处于某个取向时，图像的每个子集由图像显示设备101的相机系统生成。在一些情况下，处理单元130被配置为跟踪图像的每个子集中的图像。例如，每个子集中的所有图像可以被分组在一起作为与图像显示设备101的特定取向相关联的“关键装置(keyrig)”。

此外，在一些实施例中，关于确定用于指示地图的质量的度量的特征可以被并入到地图和定位管理方法中。图10示出了用于管理定位地图的创建和使用这样的地图的地图和定位管理方法500的示例。在一些实施例中，定位地图可以是绑定到头部姿势并且特定于单个会话的地图，和/或可以是跟踪地图能够定位到的标准地图。在一些实施例中，如果与跟踪图相关联的质量度量高于阈值，则跟踪地图可以变成标准地图。方法500开始于项502。首先，图像显示设备101的处理单元130在用户50处于与所创建的地图相对应的环境中时，尝试使用已经创建的地图来定位地图像显示设备101的用户50(项504)。如果处理单元130使用地图相对于环境成功定位用户50，则处理单元130可以生成信号以通知用户50定位成功(项506)。如果处理单元130可使用地图相对于环境成功定位用户50，则意味着用户50可使用地图相对于环境放置虚拟内容，和/或可恢复先前相对于环境放置的内容。在一些实施例中，处于来自先前会话的空间中的内容将被呈现在图像显示设备101的屏幕中，以响应于成功定位而呈现给用户。如果定位是为了允许用户50从先前会话恢复虚拟内容的目的，则处理单元130还可以通知用户50内容的恢复是成功的。例如，处理单元130可以生成用于操作屏幕和/或扬声器的信号以向用户50提供通知。在一些实施例中，定位可以是跟踪地图坐标系与标准地图220坐标系之间的坐标系变换，使得跟踪和标准地图在应用坐标系变换之后彼此对准(例如，相同)。

另一方面，如果处理单元130不能够在一定数量的尝试之后或在规定的持续时间之后定位用户50，则处理单元130然后可以询问用户50(通过用户界面)是否执行地图生成以创建地图(项508)。在一些实施例中，地图可以是跟踪地图。跟踪地图可以用作后续会话中的标准地图220。在一些实施例中，会话可以是单个用户打开和关闭设备一次，使得两个会话可以是两个用户打开和关闭其相应的设备一次、或者一个用户打开和关闭用户的设备两次。定位可能由于许多原因而失败。例如，如果用户50处于新的空间中使得之前还没有建立地图、如果存在照明变化、如果在环境中存在变化(例如，家具已被移动)、如果存在动态变化(例如，人移动)、果用户50不位于与先前建立的地图相同的视点处、如果无法识别正确的地图、如果无法识别用户的姿势、或前述的任何组合，则定位可能失败。在项508中，如果用户决定生成新的地图，则处理单元130然后启动地图创建会话以生成地图(项510)。在地图创建会话中，用户50执行不同的头部姿势以将图像显示设备101的相机放置在不同的观看方向上以观看环境的不同部分。当图像显示设备101处于不同的头部姿势时，相机捕获环境的图像。然后，处理单元130处理这些图像以创建用于定位目的的地图。在地图的创建期间、或者在创建地图之后，处理单元130可以使用本文中所描述的技术的示例来计算度量的值以指示地图的质量。在一些实施例中，处理单元130可计算度量的值以指示当地图为跟踪地图时的地图的质量、和/或可在地图为标准地图时计算。如果度量的值高于某一阈值，则处理单元130然后可确定地图的质量足以用于定位用户50(在此情况下，图像显示设备101可成功地从先前会话恢复内容)。在生成地图之后，地图可以被存储在一个或多个非暂时性介质中(例如，在图像显示设备101的非暂时性介质和/或远离图像显示设备101的地图数据库530中)。度量的值还可以被存储为与所创建的地图相关联。然后，处理单元130利用新创建的地图来定位用户50(项512))。

返回到项508，如果用户50决定不启动地图创建会话来创建新的地图，则处理单元130然后可以询问用户50(经由用户界面)是否恢复来自先前会话的内容而不放置内容(项520)。如果用户50决定恢复内容而不放置内容，则处理单元130然后可以提供用户界面以允许用户50手动恢复内容(项528)。另一方面，如果用户50决定不从先前会话中恢复先前的内容，则处理单元130可以开始新的会话(项524)。在新的会话中，用户50可以操作图像显示设备101以从非暂时性介质526检索另一地图、和/或可以创建新的地图。所获得的地图然后可以用于用户的定位(项512)。在一些实施例中，存储在非暂时性介质526中的地图具有与它们相关联的相应度量值。在这种情况下，当处理单元130选择地图中的一个用于定位时，处理单元130将度量值考虑在内。例如，处理单元130可以被配置为选择具有高于规定阈值的度量值的地图。在一些实施例中，如果图像显示设备101连接到网络，则处理单元130可以从地图数据库530检索一个或多个地图以用于存储在非暂时性介质526中。

在一些实施例中，除了将用于定位的地图存储在非暂时性介质526中之外，非暂时性介质526还可存储附到地图的内容、附到地图的内容的识别、元数据(例如，什么时候创建了地图、谁创建了地图等)、指示地图的质量的度量、或前述的任何组合。

如以上实施例所示，在允许图像显示设备101使用地图来相对于环境定位用户50之前，确定用于指示地图的质量的度量。这是有利的，因为其确保用户50的定位将是成功的。如果处理单元130可以使用地图相对于环境成功地定位用户50，则用户50可以使用地图相对于环境放置虚拟内容、和/或使用地图来恢复来自先前会话的内容(例如，被放置在环境中的虚拟内容)。

此外，在一些实施例中，关于确定用于指示地图的质量的度量的特征可以被并入到内容共享场景中。图11示出了在图像显示设备101的用户之间共享内容的方法600。由发送设备执行的方法开始于项6022。首先，发送设备(例如，第一图像显示设备101)的用户(发送者)选择用于与另一用户共享的项目(项604)。通过非限制性示例，项目可以是一个或多个对象、一个或多个应用、或用户喜欢与另一用户共享的相对于地图的任何内容。作为更具体的示例，第一图像显示设备101的用户可以位于具有桌子的房间中，并且可以选择用于放置在桌子上的内容(例如，苹果的图片)以用于虚拟地与另一用户共享。在这种情况下，第一图像显示设备101的处理单元130首先使用本文中所描述的技术或用于使用相机图像创建地图的任何已知技术来确定环境的地图(例如，跟踪地图)。地图允许用户相对于实际环境放置内容。地图可以被存储在非暂时性介质中(例如，被存储在第一图像显示设备101和/或地图数据库中)。处理单元130还计算用于地图的度量以确定地图是否具有足够好的质量(项606)。可使用本文中所描述的技术的示例来执行该度量的确定。如果度量值高于某个阈值，则处理单元130然后可以确定地图的质量足以允许用户共享内容。在这种情况下，第一图像显示设备101的处理单元130可以向使用第二图像显示设备101的接收者发送关于地图的信息(项608)。通过非限制性示例，关于地图的信息可以是地图的识别、地图的存储位置、使用地图的邀请、关于地图的数据、地图本身的数据等、或者前述的任何组合。

另一方面，如果度量值低于某个阈值，则处理单元130可以确定地图的质量不是足够的。在这种情况下，处理单元130可以生成通知信号以通知用户不能使用地图来放置内容(项630)。在这种情况下，第一图像显示设备101的用户可以开始地图生成会话，以尝试创建更好的地图，使得可以使用更好的地图来共享内容。替代地，用户可以操作第一图像显示设备101以在不使用任何地图的情况下与接收者共享内容。在这种情况下，内容的接收者可以手动放置内容。例如，在使用第二图像显示设备101的接收者已接收到内容之后，接收者可以相对于接收者所处的环境手动放置内容。在上述示例之后，如果接收者与发送者处于相同的房间中，则内容(例如，苹果的图像)的接收者可以将这样的内容放置在房间中的桌子上。

由接收设备执行的方法开始于项620。首先，接收设备(例如，第二图像显示设备101)的用户(接收者)接收另一用户想要共享内容的通知(项622)。第二图像显示设备101可以允许用户决定是否使用发送者的地图来检索共享内容。如果接收者决定使用发送者的地图，则第二图像显示设备101可以允许用户决定是否使用发送者的地图来检索共享的内容。如果接收者决定使用发送者的地图，则第二图像显示设备101可基于在项608中由第一图像显示设备101发送的信息从非暂时性介质(例如，地图数据库)检索地图。替代地，第二图像显示设备101可以获得由第一图像显示设备101发送的地图。第二图像显示设备101然后检查以查看接收者是否位于与发送者的地图相同的地图上(项624)。如果接收者正在使用正被使用的或者被发送者使用的相同地图，则第二图像显示设备101确定内容共享正在工作(项626)。由于接收者正在使用与发送者相关联的相同地图，因此接收者可以获得共享内容，其中该内容处于在发送者虚拟地放置内容时由发送者所选择位置相同的位置处。如果接收者不使用与发送者的地图相同的地图，则第二图像显示设备101可以确定内容共享失败，并且可以继续执行其他动作(诸如参考图10描述的那些动作中的任何)以尝试获得用于内容共享的地图(项628)。如果其他动作失败，则内容共享不成功，并且接收者可能需要手动放置内容，如参考项630类似地讨论的。

在一些实施例中，第一用户可以与第二用户共享项。在一些实施例中，共享可仅在第一用户和第二用户被定位到相同空间(例如，共享坐标系)的情况下发生。在一些实施例中，当第一用户的跟踪地图被定位到标准地图中并且第二用户的跟踪地图被定位到相同的标准地图中时，可能发生定位，从而导致两个系统相对于相同的坐标系(例如，标准地图坐标系)访问虚拟内容。在一些实施例中，当第一用户的跟踪地图被定位到第一标准地图中并且第二用户的跟踪地图被定位到第二标准地图中时，可能发生定位，其中两个标准地图共享相同的坐标系，从而导致两个系统相对于相同的坐标系访问虚拟内容。只要第一用户和第二用户能够通过一个或多个地图访问共享坐标系，也可以使用任何其他定位方法。在一些实施例中，如果满足或超过最小质量度量阈值，则地图(例如，跟踪地图、标准地图)可仅用于定位。例如，地图可以被存储在本地用户设备上、或者被存储在共享云中。

应当注意，可以实时地执行内容的共享(例如，在发送者和接收者都在同一环境中时)。替代地，可以不实时地执行内容的共享。例如，第一图像显示设备101的发送者可以虚拟地将内容放置在房间中以与接收者共享。当发送者正在放置内容时，接收者可能不在房间中。在这种情况下，第一图像显示设备101可以向第二图像显示设备101发送消息以通知接收者发送者已在房间中共享内容。使用第二图像显示设备101的接收者然后可以在稍后的时间到达房间，并且可以检索共享内容。

如以上示例中所示，用于测量地图的质量的度量在内容共享中是有利的，因为其确保用于内容共享的地图在允许图像显示设备101使用地图共享内容之前具有足够的质量。

地图净化

如所讨论的，可以使用由图像显示设备101的相机系统捕获的图像来创建用于用户50的定位的地图。在一些实施例中，在地图创建过程期间，图像显示设备101的处理单元130可以被配置为执行地图净化(sanitization)以移除不期望的数据、和/或减轻不期望的数据的影响，这可能对正被创建的地图产生负面贡献。通过非限制性示例，不期望的数据可以包括对参考点的不正确的观察、被较差地(poorly)约束的图像、不期望的地图点或前述的任何组合。

被较差地约束的图像(如果用于形成定位地图)将导致地图中的误差，这进而将导致定位误差。由于图像不具有足够的对参考点的观察、和/或由于图像具有可能被误表征为参考点的噪声，因此图像可能被较差地约束。一旦被较差地约束的图像进入到地图中，随后的图像可以仅观察从该图像生成的立体点，而不是“良好的”地图中可能导致漂移的剩余部分。

图12示出了由图像显示设备101的相机系统获得的图像序列的示例，图像序列在地图创建过程期间由相机系统获得以创建定位地图。在该示例中，图像中的一些被很好地约束，因为它们形成地图的被很好地连接的部分。在一些实施例中，如果图像具有也存在于相邻图像中的特定数量的参考点，则图像可以被认为是被“良好约束的”，其中，该数量可以是任何用户限定的阈值，诸如两个、三个、四个、十个、二十个、一百个等。在被较差地约束的图像(其可能是由于快速头部旋转)之后是地图中的被很好地约束的部分。在该示例中，小三角形表示被获得以用于形成地图的图像，大三角形表示正被考虑的当前图像。每个点表示参考点或感兴趣点。左列示出了形成轨迹地图的图像序列，而右列示出了在来自左列的当前图像(轨迹图像)已被分配给地图片段之后的地图。不同的地图片段被示出为具有不同的相应颜色/灰度。如在本说明书中所使用的，地图的“片段”可以指地图的一部分。在一些情况下，地图的一部分可以由逻辑上彼此相关联的两个或更多个图像形成。

在图12的示例中，第一行示出了在被很好地约束的序列中获得的三个图像。在每个图像捕获也由一个或多个其他图像捕获的多个地图点(参考点)的意义上，三个图像被很好地约束。因此，基于共同观察到的地图点，三个图像彼此很好地连接。应当注意，地图点可以是在可用于跟踪目的的图像中捕获的感兴趣的任何特征。例如，地图点可以是与可用于在不同图像中识别相同对象的对象的拐角相关联的特征。因为前三个图像被很好地约束，所以它们都被分配给地图的第一片段，使得它们形成地图的第一片段。在所示出的实施例中，处理单元130可被配置为针对每个图像确定质量分数，其中该质量分数表示、指示或基于在图像中捕获的地图点的数量。

所示图中的第二行示出了获取的第四图像。在所示出的示例中，第四图像仅看到几个地图点，且相对于第一片段是被较差地约束的。被较差地约束的第四图像可具有由于第四图像的被较差地约束性质而是低的对应质量分数。因此，由于从几个地图点观察中出现的差的质量分数，第四图像被分配给新的片段(第二片段)。在所示示例中，第四图像由于用户头部的快速旋转而被较差地约束，这导致第四图像的模糊。因为第四图像模糊，所以仅可以检测到几个地图点。在其他实施例中，图像中的模糊可能是由于与头部旋转不同的其他因素。

第三行示出了获取的第五图像。此外，第五图像仅看到几个地图点，并且相对于第二片段被较差地约束。被较差约束的第五图像可具有由于第五图像的被较差地约束的性质而是低的对应质量分数。因此，第五图像被分配给新的片段(第三片段)。在该示例中，第五图像也由于用户头部的持续快速旋转而被较差地约束。在其他实施例中，图像中的模糊可归因于其他因素。

第四行示出了获取的第六图像。第六图像相对于第三段也是被较差地约束，因此它被分配给新的片段(第四片段)。然而，对运动模糊有贡献的旋转已经停止，因此第五图像包含可以由处理单元130观察到的更多的地图点。

第五行示出了获取的第七图像。第七图像相对于当前片段被很好地约束，因此第七图像被分配给与第六图像相同的片段(第四片段)。

最后，第六行示出了获取的第八图像。第八图像也相对于当前片段(第四片段)被很好地约束，因此第八图像被分配给第四片段。因此，最后三个图像形成地图的第四片段的部分。

在上述实施例中，图像和地图点中的每一个都具有附接到它们的片段标签，其在地图点被识别之后并且在已经确定了用于相应图像的质量分数之后被分配。被很好地约束的图像由处理单元130分配最新的片段号(如将从该图像创建的所有地图点)，而被较差地约束的图像及其地图点将由处理单元130分配下一片段号。

如所讨论的，通过基于与图像相关联的所识别的地图点由处理单元130计算的质量分数来实现图像被约束的如何。在一些情况下，质量分数可以指示图像被地图点约束得如何。在一个实现方式中，质量分数可以由处理单元130计算为J^TΣ^(-1)J，其中J是相对于姿势的地图点测量的雅可比矩阵(Jacobian)，以及Σ^(-1)是测量的信息矩阵(假设由于测量的独立性而为块对角线)。在其他实施例中，可以基于其他因素来确定质量分数、和/或可以使用其他算法来计算质量分数。

在一些实施例中，不同的地图片段可以由处理单元130组合以形成地图。在一些情况下，可以删除“坏”片段(如以上示例中的第二片段和第三片段)，并且其不用于形成地图。在一个实现方式中，可以基于被分配给该片段的图像的数量来识别坏片段。如果被分配给片段的图像的数量低于某个值(例如，一、二、三等)，那么该片段可被视为是“坏”的，且可被排除用于形成地图。在一个实现方式中，可以使用环路闭合算法来执行地图片段的加入(join)。在环路闭合算法中，基于位于足够大的地图片段中的图像来执行环路闭合。在以上示例之后，基于第一片段和第四片段中的图像来执行环路闭合，同时由于片段中的被较差地约束的图像而排除第二片段和第三片段。因此，在通过环路闭合加入的两个被很好地连接的地图片段之间创建的被较差地约束的实体可以被删除和移除，使得它们不贡献于最终地图。

在一些实施例中，处理单元130可以被配置为跟踪被很好地约束的地图片段，并且就好像它们是单独的地图那样来对待它们。因此，地图片段本身可以被认为是地图的示例。例如，处理单元130可以被配置为对一个或多个地图片段执行局部束调整、对一个或多个地图片段执行全局束调整、计算用于一个或多个地图片段的度量、针对地图片段中的点执行跟踪、或前述的任何组合。

在一些实施例中，在图像显示设备101的正常使用期间，可以由处理单元130进一步调整所创建的地图。例如，在一些实施例中，在已经创建地图之后，处理单元130可以使用这样的地图来执行定位和/或其他功能。然而，在这种的使用图像显示设备101的期间，相机系统继续获得环境的图像。因此，在一些实施例中，处理单元130可以基于新获取的图像来继续周期性地更新所创建的地图以便尝试改进地图。在一个实现方式中，处理单元130可基于新获取的图像来确定度量，且可基于新图像来确定是否更新地图。例如，如果新图像用于更新地图，则处理单元130可以确定针对该地图度量将是什么。如果度量高于现有地图的度量，则处理单元130可以确定基于新图像的地图的更新是期望的。另一方面，如果度量低于现有地图的度量，则处理单元130可以确定基于新图像的地图的更新是不期望的，并且将继续使用现有地图而不使用新图像来更新它。

在上述实施例中，地图被描述为被创建以用于执行定位。在其他实施例中，所创建的地图可以由处理单元130用来执行其他功能。例如，在其他实施例中，所创建的地图可由处理单元130用作参考帧以放置虚拟内容。

在一些实施例中，可以使用在跟踪模式期间捕获的来自图像显示设备101的相机系统的用于跟踪用户50的位置的多个图像，来形成跟踪地图。当执行定位时，处理单元130找到跟踪图与标准地图之间的六自由度变换以定位用户50。一旦可以使用地图相对于用户50的环境成功定位用户50，处理单元130然后可以允许用户使用该地图相对于环境放置虚拟内容、从先前的会话检索虚拟内容、与其他用户共享虚拟内容等。

图13示出了用于确定地图的方法900，该地图用于允许图像显示设备定位地图像显示设备的用户。方法900包括执行局部优化(项902)和执行全局优化(项904)，以确定地图。然后，图像显示设备可以稍后使用所确定的地图来定位地图像显示设备的用户。在一些实施例中，局部优化和全局优化两者可以由图像显示设备101的处理单元130执行。在其他实施例中，局部优化和全局优化中的一个或两个可以由外部设备(诸如云网络中的服务器)来执行。

在一些实施例中，在项902中执行局部优化的动作包括移除不期望的数据，使得它们不对正被创建的地图做出贡献。通过非限制性示例，不期望的数据可以是相对于地图片段未被很好地约束的图像、或者与这样的图像相关联的任何数据。期望的是使用好的数据用于全局优化。因此，在局部优化期间，处理单元130摆脱了不期望的数据。

在一些实施例中，在项904中执行全局优化的动作包括执行束调整，其中来自图像的一个或多个射线被调整以使得它们具有一致性。另外，在一些实施例中，全局优化还可以基于由图像显示设备101的相机系统获得的图像、与图像相关联的图像平面的取向、以及3D参考点来执行。在另外的实施例中，全局优化也可以基于相机相对于彼此的相对取向来执行。

可选地，在方法900中，执行局部优化包括由处理单元130执行净化以移除或忽略在数据用于确定地图的情况下另外对地图提供不期望的贡献的数据。

可选地，在方法900中，数据包括来自图像显示设备101的相机系统的图像。在这种情况下，在局部优化期间，处理单元通过移除或忽略图像来执行净化。

可选地，方法900由包括多个相机的图像显示设备101执行。在这种情况下，数据包括由相应的相机生成的图像集合，并且处理单元130通过移除或忽略该图像集合来执行净化。

可选地，在方法900中，数据包括来自相机系统的图像中的参考点的识别，并且处理单元130通过忽略参考点的识别来执行净化。

可选地，在方法900中，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且处理单元130通过忽略与图像相关联的射线或线来执行净化。

可选地，在方法900中，处理单元130在全局优化期间执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中处理单元130在执行净化以移除数据之后执行束调整。

可选地，在方法900中，处理单元130基于来自相机系统的图像和三维参考点执行全局优化。

可选地，在方法900中，处理单元130基于相机系统的相机之间的相对取向来执行全局优化。

可选地，在方法900中，处理单元130确定在局部优化期间从相机系统获得的图像的分数。在一些实施例中，分数可以是约束分数。此外，在一些实施例中，分数指示图像被约束得如何。在一些实施例中，分数可以由处理单元130基于参考点测量的雅可比矩阵来确定。此外，在一些实施例中，分数可以由处理单元130基于作为对角矩阵的信息矩阵来确定。另外，在一些实施例中，分数可由处理单元130基于在图像中检测到的参考点的数量来确定。

可选地，在方法900中，处理单元130可以基于分数执行数据净化。

可选地，在方法900中，处理单元130可以在执行数据净化时移除图像的约束或者移除图像。

可选地，在方法900中，当分数低于阈值时，处理单元可以移除图像的约束或者移除图像。

可选地，在方法900中，处理单元130可以通过以下来确定地图：确定多个地图片段；以及连接地图片段。

可选地，在方法900中，处理单元130可以通过从相机系统获得图像并且链接该图像来确定地图片段的第一地图片段，其中图像由相机系统依次生成。

可选地，在方法900中，处理单元130确定图像的相应分数。

可选地，在方法900中，处理单元130从相机系统获得附加图像、确定附加图像的分数、以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

可选地，在方法900中，当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，处理单元130可以开始第二地图片段。

由处理单元和/或处理单元中的应用执行的方法

图14示出了根据一些实施例的方法1000。方法1000可以由被配置为佩戴在用户的头部上的装置来执行，该装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元。在一些实施例中，方法1000可由图1-4中所示的图像显示设备101中的任一者执行，例如，方法1000可由图像显示设备101的处理单元130执行。方法1000包括：由处理单元从相机系统获得输出(项1002)；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户(项1004)；以及由处理单元确定度量，该度量指示使用地图成功定位用户的可能性(项1006)。

在一些实施例中，在方法1000中，处理单元可以通过执行计算以获得度量来确定度量。在其他实施例中，处理单元可以通过从另一组件或设备接收度量以获得度量来确定度量。通过非限制性示例，提供度量的另一组件或设备可以是图像显示设备101中的模块、或与图像显示设备通信的外部设备，其中该外部设备可由用户佩戴或可被从用户物理解耦合。例如，外部设备可以是无线发射机、计算机、手持式或身体穿戴设备、数据库、服务器、基站等。

可选地，在方法1000中，确定度量的动作包括由处理单元计算度量。

可选地，在方法1000中，确定度量的动作包括由处理单元接收度量。

可选地，在方法1000中，基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，在方法1000中，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，在方法1000中，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，在方法1000中，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，在方法1000中，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，在方法1000中，基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，在方法1000中，由处理单元确定度量而不确定任何凸包。

可选地，在方法1000中，度量具有基于方向性的值。

可选地，在方法1000中，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，在方法1000中，方向性包括转动方向。

可选地，在方法1000中，方向性包括倾斜角。

可选地，在方法1000中，方向性包括偏转角。

可选地，在方法1000中，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，在方法1000中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，在方法1000中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，在方法1000中，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，在方法1000中，确定度量的动作包括确定来自相机系统的与多个单元中的一个单元相关联的图像的总数。

可选地，在方法1000中，图像的总数与用于单元的某个观看方向相关联。

可选地，在方法1000中，图像的总数与用于单元的多个观看方向相关联。

可选地，在方法1000中，相机系统被配置为获得多个图像，并且其中通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，在方法1000中，通过将总分数除以图像的子集中的图像的数量以获得平均分数来确定度量。

可选地，在方法1000中，平均分数是度量。

可选地，在方法1000中，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，在方法1000中，通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，在方法1000中，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，在方法1000中，通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，方法1000还包括确定指示地图的覆盖程度的区域分数。

可选地，在方法1000中，基于地图的数据点的空间分布来确定区域分数。

可选地，在方法1000中，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，在方法1000中，单元中的至少一个单元还具有预定高度。

可选地，在方法1000中，通过以下来确定度量：从相机系统获得多个图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，在方法1000中，相机系统包括多个相机。

可选地，在方法1000中，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，在方法1000中，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，在方法1000中，多个相机包括第一前向相机。

可选地，在方法1000中，多个相机包括第二前向相机。

可选地，在方法1000中，多个相机包括第一侧向相机。

可选地，在方法1000中，多个相机包括第二侧向相机。

可选地，方法1000还包括由处理单元确定相机系统的期望观看方向，用于改进度量的值。

可选地，方法1000还包括基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，方法1000还包括在已达到相机系统的期望观看方向之后从相机系统获得环境的图像。

可选地，方法1000还包括基于图像来更新地图。

可选地，方法1000还包括基于更新的地图来更新度量。

可选地，在方法1000中，在地图被用于相对于环境定位用户之前确定度量。

可选地，在方法1000中，在装置与另一装置共享内容之前确定度量。

可选地，在方法1000中，在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，在方法1000中，通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

可选地，方法1000还包括执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，在方法1000中，数据包括来自相机系统的图像，并且其中通过移除或忽略图像来执行净化。

可选地，在方法1000中，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中通过移除或忽略该图像集合来执行净化。

可选地，在方法1000中，数据包括来自相机系统的图像中的参考点的识别，并且其中通过忽略参考点的识别来执行净化。

可选地，在方法1000中，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中通过忽略与图像相关联的射线或线来执行净化。

可选地，在方法1000中，净化被执行作为局部优化的一部分。

可选地，方法1000还包括执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中在执行净化以移除数据之后执行束调整。

可选地，在方法1000中，束调整被执行作为全局优化的一部分。

可选地，在方法1000中，基于来自相机系统的图像和三维参考点执行全局优化。

可选地，在方法1000中，还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，方法1000还包括由处理单元确定从相机系统获得的图像的分数。

可选地，在方法1000中，分数是约束分数。

可选地，在方法1000中，分数指示图像被约束得如何。

可选地，在方法1000中，基于参考点测量的雅可比矩阵来确定分数。

可选地，在方法1000中，基于作为对角矩阵的信息矩阵来确定分数。

可选地，在方法1000中，基于在图像中检测到的参考点的数量来确定分数。

可选地，方法1000还包括基于分数执行数据净化。

可选地，在方法1000中，执行数据净化的动作包括移除图像的约束或者移除图像。

可选地，在方法1000中，当分数低于阈值时，移除图像的约束或者移除图像。

可选地，在方法1000中，通过以下来确定地图：确定多个地图片段；以及连接地图片段。

可选地，在方法1000中，确定多个地图片段的动作包括通过从相机系统获得图像并且链接该图像来确定地图片段的第一地图片段，其中图像由相机系统依次生成。

可选地，方法1000还包括确定图像的相应分数。

可选地，方法1000还包括：从相机系统获得附加图像、确定附加图像的分数、以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

可选地，在方法1000中，当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，在方法1000中，输出包括来自相机系统的一个或多个图像。

图15示出了根据一些实施例的方法1100。方法1100可以由被配置为佩戴在用户的头部上的装置来执行，该装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元。在一些实施例中，方法1100可由图1-4中所示的图像显示设备101中的任一者执行。例如，方法1100可由图像显示设备101的处理单元130执行。方法1100包括：由处理单元从相机系统获得输出(项1102)；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中该地图被配置为由处理单元使用以相对于环境定位用户(项1104)；由处理单元确定用于从相机系统获得的图像的分数，该分数指示图像相对于用于形成地图的地图片段被约束得如何(项1106)。

在一些实施例中，在方法1100中，处理单元可以通过执行计算以获得分数来确定分数。在其他实施例中，处理单元可以通过从另一组件或设备接收分数以获得分数来确定分数。通过非限制性示例，提供度量的另一组件或设备可以是图像显示设备101中的模块、或与图像显示设备通信的外部设备，其中该外部设备可由用户佩戴或可被从用户物理解耦合。例如，外部设备可以是无线发射机、计算机、手持式或身体穿戴设备、数据库、服务器、基站等。

可选地，在方法1100中，确定分数的动作包括由处理单元计算分数。

可选地，在方法1100中，确定分数的动作包括由处理单元接收分数。

可选地，在方法1100中，基于参考点测量的雅可比矩阵来确定分数。

可选地，在方法1100中，基于作为对角矩阵的信息矩阵来确定分数。

可选地，在方法1100中，基于在图像中检测到的参考点的数量来确定分数。

可选地，方法1100还包括由处理单元基于分数执行数据净化。

可选地，在方法1100中，执行数据净化的动作包括移除图像的约束或者移除图像。

可选地，在方法1100中，执行数据净化的动作包括当分数低于阈值时移除图像的约束或者移除图像。

可选地，在方法1100中，执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

可选地，在方法1100中，数据包括来自相机系统的图像，并且其中执行净化以移除或忽略图像。

可选地，在方法1100中，相机系统包括多个相机，其中数据包括由相应相机生成的图像集合，并且其中执行净化以移除或忽略该图像集合。

可选地，在方法1100中，数据包括来自相机系统的图像中的参考点的识别，并且其中执行净化以忽略参考点的识别。

可选地，在方法1100中，数据表示与来自相机系统的图像和参考点相关联的射线或线，并且其中执行净化以忽略与图像相关联的射线或线。

可选地，在方法1100中，净化被执行作为局部优化的一部分。

可选地，方法1100还包括执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中在执行净化之后执行束调整，其中被确定分数的图像是一个或多个图像中的一个图像、或者与该一个或多个图像不同。

可选地，在方法1100中，束调整被执行作为全局优化的一部分。

可选地，方法1100进一步包括由处理单元基于来自相机系统的一个或多个图像和三维参考点来执行全局优化。

可选地，在方法1100中，还基于相机系统的相机之间的相对取向来执行全局优化。

可选地，在方法1100中，通过以下来确定地图：确定多个地图片段，其中该多个地图片段包括地图片段；以及连接地图片段；其中地图的部分包括该地图片段中的一个。

可选地，在方法1100中，相机系统被配置为提供附加图像，在被确定分数的图像被生成之前由相机系统生成附加图像，其中确定地图的动作包括通过链接附加图像来确定地图片段的第一地图片段，并且其中附加图像由相机系统依次生成。

可选地，方法1100还包括确定附加图像的相应分数。

可选地，方法1100还包括响应于来自相机系统的图像的分数满足准则，由处理单元开始地图片段的第二地图片段。

可选地，在方法1100中，当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

可选地，方法1100还包括确定度量，该度量指示使用地图成功定位用户的可能性。

可选地，在方法1100中，基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

可选地，在方法1100中，相机位置包括相机系统的相机的第一相机位置和相机系统的相机的第二相机位置。

可选地，在方法1100中，相机位置包括相机系统的第一相机的第一相机位置和相机系统的第二相机位置的第二相机位置。

可选地，在方法1100中，度量指示可用于相对于环境定位用户的参考点的数量。

可选地，在方法1100中，度量指示在一个或多个观看方向成功定位用户的可能性。

可选地，在方法1100中，基于从不同相机位置检测到感兴趣点的次数来确定度量。

可选地，在方法1100中，由处理单元确定度量而不确定任何凸包。

可选地，在方法1100中，度量具有基于方向性的值。

可选地，在方法1100中，方向性是相对于一个或多个垂直轴和/或一个或多个水平轴。

可选地，在方法1100中，方向性包括转动方向。

可选地，在方法1100中，方向性包括倾斜角。

可选地，在方法1100中，方向性包括偏转角。

可选地，在方法1100中，度量具有与第一方向性相关联的第一值和与第二方向性相关联的第二值。

可选地，在方法1100中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

可选地，在方法1100中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值。

可选地，在方法1100中，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

可选地，在方法1100中，确定度量的动作包括确定来自相机系统的与多个单元中的一个单元相关联的图像的总数。

可选地，在方法1100中，图像的总数与应用单元的某个观看方向相关联。

可选地，在方法1100中，图像的总数与应用单元的多个观看方向相关联。

可选地，在方法1100中，相机系统被配置为获得多个图像，该多个图像包括被确定分数的图像，并且其中通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

可选地，方法1100还包括将总分数除以图像的子集中的图像的数量以获得平均分数。

可选地，在方法1100中，平均分数是度量。

可选地，在方法1100中，平均分数表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量。

可选地，在方法1100中，通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

可选地，在方法1100中，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

可选地，在方法1100中，通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

可选地，方法1100还包括确定指示地图的覆盖程度的区域分数。

可选地，在方法1100中，区域分数是基于地图的数据点的空间分布。

可选地，在方法1100中，单元中的至少一个单元具有2m乘2m的覆盖面积。

可选地，在方法1100中，单元中的至少一个单元还具有预定高度。

可选地，在方法1100中，通过以下来确定度量：从相机系统获得多个图像，该多个图像包括被确定分数的图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

可选地，在方法1100中，相机系统包括多个相机。

可选地，在方法1100中，当相机系统处于第一位置时，多个图像包括由多个相机生成的图像的第一子集。

可选地，在方法1100中，当相机系统处于第二位置时，多个图像包括由多个相机生成的图像的第二子集。

可选地，在方法1100中，多个相机包括第一前向相机。

可选地，在方法1100中，多个相机包括第二前向相机。

可选地，在方法1100中，多个相机包括第一侧向相机。

可选地，在方法1100中，多个相机包括第二侧向相机。

可选地，方法1100还包括由处理单元确定相机系统的期望观看方向，用于改进度量的值。

可选地，方法1100还包括基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

可选地，方法1100还包括在已达到相机系统的期望观看方向之后从相机系统获得附加图像。

可选地，方法1100还包括基于附加图像来更新地图。

可选地，方法1100还包括基于更新的地图来更新度量。

可选地，在方法1100中，在处理单元使用地图相对于环境定位用户之前确定度量。

可选地，在方法1100中，在装置与另一装置共享内容之前确定度量。

可选地，在方法1100中，在其中处理单元确定地图的地图构建会话期间确定度量。

可选地，在方法1100中，通过访问先前从非暂时性介质确定的地图来逆动地确定度量。

专用处理系统

在一些实施例中，本文描述的方法500、方法900、方法1000和/或方法1100可以由执行应用的处理单元130或由应用来执行。应用可以包含指令集合。在一个实现方式中，可以提供具有存储用于应用的指令集合的非暂时性介质的专用处理系统。由图像显示设备101的处理单元130执行指令将致使处理单元130执行本文中所描述的特征。

在一些实施例中，图像显示设备101还可以被认为是专用处理系统。具体地，图像显示设备101是专用处理系统，因为它包含被存储在其非暂时性介质中的指令，该指令用于由处理单元130执行以在真实世界中提供独特的有形效果。如本文，由图像显示设备101提供的特征(作为处理单元130执行指令的结果)提供定位地图创建、基于图像的定位和针对定位地图的质量控制的技术领域的改进。

通过非限制性示例，所提供的指令可以包括用于以下方面的指令：至少部分地基于来自相机系统的输出来确定地图；基于地图来相对于环境定位用户；使用地图确定度量，该度量指示成功定位用户的可能性；基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量；确定可用于相对于环境定位用户的参考点的数量；确定度量，该度量指示在一个或多个观看方向成功定位用户的可能性；基于从不同相机位置检测到感兴趣点的次数来确定度量；确定度量而不确定任何凸包；基于方向性来确定度量，其中方向性是相对于一个或多个垂直轴和/或一个或多个水平轴；确定度量而不确定任何凸包；基于方向性来确定度量，其中方向性包括转动方向、倾斜角、偏转角或前述的任何组合；确定具有与第一方向性相关联的第一值和与第二方向性相关联的第二值的度量；针对多个单元中的一个单元确定度量，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值；针对多个单元中的一个单元确定度量，单元中的每个单元表示环境的一部分的三维空间，其中度量具有与多个单元中的一个单元内的第一位置相关联的第一值和与多个单元中的一个单元内的第二位置相关联的第二值；针对多个单元中的一个单元确定度量，并且单元中的每个单元表示环境的一部分的三维空间；针对多个单元中的一个单元确定来自相机系统的图像的总数，其中，图像的总数与用于单元的某个观看方向相关联、或用于单元的多个观看方向相关联；生成控制信号以使相机系统获得多个图像；通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数；通过将总分数除以图像的子集中的图像的数量来确定平均分数；确定平均分数，该平均分数表示表示针对多个单元中的一个单元的观看方向范围的共同可见性点的平均预期数量；通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数，其中共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见；通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数；确定指示地图的覆盖程度的区域分数；基于地图的数据点的空间分布来确定区域分数；通过以下来确定度量：从相机系统获得多个图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量；生成控制信号以操作多个相机，其中该多个相机包括第一前向相机、第二前向相机、第一侧向相机和第二侧向相机；确定相机系统的期望观看方向，用于改进度量的值；基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向；生成控制信号以操作相机系统以便在已达到相机系统的期望观看方向之后获得环境的图像；基于图像来更新地图；基于更新的地图来更新度量；在使用地图相对于环境定位用户之前，确定地图的度量；在允许装置与另一装置共享内容之前确定地图的度量；在其中处理单元确定地图的地图构建会话期间确定度量；通过访问先前从非暂时性介质确定的地图来逆动地确定度量；执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据，其中数据包括来自相机系统的图像、包括由相应相机生成的图像集合、包括来自相机系统的图像中的参考点的识别、或者表示与来自相机系统的图像和参考点相关联的射线或线；执行净化作为局部优化的一部分；执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线；在执行净化以移除数据之后执行束调整；执行束调整作为全局优化的一部分；基于来自相机系统的图像和三维参考点执行全局优化；还基于相机系统的相机之间的相对取向来执行全局优化；确定从相机系统获得的图像的分数，其中该分数是约束分数、和/或指示图像被约束得如何；基于参考点测量的雅可比矩阵来确定分数；基于作为对角矩阵的信息矩阵来确定分数；基于在图像中检测到的参考点的数量来确定分数；基于分数执行数据净化；当执行数据净化时，移除图像的约束或者移除图像；当分数低于阈值时，移除图像的约束或者移除图像；通过以下来确定地图：确定多个地图片段，以及连接地图片段；通过从相机系统获得图像并且链接该图像来确定地图片段的第一地图片段，其中图像由相机系统依次生成；确定图像的相应分数；从相机系统获得附加图像、确定附加图像的分数、以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段；当分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

图16是示出可用于实现本文描述的各种特征的专用处理系统1600的实施例的框图。例如，在一些实施例中，处理系统1600可用于实现图像显示设备1011。

处理系统1600包括用于通信信息的总线1602或其他通信机制以及与总线1602耦接以用于处理信息的处理器1604。处理器系统1600还包括耦接到总线1602以用于存储将由处理器1604执行的信息和指令的主存储器1606，诸如随机存取存储器(RAM)或其他动态储存设备。主存储器1606还可以用于在要由处理器1604执行的指令被执行的期间存储暂时变量或其他中间信息。处理器系统1600还包括耦接到总线1602以用于存储用于处理器1604的静态信息和指令的只读存储器(ROM)1608或其他静态储存设备。数据储存设备1610，诸如磁盘、固态盘或光盘，被提供并耦接到总线1602，以用于存储信息和指令。

处理器系统1600可以经由总线1602耦接到显示器1612，诸如屏幕，用于向用户显示信息。在一些情况下，如果处理系统1600是包括触摸屏的装置的一部分，则显示器1612可以是触摸屏。包括字母数字和其他键的输入设备1614耦接到总线1602，用于向处理器1604通信信息和命令选择。另一类型的用户输入设备是光标控制1616，诸如鼠标、轨迹球或光标方向键，用于向处理器1604通信方向信息和命令选择以及用于控制显示器1612上的光标移动。该输入设备通常具有两个轴上的两个自由度，第一轴(例如，x)和第二轴(例如，y)，其允许设备指定平面中的位置。在一些情况下，如果处理系统1600是包括触摸屏的装置的一部分，则输入设备1614和光标控制可以是触摸屏。

在一些实施例中，处理器系统1600可用于执行本文中所描述的各种功能。根据一些实施例，这样的使用由处理器系统1600响应于处理器1604执行被包含在主存储器1606中的一个或多个指令的一个或多个序列来提供。本领域技术人员将知道如何基于本文描述的功能和方法来准备这样的指令。这样的指令可从另一处理器可读介质(例如，储存设备1610)读取到主存储器1606中。被包含在主存储器1606中的指令序列的执行致使处理器1604执行本文的过程步骤。还可以采用多处理布置中的一个或多个处理器来执行被包含在主存储器1606中的指令序列。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合来实现本文的各种实施例。因此，实施例不限于硬件电路和软件的任何特定组合

本文所使用的术语“处理器可读介质”是指参与向处理器1604提供指令以供执行的任何介质。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、固态盘或磁盘，诸如储存设备1610。非易失性介质可以被认为是非暂时性介质的示例。易失性介质包括动态存储器，诸如主存储器1606。易失性介质可以被认为是非暂时性介质的示例。传输介质包括同轴电缆、铜布线和光纤，包括包含总线1602的布线。传输介质还可以采取声波或光波的形式，诸如在无线电波和红外数据通信期间生成的那些。

处理器可读介质的常见形式包括，例如，柔性盘、硬盘、磁带或任何其他磁介质、CD-ROM、任何其他光学介质、具有孔图案的任何其他物理介质、RAM、PROM和EPROM、FLASH-EPROM、固态盘或任何其他存储器芯片或盒、如下文的载波、或处理器可从其读取的任何其他介质。

各种形式的处理器可读介质可以涉及将一个或多个指令的一个或多个序列携带到处理器1604以供执行。例如，指令最初可以被携带在远程计算机的磁盘或固态盘上。远程计算机可以将指令加载到其动态存储器中并且通过网络(诸如因特网)发送指令。处理系统1600可以在网络线路上接收数据。总线1602将数据携带到主存储器1606，处理器1604从主存储器1606取得并执行指令。由主存储器1606接收的指令可以可选地在由处理器1604执行之前或之后存储在储存设备1610上。

处理系统1600还包括耦接到总线1602的通信接口1618。通信接口1618提供耦接到网络链接1620的双向数据通信，该网络链接1620被连接到本地网络1622。例如，通信接口1618可以是给兼容的局域网(LAN)提供数据通信连接的局域网(LAN)卡。无线连接也可以实现。在任何这样的实现方式中，通信接口1618发送和接收携带表示各种类型的信息的数据流的电、电磁或光信号。

网络链接1620通常通过一个或多个网络向其他设备提供数据通信。例如，网络链接1620可以提供通过本地网络1622到主机计算机1624或设备1626的连接。通过网络链接1620传输的数据流可以包括电、电磁或光信号。通过各种网络的信号和网络链接1620上的信号以及通过通信接口1618(其携带去往和来自处理系统1600的数据)的信号是传输信息的载波的示例性形式。处理系统1600可以通过网络、网络链接1620和通信接口1618发送消息和接收包括程序代码的数据。

以上已经阐述了本公开的示例性方面以及关于材料选择和制造的细节。有关本公开的其他细节，可以结合上述专利和公开以及本领域技术人员通常公知或理解的方式理解这些细节。就通常或逻辑上采用的附加动作而言，对于本公开基于方法的方面也是如此。

另外，尽管已经参考可选地结合各种特征的若干示例描述了本公开，但是本公开不限于关于本公开的每个变型所描述或指示的那些内容。可以在不脱离本公开的精神和范围的情况下，对所描述的本公开进行各种改变，并且可以替换等同物(无论是在本文中引用还是为了简洁起见而未包括)。另外，在提供一系列值的情况下，应理解的是，该范围的上限和下限之间的每个中间值，以及范围内的任何其他值或中间值都包含在本公开内。

而且，可以构想，所描述的公开变型的任何可选特征可以独立地，或者与本文描述的任何一个或多个特征组合地进行阐述或被要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地说，如本文和与此相关联的权利要求中所使用的，单数形式“一”、“一个”、“”和“该”包括复数个指示物，除非另有具体说明。还应注意，可以起草任何权利要求以排除任何可选元素。因此，本声明旨在作为结合权利要求元素的叙述使用诸如“单独”、“仅”之类的排他性术语或使用“否定”限制的先行基础。

本公开的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限制。

以下是示例性特征。以下特征中的一个或多个可以在一个或多个实施例中组合。

特征1.一种被配置为佩戴在用户的头部上的装置，包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所处的环境；以及处理单元，其被配置为至少部分地基于来自相机系统的输出来确定地图，其中地图被配置为由处理单元使用以相对于环境定位用户；其中，装置的处理单元还被配置为获得度量，度量指示使用地图成功定位用户的可能性，并且其中，处理单元被配置为通过计算度量或通过接收度量来获得度量。

特征2.在一些实施例中，处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

特征3.在一些实施例中，度量指示可用于相对于环境定位用户的参考点的数量。

特征4.在一些实施例中，度量指示在一个或多个观看方向上成功定位用户的可能性。

特征5.在一些实施例中，处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定度量。

特征6.在一些实施例中，处理单元被配置为确定度量而不确定任何凸包。

特征7.在一些实施例中，度量具有基于方向性的值。

特征8.在一些实施例中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中，度量具有基于多个单元中的一个单元内的位置的值。

特征9.在一些实施例中，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

特征10.在一些实施例中，相机系统被配置为获得多个图像，并且其中处理单元被配置为通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

特征11.在一些实施例中，处理单元还被配置为通过将总分数除以图像的子集中的图像的数量来确定平均分数。

特征12.在一些实施例中，处理单元被配置为通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

特征13.在一些实施例中，共同可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

特征14.在一些实施例中，处理单元被配置为通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

特征15.在一些实施例中，处理单元还被配置为确定指示地图的覆盖程度的区域分数。

特征16.在一些实施例中，处理单元被配置为通过以下来确定度量：从相机系统获得多个图像；以及确定共同可见性值，其中共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

特征17.在一些实施例中，处理单元被配置为确定相机系统的期望观看方向，用于改进度量的值。

特征18.在一些实施例中，处理单元被配置为基于所确定的期望观看方向生成图形，图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

特征19.在一些实施例中，处理单元被配置为在达到期望观看方向之后更新度量。

特征20.在一些实施例中，处理单元被配置为执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

特征21.在一些实施例中，数据包括来自相机系统的图像，并且其中，处理单元被配置为通过以下来执行净化：(1)移除或忽略图像，(2)忽略图像中的参考点的识别，以及/或者(3)忽略与图像相关联的射线或线。

特征22.在一些实施例中，处理单元被配置为执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中，处理单元被配置为在执行净化以移除数据之后执行束调整。

特征23.在一些实施例中，处理单元被配置为基于来自相机系统的图像、三维参考点和相机系统的相机之间的相对取向来执行优化。

特征24.在一些实施例中，处理单元被配置为确定从相机系统获得的图像的分数。

特征25.在一些实施例中，分数指示图像被约束得如何。

特征26.在一些实施例中，处理单元被配置为基于参考点测量的雅可比矩阵来确定分数。

特征27.在一些实施例中，处理单元被配置为基于分数来执行数据净化；以及其中，处理单元被配置为在执行数据净化时移除图像的约束或移除图像。

特征28.在一些实施例中，处理单元被配置为通过以下来确定地图：确定多个地图片段；以及连接地图片段。

特征29.在一些实施例中，处理单元被配置为通过从相机系统获得图像并且链接图像来确定地图片段中的第一地图片段，其中图像由相机系统依次生成。

特征30.在一些实施例中，处理单元被配置为：从相机系统获得附加图像，确定附加图像的分数，以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

特征31.在一些实施例中，处理单元被配置为在分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

特征32.一种由被配置为佩戴在用户的头部上的装置执行的方法，装置具有被配置为向用户呈现图形的屏幕、被配置为观看用户所处的环境的相机系统、以及处理单元，方法包括：由处理单元从相机系统获得输出；由处理单元至少部分地基于来自相机系统的输出来确定地图，其中，地图被配置为由处理单元使用以相对于环境定位用户；以及由处理单元获得度量，度量指示使用地图成功定位用户的可能性，其中，获得的动作包括由处理单元计算度量或接收度量。

特征33.在一些实施例中，基于与不同相机位置相关联的感兴趣点的共同可见性来确定度量。

特征34.在一些实施例中，度量指示可用于相对于环境定位用户的参考点的数量。

特征35.在一些实施例中，度量指示在一个或多个观看方向成功定位用户的可能性。

特征36.在一些实施例中，基于从不同相机位置检测到感兴趣点的次数来确定度量。

特征37.在一些实施例中，由处理单元确定度量而不确定任何凸包。

特征38.在一些实施例中，度量具有基于方向性的值。

特征39.在一些实施例中，度量是针对多个单元中的一个单元，单元中的每个单元表示环境的一部分的三维空间，并且其中度量具有基于多个单元中的一个单元内的位置的值。

特征40.在一些实施例中，度量是针对多个单元中的一个单元，并且单元中的每个单元表示环境的一部分的三维空间。

特征41.在一些实施例中，相机系统被配置为获得多个图像，该多个图像包括被确定分数的图像，并且其中通过以下来针对多个单元中的一个单元确定度量：识别属于相同观看方向范围的图像的子集；确定图像的子集中的图像的相应分数；以及对分数求和以获得总分数。

特征42.在一些实施例中，通过将总分数除以图像的子集中的图像的数量以获得平均分数来确定度量。

特征43.在一些实施例中，通过访问将参考点与多个图像相关联的共同可见性图来确定相应分数。

特征44.在一些实施例中，共可见性图指示参考点中的哪个参考点在多个图像中的哪个图像中可见。

特征45.在一些实施例中，通过确定在图像的子集中的图像中的对应图像中检测到的参考点的数量来确定相应分数中的每个分数。

特征46.在一些实施例中，方法还包括确定指示地图的覆盖程度的区域分数。

特征47.在一些实施例中，通过以下来确定度量：从相机系统获得多个图像，该多个图像包括被确定分数的图像；以及确定共同可见性值，其中该共同可见性值中的每个值指示在多个图像中的对应图像中检测到的参考点的数量。

特征48.在一些实施例中，方法还包括由处理单元确定相机系统的期望观看方向，用于改进度量的值。

特征49.在一些实施例中，方法还包括基于所确定的期望观看方向生成图形，该图形被配置为指示用户将相机系统的当前观看方向改变到期望观看方向。

特征50.在一些实施例中，方法还包括在达到期望观看方向之后更新度量。

特征51.在一些实施例中，方法还包括执行净化以移除或忽略在数据用于确定地图的情况下会另外对地图提供不期望的贡献的数据。

特征52.在一些实施例中，数据包括来自相机系统的图像，并且其中，通过以下来执行净化：(1)移除或忽略图像，忽略图像中的参考点的识别，以及/或者(3)忽略与图像相关联的射线或线。

特征53.在一些实施例中，该方法还包括执行束调整以调整与来自相机系统的一个或多个图像相关联的一个或多个射线，其中，在执行净化以移除数据之后执行束调整。

特征54.在一些实施例中，处理单元被配置为基于来自相机系统的图像、三维参考点和相机系统的相机之间的相对取向来执行优化。

特征55.在一些实施例中，方法还包括由处理单元确定从相机系统获得的图像的分数。

特征56.在一些实施例中，分数指示图像被约束得如何。

特征57.在一些实施例中，基于参考点测量的雅可比矩阵来确定分数。

特征58.在一些实施例中，方法还包括基于分数来执行数据净化；并且其中，执行数据净化以移除图像的约束或移除图像。

特征59.在一些实施例中，通过以下来确定地图：确定多个地图片段；以及连接地图片段。

特征60.在一些实施例中，确定多个地图片段的动作包括通过从相机系统获得图像并且链接图像来确定地图片段中的第一地图片段，其中图像由相机系统依次生成。

特征61.在一些实施例中，方法还包括：从相机系统获得附加图像，确定附加图像的分数，以及响应于来自相机系统的附加图像的分数满足准则，开始地图片段的第二地图片段。

特征62.在一些实施例中，在分数指示图像相对于第一地图片段具有低于阈值的约束程度时，开始第二地图片段。

在前述说明书中，已经参考本公开的具体实施例对其进行了描述。然而，显而易见的是，在不脱离本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本公开的范围或操作。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (28)

1.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；以及

其中，所述处理单元被配置为确定所述相机系统的期望观看方向，用于改进所述度量的值。

2.根据权利要求1所述的装置，其中，所述处理单元被配置为基于与不同相机位置相关联的感兴趣点的共同可见性来确定所述度量。

3.根据权利要求1所述的装置，其中，所述度量指示可用于相对于所述环境定位所述用户的参考点的数量。

4.根据权利要求1所述的装置，其中，所述度量指示在一个或多个观看方向上成功定位所述用户的可能性。

5.根据权利要求1所述的装置，其中，所述处理单元被配置为基于从不同相机位置检测到感兴趣点的次数来确定所述度量。

6.根据权利要求1所述的装置，其中，所述处理单元被配置为确定所述度量而不确定任何凸包。

7.根据权利要求1所述的装置，其中，所述度量具有基于方向性的值。

8.根据权利要求1所述的装置，其中，所述度量是针对多个单元中的一个单元，所述单元中的每个单元表示所述环境的一部分的三维空间，并且其中，所述度量具有基于所述多个单元中的所述一个单元内的位置的值。

9.根据权利要求1所述的装置，其中，所述处理单元还被配置为确定指示所述地图的覆盖程度的区域分数。

10.根据权利要求1所述的装置，其中，所述处理单元被配置为基于所确定的期望观看方向生成所述图形，所述图形被配置为指示所述用户将所述相机系统的当前观看方向改变到所述期望观看方向。

11.根据权利要求10所述的装置，其中，所述处理单元被配置为在达到所述期望观看方向之后更新所述度量。

12.根据权利要求1所述的装置，其中，所述处理单元被配置为基于来自所述相机系统的图像、三维参考点和所述相机系统的相机之间的相对取向来执行优化。

13.根据权利要求1所述的装置，其中，所述处理单元被配置为确定从所述相机系统获得的图像的分数。

14.根据权利要求13所述的装置，其中，所述分数指示所述图像被约束得如何。

15.根据权利要求13所述的装置，其中，所述处理单元被配置为基于参考点测量的雅可比矩阵来确定所述分数。

16.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；

其中，所述处理单元被配置为确定从所述相机系统获得的图像的分数；

其中，所述处理单元被配置为基于所述分数来执行数据净化；

其中，所述处理单元被配置为在执行所述数据净化时移除所述图像的约束或移除所述图像；以及

所述处理单元被配置为确定所述相机系统的期望观看方向，用于改进所述度量的值。

17.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；以及

其中，所述处理单元被配置为通过以下来确定所述地图：

确定多个地图片段；

连接所述地图片段；

通过从所述相机系统获得图像并且链接所述图像来确定所述地图片段中的第一地图片段，其中所述图像由所述相机系统依次生成；

从所述相机系统获得附加图像；

确定所述附加图像的分数；以及

响应于来自所述相机系统的所述附加图像的所述分数满足准则，开始所述地图片段的第二地图片段。

18.根据权利要求17所述的装置，其中，所述处理单元被配置为在所述分数指示所述图像相对于所述第一地图片段具有低于阈值的约束程度时，开始所述第二地图片段。

19.一种由被配置为佩戴在用户的头部上的装置执行的方法，所述装置具有被配置为向所述用户呈现图形的屏幕、被配置为观看所述用户所处的环境的相机系统、以及处理单元，所述方法包括：

由所述处理单元从所述相机系统获得输出；

由所述处理单元至少部分地基于来自所述相机系统的所述输出来确定地图，其中，所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

由所述处理单元获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，其中，所述获得的动作包括由所述处理单元计算所述度量或接收所述度量；以及

确定所述相机系统的期望观看方向，用于改进所述度量的值。

20.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；以及

其中，所述度量是针对多个单元中的一个单元，并且所述单元中的每个单元表示所述环境的一部分的三维空间；以及

其中，所述相机系统被配置为获得多个图像，并且其中所述处理单元被配置为通过以下来针对所述多个单元中的一个单元确定所述度量：

识别属于相同观看方向范围的所述图像的子集；

确定所述图像的所述子集中的所述图像的相应分数；以及

对所述分数求和以获得总分数。

21.根据权利要求20所述的装置，其中，所述处理单元还被配置为通过将所述总分数除以所述图像的所述子集中的所述图像的数量来确定平均分数。

22.根据权利要求20所述的装置，其中，所述处理单元被配置为通过访问将参考点与所述多个图像相关联的共同可见性图来确定所述相应分数。

23.根据权利要求22所述的装置，其中，所述共同可见性图指示所述参考点中的哪个参考点在所述多个图像中的哪个图像中可见。

24.根据权利要求20所述的装置，其中，所述处理单元被配置为通过确定在所述图像的所述子集中的所述图像中的对应图像中检测到的参考点的数量来确定所述相应分数中的每个分数。

25.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；以及

其中，所述处理单元被配置为通过以下来确定所述度量：

从所述相机系统获得多个图像；以及

确定共同可见性值，其中所述共同可见性值中的每个值指示在所述多个图像中的对应图像中检测到的参考点的数量，

其中，所述处理单元被配置为确定所述相机系统的期望观看方向，用于改进所述度量的值。

26.一种被配置为佩戴在用户的头部上的装置，包括：

屏幕，其被配置为向所述用户呈现图形；

相机系统，其被配置为观看所述用户所处的环境；以及

处理单元，其被配置为至少部分地基于来自所述相机系统的输出来确定地图，其中所述地图被配置为由所述处理单元使用以相对于所述环境定位所述用户；

其中，所述装置的所述处理单元还被配置为获得度量，所述度量指示使用所述地图成功定位所述用户的可能性，并且其中，所述处理单元被配置为通过计算所述度量或通过接收所述度量来获得所述度量；

其中，所述处理单元被配置为执行净化以移除或忽略在数据用于确定所述地图的情况下会另外对所述地图提供不期望的贡献的所述数据；以及

其中，所述处理单元被配置为确定所述相机系统的期望观看方向，用于改进所述度量的值。

27.根据权利要求26所述的装置，其中，所述数据包括来自所述相机系统的图像，并且其中，所述处理单元被配置为通过以下来执行所述净化：(1)移除或忽略所述图像，(2)忽略所述图像中的参考点的识别，以及/或者(3)忽略与所述图像相关联的光线。

28.根据权利要求26所述的装置，其中，所述处理单元被配置为执行束调整以调整与来自所述相机系统的一个或多个图像相关联的光线，其中，所述处理单元被配置为在执行所述净化以移除所述数据之后执行所述束调整。

Images