CN110908503A - 跟踪和漂移校正 - Google Patents

Abstract

本公开涉及跟踪和漂移校正。一些具体实施提供用于与虚拟环境进行交互的改进的用户界面。虚拟环境由具有图像传感器的第一设备的显示器来呈现。第一设备使用图像传感器以基于在第二设备的显示器上显示的标记物来确定第二设备的相对位置和取向。第一设备使用第二设备的所确定的相对位置来显示包括代替标记物的虚拟内容的第二设备的表示。

Description

跟踪和漂移校正

相关申请的交叉引用

本申请要求2018年9月14日提交的美国临时申请序列号62/731,285的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及用于提供内容并与内容进行交互的电子设备，并且具体地涉及跟踪电子设备的相对位置并使用此类位置来提供例如与计算机生成的现实(CGR)环境的交互性的系统、方法和设备。

背景技术

为了使得用户能够与电子内容进行交互，可能有利的是使用户能够经由独立的真实世界设备诸如独立移动设备的触摸屏来提供输入。然而，现有系统无法充分跟踪此类独立设备相对于内容提供设备的位置，并因此无法显示此类单独的设备或他们的表示以引导用户的交互。例如，佩戴呈现CGR环境的头戴式设备(HMD)的用户将需要在CGR环境中看到他的移动电话的表示，以便使用移动电话的触摸屏作为输入设备。然而，在无法准确、一致和有效地跟踪移动电话相对于HMD的相对位置的情况下，不能在CGR环境中对应于真实世界位置的位置处显示移动电话的表示。

发明内容

本文所公开的各种具体实施包括提供用于使用多个电子设备与电子内容进行交互的改进的用户界面的设备、系统和方法。一些具体实施涉及具有图像传感器(例如，相机)和一个或多个显示器的第一设备(例如，头戴式设备(HMD))，以及具有显示器的第二设备(例如，移动电话)。标记物显示在第二设备的显示器上，并且第一设备基于标记物确定第二设备相对于第一设备的相对位置和取向。在一些具体实施中，标记物是包含纹理/信息的图像，该纹理/信息允许检测图像并且使得可能确定图像相对于相机的姿势。在一些具体实施中，基于第二设备的相对位置和取向生成控制信号(例如，第一设备使用第二设备的位置和取向以使第二设备能够用作三维(3D)控制器、3D指针、用户界面输入设备等)。在一些具体实施中，基于第二设备的所确定的相对位置，在第一设备的显示器上显示包括代替标记物的虚拟内容的第二设备的表示。

在一些具体实施中，第二设备具有触摸屏，并且在一些具体实施中，定位成代替标记物的虚拟内容包括对应于与第一设备提供的用户体验/内容的交互的控件(例如，按钮)。例如，第一设备可显示CGR环境，该CGR环境包括虚拟远程控件，该虚拟远程控件具有作为移动电话的表示的虚拟按钮。虚拟远程控件显示在对应于移动电话的真实世界位置的位置处。当用户虚拟触摸虚拟远程控件上的虚拟按钮时，用户实际上触摸第二设备的触摸屏的对应部分，该部分被识别为控制或以其他方式发起与虚拟环境的交互的输入。

在一些具体实施中，基于第一设备和第二设备随时间的运动跟踪，随时间调整第二设备相对于第一设备的相对位置和取向，例如，来自第一设备或第二设备的惯性测量单元(IMU)传感器的惯性测量单元(IMU)数据。此外，在一些具体实施中，基于描绘标记物的附加图像，随时间调整第二设备相对于第一设备的相对位置和取向。

在一些具体实施中，检测到与第二设备相对于第一设备的相对位置和取向相关联的估计误差大于阈值(例如漂移)。根据检测到所估计的误差大于阈值，获得包括标记物的附加图像。基于附加图像随时间调整第二设备相对于第一设备的相对位置和取向。在一些具体实施中，基于物理环境的属性(例如照明条件)来确定标记物。在一些具体实施中，附加图像中的标记物是自适应的(例如，基于情况随时间变化)。在一些具体实施中，基于检测到图像传感器和显示器之间的障碍物，将标记物定位在第二显示器的仅一部分上。此外，可基于检测到第二显示器上的触摸事件(例如，用户的手指阻挡显示器的另一部分)将标记物定位在第二显示器的一部分上。

在一些具体实施中，第二设备上的光源(例如，一系列LED、基于像素的显示器、可见光源、产生人类通常不可见的光的红外光源(IR)等)在给定的时刻生成光，该光编码可用于同步经由该第二设备生成的运动数据(例如，加速度计数据、IMU数据等)与由第一设备执行的处理。在一些具体实施中，一种方法涉及使用第一设备的图像传感器来获得物理环境的图像。该图像包括第二设备的描述。第二设备的描述包括经由第二设备上的光源提供的基于光的指示器的描述。

该方法基于对基于光的指示器的描述来同步经由第二设备生成的运动数据和由第一设备执行的处理(例如，对图像的解释)。例如，第二设备的基于光的指示器可以是产生编码在第二设备处生成的当前运动数据的光的二进制图案的多个LED。又如，此类LED可产生编码与经由第二设备生成运动数据相关联的时间数据的光的二进制图案，例如，设备上的运动传感器捕获相对于提供二进制图案的时间的数据的时间。在其他具体实施中，第二设备包括基于像素的显示器，该显示器显示编码第二设备的运动或时间数据的图案。在其他具体实施中，该设备包括IR光源，该IR光源产生编码信息的IR光的图案，诸如在第二设备处生成的运动数据。第一设备可使第二设备的运动数据与通过图像的计算机视觉处理所确定的定位数据同步，例如，将基于光的指示器中提供的第二设备的当前运动与经由计算机视觉所确定的第二设备的当前相对位置相关联。

该方法可基于运动数据与图像的同步来生成控制信号。例如，如果第二设备的运动数据与旨在移动第一设备上显示的相关联的游标的第二设备的移动相关联，则该方法可生成适当的信号以引起光标的此类移动。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或导致执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

附图说明

因此，本公开能够被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的包括用户、第一设备和第二设备的示例性物理环境的框图。

图2示出了根据一些具体实施的包括第一设备的显示器的图1的示例性物理环境。

图3A示出了根据一些具体实施的图1的第二设备所显示的图案。

图3B示出了根据一些具体实施的图1的第二设备的虚拟表示。

图4是根据一些具体实施的示例性第一设备的框图。

图5是根据一些具体实施的示例性第二设备的框图。

图6是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图7是根据一些具体实施的用于提供用于与虚拟环境进行交互的改进的用户界面的方法的流程图表示。

图8是根据一些具体实施的用于提供用于与虚拟环境进行交互的改进的用户界面的方法的流程图表示。

图9是使用基于光的指示器跟踪设备的位置以编码设备运动或同步数据的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例性具体实施的透彻理解。然而，附图仅示出了本公开的一些示例性方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1是包括用户110、物理第一设备120和物理第二设备130的示例性物理环境100的框图。在一些具体实施中，物理第一设备120被配置为向用户110呈现内容诸如CGR环境。计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中一个或多个虚拟对象的一个或多个特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或与之交互的虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该一个或多个成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统通过物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器来捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

在图1中，物理第一设备120被示为HMD。本领域技术人员将认识到HMD仅是适合于实现物理第一设备120的一种形状因子。适合于实现物理第一设备120的其他形状因子包括智能电话、AR眼镜、智能眼镜、台式计算机、膝上型电脑、平板电脑、计算设备等。在一些具体实施中，物理第一设备120包括软件、固件或硬件的合适组合。例如，物理第一设备120可包括图像传感器(例如，图像传感器122)和显示器。在一些具体实施中，物理第一设备120包括在物理第一设备120的面向内的表面上的显示器。

在一些具体实施中，在物理第一设备120以及物理第二设备130中使用多个相机来捕获物理环境100的图像数据。此外，图像传感器122可位于除图1中描绘的位置之外的其他位置处。在一些具体实施中，图像传感器122包括高质量、高分辨率RGB视频相机，例如具有60帧/秒(FPS)或更高的帧速率的10百万像素(例如，3072×3072像素数)、水平场视图(HFOV)大于90度的相机，并且工作距离为0.1米(m)到无限远。

在一些具体实施中，图像传感器122是具有IR照明源或光检测和测距(LIDAR)发射器和接收器/检测器的红外(IR)相机，其例如捕获物理环境100中的物体和表面的深度或范围信息。范围信息可例如用于将合成到物理环境100的图像中的虚拟内容定位在正确的深度处。在一些具体实施中，范围信息可用于在显示时调整环境中的真实对象的深度；例如，附近对象可被重新渲染为在显示器中为较小，以帮助用户110在环境周围移动时避开对象。

在一些具体实施中，物理第一设备120和物理第二设备130经由一个或多个有线或无线通信信道(例如，BLUETOOTH、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)通信地耦合。尽管本文讨论的该示例和其他示例示出了现实世界物理环境100中的单个物理第一设备120和单个物理第二设备130，但是本文公开的技术适用于多个设备以及其他现实世界环境。此外，物理第一设备120的功能可由多个设备执行，并且类似地，物理第二设备130的功能可由多个设备执行。

在一些具体实施中，物理第一设备120被配置为向用户110呈现CGR环境。在一些具体实施中，物理第一设备120包括软件、固件或硬件的合适组合。在一些具体实施中，用户110在他/她的头上佩戴物理第一设备120，例如HMD。这样，物理第一设备120可包括提供用于显示图像的一个或多个显示器。物理第一设备120可包围用户110的视野，例如HMD。下面参考图4和图6更详细地描述物理第一设备120。

在一些具体实施中，物理第一设备120向用户110呈现CGR体验，同时用户110物理地存在于物理环境100内并且虚拟地存在于CGR环境内。在一些具体实施中，在向用户110呈现CGR环境的同时，物理第一设备120被配置为呈现CGR内容并且能够实现物理环境100的至少一部分的光学透视。在一些具体实施中，在呈现CGR环境的同时，物理第一设备120被配置为呈现CGR内容并且实现物理环境100的视频透传。

在一些具体实施中，图像传感器122被配置为获得对应于物理第一设备120所位于的物理环境(例如，物理环境100)的图像数据。在一些具体实施中，图像传感器122是图像传感器阵列的一部分，该图像传感器阵列被配置为捕获对应于物理第一设备120所位于的物理环境(例如，物理环境100)的光场图像。

在一些具体实施中，如图1所示，物理第二设备130是包括物理显示器135的手持电子设备(例如，智能电话或平板电脑)。在一些具体实施中，物理第二设备130是膝上型计算机或台式计算机。在一些具体实施中，物理第二设备130具有触控板，并且在一些具体实施中，物理第二设备130具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。

在一些具体实施中，物理第二设备130具有图形用户界面(“GUI”)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多种功能的程序或指令集。在一些具体实施中，用户110通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中，这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。

在一些具体实施中，呈现表示虚拟内容的内容包括识别对应于真实世界物理对象(例如，物理第二设备130)或现实世界物理表面的虚拟对象或虚拟表面的放置位置。在一些具体实施中，对应于真实世界物理对象或现实世界物理表面的虚拟对象或虚拟表面的放置位置基于物理环境100中的物理表面相对于物理第一设备120或物理第二设备130的空间位置。在一些具体实施中，使用物理第一设备120的图像传感器122确定空间位置，并且在一些具体实施中，使用物理第一设备120外部的图像传感器确定空间位置。

在一些具体实施中，物理第一设备120或物理第二设备130创建并跟踪用户110所在的现实世界空间(例如，物理环境100)与包括虚拟内容的虚拟空间之间的对应关系。因此，物理第一设备120或物理第二设备130可使用世界和相机坐标系102(例如，y轴指向上方，z轴指向用户110，并且x轴指向用户110的右侧)。在一些具体实施中，配置能相对于现实世界改变坐标系的原点和取向。例如，每个设备可定义其自己的本地坐标系。

在一些具体实施中，每个设备将来自相应设备的运动感测硬件的信息与对相应设备的相机可见的场景的分析相组合，以例如通过视觉惯性测距法(VIO)在真实和虚拟空间之间创建对应关系。例如，每个设备(例如，物理第一设备120和物理第二设备130)可识别虚拟环境100中的显著特征(例如，平面检测)，跟踪跨视频帧的那些特征部的位置的差异，并且将该信息与运动传感数据进行比较。例如，通过增加场景图像中的显著特征部的数量，可进一步精确地确定物理第二设备130相对于物理第一设备120的相对位置。

在一些具体实施中，为了防止由于惯性测量中的小误差引起的误差(例如，漂移)，利用固定参考点的跟踪系统用于确定相对惯性运动。例如，物理第一设备120的惯性测量与物理第二设备130的惯性测量之间的小误差可随时间累加。这些误差可影响物理第一设备120向用户准确呈现物理第二设备130的虚拟表示的能力，例如，尽管物理第二设备130和用户的手臂35保持在物理环境100中相对恒定的位置，物理第二设备130或用户的手臂(例如，物理附肢115)的虚拟表示可看起来缓慢地向用户110浮动。例如，可估计这些误差并将其与阈值进行比较。如果误差超过阈值，则物理第一设备120然后可利用固定参考点来确定相对惯性运动。

在一些具体实施中，物理第一设备120或物理第二设备130被配置为使用一个或多个相机(例如，图像传感器122)来识别图像中的固定参考点(例如，物理环境100中的固定点)并且跟踪附加图像中的固定参考点。例如，在确定与物理第二设备130相对于物理第一设备120的位置和取向相关联的估计误差大于阈值时，物理第一设备120可运行定位算法，该定位算法使用参考点来跟踪空间中的移动(例如，同时定位和映射(SLAM))。在一些具体实施中，惯性测量设备可在高于跟踪系统执行跟踪测量的频率下执行惯性测量。因此，来自惯性测量设备的惯性测量可主要由处理系统用于确定用户110、物理第一设备120、物理第二设备130或用户身体的一部分的移动，并且可基于跟踪数据以给定间隔进行校正。在一些具体实施中，使用其他跟踪系统诸如物理环境100或物理第二设备130中的固定位置处的发射器。例如，物理第一设备120或物理第二设备130上的传感器可检测来自发射器的信号，并且基于发射的信号确定物理环境100内的用户110、物理第一设备120或物理第二设备130的位置。

此外，物理第一设备120(例如，坐标系102)的坐标系可与物理第二设备130(例如，坐标系102)的坐标系同步。此类同步还可补偿两个设备中的一个不能有效地跟踪物理环境100的情况。例如，不可预测的照明条件可导致跟踪场景的能力降低，或者过度运动(例如，太远、太快或太剧烈摇晃)可导致图像模糊或用于跟踪视频帧之间的特征的距离太大，降低跟踪质量。

图2示出了图1的示例性物理环境100，其包括物理第一设备120的显示器125。在一些具体实施中，物理第一设备120(例如，HMD)经由显示器125向用户110呈现虚拟场景205。例如，如果虚拟场景205表示海洋海滩，则可在物理第一设备120的显示器125上呈现与海洋海滩相对应的视觉感官内容。在一些具体实施中，虚拟附属物215(例如，用户的物理存在的表现形式(例如，物理附肢115))可呈现在虚拟场景205中。因此，在一些具体实施中，用户110仍然可在虚拟场景205中看到他们的物理存在的表示。

在一些具体实施中，物理第一设备120可通过利用物理第一设备120的图像传感器122收集图像数据来确定物理第二设备130、用户110或物理附肢115的位置或取向。此外，在一些具体实施中，虚拟场景205可包括虚拟第二设备230和虚拟第二设备230的虚拟显示器235，例如，物理第二设备130的虚拟表示和物理第二设备130的物理显示器135。例如，用户110可用保持物理第二设备130的臂(例如，物理附肢115)伸出。因此，虚拟场景205可包括虚拟附肢215，以及虚拟第二设备230。

图3A示出了由图1的物理第二设备130显示的标记物310。在一些具体实施中，用户110不能查看物理第二设备130的物理显示135，因为用户110沉浸在虚拟场景205中。因此，在一些具体实施中，物理第二设备130在物理第二设备130的物理显示器135上显示标记物310，以便于物理第一设备120跟踪物理第二设备130。在一些具体实施中，标记物310用作物理第一设备120的参考点，以准确跟踪物理第二设备130的位置和旋转。在一些具体实施中，标记物310显示在物理第一设备120的面向前的显示器上，并且标记物310用作物理第二设备130的参考，以准确地跟踪物理第一设备120的位置和旋转。例如，标记物310的显示可允许物理第二设备130估计所需的姿势自由度(平移和旋转)以确定标记物310的姿势。因此，通过在一个设备上显示标记物310(例如，已知图案)并用另一个设备跟踪标记物，增强了一个设备跟踪另一个设备的能力，例如，可校正/最小化由惯性测量设备的惯性测量的误差引起的漂移。例如，可通过将标记物310的姿势与惯性测量设备的惯性测量相结合来增强跟踪。

在一些具体实施中，标记物310是包含纹理/信息的图像，该纹理/信息允许检测图像并且使得可能确定图像相对于相机的姿势。在一些具体实施中，标记物310是图案，且在一些具体实施中，标记物是单数指示符。例如，标记物310可包括网格、交叉影线、象限标识符、屏幕边界等。在一些具体实施中，标记物310被预先确定并存储在物理第二设备130上。在一些具体实施中，标记物310被传送到物理第一设备120，并且在一些具体实施中，标记物310由物理第一设备120确定并传送到物理第二设备130。在一些具体实施中，标记物310被传送到物理第二设备130，并且在一些具体实施中，标记物310由物理第二设备130确定并且被传送到物理第一设备120。

在一些具体实施中，仅在屏幕对另一个设备可见时才显示标记物310。例如，当物理显示器135对物理第一设备120可见时，标记物310可仅显示在物理第二设备130的物理显示器135上。在一些具体实施中，另一设备检测标记物310的障碍物。例如，可通过利用图像传感器122收集图像数据来可视地检测物理显示器135的障碍物。又如，可基于触摸传感器检测标记物310的障碍物。例如，物理显示器135的触摸屏可检测障碍物(例如，放置在标记物的显示器上的手指)。在一些具体实施中，当检测到标记物310的障碍物时，标记物310仅显示在显示器的某些部分上。例如，如果用户100阻挡物理显示器135的一部分(例如，用手指)，则可检测到障碍物(例如，视觉上或基于触摸传感器)，并且标记物310可显示在物理显示器135的无阻挡部分上。

图3B示出了表示图1的物理第二设备130的虚拟表示的虚拟第二设备230。在一些具体实施中，虚拟第二设备230包括虚拟显示器235。在一些具体实施中，物理第二设备130用作虚拟体验的控制器，例如，物理显示器135的触摸屏输入由物理第二设备130检测并作为输入发送到物理第一设备120。例如，用户110可经由物理第二设备130的输入接口与虚拟场景205进行交互。因此，物理第二设备130可在虚拟场景205中呈现为虚拟第二设备230，其包括虚拟显示器235。在一些具体实施中，虚拟显示器235可呈现虚拟控制器320，其包括一个或多个控件、可选择按钮或交互式或非交互式对象的任何其他组合。例如，用户110可通过基于物理第二设备130(例如，虚拟第二设备230)的虚拟表示与物理第二设备130交互来导航虚拟场景205。

在一些具体实施中，物理第二设备130的虚拟表示能够是二维区域，其增加可在特定时间呈现的数据的量(例如，对象的虚拟表示)，从而改善用户110的虚拟体验。此外，虚拟第二设备230可具有与输入设备(例如，物理输入设备)成比例的维度。例如，用户110可更有效地与物理第二设备130进行交互，因为由用户110通过物理第二设备130提供的输入在视觉上对应于虚拟第二设备230中的该输入的指示。具体地，用户110可能够在物理地与物理第二设备130进行交互时查看虚拟第二设备230，并且用户110可预期他们通过虚拟第二设备230的输入将对应于物理第二设备130处的类似输入(或交互)。另外，因为虚拟第二设备230的虚拟显示器235上的每个位置可对应于物理第二设备130的物理显示器135上的单个位置，所以用户110可使用在虚拟第二设备230的虚拟显示器235上呈现的虚拟控制器320来导航虚拟场景205(例如，直到并包括虚拟表示的边界)。

图4是根据一些具体实施的物理第一设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，物理第一设备120包括一个或多个处理单元402(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器406、一个或多个通信接口408(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口410、一个或多个显示器412、一个或多个面向内部或面向外部的图像传感器414、存储器420以及用于互连这些部件和各种其他部件的一条或多条通信总线。

在一些具体实施中，一条或多条通信总线包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器406包括以下项中的至少一个：IMU、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器412被配置为向用户110呈现用户界面。在一些具体实施中，一个或多个显示器412对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)、视网膜投影系统或类似显示器类型。在一些具体实施中，一个或多个显示器412对应于衍射、反射、偏振、全息或波导显示器。在一个示例中，物理第一设备120包括单个显示器。在另一个示例中，物理第一设备120包括用于用户110的每只眼睛的显示器。在一些具体实施中，一个或多个显示器412能够呈现CGR环境。

在一些具体实施中，一个或多个图像传感器系统414被配置为获得对应于物理环境100的至少一部分的图像数据。例如，一个或多个图像传感器系统414可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统414还包括在物理环境100上发射光的照明源，诸如闪光灯或照明。

存储器420包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器420包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器420任选地包括远离一个或多个处理单元402定位的一个或多个存储设备。存储器420包括非暂态计算机可读存储介质。在一些具体实施中，存储器420或者存储器420的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者他们的子集，其中包括任选的操作系统430和用户界面模块440。

操作系统430包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。在一些具体实施中，用户界面模块440被配置为呈现用户界面，其利用惯性和图像跟踪来识别物理第二设备130的位置并且经由一个或多个显示器412呈现物理第二设备130的虚拟表示。为此，在各种具体实施中，用户界面模块440包括惯性跟踪单元442、图像跟踪单元444、漂移校正单元446和呈现单元448。

在一些具体实施中，惯性跟踪单元442被配置为获得惯性数据且使用该惯性数据来确定物理第一设备120的位置或定位。在一些具体实施中，惯性跟踪单元还可从物理第二设备130获得惯性数据，并且使用惯性数据来确定物理第二设备130的位置。在一些具体实施中，惯性跟踪单元可确定物理第二设备130相对于物理第一设备120的相对位置和旋转。为此，在各种具体实施中，惯性跟踪单元442包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，图像跟踪单元444被配置为获得图像数据且使用该数据来识别物理第一设备120的位置。例如，图像跟踪444单元可跟踪图像中的变化以识别物理第一设备120的移动。在一些具体实施中，图像跟踪单元444可识别图像数据中的界标或参考点以识别物理第一设备120的位置。在一些具体实施中，物理第一设备120可从物理第二设备130接收图像数据，并且使用所接收的图像数据来确定物理第一设备120或物理第二设备130的位置。在一些具体实施中，图像跟踪单元444可识别由物理第二设备130显示的标记物310，以识别物理第二设备130的相对位置和旋转。为此，在各种具体实施中，图像跟踪单元444包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，漂移校正单元446被配置为使用图像跟踪数据来关联惯性跟踪数据并确定物理第一设备120、物理第二设备130的位置和旋转校正或物理第一设备120和物理第二设备130的相对位置。为此，在各种具体实施中，漂移校正单元446包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，呈现单元448被配置为经由一个或多个显示器412呈现内容。在一些具体实施中，内容包括物理第二设备130(例如，虚拟第二设备230)的虚拟表示，其中基于物理第二设备130的所确定的相对位置来呈现物理第二设备130的虚拟表示。为此，在各种具体实施中，呈现单元448包括用于其的指令或逻辑以及其启发式和元数据。

尽管惯性跟踪单元442、图像跟踪单元444、漂移校正单元446和呈现单元448被示出为驻留在单个设备(例如，物理第一设备120)上，但是应当理解，在其他具体实施中，这些单元的任何组合可位于单独的计算设备中。

此外，图4更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目能够组合，并且一些项目能够分开。例如，图4中单独示出的一些功能模块能在单个模块中实现，并且单个功能块的各种功能能在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图5是根据一些具体实施的物理第二设备130的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，物理第二设备130包括一个或多个处理单元502(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器506、一个或多个通信接口508(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口510、一个或多个显示器512、一个或多个面向内部或面向外部的图像传感器系统514、存储器520以及用于互连这些部件和各种其他部件的一条或多条通信总线504。

在一些具体实施中，一条或多条通信总线504包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器506包括以下项中的至少一个：IMU、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器512被配置为向用户110呈现用户界面。在一些具体实施中，一个或多个显示器512对应于全息、DLP、LCD、LCoS、OLET、OLED、SED、FED、QD-LED、MEMS、视网膜投影系统或类似的显示器类型。在一些具体实施中，一个或多个显示器512对应于衍射、反射、偏振、全息或波导显示器。在一个示例中，物理第二设备130包括单个显示器。在一些具体实施中，一个或多个显示器412能够呈现CGR环境。

在一些具体实施中，一个或多个图像传感器系统514被配置为获得对应于物理环境100的至少一部分的图像数据。例如，一个或多个图像传感器系统514可包括一个或多个RGB相机(例如，具有CMOS图像传感器或CCD图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统514还包括在物理环境100上发射光的照明源，诸如闪光灯或照明。

存储器520包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器520包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器520任选地包括远离一个或多个处理单元502定位的一个或多个存储设备。存储器520包括非暂态计算机可读存储介质。在一些具体实施中，存储器520或者存储器520的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者他们的子集，其中包括任选的操作系统530和用户界面模块540。

操作系统530包括用于处理各种基础系统服务和用于执行硬件相关的任务的过程。在一些具体实施中，用户界面模块540被配置为经由一个或多个显示器512呈现标记物310，其有助于物理第一设备120的图像跟踪。为此，在各种具体实施中，用户体验模块540包括惯性跟踪单元542、标记物显示单元544、漂移校正单元546和控制器单元548。

在一些具体实施中，惯性跟踪单元542被配置为获得惯性数据且使用该惯性数据来确定物理第二设备130的位置或定位。在一些具体实施中，惯性跟踪单元542还可从物理第一设备120获得惯性数据，并且使用该惯性数据来确定物理第一设备120的位置。在一些具体实施中，惯性跟踪单元542可确定物理第二设备130相对于物理第一设备120的相对位置和旋转。为此，在各种具体实施中，惯性跟踪单元542包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，标记物显示单元544被配置为在物理第二设备130的物理显示器135上显示标记物310。在一些具体实施中，物理第二设备130上显示的标记物310有助于物理第一设备120检测物理环境100中的物理第二设备130。例如，物理第一设备120可收集包括在物理第二设备130上显示的标记物310的图像数据，并且通过检测图像数据中的标记物310来识别物理第二设备130的位置。为此，在各种具体实施中，图像跟踪单元544包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，漂移校正单元546被配置为使用图像跟踪数据来关联惯性跟踪数据并且确定物理第一设备120、物理第二设备130的位置和旋转校正或物理第一设备120和物理第二设备130的相对位置。为此，在各种具体实施中，漂移校正单元446包括用于其的指令或逻辑以及其启发式和元数据。

在一些具体实施中，控制器单元548被配置为从用户110接收物理第二设备130处的输入，其中输入与物理第一设备120呈现给用户110的虚拟接口相关联。例如，用户110可通过在物理第二设备130的触摸屏上进行控制器选择来导航物理环境100中的虚拟场景205，其中用户输入对应于物理第一设备120呈现的第二设备的虚拟表示。为此，在各种具体实施中，控制器单元548包括用于其的指令或逻辑以及其启发式和元数据。

尽管惯性跟踪单元542，标记物显示单元544，漂移校正单元546和控制器单元548被示为驻留在单个设备(例如，物理第二设备130)上，但是应当理解，在其他实现中，这些单元的任何组合可位于单独的计算设备中。

此外，图5更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

图6示出了根据一些具体实施的示例性物理第一设备120(例如，头戴式设备)的框图。物理第一设备120包括容纳物理第一设备120的各种部件的外壳601(或封装件)。外壳601包括(或耦合到)设置在外壳601的近侧(用户110的)端部处的眼垫(未示出)。在各种具体实施中，眼垫是塑料或橡胶件，其舒适且贴合地将物理第一设备120(例如，头戴式设备)保持在用户110的面部上的适当位置(例如，围绕用户110的眼睛)。

外壳601容纳显示器610，显示器610显示图像，朝向用户110的眼睛发射光或将光发射到用户110的眼睛上。在各种具体实施中，显示器610通过具有一个或多个透镜605的目镜发射光，该透镜605折射由显示器610发射的光，使显示器对用户110显示为比从眼睛到显示器610的实际距离更远的虚拟距离。为了使用户110能够聚焦在显示器610上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

外壳601还容纳跟踪系统，该跟踪系统包括一个或多个光源622、相机624和控制器680。一个或多个光源622将光发射到用户110的眼睛上，其反射为能由相机624检测的光图案(例如，闪光圈)。基于光图案，控制器680能确定用户110的眼睛跟踪特性。例如，控制器680能确定用户110的注视方向或眨眼状态(睁眼或闭眼)。又如，控制器680能确定瞳孔中心、瞳孔大小或关注点。因此，在各种具体实施中，光由一个或多个光源622发射，从用户110的眼睛反射，并且由相机624检测。在各种具体实施中，来自用户110的眼睛的光在到达相机624之前从热镜反射或通过目镜。

显示器610发射第一波长范围内的光，并且一个或多个光源622发射第二波长范围内的光。类似地，相机624检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内的波长范围约为400-700nm)，并且第二波长范围是近红外波长范围(例如，近红外光谱内的波长范围约为700-1400nm)。

在各种具体实施中，眼睛跟踪(或者具体地，确定的注视方向)用于使用户110能够进行交互(例如，用户110通过观看他来选择显示器610上的选项)，提供有孔的渲染(在用户110正在观看的显示器610的区域中呈现更高的分辨率并且在显示器610上的其他地方呈现更低的分辨率)，或者校正失真(例如，对于要在显示器610上提供的图像)。

在各种具体实施中，一个或多个光源622朝向用户110的眼睛发射光，所述光以多个闪烁的形式反射。

在各种具体实施中，相机624是基于帧/快门的相机，其在特定时间点或以帧速率的多个时间点生成用户110的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。

在各种具体实施中，相机624是在多个相应位置处包括多个光传感器(例如，光传感器矩阵)的事件相机，该多个光传感器响应于特定光传感器检测到光强度变化生成指示特定光传感器的特定位置的事件消息。

图7是根据一些具体实施的与虚拟环境进行交互的方法700的流程图表示。在一些具体实施中，方法700由设备(例如，图1、图2、图4和图6的物理第一设备120)执行，诸如HMD、移动设备、台式计算机、膝上型计算机或服务器设备。在该示例中，方法700在具有用于显示图像的一个或多个显示器的设备(例如，物理第一设备120)上执行，因此可在物理第一设备120本身上执行方法700的特征中的一些或全部。在其他具体实施中，在多于一个设备上执行方法700，例如，物理第一设备120可无线接收来自外部相机的图像或者将图像传输到单独的设备。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

虚拟场景205包括显示在HMD的显示器的显示空间的至少一部分上并且通过HMD的一个或多个透镜观察的图像(例如，帧或其他图像的序列)。例如，可将内容诸如电影、描绘3D内容的图像序列、一系列VR图像或一系列其他CGR图像呈现在HMD上或提供给HMD以供呈现。图像可包括显示在显示空间中的一些或全部上的任何内容。每个图像可例如根据帧速率来替换序列中的先前图像中的一些或全部。在一些具体实施中，图像在显示器的显示空间中完全替换序列中的先前图像。在一些具体实施中，图像仅替换显示空间的一部分，并且显示空间的剩余部分中的一些或全部被来自序列中的先前图像的内容占据或通过透视显示器看到。

在框710处，方法700使用具有第一显示器的第一设备的图像传感器来获得物理环境的图像，该图像包括显示在第二设备的第二显示器上的标记物。例如，第一设备可以是包括相机的HMD，并且第二设备可以是具有触摸屏显示器的手持式设备。在一些具体实施中，可在手持式设备的触摸屏显示器上显示标记物(例如，独特图案)，并且包括标记物的物理环境的图像可由HMD的相机获得。

在框720处，方法700基于标记物确定第二设备相对于第一设备的相对位置和取向。例如，可分析图像中的标记物的尺寸、形状、角度或其他可观察的特性，以确定标记物相对于第一设备(例如，具有从其获得图像的相机的设备)的相对位置和取向。在另一个示例中，标记物包括图案中的多个点，并且标记物的图像中的点之间的相对距离用于确定标记物相对于第一设备的相对位置和取向。在这些示例中，由于第二设备上的标记物的位置是已知的，因此可相应地确定第二设备相对于第一设备的相对位置和取向。

一旦基于标记物或以其他方式使用图像数据来确定相对位置和取向，则可经由惯性测量来更新设备的相对位置和取向。在一些具体实施中，第一设备和第二设备中的一个或两个包括相对惯性测量系统，其基于惯性测量确定相对惯性运动。例如，可同步来自第一设备和第二设备的惯性测量，以便确定第一设备和第二设备的相对运动。在一些具体实施中，可使用最近接收的惯性测量来确定相对移动，例如，可在时间间隔和先前时间间隔测量惯性测量以确定相对移动。相对惯性运动可用于确定第二设备相对于第一设备的相对位置和取向。然而，基于惯性测量的频率，可导致诸如漂移影响的不准确性。

在一些具体实施中，通过利用图像数据来最小化与惯性测量相关联的不准确性。在一些具体实施中，方法700识别在框710处获得的图像中的标记物的位置。例如，第一设备可识别图像中的标记物，并且基于图像中标记物的位置计算第二设备的相对旋转或位置。此外，方法700可仅基于图像数据中的标记物的位置来确定第二设备相对于第一设备的相对位置和取向，例如，在不使用惯性测量的情况下。

在框730处，方法700基于第二设备的相对位置和取向在第一显示器上显示第二设备的表示，该表示包括定位成代替图案的虚拟内容。例如，用户可经由第一设备(例如，HMD)看到第二设备的表示。在一些具体实施中，第二设备的表示可显示控制器或虚拟交互和非交互内容的任何组合。因此，用户可使用控制器或可选择的内容来与CGR体验进行交互或引导CGR体验。

图8是根据一些具体实施的与虚拟环境进行交互的方法800的流程图表示。在一些具体实施中，方法800由设备(例如，图1-3和图5的物理第二设备130)执行，诸如移动设备、台式计算机、膝上型计算机或服务器设备。在该示例中，方法800在至少一个设备(例如，图1-3和图5的物理第二设备130)上执行，该设备具有用于显示图像的至少一个或多个显示器，因此可在物理第二设备130本身上执行方法800的特征中的一些或全部。在其他具体实施中，在多于一个设备上执行方法800，例如，物理第二设备130可无线接收来自外部相机的图像或者将图像传输到单独的设备。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框810处，方法800使用具有第一显示器的第一设备的图像传感器来获得物理环境的图像，该图像包括在第二显示器上显示的标记物。例如，第一设备可以是具有触摸屏显示器和相机(例如，物理第二设备130)的手持式设备，并且第二显示器可以是HMD的面向前的显示器(例如，物理第一设备120)。在一些具体实施中，标记物(例如，独特图案)可显示在HMD的第二显示器上，并且包括标记物的物理环境的图像可由手持式设备的相机获得。

在框820处，方法800基于标记物确定HMD相对于第一设备的相对位置和取向。例如，可分析图像中的标记物的尺寸、形状、角度或其他可观察的特性，以确定标记物相对于第一设备(例如，具有从其获得图像的相机的设备)的相对位置和取向。在另一个示例中，标记物包括图案中的多个点，并且标记物的图像中的点之间的相对距离用于确定标记物相对于第一设备的相对位置和取向。在这些示例中，由于第二显示器上的标记物的位置是已知的，因此能相应地确定第二设备相对于第一设备的相对位置和取向。

一旦基于标记物或以其他方式使用图像数据来确定相对位置和取向，则能经由惯性测量来更新设备的相对位置和取向。在一些具体实施中，第一设备和HMD中的一个或两个包括相对惯性测量系统，其基于惯性测量确定相对惯性运动。例如，可同步来自第一设备和第二HMD的惯性测量，以便确定第一设备和HMD的相对运动。在一些具体实施中，可使用最近接收的惯性测量来确定相对移动，即，可在时间间隔和先前时间间隔测量惯性测量以确定相对移动。相对惯性运动可用于确定HMD相对于第一设备的相对位置和取向。然而，基于惯性测量的频率，可导致诸如漂移影响的不准确性。

在一些具体实施中，通过利用图像数据来最小化与惯性测量相关联的不准确性。在一些具体实施中，方法800识别在框810处获得的图像中的标记物的位置。例如，第一设备可识别图像中的标记物，并且基于图像中标记物的位置计算HMD的相对旋转或位置。此外，方法800可仅基于图像数据中的标记物的位置来确定HMD相对于第一设备的相对位置和取向，例如，在不使用惯性测量的情况下。

在一些具体实施中，第二设备上的光源(例如，一系列LED、基于像素的显示器等)在给定的时刻产生光，该光编码可用于同步经由该第二设备生成的运动数据(例如，加速度计数据、IMU数据等)的数据，其中第二设备的图像由第一设备捕获。

图9是使用基于光的指示器来跟踪设备的移动以编码设备移动或同步数据的方法900的流程图表示。在一些具体实施中，方法900由设备(例如，物理第一设备120)执行，诸如HMD、移动设备、台式计算机、膝上型计算机或服务器设备。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框910处，方法900使用第一设备的图像传感器获得物理环境的图像。该图像包括第二设备的描述。第二设备的描述包括通过第二设备上的光源提供的基于光的指示器的描述。在一些具体实施中，基于光的指示器具有多个LED，其产生光的二进制图案，该光编码运动数据(例如，加速计数据或IMU数据)或与经由第二设备生成运动数据相关联的时间数据。例如，第二设备的基于光的指示器可以是产生编码在第二设备处生成的当前运动数据的光的二进制图案的多个LED。又如，此类LED可产生编码与经由第二设备生成运动数据相关联的时间数据的光的二进制图案，例如，设备上的运动传感器捕获相对于提供二进制图案的时间的数据的时间。在其他具体实施中，第二设备包括基于像素的显示器，该显示器显示编码第二设备的运动或时间数据的图案。在其他具体实施中，该第二设备包括IR光源，该光源产生编码第二设备的运动或时间数据的IR光的图案。

在框920处，该方法基于对基于光的指示器的描述，将经由第二设备生成的运动数据与由第一设备执行的处理同步。在一些具体实施中，运动数据包括关于第二设备的移动或定位的传感器数据。例如，来自第二设备(例如，控制器设备)的加速度计数据可与第一设备(例如，头戴式设备(HMD))捕获的第二设备的图像同步。在一些具体实施中，图像的捕获时间可与加速度计数据的捕获时间精确地同步。因此，使用图像进行的任何基于计算机视觉的确定(例如，相对定位或第二设备和其他对象)可与第二设备的传感器在同一时刻跟踪的第二设备的运动数据相关联或以其他方式同步。可在不需要设备之间的无线通信的情况下(例如，没有蓝牙、wifi等)实现同步。使用基于光的指示器来提供运动数据本身或者用于同步通过其他信道接收的运动数据的时间数据可更简单，时间和能量更有效，在没有此类基于光的指示器通信的情况下，尝试使用wifi或蓝牙通信同步多个设备更准确。在一些具体实施中，两个设备能够精确地同步他们各自的时钟(例如，确定时钟偏移)，而不需要wifi或蓝牙时间同步通信。在一些具体实施中，第二设备包括光源，该光源在给定时刻产生光，该光将被捕获在单个图像中并且编码运动数据或时间同步数据。在一些具体实施中，此类数据在多个时刻被传送，例如，在时间1提供第二设备的当前位置，在时间2提供第二设备的当前位置，等等。

在一些具体实施中，第二设备是智能手机、平板电脑或其他移动设备。在一些具体实施中，第二设备是铅笔、笔、触控板或包括光源的其他手持或手控设备。在一些具体实施中，第二设备是手表、手镯、臂带、踝带、腰带、头带、帽子、戒指、衣物或包括光源的其他可穿戴设备。

在一些具体实施中，第二设备包括发射可见光谱中的光的光源。在一些具体实施中，光源在光谱的IR或其他不可见部分中发射光。在一些具体实施中，光源在光谱的可见和不可见部分中发射光。

在一些具体实施中，光源通过显示二进制图案、条形码、QR码、2D码、3D码、图形(例如，具有方向和指示大小的大小/长度的箭头)来显示基于光的指示器。在一个具体实施中，光源包括八个LED，其被配置为发出八位二进制图案，其指示与特定位置或移动相关联的数值，例如，从先前时间到当前时间的移动的方向和/或大小。在一些具体实施中，基于光的指示器对移动数据的多个方面进行编码，例如，运动传感器的3个自由度(例如，x，y，z)中的每一个中的移动。在一些具体实施中，基于光的指示器的闪烁或其他基于时间的指示提供了在将第二设备的运动数据与第二设备的图像同步时有用的附加信息。

在框930处，该方法基于运动数据与图像的同步来生成控制信号。例如，如果第二设备的运动数据与旨在移动第一设备上显示的相关联的游标的第二设备的移动相关联，则该方法可生成适当的信号以引起光标的此类移动。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、设备或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元件，但是这些元件不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”(“a”“an”)和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“comprises”或“comprising”)本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法，包括：

在包括处理器、计算机可读存储介质、图像传感器和第一显示器的第一设备处：

使用所述图像传感器获得物理环境的图像，所述图像包括显示在第二设备的第二显示器上的标记物；

基于所述标记物确定所述第二设备相对于所述第一设备的相对位置和取向；以及

基于所述第二设备的所述相对位置和取向来生成控制信号。

2.根据权利要求1所述的方法，其中所述所生成的控制信号基于所述第二设备上的输入，其中所述第一设备使用所述第二设备的所述位置和取向以使所述第二设备能够用作三维(3D)控制器、3D指针或用户界面输入设备。

3.根据权利要求1所述的方法，其中所述所生成的控制信号修改由所述第一设备显示的用户界面元件。

4.根据权利要求1所述的方法，其中所述第一设备是头戴式设备，并且所述第二设备包括触摸屏。

5.根据权利要求1所述的方法，还包括在所述第一显示器上显示真实世界内容，其中所述真实世界内容包括所述物理环境的表示。

6.根据权利要求1所述的方法，还包括基于所述第一设备和所述第二设备随时间的运动跟踪，随时间调整所述第二设备相对于所述第一设备的所确定的相对位置和取向，其中所述运动跟踪包括使用所述图像传感器获得所述物理环境的附加图像，所述附加图像包括在所述第二设备的所述第二显示器上显示的标记物。

7.根据权利要求6所述的方法，其中所述运动跟踪包括从所述第一设备或所述第二设备的IMU传感器获得惯性测量单元(IMU)数据。

8.根据权利要求1所述的方法，还包括：

检测到与所述第二设备相对于所述第一设备的相对位置和取向相关联的估计误差大于阈值；以及

根据检测到所述估计误差大于所述阈值：

获得包括所述标记物的附加图像；以及

基于所述附加图像来随时间调整所述第二设备相对于所述第一设备的所确定的相对位置和取向。

9.根据权利要求1所述的方法，还包括基于检测到所述图像传感器和所述第二显示器之间的障碍物或第二显示器上的触摸事件来确定将所述标记物定位在所述第二显示器的仅一部分上。

10.根据权利要求1所述的方法，还包括基于以下确定所述标记物：

检测所述第一设备和所述第二设备的相对运动、位置或旋转；

所述物理环境的属性；或者

所述物理环境的照明条件。

11.根据权利要求1所述的方法，还包括：

基于所述第二设备的所述相对位置和取向在所述第一显示器上显示所述第二设备的表示，所述表示包括定位成代替所述标记物的虚拟内容。

12.根据权利要求11所述的方法，其中定位成代替所述标记物的所述虚拟内容包括对应于与CGR环境的交互的控件。

13.根据权利要求12所述的方法，还包括：

获得指示所述第二设备上与所述控件相对应的触摸事件的数据；以及

响应于所述触摸事件来发起与所述CGR环境的所述交互。

14.一种方法，包括：

在包括处理器、计算机可读存储介质、图像传感器和第一显示器的第一设备处：

使用所述图像传感器来获得物理环境的图像，所述图像包括在第二显示器上显示的标记物，其中所述第二显示器是头戴式设备(HMD)的面向前的显示器；以及

基于所述标记物确定所述HMD相对于所述第一设备的相对位置和取向。

15.根据权利要求14所述的方法，其中所述HMD显示CGR环境，其中基于所述HMD相对于所述第一设备的所述相对位置和取向，在所述CGR环境中示出所述第一设备的表示。

16.根据权利要求14所述的方法，还包括：

在所述第一设备的所述第一显示器上接收触摸事件；以及

响应于所述触摸事件来发起与所述CGR环境的交互。

17.一种方法，包括：

在包括处理器、计算机可读存储介质、图像传感器和第一显示器的第一设备处：

使用所述图像传感器来获得物理环境的图像，所述图像包括第二设备的描述，所述第二设备的所述描述包括经由所述第二设备上的光源提供的基于光的指示器的描述；

基于对基于光的指示器的描述，使经由所述第二设备生成的运动数据与由所述第一设备执行的处理同步；以及

基于所述运动数据的所述同步来生成控制信号。

18.根据权利要求17所述的方法，其中所述基于光的指示器包括产生光的二进制图案的多个LED，所述光编码与经由所述第二设备生成所述运动数据相关联的所述运动数据或时间数据。

19.根据权利要求17所述的方法，其中所述基于光的指示器包括显示器，所述显示器产生基于像素的图案，所述图案编码与经由所述第二设备生成所述运动数据相关联的所述运动数据或时间数据。

20.根据权利要求17所述的方法，其中运动数据包括经由所述第二设备上的加速度计或惯性测量单元生成的数据。

Images