CN111857365A

CN111857365A - 用于头戴式设备的基于触笔的输入

Info

Publication number: CN111857365A
Application number: CN202010296398.3A
Authority: CN
Inventors: K·J·普尔; S·E·戴伊; T·J·内斯
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2019-04-19
Filing date: 2020-04-15
Publication date: 2020-10-30
Anticipated expiration: 2040-04-15
Also published as: US20200333891A1; CN111857365B; US11886650B2; US20240103644A1

Abstract

本公开提供了一种跟踪系统，所述跟踪系统包括：触笔，所述触笔包括光发射器；头戴式设备，所述头戴式设备包括光学传感器，所述光学传感器被配置为检测所述光发射器；以及处理器，所述处理器通信地耦接到所述光学传感器并被配置为基于对所述光发射器的检测来确定所述触笔的位置。

Description

用于头戴式设备的基于触笔的输入

相关申请的交叉引用

本申请要求2019年4月19日提交的名称为“STYLUS-BASED INPUT FOR A HEAD-MOUNTED DEVICE”的美国临时申请62/836,291的权益，其全部内容以引用方式并入本文。

技术领域

所描述的实施方案整体涉及用于电子设备的输入系统，并且更具体地涉及用于头戴式设备的基于触笔的输入。

背景技术

头戴式设备可以由用户穿戴以在该用户的视场内显示视觉信息。头戴式设备可以用作虚拟现实(VR)系统、增强现实(AR)系统和/或混合现实(MR)系统。用户可以观察头戴式设备提供的输出，诸如在显示器上提供的视觉信息。显示器可以可选地允许用户观察头戴式设备外部的环境。由头戴式设备提供的其他输出可以包括扬声器输出和/或触觉反馈。用户可以通过提供用于由头戴式设备的一个或多个部件进行处理的输入来进一步与头戴式设备交互。例如，当设备安装到用户的头部时，用户可以提供触觉输入、语音命令和其他输入。

附图说明

本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1示出了根据一些实施方案的具有头戴式设备和触笔的系统的示例的示意图。

图2示出了根据一些实施方案的触笔的示例的透视图。

图3示出了根据一些实施方案的具有一个或多个光发射器的触笔的示例的前视图。

图4示出了根据一些实施方案的具有一对光发射器的触笔的示例的前视图，该对光发射器具有不同空间图案。

图5示出了根据一些实施方案的具有光发射器的触笔的示例的前视图，该光发射器具有围绕触笔的圆周变化的图案。

图6示出了根据一些实施方案的具有多个相机的触笔的示例的前视图。

图7示出了根据一些实施方案的具有头戴式设备和触笔的系统的示例的框图。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，对于本领域的技术人员来说将清楚和显而易见的是，本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。

头戴式设备是用于多种应用程序的一项有吸引力的技术，并且可以用于提供沉浸式和交互式计算机生成的现实(CGR)。例如，头戴式设备可以用于提供VR或MR环境，该VR或MR环境可响应于用户在三维空间中的移动，以用于实现诸如游戏、视频娱乐和训练模拟等可能性的目的。头戴式设备可以配备有传感器或运动跟踪技术，以跟踪用户的头部的移动，并且在头戴式设备的输出中生成适当的响应(例如，音频、图形等)。

配备有跟踪或响应于用户或环境的其他移动的能力的系统可以为用户体验提供更好的沉浸感和新的可能性。例如，跟踪用户的手或其他物理对象的自由空间移动的能力可以允许在CGR环境中对对象进行三维操纵。附加地或组合地，希望为用户提供附加的工具，用户可以在穿戴头戴式设备时用该工具来观察物理环境或以其他方式与物理环境交互。

根据本文所公开的一些实施方案，包括头戴式设备和手持式触笔的系统可以用于跟踪用户的自由空间移动。触笔可以配备有一个或多个光发射器，并且头戴式设备可以配备有面向外的相机，该面向外的相机被配置为基于对光发射器的检测来传感触笔的移动。这种系统可以提供自给式跟踪系统，该自给式跟踪系统允许用户在三维空间中自由地移动手持式触笔，同时无需外部相机就能准确地传感触笔的自由空间移动。

附加地或组合地，触笔可以配备一个或多个相机，以便于跟踪触笔的移动或用于从触笔周围的物理环境采集附加的数据，以便影响由头戴式设备提供的输出。例如，触笔中的相机被配置为提供从穿戴头戴式设备的用户的视场被阻挡或隐藏的空间的视图，从而允许用户用触笔来在三维空间中环顾对象周围和在头戴式设备上查看遮挡或隐藏的空间。在一些实施方案中，在触笔中可以包括多个相机，诸如一个在主体区域中，而一个在尖端附近，使得触笔既能够观察触笔周围的三维环境，也能够观察触笔的尖端接触的界面表面。附加地或组合地，触笔中的一个或多个相机可以用于跟踪头戴式设备中的光发射器，以跟踪触笔的自由空间位置或提高与其他数据源结合地进行的跟踪确定的准确性。

下面参考图1至图7来讨论这些和其他实施方案。然而，本领域的技术人员将容易地理解，本文相对于这些附图所给出的详细描述仅出于说明性目的，而不应被理解为是限制性的。

图1示出了根据一些实施方案的具有头戴式设备200和触笔300的电子系统100的示例。头戴式设备200和触笔300可以各自被配置用于彼此交互以及与用户10交互。

如图1所示，头戴式设备200是可穿戴电子设备，其被配置为穿戴在用户10的头部20上。头戴式设备200可以被配置为以音频、图形、触觉和/或其他可观察的输出的形式向用户10提供输出。头戴式设备200可以包括能够经由固定元件250固定到用户的头部20的外壳210。固定元件250可以包括带、条带、边沿、眼镜框的镜腿、或用于将外壳210固定和保持在用户10的头部20上的任何其他合适的机构。固定元件250可以是外壳210的整体部分或被实现为附接到其上的单独部件。外壳210还可以包括或耦接到一个或多个鼻托或用于将外壳210搁置在用户10的鼻子上的其他特征部。

外壳210可以在其中包封和支撑各种功能部件，诸如集成电路、存储器设备、处理器、电子电路、输入/输出设备和/或其他电子部件。在图1中，头戴式设备200被示出为包括可被外壳210包封和/或支撑的显示器220、处理器230和传感器240。然而，头戴式设备200可以包括任何数量的部件，这些部件都可以被包括在外壳210和/或固定元件250中。

显示器220可以被配置为透射来自物理环境的光以供用户10查看。例如，显示器220可以被配置为除了由用户10查看的物理环境之外(例如，与物理环境重叠)还呈现信息。在此类实施方案中，显示器220可以例如包括用于视力矫正的透镜或用于修改由用户10看到的物理环境的视图的其他光学元件。另选地，显示器220可以被配置为呈现信息而不呈现物理环境。在任一情况下，显示器220可以被配置为呈现图形以例如向用户10呈现CGR环境。显示器220可以是面向内的显示器，其被配置为当用户穿戴头戴式设备时面向用户10的眼睛。

继续参考图1，用户10可以在穿戴头戴式设备200的同时与触笔300交互。触笔300是可由用户10的手40握住的手持式设备并可以支持用户10的操控和操作。例如，触笔300可以被配置为可在三维空间中自由地移动的无线设备。触笔300可以被配置为基于触摸的输入设备，其基于与在触笔300的终端处的尖端390的接触来向电子系统100和/或外部设备90提供输入。外部设备90可以是多种电子设备中的任一种，诸如例如智能电话、平板计算机、膝上型计算机、台式计算机、可穿戴设备、智能手表、便携式电子设备或其他电子设备。

尖端390可以被配置为接触界面表面50以提供输入。此类接触可由外部设备90和/或触笔300检测。例如，触笔300可以包括一个或多个传感器，该一个或多个传感器检测尖端390何时接触界面表面50。另选地或组合地，界面表面50可以包括触敏面板或数字化仪，以在被触笔300接触时检测输入。这种触敏面板可以与外部设备90的显示屏重叠或可以不与其重叠，并且来自触笔300的输入可以用于修改在外部设备90的显示屏上的信息(例如，以提供导航、指向输入、书写输入等)。触笔300和/或外部设备90中用于检测来自触笔300的基于触摸的输入的传感器可以包括一个或多个接触传感器、电容传感器、触摸传感器、相机、压电传感器、压力传感器、光电二极管和/或可操作以检测与界面表面50的接触的其他传感器。另选地或组合地，电子系统100可以被配置为例如通过使用头戴式设备200和/或触笔300中的传感器传感触笔300的移动并将此类输入转换为呈现在头戴式设备的显示器220上的可见响应来使用非活动表面或环境的任何表面作为界面表面50。

系统100可以被配置为跟踪触笔300在三维空间中的位置、取向和/或移动。附加地或组合地，触笔300的特征可以用于从物理环境采集数据，该数据可以用于影响由头戴式设备200提供给用户10的输出。

如图1所示，触笔可以包括光发射器315。光发射器315可以发射可见(例如，红色、绿色、蓝色等)和/或不可见光谱(例如，红外、紫外等)中的光，这些光可以由头戴式设备200检测或跟踪。例如，头戴式设备的传感器240可以包括对由光发射器315发射的光敏感的光学传感器，诸如相机。相机可以被配置为面向外的相机，该面向外的相机被配置为背对用户10的头部20，使得相机具有在头戴式设备200外部的环境的视场。例如，面向外的相机可以具有被配置为与用户的视场重叠的视场。

处理器230可以耦接到传感器240并被配置为处理来自传感器240的数据以确定触笔300在三维空间中的位置。例如，处理器230可以分析来自传感器240的图像以检测在图像中对应于光发射器315的一个或多个不同点。处理器230可以使用任何标准对象检测或跟踪算法来分析用传感器240捕获的图像以检测图像中的光发射器315，其中光发射器提供高度不同且有区别的点来确定触笔的位置。可以通过跨图像序列检测光发射器315并跨不同图像确定光发射器315的运动矢量以确定光发射器315的位置的对应于触笔300的移动的变化来完成运动跟踪。在一些实施方案中，光发射器315可以包括分开已知固定距离的一对光源，该固定距离可以由处理器230进行三角测量以确定旋转、缩放或可能难以仅使用跨图像跟踪的单个光发射器或单个有区别的点来区分的其他移动。

头戴式设备200可以被进一步配置为基于对光发射器315的检测来在显示器220上显示图形。例如，处理器230可以被配置为在显示器220上呈现的CGR中生成虚拟对象，其中在CGR环境中显示的虚拟对象的位置对应于触笔300的确定的位置。附加地或另选地，处理器230可以被配置为基于对光发射器315的检测来跟踪触笔300的移动、取向或其他自由空间特性并将此类特性变换为图形响应或在头戴式设备200上呈现的其他输出。

继续参考图1，触笔300可以包括相机325。相机325可以被配置为光学地对在触笔300外的物理环境成像。此类图像信息可以用于跟踪触笔300的位置。例如，触笔300的相机325可以用于跟踪环境特征中的移动，并且触笔300的位置或移动可以基于用相机325检测到的环境特征中的移动来确定。在一些实施方案中，头戴式设备200可以配备有光发射器或其他视觉目标，并且触笔300的相机325可以用于检测头戴式设备200的光发射器。这种信息可以单独地使用，或与其他收集到的数据(诸如通过跟踪光发射器采集到的数据)结合地使用。组合这种数据可以增强准确性或提高由系统100进行的跟踪确定的置信度。

附加地或组合地，来自相机325的信息可以用于采集关于系统的物理环境的附加的数据。例如，相机325可以用于收集从用户10和/或头戴式设备200的传感器240的视场隐藏或遮挡的数据或图像空间。这种数据可以用于映射在其内电子系统100进行操作的物理环境的形貌。例如，映射可以用于影响混合现实环境的虚拟对象与物理环境交互的方式。附加地或组合地，这种数据可以用于准许用户10在头戴式设备200的显示器220上查看本来从用户10的视场隐藏的物理环境的空间。例如，可以将用触笔300的相机325捕获的环境的图像直接地呈现在头戴式设备200的显示器220上，以准许用户10环顾物理环境中的对象周围或看到该对象的内部。此类图像可以包括静态图像和/或来自视频的图像。在一些实施方案中，可以将用触笔300的相机325捕获的视频实时地呈现在头戴式设备上，以准许用户使用触笔(如潜望镜)来在头戴式设备上查看隐藏或遮挡的空间。

附加地或组合地，触笔300和/或头戴式设备200可以包括一个或多个其他感测部件，该一个或多个其他感测部件可以包括非光学感测部件，诸如超声感测部件和/或电磁感测部件。例如，头戴式设备200可以配备有电磁传输器，并且触笔300可以配备有电磁接收器，该电磁接收器被配置为接收来自头戴式设备200上的传输器的电磁信号。作为另一个示例，在触笔300和头戴式设备200中的每者上可以包括各自被配置为既进行传输又进行接收的超声换能器，以便于进行跟踪。还设想了传输器、接收器或传输器/接收器的各种其他组合可以合适地用于头戴式设备200和触笔300，以便于跟踪触笔。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相比之下，CGR环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图2示出了根据一些实施方案的触笔300的示例。触笔300可以包括沿触笔300的总长度的至少一部分延伸的主体310。主体310可以是细长笔状主体，以准许用户10像握住或操纵笔或书写工具一样握住或操纵触笔300。用户10可以握在触笔300的主体310处，例如握在尖端390附近。触笔300可以包括锥形端部312，该锥形端部沿触笔300的纵向长度(例如，沿由细长主体限定的中心纵向轴线334)从主体310的外径朝向尖端390处的一点渐缩。

触笔300还可以包括控制输入358。控制输入358可以是输入部件设计，以接收与由尖端390提供的触摸输入分开的命令。例如，控制输入358可以包括按钮、触摸传感器、麦克风或能够接收来自手40或用户10的其他部位的输入的其他输入部件。控制输入358可以用于激活触笔300的部件，改变操作模式，改变设置，或提供支持对电子系统100的基于触笔的输入的其他功能。例如，控制输入358可以用于为触笔300通电或断电，激活光发射器315，激活相机325，激活相机325的快门，触发在头戴式设备200上呈现的CGR中的选择、导航或游戏输入，和/或提供其他输入。

图2示出了可用于限定触笔的自由空间移动的坐标系395的示例。设想的是，其他坐标系也可以被使用或可以等同于图2中所示的笛卡尔坐标系以用于跟踪触笔的位置、运动或取向的目的。此外，示出了相对于触笔300限定的坐标系395。然而，应当理解，可以针对相对于其他参考系(诸如相对于头戴式设备或重力参考系)限定的坐标系进行等效计算。

如图2所示，触笔300或主体310触笔可能够在三维空间中自由地移动，使得其在三维空间中具有六个自由度。坐标系395被示出为具有相互正交的X轴、Y轴和Z轴。X轴被示出为与触笔的纵向轴线334重合，并且Y轴和Z轴横向于纵向轴线334延伸和正交于纵向轴线334并彼此正交。触笔300的自由空间移动可以包括沿任何轴的平移和围绕任何轴的旋转。例如，触笔300的位置可以通过沿X轴、Y轴或Z轴中的任一者的平移移动来改变。作为另一个示例，触笔300的取向可以通过围绕X轴、Y轴或Z轴中的任一者的旋转移动来改变。围绕纵向轴线334(X轴)的旋转可以被称为侧倾，并且纵向轴线334可以被称为侧倾轴线。围绕其他两个轴线的旋转移动可以被称为俯仰和偏航。

根据一些实施方案，如本文所述的跟踪系统可以被配置为确定沿X轴、Y轴或Z轴中的任一者或多者的位置。位置确定可以包括绝对位置、相对位置和/或沿任何或所有此类轴线的位置的变化(平移)的确定。附加地或另选地，如本文所述的跟踪系统可以被配置为确定围绕X轴、Y轴或Z轴中的任一者或多者的取向。取向确定可以包括绝对取向、相对取向和/或围绕任何或所有此类轴线的取向的变化的确定。

图3至图5示出了根据一些实施方案的包括光发射器315的触笔300的示例。光发射器315可以包括被配置为发射可见和/或不可见光谱的光的任何适当的光发射设备或光源。示例包括发光二极管(LED)、激光器、电致发光线和其他电致发光设备。在一些实施方案中，光发射器315可以被实现为一个或多个红外(IR)LED，该一个或多个IR LED定位在触笔300的外壳内并被配置为透射红外光穿过触笔300的外壳的至少一部分的红外透射材料。此类特征可以通过呈现用户的肉眼不可见的LED并允许平滑的不透明外部外壳的外观来增强外观装饰设计。

图3示出了其中光发射器315包括沿主体310的长度纵向地间隔开(沿纵向轴线334间隔开)的一对光发射器315a和315b的示例。虽然示出了一对光发射器，但是应当理解，各种实施方案可以包括任何数量的光发射器。图3示出了从主体310径向向外传播的光锥317。然而，应当理解，光发射器315a和315b可以被配置为发射在任何适当的方向上向外传播的具有任何适当的空间特性或其他发射特性的光，诸如漫射光、准直光、偏振光等，以准许由头戴式设备200的传感器240进行的检测。

一对光发射器315a和315b被示出为定位在触笔300的主体310的相对端部部分处。该对光发射器包括：第一光发射器315a，其定位在触笔300的近端或后端附近；以及第二光发射器315b，其定位在触笔300的远端或前端附近，该远端或前端对应于包含尖端390的端部部分。与其中该对光发射器315a和315b纵向地定位得更靠近在一起(例如在主体的中心部分附近)的实施方式相比，将光发射器定位在相对端部或相对端部部分处通常可以增大分离距离D。与使用单个光发射器的实施方式相比，使用纵向地间隔开的一对光发射器可以更好地允许系统确定触笔300的取向信息，例如，围绕图2中所示的Y轴或Z轴的俯仰或偏航。更大分离距离可以提高确定的准确性或分辨率。在将另一个光发射器遮挡住的情况下，多个光发射器还可以通过提供来自相机的针对光发射器中的一个光发射器的视图来便于位置跟踪。分离距离D通常可以是至多为触笔的总长度的100％的任何非零量。在其中一对光发射器设置在触笔的相对端部部分处的实施方案中，分离距离可以是触笔300的总长度的至少75％。

一对光发射器315a和315b可以发射具有彼此相同特性的光。另选地，一对光发射器315a和315b可以具有它们发射的光的不同且可区分的特性。例如，一对光发射器可以被配置为发射不同波长或颜色的光。附加地或组合地，一对光发射器可以具有不同空间图案。为该对光发射器提供可区分的特性可以允许系统对触笔300的取向进行消歧。例如，当基于用头戴式设备200中的相机对一对光发射器315a和315b的检测来确定触笔的取向时，处理器230可能无法解决在触笔的取向上的180度模糊，从而产生关于尖端390朝向哪个方向指向和尖端390远离哪个方向指向的歧义。根据一些实施方案，处理器230可以被配置为基于光发射器的相对位置(例如基于不同发射波长和/或不同空间图案的相对位置)来对触笔300的取向进行消歧。

图4示出了根据一些实施方案的示例，其中一对光发射器315a和315b具有不同空间图案。在例示的示例中，第一光发射器315a被配置为沿主体310的圆周布置或换句话说是围绕纵向轴线334周向地布置的一系列点或离散段。第二光发射器315b被布置为围绕主体310的纵向轴线的周向环。然而，设想的是，不同光发射器可以使用不同或可区分的任何空间图案。此外，可以以任何合适的方式来实现不同空间图案，诸如，例如经由在不同光发射器中使用不同大小或形状的LED或经由准许光的不同空间布置通过其传播的不同切口或外壳开口来实现。

根据一些实施方案，如在图4中所示的第一光发射器315a那样，围绕触笔周向地布置的一系列点或离散段在主体310围绕纵向轴线334旋转时可以使第一光发射器315a的外观改变。外部相机(诸如头戴式设备200中的相机)可能能够检测到这种改变，使得系统可以确定触笔的改变或旋转。这可以允许用户例如以更大的自由度旋转虚拟对象或以其他方式与CGR环境交互。

根据一些实施方案，例如如图5所示，光发射器315可以具有在绝对或递变意义上变化的周向地变化的图案，以准许系统确定触笔围绕纵向轴线334的角位置。图5示出了触笔300的示例，其中周向地变化的图案包括一系列离散裸露物，基于触笔300的角位置，相机可以将其视为连续地更长的。然而，设想的是，可以使用在不同角位置具有多个可区分点的任何周向地变化的图案。例如，光发射器的波长或颜色可以沿圆周变化，或任何其他能够合适地检测的空间图案都可以被使用。

根据一些实施方案，触笔300可以包括相机325以便于数据的跟踪和/或采集。相机325被配置为从在触笔外的环境捕获图像，并且可以包括例如图像传感器，该图像传感器具有光电二极管阵列以及用于将图像聚焦到图像传感器阵列上的透镜或光学器件。图6示出了其中在触笔300中包括多个相机以用于感测不同类型的信息的示例。然而，设想的是，各种实施方案可以包括图6中所示的相机中的任一个或多个相机和/或附加的相机。

如图6所示，触笔可以包括指向不同方向的一对相机325a和325b。第一相机325a可以具有从主体310径向向外指向的第一视场372a。第一相机325a也被示出在触笔300的主体310上的近端或后端部分中。第一相机325a可以被配置为捕获在触笔300外或周围的环境的图像，诸如，以在人体工程学上准许用户环顾对象周围，和/或在尖端390接触界面表面50的同时捕获周围环境的图像。

第二相机325b可以具有朝向尖端390指向的第二视场372b。第二相机325b可以被配置为查看界面表面50。第二相机325b可以用于例如跟踪触笔在其沿或跨表面移动时的运动。这种相机可以跟踪在界面表面50的纹理中看见的变化，以确定触笔的运动，例如，以在基本上任何表面上的混合现实环境中实现书写或绘图功能。附加地或另选地，第二相机325b可以用于对与尖端390接触或接近的物理环境的颜色或其他特性进行采样。

根据一些实施方案，第三相机325c可以定位在主体310上，其中另一个第三视场372c从主体310径向向外指向与第一视场372a相反或以其他方式不同的方向。使用从主体径向向外指向的两个或更多个相机可以准许围绕触笔300的主体310的区域的更宽视场，任选地高达围绕触笔的360度视角。

电子系统100可以设有便于其操作的部件。图7示出了根据一些实施方案的系统100的各种部件，包括头戴式设备200和触笔300的部件。

如图7所示，触笔300可以包括用于接触表面(诸如外部设备90的界面表面50)的尖端390。尖端可以与传感器集成，所述传感器诸如一个或多个接触传感器、电容传感器、触摸传感器、相机、压电传感器、压力传感器、光电二极管和/或其他传感器。附加地或另选地，可以使尖端390是导电性的，以便于用其进行无源感测。

根据一些实施方案，触笔300可以包括具有一个或多个处理单元的处理器360，这些处理单元包括或被配置为访问上面存储有指令的存储器365。指令或计算机程序可以被配置为执行关于触笔300描述的操作或功能中的一者或多者。处理器360可以被实现为能够处理、接收或传输数据或指令的任何电子设备。例如，处理器360可以包括以下项中的一者或多者：微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。如本文所述，术语“处理器”意在涵盖单个处理器或处理单元、多个处理器、多个处理单元或一个或多个其他适当配置的计算元件。

存储器365可以存储可由触笔300使用的电子数据。例如，存储器365可以存储电子数据或内容，诸如例如音频和视频文件、文档和应用程序、设备设置和用户偏好、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器365可以被配置为任何类型的存储器。仅以举例的方式，存储器365可以被实现为随机存取存储器、只读存储器、闪存存储器、可移动存储器、或其他类型的存储元件、或此类设备的组合。

根据一些实施方案，触笔300可以包括通信部件366以用于与外部设备90和/或头戴式设备200通信。通信部件366可以包括一个或多个有线或无线部件、WiFi部件、近场通信部件、蓝牙部件和/或其他通信部件。通信部件366可以包括一个或多个传输元件，诸如一个或多个天线。另选地或组合地，通信部件366可以包括接口以用于有线连接。

根据一些实施方案，触笔300可以包括电源364，诸如一个或多个电池和/或电源管理单元。触笔300可以包括用于为电源364充电的部件。电源364可以用于为电子部件供电，所述电子部件诸如处理器360、光发射器315和相机325。

根据一些实施方案，触笔300可以包括光发射器315。光发射器315可以被配置为向头戴式设备200的传感器240发射光以跟踪触笔300，如本文进一步描述的。附加地或另选地，触笔300可以包括可由头戴式设备200中的传感器检测到的其他类型的发射器或传输器。例如，光发射器315可以用超声或电磁传输器代替，或者触笔300除光发射器315之外还可以包括超声或电磁传输器，该超声或电磁传输器传输由头戴式设备200接收的信号以便于进行对触笔300的跟踪。头戴式设备200的传感器240可以包括光学传感器、超声传感器、电磁传感器、或被配置为检测发射的光或以其他方式从触笔300接收信号的其他类型的传感器。

根据一些实施方案，触笔300可以包括相机325。相机可以配置为从在触笔300外的环境和/或从头戴式设备200的光发射器215或其他可视目标捕获数据。根据一些实施方案，用相机325来捕获的图像可以经由通信部件366被传输到头戴式设备200，并且呈现在头戴式设备200的显示器220上。附加地或另选地，触笔300可以包括可检测头戴式设备200的其他类型的传感器或接收器。例如，相机325可以用超声或电磁传感器代替，或者触笔300除相机325之外还可以包括超声或电磁传感器，该超声或电磁传感器接收由头戴式设备200传输的信号以便于进行对触笔300的跟踪。触笔300的传感器240可以包括光学传感器、超声传感器、电磁传感器、或被配置为检测发射的光或以其他方式从头戴式设备200接收信号的其他类型的传感器。

根据一些实施方案，触笔300可以包括惯性测量单元(IMU)394。IMU394可以被配置为独立于头戴式设备200来检测触笔300在自由空间中的移动、位置或取向。IMU 394可以包括一个或多个取向检测器、陀螺仪、加速度计和/或其他惯性测量部件。根据一些实施方案，可以将来自IMU 394的数据与从头戴式设备200的传感器240获得的数据和/或来自相机325的数据进行组合，以增强跟踪确定的准确性或置信度。

根据一些实施方案，触笔300可以包括控制输入358。控制输入358可以用于激活或触发触笔300和/或头戴式设备200中的CGR环境的特征的更多功能，如本文进一步描述的。

根据一些实施方案，头戴式设备200可以包括通信部件266以用于与外部设备90和/或触笔300通信。通信部件266可以包括一个或多个有线或无线部件、WiFi部件、近场通信部件、蓝牙部件和/或其他通信部件。通信部件266可以包括一个或多个传输元件，诸如一个或多个天线。另选地或组合地，通信部件266可以包括接口以用于有线连接。

根据一些实施方案，头戴式设备200可以包括具有一个或多个处理单元的处理器230，这些处理单元包括或被配置为访问上面存储有指令的存储器265。指令或计算机程序可以被配置为执行关于触笔300描述的操作或功能中的一者或多者。处理器230可以被实现为能够处理、接收或传输数据或指令的任何电子设备。例如，处理器230可以包括以下项中的一者或多者：微处理器、中央处理单元(CPU)、专用集成电路(ASIC)、数字信号处理器(DSP)或此类设备的组合。

存储器265可以存储可由头戴式设备200使用的电子数据。例如，存储器265可以存储电子数据或内容，诸如例如音频和视频文件、文档和应用程序、设备设置和用户偏好、用于各种模块、数据结构或数据库的定时和控制信号或数据等。存储器265可以被配置为任何类型的存储器。仅以举例的方式，存储器265可以被实现为随机存取存储器、只读存储器、闪存存储器、可移动存储器、或其他类型的存储元件、或此类设备的组合。

头戴式设备200还可以包括显示器220以用于向用户显示视觉信息。显示器220可以提供视觉(例如，图像或视频)输出。显示器220可以是或包括不透明、透明和/或半透明显示器。显示器220可以具有透明或半透明介质，表示图像的光穿过该透明或半透明介质被引导到用户的眼睛。显示器220可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。头戴式设备200可以包括光学子组件，该光学子组件被配置为帮助光学地调节和正确地投影由显示器220显示的基于图像的内容，以便适于近距查看。光学子组件可以包括一个或多个透镜、反射镜或其他光学设备。

头戴式设备200可以包括电源264，该电源可以为头戴式设备200的部件充电和/或供电。电源264还可以为连接到头戴式设备200的部件(诸如便携式电子设备202)充电和/或供电，如本文进一步讨论的。

头戴式设备200可以包括扬声器212。扬声器212可以可操作地连接到处理器230以输出音频。来自扬声器212的音频可以例如与显示器220的输出协调地呈现来提供CGR环境的一部分。

头戴式设备200可以任选地包括或连接到可提供某些功能的便携式电子设备202。为了简洁起见，图2中将不详细地描述便携式电子设备202。然而，应当理解，便携式电子设备202可以以包括多种特征的多种形式来体现，这些特征中的一些或全部可以由头戴式设备200利用(例如，输入/输出、控制、处理、电池等)。便携式电子设备202可以提供手持式形状因数(例如，重量轻、能放入口袋等的小型便携式电子设备)。尽管并不限于这些，但是示例包括媒体播放器、电话(包括智能电话)、PDA、计算机等。便携式电子设备202可以包括屏幕213以用于向用户呈现媒体的图形部分。屏幕213可以用作头戴式设备200的主屏幕。

头戴式设备200可以包括可操作以接收便携式电子设备202的扩展坞206。扩展坞206可以包括连接器(例如，Lightning、USB、火线、电源、DVI等)，该连接器可以插入便携式电子设备202的互补连接器中。扩展坞206可以包括用于在接合期间帮助对准连接器并用于将便携式电子设备202物理地耦接到头戴式设备200的特征。例如，扩展坞206可以限定用于放置便携式电子设备202的腔。扩展坞206还可以包括用于将便携式电子设备202固定在腔内的保持特征部。扩展坞206上的连接器可以用作在便携式电子设备202与头戴式设备200之间的通信接口。

众所周知，使用个人可识别信息应遵循公认为满足或超过维护用户隐私的行业或政府要求的隐私政策和做法。具体地，应管理和处理个人可识别信息数据，以使无意或未经授权的访问或使用的风险最小化，并应当向用户明确说明授权使用的性质。

除非特别指出，否则以单数形式提及的元素并不意味着是唯一的，而是指一个或多个。例如，“一个”模块可指一个或多个模块。以“一个”，“一种”，“该”或“所述”为前缀的元素在没有进一步的限制的情况下不排除存在另外的相同的元素。

标题和副标题(如果有的话)仅用于方便，并不限制本发明。“示例性”一词用于表示用作示例或说明。在使用术语“包括”、“具有”等的意义上，此类术语旨在以类似于术语“包含”的方式是包含性的，因为在用作权利要求中的过渡词时解释为包含。诸如第一和第二等的关系术语可用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这些实体或动作之间的任何实际的这种关系或顺序。

短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一个或多个配置、主题技术、公开、本公开、其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，或者这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。

在一系列项目之前的短语“至少一个”，用术语“和”或“或”分开项目中的任一者，将列表作为整体修改而不是列表中的每个成员。短语“至少一个”不需要选择至少一个项目；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一个”或“A、B或C中的至少一个”中的每个短语仅指A、仅指B或仅指C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。

应该理解，公开的步骤、操作或过程的具体顺序或层次是示例性方法的说明。除非另有明确说明，否则可理解的是，步骤、操作或过程的具体顺序或层次可以不同的顺序执行。步骤、操作或过程中的一些可同时执行。所附方法权利要求书(如果有的话)以示例顺序呈现各个步骤、操作或过程的元素，并不意味着限于所呈现的特定顺序或层次。这些可以串行、线性、并行或不同的顺序执行。应当理解，所描述的指令、操作和系统通常可一起集成在单个软件/硬件产品中，或者被封装到多个软件/硬件产品中。

在一个方面，术语耦接等可指代直接耦接。另一方面，术语耦接等可指间接耦接。

术语诸如顶部、底部、前部、后部、侧部、水平、竖直等是指任意的参照系，而不是指通常的重力参照系。因此，此类术语可在重力参考系中向上、向下、对角或水平延伸。

提供本公开是为了使本领域的技术人员能够实践本文所述的各个方面。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。本公开提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对于本领域技术人员将是显而易见的，并且这里描述的原理可应用于其他方面。

本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。依据35U.S.C.§112(f)或者说是§112第六段的规定，将不解释任何权利要求要素，除非使用短语“用于……的装置”来明确地陈述了该要素，或就方法权利要求而言，使用短语“用于……的步骤”来陈述了该要素。

标题、背景、附图的简要说明、摘要和附图在此被结合到本公开中，并且被提供作为本公开的说明性示例，而不是作为限制性描述。认为它们不会被用来限制权利要求的范围或含义。另外，在详细描述中可看出，为了使本公开简化的目的，描述提供了例示性示例，并且各种特征在各种具体实施中被组合在一起。公开的方法不应被解释为反映所要求保护的主题需要比每个权利要求中明确记载的特征更多的特征的意图。相反，如权利要求所反映的，发明主题在于少于单个公开的配置或操作的所有特征。权利要求由此被并入到具体实施方式中，每个权利要求本身作为单独要求保护的主题。

权利要求不旨在限于本文所述的方面，而是要被赋予与权利要求的语言一致的全部范围，并且涵盖所有的法律等同物。尽管如此，这些权利要求都不包含不符合适用专利法要求的主题，也不应该以这种方式解释。

Claims

1.一种跟踪系统，包括：

触笔，所述触笔包括光发射器；

头戴式设备，所述头戴式设备包括光学传感器，所述光学传感器被配置为检测所述光发射器；和

处理器，所述处理器通信地耦接到所述光学传感器并被配置为基于对所述光发射器的检测来确定所述触笔的位置。

2.根据权利要求1所述的跟踪系统，其中：

所述光发射器是第一光发射器；

所述触笔还包括沿所述触笔的长度与所述第一光发射器间隔开的第二光发射器；以及

所述处理器被配置为基于所述第一光发射器和所述第二光发射器来确定所述触笔的取向。

3.根据权利要求2所述的跟踪系统，其中所述第一光发射器和所述第二光发射器被配置为发射不同波长的光，并且其中所述处理器被配置为基于所述不同发射波长的相对位置来对所述触笔的所述取向进行消歧。

4.根据权利要求2所述的跟踪系统，其中所述第一光发射器和所述第二光发射器被配置为发射不同空间图案，并且其中所述处理器被配置为基于所述不同空间图案的相对位置来对所述触笔的所述取向进行消歧。

5.根据权利要求2所述的跟踪系统，其中所述第一光发射器和所述第二光发射器定位在所述触笔的相对端部处。

6.根据权利要求1所述的跟踪系统，其中所述光发射器被配置为发射围绕所述触笔的圆周布置的一系列点，并且所述处理器被配置为基于对所述一系列点的检测来检测所述触笔围绕其纵向轴线的旋转。

7.根据权利要求1所述的跟踪系统，其中所述光发射器被配置为发射围绕所述触笔的圆周变化的图案，并且所述处理器被配置为基于所述图案来确定所述触笔的角位置。

8.根据权利要求1所述的跟踪系统，其中所述触笔包括外壳，其中所述外壳的至少一部分包括红外透射材料，并且其中所述光发射器包括发光二极管，所述发光二极管设置在所述外壳内并被配置为发射红外光穿过所述红外透射材料。

9.根据权利要求1所述的跟踪系统，其中所述头戴式设备被配置为在对应于所述触笔的所述确定的位置的位置处显示虚拟对象。

10.根据权利要求1所述的跟踪系统，其中所述触笔还包括相机，所述相机被配置为检测所述头戴式设备。

11.根据权利要求10所述的跟踪系统，其中所述头戴式设备包括光发射器，所述触笔的所述相机被配置为检测所述头戴式设备的所述光发射器，并且所述处理器被进一步配置为基于对所述头戴式设备的所述光发射器的检测来确定所述触笔的所述位置。

12.一种电子系统，包括：

触笔，所述触笔具有细长主体、在所述细长主体的端部处的尖端以及在所述细长主体上纵向地间隔开的一对光发射器；和

头戴式设备，所述头戴式设备包括：显示器，所述显示器被配置为向穿戴所述头戴式设备的用户呈现图形；以及面向外的相机，所述面向外的相机对所述一对光发射器敏感，其中所述头戴式设备被配置为基于对所述一对光发射器的检测来检测所述触笔在三维空间中的运动。

13.根据权利要求12所述的电子系统，其中所述一对光发射器被配置为发射不同空间图案的光，并且所述头戴式设备被配置为基于所述不同空间图案来确定所述触笔的取向。

14.根据权利要求12所述的电子系统，其中：

所述头戴式设备还包括处理器，所述处理器耦接到所述相机；以及

所述处理器被配置为处理从所述相机获得的图像以确定所述光发射器中的至少一个光发射器的位置，并且在所述显示器上生成图像，所述图像包含在所述光发射器中的所述至少一个光发射器的所述确定的位置处的对象。

15.根据权利要求12所述的电子系统，其中：

所述触笔的所述尖端被配置为接触表面以向所述电子系统提供输入；

所述细长主体容纳电池以用于为所述一对光发射器供电；以及

所述细长主体在由用户操纵时能够在三维空间中自由地移动。

16.一种系统，包括：

触笔，所述触笔包括相机，所述相机被配置为捕获图像；和

头戴式设备，所述头戴式设备包括显示器，所述显示器被配置为显示用所述相机捕获的所述图像。

17.根据权利要求16所述的系统，其中：

所述触笔包括主体和尖端；以及

所述相机具有从所述主体径向向外指向的视场。

18.根据权利要求17所述的系统，其中所述相机是第一相机，并且所述触笔还包括第二相机，所述第二相机具有朝向所述尖端指向的视场。

19.根据权利要求16所述的系统，其中所述图像是静态图像，并且所述显示器被配置为显示所述静态图像。

20.根据权利要求16所述的系统，其中所述图像是用所述相机捕获的视频的一部分，并且所述显示器被配置为实时地显示用所述相机捕获的所述视频。