CN106575151A

CN106575151A - 用于头戴式计算的外部用户接口

Info

Publication number: CN106575151A
Application number: CN201580039290.3A
Authority: CN
Inventors: R.F.奥斯特豪特; R.M.罗斯; J.N.博尔德; J.D.哈迪克; M.A.桑切斯; E.H.诺尔特拉普
Original assignee: Osterhout Group Inc
Current assignee: Manto first acquisition Co.,Ltd.
Priority date: 2014-06-17
Filing date: 2015-05-29
Publication date: 2017-04-19
Also published as: EP3180676A2; WO2015195444A1; EP3180676A4

Abstract

本发明的方面涉及头戴式计算机的用户接口控制。在一个方面中，适配成控制头戴式计算机的外部用户接口包括：外壳，其具有适配成将外壳固设到交通工具的方向盘的机械附连系统；可编程快速启动软件应用按钮，其安装在外壳上并且适配成激活头戴式计算机上的预指定的软件应用；以及专用按钮，其安装在外壳上并且适配成在激活时清空妨碍内容的头戴式计算机的显示。

Description

用于头戴式计算的外部用户接口

相关技术的描述

已经研发了可穿戴计算系统并且其开始商业化。在可穿戴计算领域中持续存在许多问题，其需要被解决以使其满足市场的需求。

发明内容

本发明的方面涉及启动应用、应用的方面以及控制头戴式计算机的透视显示器的系统和方法。实施例涉及具有意图为手持式的物理形式的外部用户接口。手持式用户接口可以是以与书写仪器（诸如笔）的形式类似的形式。在实施例中，手持式用户接口包括涉及通过头戴式计算机中所显示的内容的使用而对准和追踪书写表面上的书写图案的对准的技术。

本发明的方面涉及来自头戴式计算机的图像的投射，其中具有x-y反射镜控制和激光器的投影仪安装在头戴式计算机中并且定位成将光栅样式图像投射到附近表面上。

本发明的方面涉及来自头戴式计算机的图像的投射，其中具有x-y控制装置和激光器的投影仪被安装在头戴式计算机中并且定位成将光栅样式交互用户接口图像投射到附近表面上。

本发明的方面涉及对与结合头戴式透视计算机显示器所呈现的虚拟用户接口的交互进行预测的系统和方法。

根据附图和优选实施例的以下详细描述，本发明的这些和其他系统、方法、目标、特征和优点将对于本领域技术人员显而易见。本文提及的所有文档据此以其整体通过引用并入本文。

附图说明

参照以下附图描述实施例。可以贯穿使用相同编号以引用在附图中示出的相似特征和组件：

图1图示了依照本发明的原理的头戴式计算系统。

图2图示了依照本发明的原理的外部用户接口。

图3a至3c图示了依照本发明的原理的距离控制系统。

图4a至4c图示了依照本发明的原理的力解译系统。

图5a至5c图示了依照本发明的原理的用户接口模式选择系统。

图6图示了依照本发明的原理的交互系统。

图7图示了依照本发明的原理的外部用户接口。

图8图示了依照本发明的原理的图案识别系统和过程。

图9图示了依照本发明的原理的投射系统。

图10图示了依照本发明的原理的适配成与方向盘一起使用的外部用户接口。

尽管已经结合某些优选实施例描述了本发明，但是其他实施例将由本领域普通技术人员所理解并且涵盖在本文中。

具体实施方式

本发明的方面涉及头戴式计算（“HWC”）系统。在一些实例中，HWC牵涉到模仿头戴式眼镜或太阳镜的外观的系统。眼镜可以是完全研发的计算平台，诸如包括在眼镜的每一个镜片中呈现给用户的眼睛的计算机显示器。在实施例中，镜片和显示器可以配置成允许佩戴眼镜的人员通过镜片看到环境，而同时还看到数字图像，其形成由人员感知为环境的数字增强图像或增强现实（“AR”）的覆盖图像。

HWC牵涉到的不只是将计算系统放置到人员的头部上。系统可能需要设计为轻量、紧凑并且完全功能的计算机显示器，诸如其中计算机显示器包括高分辨率数字显示器，其提供包括所显示的数字内容和周围环境的透视视图的高级复现。可能要求适于HWC设备的用户接口和控制系统，其不像用于诸如膝上型电脑之类的更常规计算机的那些。为了使HWC和相关联的系统最有效，眼镜可以装备有传感器以确定环境状况、地理位置、针对感兴趣的其他点的相对定位、通过所连接的群组中的用户或其他用户的移动和成像而标识的对象等等。在一般称为上下文意识的HWC的方法中，HWC然后可以改变操作模式以匹配状况、位置、定位、移动等。眼镜还可能需要在本地或者通过网络而无线或者以其他方式连接到其他系统。对眼镜的控制可以通过外部设备的使用、自动地通过上下文搜集的信息、通过由眼镜传感器捕获的用户姿态等而实现。每一种技术可以取决于在眼镜中使用的软件应用而进一步细化。眼镜可以进一步用于控制与眼镜相关联的外部设备或者与其协调。

参照图1，呈现了HWC系统100的概览。如所示，HWC系统100包括HWC 102，其在该实例中配置为要佩戴在头部上的具有传感器的眼镜使得HWC 102意识到环境114中的对象和状况。在该实例中，HWC 102还接收和解译控制输入，诸如姿态和移动116。HWC 102可以与外部用户接口104通信。外部用户接口104可以提供物理用户接口以从HWC 102的用户取得控制指令，并且外部用户接口104和HWC 102可以双向通信以影响用户的命令并向外部设备108提供反馈。HWC 102还可以与外部控制或协调的本地设备108双向通信。例如，外部用户接口104可以与HWC 102结合地使用以控制外部控制或协调的本地设备108。外部控制或协调的本地设备108可以向HWC 102提供反馈，并且可以基于设备或者特别标识的设备108的类型而在HWC 102中呈现定制GUI。HWC 102还可以通过网络连接110与远程设备和信息源112交互。再次，外部用户接口104可以与HWC 102结合地使用以便以与外部用户接口104用于控制外部控制或协调的本地设备108或者与其以其他方式交互时类似的方式控制远程设备108和信息源112中的任一个或以其他方式与其交互。类似地，HWC 102可以解译在环境114中感测的姿态116（例如，从面向前方、下方、上方、后方的传感器捕获，该传感器诸如（多个）相机、测距仪、IR传感器等）或环境状况以控制本地或远程设备108或112。

我们现在将更详细地描述在图1上描绘的每一个主要元件；然而这些描述意图提供一般性引导并且不应当解释为限制性的。还可以在本文中进一步描述每一个元件的附加描述。

HWC 102是意图佩戴在人员头部上的计算平台。HWC 102可以采取许多不同的形式以适应许多不同的功能要求。在一些情况下，HWC 102将以常规眼镜的形式来设计。眼镜可以或者可以不具有有源计算机图形显示器。在其中HWC 102具有集成的计算机显示器的情况下，显示器可以配置为透视显示器使得数字图像可以与用户对环境114的视图相覆盖。存在可以使用的数个透视光学设计，包括具有反射式显示器（例如，LCoS、DLP）、发射式显示器（例如，OLED、LED）、全息、TIR波导等的透视光学设计。此外，光学配置可以是单目的或双目的。其还可以包括视力校正光学组件。在实施例中，光学器件可以封装为隐形眼镜。在其他实施例中，HWC 102可以为具有透视护罩、太阳镜、安全眼镜、护目镜、面具的头盔、具有透视护罩的消防头盔、具有透视护罩的警察头盔、具有透视护罩的军用头盔、针对某一工作任务（例如，库存控制、物流、修复、维护等）定制的实用形式等形式。

HWC 102还可以具有数个集成计算设施，诸如集成处理器、集成电力管理、通信结构（例如，电话网、WiFi、蓝牙、局域连接、网状连接、远程连接（例如，客户端服务器等））等。HWC 102还可以具有数个位置意识传感器，诸如GPS、电子罗盘、高度计、倾斜传感器、IMU等。其还可以具有其他传感器，诸如相机、测距仪、高光谱相机、盖革计数器、麦克风、频谱光照检测器、温度传感器、化学传感器、生物传感器、湿度传感器、超声传感器等。

HWC 102还可以具有集成控制技术。集成控制技术可以是基于上下文的控制、被动控制、主动控制、用户控制等。例如，HWC 102可以具有集成传感器（例如，相机），其捕获用户手部或身体姿态116使得集成处理系统可以解译姿态并且生成用于HWC 102的控制命令。在另一个示例中，HWC 102可以具有检测移动（例如，点头、摇头等）的传感器，包括加速度计、陀螺仪和其他惯性测量装置，其中集成处理器可以解译移动并且作为响应而生成控制命令。HWC 102还可以基于所测量或感知的环境状况自动地控制自己。例如，如果环境中是明亮的，则HWC 102可以增大所显示的图像的明亮度或对比度。在实施例中，集成控制技术可以安装在HWC 102上使得用户可以与它直接地交互。例如，HWC 102可以具有（多个）按钮、触碰电容式接口等。

如本文中所述，HWC 102可以与外部用户接口104通信。外部用户接口可以以许多不同形式出现。例如，手机屏幕可以适配成取得用户输入以用于控制HWC 102的一方面。外部用户接口可以是专用UI，诸如键盘、触摸表面、（多个）按钮、操纵杆等。在实施例中，外部控制器可以集成到另一个设备中，诸如戒指、手表、自行车、汽车等。在每一个情况下，外部用户接口104可以包括传感器（例如，IMU、加速度计、罗盘、高度计等）以提供用于控制HWC102的附加输入。

如本文中所述，HWC 102可以控制其他本地设备108或者与其协调。外部设备108可以是音频设备、视觉设备、交通工具、手机、计算机等。例如，本地外部设备108可以是另一个HWC 102，其中信息然后可以在分离的HWC之间交换。

类似于HWC 102可以控制本地设备106或者与其协调的方式，HWC 102可以控制远程设备112或者与其协调，诸如HWC 102通过网络110与远程设备112通信。再次，远程设备112的形式可以具有许多形式。包括在这些形式中的是另一个HWC 102。例如，每一个HWC102可以传达其GPS位置使得所有HWC 102知晓所有HWC 102定位在哪里。

参照图2，现在我们转向描述特定外部用户接口104，其一般被称为笔200。笔200是特别设计的外部用户接口104并且可以作为用户接口进行操作，诸如向许多不同样式的HWC102。笔200一般遵循常规笔的形式，其是熟悉的用户手持设备并且创建直观物理接口以用于在HWC系统100中实施许多操作。笔200可以是与控制HWC系统100内的操作结合使用的若干用户接口104之一。例如，HWC 102可以留意手部姿态116并且将手部姿态116解译为控制信号，其中笔200还可以用作具有相同HWC 102的用户接口。类似地，远程键盘可以用作与笔200合作的外部用户接口104。仅仅一个控制系统的使用或者用户接口的组合一般取决于在HWC的系统100中执行的（多个）操作。

尽管笔200可以遵循常规笔的一般形式，但是其包含使得它能够作为外部用户接口104起作用的众多技术。图2图示了包括在笔200中的技术。如可以看到，笔200可以包括相机208，其布置为通过透镜202进行观看。相机然后可以诸如通过透镜202来聚焦以对用户在其上进行书写或做出其他移动以与HWC 102交互的表面进行成像。存在其中笔200还将具有油墨、石墨或其他系统使得可以在书写表面上看到在书写什么。存在其中笔200不具有这样的物理书写系统的其他情况，所以不存在书写表面上的沉积物，其中笔将仅向HWC 102传达数据或命令。透镜配置在本文中更详细地描述。相机的功能是从非结构化书写表面捕获信息使得可以如用户所意图的那样来解译笔画。为了帮助预测所意图的笔画路径，笔200可以包括传感器，诸如IMU 212。当然，IMU可以以其分离部分（例如，陀螺仪、加速度计等）包括在笔200中，或者IMU可以作为单个单元而被包括。在该实例中，IMU 212用于测量和预测笔200的运动。继而，集成微处理器210可以作为输入而取得IMU信息和相机信息并且处理该信息以形成笔尖移动的预测。

笔200还可以包括压力监控系统204，诸如以测量施加在笔202上的压力。如将在本文中更详细描述，压力测量可以用于预测用户的意图以用于改变线宽、线型、刷型、点击、双击等。在实施例中，可以使用位于笔202后面的任何力或压力测量传感器来构造压力传感器，该力或压力测量传感器包括例如电阻传感器、电流传感器、电容传感器、电压传感器（诸如压电传感器）等。

笔200还可以包括通信模块218，诸如用于与HWC 102双向通信。在实施例中，通信模块218可以是短距离通信模块（例如，蓝牙）。通信模块218可以安全匹配到HWC 102。通信模块218可以布置为向并且从笔200的微处理器210传达数据和命令。微处理器210可以编程为解译从相机208、IMU 212和压力传感器204等生成的数据，并且然后例如通过通信模块218将命令传递到HWC 102上。在另一个实施例中，通过微处理器从任何输入源（例如，相机108、IMU 212、压力传感器204）收集的数据可以通过通信模块218传达给HWC 102，并且HWC102可以在使用笔200时执行数据处理和用户意图的预测。在又一个实施例中，数据可以进一步通过网络110传递到远程设备112（诸如服务器），以用于数据处理和预测。命令然后可以被传达回到HWC 102以用于执行（例如，在眼镜显示器中显示书写、在眼镜显示器的UI内做出选择、控制远程外部设备112、控制本地外部设备108）等。笔还可以包括存储器214以用于长期或短期使用。

笔200还可以包括数个物理用户接口，诸如快速启动按钮222、触摸传感器220等。快速启动按钮222可以适配成为用户提供跳转到HWC系统100中的软件应用的快速方式。例如，用户可以是通信软件封装（例如，电子邮件、文本、Twitter、Instagram、Facebook、Google+等）的频繁用户，并且用户可以编程快速启动按钮222以命令HWC 102启动应用。笔200可以提供有若干快速启动按钮222，其可以是用户可编程或工厂可编程的。快速启动按钮222可以编程为执行操作。例如，一个按钮可以编程为清空HWC 102的数字显示器。这将创建用于使用户出于任何原因而清空HWC 102上的屏幕的快速方式，诸如例如以更好地观看环境。快速启动按钮功能将在下文进一步详细地讨论。触摸传感器220可以用于从用户取得姿态样式输入。例如，用户可以能够拿出单个手指并且使其跨触摸传感器220运行以影响页面滚动。

笔200还可以包括激光指向器224。激光指向器224可以与IMU 212协调以协调姿态和激光指向。例如，用户可以在呈现中使用激光224以帮助引导观众解译图形，并且IMU 212可以同时地或者在激光224关闭时将用户的姿态解译为命令或数据输入。

图3A-3C图示了用于笔200的透镜和相机布置300的若干实施例。一个方面涉及维持相机和书写表面之间的恒定距离使得书写表面能够保持聚焦以便更好地追踪笔200在书写表面之上的移动。另一个方面涉及维持遵循笔200的书写尖端的周界的带角表面使得笔200可以在用户手部中滚动或部分地滚动以创建常规书写仪器的感觉和自由度。

图3A图示了笔200的书写透镜末端的实施例。配置包括球透镜304、相机或图像捕获表面302和圆顶覆盖透镜308。在该布置中，相机通过球透镜304和圆顶覆盖透镜308观看书写表面。球透镜304使相机聚焦使得相机在笔200以自然书写定位持握在手中时观看书写表面，诸如在笔200与书写表面接触的情况下。在实施例中，球透镜304应当与书写表面分离以获得相机302处的书写表面的最高分辨率。在实施例中，球透镜304分离达大概1到3mm。在该配置中，圆顶覆盖透镜308提供可以保持球透镜304与书写表面在恒定距离处分离的表面，诸如基本上独立于用于在书写表面上书写的角度。例如，在实施例中，该布置中的相机的视场将大概为60度。

用于与书写表面物理地交互的圆顶覆盖透镜或其他透镜308在相机302的有效带宽内将为透明或可透射的。在实施例中，圆顶覆盖透镜308可以是球形或其他形状并且包括玻璃、塑料、蓝宝石、金刚石等。在其他实施例中，表面的低分辨率成像是可接受的。笔200可以省略圆顶覆盖透镜308并且球透镜304可以与表面直接接触。

图3B图示了其中构造在某种程度上类似于与图3A结合描述的构造的另一个结构；然而，该实施例没有使用圆顶覆盖透镜308，而是替代地使用间隔物310以维持球透镜304和书写表面之间的可预测距离，其中间隔物可以是球形、柱形、管形或其他形状，其提供间距而同时允许由相机302通过透镜304获得图像。在优选实施例中，间隔物310是透明的。此外，尽管将间隔物310示出为球形，但是可以使用其他形状，诸如椭圆形、面包圈形状、半球形、圆锥形、柱形或其他形式。

图3C图示了又一个实施例，其中结构包括支柱314，诸如运行通过笔200的透镜式末端的中心。支柱314可以是油墨沉积系统（例如，油墨筒）、石墨沉积系统（例如，石墨保持器）或者虚设支柱（dummy post ），其目的主要仅是对准。支柱类型的选择取决于笔的使用。例如，在用户想要使用笔200作为常规油墨沉积笔以及完全功能外部用户接口104的情况下，油墨系统支柱可以是最佳选择。如果不存在用于要使“书写”在书写表面上可见的需要，则选择将是虚设支柱。图3C的实施例包括（多个）相机302和相关联的透镜312，其中相机302和透镜312定位成捕获书写表面而没有对支柱314的明显干扰。在实施例中，笔200可以包括多个相机302和透镜312使得支柱314和尖端的更多或全部周界可以用作输入系统。在实施例中，笔200包括波状柄，其保持笔在用户手中对准使得相机302和透镜312保持指向在表面处。

笔200的另一个方面涉及感测由用户利用笔200向书写表面应用的力。可以以数个方式使用力测量结果。例如，力测量结果可以用作离散值，或者连续事件追踪，并且在过程中针对阈值进行比较以确定用户的意图。例如用户可能想要将力解译为对象的选择中的“点击”。用户可能意图被解译为多个点击的多个力运用。可以存在用于将笔200保持在某一位置中或者保持笔200的某一部分（例如，按钮或触摸板）而同时进行点击以影响某一操作（例如，“右击”）时的时候。在实施例中，力测量可以用于追踪力和力趋势。力趋势可以被追踪并且例如与阈值限度比较。可以存在一个这样的阈值限度、多个限度、相关限度的群组等。例如，当力测量指示一般落在相关阈值范围内的相当恒定的力时，微处理器210可以将力趋势解译为指示用户期望维持当前书写样式、书写尖端类型、线宽、刷型等。在力趋势看起来已经意图地超出阈值集合的事件中，微处理器可以将该动作解译为用户想要改变当前书写样式、书写尖端类型、线宽、刷型等的指示。一旦微处理器已经做出用户意图的确定，则可以执行当前书写样式、书写尖端类型、线宽、刷型等中的改变。在实施例中，可以向用户指出改变（例如，在HWC 102的显示器中），并且可以将接受改变的机会呈现给用户。

图4A图示了笔200的力感测表面尖端400的实施例。力感测表面尖端400包括与力或压力监控系统204结合的表面连接尖端402（例如，如本文中其他地方描述的透镜）。当用户使用笔200在表面上书写或者在表面上模拟书写时，力监控系统204测量用户应用于书写表面的力或压力并且力监控系统将数据传达给微处理器210以用于处理。在该配置中，微处理器210从力监控系统204接收力数据并且处理该数据以做出用户在应用当前所应用的特定力时的意图的预测。在实施例中，处理可以提供在除笔上之外的位置处（例如，在HWC系统100中的服务器处、在HWC 102上）。出于清楚起见，当在本文中对在微处理器210上处理信息做出参考时，信息的处理预期在除笔上之外的位置处处理信息。微处理器210可以编程有（多个）力阈值、（多个）力识别标志（signature）、力识别标志库和/或意图在基于所测量的力或压力来确定用户的意图时引导推理程序的其他特性。微处理器210可以进一步编程为就以下问题从力测量做出推理：用户是已经尝试发起离散动作（例如，用户接口选择“点击”）还是在执行恒定动作（例如，在特定书写样式内书写）。推理过程是重要的，因为其使笔200充当直观外部用户接口104。

图4B图示了力408对比时间410的趋势图，其具有单个阈值418。阈值418可以设定在指示离散力运用的水平下，离散力运用指示用户期望引起动作（例如，选择GUI中的对象）。事件412例如可以解译为点击或选择命令，因为力从阈值418以下快速地增加至阈值418以上。事件414可以解译为双击，因为力快速地增加至阈值418以上，降低到阈值418以下并且然后基本上快速地重复。用户还可以使力去往阈值418以上并且保持一段时间，其指示用户意图选择GUI（例如，呈现在HWC 102的显示器中的GUI）中的对象并且“保持”以用于另外的操作（例如，移动对象）。

尽管可以使用阈值来帮助解译用户的意图，但是还可以使用识别标志力事件趋势。阈值和识别标志可以组合地使用，或者可以单独地使用任一种方法。例如，单击识别标志可以由某一力趋势识别标志或者识别标志集合来表示。（多个）单击识别标志可能要求例如趋势满足x和y值之间的提升时间、a和b值之间的保持时间以及c和d值之间的降落时间的准则。识别标志可以存储用于各种功能，诸如点击、双击、右击、保持、移动等。微处理器210可以针对来自识别标志库的识别标志比较实时力或压力追踪以做出决定并且向在GUI中执行的软件应用发布命令。

图4C图示了力408对比时间410的趋势图，其具有多个阈值418。作为示例，力趋势在具有若干笔力或压力事件的图上绘出。如所指出，存在可推测有意的事件420和可推测非有意的事件422二者。图4C的两个阈值418创建三个力区：较低、中间和较高的范围。趋势的开始指示用户放置较低区数量的力。这可能意味着用户以给定线宽进行书写并且不意图改变用户正在书写的线宽。然后，趋势示出力向中间力范围中的明显增大，如由元素420所指示。从该趋势看，该力改变看起来已经突变并且其在此之后维持。微处理器210可以将此解译为有意的改变并且作为结果而依照预设规则改变操作（例如，改变线宽度、增大线宽等）。该趋势然后以第二个显然有意的事件420而继续到较高力范围中。在较高力范围中的执行期间，力降至上部阈值418以下。这可以指示非有意的力改变，并且微处理器可以检测范围中的改变，但不影响正由笔200协调的操作中的改变。如上文所指示，可以利用阈值和/或识别标志而完成趋势分析。

一般地，在本公开中，仪器笔画参数改变可以被称为线型、线宽、尖型、刷型、刷宽、刷压、颜色以及其他形式的书写、着色、涂色等中的改变。

笔200的另一个方面涉及取决于上下文信息和/或（多个）选择接口而选择用于笔200的操作模式。笔200可以具有若干操作模式。例如，笔200可以具有书写模式，其中笔200的（多个）用户接口（例如，书写表面末端、快速启动按钮222、触摸传感器220、基于运动的姿态等）针对与书写相关联的任务而优化或选择。作为另一个示例，笔200可以具有指挥棒（wand）模式，其中笔的（多个）用户接口针对与软件或设备控制（例如，HWC 102、外部本地设备、远程设备112等）相关联的任务而优化或选择。经由另一个示例，笔200可以具有呈现模式，其中（多个）用户界面优化或选择成帮助用户给出呈现（例如，利用激光指向器224进行指向而同时使用（多个）按钮222和/或姿态以控制涉及呈现的应用或者呈现）。笔可以例如具有针对用户尝试控制的特定设备而优化或选择的模式。笔200可以具有数个其他模式，并且本发明的一方面涉及选择这样的模式。

图5A图示了基于上下文信息的（多个）自动用户接口模式选择。微处理器210可以编程有IMU阈值514和512。阈值514和512可以用作笔200的角度504和502的上限和下限的指示以用于在某些预测模式期间的某些预期位置。当微处理器210（诸如例如通过角度追踪518）确定笔200保持或以其他方式定位在对应于书写阈值514的角度502内，则微处理器210然后可以制定用于笔的用户接口的书写模式。类似地，如果微处理器210确定（例如，通过IMU 212）笔保持在落入预确定的指挥棒阈值512之间的角度504处，微处理器可以制定用于笔的用户接口的指挥棒模式。这些示例的二者都可以被称为基于上下文的用户接口选择模式，因为模式选择是基于自动收集的上下文信息（例如，位置）并且然后通过自动评估过程以自动地选择笔的（多个）用户接口模式。

如与本文呈现的其他示例那样，微处理器210可以努力监控上下文趋势（例如，笔随时间过去的角度）以决定是待在模式中还是改变模式。例如，通过识别标志、阈值、趋势分析等，微处理器可以确定改变是非有意的改变并且因此不期望用户接口模式改变。

图5B图示了基于上下文信息的（多个）自动用户接口模式选择。在该示例中，笔200正在监控（例如，通过其微处理器）处于书写表面末端208处的相机是否正在与笔200的书写表面末端靠的很近的书写表面进行成像。如果笔200确定书写表面处于预确定的相对短距离内，则笔200可以决定书写表面520存在并且笔可以进入（多个）书写模式用户接口模式。在笔200没有检测到相对接近的书写表面522的情况下，笔可以预测的是，笔当前没有用作书写仪器并且笔可以进入（多个）非书写用户接口模式。

图5C图示了（多个）手动用户接口模式选择。可以基于笔200外壳的区段524的扭曲、点击末端按钮524、按压快速启动按钮222、与触摸传感器220交互、检测压力监控系统处的预确定动作（例如，点击）、检测姿态（例如，由IMU检测）等来选择（多个）用户接口模式。手动模式选择可以牵涉到选择与笔200相关联的GUI中的项目（例如，呈现在HWC 102的显示器中的图像）。

在实施例中，在模式将要改变的事件中，可以将确认选择呈现给用户。呈现可以是物理的（例如，笔200中的振动）、通过GUI、通过光指示符等。

图6图示了一对笔使用场景600和601。存在许多使用场景并且我们已经与图6结合地呈现了一对以作为说明使用场景的方式来使读者进一步理解。因此，使用场景应当被视为说明性而非限制性的。

使用场景600是其中笔200用作书写仪器的书写场景。在该示例中，按压快速启动按钮122A以启动HWC 102显示器604的GUI 608中的笔记应用610。一旦按压快速启动按钮122A，HWC 102就启动笔记程序610并且将笔置于书写模式中。用户使用笔200在书写表面上题写符号602，笔记录该题写并且将该题写传送给HWC 102，其中表示题写的符号被显示612在笔记应用610内。

使用场景601是其中笔200用作姿态捕获和命令设备的姿态场景。在该示例中，快速启动按钮122B被激活并且笔200激活指挥棒模式使得可以控制在HWC 102上启动的应用。此处，用户在HWC 102的（多个）显示器中看到应用选择器618，这里可以由用户选择不同软件应用。用户利用笔做出姿态614（例如，挥击、旋转、转向等）以使得应用选择器618从应用向应用移动。一旦在选择器618中标识（例如，高亮）正确的应用，则用户可以做出姿态或者点击或者以其他方式与笔200交互，使得所标识的应用被选择和启动。一旦启动622应用，指挥棒模式620就可以例如用于滚动、转动、改变应用、选择项目、发起过程等。

在实施例中，快速启动按钮122A可以被激活并且HWC 102可以启动应用选择器，其向用户呈现应用的集合。例如，快速启动按钮可以启动选择器以示出可用于选择的所有通信程序（例如，SMS、Twitter、Instagram、Facebook、电子邮件等）使得用户可以选择用户想要的程序并且然后进入书写模式。作为另外的示例，启动器可以带来针对相关或者归类为一般在给定时间选择的各种其他群组的选择（例如，Microsoft Office产品、通信产品、生产产品、笔记产品、组织产品等）。

图7图示了本发明的又一个实施例。图700图示了表带夹式控制器700。表带夹式控制器700可以是用于控制HWC系统100中的HWC 102或设备的控制器。表带夹式控制器700具有紧固件718（例如，可转动的夹子），其机械地适配成附连到表带702，如在704处所示。

表带控制器700可以具有快速启动接口708（例如，以启动如本文中所述的应用和选择器）、触摸板714（例如，以用作用于HWC 102显示器中的GUI控制的触摸样式鼠标）以及显示器712。夹子718可以适配成适应各种各样的表带，所以其可以与针对其功能而独立选择的手表结合地使用。在实施例中，夹子是可转动的使得用户可以以期望的方式定位它。在实施例中，夹子可以是柔性皮带。在实施例中，柔性皮带可以适配成拉伸的以附连到手部、腕部、手指、设备、武器等。

在实施例中，表带控制器可以配置为可移除且可更换的表带。例如，控制器可以以某一宽度、分段间距等并入带中，使得具有其并入的控制器的表带可以附连到手表主体。在实施例中，附连可以机械地适配成利用表带在其上转动的引脚进行附连。在实施例中，表带控制器可以电气连接到手表和/或手表主体使得该手表、手表主体和/或表带控制器可以在它们之间传达数据。

表带控制器可以具有3轴运动监控（例如，通过IMU、加速度计、磁力计、陀螺仪等）以捕获用户运动。用户运动然后可以被解译以用于姿态控制。

在实施例中，表带控制器可以包括适应度传感器和适应度计算机。传感器可以追踪心率、燃烧的卡路里、跨步、覆盖的距离等。数据然后可以针对性能目标和/或标准进行比较以用于用户反馈。

本发明的另一个方面涉及在HWC 102中所显示的内容和相机的帮助下对笔移动的追踪。在实施例中，内容呈现在头戴式计算机的透视显示器中以针对想要利用笔、手指或其他接口进行运动的佩戴者提供虚拟引导并且已经使运动得到解译以用于图案识别。如结合本文中其他地方所公开的笔实施例而描述，IMU或笔尖相机可以用于监控笔的运动以便预测正在绘制什么图案。IMU和/或笔尖相机可能遭受电子或光学漂移并且该漂移可能引起图案预测中的非准确性。在实施例中，为了增强IMU和/或笔尖相机运动预测，提供虚拟引导以用于补偿漂移。可以由HWC 102的板载相机捕获笔运动，而同时佩戴者在虚拟线的引导下进行书写。知晓佩戴者在使用虚拟线作为引导的情况下，笔尖和虚拟线之间的相对位置可以用于减少或消除漂移问题。

在实施例中，向HWC 102的佩戴者呈现数字内容，并且佩戴者沿由数字内容引导的书写表面移动笔200以用于图案记录、识别和呈现帮助。在实施例中，HWC 102中的相机对笔200的位置进行成像和追踪以用于图案记录和识别帮助。在实施例中，数字内容和捕获笔位置的相机二者用于图案记录和识别帮助。在实施例中，数字内容、相机捕获、笔中相机捕获、笔中IMU等可以组合地使用以用于图案记录和识别帮助。在实施例中，到虚拟线的笔画的相对位置可以关于虚拟线而呈现在HWC 102显示器中。例如，HWC 102的佩戴者可以在没有油墨的情况下关于他感知到并且如呈现在HWC 102显示器中的虚拟线进行题写，板载HWC 102相机可以捕获题写，处理器可以关于线来解译所成像的题写，使得题写可以转换成数字内容以便关于虚拟线而显示在HWC 102显示器中。

图8图示了其中HWC 102中的相机用于追踪笔200运动并且将数字内容呈现给HWC102的佩戴者以帮助佩戴者在结构内书写的系统。在该实施例中，以线804的形式的数字内容呈现在HWC 102的FOV 802中。佩戴者可以透视FOV 802，所以线804看起来增强了用于佩戴者的周围环境的视图。线可以“固定”到环境中的斑点，使得当佩戴者使其头部转向并且因而改变HWC 102的位置时，线看起来关于环境保持就位。在实施例中，HWC 102中的相机可以对环境进行成像并且追踪HWC 102关于环境的相对移动，使得线84可以依照所成像的移动而在FOV 810内定位和移动以维持线与环境中的点、对象、标记等的视觉对准。该配置在环境中呈现虚拟线，其在佩戴者的头部移动时不会看起来是在移动。虚拟线可以为佩戴者提供关于在哪里做出笔画的引导。线可以被视为纸张上的线，所以佩戴者可以沿虚拟线进行书写或者按书写图案做出笔画以更准确地做出线图案的预测并且克服否则可能在尝试记录移动并且预测图案时明显的漂移误差。

在呈现虚拟线并且虚拟地连接到环境中的位置的情况下，佩戴者可以使用线以用于在做出书写图案时的引导。HWC 102相机还可以用于追踪笔200相对于虚拟线的位置的移动。这可以用于更好地预测由佩戴者的笔画指示的图案。如本文中其他地方所述，笔200可以通过笔尖相机和IMU追踪其运动。在实施例中，笔尖相机和IMU可以追踪笔的运动并且相机可以用于追踪笔相对于虚拟线的运动。这些输入中的每一个可以用于追踪、记录和预测正在书写什么808。

在实施例中，HWC 102中的相机捕获佩戴者的笔的运动的图像而同时佩戴者在具有虚拟线作为引导的情况下使用笔做出图案。虚拟线然后可以覆盖在运动的所捕获的图像上以帮助图案分析。在实施例中，一旦做出覆盖，人们就可以看到或者分析笔图案如何关于虚拟线的位置移动，因为佩戴者可以观察虚拟线。图案分析可以牵涉到解译IMU运动检测、笔中运动检测和/或如通过HWC 102相机相对于虚拟线所捕获的笔的运动。例如，如果IMU指示笔远离佩戴者偏移，但是笔相对于虚拟线的位置指示笔没有在移动，则指示偏移的IMU数据的部分可以在预测分析中打折扣。虚拟线图案分析可以实时地、在事实之后等完成。图案识别可以在HWC 102的板载处理器上、远离HWC 102、或者部分地板载且远程地完成。

在实施例中，虚拟线可以采取任何数目的形式。例如，虚拟线可以是线、虚拟笔记的部分、虚拟消息模板的部分等。线还可以取决于佩戴者的需要而改变位置和形状。例如，佩戴者可能想要追踪被显示为数字内容的图案，并且数字内容可以被呈现为联合的图像、图像的部分、逐行呈现格式中的图像等。在实施例中，该系统可以用于关于书写、绘画、绘图等的课程。

本发明的另一个方面涉及来自头戴式计算机的图像的投射，其中具有x-y反射镜控制和固态照明系统的投影仪安装在头戴式计算机中并且定位成将光栅样式图像投射到附近表面上。

图9图示了根据本发明的原理的投射系统。在实施例中，HWC 102具有微反射镜投影仪902，其适配成投射光栅样式光束以在附近表面上生成图像。微反射镜投影仪902可以包括用于光源的x-y方向控制的两个可移动反射镜或者具有用于x-y方向控制的两个独立控制的垂直轴线上的移动的单个反射镜。光源可以是单色、多色、双色、三色、多色的或其他布置。在其中使用多个颜色（例如，红色、绿色和蓝色）的实施例中，可以顺序地提供、同时地提供或者以其他方式通过固态照明系统（例如，LED、激光器等）提供颜色。应当理解到，术语“光栅”在本文中用作可以投射以在附近表面上产生图像的图案的示例，并且其不应当被视为限于任何一个特定图案，除非以其他方式声明。另外，尽管实施例涉及“附近表面”，但是应当理解到，这也是针对读者的示例并且其不应当被视为限于任何特定距离，除非以其他方式声明。

微反射镜投影仪902可以投射用于显示的图像（例如，地图、呈现等）、用于HWC 102的交互式用户接口904（例如，交互式键盘、光标控制接口、按钮、触摸板等）、用于外部设备108的交互式用户接口、用于多个参与方的交互式内容（例如，地图、游戏等）。

在实施例中，交互式用户接口904可以由微反射镜投影仪902投射并且传感器系统可以包括在HWC 102中以做出涉及人员与图像的相交的解译。例如，传感器系统可以检测人员已经“触摸”所投射的键盘上的字母“a”并且将检测信息提供给处理器，其确定人员已经“按压”字母“a”。

在实施例中，传感器系统可以包括在HWC 102中，HWC 102适配成在微投影仪902和附近表面之间存在对象时感测干扰，并且干扰信息可以用于修改所投射的图像使得所投射的图像没有投射到对象上。例如，微反射镜投影仪902可以将键盘投射到附近表面上，并且当用户将其手指放置在键盘之上时，传感器系统可以检测来自手指的干扰并且可以修改投射使得投射在干扰的区域中为暗的、没有发射的，所以用户的手指或手部在其上没有所投射的图像。在示例中，微投影仪可以将键盘投射到表面上。所投射的键盘的图像由HWC中的相机捕获并且该图像用作用于比较的基线。然后周期性地捕获键盘的图像并且将其与基线比较以确定手指是否存在并且手指定位在哪里。所投射的键盘的图像然后经修改以移除其中已经确定手指要定位在那里的键盘的部分。

在实施例中，在微反射镜投影仪中使用的固态光是非可见激光器或LED（例如，NIR、IR），使得投影仪投射非可见图像。非可见图像可以通过匹配的非可见光检测器或相机的使用进行检测。这可以用于通过为HWC 102提供检测器并且然后在与非可见辐照匹配的HWC 102的透视显示器中显示可见图像内容而防止其他人看到HWC 102的用户正看到的内容。这还可以用于投射用于其他人的图像以查明他们是否具有匹配的非可见检测器系统。

在实施例中，通过HWC 102可控制来自微反射镜投影仪902的所投射的图像的位置。例如可以通过用户姿态、外部控制设备、HWC 102安装接口等而可设定该位置。在实施例中，该位置在附近表面上被锁定就位。例如，一旦定位，则附近表面上或邻近附近表面的相邻对象或标记可以用于对所投射的图像进行“键控”以使得所投射的图像维持附近表面上的相对位置。在该情况下，使所投射的图像相对于按键稳固，使得当HWC移动时，所投射的图像在显示器视场内移动以维持对于按键的恒定相对位置，这又被称为世界锁定图像。

在实施例中，微反射镜投影仪902具有图像稳定化系统。图像稳定化系统可以移动微反射镜投影仪902以补偿HWC 102的所感测的振动或其他移动使得所投射的图像看起来稳定地定位在附近表面上，即使在存在HWC 102的振动或移动（例如，小移动）时。

本发明的方面涉及陀螺仪稳定化图像投影仪，其具有万向架安装以提供物理稳定化投射平台。在实施例中，投射是世界锁定的使得所投射的图像看起来处于相对表面、表面边缘、标记等的固定位置中。世界锁定的投射可以利用激光光栅化投射而陀螺仪稳定化，其中IMU用于测量头戴式计算机的移动并且然后小电机（例如，压电电机）用于稳定化（多个）投影仪/光栅反射镜。在可替换实施例中，所投射的图像穿过包括光学稳定化的光学器件，其中光学元件的位置可以横向移动以响应于HWC的所感测的移动而改变投影仪的指向方向。

除光学稳定化之外，所投射的用户接口还可以或者替代地数字稳定化。所投射的用户接口的数字生成的图像可以跨所投射的视场横向地数字偏移以稳定化如由用户看到的用户接口，使得所投射的用户接口（例如，键盘）仅占据所投射的视场的部分。例如，在键盘占据所投射的30度视场中的20度的情况下，所投射的图像可以通过数字地偏移图像以补偿所检测到的移动而针对+/-5度的移动而被数字地稳定化。在实施例中，可以通过检测HWC的移动或者通过检测相机的视场中的对象的移动或者通过两种技术的组合而完成移动检测。检测相机的视场中的对象的移动是方便的，因为所检测到的移动将是在角度方面，其是在所投射的视场内需要的相同移动。

本发明的另一个方面涉及通过衍射光学元件生成所投射的图像。在实施例中，IMU稳定化激光器布置成使得通过衍射而生成用户接口图像。激光器可以附连成衍射的并且组合设备可以由致动器指向以对准并且稳定化该图像。在实施例中，衍射是可移除并且可更换的，使得用户可以改变将由投影仪呈现什么投射图像。例如，HWC 102可以提供有衍射件的集合，一个用于键盘、按钮、滑块等，并且每一个可以在HWC 102中移除和更换。

本发明的方面涉及所投射或增强的现实内容显示的用户接口位置和焦平面连同用于起因于与用户接口的交互的内容的焦平面。例如，如本文中所述，键盘或其他用户接口可以从HWC 102投射到表面上。用户可以与出现在表面上的图像交互，并且HWC 102可以具有交互标识系统（例如，结构化非可见波长光图案识别系统、运动和距离传感器系统等）使得交互产生输出（例如，涉及键盘交互的键盘敲击）。输出或者对交互的响应可以在与其中显示所投射的用户接口的表面和区域的位置和焦平面相关的焦平面和位置处显示在HWC102的透视显示器中。在实施例中，位置可以使得从用户的视角来看合成内容不会覆盖用户接口。在实施例中，用于合成内容的呈现的焦平面和用户接口显示平面可以不同以形成其中用户可以专注于用户接口或合成内容上但不能同时专注于二者上的工作空间。在实施例中，合成内容的位置可以关于所投射的用户接口世界锁定，使得从用户的视角来看它们看起来彼此维持恒定位置关系。这对于身为触摸打字者的用户来说可以是有用布置，这里该用户主要专注于合成内容，但是偶尔想要观看键盘。

在其他实施例中，合成内容可以定位并且锁定在所投射或显示的用户接口附近的位置中并且具有与用户接口相同或相似的焦平面。该布置例如对于想要在合成内容和键盘的按键之间来回查看的那些用户可能是合期望的。

在实施例中，用户可以肯定地控制合成内容相对于所投射或显示的用户接口的位置和焦平面。选择可以设定为默认设置、临时设置、上下文设置（例如，基于在HWC 102中使用的应用的选择、基于用于参考投射或显示的表面的选择、日间时、传感器反馈（例如，如果运动传感器识别运动，则可以使用某一设置）、环境状况等。

在实施例中，合成内容可以通过除头戴式透视显示器之外的显示器来呈现。例如，用户可能想要向邻近或远离用户的其他人显示内容，所以用户可以进行推选以使合成内容呈现在另一个系统显示器上。

本发明的另一个方面涉及在HWC 102的移动期间维持所投射或显示用户接口的恰当形状。在实施例中，用户接口被呈现为世界锁定的物品，这意味着其通过固定参考物定位到周围环境中的某一事物使得其看起来锁定就位，即使在用户移动他的头部和眼睛的情况下。在实施例中，用户接口也被稳定化以使得从用户的视角看来，用户头部的相对小移动不会使用户接口看起来以不想要的方式摇动或移动。在另外的实施例中，所投射的用户接口的形状可以被监控和调节以维持其打算的形状以便从用户的视角来观看（例如，以校正梯形失真）。例如，表面或者表面的边缘可以被监控以用于形状对准，并且当HWC 102移动得足以使形状以其他方式关于表面参考物改变时，所投射的用户接口形状可以更改以维持恰当对准的形状。在实施例中，可以通过成像过程完成主动表面对准，其中HWC 102中的相机用于对表面成像。在实施例中，可以基于预测系统而完成形状修改。例如，IMU可以监控HWC102的移动，并且可以使用IMU输出来预测所投射的用户接口图像中的结果得到的改变，使得用户接口图像可以基于移动而再成形。在实施例中，形状管理可以牵涉到表面成像和基于运动的预测二者。在实施例中，所投射或显示的用户接口可以进一步被数字地稳定化。

本发明的另一个方面涉及基于HWC的移动而切掉所显示或投射的用户接口的部分或全部。在实施例中，用户接口是世界锁定的并且部分或全部的用户接口将被切掉，如果HWC 102移动得过多的话。例如，在其中向表面上投射键盘（诸如通过双反射镜投影仪）并且键盘世界锁定到表面的情况下，所投射的键盘的部分可以在用户将他的头部转向侧面时消除。这防止投影仪错误地投射图像。投影仪将仅具有某些相对小的可调节范围以瞄准表面并且例如一旦达到范围的末端，投射可以停止或者所投射的图像可以以仅所投射的用户接口的部分仍旧出现的这种方式来更改。当在这样的情况下投射用户接口的部分时，所投射的内容可能需要更改。例如，当投射的右侧要切断时，诸如由于投影仪的范围的原因，数字内容可以更改使得内容的左部继续看起来清楚。

本发明的另一个方面涉及基于用户呈现的标记对所投射或显示的用户接口进行世界锁定。在实施例中，HWC 102的用户放置高对比度标记或者做出高对比度记号使得HWC102具有用于用户接口的世界锁定的参考物。在实施例中，标记或记号可以意图使用多次，诸如在其中用户周期性地坐下的桌面顶部上的记号。在实施例中，标记可以意图作为一次或有限次数的记号，诸如用户不会频繁访问的某一表面上或沙地中的记号。在实施例中，标记或记号可以用于对用户接口进行世界锁定，其中记号直接与用于用户接口的部分的放置相关联。在其他实施例中，标记或记号可以用作远程参考物，将针对其参考用户接口，但是用户接口将不会覆盖它。这在其中用户想要在表面上移动用户接口的情况下可能是有用的。例如，用户接口可以投射在原始位置中，并且HWC 102可以给予用户在世界锁定表面上移动用户接口的机会。用户然后可以使用姿态，诸如触摸用户接口投射并且将它拖拽到优选位置上。然后，HWC可以继续使用记号或标记作为参考物，或者如果另一个标记被识别为可用，则可以使用新的标记。

在实施例中，用户生成的标记对于人类眼睛不可见，但是可以由HWC 102检测。例如，量子点油墨或者其他红外活性材料可以用于做出记号，其对于人类眼睛不可见，但是在红外中观看时可见，并且HWC 102可以包括能够检测从记号发射的红外光的红外相机。量子点油墨或者其他红外活性材料可以响应于可见光或者近红外光而发荧光红外光。类似地，记号可以在紫外光中可见，但是对于人类眼睛不可见，并且然后HWC包括紫外相机。

本发明的另一个方面涉及通过结构化光的投射捕获与所投射或显示的用户接口的用户交互，以及捕获和解译由用户移动引起的结构化光中的改变。在实施例中，通过衍射件投射结构化光以生成已知光图案。结构化光投影仪可以构建到HWC 102中，IMU稳定化并且与用户接口投影仪协调以维持与所投射的用户接口图像的对准。在实施例中，结构化光将覆盖用户接口，使得与牵涉用户接口的区域的物理交互可以被识别和解译。结构化光典型地对于用户不可见，因为其可以是将使用户分心的非常复杂的图案。在实施例中，HWC102包括非可见捕获系统（例如，IR相机）以捕获结构化光干扰图案。

在实施例中，可以通过使用户以所有手指与表面接触而开始来将用户的手指位置校准到结构化光系统或立体相机3D成像系统中。通过经由使用结构化光系统或立体相机3D成像系统来测量与表面接触的手指的位置，可以获得与表面接触时的指尖的基线位置。当指尖随后达到该基线位置时，这可以被解译为已经接触表面并且可以在所投射或显示的键盘或用户接口上确定击键或其他输入。当结构化光或立体相机3D成像系统从透视图观看表面和用户的手指时这特别有利，其中用户手指的移动远离或朝向HWC，因为然后用户手指的移动受表面所限制。表面相对于用户接口的位置和角度还可以通过使用结构化光系统或立体相机3D成像系统来确定。表面的位置和角度可以用于更准确地确定所投射或显示的键盘或用户接口的整个区域之上的手指的基线位置，使得可以更准确地标识击键。

在实施例中，与用户的头部姿势对应地将所显示或投射的用户接口（例如，键盘）和其他显示的信息提供给用户。其中通过如由与HWC相关联的倾斜传感器确定的所测量的HWC的倾斜来确定头部姿势。在该情况下，所显示或投射的用户接口仅在用户的头部姿势处于所选角度或角度范围处时提供，诸如当用户的头部以30度向下倾斜时，如典型地在使用膝上型计算机时的情况。当用户将其头部抬起至该倾斜角度以上时，不提供用户接口并且不追踪其手指移动。如果用户然后再次向下倾斜其头部，则再次提供用户接口并且追踪其手指移动以确定其与用户接口的交互。以类似方式，当用户的头部姿势处于所选横向角度或角度范围内时，可以提供用户接口，并且如果用户横向地移动其头部，则不提供用户接口。仅在用户的头部姿势处于所选位置内时提供用户接口的这种方法鼓励用户保持其头部静止，如典型地在人员进行打字或者与图形用户接口进行交互时的情况。但是在所选角度范围内提供稳定化的所显示或投射的用户接口在本发明的范围内。以该方式，提供了对用户接口进行世界锁定而不必追踪环境中的对象的简化方法。替代地，方法依赖于在所选角度移动范围内追踪用户的头部姿势以确定何时向用户提供所显示或投射的用户接口。方法还可以提供为由HWC的用户选择的模式。此外，提供用户接口可以与没有显示用户接口时显示在HWC中的其他信息的提供来组合。例如，当用户使其头部向下倾斜时，可以显示或投射用户接口，并且当用户使其头部向上倾斜时，提供其他信息而不提供用户接口。

在实施例中，使用非可见光投射用户接口，其中非可见光由用户或者其他用户成像，并且用户接口然后被呈现为头戴式显示器中的增强现实覆盖。例如，可以在940nm处提供结构化光（例如，利用LED或激光二极管），其仍旧可以由红外切割滤波器被移除的标准CMOS或CCD相机捕获。然后可以利用808nm光（例如，利用LED或激光二极管）来投射键盘并且利用标准相机捕获该键盘。在实施例中，可以利用相同相机捕获图像并且图像可以经图像处理以识别不同波长图案。在其他实施例中，这可以利用两个相机来实现，其中一个相机用于捕获结构化光并且另一个相机用于捕获所投射的图像，并且为每个相机遮挡与其他图像相关联的光（例如，通过包括凹口滤波器，其传送某些波长的光同时吸收或反射其他波长的光）。

在实施例中，结构化光图案和所投射的用户接口是世界锁定、稳定化的，并且图像形状以协调方式校正以维持其两者之间的恰当对准，并且使得用户交互的恰当标识可以被识别为与用户接口元件恰当地对准。例如，结构化光投影仪和用户接口投影仪二者可以物理地稳定化（例如，如本文中所述）、数字地稳定化（例如，如本文中所述）并且形状校正以补偿头部移动（例如，如本文中所述）。

在实施例中，IMU附连到用户手部、手指和/或指关节的后面以通过检测移动中的急剧停止来检测手指移动和表面接触。这可以提供更加可检测的按键接触以与利用系统的手指移动的检测一起进行。

本发明的另一个方面涉及通过如由安装在头戴式计算机上的两个分离相机捕获的用户手指的3D图像来捕获与所投射或显示的内容用户接口的用户交互。例如，相机可以安装在HWC 102的面向前的侧面的末端上（例如，靠近眼镜镜片）并且两个相机可以同时地捕获用户手指的视频而同时用户与所投射内容或显示的用户接口交互（例如，所投射的键盘或AR内容显示的键盘）。当相机捕获图像时，来自分离相机的图像可以被处理以生成用户的移动的3D模型使得可以确定与所投射或显示的用户接口（例如，虚拟接口）的交互。在实施例中，双分离相机可以捕获其他用户身体部分移动使得它们可以被解译为3D姿态命令。

在实施例中，所投射的用户接口可以采取乐器的形式（例如，钢琴、鼓、风琴）。在实施例中，所投射的用户接口可以投射到清晰表面上使得其他人可以看到所投射和交互的是什么。

本发明的另一个方面涉及用于启动所投射或显示的用户接口的技术。在实施例中，用户接口可以基于肯定用户动作、上下文信息或其他信息而激活（例如，投射或显示）。例如，如果用户启动与特定类型用户接口（例如，键盘、按钮、鼠标、触摸板）互操作的头戴式计算机上的软件应用，则可以自动地向用户呈现用户接口。在实施例中，用户接口可以在软件应用的体验期间适当的时候进行呈现。例如，如果用户启动电子邮件应用，则用户可以自动地呈现有“读者”的用户接口，诸如所投射或显示的触摸板。用户可以使用触摸板与电子邮件程序交互以帮助阅读、滚动、移动到另一个电子邮件等。用户还可以使用触摸板回复或开始新的电子邮件，其是可以使用户接口更改并包括键盘以促进文本输入的动作。在其他实施例中，用户可以使用另一个外部用户接口以启动所投射或显示的用户接口。例如，用户可以具有笔或手表接口（如本文中所述）并且笔或手表可以适配成启动所投射或显示的用户接口。用户然后可以使用笔或手表以用于某些交互并且然后快速启动附加用户接口（例如，所投射或显示的键盘）。用户还可以使用安装在头戴式计算机上的用户接口来启动所投射或显示的接口。

本发明的另一个方面涉及可以由头戴式计算机的用户观看的非可见用户接口。在实施例中，用户接口是红外荧光打印键盘（例如，利用量子点油墨或红外活性油墨或非可见油墨打印），其中油墨在暴露于可见光或近红外光之后在红外线中发荧光。可以由红外相机或HWC中的高光谱相机连同手指移动而捕获来自红外荧光打印键盘或其他用户接口或图像的光。由于打印键盘处于用户手指之下，所以手指不会干扰键盘图像。立体相机或者结构化光可以用于确定手指移动，如之前已经在本文中讨论的。适当的红外油墨的示例包括： IR1油墨在793nm以下吸收并且在840nm处发射；或者 x纳米IR-783在可见区中吸收并且在783nm处发射。

在另外的实施例中，利用与HWC相关联的飞行时间相机系统来捕获与所投射或显示的用户接口或打印用户接口的用户交互。飞行时间相机将短脉冲光（例如，红外光）投射到用户手部和用户接口的相关联区域上。然后由飞行时间相机针对非常短的时间段来捕获从用户手部和用户接口或键盘的相关联区域反射的光。然后从如由飞行时间相机捕获的场景的图像的不同部分的相对明亮度来确定飞行时间相机与用户手部的部分和用户接口的相关联区域的部分之间的相对距离。因此，飞行时间相机提供了用户手部和用户接口的相关联区域的深度图。深度图中的改变用于确定用户手部关于用户接口的移动。

本发明的另一个方面涉及交通工具特定的外部用户接口104。在实施例中，交通工具特定（“VSE”）的用户接口104包括机械安装系统，其适配成将VSE接口104安装在交通工具的方向盘上。安装系统可以将VSE接口固设在倾向于靠近驾驶员手部的位置中，诸如在1:00到3:00位置或9:00到11:00位置附近的方向盘部分上。VSE接口可以利用Velcro样式系统、夹子、皮带等进行固设。在实施例中，VSE接口适配成在意图交互以增强驾驶员的驾驶体验的情况下进行驾驶时为驾驶员提供用于与HWC 102交互的系统。例如，驾驶员可以在他在驾驶的同时预设应用、屏幕、内容集合等以用于访问，并且VSE接口可以提供物理接口以用于启动应用、转换、切换或者改变应用或屏幕或内容集合等。由VSE接口控制的显示内容的呈现可以牵涉到导航、交通工具系统、感兴趣的点的信息、广告等，并且驾驶员可以能够通过一个按钮或者多于一个按钮的交互非常快速地在应用之间切换。在实施例中，预设屏幕、内容集合或应用可以通过专用快速启动按钮而启动。例如，导航应用按钮可以处于VSE接口的右上部。

在实施例中，预编程的按钮或按钮集合可以设定成清空HWC 102的显示器以没有内容或者减少原本显示的内容数量以增大驾驶员的周围的透视视图。（多个）按钮可以设定成在涉及交通工具的预确定的两个内容类型之间切换内容显示模式（例如，在预设驾驶应用之间切换）。（多个）按钮可以设定成改变HWC 102的视场中的无内容区域的数量。（多个）按钮可以设定成在视场内移动内容。（多个）按钮可以设定成改变HWC 102显示器明亮度和对比度或者控制HWC 102的其他方面，诸如改变音量、传感器设置等。尽管许多实施例是指“（多个）按钮”的使用，但是应当理解到，这仅用于说明中的简便性并且本发明设想到其他形式的用户可控接口，诸如开关、转换器、触摸屏、触摸板等。

图10图示了根据本发明的原理的若干VSE接口。VSE接口1004被图示为安装在方向盘1002上并且以各种控制配置来图示。VSE接口可以具有侧面1008、前面1010或其他地方的热键或启动按钮，使得驾驶员可以在驾驶时触摸它们并且与它们交互。VSE接口还可以具有固定热钮1012以执行专用功能，诸如清空内容的HWC 102的显示或者限制准许显示在显示器中的内容的类型或数量。VSE接口还可以具有一个或多个触摸板或屏1018。触摸板或屏1018可以例如用作按钮样式接口以及光标控制样式接口。VSE接口还可以利用虚拟活动层1014虚拟地修改。虚拟活动层1014可以呈现为HWC 102的显示器中的数字内容并且关于物理VSE接口锁定就位，使得驾驶员将虚拟内容感知为增强物理VSE接口。例如，虚拟按钮标签可以被提供为数字内容并且覆盖或设定成靠近VSE接口，使得驾驶员将标签感知为与按钮相关联。虚拟内容可以与新命令集合协调地使用。例如，涉及导航的新命令集合可以在HWC102上设定并且标签或图像可以设定成出现在锁定于VSE接口的位置中。在实施例中，可以不存在物理按钮，并且在用户通过触摸VSE控制器的部分而与内容虚拟地交互时，可以发起引起控制命令的交互，VSE控制器的该部分从通过显示器的驾驶员的视角来看与虚拟内容相交。

在实施例中，VSE接口可以机械地适配成在驾驶员的自然掌握内连接到其他系统。例如，VSE接口可以机械地适配成附连到换挡杆、手柄、支柱等。

本发明的方面涉及具有快速启动接口的用户接口，该快速启动接口适配成快速地启动应用、应用的部分、功能、显示控制命令、头戴式计算机功能等。在实施例中，提供用于头戴式设备的外部用户接口（例如，如本文中其他地方所述），并且外部用户接口包括按钮、开关、触摸板等，其在被致动（例如，按钮被按压）时在头戴式计算机上发起动作（例如，启动或激活软件应用或清空透视显示器）。在实施例中，外部用户接口可以具有以下形式：笔、笔附件、手表、手表附件、专用设备（例如，方向盘附件）、可编程设备、鼠标、无线手指安装鼠标、电话、音乐播放器等（其中一些在本文中其他地方描述）。

作为包括快速启动激活系统的外部用户接口的另外示例，可以提供手指安装无线控制器（一般地还称为无线手指鼠标、无线空中鼠标或WAM）。WAM可以包括陀螺仪和/或惯性移动检测系统（例如，IMU）并且这样的系统可以基于其移动向头戴式计算机传达信号或命令。该系统可以用于解译姿态、连续地控制透视显示器上的鼠标元件的移动、控制显示在透视显示器上的内容的视图等。WAM还可以机械地适配成安装在人员的手指（例如，食指）上使得可以利用人员的拇指来控制其按钮和其他物理接口。快速启动物理接口（例如，按钮）可以定位在WAM上使得拇指可以致动它。一旦致动，就可以发起与接口相关联的程序、动作、功能等。

快速启动系统和相关联的头戴式计算机可以配置成使得基于情况意识系统、头戴式计算机设置、外部用户接口设置等，快速启动命令在执行之前没有起作用或修改。例如，头戴式计算机可以包括传感器，其收集可以经解译以确定活动的信息（例如，可以计算前向速度，并且在其中速度超过10mph的情况下，可以确定人员在汽车中进行驾驶），并且可以基于活动而忽略或修改命令。在形势要求周围的清楚视图的情况下（例如，驾驶汽车），原本将使内容呈现在透视显示器中的快速启动命令可以被忽略或者所显示的内容可以被修改以维持高透视程度。在某些情况下，这可以防止通过快速启动命令的无意激活所致的模糊视图。以类似方式，快速启动按钮的命令可以更改或者以其他方式解译以基于情况或设置而引起预确定的动作。例如，与和快速启动接口相关联的命令无关，接口的激活在情况看起来需要周围的清楚视图时可能引起内容从透视接口的清除。如本文中其他地方所述，快速启动接口可以编程为使透视显示器清空或者基本上清空（例如，仅朝向显示器的边缘显示内容使得其“避开”周围视图）。

在实施例中，快速启动系统可以适配成在致动器以特定方式相互作用时启动应用、功能、显示控制命令等并且然后在交互终止时发送不同命令。例如，系统可以适配成使内容仅在保持按钮时显示在透视显示器中。当按钮被释放时，可以移除内容。该系统允许用户仅在他已经激活接口时显示内容并且当他完成内容或者想要周围的清楚视图时，他可以通过释放而快速地移除内容。在实施例中，系统可以逆向编程（即，在按钮保持的情况下移除内容）。快速启动系统可以可编程和/或预编程以设定使用外部设备上的哪个致动系统以及是什么交互模式引起动作。在实施例中，致动器可以编程为在致动器保持一段时间、致动多次（例如，双击）或者其他交互模式之后引起启动命令。

在实施例中，快速启动系统可以具有“保持”功能，其中预确定的交互引起启动并且然后第二个预确定的动作引起启动的取消或启动的修改。例如，致动器的双击可以引起内容在透视显示器中的显示，并且第二个双击或者单击可以引起内容从透视显示器的移除。

尽管已经以特定于特征、系统、计算机过程和/或方法的语言描述了HWC的实施例，但是随附权利要求不一定限制于所描述的特定特征、系统、计算机过程和/或方法。相反，特定特征、系统、计算机过程和/或方法是作为HWC的非限制性示例实现而公开。本文引用的所有文档通过引用而并入于此。

说明性方法、系统、用户接口、显示器、计算机和控制器

在一些实现中，头戴式计算机的方法可以在以下条款中描述或者以其他方式在本文中描述并且如图8中所图示。

1. 一种方法，包括：

在头戴式计算机的透视显示器中作为数字内容而呈现虚拟线以作为用于由头戴式计算机的佩戴者书写的笔画的对准的引导；

当笔在由虚拟线引导时沿表面移动时，追踪由佩戴者保持的笔的相对运动，其中追踪牵涉到使用头戴式计算机中的相机来捕获笔运动的图像，并且在运动的所捕获的图像上覆盖虚拟线；以及

解译笔的相对运动以确定所书写的图案。

2. 条款1的方法，其中笔包括检测笔移动的IMU，并且其中检测笔移动的IMU与相对运动结合地使用以确定所书写的图案。

3. 条款1的方法，其中虚拟线被呈现为笔记的部分。

4. 条款1的方法，其中虚拟线被呈现为消息模板的部分。

5. 条款1的方法，其中虚拟线被呈现为电子邮件模板的部分。

6. 条款1的方法，其中虚拟线被呈现为书写教学平台的部分。

7. 条款1的方法，其中虚拟线被呈现为绘画教学平台的部分。

8. 条款1的方法，其中虚拟线被呈现为绘图教学平台的部分。

9. 条款1的方法，其中所书写的图案相对于虚拟线而呈现在透视显示器中。

10. 条款9的方法，其中呈现是实时的。

11. 一种方法，包括：

响应于肯定动作和上下文信息中的至少一个，启动作为数字内容的虚拟线在头戴式计算机的透视显示器中的呈现以作为用于由头戴式计算机的佩戴者书写的笔画的对准的引导；

当笔在由虚拟线引导时沿表面移动时，追踪由佩戴者保持的笔的相对运动，其中追踪牵涉到使用头戴式计算机中的相机来捕获笔运动的图像，并且在运动的所捕获的图像上覆盖虚拟线；

解译笔的相对运动以确定所书写的图案；以及

响应于所书写的图案，启动所投射或显示的用户接口。

12. 一种方法，包括：

响应于追踪而启动应用、应用的部分、功能、显示控制命令和头戴式计算机功能中的至少一个；以及

解译笔的相对运动以确定所书写的图案，其中所书写的图案用作向至少一个应用、应用的部分、功能、显示控制命令或头戴式计算机功能的输入。

13. 一种方法，包括：

解译笔的相对运动以确定所书写的图案；以及

响应于所书写的图案，启动应用、应用的部分、功能、显示控制命令或头戴式计算机功能中的至少一个。

14. 一种方法，包括：

使用包括双反射镜系统的x-y控制装置的微反射镜投影仪作为数字内容而投射虚拟线，其中双反射镜系统在光栅图案中反射窄光束来生成头戴式计算机的透视显示器中的虚拟线以作为用于由头戴式计算机的佩戴者书写的笔画的对准的引导；

解译笔的相对运动以确定所书写的图案。

15. 条款14的方法，其中笔包括检测笔移动的IMU，并且其中检测笔移动的IMU与相对运动结合地使用以确定所书写的图案。

16. 条款14的方法，其中虚拟线被呈现为以下中的至少一个：笔记的部分、消息模板、电子邮件模板、书写教学平台、绘画教学平台的部分以及绘图教学平台。

17. 条款14的方法，其中所书写的图案相对于虚拟线而呈现在透视显示器中。

18. 条款17的方法，其中呈现是实时的。

19. 条款14的方法，其中微反射镜投影仪是光栅激光投影仪。

20. 条款14的方法，还包括稳定化投影仪并且锁定虚拟线的位置使得虚拟线在头戴式计算机的移动期间维持其相对位置，其中投影仪的稳定化包括通过由头戴式计算机运动检测系统调节的万向架安装物理地稳定化投影仪并且通过使用投影仪的投射视场的子部分以数字地稳定化虚拟线图像使得投射可以在视场内偏移以补偿由头戴式计算机运动检测系统检测到的移动。

21. 条款14的方法，还包括相对于表面世界锁定虚拟线；并且评估头戴式计算机的移动并且当存在所投射的用户接口的至少部分在世界锁定位置处离开用户的视野的指示时移除所投射的虚拟线的至少部分。

22. 一种方法，包括：

在致动时，在头戴式计算机处接收来自笔的信号，从而使头戴式计算机显示数字内容；

在头戴式计算机的透视显示器中呈现数字内容以作为用于由头戴式计算机的佩戴者书写的笔画的对准的引导；

当笔在由数字内容引导时沿表面移动时，追踪由佩戴者保持的笔的相对运动，其中追踪牵涉到使用头戴式计算机中的相机来捕获笔运动的图像，并且在运动的所捕获的图像上覆盖数字内容；以及

解译笔的相对运动以确定所书写的图案。

23. 条款22的方法，其中数字内容是虚拟线。

24. 条款22的方法，其中数字内容在对应于致动器保持在致动位置中的时间的持续时间内显示。

25. 条款24的方法，其中致动位置通过佩戴者执行预确定的保持动作而自动地保持。

26. 条款25的方法，其中预确定的保持动作是双击动作。

27. 条款25的方法，其中预确定的保持动作是在比预确定的时段更长的时段内对致动器进行致动。

28. 一种方法，包括：

在致动时，在头戴式计算机处接收来自笔的信号，从而使头戴式计算机启动用于显示数字内容的以下各项中的至少一个：应用、应用的部分、功能、显示控制命令和头戴式计算机功能；

解译笔的相对运动以确定所书写的图案。

29. 条款28的方法，其中数字内容是虚拟线。

30. 条款28的方法，其中数字内容在对应于致动器保持在致动位置中的时间的持续时间内显示。

31. 条款30的方法，其中致动位置通过佩戴者执行预确定的保持动作而自动地保持。

32. 条款31的方法，其中预确定的保持动作是双击动作。

33. 条款31的方法，其中预确定的保持动作是在比预确定的时段更长的时段内对致动器进行致动。

在一些实现中，用于头戴式计算机的控制系统和用于控制头戴式计算机的用户接口可以在以下条款中描述或者以其他方式在本文中描述并且如图1、9和10中所图示。

1. 一种适配成控制头戴式计算机的外部用户接口，包括：

外壳，其具有适配成将外壳固设到交通工具的方向盘的机械附连系统；

可编程快速启动软件应用按钮，其安装在外壳上并且适配成激活头戴式计算机上的预指定的软件应用；以及

专用按钮，其安装在外壳上并且适配成在激活时清空妨碍内容的头戴式计算机的显示。

2. 一种用于头戴式计算机的控制系统，包括：

外壳，其具有适配成将外壳固设到交通工具的方向盘的机械附连系统；以及

呈现在头戴式计算机的透视显示器的视场中的虚拟控制元件，其中虚拟控制元件呈现在视场内的位置处使得用户将虚拟控制元件感知为锁定在邻近外壳的位置中。

3. 条款2的控制系统，其中邻近外壳的位置与外壳的前表面重叠。

4. 条款2的控制系统，其中邻近外壳的位置邻近外壳的侧面。

5. 条款3的控制系统，其中当用户触摸外壳的前表面时，虚拟控制元件向在头戴式计算机上操作的软件应用发布控制命令，其中头戴式计算机板载的相机捕获用户与前表面的交互的图像并且解译该交互以用于生成控制命令。

6. 一种适配成控制头戴式计算机的外部用户接口，包括：

触摸板，其安装在外壳上并且适配成取得用户交互并且将它转换成用于预指定的软件应用的命令。

7. 一种适配成控制头戴式计算机的外部用户接口，包括：

用户接口，其安装在外壳上并且适配成取得人类交互作为输入以用于生成命令来控制涉及驾驶体验的头戴式计算机的方面。

8. 条款7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到在涉及交通工具的两个预确定的内容类型之间切换内容显示模式。

9. 条款7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到改变透视显示器的视场中的无内容区域的数量。

10. 条款7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到改变透视显示器的明亮度。

在一些实现中，用于头戴式计算机的显示器可以在以下条款中描述或者以其他方式在本文中描述并且如图1和9中所图示。

1. 一种具有透视计算机显示器的头戴式计算机，包括：

安装在头戴式计算机上的微反射镜投影仪，其中微反射镜投影仪包括双反射镜系统的x-y控制装置，其中双反射镜系统在光栅图案中反射窄光束以在附近表面上生成图像图案；

检测与图像图案的交互的传感器系统；以及

处理器，其适配成使用所检测到的交互作为用于在头戴式计算机上操作的软件应用的控制输入。

2. 条款1的头戴式计算机，其中传感器系统向微反射镜投影仪提供信息以修改图像图案使得涉及所检测到的交互的图像图案的部分被移除。

3. 条款1的头戴式计算机，其中微反射镜投影仪安装在可移动平台上，该可移动平台适配成移动以补偿头戴式计算机中的移动使得图像图案在附近表面上保持稳定。

4. 条款1的头戴式计算机，其中图像图案虚拟地锁定在相对于附近表面的位置中。

在一些实现中，头戴式计算机的方法可以在以下条款中描述或者以其他方式在本文中描述并且如图1和9中所图示。

1. 一种方法，包括：

a. 在头戴式计算机中布置光栅激光投影仪使得其将用户接口图像投射到邻近头戴式计算机的表面上；

b. 稳定化投影仪并且锁定用户接口的位置使得用户接口在头戴式计算机的移动期间维持其在表面上的相对位置；

c. 其中投影仪的稳定化包括通过由头戴式计算机运动检测系统调节的万向架安装物理地稳定化投影仪以及通过使用投影仪的投射视场的子部分以数字地稳定化用户接口图像使得投射可以在视场内偏移以补偿由头戴式计算机运动检测系统检测到的移动。

2. 一种方法，包括：

b. 稳定化投影仪并且锁定用户接口的位置使得用户接口在头戴式计算机的移动期间维持其在表面上的相对位置；以及

c. 将源自与头戴式计算机的透视显示器中的用户接口的交互的内容放置在与表面的焦平面不同的焦平面处使得通过透视显示器观看用户接口的用户专注于用户接口或者内容。

3. 条款2的方法，其中从用户的视角看来，内容的位置不与所投射的用户接口重叠。

4. 一种方法，包括：

c. 将源自与头戴式计算机的透视显示器中的用户接口的交互的内容定位在与表面的焦平面基本上相同的焦平面处使得通过透视显示器观看用户接口的用户同时专注于用户接口和内容二者。

5. 条款4的方法，其中从用户的视角看来，内容的位置不与所投射的用户接口重叠。

6. 一种方法，包括：

c. 使源自与用户接口的交互的内容显示在与头戴式显示器分离的系统上使得除佩戴头戴式显示器的人员之外的人员能够看到该内容。

7. 一种方法，包括：

c. 校正用户接口的形状以在头戴式计算机的移动期间维持从用户的视角看来的形状的恰当透视图。

8. 条款7的方法，其中校正包括相对于表面再对准用户接口的形状。

9. 条款7的方法，其中校正包括相对于表面的边缘再对准用户接口的形状。

10. 一种方法，包括：

b. 相对于表面对图像进行世界锁定；以及

c. 评估头戴式计算机的移动，并且当存在所投射的用户接口的至少部分在世界锁定的位置处离开用户的视野的指示时，通过修改所投射的内容来移除所投射的用户接口的至少部分。

11. 一种方法，包括：

b. 相对于表面对图像进行世界锁定；以及

c. 评估头戴式计算机的移动，并且当所投射的用户接口的至少部分基于头戴式计算机的移动而可能不再投射在世界锁定的位置中时，通过修改所投射的内容来移除所投射的用户接口的至少部分。

12. 一种方法，包括：

b. 识别头戴式计算机的用户已经将标记放置在邻近头戴式计算机的表面上；

c. 相对于用户放置的标记对图像进行世界锁定；以及

d. 识别用户命令以相对于用户放置的标记将用户接口移动到新的世界锁定位置。

13. 一种方法，包括：

a. 在头戴式计算机中布置光栅激光投影仪使得其将用户接口图像投射到邻近头戴式计算机的表面上，其中从用户的视角来看，用户接口图像维持相对于表面的固定位置；

b. 将结构化光系统布置在头戴式计算机中使得其投射覆盖用户接口图像的结构化非可见光；

c. 稳定化用户接口图像和结构化光二者使得它们在头戴式计算机的移动期间维持彼此的固定关系，包括维持相对形状；以及

d. 使得将结构化光中的干扰图案识别为与用户接口的有意的用户交互。

在一些实现中，头戴式计算机可以在以下条款中描述或者在本文中以其他方式描述并且如图1和9中所图示。

1. 一种头戴式计算机，包括：

安装在头戴式计算机的前表面上的两个物理分离的相机；

激光投影仪，其安装在头戴式计算机的前表面上并且适配成将用户接口投射到邻近头戴式计算机的表面上；

其中两个物理分离的相机关于表面上的用户接口而同时捕获用户的手指的移动；以及

处理器，其适配成从手指的所捕获的移动来形成与用户接口的交互的3D模型。

2. 一种头戴式计算机，包括：

安装在头戴式计算机的前表面上的两个物理分离的相机；

图像源，其适配成在头戴式计算机的透视显示器中作为内容而显示用户接口，其中用户接口定位成由用户感知为定位在邻近头戴式计算机的表面上；

其中两个物理分离的相机同时捕获用户的手指的移动；以及

处理器，其适配成从手指的所捕获的移动来形成手指与内容显示的用户接口的交互的3d模型。

在一些实现中，头戴式计算机的方法可以在以下条款中描述或者以其他方式在本文中描述并且如图1、8和9中所图示。

1. 一种检测与虚拟用户接口的用户交互的方法，包括：

向头戴式计算机的用户呈现虚拟用户接口，从用户的视角看起来，虚拟用户接口将定位在邻近用户的表面上；

使用户将用户的手指在表面上定位于从用户的视角看来与用户接口相交的位置处，从而形成交互姿势；

使头戴式计算机的检测系统捕获交互姿势，从而形成交互位置；以及

将交互位置存储为参考物以确定与虚拟用户接口的将来用户交互。

2. 条款1的方法，其中通过将图像投射到表面上而呈现虚拟用户接口。

3. 条款1的方法，其中虚拟用户接口被呈现为头戴式计算机的透视显示器中的增强现实内容。

4. 条款1的方法，其中检测系统是立体相机系统。

5. 条款1的方法，其中检测系统是产生结构化光图案的结构化光系统并且检测是基于导致光的图案的干扰图案。

6. 条款1的方法，其中检测系统是飞行时间测量系统。

7. 一种呈现虚拟用户接口的方法，包括：

基于头戴式计算机中的传感器系统的传感器反馈来确定佩戴头戴式计算机的用户的头部姿势；

确定头部姿势在预确定的范围内；以及

呈现虚拟用户接口使得从用户的视角看起来其出现在邻近用户的表面上。

8. 条款7的方法，其中虚拟用户接口通过将图像投射在表面上而呈现。

9. 条款7的方法，其中虚拟用户接口被呈现为头戴式计算机的透视显示器中的增强现实内容。

10. 条款7的方法，还包括：

重复地确定用户的头部姿势并且仅在头部姿势处于预确定的范围内时呈现虚拟用户接口。

在一些实现中，用于头戴式计算机的手指安装计算机控制器可以在以下条款中描述或者以其他方式在本文中描述并且如图2和7中所图示。

1. 一种用于头戴式计算机的手指安装计算机控制器，包括：

适配成安装在人员的手指上的外壳；

运动传感器，其安装在外壳中并且适配成感测外壳的位置移动并且基于位置移动而向头戴式计算机传达控制信号；以及

可编程致动器，其安装在外壳的外侧并且适配成在致动时向头戴式计算机传达信号，从而使头戴式计算机启动预先指示的软件应用。

2. 条款1的控制器，其中头戴式计算机监控头戴式计算机的状况并且当条件指示用户要求周围环境的不受妨碍的视野时，在接收到致动器信号后维持基本上干净的透视显示器。

3. 条款2的控制器，其中所述条件包括头戴式计算机以阈值以上的速率向前移动。

4. 条款1的控制器，其中头戴式计算机在接收到致动器信号时清空其不涉及预先指示的软件应用的内容的透视显示。

5. 一种用于头戴式计算机的手指安装计算机控制器，包括：

适配成安装在人员的手指上的外壳；

致动器，其安装在外壳的外侧上并且适配成在致动并且保持在致动位置中时向头戴式计算机传达信号，从而使头戴式计算机在对应于致动器保持在致动位置中的时间的持续时间内在透视显示器中显示内容。

7. 条款6的手指安装计算机控制器，其中致动器还适配成通过用户执行预确定的保持动作而自动地保持致动位置。

8. 条款7的手指安装计算机控制器，其中预确定的保持动作是双击动作。

9. 条款7的手指安装计算机控制器，其中预确定的保持动作是在比预确定的时段更长的时段内对致动器进行致动。

尽管已经示出和描述了本发明的仅几个实施例，但是对于本领域技术人员将显而易见的是，在不脱离如在以下权利要求中描述的本发明的精神和范围的情况下可以对其做出许多改变和修改。国外和国内的所有专利申请和专利，以及本文引用的所有其他出版物在法律所准许的完整程度上以其整体并入本文。

本文描述的方法和系统可以部分地或者整体地通过在处理器上执行计算机软件、程序代码和/或指令的机器来部署。本发明可以实现为机器上的方法、作为机器的部分或者与机器相关的系统或装置、或者体现在一个或多个机器上执行的计算机可读介质中的计算机程序产品。在实施例中，处理器可以是服务器、云服务器、客户端、网络基础设施、移动计算平台、静止计算平台或者其他计算平台的部分。处理器可以是能够执行程序指令、代码、二进制指令等的任何种类的计算或处理设备。处理器可以是或者可以包括信号处理器、数字处理器、嵌入式处理器、微处理器或者任何变形，诸如协同处理器（数学协同处理器、图形协同处理器、通信协同处理器等）等，其可以直接地或者间接地促进存储在其上的程序代码或程序指令的执行。此外，处理器可以使得能够执行多个程序、线程和代码。线程可以同时执行以增强处理器的性能并且促进应用的同时操作。作为实现的途径，本文描述的方法、程序代码、程序指令等可以实现在一个或多个线程中。线程可能产生其他线程，其可能已经分配有与它们相关联的优先级；处理器可以基于优先级执行这些线程或者基于在程序代码中提供的指令执行任何其他命令。处理器或者利用一个的任何机器可以包括存储器，其存储如本文和其他地方描述的方法、代码、指令和程序。处理器可以通过接口访问存储介质，该接口可以存储如本文和其他地方中描述的方法、代码和指令。与用于存储方法、程序、代码、程序指令或者能够由计算或处理设备执行的其他类型程序的处理器相关联的存储介质可以包括但可以不限于以下中的一个或多个：CD-ROM、DVD、存储器、硬盘、闪速驱动器、RAM、ROM、高速缓存等。

处理器可以包括一个或多个核，其可以增强多处理器的速度和性能。在实施例中，处理器可以是双核处理器、四核处理器、其他芯片级多处理器等，其组合两个或更多独立的核（称为管芯）。

本文描述的方法和系统可以部分地或者整体地通过执行服务器、客户端、防火墙、网关、集线器、路由器或者其他这样的计算机和/或联网硬件上的计算机软件的机器来部署。软件程序可以与服务器相关联，服务器可以包括文件服务器、打印服务器、域服务器、互联网服务器、内联网服务器、云服务器和其他变形，诸如辅助服务器、主机服务器、分布式服务器等。服务器可以包括以下中的一个或多个：存储器、处理器、计算机可读介质、存储介质、端口（物理和虚拟）、通信设备、以及能够通过有线或无线介质等访问其他服务器、客户端、机器和设备的接口。如本文和其他地方中描述的方法、程序或代码可以由服务器执行。此外，用于如在本申请中描述的方法的执行所要求的其他设备可以被视为与服务器相关联的基础设施的部分。

服务器可以向其他设备提供接口，所述其他设备包括但不限于客户端、其他服务器、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器、社交网络等。附加地，该耦合和/或连接可以促进程序跨网络的远程执行。这些设备中的一些或全部的联网可以促进一个或多个位置处的程序或方法的并行处理而没有偏离本公开的范围。此外，通过接口附连到服务器的任何设备可以包括能够存储方法、程序、代码和/或指令的至少一个存储介质。中央仓库可以提供要在不同设备上执行的程序指令。在该实现中，远程仓库可以充当用于程序代码、指令和程序的存储介质。

软件程序可以与客户端相关联，客户端可以包括文件客户端、打印客户端、域客户端、互联网客户端、内联网客户端和其他变形，诸如辅助客户端、主机客户端、分布式客户端等。客户端可以包括以下中的一个或多个：存储器、处理器、计算机可读介质、存储介质、端口（物理的和虚拟的）、通信设备、以及能够通过有线或无线介质访问其他客户端、服务器、机器和设备的接口等。如本文和其他地方中描述的方法、程序或代码可以由客户端执行。此外，用于如在本申请中描述的方法的执行所要求的其他设备可以被视为与客户端相关联的基础设施的部分。

客户端可以向其他设备提供接口，所述其他设备包括但不限于服务器、其他客户端、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等。附加地，该耦合和/或连接可以促进程序跨网络远程执行。在不偏离本公开的范围的情况下，这些设备中的一些或全部的联网可以促进一个或多个位置处的程序或方法的并行处理。此外，通过接口附连到客户端的任何设备可以包括能够存储方法、程序、应用、代码和/或指令的至少一个存储介质。中央仓库可以提供要在不同设备上执行的程序指令。在该实现中，远程仓库可以充当用于程序代码、指令和程序的存储介质。

可以部分地或者整体地通过网络基础设施部署本文描述的方法和系统。网络基础设施可以包括元件，诸如计算设备、服务器、路由器、集线器、防火墙、客户端、个人计算机、通信设备、路由设备、以及如本领域中已知的其他有源和无源设备、模块和/或组件。除其他组件之外，与网络基础设施相关联的（多个）计算和/或非计算设备可以包括存储介质，诸如闪速存储器、缓冲器、堆栈、RAM、ROM等。本文和其他地方描述的过程、方法、程序代码、指令可以由网络基础设施元件中的一个或多个执行。本文描述的方法和系统可以适配用于与任何种类的私用、共同或混合云计算网络或云计算环境使用，包括牵涉到软件即服务（SaaS）、平台即服务（PaaS）和/或基础设施即服务（IaaS）的特征的那些。

本文和其他地方描述的方法、程序代码和指令可以实现在具有多小区的蜂窝网络上。蜂窝网络可以是频分多址（FDMA）网络或码分多址（CDMA）网络。蜂窝网络可以包括移动设备、小区站、基站、中继站、天线、塔台等。蜂窝网络可以是GSM、GPRS、3G、EVDO、网状或其他网络类型。

本文和其他地方描述的方法、程序代码和指令可以实现在移动设备上或者通过移动设备实现。移动设备可以包括导航设备、手机、移动电话、移动个人数字助手、膝上型电脑、掌上电脑、上网本、寻呼机、电子书阅读器、音乐播放器等。除其他组件之外，这些设备可以包括存储介质，诸如闪速存储器、缓冲器、RAM、ROM和一个或多个计算设备。可以使得与移动设备相关联的计算设备能够执行存储在其上的程序代码、方法和指令。可替换地，移动设备可以配置为与其他设备协作地执行指令。移动设备可以与基站通信，基站与服务器对接并且配置为执行程序代码。移动设备可以在点对点网络、网状网络或其他通信网络上通信。程序代码可以存储在与服务器相关联的存储介质上并且由嵌入在服务器内的计算设备执行。基站可以包括计算设备和存储介质。存储设备可以存储由与基站相关联的计算设备执行的程序代码和指令。

计算机软件、程序代码和/或指令可以在机器可读介质上存储和/或访问，机器可读介质可以包括：计算机组件、设备和记录介质，其留存用于在某时间间隔内进行计算的数字数据；被称为随机存取存储器（RAM）的半导体存储装置；典型地用于更永久性存储的大容量存储装置，诸如光盘、磁性存储形式，比如硬盘、磁带、磁鼓、卡和其他类型；处理器寄存器、高速缓冲存储器、易失性存储器、非易失性存储器；光学存储装置，诸如CD、DVD；可移除介质，诸如闪速存储器（例如，USB棒或密钥）、软盘、磁带、纸带、穿孔卡、独立式RAM盘、Zip驱动器、可移除大容量存储装置、离线装置等；其他计算机存储器，诸如动态存储器、静态存储器、读取/写入存储装置、易变存储装置、只读、随机存取、顺序存取、位置可寻址、文件可寻址、内容可寻址、网络附连的存储装置、存储区域网络、条形码、磁性油墨等。

本文描述的方法和系统可以将物理和/或有形物品从一个状态变换成另一个状态。本文描述的方法和系统还可以将表示物理和/或有形物品的数据从一个状态变换成另一个状态。

本文描述和描绘的元件，贯穿各图而包括流程图和框图，暗示着各元件之间的逻辑边界。然而，根据软件或硬件工程实践，所描绘的元件及其功能可以通过具有处理器的计算机可执行介质而实现在机器上，该处理器能够执行作为单体软件结构、作为独立式软件模块、或者作为采用外部例程、代码、服务等的模块、或者这些的任何组合而存储在其上的程序指令，并且所有这样的实现可以处于本公开的范围内。这样的机器的示例可以包括但是可以不限于个人数字助手、膝上型电脑、个人计算机、移动电话、其他手持式计算设备、医用器械、有线或无线通信设备、换能器、芯片、计算器、卫星、平板PC、电子书、小配件、电子设备、具有人工智能的设备、计算设备、联网仪器、服务器、路由器等。此外，在流程图和框图中描绘的元件或者任何其他逻辑组件可以在能够执行程序指令的机器上实现。因而，尽管前述附图和描述阐述了所公开的系统的功能方面，但是不应当从这些描述推断用于实现这些功能方面的软件的特定布置，除非明确地陈述或者以其他方式从上下文显而易见。类似地，将领会到，上文描述和标识的各种步骤可以变化，并且步骤的次序可以适配于本文公开的技术的特定实现。所有这样的变化和修改意图落入本公开的范围内。因此，用于各种步骤的次序的描述和/或描绘不应当理解为要求用于那些步骤的特定执行次序，除非由特定应用所要求，或者明确地陈述或者以其他方式从上下文显而易见。

以上描述的方法和/或过程，以及与其相关联的步骤，可以实现在适于特定应用的硬件、软件或者硬件和软件的任何组合中。硬件可以包括通用计算机和/或专用计算设备或特定计算设备或特定计算设备的特别的方面或组件。过程可以在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其他可编程设备中，连同内部和/或外部存储器一起实现。处理器还可以或者替代地体现在专用集成电路、可编程门阵列、可编程阵列逻辑、或者可以配置为处理电子信号的任何其他设备或设备的组合中。将进一步领会到，一个或多个过程可以实现为能够在机器可读介质上执行的计算机可执行代码。

计算机可执行代码可以使用诸如C之类的结构化编程语言、诸如C++之类的面向对象的编程语言或者任何其他高级或低级编程语言（包括汇编语言、硬件描述语言以及数据库编程语言和技术）来创建，这些语言可以被存储、编译或解译以在以上设备、以及处理器、处理器架构或者不同硬件和软件的组合的多样化组合、或者能够执行程序指令的任何其他机器中的一个或多个上运行。

因而，在一个方面中，以上描述的方法及其组合可以体现在计算机可执行代码中，在一个或多个计算设备上执行该计算机可执行代码时实施其步骤。在另一个方面，方法可以体现在执行其步骤的系统中，并且可以以数个方式跨设备分布，或者所有功能可以集成到专用、独立式设备或其他硬件中。在另一个方面中，用于执行与以上描述的过程相关联的步骤的构件可以包括以上描述的硬件和/或软件中的任一个。所有这样的置换和组合意图落入本公开的范围内。

尽管已经与详细示出和描述的优选实施例相结合而公开了本公开，但是关于本公开的各种修改和改进对于本领域技术人员将变得显而易见。相应地，本公开的精神和范围不由前述示例限制，而是要以法律可允许的最宽含义来理解。

在描述本公开的上下文中（特别地，在以下权利要求的上下文中）对术语“一”和“一个”和“该”以及类似引用的使用要解释为涵盖单数和复数二者，除非以其他方式在本文中指示或者由上下文清楚地否定。术语“包括”、“具有”、“包含”和“含有”要解释为开放式术语（即，意味着“包括但不限于”），除非以其他方式指出。本文中的值的范围的列举仅仅意图用作单独地引用落入该范围内的每一个分离的值的简写方法，除非以其他方式在本文中指示，并且每一个分离的值就像它在本文中单独地陈述的那样并入说明书中。本文描述的所有方法可以以任何适当的次序执行，除非以其他方式在本文中指示或者以其他方式由上下文清楚地否定。本文提供的任何和所有示例或示例性语言（例如“诸如”）的使用仅仅意图更好地阐明本公开并且不引起对本公开的范围的限制，除非以其他方式声称。说明书中的语言不应当解释为将任何不要求保护的元件指示为本公开的实践所必要的。

尽管前面的书面描述使得本领域普通技术人员能够做出并且使用当前被视为其最佳模式的内容，但是那些普通技术人员将理解和领会到存在本文的特定实施例、方法和示例的变形、组合和等同物。本公开因此不应当由以上描述的实施例、方法和示例限制，而是由本公开的精神和范围内的所有实施例和方法限制。

在本文中引用的所有文档通过引用并入于此。

Claims

1.一种适配成控制头戴式计算机的外部用户接口，包括：

a. 外壳，其具有适配成将外壳固设到交通工具的方向盘的机械附连系统；

b. 可编程快速启动软件应用按钮，其安装在外壳上并且适配成激活头戴式计算机上的预指定的软件应用；以及

c. 专用按钮，其安装在外壳上并且适配成在激活时清空妨碍内容的头戴式计算机的显示。

2.一种用于头戴式计算机的控制系统，包括：

a. 外壳，其具有适配成将外壳固设到交通工具的方向盘的机械附连系统；以及

b. 呈现在头戴式计算机的透视显示器的视场中的虚拟控制元件，其中虚拟控制元件呈现在视场内的位置处使得用户将虚拟控制元件感知为锁定在邻近外壳的位置中。

3.权利要求2的控制系统，其中邻近外壳的位置与外壳的前表面重叠。

4.权利要求2的控制系统，其中邻近外壳的位置邻近外壳的侧面。

5.权利要求3的控制系统，其中当用户触摸外壳的前表面时，虚拟控制元件向在头戴式计算机上操作的软件应用发布控制命令，其中头戴式计算机板载的相机捕获用户与前表面的交互的图像并且解译该交互以用于生成控制命令。

6.一种适配成控制头戴式计算机的外部用户接口，包括：

c. 触摸板，其安装在外壳上并且适配成取得用户交互并且将它转换成用于预指定的软件应用的命令。

7.一种适配成控制头戴式计算机的外部用户接口，包括：

b. 用户接口，其安装在外壳上并且适配成取得人类交互作为输入以用于生成命令来控制涉及驾驶体验的头戴式计算机的方面。

8.权利要求7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到在涉及交通工具的两个预确定的内容类型之间切换内容显示模式。

9.权利要求7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到改变透视显示器的视场中的无内容区域的数量。

10.权利要求7的外部用户接口，其中涉及驾驶体验的头戴式计算机的方面牵涉到改变透视显示器的明亮度。

11.一种具有透视计算机显示器的头戴式计算机，包括：

a. 安装在头戴式计算机上的微反射镜投影仪，其中微反射镜投影仪包括双反射镜系统的x-y控制装置，其中双反射镜系统在光栅图案中反射窄光束以在附近表面上生成图像图案；

b. 检测与图像图案的交互的传感器系统；以及

c. 处理器，其适配成使用所检测到的交互作为用于在头戴式计算机上操作的软件应用的控制输入。

12.权利要求11的头戴式计算机，其中传感器系统向微反射镜投影仪提供信息以修改图像图案使得涉及所检测到的交互的图像图案的部分被移除。

13.权利要求11的头戴式计算机，其中微反射镜投影仪安装在可移动平台上，该可移动平台适配成移动以补偿头戴式计算机中的移动使得图像图案在附近表面上保持稳定。

14.权利要求11的头戴式计算机，其中图像图案虚拟地锁定在相对于附近表面的位置中。

15.一种方法，包括：

16.一种方法，包括：

17.权利要求16的方法，其中从用户的视角看来，内容的位置不与所投射的用户接口重叠。

18.一种方法，包括：

19.权利要求18的方法，其中从用户的视角看来，内容的位置不与所投射的用户接口重叠。

20.一种方法，包括：

21.一种方法，包括：

22.权利要求21的方法，其中校正包括相对于表面再对准用户接口的形状。

23.权利要求21的方法，其中校正包括相对于表面的边缘再对准用户接口的形状。

24.一种方法，包括：

b. 相对于表面对图像进行世界锁定；以及

25.一种方法，包括：

b. 相对于表面对图像进行世界锁定；以及

26.一种方法，包括：

c. 相对于用户放置的标记对图像进行世界锁定；以及

27.一种方法，包括：

28.一种头戴式计算机，包括：

a. 安装在头戴式计算机的前表面上的两个物理分离的相机；

b. 激光投影仪，其安装在头戴式计算机的前表面上并且适配成将用户接口投射到邻近头戴式计算机的表面上；

c. 其中两个物理分离的相机关于表面上的用户接口而同时捕获用户的手指的移动；以及

d. 处理器，其适配成从手指的所捕获的移动来形成与用户接口的交互的3D模型。

29.一种头戴式计算机，包括：

a. 安装在头戴式计算机的前表面上的两个物理分离的相机；

b. 图像源，其适配成在头戴式计算机的透视显示器中作为内容而显示用户接口，其中用户接口定位成由用户感知为定位在邻近头戴式计算机的表面上；

c. 其中两个物理分离的相机同时捕获用户的手指的移动；以及

d. 处理器，其适配成从手指的所捕获的移动来形成手指与内容显示的用户接口的交互的3d模型。

30.一种检测与虚拟用户接口的用户交互的方法，包括：

a. 向头戴式计算机的用户呈现虚拟用户接口，从用户的视角看起来，虚拟用户接口将定位在邻近用户的表面上；

b. 使用户将用户的手指在表面上定位于从用户的视角看来与用户接口相交的位置处，从而形成交互姿势；

c. 使头戴式计算机的检测系统捕获交互姿势，从而形成交互位置；以及

d. 将交互位置存储为参考物以确定与虚拟用户接口的将来用户交互。

31.权利要求30的方法，其中通过将图像投射到表面上而呈现虚拟用户接口。

32.权利要求30的方法，其中虚拟用户接口被呈现为头戴式计算机的透视显示器中的增强现实内容。

33.权利要求30的方法，其中检测系统是立体相机系统。

34.权利要求30的方法，其中检测系统是产生结构化光图案的结构化光系统并且检测是基于导致光的图案的干扰图案。

35.权利要求30的方法，其中检测系统是飞行时间测量系统。

36.一种呈现虚拟用户接口的方法，包括：

确定头部姿势在预确定的范围内；以及

37.权利要求36的方法，其中虚拟用户接口通过将图像投射在表面上而呈现。

38.权利要求36的方法，其中虚拟用户接口被呈现为头戴式计算机的透视显示器中的增强现实内容。

39.权利要求36的方法，还包括：

40.一种用于头戴式计算机的手指安装计算机控制器，包括：

适配成安装在人员的手指上的外壳；

41.权利要求40的控制器，其中头戴式计算机监控头戴式计算机的状况并且当条件指示用户要求周围环境的不受妨碍的视野时，在接收到致动器信号后维持基本上干净的透视显示器。

42.权利要求41的控制器，其中所述条件包括头戴式计算机以阈值以上的速率向前移动。

43.权利要求40的控制器，其中头戴式计算机在接收到致动器信号时清空其不涉及预先指示的软件应用的内容的透视显示。

44.一种用于头戴式计算机的手指安装计算机控制器，包括：

适配成安装在人员的手指上的外壳；

45.权利要求44的手指安装计算机控制器，其中致动器还适配成通过用户执行预确定的保持动作而自动地保持致动位置。

46.权利要求45的手指安装计算机控制器，其中预确定的保持动作是双击动作。

47.权利要求45的手指安装计算机控制器，其中预确定的保持动作是在比预确定的时段更长的时段内对致动器进行致动。

48.一种方法，包括：

解译笔的相对运动以确定所书写的图案。

49.权利要求48的方法，其中笔包括检测笔移动的IMU，并且其中检测笔移动的IMU与相对运动结合地使用以确定所书写的图案。

50.权利要求48的方法，其中虚拟线被呈现为笔记的部分。

51.权利要求48的方法，其中虚拟线被呈现为消息模板的部分。

52.权利要求48的方法，其中虚拟线被呈现为电子邮件模板的部分。

53.权利要求48的方法，其中虚拟线被呈现为书写教学平台的部分。

54.权利要求48的方法，其中虚拟线被呈现为绘画教学平台的部分。

55.权利要求48的方法，其中虚拟线被呈现为绘图教学平台的部分。

56.权利要求48的方法，其中所书写的图案相对于虚拟线而呈现在透视显示器中。

57.权利要求56的方法，其中呈现是实时的。