CN110168475A - 将用户接口装置导入虚拟现实/增强现实的系统 - Google Patents

Abstract

在某些实施方式中，感测和跟踪系统检测诸如用户输入装置或外围装置的对象以及用户与它们的交互。然后将对象和用户交互的表示注入到虚拟现实环境中。表示可以是实际现实、增强现实、虚拟表示或任何组合。例如，可以注入实际键盘，但按下的键被放大并点亮。

Description

将用户接口装置导入虚拟现实/增强现实的系统

相关申请的交叉引用

本申请是于2016年11月14日提交的题为“A SYSTEM FOR IMPORTING USER INTERFACEDEVICES INTO VIRTUAL/AUGMENTED REALITY”的美国临时申请第62/421,910号的非临时申请并且请求其优先权的权益，该申请出于所有目的通过引用被整体并入本文。

技术领域

本公开内容整体涉及虚拟现实系统，特别地涉及在虚拟现实环境中提供用户输入装置和其他外围装置。

背景技术

虚拟现实、混合现实或增强现实可以与包括沉浸式环境、高度可视化环境、计算机模拟环境的各种应用相关联。这些环境可以模拟用户在现实世界或想象世界中的物理存在。这些环境的计算机模拟可以包括计算机呈现图像，其可以借助图形显示器来呈现。显示器可以被布置为头戴式显示器(HMD)，其可以涵盖用户的全部视野或部分视野。

用户可以借助于用户接口装置或外围装置与计算机模拟环境接口，装置的示例包括键盘、游戏控制器、操纵杆、鼠标、触控笔、扬声器和方向盘。当沉浸在计算机模拟环境中时，用户可以执行与接口装置相关联的复杂操作，所述操作包括致动接口装置的一个或更多个键或其他输入元件。但是，当使用物理接口装置在虚拟化环境内操作时，尤其是在执行基于生产能力的任务时，需要进行改进。

发明内容

在某些实施方式中，操作虚拟工作站的方法可以包括确定物理外围装置在物理环境内的位置，以及基于物理外围输入装置在物理环境内的位置来确定要向物理外围装置的用户呈现的第一虚拟显示器的方向，其中响应于用户操作物理外围输入装置，可以修改经由呈现的第一虚拟显示器呈现给用户的内容。在一些情况下，所确定的要呈现的第一虚拟显示器的方向可以被配置成：当物理外围输入装置在物理环境内移动时，相对于物理外围输入装置保持固定的、感知的空间关系。在某些实施方式中，所确定的要呈现的第一虚拟显示器的方向可以被配置成：响应于物理输入装置从初始位置的移动大于阈值距离，当物理外围输入装置在物理环境内移动时，相对于物理外围输入装置保持固定的、感知的空间关系，并且所确定的要呈现的第一虚拟显示器的方向可以被配置成响应于物理输入装置从初始位置的移动小于阈值距离，保持在适当位置。

在一些实施方式中，该方法还可以包括基于物理外围输入装置在物理环境内的位置来确定要向物理外围装置的用户呈现的交互式虚拟显示器的方向，其中用户可以选择经由所呈现的交互式虚拟显示器呈现给用户的内容以修改与用户对物理外围输入装置的使用对应的操作，并且其中交互式虚拟显示器可以被呈现为对于用户而言看起来靠近物理外围装置。与用户对物理外围输入装置的使用对应的操作可以包括改变与物理外围输入装置的输入元件的致动对应的命令；改变物理外围输入装置的外观、物理外围输入装置的输入元件的外观；以及/或者改变一个或更多个所呈现的虚拟显示器与物理外围输入装置之间的关系。

在另外的实施方式中，一个或更多个呈现的虚拟显示器与物理外围输入装置之间的关系可以包括选择一个或更多个呈现的虚拟显示器中的哪一个包括可以响应于用户操作物理外围输入装置来进行修改的内容；选择一个或更多个呈现的虚拟显示器中的哪些相对于物理外围输入装置被固定在适合的位置；以及/或者选择一个或更多个呈现的虚拟显示器中的一个如何相对于物理外围输入装置被固定在适合的位置，其包括：在一个或更多个呈现的虚拟显示器中的一个响应于物理外围输入装置正在移动而移动之前，物理外围输入装置可以移动的阈值距离；或者一个或更多个呈现的虚拟显示器是否响应于物理外围输入装置正在移动而移动。在一些情况下，交互式虚拟显示器的方向可以被呈现为对于用户而言看起来处于被集成在物理外围输入装置的外围装置上或内的位置处，或者交互式虚拟显示器可以被呈现为对于用户而言看起来位于物理外围输入装置的包括补充由交互式虚拟显示器提供的功能的特征的区域上。

在一些实施方式中，特征可以包括由集成在物理外围输入装置内的触觉反馈生成器生成的触觉反馈，以响应于与交互式虚拟显示器的用户交互来提供触觉反馈。这些特征可以包括物理输入元件，并且其中交互式虚拟显示器的内容被呈现为对于用户而言看起来可由用户通过物理输入元件的致动来进行选择。交互式虚拟显示器可以被呈现为对于用户而言看起来位于靠近物理外围输入装置的区域中。内容可以被确定为由用户通过物理外围输入装置的传感器来选择，而无需物理地接触物理外围输入装置。该方法还可以包括：确定第二物理外围输入装置在物理环境内的位置，以及基于第二物理外围输入装置在物理环境内的位置来确定要向第二物理外围装置的用户呈现的第二交互式虚拟显示器的方向。在这样的情况下，第二物理外围输入装置的用户可以选择经由呈现的显示器呈现给用户的内容，以修改第二物理外围输入装置的用户对第二物理外围输入装置的使用的操作，并且第二交互式虚拟显示器可以被呈现为对于第二物理外围输入装置的用户而言看起来靠近第二物理外围输入装置。在某些实施方式中，交互式虚拟显示器可以被呈现为对于用户而言看起来处于至少部分地基于用户的生物力学模型确定的空间位置，以使用户能够利用附加物到达交互式显示器。

在另外的实施方式中，该方法可以包括生成控制数据以使头戴式显示装置呈现第一虚拟显示器。物理外围输入装置可以是计算机键盘、微塔式(mini-tower)或在使用期间优选地是静止的其他外围装置。还可以基于物理外围输入装置所位于的环境的物理特性来确定第一虚拟显示器的方向。物理特性可以包括将会阻挡用户的视线的障碍物，并且可以部分地由物理外围输入装置的传感器来确定。在一些情况下，可以响应于物理外围输入装置的物理输入元件的致动、响应于确定的用户与物理外围输入装置的接近、或者响应于物理外围输入装置被放置在工作表面上，呈现第一虚拟显示器。确定物理外围输入装置被放置在工作表面上可以基于附接至物理外围输入装置的传感器的读数。

在某些实施方式中，响应于确定物理外围输入装置处于指示用户正在操作物理外围装置的第一状态，可以以第一方向呈现第一虚拟显示器，使得第一虚拟显示器对于用户而言看起来相对于物理外围输入装置处于第一空间方向，并且响应于确定物理外围输入装置未处于第一状态，可以不以第一方向呈现第一虚拟显示器。在一些情况下，响应于确定物理外围输入装置未处于第一状态，可以以第二方向呈现第一虚拟显示器，使得第一虚拟显示器对于用户而言看起来相对于物理外围输入装置处于第二空间方向。响应于确定物理外围输入装置处于第一状态，可以以第一方向自动地呈现第一虚拟显示器。物理外围输入装置可以包括用于通过跟踪系统确定物理外围输入装置在物理环境内的位置的特征，并且跟踪系统可以用于确定用于呈现第一虚拟显示器的物理显示器的方向。在一些实施方式中，特征可以选包括自以下内容的列表：传感器、发射器以及标记。传感器可以被配置成检测或者发射器可以被配置成发射：可见光、红外光、超声波、磁场或无线电波。在一些情况下，物理外围输入装置可以包括使得能够通过多种跟踪技术中的任何一种在物理环境内跟踪物理外围输入装置的多个特征。物理外围输入装置可以包括惯性测量单元(IMU)，并且可以使用IMU来确定物理外围输入装置在物理环境内的位置。在某些实施方式中，可以基于物理外围输入装置的所确定的用户的身份来确定第一虚拟显示器的方向，并且其中，将针对识别的不同用户不同地呈现第一虚拟显示器的方向。

在一些实施方式中，操作外围装置的方法包括从一个或更多个传感器接收轮询数据，轮询数据对应于外围装置周围的物理环境的物理特性，基于物理特性确定在物理环境内相对于外围装置定向虚拟显示器的区域，确定外围装置与投影的虚拟显示器之间的空间关系，以及生成控制数据，控制数据被配置成使基于AR/VR的头戴式显示器(HMD)在外围装置在物理环境内移动时在所确定的区域中以所保持的外围装置与投影的虚拟显示器之间的空间关系投影虚拟显示器。该方法还可以包括检测外围装置被放置在表面上或者由用户接口，其中响应于检测到外围装置被放置在表面上或者由用户接口发生从一个或更多个传感器接收轮询数据。该方法可以包括确定外围装置被抬离表面，并且生成第二控制数据以使HMD改变外围装置与投影的虚拟显示器之间的空间关系，使得外围装置和投影的虚拟显示器占据的体积区域减小。

在一些实现方式中，该方法还可以包括确定相对于外围装置定向虚拟交互式显示器的第二区域，其中交互式显示器可以被配置成利于外围装置的功能能力的增强，以及确定外围装置与投影的交互式显示器之间的空间关系，其中控制数据还可以被配置成使HMD在所确定的第二区域中并且在外围装置在物理环境内移动时以所保持的外围装置与投影的交互式显示器之间的空间关系投影交互式显示器。控制数据可以使外围装置与虚拟显示器之间的空间关系被保持，使得外围装置从外围装置的初始位置的、在阈值距离内的移动不会使虚拟显示器移动，并且外围装置从外围装置的初始位置的、大于阈值距离的移动使外围装置与投影的交互式显示之间的空间关系固定，其中当外围装置在物理环境内移动时外围装置与投影的交互式显示器之间的空间关系是固定的。

根据一些实施方式，该方法可以包括确定外围装置上的定向虚拟覆盖层的第三区域，其中虚拟覆盖层可以被配置成进一步利于外围装置的功能能力的增强，以及确定外围装置与投影的虚拟覆盖之间的空间关系，其中控制数据还被配置成使HMD在所确定的第三区域中并且在外围装置在物理环境中移动时以所保持的外围装置与投影的交互式显示器之间的空间关系投影虚拟覆盖层。

在另外的实施方式中，一种用于将物理外围装置接口以用于虚拟环境的集线器装置包括：收发器，被配置成与用于向用户呈现虚拟现实或增强现实虚拟现实环境的显示系统通信；跟踪子系统，被配置成感测物理外围输入装置在物理环境内的位置；以及耦接至收发器和跟踪子系统的一个或更多个处理器，一个或更多个处理器被配置成经由跟踪子系统确定物理外围输入装置在物理环境内的位置，并且经由收发器将物理外围输入装置在物理环境内的位置发送至显示系统。在一些情况下，跟踪子系统可以使用与由显示系统使用以跟踪用户或用户佩戴的头戴式显示器(HMD)的位置的技术不同的技术来感测物理外围输入装置的位置。由跟踪子系统使用的跟踪物理外围输入装置的技术和由显示系统使用的跟踪用户或HMD的位置的技术可以每个均选自包括以下内容的列表：超声发射器；超声接收器；可见光光学传感器；可见光光学发射器；不可见光光学传感器；不可见光光学发射器；磁场发生器；磁场传感器；无线电波发射器；以及无线电波接收器。在一些情况下，集线器装置还可以包括以下特征：用于通过用于跟踪用户或由用户佩戴的头戴式显示器(MHD)的位置的系统来确定装置在物理环境内的位置。例如，该特征可以选自包括以下内容的列表：传感器；发射器；以及标记。传感器可以被配置成检测或者发射器被配置成发射：可见光、红外光、超声波、磁场或无线电波。

在一些实施方式中，集线器装置的一个或更多个处理器可以被配置成：经由跟踪子系统确定物理外围输入装置相对于装置的位置；将物理外围输入装置的位置从装置使用的坐标系转换为显示系统使用的坐标系；以及经由收发器将使用显示系统的坐标系的物理外围输入装置的位置发送至显示系统。显示系统使用的坐标系可以用于跟踪用户或HMD的位置，或跟踪用户或HMD的位置。在一些情况下，集线器装置的一个或更多个处理器可以被配置成从物理外围输入装置接收与外围输入装置的输入元件的致动对应的信号，并且经由收发器将与输入元件的致动对应的信号发送至显示系统。

在某些实施方式中，集线器装置的跟踪子系统可以被配置成感测多个物理外围输入装置中的每一个在物理环境内的位置，并且一个或更多个处理器可以被配置成经由跟踪子系统确定多个物理外围输入装置中的每一个在物理环境内的位置，并且经由收发器将多个物理外围输入装置中的每一个在物理环境内的位置发送至显示系统。集线器装置还可以包括存储多个配置文件的存储器，多个配置文件中的每一个对应于不同的物理外围输入装置。

多个配置文件中的一个配置文件可以包括用于将从与多个配置文件中的一个配置文件对应的物理外围输入装置接收的信号转换成可由显示系统解释的信号的信息。从与多个配置文件中的一个配置文件对应的物理外围输入装置接收的信号可以对应于与多个配置文件中的一个配置文件对应的物理外围输入装置的输入元件的致动。在一些情况下，多个配置文件中的一个配置文件可以包括用于呈现与多个配置文件中的一个配置文件对应的物理外围输入装置的视觉表示的信息，或者指示与多个配置文件中的一个配置文件对应的物理外围输入装置的特征的信息，其中特征指示物理外围输入装置支持增强的虚拟内容的能力。

在一些实施方式中，指示物理外围输入装置的区域的特征可以包括物理元件，其中可以向用户显示增强的虚拟内容，并且其中元件通过向与增强的虚拟内容交互的用户提供物理刺激或者提供用于与增强的虚拟内容交互的触觉输入元件来支持增强的虚拟内容。可以在三维空间内确定物理外围输入装置的位置。在一些情况下，跟踪子系统可以包括用于确定物理外围输入装置的位置的以下部件中的至少两个：超声波发射器或接收器；光学传感器或接收器；磁场发生器或传感器；以及无线电波发射器或接收器。

根据某些实施方式，一种用于确定与虚拟环境一起使用的虚拟工作站的集线器装置可以包括：收发器，其被配置成与用于向用户呈现虚拟现实或增强现实虚拟现实环境的显示系统通信；一个或更多个传感器，其被配置成检测装置附近的物理环境的各方面；以及一个或更多个处理器，其被配置成：经由一个或更多个传感器确定装置附近的物理环境的各方面；基于确定物理环境的各方面，限定用于用户与物理外围输入装置和由显示系统提供的虚拟显示器进行交互的一个或更多个区域；以及经由收发器将指示一个或更多个区域的信息发送至显示系统。一个或更多个传感器可以包括用于检测物理环境的各方面的光学成像器、电磁成像器或超声成像器。一个或更多个区域可以包括限定区域的第一区域，第一区域的特征在于，被放置在第一区域内的物理外围输入装置被用户用于与由显示系统呈现的一个或更多个虚拟显示器进行交互。可以基于检测物理外围输入装置可以被放置在其上的工作表面来确定第一区域。工作表面可以包括基本平坦且水平的表面。在一些情况下，可以基于识别物理外围输入装置在物理环境内的位置，或者基于识别表面上的一个或更多个基准标记来确定第一区域。

在某些实施方式中，一个或更多个区域可以包括第二区域，第二区域的特征在于，虚拟显示器在位于第二区域内时可以被用户感知，并且与第一区域内的物理外围装置的交互可以修改在第二区域内的虚拟显示器上呈现的可由用户查看的内容。在一些情况下，第二区域可以被选择成与在物理环境内检测到的垂直物理边界对准。第二区域可以被限定成与在物理环境内检测到的垂直物理边界对准。可以基于在第一区域内检测到的物理外围装置的类型来限定第二区域。在一些实现方式中，一个或更多个区域可以包括第三区域，第三区域的特征在于，在虚拟显示器上显示的内容在位于第三区域内时可以被用户感知，并且其中用户与内容的交互修改位于第一区域内的物理外围输入装置的操作。可以基于在第一区域内检测到的物理外围输入装置的位置来确定第三区域的位置。可以确定多个第三区域，每个第三区域对应于相应的外围输入装置。可以基于用户的生物力学模型确定第三区域的位置，使得该位置使得用户能够使用附加物物理地到达第三区域。在一些情况下，指示一个或更多个区域的信息可以包括一个或更多个区域的空间坐标。可以基于集线器装置在物理环境内的位置，或者基于多个集线器装置中的每一个的位置来确定一个或更多个区域，其中集线器装置被包括在多个集线器装置中。一个或更多个区域可以包括第四区域，第四区域的特征在于，在第四区域内显示的内容可以由在增强现实或虚拟现实虚拟现实环境中进行交互的多个用户观看；并且其中，第二区域内显示的内容只能由多个用户中的一个用户观看。在一些情况下，一个或更多个传感器可以包括惯性测量单元(IMU)，并且一个或更多个处理器被配置成经由IMU确定集线器装置在物理环境内的位置。

在一些实施方式中，一种操作集线器以与AR/VR工作站环境内的一个或更多个外围装置交互的方法可以包括在物理环境内检测第一物理外围装置；确定第一物理外围装置在物理环境内的位置；建立与第一物理外围装置和基于AR/VR的显示器的通信耦合，并从第一物理外围装置和基于AR/VR的显示器接收数据；促进所接收的数据在第一物理外围装置与基于AR/VR的显示器之间的传输；基于所确定的第一物理外围装置的位置确定在物理环境内相对于第一物理外围装置定向虚拟显示的区域；以及生成控制数据，该控制数据被配置成使基于AR/VR的显示器在所确定的区域中投影虚拟显示器。在某些实施方式中，控制数据还可以被配置成使基于AR/VR的显示器在第一物理外围装置在物理环境内移动时保持第一物理外围装置与投影的虚拟显示器之间的空间关系。该方法还可以包括从一个或更多个传感器接收轮询数据，轮询数据对应于第一物理外围装置周围的物理环境的物理特性，其中还可以基于物理环境的物理特性确定定向虚拟显示器的区域。

在另外的实施方式中，可以使用第一跟踪系统跟踪基于AR/VR的显示器的头戴式显示器(HMD)和集线器的移动和位置，并且其中，确定经由集线器使用第二跟踪系统跟踪的第一物理外围装置在物理环境内的位置，该方法还包括：将与所确定的第一物理外围装置在物理环境内的位置对应的数据提供给HMD，所提供的数据被配置成使经由第二跟踪系统进行的跟踪与经由第一跟踪系统进行的跟踪整合。该方法还可以包括在物理环境内检测第二物理外围装置；确定第二物理外围装置在物理环境内的位置；建立与第二物理外围装置的通信耦合，并从第二物理外围装置接收数据；以及将从第一物理外围装置和第二物理外围装置接收的数据合并成聚合外围数据，其中可以经由集线器将聚合外围数据传输至基于AR/VR的显示器，而不是将从第一物理外围装置和第二物理外围装置中的每一个接收的数据传输至基于AR/VR的显示器。在一些情况下，集线器可以与键盘、智能装置、可穿戴装置或独立实体中的一个集成。

在一些实施方式中，一种用于利于计算机与用户接口的系统可以包括显示器，该显示器被配置成向用户呈现一个或更多个图像以为用户实现虚拟现实或增强现实虚拟现实环境；耦接至显示器的一个或更多个处理器，一个或更多个处理器被配置成：引导显示器呈现一个或更多个图像以为用户实现虚拟现实或增强现实虚拟现实环境；并且引导显示器呈现一个或更多个层以向用户在虚拟现实或增强现实虚拟现实环境内呈现物理接口装置的表示，其中该表示对于用户而言看起来处于虚拟现实或增强现实虚拟现实环境内的与物理接口装置的物理空间位置对应的位置处。呈现物理接口装置的表示的一个或更多个层可以包括：输入元件层，其表示物理接口装置的一个或更多个输入元件；标记层，其表示与输入元件相关联的一个或更多个标记；反馈层，其提供用户对一个或更多个输入元件的状态的反馈；或者主体层，其表示物理接口装置的主体。一个或更多个层可以包括表示靠近物理接口装置的区域的近端区域层或表示与物理接口装置接口的主体部分的主体部分层。在一些实现方式中，一个或更多个层中的一个层可以被表示为部分透明的，其中一个或更多个部分透明层可以叠加在一个或更多个层中的另一层上；或者，一个或更多个层中的另一层被叠加在一个或更多个部分透明层上。在一些方面，一个或更多个层可以包括表示与物理接口装置有关的对象的深度的特征。

在某些实施方式中，可以响应于触发呈现一个或更多个层或者改变一个或多个层的呈现，触发包括以下中的一个或更多个：物理接口装置的配置；物理接口装置的布置；与系统相关联的物理对象的检测；与系统相关联的情景事件；以及用户与系统的交互。物理接口装置的配置可以包括物理接口装置的形状因子的变化。在一些方面，物理接口装置的布置可以包括物理接口装置的方向和/或物理接口装置的位置的变化。在一些实施方式中，该位置可以是工作表面上的位置；并且一个或更多个层可以包括表示工作表面的近端区域层。物理对象可以是能够与物理接口装置协同操作的用户接口装置；并且物理对象的检测可以包括检测物理对象与物理接口装置的接近。

在另外的实施方式中，用户与系统的交互可以包括以下中的一个或更多个：用户做出的手势；用户与物理接口装置接口；或者检测用户与物理接口装置接口的意图。在一些情况下，一个或更多个层可以是用户可定制的。物理接口装置的表示可以包括被约束为物理接口装置的物理尺寸的物理接口装置的图像；并且一个或更多个层中的一个层可以延伸超出被约束为物理接口装置的物理尺寸的物理接口装置的图像。该系统还可以包括传感器系统，该传感器系统被配置成感测物理接口装置的现实世界布置，其中一个或更多个处理器可以被配置成基于传感器系统感测物理接口装置的现实世界布置来引导显示器呈现一个或更多个层。

附图说明

根据下面的参考附图对实施方式的描述，本公开内容的实施方式的方面、特征和优点将变得明显，其中相同的附图标记表示相同的元件。

图1A是示出根据本发明的虚拟现实环境系统的实施方式的系统框图。

图1B示出了具有传感器和跟踪系统的虚拟现实系统的特定实施方式。

图1C示出了通过HMD的虚拟现实环境的视图的特定实施方式。

图1D示出了具有多个虚拟显示器的虚拟现实环境的特定实施方式。

图1E是增强和跟踪系统操作的实施方式的高级图。

图2是示出用于向图1A的虚拟现实环境系统提供内容的联网系统的实施方式的框图。

图3是示出实现图1A的虚拟现实环境系统的计算机的实施方式的系统框图。

图4是示出实现图1A的虚拟现实环境系统的用户接口装置的实施方式的系统框图。

图5是示出图1A的虚拟现实环境系统的用户接口装置的实施方式的平面图。

图6是示出表示图5的用户接口装置的图形环境的实施方式示意图。

图7和图7A包括示出表示图5的用户接口装置的图形环境的实施方式示意图。

图8是示出图1A的虚拟现实环境系统的用户接口装置的实施方式的透视图。

图9是示出用于让用户与图1A的虚拟现实环境系统的计算机接口的处理的实施方式的流程图。

图10是示出图1A的虚拟现实环境系统的用户接口装置的实施方式的示意图。

图11是示出用于让用户与图1A的虚拟现实环境系统的计算机接口的处理的实施方式的流程图。

图12是图1A的虚拟现实环境系统的用户接口装置的实施方式的平面图。

图13是示出图12的用于由图1A的系统生成的图形环境的用户接口装置的实施方式表示的分解图。

图14是示出表示图12的用户接口装置的图形环境的实施方式示意图。

图15是示出表示图12的用户接口装置的图形环境的实施方式示意图。

图16是示出表示图12的用户接口装置的图形环境的实施方式示意图。

图17是示出用于让用户与图1A的虚拟现实环境系统的计算机接口的处理的实施方式的流程图。

图18示出了根据某些实施方式的以外围装置为中心的增强工作站环境(AWE)的简化图。

图19示出了根据某些实施方式的增强工作站环境的示例。

图20示出了根据某些实施方式的内容区域如何针对参考外围装置进行跟踪。

图21示出了根据某些实施方式的内容区域如何折叠和扩展。

图22是示出根据某些实施方式的用于操作增强工作站环境的方法的各方面的简化流程图。

图23是示出根据某些实施方式的用于在增强工作站环境中操作外围装置(例如，参考外围装置)的方法的各方面的简化流程图。

图24示出了根据某些实施方式的以集线器为中心的增强工作站环境(AWE)的简化图。

图25是示出根据某些实施方式的用于操作集线器以与AR/VR工作站环境内的一个或更多个外围装置交互的方法的各方面的简化流程图。

具体实施方式

下面的详细描述参照附图。可以在不同的附图中使用相同的附图标记来标识相同或相似的元件。在下面的描述中，出于说明而非限制的目的，阐述了诸如特定装置、结构、架构、接口、技术等的具体细节，以便提供对本公开内容的各个方面的全面理解。然而，在受益于本公开内容的情况下，对于本领域的技术人员来说明显的是，权利要求的各个方面可以在脱离这些具体细节的其他示例中实践。在某些情况下，省略对公知装置、电路和方法的描述，以免不必要的细节使本公开内容的描述模糊。

定义

鉴于以下说明，可以更好地理解本公开内容：

如本文所使用的，术语“计算机模拟”和“虚拟现实环境”可以指提供给用户的虚拟现实环境、增强现实环境、混合现实环境或其他形式的视觉环境、沉浸式计算机模拟环境。如本文所使用的，术语“虚拟现实”或“VR”可以包括复制虚构设置的计算机模拟环境。可以通过使得用户能够与设置和其中描绘的任何对象进行交互来模拟用户在该环境中的物理存在。VR环境的示例可以包括：视频游戏；医疗过程模拟程序，包括手术或物理治疗过程；设计特征的交互式数字模型，包括计算机辅助设计；教育模拟程序，包括电子学习模拟；或其他类似的模拟。模拟环境可以是二维或三维的。如本文所使用的，术语“增强现实”或“AR”可以包括结合现实世界视图呈现的渲染图像的使用。AR环境的示例可以包括：用于可视化现实世界中的建筑物的建筑应用；用于在手术或治疗期间向用户增强额外信息的医疗应用；在进入VR环境之前向用户提供现实世界的增强模拟的游戏环境。如本文所使用的，术语“混合现实”或“MR”可以包括结合环境的现实世界视图被呈现为图像的虚拟对象的使用，其中虚拟对象可以与现实世界环境交互。下面描述的实施方式可以在AR、VR或MR中实现。

如本文所使用的，术语“现实世界环境”或“现实世界”可以指物理世界(本文也称为“物理环境”)。因此，关于对象(例如，身体部分或用户接口装置)的术语“现实世界布置”可以指对象在现实世界中的布置并且可以与参考点相关联。关于对象的术语“布置”可以指位置(位置和方向)。可以根据全局坐标系或局部坐标系定义位置。

如本文所使用的，术语“渲染图像”或“图形图像”可以包括可以由计算机生成并作为虚拟现实环境的一部分展示给用户的图像。图像可以以二维或三维显示。例如，本文公开的显示器可以通过使得用户能够直接观看现实世界环境和/或呈现现实世界环境的一个或更多个图像(例如，可以由摄像装置捕获)来呈现现实世界环境的图像。

如本文所使用的，术语“头戴式显示器”或“HMD”可以指向用户呈现图像的显示器。HMD可以包括支撑在用户的部分视野或全部视野前方的图形显示器。显示器可以包括透明的、半透明的或不透明的显示器。HMD可以是头戴式耳机的一部分。HMD的图形显示器可以由显示驱动器控制，显示驱动器可以包括如本文所定义的电路。

如本文所使用的，术语“电子电路”或“电路”可以指属于或包括以下或其他合适的硬件或软件部件中的一个或更多个：处理器(共享、专用或组)；存储器(共享、专用或组)，组合逻辑电路，无源电部件或接口。在某些实施方式中，电路可以包括可以提供所描述的功能的一个或更多个虚拟机。在某些实施方式中，电路可以包括无源部件，例如，可以提供所描述的功能的晶体管、变压器、电阻器、电容器的组合。在某些实施方式中，可以使用一个或更多个软件或固件模块来实现电路，或者可以使用一个或更多个软件或固件模块来实现与电路相关联的功能。在一些实施方式中，电路可以包括至少部分可在硬件中操作的逻辑。电路可以是集中的或分布式的，包括分布在形成系统的一部分或与系统通信的各种装置上，并且可以包括：基于网络的计算机，包括远程服务器；基于云的计算机，包括服务器系统；或外围装置。

如本文所使用的，术语“处理器”或“主处理器/本地处理器”或“处理资源”可以指用于处理的一个或更多个单元，包括专用集成电路(ASIC)、中央处理单元(CPU)、图形处理单元(GPU)、可编程逻辑器件(PLD)、微控制器、现场可编程门阵列(FPGA)、微处理器、数字信号处理器(DSP)或其他合适的部件。可以使用存储在存储器上的机器可读指令来配置处理器。处理器可以是集中的或分布式的，包括分布在形成系统的一部分或与系统通信的各种装置上，并且可以包括：基于网络的计算机，包括远程服务器；基于云的计算机，包括服务器系统；或外围装置。处理器可以被布置在以下中的一个或更多个中：外围装置，其可以包括用户接口装置和/或HMD；计算机(例如，个人计算机或类似装置)；或与计算机系统通信的其他装置。

如本文所使用的，术语“计算机可读介质/媒介”可以包括传统的非暂态存储器，例如，随机存取存储器(RAM)、光学介质、硬盘驱动器、闪存驱动器、存储卡、软盘、光学驱动器和/或其组合。应当理解的是，虽然一个或更多个存储器可以位于与系统相同的物理位置，但是一个或更多个存储器可以位于远离主系统，并且可以经由计算机网络与一个或更多个处理器通信。另外，当使用多于一个存储器时，第一存储器可以位于与主系统相同的物理位置，并且另外的存储器可以位于远离主系统的远程物理位置。一个或更多个存储器的物理位置可以改变。另外，一个或更多个存储器可以实现为“云存储器”(即，一个或更多个存储器可以部分或完全基于网络或使用网络访问)。

如本文所使用的，术语“通信资源”可以指用于电子信息传送的硬件和/或固件。无线通信资源可以包括通过无线电发送和接收信号的硬件，并且可以包括各种协议实现，例如，电子工程师协会(IEEE)中描述的802.11标准、蓝牙^TM、ZigBee、Z-Wave、红外线(IR)、RF等。有线通信资源可以包括；通过信号线的调制信号，所述调制可以根据串行协议，例如，通用串行总线(USB)协议、串行外围接口(SPI)、内部集成电路(I2C)、RS-232、RS-485或其他协议实现。

如本文所使用的，术语“网络”或“计算机网络”可以包括任何类型的一个或更多个网络，包括公共陆地移动网络(PLMN)、电话网络(例如，公共交换电话网络(PSTN)和/或无线网络)、局域网(LAN)、城域网(MAN)、广域网(WAN)、互联网协议多媒体子系统(IMS)网络、专用网络、因特网、内联网和/或其他类型的合适网络。

如本文所使用的，术语“传感器系统”可以指可操作以提供关于物理世界中的输入装置、外围装置和其他对象的位置信息的系统，物理世界可以包括身体部分或其他对象。术语“跟踪系统”可以指检测这样的对象的移动。身体部分可以包括手臂、腿、躯干或其子集，包括手或指头(手指或拇指)。身体部分可以包括用户的头部。传感器系统可以提供位置信息，根据该位置信息可以确定用户的注视方向和/或视野。该对象可以包括与系统交互的外围装置。传感器系统可以提供实时的位置信息流。在实施方式中，可以提供图像流，其可以表示用户的虚拟形象。传感器系统和/或跟踪系统可以包括以下中的一个或更多个：摄像装置系统；基于磁场的系统；电容传感器；雷达；声学装置；其他合适的传感器配置、光学装置、无线电、磁装置以及惯性技术(例如，灯塔、超声波、IR/LED、SLAM跟踪、光检测和测距(LIDAR)跟踪、超宽带跟踪以及本领域技术人员理解的其他合适的技术)。传感器系统可以布置在以下中的一个或更多个上：外围装置，其可以包括用户接口装置、HMD；计算机(例如，P.C.、系统控制器或类似装置)；与系统通信的其他装置。

如本文所使用的，术语“摄像装置系统”可以指包括单个实体或多个摄像装置的系统。摄像装置可以包括以下中的一个或更多个：2D摄像装置；3D摄像装置；红外(IR)摄像装置；飞行时间(ToF)摄像装置。摄像装置可以包括互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)图像传感器或用于形成图像的任何其他形式的光学传感器。摄像装置可以包括IR滤光器，其可以用于对象跟踪。摄像装置可以包括红绿蓝(RGB)摄像装置，其可以用于生成针对增强现实模拟或混合现实模拟的现实世界图像。在实施方式中，可以以交替方式(例如，利用IR滤波器和针对RGB)替代单独的摄像装置来处理单个摄像装置的不同帧。可以将多于一个摄像装置的图像拼接在一起以给出与用户的视野等效的视野。摄像装置系统可以布置在系统的任何部件上。在一个实施方式中，摄像装置系统布置在头戴式耳机或HMD上，其中摄像装置系统的捕捉区域可以记录用户的视野。另外的摄像装置可以布置在别处以跟踪用户身体的其他部分。使用另外的摄像装置来覆盖用户的直接视野之外的区域可以提供允许预呈现(或更早地开始其他计算)的益处，所述预呈现涉及那些区域或包含在其中的身体部分的增强现实再现或虚拟现实再现，可以当在虚拟现实模拟中时增加对用户的感知性能(例如，更直接的响应)。这可以是确保安全和愉快地使用VR的重要方面。摄像装置系统可以向应用程序提供可以包括图像流的信息，从其可以得到位置和取向。应用程序可以实现用于对象跟踪的已知技术，例如，特征提取和识别。示例包括加速鲁棒特征(SURF)算法。目前可用的摄像装置示的例是Logitech的Pro C920或C930 Full HD。

如本文所使用的，术语“用户接口装置”可以包括让用户与计算机进行接口的各种装置，其示例包括：包括基于物理装置的运动的那些的指点装置，例如，鼠标、轨迹球、操纵杆、键盘、游戏手柄、方向盘、桨、轭(飞行器的控制柱)、方向垫、油门操纵台、踏板、光枪或按钮；基于触摸或接近表面的指点装置，例如，触控笔、触摸板或触摸屏；或3D运动控制器。用户接口装置可以包括一个或更多个输入元件。在某些实施方式中，用户接口装置可以包括意在由用户佩戴的装置。佩戴可以指借助除手的抓握之外的方式由用户支撑的用户接口装置。

如本文所使用的，术语“输入元件”或“用户接口”可以指用户与之交互以向计算机系统提供用户输入的对象。输入元件或用户接口可以包括用户可操纵对象，其示例包括：方向盘；棒；踏板；鼠标；键；按钮；控制面板；滚轮；飞行轭；光笔或其他触控笔装置；手套、手表或其他可穿戴装置；旋转元件，例如，拨盘或旋钮、运动检测器；触摸敏感装置。用户输入元件可以适于以其他方式提供输入，所述方式包括通过确定身体部分的运动，用户输入元件包括触摸垫。

如本文所使用的，例如，术语“图腾”可以包括一个或更多个物理对象或虚拟对象，其可由用户操纵以允许输入或与AR系统、MR系统或VR系统交互。图腾可以用作用户接口装置或控制器或作为虚拟空间中的对象。一些图腾可以采用无生命的对象的形式，例如，一块金属或塑料、墙壁、桌子的表面。可替选地，一些图腾可以采用动画对象的形式，例如，用户的手。图腾实际上可能没有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇臂开关)。替代地，图腾可以简单地提供物理表面，并且AR系统、MR系统或VR系统可以呈现用户接口以便使用户看起来其在图腾的一个或更多个表面上。例如，AR系统、MR系统或VR系统可以呈现计算机键盘或触控板的图像以看起来位于图腾的一个或更多个表面上。例如，AR系统可以呈现虚拟计算机键盘和虚拟触控板以看起来在用作图腾的薄矩形铝板的表面上。矩形板本身可能没有任何物理键或触控板。

如本文所使用，术语“IMU”指惯性测量单元，其可以沿着x、y、z笛卡尔坐标和沿3个轴(俯仰、转动和偏航)的旋转来测量六个自由度(6DOF)中的移动。在一些情况下，某些实现可以利用具有在少于6个DOF(例如，如下面进一步讨论的，3个DOF)中检测到的移动的IMU。

如本文所使用的，术语“键盘”可以指字母数字键盘、表情符号键盘、图形菜单或任何其他字符、符号或图形元素的集合。键盘可以是现实世界机械键盘或触摸板键盘，例如，智能电话或平板电脑屏幕键盘(OSK)。可替选地，键盘可以是在AR/MR/VR环境中显示的虚拟键盘。

如本文所使用的，例如，术语“融合”可以指组合不同的位置确定技术和/或使用不同坐标系的位置确定技术，以提供对象的更准确的位置确定。例如，可以融合来自IMU和摄像装置跟踪系统的数据，两者都跟踪相同对象的移动。如本文所描述的融合模块使用融合算法执行融合功能。融合模块还可以执行其他功能，例如，组合来自两个不同坐标系或测量点的位置或运动矢量以给出整体矢量。

如本文所使用的，元件的编号在图中是一致的，因此在不同的图中示出了相同的元件。

概述

参照图1A，虚拟现实系统2包括计算机4，其可以能够为用户提供虚拟现实环境。系统2包括显示器，其可以实现为HMD 8、虚拟现实显示器(未示出)或其他能够向用户提供计算机渲染图像的显示器。计算机4可以经由HMD 8(例如，通过包括显示驱动器)帮助显示虚拟现实环境。系统2包括物理用户接口装置10，以使得用户能够与由计算机4帮助的虚拟现实环境接口。用户接口装置10可以从用户接收用于虚拟现实环境的用户控制的输入。系统2可以包括传感器和跟踪系统12，以向计算机4提供例如用户的身体部分的位置和方向信息，其可以包括用户头部的方向和/或手部的方向或者包括外围装置的另一对象或如下所述的其他对象。

图1B示出了具有与传感器和跟踪系统12类似的传感器和跟踪系统的虚拟现实系统的特定实施方式。用户6被示出为佩戴HMD 8。示出了两个外围装置或输入装置，键盘102和鼠标104。可以利用一个或更多个摄像装置或其他传感器来监测键盘102和/或鼠标104(和/或用户6的手)的位置和移动。图1B示出了键盘102上的传感器108和110、视频会议摄像装置112、网络摄像装置114和安全摄像装置116。摄像装置还可以安装在HMD 8上、用户6的其他地方、无人机上或其他任何具有物理环境视图的地方。每个摄像装置可以是立体摄像装置，具有两个并排的图像传感器以提供具有深度的3D图像，或者可以以其他方式用于确定对象在3D空间内的位置(例如，通过使用其他深度感测技术或通过将根据从不同视点获得的多个图像的图像组合来确定位置信息)。应当理解的是，可以使用各种其他传感器技术来确定外围装置(例如，键盘102或鼠标104)在物理环境内的位置。例如，安装到外围装置的超声传感器、电磁传感器、惯性传感器以及光学传感器可以以任何组合使用以获得位置信息。在某些实施方式中，传感器融合技术可以用于将从不同类型的传感器或从不同视点获得的位置信息组合以确定位置。

一个或更多个摄像装置或其他传感器可以检测物理环境中的对象，并且可以通过如下面更详细描述的各种方法识别这些对象。例如，可以根据条形码120、RFID标签或其他标识符检测咖啡杯118。对于RFID标签，不使用摄像装置或除了使用摄像装置以外，而可以使用RFID阅读器。可替选地，计算机4可以指示键盘102或鼠标104闪烁指示灯，以便可以其被识别。摄像装置或其他传感器可以检测用户的手靠近或接触哪个外围装置或对象，以及用户的手相对于该对象的移动。在某些实施方式中，成像传感器(例如，视觉传感器、超声传感器)可以用于对某些对象进行分类(例如，利用对象检测技术)。输入装置可以包括通信能力(例如，无线收发器)并且能够向计算机4提供识别信息。

可以将任何对象附近或上面的空间指定为手势空间。例如，确定键盘上方三维体积的空域的可以用于手势，手势可以被解释为用于用户与虚拟现实环境交互的计算机4的命令。可以定义多个手势空间。例如，与键盘102上方或显示器106上的手势相比，鼠标104附近的手势可以具有不同的含义或使用不同的手势。下面提供更多描述。

如下面更详细描述的，可以将对象或外围装置的图像(例如，捕获的图像或由外围装置提供的图像)导入虚拟现实环境中，用于呈现给在虚拟现实环境内交互的用户。例如，可以将键盘102的图像导入虚拟现实环境以供用户与之交互。可替选地，可以增强或以改变或移动图像。例如，键盘表示上示出的键的类型可以从字母数字改为表情符号。可以将不存在的输入投影到虚拟现实环境中的对象上，例如，鼠标104顶部的键盘或甚至咖啡杯118上的按键。

图1C示出了通过HMD 8的虚拟现实环境的视图122的特定实施方式。在该实施方式中，虚拟现实环境用于显示计算机监测器的多个窗口，而不需要多个物理监测器。如图所示，示出了虚拟显示器124、126和128。还示出了被注入到虚拟现实环境中的物理键盘和用户的手的虚拟表示130。

图1D示出了具有多个虚拟显示器(例如，显示器132)的虚拟现实环境的特定实施方式。另外，可以提供物理键盘和/或用户的虚拟显示器134。最后，可以提供其他物理对象的虚拟表示，例如，虚拟咖啡杯136和虚拟灯138。例如，这使得用户能够在佩戴HMD 8的同时抓住真正的咖啡杯并饮用。记事本和笔是可以被识别并注入虚拟现实环境的其他对象，因此用户可以在佩戴HMD 8时物理地书写笔记。可以注入其他物品(例如，用户的手表)以便用户可以查看他们现实手表上的时间。可以监测用户后面的办公室门，并且可以显示在虚拟现实环境中的后视镜上。

图1E是增强和跟踪系统操作的高级图。摄像装置142可以向增强引擎150和跟踪引擎152提供视频。可以提供来自其他摄像装置的视频和/或来自其他传感器的其他感测数据。视频和其他感测数据可以用于两个目的。首先，视频和/或传感器数据用于在虚拟现实环境中提供一个或更多个外围装置和用户的手的真实(例如，“现实世界表示”)显示。其次，视频和/或传感器数据用于跟踪用户相对于外围装置的移动。

来自键盘148的控制输入可以被分别地提供给增强引擎148和跟踪引擎152。可以通过可以生成相应的信号的实际按键、键上的接近传感器和/或根据摄像装置142或其他传感器来检测确定按下或即将按下哪个键。可以提供控制信号以“按下”虚拟现实环境中的适当的键，以及确定应该增强哪个键。可以将如增强和修改的视频和控制信号提供给HMD 8的应用和操作系统软件154。

在一个实施方式中，将键盘和用户的手的表示146显示在物理监测器144上，然后物理监测器的显示被导入HMD 8。可替选地，表示146仅在HMD中生成，例如，在虚拟现实环境中的多个虚拟监测器中的期望的一个虚拟监视器下，关于定位提供更大的灵活性。

网络和计算机元件

图2是示出用于向图1A的虚拟现实系统提供内容的联网系统22的实施方式的框图。内容服务器14可以通过网络20和与计算机4通信的接收器16向图1A的计算机4提供视频内容或其他数据或控制中的一些或全部。网络20可以是因特网、广域网(WAN)、局域网(LAN)或任何其他网络或通信路径。可替选地，计算机可以根据本地存储的指令生成和/或控制虚拟现实环境。在一个实施方式中，计算机4包括具有可执行以生成虚拟现实环境的指令的存储器。内容服务器14、接收器16和网络20的数量可以修改为适于特定实现方式，例如，从多个内容服务器或共享视频游戏中的其他用户的计算机提供内容。接收器16可以经由有线连接和/或无线连接连接至网络20，从而直接或间接地与内容服务器14通信或耦接。可替选地，接收器16可以通过任何合适的有形计算机可读介质或数据存储装置、数据流、文件或通信信道与内容服务器14相关联。

图3是计算机4的框图。计算机4可以利用处理器26(这里有时称为“主处理器”)来实现。计算机4可以包括存储器(例如，主存储器28和辅助存储器30)。主存储器28可以包括随机存取存储器(RAM)或其他类型的动态存储装置，其存储由处理器26执行的信息和指令。辅助存储器30可以包括硬盘驱动器或可以存储可能不能由处理器26直接访问的指令或数据的其他存储装置。计算机4可以包括输入/输出(I/O)系统32，以使计算机4与外围装置和输入装置接口，包括图1A的HMD 8和用户接口装置10。一个或更多个设备驱动器(未示出)可以有助于与外围装置的通信。除了HMD 8之外，I/O系统32还可以包括显示器(未示出)，其可以显示虚拟现实环境应用、操作系统应用的图像或与虚拟现实环境相关联的其他图像。显示器可以允许用户配置系统2，而不需要佩戴HMD 8，或者允许任何其他人配置系统2，或者允许虚拟现实环境的二次非VR显示，例如，用于观察、运行时间配置、安全或任何其他目的。显示器可以是全息显示器，其能够在不需要补充的HMD 8或通过补充的HMD 8的情况下为用户呈现三维图像。I/O系统32可以包括音频输出装置(未示出)(例如，扬声器)，其优选地经由相关联的音频电路(例如但不限于放大器、滤波器和技术人员已知的其他电路)耦接至主处理器26，以在应用程序的实现期间当发生音频事件时向用户提供声音输出。在实施方式中，音频输出装置和相关联的电路可以位于HMD 8上。

计算机4可以基于可以经由通信资源从计算机可读介质或从另一装置读入主存储器28的指令来执行操作。包含在主存储器28中的指令可以使处理器26执行稍后将描述的处理。可替选地，可以使用硬连线电路代替实现所述处理的指令或与所述指令相结合。因此，各种实现方式不限于硬件电路和软件的任何特定组合。

计算机4可以实现用于根据由摄像装置系统提供的图像流确定捕获区域中的对象的布置的指令。对于对象跟踪，指令可以实现已知技术，例如，特征提取和识别。示例包括加速鲁棒特征(SURF)算法。

计算机4的示例实现包括：个人计算机(PC)；工作站；膝上型计算机；家庭视频游戏控制台系统，其通常连接至电视机或其他显示器；机顶盒，例如，其可以用于向用户提供交互式电视功能；或网络计算机或互联网计算机；媒体播放器(例如，MP3播放器)；小型笔记本电能/上网本；平板计算机；智能电话；蜂窝电话；个人数字助理(PDA)；其他类似的电子装置；其他合适的装置。在某些实施方式中，计算机4可以合并为HMD 8和/或用户接口装置10的一部分。计算机4可以在各种操作系统下操作。

图4是用户接口装置10的框图。用户接口装置10可以包括本地处理器34。本地意味着本地处理器34与计算机4的主处理器26分离。可以向本地处理器34提供指令以等待来自计算机4的命令或请求、解码命令或请求、根据命令或请求处理/控制输入和输出信号、控制用于对接口装置10附近的现实世界环境成像的用户接口装置10的传感器、与其他用户接口装置和/或用于生成虚拟现实环境和在虚拟显示环境内交互的补充主处理器26通信。另外，本地处理器34和主处理器26可以通过读取传感器信号并且根据那些传感器信号、时间信号和根据主命令选择的存储或中继的指令计算适当的力来独立于计算机4操作。本地存储器36(例如，RAM和/或ROM)耦接至本地处理器34。处理器26类似地耦接至其自身的本地存储器28、30。

用户接口装置10包括I/O系统38，用于向/从本地处理器34提供信息。I/O系统38可以根据用户接口装置10的配置而变化。在实施方式中，I/O系统38可以与下面描述的传感器系统结合、连接或通信。所述输入元件可以包括耦接至I/O系统38的相关联的传感器系统，其可以包括以下中的一个或更多个：光学传感器系统；光学编码器；电位器；速度传感器；加速传感器；应变计；电阻式传感器；电容式(例如，触摸式)传感器或任何其他类型的传感器。可以实现传感器驱动器(未示出)以将传感器信号转换为可以由本地处理器34或主处理器26解释的信号。

用户接口装置10通过通信资源40耦接至计算机4，通信资源40的示例包括双向总线(例如，RS 232串行接口、RS-422、RS-485、12C、通用串行总线(USB)、MIDI、火线或本领域技术人员已知的其他协议或者并行总线或无线链路(例如，BTIe或专有无线协议))。在某些实施方式中，通信资源40可以将电力从计算机4向用户接口装置10(有时简称为“接口装置”)供应。在某些实施方式中，可以实现专用电源以向用户接口装置供电。

用户接口装置10可以不限于向计算机4提供输入，在某些实施方式中，例如，用户接口装置以视觉或者和/或触觉反馈的形式向用户提供输出。

增强现实和混合现实

各种输入装置、对象、用户身体部分甚至空域可以被尽可能真实地导入虚拟现实环境中，或者可以被增强/改变。一个示例是如图6所示在用户6的手指按下或接近键盘键时突出显示键盘键。另一示例是将一部分字母数字键变为表情符号，如图15所示。变化可以是情景性的，根据用户动作、在虚拟现实环境中交互的应用程序的类型等。

在某些实施方式中，可以增强或改变用户输入装置或其他对象的各方面的物理外观。特定的键盘按键、旋钮、鼠标按钮、滚轮等可以通过照明、改变颜色、改变尺寸、使其移动或摆动、改变其形状等来突出显示。例如，用户的手可以具有改变为与键盘或其他装置的对比度提高的颜色。可以使用户的手部分透明，以允许看到被用户的手另外遮住的键。例如，可以示出添加了手套或珠宝的用户的手。这些变化可以是情景性的，例如，当用户在赛车视频游戏中与方向盘交互或者在飞行模拟器中与操纵杆交互时添加皮手套。在巫术游戏中用咒语击打时，可以使用户的手看起来有褶皱和疣。可替选地，用户可以指示并配置更改其中，，用户更改可选地依赖于情景。例如，用户可以在用户手腕的描绘上指定星际迷航制服衬衫袖子，但者仅在太空探索游戏或游戏类型期间。在万圣节时打字可以让用户选择不同类型的替选图像，如“怪物手”。

在各种实施方式中，增强可以执行各种功能，例如：放大关键文本以获得最佳观看；改变手的透明度，使得可以看到全部的键盘；将键布局和文本更改为适当的语言；针对更多符号和丰富的文本更改键布局；将布局更改为完整的情景表情符号布局；更改布局以仅显示你的相关游戏键；改变你的键盘和桌面的颜色/风格；编写虚拟笔记和纸张并将其移动到虚拟空间中；利用手做手势并与虚拟环境交互；在键盘(和桌面)上的不同位置处创建热键。

可以针对生产率、音乐创建、视频编辑等进行增强。用户输入装置可以控制AR/VR桌面(键盘/鼠标和交互式桌面区域)，或者用户输入装置可以与第三方元件(例如，Twitch)集成。

在某些实施方式中，惰性对象可以成为输入装置。例如，图6的虚拟键盘11在现实中可以是桌面的一部分。用户可以简单地移动他/她的手指并轻敲桌面，同时使用户的手指的位置和移动叠加在虚拟现实环境中的虚拟键盘上。可以由计算机4或用户选择桌面上的用作键盘的位置。用户命令可以使用键入的命令、对提示的响应、手势、口头命令等来选择区域。该命令可以与指向该区域或在该区域上做出手势的用户组合。指定区域可以响应于指定的用户手势或手位置而移动。

在另一示例中，咖啡杯可以变成操纵杆或鼠状定位器。按钮可以叠加在虚拟表示上。按钮可以放置在固定位置处，或者可以放置在用户的手指恰好握住咖啡杯的位置下方。

除了增强或改变按钮、键、滚轮和其他输入或感测元件之外，还可以改变用户接口装置或其他对象的其他方面。可以改变键盘框架的颜色，可以使其发光、闪光等。可以改变形状和外观。可以在键盘顶部呈现键入的字母/单词，就好像键盘在其顶部具有一个小显示器。可以将鼠标改变为看起来像在用户手中具有胡须的活鼠，其中胡须和尾部基于虚拟现实环境中发生的情况响应于某些输入或情景而移动。可以提供对鼠标的触觉反馈，因此用户感觉鼠标蠕动。根据游戏(例如，战斗游戏)的情景，鼠标可以变成其他对象，例如，剑、炸弹、枪或其他对象。该变化可以由用户或虚拟现实环境中的其他动作触发，例如，用户累积一定的点数。

可以定制注入的用户接口装置视频。在一个实施方式中，用户接口装置和用户手的注入是由外围系统完成的，该外围系统提供要在做为HMD的显示器的指定部分中显示的视频。外围系统可以在该视频区域中添加任何期望的内容，例如，关于用户接口装置的功能能力的帮助提示，或甚至广告。

在某些实施方式中，摄像装置图像可以用于定位用户输入装置或外围装置，但是所存储的图像可以替代地被使用或者用于对图像进行增强或者替换由于被用户的手或桌面上的另一对象遮挡而不可见的部分。可以通过检测或输入该输入装置的型号来获得特定存储的图像。

传感器和跟踪系统

可以以多种方式识别要被感测和跟踪的对象。用户输入装置可以在连接至计算机4时通过有线连接或无线连接来检测。图像识别可以与一个或更多个摄像装置一起使用以定位用户输入装置。还可以通过让计算机4使装置上的指示灯闪烁来识别用户输入装置，以便由摄像装置检测。或者可以提示用户触摸或操纵装置。图像识别也可以用于检测输入装置。例如，有限数量的输入装置模型可以用在虚拟现实中，并且数据库可以从不同角度存储这些模型的图像以用于图像识别。

除了连接的装置之外，还可以识别其他对象并将其注入虚拟现实环境中。用户可以将条形码标签或RFID标签或其他标识符放在要并入的对象上。条形码或RFID读取器可以并入到用户输入装置、外围装置、摄像装置、HMD或任何其他对象中。可替选地，用户可以使用手势(例如，指向)来指示要被感测的对象。可替选地，可以使用特定外围装置(例如，触控笔)来触摸或指向期望的对象。触控笔可以点亮或发出IR、无线电、NFC或其他信号以指示其位置。手势可以与听觉命令或键入命令或其他输入组合。以这种方式，用户可以决定并入到虚拟现实空间中什么是重要的。例如，可以并入家具，使得用户可以四处走动并看到家具而不会撞到家具。可以识别饮料或食物，以便用户在佩戴HMD时可以进食或饮水。可以识别刷子或梳子或指甲钳，因此用户可以在虚拟现实环境中进行个人修饰，可能作为修饰指令程序的一部分。

可以基于各种触发将识别的装置和对象注入虚拟现实环境中(下面更详细地描述)。例如，桌面或键盘可以仅在用户接近时出现。桌面或其他对象可以看起来避免用户撞到它，而其他装置或对象可以在指示用户需要装置或对象的触发时出现。触发可以是用户手势、命令、将装置放置在表面上或者甚至检测到用户注视装置或图标。

已经被识别的经识别的用户输入装置和其他外围装置和对象可以使其图像由一个或更多个传感器捕获，使得图像可用于注入虚拟现实环境。相同或不同的传感器还可以跟踪用户输入装置和其他外围装置和对象以及用户的手和可能的其他身体部分的移动。可以使用不同的技术，例如，可见光谱和IR摄像装置或传感器用于提供图像，以及激光器用于检测移动。各种传感器和用户接口装置可以联网，以协同工作用于识别、定位和跟踪移动。例如，键盘可以识别被按下的特定键，并且激光器和摄像装置都可以检测到手指在该键上方向下移动。各种动作可以相关，用于确认或在其中传感器被阻挡或者另外不具有高置信度检测的情况使用。

在某些实施方式中可以定义手势空间。例如，键盘和/或鼠标上方的空间可以被定义为手势空间。可替选地，可以指定任何其他空间或表面用于手势。例如，桌面的一部分或桌面上的鼠标垫可以变成触摸传感器。可以组合使用多个手势空间或表面，或者可以基于虚拟现实环境中发生的事件的位置和情景将单独的手势空间或表面用于不同目的。

直到激活之前，手势空间或表面可以保持非活跃，因此用户不会无意中使用手势发生某些事情。可以通过手势(例如，指向空间或表面)、通过按钮按压、口头或打字命令或任何其他输入进行激活。可以基于情景自动激活手势空间，例如，当在虚拟现实环境中呈现特定虚拟显示器时激活触摸板。激活可以与HMD中的适当空间中的虚拟触摸板的显示相结合。可以在非活跃时示出虚影、褪色或其他表示的手势空间或表面，因此用户知道它在何处。例如，可以在适当的空间中示出方形或圆形雾云。

基于雷达技术的传感器可以用于拾取外围装置周围的手势。这些手势可以使得用户能够执行通常需要按下键盘上的非直观键的重复动作。一些示例阐述如下。

在手势空间内向左或向右滑动可以用于(1)切换在虚拟桌面内呈现的窗口，(2)启用/禁用虚拟键盘的显示，(3)基于情景，在视频中前进/后退、下一首/上一首歌曲、幻灯片中的下一张/上一张照片等。

如果无法快速识别键或特殊字符，则使用户能够在键盘附近直观地绘制它以输入所需字符。这可以使用字符预测来增强检测到的手势的置信水平。

可以使用基于IR激光器的传感器来识别边缘或外围装置上的手指或者外围装置周围的所有手指。这些激光器可以靠近桌面表面并且检测多达10个手指及其各自的位置。，可以从这种类型的传感器产生如针对雷达传感器的相同类型的用例。然而，该传感器能够拾取其他类型的手势并创建新的用例，例如：检测描述意在增加/减小对象的大小的动作的两个或三个手指手势。这可以允许用户通过提供多模态方式执行给定动作来执行补充使用以下装置或功能的动作：(1)指向装置、(2)语音交互、(3)注视交互。例如，使用触控笔、使用手势来修改绘图时使用的刷子的大小等。

在某些实施方式中，传感器和跟踪系统可以结合在一个或更多个用户输入装置或外围装置中。可替选地，它们可以具有在不同装置中实现的部分，例如，桌面上的鼠状定位器中的对象检测传感器，摄像装置(例如，网络摄像装置)中的运动跟踪，以及键盘或计算机4中的用于分析传感器数据的跟踪软件，或者组合。可以在桌面上设置“智能鼠状定位器”或“集线器”外围装置，其能够感测和定位其他外围装置(即键盘)并跟踪它们。根据设置鼠状定位器的位置，可以为其分配情景，从而使得其能够成为你的桌面、你的电视设置或其他环境。鼠状定位器可以是配备有允许其感知附近的外围装置的传感器的便携式装置或有线装置。这样的传感器可以基于IR光电二极管(类Vive(Vive-like))、超声技术、磁技术、光学技术等技术。

在一个实施方式中，可以通过基于所计算的来自两种类型的传感器的透视差异应用透视失真算法来校正来自一个摄像装置或传感器的用户的外围装置和手的失真表示。

触发

用户接口装置、外围装置或其他对象的外观可以由情景触发。此外，位置和呈现可以基于相同或不同的触发而变化。例如，键盘可以示出在其实际位置，或相对于实际位置的固定位置。键盘可以附接至显示器的底部，在虚拟现实环境中在此处进行键入。可替选地，可以跟踪用户的注视，并且键盘可以跟随用户注视的位置。触发可以由用户定制，并且可以根据软件应用或操作模式而变化。

用户输入装置的类型可以通过情景以及虚拟现实环境中的位置、以及何时注入和何时移除而被触发。对于消息窗口，可以在接收到消息或者用户打开消息收发应用时在消息窗口下方注入键盘。如果用户选择战斗机飞行员游戏，则可以自动注入操纵杆。针对选择赛车游戏，可以自动注入方向盘。注入的对象也不会总是放在用户面前。因此，存在多面决策树，例如：1)检测到的触发事件；2)确定现实世界布置；3)基于情景确定注入外围装置的位置；4)引导用户到外围装置(可能点亮键或给出方向箭头或触觉提示或声音提示或其他提示。

特定用户接口装置、外围装置或对象的外观可以由接近它们的用户、在特定时间点需要它们的虚拟现实空间中的应用、明确的用户命令或组合来触发。注入位置和注入类型也由用户定制的情景触发。

插入的图形环境

图6示出了用于插入HMD 8的虚拟现实环境的图形环境42。图形环境42可以包括(键盘和手的)所示的视频图像，其用于插入虚拟现实环境。图形环境42还可以包括对应于按键的控制或输入信号和来自键盘11的其他输入。图形环境42可以由计算机4中的处理器26和用户接口装置10中的处理器34中的一个或两个来创建。处理器提供用于生成插入图形环境42的视频显示或其他图像的指令，视频显示或其他图像插入到HMD8的虚拟现实环境或增强现实环境或混合现实环境中或与其组合。虽然参考了计算机4的处理器26，但是应该理解的是，可以利用作为系统2的一部分布置的任何处理资源(本文公开了其各种示例)或与系统通信的其他处理资源。可以将指令提供给用于显示虚拟现实环境的HMD 8(包括与其耦接的显示驱动器)。

现在将提供实现为键盘11的用户接口装置10的实施方式布置。附图标记10和11都用于强调所示键盘11可以是任何其他用户输入装置10。应当理解的是，这些布置可以应用于用户接口装置10的其他实现，本文提供了各种示例实现方式。

参照图5，键盘11包括输入元件44(键盘键、触摸板、滚轮、迷你操纵杆等)。传感器系统12被布置成提供信息以帮助确定用户6的身体部分(例如，包括指头的用户的手)的现实世界布置。可以相对于用户接口装置10确定现实世界布置。可以在用户6的身体部分与用户接口装置10的接口期间确定用户6的现实世界布置身体部分。如本文所使用的，“接口”可以指用户6的身体部分与一个或更多个输入元件44交互或者在与所述元件的接口附近操作。在一个实施方式中，传感器系统12的一部分或全部可操作地连接至或嵌入在用户接口装置10中。在实施方式中，可操作地连接可以指以下中的一个或更多个：传感器系统12物理地连接至用户接口装置10(例如，布置在其主体上)；传感器系统12物理地连接至用户接口装置10所连接的、由其(例如，支撑平台)支撑或者以其他方式相对于其近端对准的装置(例如，对接站)。返回参照图5，传感器系统12可以布置在键盘11上方，以在使用期间捕获与键盘的交互。

参照图8，示出了外围装置17。外围装置17可以包括用于支撑键盘11的支撑表面15。外围装置包括从支撑表面15延伸的臂19。摄像装置13在沿着用户6的近端注视方向的位置中被布置在臂上，以捕获接口装置的用户的近端注视点。如将讨论的，利用这样的布置，可以将所捕获的身体部分和/或键盘11的图像最小化地映射到代表性视图。

在某些实施方式中，处理器26和/或处理器34可以用于基于传感器系统12的信息来确定用户6的身体部分的现实世界布置。用户6的身体部分的现实世界布置可以完全由传感器系统12的可操作地连接至用户接口装置10的部分确定，用户接口装置10可操作地或者通过所述部分与传感器系统12布置在支撑部分15上或其他地方的另外的部分组合实现为键盘11，其示例包括另外的外围装置，例如，HMD 8、与计算机4相关联的另外的显示器、包括专用摄像装置的工作站表面(例如，桌子)布置的设备。在一些情况下，用于检测用户的手的传感器可以集成在外围装置、集线器、HMD中，并且可以以任何组合使用，如下面进一步描述的。

参照图6，在实施方式中，处理器26和/或34可以包括用于基于所确定的用户6的身体部分或装置的现实世界布置来创建用户6的身体部分或外围输入装置的图形环境42中的代表性布置的指令。处理器26和/或34可以提供用户接口装置10相对于用户6的身体部分的代表性布置。如本文所使用的，术语“图形环境中的代表性布置”意味着该布置以某种方式表示现实世界布置，包括用户视野中的位置、方向、比例中的一个或更多个。代表性布置可以包括用户接口装置10，其被布置为以与现实世界中相同的方向在图形环境42的顶部对准。用户接口装置可以布置在图形环境42中的其他地方。代表性布置可以包括用户6的身体部分，其按与现实世界中相同的物理方向布置，并且相对于如在现实世界中的用户接口装置10布置。用户可能能够在图形环境42中观察他们与用户接口装置10的交互。在某些实施方式中，可以省略用户接口装置10和/或身体部分。在某些实施方式中，用户接口10或用户6的身体部分都可以省略。

参照图7，处理器26和/或34以及相关联的存储器可以包括用于显示用户6的身体部分和用户接口10的指令，用户6的身体部分和用户接口10布置在图形环境42中的视野中的与在现实世界环境中的视野中的位置等效的位置。如前所述，为了促进相关联的处理，传感器系统12可以提供位置信息，根据该位置信息可以确定用户的注视方向和/或视野。因此，所述注视方向和视野可以由处理器26和/或34以及用户6的身体部分和相对于其确定的用户接口10的现实世界中的位置确定。用户可以在图形环境42中与用户接口装置10进行增强的交互。

在某些实施方式中，传感器系统12的一个或更多个摄像装置可以提供用户6的身体部分和/或用户接口装置10的图像，用于在图形环境42中呈现。所述呈现可以包括图形环境42的简化图像，例如，代表性肤色被实现为表示具有与现实世界中相同的轮廓或轮廓图像的身体部分。所述呈现可以包括用于图形环境42的替选图像，例如，针对包括车辆模拟器的虚拟现实环境，用户的手被显示为戴着手套。在某些实施方式中，用户6的身体部分可选地表示为包括光标或其他指定装置。

在某些实施方式中，可操作地连接至用户接口装置10的传感器系统12的传感器包括电容传感器，其被布置成确定用户6的身体部分与用户接口装置10的接近，例如，悬停在键盘上。电容传感器可以布置在用户接口装置10的主体上。可操作地连接至用户接口装置10的传感器系统12的传感器可以包括布置在用户接口装置10的主体上的一个或更多个摄像装置。可操作地连接至用户接口装置10的传感器系统12的传感器可以按以下方式中的一种或更多种来布置：结合在用户接口装置10内，接近用户接口装置10的侧面、前面、顶部、底部(其中顶部表示装置的平台，而相对的底部表示底座)；在用户接口装置10的主体上，例如，捕获用户的手的下侧的图像；在从用户接口装置10或另一装置或对象延伸的用户可操纵臂上；或其他物理连接布置。

处理器26和/或34可以基于传感器系统12的信息确定用户6的身体部分的现实世界布置。在某些实施方式中，用户6的身体部分的现实世界布置可以完全由传感器系统12的可操作地连接至用户接口装置10的部分确定。在某些实施方式中，用户6的身体部分的现实世界布置可以通过传感器系统12的一部分与传感器系统12的布置在系统2上的其他地方的另一部分组合来确定，其示例包括另外的外围装置，例如，HMD 8、与计算机4相关联的另外的显示器、包括专用摄像装置的布置了工作表面(例如，桌子)的装置或其他类似配置的用户接口装置10。

在某些实施方式中，处理器可以借助于实时操作(例如，应用旋转、平移、放大/缩小中的一个或更多个)将所确定的身体部分和/或用户接口装置10的现实世界布置映射到代表性布置。实时操作可以是用户配置的和/或基于用户接口装置10相对于传感器系统12的位置(例如，参考与图8相关联的实施方式，键盘相对于支撑部分的位置)的。作为示例，参考与图5相关联的实施方式，可以通过应用实时角度映射来映射现实世界布置，以提供接近估计的用户的注视的视点。在某些实施方式中，可以确定用户的注视(借助先前讨论的方式)并且将现实世界布置主动地映射到所述注视。

参照图6，键盘11可以在图形环境42的右上方对准。在某些实施方式中，键盘11可以可替选地对准，包括各种屏幕边缘位置或具有预定的偏移。身体部分6可以按与现实世界相同的相对于键盘11的方向和位置来布置。无论键盘11的布置，用户能够在图形环境42中观察它们与键盘11的交互。

参照图7和7A，在某些实施方式中，键盘11基于情景事件被注入和布置，其中，出现提示窗口并且键盘11是底部对准的。例如，当出现需要文本输入的提示窗口时，可以注入外围装置(例如，键盘)并与窗口对准。对准可以以多种方式发生，例如，将角落对角落对准、向中对齐和平行匹配，或者通过改变键盘显示的角度来用户定制。在某些实施方式中，键盘11可替选地与提示窗口对准，包括各种屏幕边缘位置或与其具有预定的偏移。在实施方式中，情景事件可以包括虚拟现实环境中的事件，其需要来自用户接口装置10的用户输入或虚拟现实环境外部的电子通知(例如，消息的接收)。

例如，用户接口装置10的布置可以是经由访问虚拟现实环境或其他相关应用的偏好设置进行的用户配置。例，如用户接口装置10可以是通过拖放而用户可移位的。用户接口装置10可以被锁定在适当的位置，因此当用户没有主动使用提示窗口时它不会移动。

用户接口装置10可以包括用于通过传感器系统12确定用户接口装置10的布置的定位系统(未示出)。传感器系统12可以向处理器26和/或34提供信息用于进行所述确定。该信息可以来自传感器系统12、跟踪系统、HMD 8、计算机4或者来自可以检测或看到外围装置的任何信息。定位系统可以包括以下中的一个或更多个：发射包括光学(包括红外线)、无线电波、声学、磁场、无线电中的一个或更多个的信号、超声波、特征模式、特性对象(包括徽标)的发射器。定位系统可以有助于方便和准确地识别接口装置10及其布置。

参照图9，可以由处理器26和/或24实现的利用计算机与用户进行接口的处理可以包括，在框48处，从可操作地连接至用户接口10的传感器系统12获得信息，以确定与所述用户接口装置10接口的用户6的身体部分的现实世界布置。该处理可以包括，在块50处，基于所述信息确定身体部分6相对于用户接口装置的现实世界布置。该处理可以包括，在块52处，生成指令，以基于所确定的用户6的身体部分的现实世界布置来显示用户6的身体部分和用户接口装置的代表性布置。

可操作地连接至用户接口装置10的传感器系统12可以提供信息，以确定用户6的身体部分和用户接口装置10的物理布置，其精度足以确定用户接口装置10的使用，例如，手指与一个或更多个输入元件44交互。

主外围装置

在某些实施方式中，特定用户接口装置10(或其他装置)可以充当主外围装置、集线器或固定外围装置。它可以包括传感器系统12的全部或部分，并且执行传感器数据的全部或部分处理以确定其自身或其他对象的位置并跟踪它们。固定外围装置(例如，键盘)可以在情景相关时确定其他附近的外围装置并且可选地将其他附近的外围装置注入到虚拟现实环境中。可以基于外围装置的组合提供另外的交互。例如，当引入鼠标和键盘时可能发生第一类型的交互，而当引入键盘和扬声器时可能发生第二类型的交互，等等。

参照图10，外围装置54可以包括传感器系统12，传感器系统12被布置成提供相对于外围装置54确定一个或更多个对象56(例如，另一用户接口装置、外围装置、图腾、每日对象、用于手势的用户的手等)的现实世界布置的信息。传感器系统12可以可操作地连接至外围装置54。可操作地连接可以包括：并入外围装置54内；传感器系统12物理连接至外围装置54；传感器系统12物理连接至外围装置54所连接的、由其支撑或者以其他方式相对于其近端对准的构件。传感器系统12可以可操作地检测现实世界环境内的位置外围装置54。例如，传感器系统12可以包括IMU、成像传感器或其他传感器。

对象56可以位于外围装置54的近端区域中。本文使用的术语“近端区域”可以包括任何二维或三维空间。示例包括：支撑所述外围装置54的工作表面；作为游戏控制器的、在使用中由用户持有的三维空间近端用户接口装置；用于与用户接口装置10一起使用的作为指点装置的垫或板，包括鼠标或触控笔。

处理器26和/或34基于传感器系统的信息确定一个或更多个对象56的现实世界布置。一个或更多个对象56的现实世界布置可以完全由传感器系统12的可操作地连接至外围装置54的部分或者通过所述部分与传感器系统12的布置在系统上的其他地方的另一部分组合来确定，其示例包括另外的外围装置，例如，HMD 8、与计算机4相关联的另外的显示器、包括摄像装置的布置了工作表面(例如，桌子)的装置。

处理器26和/或34编译从各种系统收集的传感器数据，以基于确定现实世界布置将外围装置54和相对于外围装置布置的对象的代表性布置注入到虚拟现实环境中。因此，在一个实施方式中，由外围装置54的传感器系统12提供的信息用于生成一个或更多个对象56的代表性布置，从而将其与外围装置54相关联。

在某些实施方式中，当外围装置基于确定的一个或更多个对象56相对于外围装置54的现实世界布置被确定为相对于参考点(例如，另一输入装置或传感器或其他参考位置)移动时，处理器26和/或34将一个或更多个对象56的布置与外围装置54一起进行映射。

在某些实施方式中，传感器系统12包括布置在外围装置54上的摄像装置和/或电容传感器。外围装置54可以是传感器系统12的专用主体，例如，在使用中与工作台表面邻接的主体。对象56可以包括除了可以布置在近端区域中的任何对象：包括另一用户接口装置10的其他外围装置；与用户环境相关的其他对象，例如，饮料或食品容器、智能电话、灯等。对象56可以包括先前描述的用于通过传感器系统12确定用户接口装置10的布置的定位系统(未示出)。

在某些实施方式中，外围装置54的传感器系统12的一个或更多个摄像装置提供用于在图形环境42中呈现的该对象或每个对象56的图像。所述呈现可以包括用于图形环境的简化图像，例如，实现代表性色调来表示对象。所述呈现可以包括用于图形环境的替选图像。

参照图11，可以由处理器实现的利用计算机与用户进行接口的处理可以包括，在块58处，从外围装置54的传感器系统12获得传感器数据。该处理可以包括，在块60处，基于所述传感器数据确定一个或更多个对象56的现实世界布置。该处理可以包括，在块62处，生成基于所确定的现实世界布置将外围装置54和相对于外围装置布置的一个或更多个对象56的代表性布置注入到虚拟现实环境中的指令。

外围装置54的传感器可以提供信息，以将一个或更多个对象56的物理布置确定到高精度水平。其他传感器(例如，安装到HMD或与计算机4相关联的其他显示器)单独地不能以这样的精度提供信息。此外，使用来自外围装置54的传感器系统12的信息来确定一个或更多个对象56的现实世界布置可以启用比所述替选布置的传感器系统12更低的处理资源。外围装置54可以将多个对象56的位置信息(或者作为所述物理布置处理的位置信息)中继到计算机4。

分层

参照图1和图12至图17，用于将用户与计算机4接口的实施方式系统2包括具有一个或更多个输入元件44以将用户与图形环境42接口的用户接口装置10，实施方式系统2可以实现先前描述的系统2或本文公开的任何其他实施方式的各方面。

存储器(未示出)可以通信地耦接(例如，用于信息传送)至所述处理器26和/或34以存储多个不同的层64以表示图形环境42中的用户接口装置10和/或接近用户接口装置10的区域和/或与接口装置10接口的身体部分6。处理器26和/或34可以在所述指令中提供一个或更多个层，例如，从多个不同层46中选择包括在指令中的一个或更多个不同层。

如本文所使用的，关于图形环境的术语“层”可以指现实世界和/或虚拟现实环境中的对象的二维或三维表示。可以根据现实世界对象的图像(其可以由摄像装置系统提供)或以其他方式表示(包括通过增强)来呈现该层。

参照图12，实现先前描述的用户接口装置10或本文公开的任何其他实施方式的各方面的用户接口装置10的现实世界表示被布置为计算机键盘。键盘10包括I/O系统38的输入元件44，以将用户与所述图形环境42接口。输入元件44被布置为可机械致动的键。在变型的实施方式中，可以存在任何数量的输入元件，例如，一个或更多个。此外，所述输入元件可以采用其他形式，包括本文公开的那些形式。输入元件可以被包括在提供增强功能的外围装置中，例如，具有输入元件的轮，或者具有按钮和其他输入元件的操纵杆。

在某些实施方式中，用户输入装置10被图形地表示为在虚拟现实环境中向用户显示为在彼此之上的一系列“叠加层”。这些层将虚拟表示的处理和修改模块化。层可以是键盘周围的表面区域，层可以是放大的字母数字字符，层可以突出显示用户悬停在上方的字母数字字符，层可以是用户的手(半透明的，可能只是手的一部分等)。这些层可以是情景相关的，这意味着它们可以基于当前的虚拟现实情景或其他激励而改变。在某些实施方式中，VR环境中的用户可以将外围装置与层分离，扩展层以查看已经增强的内容，和/或基于他们的偏好来定制层。

可以添加适合现实物理键盘的形状的层，以增强在虚拟环境中呈现的键盘，并使键帽更加可见和可用。当按下键时，层允许一定程度的视觉反馈(以各种方式点亮键的增强图像)，以及将键盘转换为全新的增强产品，如上面提到的表情符号键盘，以及解决本地化问题。

这些层可以叠加在实际键盘或来自摄像装置的其他装置的视频图像上。通过在键盘上搜索独特的形状(例如，角落、特殊对准特征(例如，角落上的十字准线))或键盘的元素的激活(例如，点亮键、框架或键盘的其他部分)，并且通知跟踪系统已点亮的内容，可以增强对准。可以将键盘或其他装置制造为具有增强检测和对准的特征，例如，照量边缘周围、键和框架之间的高对比度等。此外，特定的按键可以被中继回跟踪系统，因此可以根据图像识别指尖和要按下的键，并用于更新对准。在一些实施方式中，对于X、Z维和偏转、俯仰旋转，精确对准可以是优先的。对于Y维的对准通常具有较小的影响，并且滚动受到平坦表面使用的约束。

在某些实施方式中，可以在最初或动态地调整每层的不透明度或透明度以提供最佳图像。例如，可以使键标记足够亮以在按下时示出为穿过手指，但其他键并不如此。

参照图13至图15，表示键盘11的层64可以包括以下中的一个或更多个：标记和输入元件层68，以表示一个或更多个输入元件以及输入元件上的标记，如图13所示(可替选地，单独的标记层66可以用于与输入元件分开地显示标记，例如，键标记，如图14所示)；反馈层70，用于提供一个或更多个输入元件的状态的用户反馈；装置主体层72，表示键盘10的主体。近端层74表示接近用户接口装置10的区域(例如，工作表面、桌面、垫或板)。应当理解的是，实施方式层表示可以利用除键盘以外的其他用户接口装置(包括本文公开的那些装置)来实现。

标记层66包括用于表示与输入元件或每个输入元件44相关联的输入功能的标记(输入功能可以由耦接至处理器的存储器存储)。参照图14，标记层66包括作为字母数字和其他符号的标记。参照图15，标记层66包括作为表情符号的标记。在实施方式中，其他标记层66的其他标记包括游戏宏(G键)、“热”键。

参照图14，标记层66的一些标记可以包括与图12的现实世界用户接口装置10的标记等效的标记(例如，字母数字符号)，并且标记层66的一些标记基于情景(例如，自动触发或用户命令)进行增强或更改。因此，增强或改变的标记包括与图12的现实世界用户接口装置10的标记不同的标记(例如，窗口键和输入键(enter key))。参照图15，表情符号是与图12的现实世界用户接口装置10的标记不同的标记。因此，在实施方式中，等效和/或不同标记可以被如在现实世界用户接口装置10上地映射到标记层上。

在输入元件在虚拟现实环境中不提供任何功能的实施方式中，可以在标记层66中不提供标记，例如，参照图15，与表情符号相关联的输入元件外围没有标记。例如，键盘外壳的边缘可能没有键。在一个实施方式中，非功能区域可以在外观上进行改变或者具有添加的功能。此外，可以修改在给定模式下当前不可用的键。例如，如果窗口键不相关，则可以将窗口键改变为用户可能认为有用的东西，这又固有地意味着键盘的功能需要在层被结合时被修改。

现实世界用户接口装置10可以不包括与该输入元件或每个输入元件相关联的任何标记，其中，作为虚拟现实环境的一部分，标记由标记层66指定。这样的用户接口装置10的示例包括具有没有任何符号的键的键盘或具有指定表示键的标记层66的触摸板。

其他用户输入装置或外围装置可以由相同或不同的层表示。例如，鼠标可以由输入元件层表示，以表示鼠标按钮和滚轮。反馈层(例如，通过突出显示按下的按钮、放大按钮或滚动轮)来修改输入元件层的外观，装置主体层表示鼠标的主体，其可以在虚拟现实环境中改变其颜色、形状等。这些层可以是弧形的，以对应于鼠标的形状。这些层可以是连续的或不连续的，并且每个层可以被分成不同的、单独控制和显示的部分，或者可以组合多个层。近端层表示鼠标垫或工作表面。可以针对操纵杆、游戏手柄、方向盘或任何其他用户输入装置、外围装置或对象提供类似的层。

可以理解的是，输入元件的功能可以与标记层的相关联的标记关联，例如，当不同的标记层66转变时，功能相应地转白嫩。例如，如果将字母数字键更改为表情符号，则用户按下这些键会导致键入表情符号，而不是字母数字字符。其他增强或更改(例如，突出显示或放大键)不会更改键的功能。

在一个实施方式中，层根据摄像装置图像被解构、适当地操纵和增强、然后再次组合以用于在虚拟现实环境中显示。这可以作为初始化步骤完成，或者周期性地完成，例如，在检测到用户输入装置的位置已经改变之后。可替选地，基于所获得的用户输入装置的型号，可以将一个或更多个层的存储图像与输入装置的摄像装置图像组合。在一个实施方式中，摄像装置图像仅用于确定位置和移动，并且这些层完全由预先存储的图像生成。

应该理解的是，输入元件层68可以以与标记层66类似的方式配置，例如，具有在输入元件层68中表示的现实世界用户接口装置10的一些或所有输入元件44。在实施方式中，输入元件可以以与它们在现实世界中的布置不同的方式表示，例如，一些输入元件可以不在输入元件层68中表示，或者一些具有相同功能的输入元件可以组合为输入元件层68中的较大输入元件。

反馈层70可以提供与可以在输入元件层68和/或标记层66中表示的一个或更多个输入元件44相关联的状态的用户反馈。该状态可以包括相关联的输入元件44已经与用户6的身体部分接口(例如，被选择)或者被预期用于与用户6的身体部分接口。输入元件44的接口和/或预期的接口可以由I/O系统38和/或传感器系统12的相关联的传感器确定(包括可操作地连接至用户接口装置10的传感器系统，其可以包括摄像装置系统和/或电容传感系统)。

作为本文所使用的，术语“预期接口”或“预期用于接口”或“预期用于选择”可以指以操作上接近地布置的用户身体部分选择或以其他方式与输入元件接口，例如，在选择之前用户的手指悬停在键上方。

参照图14，反馈层70可以包括输入元件的相关联的输入元件和标记(由输入元件层68和标记层66表示)的突出显示和放大表示，该输入元件被预期用于由身体部分的部分(由身体部分层76的身体部分表示)。在实施方式中，反馈层70可以实现接口或预期接口的各种视觉指示符，其示例包括以下中的一个或更多个：相关联的输入元件和/或标记的图形表示的全部或部分的突出显示、低光显示(lowlighting)、放大、减少、颜色变化。

装置主体层72可以表示用户接口装置10的主体的任何部分，包括外围表面(例如，其形成在使用装置时对用户可见的平面形态)和/或装置的横截面部分。平面形态是从上方观察的对象的轮廓。

参照图14至图16，装置主体层72可以表示平面形态表面，其在使用键盘10的主体时是可见的，并且围绕其输入元件44布置。

在实施方式中，当表示其他用户接口装置10时，主体可以包括电子方向盘的轮或操纵杆的杆和/或基座、鼠标、扬声器或任何其他用户输入装置、外围装置或对象。在某些实施方式中，装置主体层72可以仅表示用户接口装置10的操作部分，例如，仅表示键盘10的数字条目部分。在某些实施方式中，主体层72可以表示除现实世界用户接口装置10之外的替选装置，例如，键盘11可以表示为替选外围装置，例如，游戏控制器。

参照图13至图16，层64可以包括近端层74，以表示如本文所定义的用户接口装置10附近的区域(例如，工作表面、垫或板等)。因此，近端层74可以包括可以布置在所述近端区域中的任何先前描述的对象的表示。在实施方式中，近端层74可以包括环境介质77。参照图16，环境介质77包括现实世界环境中存在的、包括来自日光、室内照明或其他环境光的光和/或阴影。对象和环境介质77可以由传感器系统12确定。

参照图14至图16，层64包括主体部分层76以表示身体部分6。如前所述，身体部分可以在身体部分层76中表示。可以提供响应于运动的层，例如，允许用户使用传感器系统操纵对象(例如，图腾或VR图像)的交互空间。

参照图14至图16，各种层64可以彼此叠加。参照图16，身体部分层76可以表示为部分透明，其他层通过其是可见的。因此，在实施方式中，一个或更多层64可以表示为部分透明，其中：部分透明层可以叠加在另外的层(可以是另一部分透明层或固体层)上；并且/或者层(可以是固体层)叠加在部分透明层上。

在某些实施方式中，一个或更多个层可以表示与用户接口装置10相关联的深度方向的不同位置，例如，基于深度的其他增加透明度的层叠加于固体基层。可替选地，如上所述，这些层对应于不同的功能(例如，输入元件或键)，其可以向下延伸到另一层(例如，装置主体层)内。

在某些实施方式中，可以在通过处理器上运行的指令访问的非暂态计算机可读介质中设置层66至76或其他层中的一个或更多个的各种组合。在某些实施方式中，一个或更多个层64存储在用户接口装置10的存储器上，并且可以被传送至计算机4以进行处理。在某些实施方式中，一个或更多个层64可以存储在与计算机4相关联的存储器上，并且例如，可以在识别用户接口装置10之后借助数据库获得，其可以具有键值或其他合适的实现。用户接口装置10可以通过包括以下中的一个或更多个的技术来识别：将唯一标识符发送至计算机4(其可以用作键)；通过图像的图像处理，图像可以通过摄像装置系统获得；如前所述的定位系统。

在某些实施方式中，处理器26、34可以基于用户接口装置10的图像部分地或完全地生成一个或更多个层，图像可以从摄像装置系统获得。在某些实施方式中，用户接口装置10可以适于利于所述一个或多个层的生成。所述适于可以包括形成非反射表面和/或便于识别的表面。

在某些实施方式中，一个或更多个层64可以被布置为表示关联对象的现实世界布置。身体部分层可以包括基于所确定的身体部分6的现实世界布置的身体部分6的代表性布置。身体部分层的身体部分和表示用户接口10的层可以布置在与现实世界中的位置等同的位置，包括在图形环境42中的视野中的与现实世界中的视野中的位置等同的位置。用于确定身体部分6和/或用户接口装置10的现实世界布置的传感器系统12可以如前所述可操作地连接至用户接口装置10。

在某些实施方式中，一个或更多个层64可以是用户可定制的，包括标记层68的标记的示例可以由用户选择和/或反馈层70的配置可以由用户选择。

在某些实施方式中，一个或更多个层64适合于用户接口装置10的一部分的现实世界布置。一个示例包括适合于键盘的键的输入元件层68和适合于键盘的周围的主体层72。

在实施方式中，指令可以包括一个或更多个层64或者基于触发转变一个或更多个层64。“转变”可以指将一个或更多个层的表示从第一表示改变为第二表示(例如，在标记层66的情况下，第一表示可以包括作为字母数字的标记和如图14中所示的其他符号，并且第二状态可以包括作为表情符号的标记，如图15所示)。在某些实施方式中，触发可以包括以下中的一个或多个(其可以由处理器26、34确定)。

·用户接口装置10的配置，其可以包括确定用户接口装置10的类型。如前所述，可以通过识别用户接口装置10来确定用户接口装置10的类型。用户接口装置10的类型可以涉及所述装置的形状因子。

·用户接口装置10的布置，其可以包括用户接口装置10的位置，位置的示例包括用户接口装置10在工作表面(例如，键盘)上的布置或由用户持有的用户接口装置10的布置(例如，游戏控制器)。布置可以包括用户接口装置10的现实布置，包括装置的方向。方向可以相对于参考点(例如，HDM 8或用户的其他元件)，示例包括装置的可以通过用户接口装置10的纵向轴线的对准来定义(例如，垂直对准或者指向远离用户)的方向。

·与系统2相关联的对象的接近。接近可以参考用户接口装置10，例如，对象与所述装置10的接近(可以使用布置在用户接口装置10上的传感器系统12来确定)。该对象可以如先前所定义。接近可以包括先前定义的近端区域。示例包括布置为操作接近对象的用户接口装置10，该对象被布置为能够与用户接口装置协同操作，其中输入元件在功能上在装置之间传送/共享。

·情景事件，其可以与虚拟现实环境(例如，VR游戏中的特定阶段)或包括接收消息或电子邮件的其他计算机实现的通知相关。情景事件还可以包括环境介质77。

·用户与系统的交互，其可以包括可以通过手指/手进行的手势。手势可以包括手的特性运动，包括手划动或手指力矩(例如，按压输入元件)。手势可以包括由手做出的特性形状，例如，用于抓握、指向、拉开等的自然手部移动。手势的示例包括移动他们的手指以选择用户接口装置10的输入元件44。在其他实施方式中，用户交互包括经由用户与一个或更多个输入元件44接口而从用户接口装置10的I/O系统38确定的输入。

·用户配置，其可以包括用户配置一个或更多个层64的配置和/或它们的转变。

现在将针对上面定义的各种触发示例出基于触发在指令中包含和转变的一个或更多个层64。

在某些实施方式中，例如，可以基于被识别为游戏控制器或键盘或其他用户接口装置的用户接口装置10来触发一个或更多个层64的修改或生成。标记层66、输入元件层68、反馈层70、装置主体层72中的一个或更多个可以被配置成覆盖现实世界装置。

在某些实施方式中，可以基于被确定为布置在工作表面上的用户接口装置10来触发用于一个或更多个层64的指令，例如，如前所述，近端层74布置成表示工作表面。

在某些实施方式中，对于被确定为从与工作表面的邻接转变到由用户持握的键盘10(或其他用户接口装置)，可以相应地转变用于一个或更多个标记层66的指示符(例如，表示具有减少的功能的输入元件44)，因为用户可能无法使用双手来键入。

在某些实施方式中，可以基于在近端区域中被确定为用户接口装置10的其他用户对象56(例如，通过在用户接口装置10上布置的先前描述的传感器系统12)来触发用于一个或更多个层64的指令。在某些实施方式中，其中，对象56是能够协同操作的用户接口装置，用户装置10的标记层66、输入元件层68、反馈层70中的一个或更多个可以在输入功能被传送至能够协同操作的用户或从能够协同操作的用户接口装置传送时被转变，例如，操纵杆轮被布置为接近键盘，其中，键盘将光标键的功能传送/共享到杆上。

在某些实施方式中，近端层74被转变成在其中表示对象56。在一个实施方式中，一个或更多个对象56以与用户接口装置10类似的方式由本文定义的层64表示。

在某些实施方式中，需要字母数字条目的虚拟现实环境或通知以及标记层66、输入元件层68、反馈层70(或其他层)中的一个或更多个被转变成表示用于所述字母数字条目的输入元件。

在某些实施方式中，使用手势(例如，轻扫)将作为字母数字和如图14中所示的其他符号的标记层66转变为如图15中所示的表情符号。应当理解的是，可以使用各种手势将一个或更多个层64转变为各种表示。

参照图17，可以由处理器实现的利用计算机与用户进行接口的处理可以包括，在块78处，从多个不同层64中选择一个或多个层以在虚拟或增强现实虚拟现实环境的图形环境42中表示物理用户接口装置10。该处理可以包括，在块80处，生成指令，以在图形环境42中显示所述一个或更多个所选择的层的。在块82处，该方法可以包括确定触发，并且作为响应转变包括在指令中的一个或多个层。

以外围装置为中心的增强工作站环境

在一些实施方式中，可以使用AR/VR系统来实现以外围装置为中心的增强现实工作站环境。一些系统(包括上述那些系统中的一些)可以被配置成呈现相对于用户对准的增强现实工作站环境。例如，一些实施方式可以基于用户或HMD的位置在增强现实或虚拟现实环境中呈现视频内容(参见例如图1D)。也就是说，虚拟显示、虚拟对象和/或其他AR/VR呈现的虚拟内容可以被呈现为在向用户显示时看起来位于特定位置处。

可选地，以外围装置为中心的增强现实工作站环境可以被配置成相对于外围装置(例如，键盘、鼠标、触控笔、集线器等)而不是相对于HMD分布各种内容。作为示例，增强现实工作站环境的一些实施方式可以被配置成确定物理外围输入装置(例如，键盘)在物理环境内的位置，并且基于外围输入装置在物理环境内的位置来确定要(例如，经由HMD)呈现给外围输入装置的用户的虚拟显示器的位置和/或方向。虚拟显示器可以与相应的外围输入装置分开并且不同。例如，针对外围输入装置的用户，虚拟“电视”或其他显示器可以被呈现为看起来位于壁上或者位于一定距离处。在一些方面，当外围装置在物理环境内移动时，显示器的方向和/或位置可以相对于外围装置保持固定的、可感知的空间关系。例如，如果用户从一个位置拾取外围装置，并将其移动到第二位置，则显示器可以相对于外围装置保持其感知的固定位置。一些显示器可以是“粘性的”，使得外围装置的小移动(例如，在表面上以20cm重新放置键盘)可能不会使显示器移动，但是更大的移动(例如3m)可能促使显示器以固定的方式移动，如下面进一步讨论的。

一些实施方式可以采用另外的交互式显示器，另外的交互式显示器也可以相对于外围装置被呈现在一定位置处。取决于这些不同类型的显示器的预期内容和用途，可以在不同的指定区域或“区”中呈现这些不同类型的显示器。例如，预期要由用户进行交互的内容可以被配置在用户容易触及的位置处(例如，在外围装置上或附近)，而通常仅预期用于观看的内容可以远离外围装置地被配置在优选的观看距离处。以下实施方式进一步详细描述了这些方面，并且本领域的普通技术人员将理解的是，贯穿本文档描绘和/或描述的任何实施方式或其部分可以以任何合适的方式组合，并且因此任何一个实施方式均不应该被解释为限制特征的组合。

图18示出了根据某些实施方式的以外围装置为中心的增强现实工作站环境(AWE)1800的简化图。AWE 1800可以包括计算系统1810、显示系统1820、传感器系统1840和外围装置1830(1至n)。计算系统1810能够经由显示系统1820向用户提供增强/混合/虚拟的现实环境。显示系统1820可以被实现为HMD、虚拟现实显示器、全息成像装置或能够向用户提供计算机渲染图像的其他显示器。一个或更多个外围装置1830(1至n)可以是被配置成使用户能够与由计算机1810辅助的增强工作站环境接口的物理用户接口装置。如上所述，通常外围装置1830中的一个可以用作参考点，以向用户布置一个或更多个虚拟显示器。如下面进一步描述的，传感器系统1840可以感测并向计算机1810提供位置和方向信息，位置和方向信息包括一个或更多个外围装置的位置、用户的位置、用户的身体部分的位置(例如，头部、手、手臂等的位置)、一个或更多个外围装置周围的物理环境的物理特性(例如，表面、壁、对象、障碍物等的位置)等。

计算机1810可以包括主处理器，主处理器可以包括微处理器、多个处理器和/或协处理器芯片以及/或者数字信号处理器(DSP)能力等。系统时钟(未示出)可以耦接至主处理器30或者是主处理器30的一部分以提供定时数据。如受益于本公开内容的本领域的普通技术人员所理解的，计算机1810可以包括音频系统，该音频系统包括用于向用户提供音频的音频输出装置。显示系统1820可以显示模拟、游戏环境、操作系统应用的图像或与模拟相关联的其他图像。如在前述附图和相应描述中所示的，显示系统1820可以呈现增强的工作站环境的图像。显示系统1820可以是HMD的一部分、形成/显示增强的工作站环境，或者显示系统1820可以是单独的辅助显示装置(例如，全息显示装置)，以允许由用户配置系统而无需穿戴HMD或通过任何其他人配置系统，或者允许虚拟现实环境的辅助非VR显示，以用于例如观察、运行时间配置、安全或任何其他目的。如本领域的普通技术人员所理解的，计算机1810可以包括其他已知的部件，例如，随机存取存储器(RAM)、只读存储器(ROM)和输入/输出(I/O)系统等。

计算机1810可以实现应用程序，该应用程序可以是用于生成增强的工作站环境的模拟程序。用户可以经由外围装置1830(例如，键盘、鼠标、触控笔等)与程序交互。应用程序可以包括相对于外围装置布置的多个呈现的显示器，以显示办公生产力环境、游戏环境、交互式数字位置(例如，家、虚拟商店、体育竞技场等)、医疗过程模拟、计算机辅助设计应用或其他类型的虚拟接口布置。应用程序可以包括外部数据库或(例如，通过网络)访问外部数据库。应用程序可以被实现为一个或更多个模块或其他功能单元。在本文中，为简单起见，操作系统例如Windows^TM、Android、IOS、MS-DOS、MacOS、Linux等也被称为应用程序，因为其可以是用于与计算机相关联的硬件的装置驱动。通常，应用程序能够提供用于在显示系统1820上生成图形环境的指令。它可以提供要在HMD 18的显示器6上显示的图像，并且可以输出其他反馈(例如，听觉信号或振动(触觉)信号)。应用程序可以进行操作以检查来自外围装置20的输入信号并提供相应的输出。应用程序可以经由装置驱动器与HMD 18和/或其他外围装置20连接，由此装置驱动器通过I/O系统38的电子电路与装置通信。

计算机1810可以被实现为个人计算机、工作站、膝上型计算机或服务器，例如，PC兼容计算机、个人计算机、智能装置(例如智能电话、智能手表等)、独立HMD系统、平板计算机或其他合适的计算系统。计算机1810可以在Windows^TM、MacOS^TM、Unix^TM或MS-DOS^TM操作系统等下进行操作。

在一些实施方式中，传感器系统1840可以包括对象跟踪系统，该对象跟踪系统具有可以利用CMOS、CCD、IR或其他合适类型的图像传感器的摄像装置系统，例如，2D摄像装置、3D摄像装置、红外(IR)摄像装置、飞行时间(ToF)摄像装置等中的一个或更多个。传感器系统还可以包含触摸感测能力，触摸感测能力可以包括基于电容的和/或基于电阻器的触摸传感器(FSR)等。触摸传感器通常包括适于检测诸如直接接触、电磁场或静电场或电磁辐射束的信号的感测元件。触摸传感器通常可以检测接收到的信号的变化、信号的存在或信号的不存在。触摸传感器可以包括用于发射检测到的信号的源，或者信号可以由辅助源生成。触摸传感器可以被配置成：检测距参考区域或点一定距离(例如，<5mm)处的对象的存在、与参考区域或点的接触或其组合。以下进一步描述传感器系统1840的其他方面。多种类型的触摸/接近传感器的一些示例可以包括但不限于：电阻式传感器(例如，基于标准气隙4线、基于具有取决于压力的不同电气特性的碳载塑料(FSR)、插值FSR等)、电容式传感器(例如，表面电容、自电容、互电容等)、光学传感器(例如，红外光栅矩阵、与可以测量光路的飞行时间的光电检测器耦接的基于激光的二极管等)、声传感器(例如，与麦克风耦接以检测与触摸点相关的波传播模式的修改的压电式蜂鸣器等)等。

外围装置1830(1至n)可以包括键盘、计算机鼠标、音频装置(例如,扬声器)、触控笔/触摸装置、演示器装置、触摸板、基于摄像装置的装置(例如,网络摄像装置)、打印机等。以下实施方式描述了某些物理外围装置的使用，但是应该理解的是，这些示例并非旨在进行限制，并且本领域的普通技术人员将理解可以如何将任何合适类型或数量的外围装置集成到增强的工作站环境中，如所示出和描述的。

如本领域的普通技术人员将理解的，尽管可能没有明确地讨论某些系统，但是它们应该被视为AWS 1800的一部分。例如，AWS 1800可以包括总线系统，以向AWS 1800中的不同系统传输电力和/或数据以及从AWS1800中的不同系统传输电力和/或数据。在一些实施方式中，AWS 1800可以包括存储子系统(未示出)。存储子系统可以存储要由处理器执行的一个或更多个软件程序。应当理解的是，“软件”可以指的是指令序列，指令序列在由处理单元(例如，处理器、处理装置等)执行时使AWS 1800执行软件程序的某些操作。指令可以被存储为驻留在只读存储器(ROM)中的固件和/或存储在介质存储装置中的可以被读取到存储器中以由处理装置处理的应用。软件可以被实现为单个程序或单独程序的集合，并且可以被存储在非易失性存储装置中，并且在程序执行期间被全部或部分地复制到易失性工作存储器。处理装置可以从存储子系统获得要执行的程序指令，以执行如本文中所描述的各种操作(例如，软件控制的弹簧自动调整等)。

相对于AWE中的外围装置配置的显示“区”

在一些实施方式中，可以使用物理外围装置作为参考点来在增强现实工作站环境中呈现一个或更多个显示器。例如，一个或更多个呈现的显示器可以相对于特定外围装置被配置在一定位置处的不同区域(在本文中被称为“区”)内。如本文所使用的，区可以是被呈现给增强现实工作站的用户的内容可能看起来处于其中的物理区域。一些显示器可以旨在用于视觉数据消费并且可以被配置成远离用户，而其他显示器可以旨在用于提供交互能力并且被配置成更靠近用户(例如，在物理外围装置上或附近)。可以将交互区定位成以使用户能够利用外围装置、附加物等触摸交互式显示器。下面进一步描述使用AWE中的“区”的一些示例。

图19示出了根据某些实施方式的增强工作站环境1900的示例。AWE可以包括取决于显示器的预期用途的不同大小和位置的多个显示器。参照图19，某些类型的显示器呈现在被定义为“区”(例如，“区1”、“区2”、“区3”......)的区域中，这些区域相对于物理外围装置(例如，键盘1830(1))被配置在一定位置处。用作参考点的物理外围装置将被称为“参考外围装置”。每个区可以被布置在任何合适的位置处，并且可以被配置成相对于参考外围装置跨越3D空间内的任何合适的区域或体积。在一些情况下，随着参考外围装置在真实3D空间中移动，区和对应的视觉内容可以相对于参考外围装置相应地移动。也就是说，每个区可以被固定成设置的相对于参考外围装置的空间关系，使得参考外围装置以及在区1至区3中呈现的一个或更多个显示器看起来作为单个互连系统移动。AWE 1900可以包括AWE 1800的一些或所有元件，并且本文中提供的某些示例可以互换地指代两个系统。

在一些实施方式中，将参考外围装置放置在表面上可以使AWE 1900切换到“唤醒”状态，并在HMD 1820中的区1至区3中呈现多个显示器。可以以任何合适的方式实现放置检测，任何合适的方式包括经由参考外围装置上的物理开关或传感器(例如，压力传感器、IMU)。替选地或另外地，来自传感器阵列1840的一个或更多个传感器(例如，视觉传感器、超声传感器、IR传感器等)可以用于确定参考外围装置何时被放置在表面上。相比之下，将参考外围装置抬离表面可能会使AWE 1900切换到“休眠”或关闭状态。如下面进一步描述的，在一些情况下，抬起和移动短距离(例如，30cm)可能不会启动关闭状态。在某些实施方式中，除了先前描述的“休眠”和关闭状态之外，还可能发生行进或其他状态变化。例如，进入行进状态可能会折叠或以其他方式重新布置被呈现给AWE 1900的用户的虚拟显示器。当用户进入他们可以使用外围输入装置恢复与虚拟显示器交互的区域时，虚拟显示器可以返回到先前的位置。然而，如果用户已经进入新环境，则虚拟显示器可以采取不同的位置/方向。例如，如果用户从办公室环境移动到火车，则可以最小化虚拟显示器和/或可以移除多余的虚拟显示器。可以根据各种标准触发不同的状态。例如，可以重新配置外围装置(例如，可以折叠可折叠键盘或者可以将手持外围装置从工作面抬起)。而在不同的状态下可以使用不同的输入传感器和/或输入模式。例如，与在办公室内工作时相反，在旅行模式下时可以更多地依赖手势。

替选地或另外地，可以基于对用户的接近检测(例如，在参考外围装置附近)、检测到用户的手在参考外围装置(或在AWE 1900中的其他外围装置)上等来触发不同的状态。如受益于本公开内容的本领域的普通技术人员将理解的，可以通过参考外围装置、辅助外围装置、计算机1810、显示系统1820或其任何组合上的(例如，基于视觉、基于触觉、超声、IR、基于音频等的)一个或更多个传感器来执行感测。在一些实施方式中，参考外围装置可以包括用于在物理环境内进行定位的跟踪特征(例如，传感器、LED、基准标记)。例如，可以从HMD、从其自己的板载传感器(例如，经由IMU)或其组合来跟踪参考外围装置。因此，响应于参考外围装置1830(1)(例如，基于尺寸和附近的壁、障碍物、开放空间等)检测到用户的存在、接收到用户输入、检测到在合适的工作表面上的放置等，可以自动触发状态改变条件。

在一些实施方式中，如图19所示。“区1”可以与参考外围装置(例如，键盘1830(1))上(例如，覆盖的)的区域或附近/邻近的区域相关联。区1可以与用户可以与之物理地交互的物理外围装置相关联。可以使用虚拟内容来增强区1内的物理外围装置。例如，键盘1830(1)可以包括多个可按压键，但每个键上没有印刷标志。在一些实施方式中，显示系统(例如，HMD)可以在每个键上覆盖任何合适的语言的虚拟字母数字字符。在一些情况下，覆盖层可以是上下文的，使得在访问第一应用(例如，办公效率软件)时虚拟字母数字布局可以是第一组呈现的字符和数字，或者在访问第二应用(例如，CAD软件)时虚拟字母数字布局可以是第二组呈现的字符和数字。替选地或另外地，响应于物理命令(例如，按压功能键)或其他触发(例如，语音命令、在另一外围装置(例如，鼠标1830(2)、触控笔1830(3)等)上生成的命令)，可以在参考外围装置上示出不同的键布局。在一些方面，可以在参考外围装置1830(1)上叠加(覆盖)包括表情符号、应用快捷方式等的其他交互式符号或非交互式显示器。

某些实施方式可以采用物理触敏表面(例如，触摸板)来接收用户输入。一些实施方式可以包括参考外围装置1830(1)中的用于检测其他外围装置1830(2至n)相对于参考外围装置1830(1)的存在和/或位置的附加传感器，或者限定区1内或附近的可以被指定用于接收用户输入(例如，手指或触控笔沿着与参考外围装置1830(1)邻近的表面的移动)的区域。例如，基于视觉的传感器可以用于检测用户的手何时在邻近键盘1830(1)的表面上的特定位置(例如，邻近区1的小区)内移动。因此，其他惰性表面(例如，桌面)的一部分可以作为高精度触敏表面和/或接近感测表面进行操作。此外，指定的触摸区域可以保持其相对于参考外围装置1830(1)的空间关系(例如，保持固定)。

如上所述，耦接至参考外围装置1830(1)的一个或更多个传感器可以用于跟踪一个或更多个另外的外围装置1830(2至n)的位置，其中参考外围装置1830(1)操作作为参考点。因此，参考外围装置1830(1)可以作为具有其自己的专用跟踪系统的中央集线器进行操作。与从传统HMD或基于灯塔的系统跟踪多个外围装置的系统相比，这可能呈现某些优点。例如，附加传感器可以提供比可以来自HMD跟踪资源更高的保真度跟踪。在一些情况下，将另外的外围装置的跟踪卸载到集线器并将该跟踪信息转发到计算机系统1810和/或显示系统1820(例如，融合两个跟踪坐标系)可以缓解计算机系统和/或显示系统1820或处理带宽的压力。参考外围输入装置可以包括用于通过跟踪系统确定物理外围输入装置在物理环境内的位置的特征，并且跟踪系统可以用于确定用于呈现第一虚拟显示器的物理显示器的方向。在一些实施方式中，这些特征可以选自包括传感器、发射器和标记的列表。传感器可以被配置成检测或者发射器可以被配置成发射：可见光、红外光、超声波、磁场或无线电波。在一些情况下，物理外围输入装置可以包括使得能够通过多种跟踪技术中的任何一种在物理环境内跟踪物理外围输入装置的多个特征。物理外围输入装置可以包括惯性测量单元(IMU)，并且可以使用IMU确定物理外围输入装置在物理环境内的位置。在某些实施方式中，可以基于所确定的物理外围输入装置的用户的身份来确定第一虚拟显示器的方向，并且其中，将针对不同识别的用户不同地呈现第一虚拟显示器的方向。

在一些实施方式中，“区2”可以对应于邻近区1或在区1附近的一个或更多个区域，所述一个或更多个区域可以被指定为在用户可及范围内呈现交互式显示器信息。如图19所示，区2可以包括交互式工具和内容，例如，工具改变、模式变化、表情符号、聊天框、应用启动按钮等。在一些情况下，参考外围装置可以包括可以专用于交互式显示器的投影的物理区域(例如，突出表面)。具有虚拟交互式覆盖层的物理区域可以包括专用物理开关、触敏表面和具有交互式触觉(例如，空中触觉、基于压电的触觉等)的区域、用于跟踪参考外围装置上方的空中移动的传感器等，以进一步增强用户体验。区2可以被配置在物理区域上或3D空间中(如图19所示)，其优选地在访问参考外围装置1830(1)的用户所能及的范围内。区2可以被配置在与参考外围装置1830(1)相同的平面上或不同的平面上(如所示)。区2可以是与平面区域相对的体积空间，并且可以以任何合适的方式来配置。在一些情况下，限定一个或更多个区的边界可以由用户定制、由AWE 1900(例如，基于视觉内容)自动布置、被设置为默认大小和位置或其组合。通常，区2(并且在一些情况下为区1)包括可以经由用户的手、注视、语音、光标等接口的可交互元素的集合，并且可以包括拖放功能(例如，本地拖放和通过其他区域拖放)、触觉、触摸检测能力(例如，经由专用物理坞或指定的感测区域)等。

在一些实施方式中，“区3”可以对应于被指定用于视觉消费的、可能不需要用户交互的一个或更多个区域，类似于一些工作站环境中的物理监视器。参照图19，区3包括沿其限定区域分布的多个显示器。区3可以以弧形横向延伸以用于环绕式视觉环境，这对于用户而言在人体工程学上是有益的。在一些情况下，区3可以是体积空间，以允许内容更靠近或更远离用户移动。例如，AWS 1900可以检测用户何时将他们的头部更靠近虚拟显示器移动，并使区3中的显示内容更靠近用户移动，这可以有效地减小用户必须向前移动的距离。替选地或另外地，检测到用户(例如，HMD)正在更靠近区3移动可以使区3中的内容以相对于HMD移动的比例量自动缩放。在一些情况下，用户可能仅将他们的座椅移动得更靠近或更远离参考外围装置(因此，使HMD移动类似的距离)，这可能使AWE1900将区3(或来自其他区域)中的内容移动得更近或更远以保持观看距离。注意，在这样的情况下，区域仍然相对于参考外围装置而不是HMD投影，然而HMD可以确定将一个或更多个区放置于何处以改善观看体验的因素。区3通常可以包括分布在其上的、通过凝视、光标、语音等来交互的多个显示器(交互式2D和3D显示器/对象)。

在一些实施方式中，“区4”可以被定义为共享虚拟内容以在用户之间建立协作环境的区域(例如，平面或体积区域)。例如，每个用户可以具有他们自己的参考外围装置(例如，键盘)和相应的区1至3，但是区4可以由所有人共享。用户可以使用鼠标、触控笔或其他交互式外围装置向区4以及从区4选择和移动内容。

可以通过计算机1810、参考外围装置1830(1)、显示系统1820或其组合使用来自AWE1800的任何资源的传感器资源来确定区的位置。例如，参考外围装置1830(1)可以利用板载传感器或利用来自计算机1810和/或显示系统1820的传感器资源来轮询其环境并确定例如边界、开放区域、表面和障碍物所位于的位置。在一些情况下，用户可以选择经由呈现的交互式虚拟显示器展示给用户的内容，以修改与用户对物理外围输入装置的使用对应的操作，并且其中交互式虚拟显示器可以被呈现为对于用户而言看起来靠近物理外围装置。与用户对物理外围输入装置的使用对应的操作可以包括：改变与物理外围输入装置的输入元件的致动对应的命令、改变物理外围输入装置的外观、物理外围输入装置的输入元件的外观、以及/或者改变一个或更多个呈现的虚拟显示器与物理外围输入装置之间的关系。在一些情况下，交互式虚拟显示器的方向可以被呈现为对于用户而言看起来处于集成在物理外围输入装置的外围上或内的位置处，或者交互式虚拟显示器可以被呈现为对于用户而言看起来位于物理外围输入装置的、包括补充由交互式虚拟显示器提供的功能的特征的区域上。在一些实施方式中，特征可以包括由集成在物理外围输入装置内的触觉反馈生成器生成的触觉反馈，以响应于用户与交互式虚拟显示器的交互来提供触觉反馈。这些特征可以包括物理输入元件，并且其中交互式虚拟显示器的内容被呈现为对于用户而言看起来能够由用户通过致动物理输入元件来进行选择。交互式虚拟显示器可以被呈现为对于用户而言看起来位于物理外围输入装置附近的区域中。内容以可以被确定为由用户通过物理外围输入装置的传感器来选择而无需物理接触物理外围输入装置。在一些情况下，可以由第二物理外围输入装置的用户选择经由呈现的显示器呈现给用户的内容，以修改第二物理外围输入装置的用户对第二物理外围输入装置的使用的操作，并且第二交互式虚拟显示器可以被呈现为对于第二物理外围输入装置的用户而言看起来靠近第二物理外围输入装置。在某些实施方式中，交互式虚拟显示器可以被呈现为对于用户而言看起来处于至少部分地基于用户的生物力学模型确定的空间位置处，以使用户能够利用附加物到达交互式显示器。

环境检测和用户配置文件

在一些实施方式中，AWE 1900可以自动适应于各种使用场景和/或媒体内容。例如，在检测到参考外围装置被放置在桌子上时，例如如图19中所示，可以呈现3区、3监视器操作模式。在另一示例中，用户可以将参考外围装置放置在近距离的小表面上，例如，放置在飞机上或咖啡店中的座位托盘上。在这些情况下，可以配置区，使得用户不直接看向同一视野中的相对于参考外围装置可视地分布在较小半径内的其他人、改变区的数量、限制内容的大小等。例如，在咖啡店示例中，区1和区2可以保持相对不变，然而区3可以朝下、限于较小的区域并且相对于参考外围装置以不同的视角定向。如受益于本公开内容的本领域的普通技术人员将理解的，可以通过参考外围装置(例如，如下面进一步描述的作为集线器操作)、辅助外围装置(非参考外围装置)、计算机1810、显示系统1820或其任何组合上的(例如，基于视觉、基于触摸、超声、IR等的)一个或更多个传感器来执行对周围物理环境的感测。

在一些实施方式中，可以针对每个用户配置用户配置文件，用户配置文件可以包括内容显示位置、控制模式等。例如，第一用户可以相对较矮，并且每个区可以被配置成在人体工程学上有益于该用户的相对尺寸的位置处。区2可以被定位成更靠近参考外围装置以适应用户的相应生物力学范围。同样地，相对较高的第二用户可以具有适应该用户的相对尺寸的用户配置文件。在一些情况下，如上面描述的，针对特定环境用户配置文件可以布置一个或更多个区。第一用户可以具有供办公室使用的第一配置文件(例如，具有远壁的大表面区域)和用于在公共汽车上工作的第二配置文件(例如，近距离并朝下的观看区域)。因此，用户偏好和/或工作环境(例如，壁位置、照明、其他人的接近等)可以用于建立不同的工作配置文件以更好地优化增强的工作站环境。在一些实施方式中，AWE 1900的各方面可以检测用户相对于参考外围装置1830(1)的定位/位置，并且可以识别可能对某些内容具有不同响应的人体工程学包络(例如，头部移动)的区。例如，可以将内容急速移动到理想区中，或者线框轮廓可以叠加在区域/体积上，以突出显示与当前区布置不同的符合人体工程学的优选配置。在某些情况下，区放置可以是用户定义的。例如，可以向用户呈现一系列问题和/或显示的布置，以决定如何显示区、将在每个区中包括什么内容、区如何相互影响(例如，内容是否可以从一个区自由移动到下一个区)、在某些工作环境中如何布置区等、基于应用启用/禁用交互式控件(例如，文字处理可以禁用如在CAD工具中可能使用的对象操纵控件的对象操纵控件)。用户可以确定如何在用户之间共享区以及应用什么隐私策略。受益于本公开内容的本领域的普通技术人员将理解许多变型、修改和替选实施方式。

参考外围装置1830(1)和/或外围装置1830(2至n)可以包括用于与交互式内容交互的一个或更多个控件，一个或更多个控件包括但不限于深度轮、触摸传感器、按钮/开关、空中使用等，一个或更多个控件可以取决于用户正在交互的区来自适应地改变它们的功能。例如，响应于用户将他们的注视从区1移动到区3(例如，由HMD检测)，光标可以从区1急速移动至区3，并且基于配置在其上的内容的类型(例如，交互式媒体、仅观看媒体等)改变一个或更多个控制功能(例如，分配给按钮、滚轮等的功能)。

在某些实施方式中，在区域之间移动时，内容可以改变。例如，在移动到区3时，在区2中显示的可以是可配置且可交互的内容可以变成仅可观看。

“粘性”区和扩展/折叠区以及在AWE中

图20示出了根据某些实施方式的如何相对于参考外围装置跟踪内容区。如上所述，AWE中的每个区可以被布置在任何合适的位置处，并且可以被配置成相对于参考外围装置跨越3D空间内的任何合适的区域或体积。在一些情况下，随着参考外围装置在真实3D空间中移动，区和对应的视觉内容可以相对于参考外围装置相应地移动。也就是说，每个区可以被固定为所设置的相对于参考外围装置的空间关系，使得参考外围装置以及在区1至区3中呈现的一个或更多个显示器看起来作为单个互连系统移动。然而，一些实施方式可以采用“粘性”空间关系，其通常跟踪参考外围装置的移动，但不一定针对每种类型的移动。也就是说，代替直接跟踪外围装置，可以存在外围装置可以移动而某些内容不会按比例移动的阈值区域/距离。例如，当相应的参考外围装置的移动低于阈值距离(例如30cm半径)时，被配置在区3中的消费显示器可以保持不动，而不是如上所述以固定布置移动。在另一示例中，用户可能想要将参考外围装置移开，以在用户正前方的表面上创建开放空间以用作(例如，经由触控笔)在其上进行触摸或书写的交互式表面。

参照图20，窗口A示出了具有区2中的交互式坞站以及在区3中呈现的三个虚拟显示器的AWE。当参考外围装置在阈值距离内(例如，在体积区域内)移动时，区3中的显示器保持不动。当用户可能将他们的外围装置重新放置在桌子上、他们的膝盖上的更好的位置时，这可能是有用的，其中参考外围装置移动以在有限空间中容纳更多外围装置等。如受益于本公开的本领域的普通技术人员将理解的，区1至区3中的任何区(以及共享区，例如，区4)可以被配置成与参考外围装置具有“粘性”空间关系。

在一些实施方式中，可以存储被配置在区1至区3中的任何区上的一个或更多个显示器的状态并将所述一个或更多个显示器折叠成更紧凑的布置。当用户将参考外围装置从一个位置移动到下一个位置但不一定想要关闭AWE或者用户可能被限制在较小的距离且不能扩展并且多个显示器超出有限区域时，这可能是有用的。例如，参照图21，窗口A示出了具有区2中的交互式坞站以及在区3中呈现的三个虚拟显示器的AWE。响应于参考外围装置被抬起，显示器可以折叠成交互式堆叠，如窗口B所示。相比之下，当参考外围装置移回合适尺寸的表面(或其他认可的位置)时，显示器可以扩展回其原始保存的配置。可以使用任何合适的触发来引起AWE的扩展和/或折叠，任何合适的触发包括抬起参考外围装置、在AWE内选择“折叠/扩展”功能或其他方法。此外，可以根据偏好来配置和定制来自任何区的任何折叠屏幕的布置。一些实施方式可以使一个或更多个呈现的显示器折叠到比图21中所示的区域更大或更小的区域。多个显示器可以被折叠的程度还可以取决于检测到的物理环境(例如，壁、障碍物、其他人/装置的位置等)。在一些情况下，折叠的显示器仍然可以被访问。例如，当折叠时，最初被配置在区3中的显示器可以移动得更靠近用户以便于访问，因此用户可以在显示器之间翻转(例如，经由合适的手势，例如滑动)、与内容交互等。受益于本公开内容的本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

图22是示出根据某些实施方式的用于操作增强工作站环境的方法2200的各方面的简化流程图。方法2200可以由处理逻辑来执行，该处理逻辑可以包括硬件(电路、专用逻辑等)、在适当硬件(例如，通用计算系统或专用机器)上操作的软件、固件(嵌入式软件)或其任何组合。在某些实施方式中，方法2200可以通过计算机1810、参考外围装置1830(1)、显示系统1820或其组合的各方面来执行。

根据某些实施方式，在步骤2210处，方法2200可以包括确定物理外围输入装置(例如，参考外围装置)在物理环境内的位置。可以使用传感器系统1840的任何资源来确定参考外围装置的位置，传感器系统1840可以包括参考外围装置1830(1)、显示系统1820、计算机1810或其任何组合的一个或更多个传感器。

在步骤2220处，方法2200可以包括基于参考外围装置在物理环境内的位置来确定要向参考外围装置的用户呈现的显示器的方向，其中经由呈现的显示器呈现给用户的内容可以由用户经由参考外围装置进行修改。显示器的方向可以指呈现的显示器相对于参考外围装置所面向的方向、显示器相对于参考外围装置所配置的距离或其组合。

根据某些实施方式，在步骤2230处，方法2200可以包括确定呈现的显示器的类型。例如，显示器可以被配置成用于观看内容(例如，区3)、交互式内容(例如，区1至区2)等。在某些情况下，显示器的类型可能会影响显示器的方向/位置。

根据某些实施方式，在步骤2240处，方法2200可以包括确定呈现的显示器的空间关系的类型。例如，空间关系可以是固定的(例如，当参考外围装置移动时，显示器相对于参考外围装置的距离不会改变)，或者可以采用针对大于阈值(30cm)的移动相对于参考外围装置移动的“粘性”显示器。如本领域的普通技术人员将理解的，可以使用任何合适的阈值(例如，1cm至5m)。在一些实施方式中，参考外围装置可以是键盘、集线器(如下面进一步描述的)或其他合适的物理外围输入装置。

应该理解的是，图22中所示的具体步骤提供了根据某些实施方式的用于操作增强的工作站环境的特定方法2200。根据替选实施方式，还可以执行其他步骤序列。此外，可以根据特定应用来添加或移除另外的步骤。例如，一些实施方式可以仅包括方法步骤2210至2220。可以使用任何改变的组合，并且受益于本公开内容的本领域的普通技术人员将理解其许多变型、修改以及替选实施方式。

图23是示出根据某些实施方式的用于在增强的工作站环境中操作外围装置(例如，参考外围装置)的方法2300的各方面的简化流程图。方法2300可以由处理逻辑来执行，该处理逻辑可以包括硬件(电路、专用逻辑等)、在适当硬件(例如，通用计算系统或专用机器)上操作的软件、固件(嵌入式软件)或其任何组合。在某些实施方式中，方法2300可以通过计算机1810、参考外围装置1830(1)、显示系统1820或其组合的各方面来执行。

根据某些实施方式，在步骤2310处，方法2300可以包括从一个或更多个传感器(例如，来自传感器系统1840的任何传感器)接收轮询数据。轮询数据可以对应于参考外围装置周围的物理环境的物理特性。例如，轮询数据可以指示壁、障碍物、其他外围装置、其他用户和/或对象相对于参考外围装置所位于的位置。

在步骤2320处，方法2300可以包括基于物理特性确定要在物理环境内相对于参考外围装置定向虚拟显示器的区域。例如，在具有近壁或有限空间的区域中，与具有大量空间的扩展区域相比，虚拟显示器可以更靠近用户地显示并且覆盖相对小的区域。在一些实施方式中，虚拟显示器可以被配置在区3内。

根据某些实施方式，在步骤2330处，方法2300可以包括确定参考外围装置与投影的虚拟显示器之间的空间关系。例如，空间关系可以对应于参考外围装置与虚拟显示器之间的固定位置关系。

在步骤2340处，方法2300可以包括生成控制数据，该控制数据被配置成使基于AR/VR的头戴式显示器(HMD)在外围装置在物理环境内移动时在所确定的区域中以所保持的外围装置与投影的虚拟显示器之间的空间关系投影虚拟显示器，如上面参照图18至图22进一步描述的。

在一些实施方式中，方法2300可以包括检测外围装置被放置在表面上或者由用户接口，其中从一个或更多个传感器接收轮询数据可以响应于检测到外围装置被放置在表面上或者由用户接口而发生。在一些情况下，方法2300可以包括确定外围装置被抬离表面，并且生成第二控制数据以使HMD改变外围装置与投影的虚拟显示器之间的空间关系，使得外围装置和投影的虚拟显示器占用的体积区域减少。例如，如上面关于图19至图21进一步描述的，这可以对应于区1和/或区2。方法2300还可以包括确定相对于参考外围装置要定向虚拟交互式显示器的第二区域，其中交互式显示器被配置成有助于参考外围装置的功能能力的增强。在一些情况下，方法2300还包括确定外围装置与投影的交互式显示器之间的空间关系，其中控制数据还被配置成使HMD在所确定的第二区域中并且以在外围装置在物理环境中移动时所保持的外围装置与投影的交互式显示器之间的空间关系来投影交互式显示器。

在一些实施方式中，控制数据可以使外围装置与虚拟显示器之间的空间关系得以保持，使得外围装置从外围装置的初始位置的在阈值距离内的移动不会使虚拟显示器移动。控制数据还可以使外围装置与虚拟显示器之间的空间关系得以保持，使得外围装置从外围装置的初始位置的大于阈值距离的移动使外围装置与投影的交互式显示器之间的空间关系是固定的，其中在外围装置在物理环境中移动时外围装置与投影的交互式显示器之间的空间关系是固定的。

在其他实施方式中，方法2300可以包括确定参考外围装置上的第三区域，以(例如，在区1上)定向虚拟覆盖层，其中虚拟覆盖层可以被配置成进一步有助于外围装置的功能能力的增强。方法2300还可以包括确定外围装置与投影的虚拟覆盖层之间的空间关系，其中控制数据还被配置成使HMD在所确定的第三区域中并且以在外围装置在物理环境中移动时所保持的外围装置与投影的交互式显示器之间的空间关系，来投影虚拟覆盖层。

应该理解的是，图23中所示的具体步骤提供了根据某些实施方式的用于操作增强的工作站环境的特定方法2300。根据替选实施方式，还可以执行其他步骤序列。此外，可以根据特定应用来添加或移除另外的步骤。可以使用任何改变的组合，并且受益于本公开内容的本领域的普通技术人员将理解其许多变型、修改以及替选实施方式。

使用参考集线器的以外围装置为中心的增强工作站环境

在一些实施方式中，如图24的系统2400中所示的，参考集线器(“集线器”)2450可以被配置在AWE 2400内以与外围输入装置2430(1至n)、显示系统2420、计算机2410和传感器系统2440交互。如参照图18所示出和描述的，计算机2410、显示系统2420、传感器系统2440和外围装置2430(1至n)中的每一个可以与它们的匹配对应物类似地操作。如上所指示的，传感器系统2440可以是利用显示系统2420、外围装置2430(1至n)和集线器2450的感测能力的传感器系统的组合。集线器2450可以执行以下功能中的一些或全部，所述功能包括使用独立跟踪系统跟踪外围装置2430(1至n)中的一些或全部在物理环境中的位置；提供增强的感测能力以用于对使用外围装置2430(1至n)的交互进行高保真度感测/跟踪；作为单个通信通道进行操作以用于从外围装置2430(1至n)中的一些或全部接收数据通信；以及将所述数据中继到计算机1420、显示系统2420或两者。相比之下，集线器2450可以作为单个数据通道进行操作，以将通信/控制信号从计算机2410和/或显示系统2420中继到一个或更多个外围装置2430(1至n)。此外，类似于上面参照图18至图13所描述的参考外围装置，集线器2450可以被配置成使用板载传感器阵列检测一个或更多个外围装置周围的区域，以在增强的工作站环境中建立用于内容布置的区域。下面进一步描述这些功能中的每一个。应当理解的是，除了本文中描述的包括集线器2450及其相应功能之外，计算机2410、显示系统2420、传感器系统2440和外围装置2430(1至n)可以类似于上面关于图18所描述的进行操作，并且替选地，受益于本公开内容的本领域的普通技术人员将理解其许多变型、修改和替选实施方式。

在一些实施方式中，如本领域的普通技术人员将理解的，显示系统2420(例如，HMD、全息成像系统、增强现实显示器等)可以使用第一跟踪系统跟踪其位置。集线器2450可以包含第二独立跟踪系统(例如，视觉跟踪、IR、超声、EM等)以跟踪外围装置2430(1至n)中的一些或全部在物理环境中相对于集线器2450的位置。在一些情况下，集线器2450可以作为参考原点(例如，基于笛卡尔坐标的系统中的000位置)进行操作，以使用第二跟踪系统跟踪外围装置2430。使用集线器2450的第二跟踪系统跟踪的外围装置2430(1至n)的位置可以与显示系统2420/计算机2410的第一跟踪系统组合(例如，融合)。替选地或另外地，集线器2450可以使用板载感测资源跟踪其自己的位置，其位置可以被中继并且与第一跟踪系统组合。在一些情况下，集线器2450可以包括用于通过第一跟踪系统检测集线器的位置的特征(例如，传感器、LED、基准标记)。使用两个跟踪系统有一些优点。例如，第一跟踪系统可能在精度或处理带宽方面受到限制，使得跟踪多个外围装置可能产生较差的跟踪结果和/或可能减慢系统操作，并且第一跟踪系统可能不可访问或不可进行操纵(例如，第三方HMD单元)，以本文描述的方式跟踪外围装置。在下面描述的实现中进一步提出使用第二跟踪系统的其他优点。

在一些实施方式中，集线器2450可以提供增强的感测能力以用于高保真度感测和/或跟踪使用外围装置2430(1至n)的交互。高保真度感测的一些示例可以包括用户的手或手指沿着触摸板或其他感测区域的精细精确移动、触控笔在外围装置上或附近的移动等。例如，邻近外围装置的小体积区域(例如，参见上面的“区2”描述)可以包括能够以高保真度检测手或触控笔的移动和接合的感测区域。该能力可能不存在于标准的显示系统感测套件(第一跟踪系统)中，特别是对于物理环境中的指定区域通常不具有高保真度。因此，可以由一个或更多个外围装置2430和/或集线器2450使用第二跟踪/传感器系统(例如，以集线器2450作为中心参考)执行高精度跟踪/感测，该第二跟踪/传感系统可以被中继到显示系统2420的第一跟踪系统并与显示系统2420的第一跟踪系统集成。

在某些实施方式中，如上面描述的，集线器2450可以作为单个通信通道进行操作，用于从外围装置2430(1至n)中的一些或全部接收数据通信并将所述数据中继到计算机1420、显示系统2420或两者，并且反之亦然。集线器2450可以使用单独的通信链路(例如，Wi-Fi、IR、ZigBee、Z-Wave、RF等)与外围装置(1至n)中的每一个交互(例如，通信、向/从其传输数据、共享传感器数据/跟踪数据等)，并使用单个通信链路将来自外围装置2430的信息合并到显示系统2420。因此，可以显著节省处理带宽，因为显示系统2420可以与一个实体(集线器2450)通信而不是独立地与多个外围装置2430通信。在一些实现方式中，集线器2450可以向显示系统2420提供每个外围装置的性能，所述性能包括外围装置的类型(例如，键盘、鼠标、触控笔)、视觉表示信息(例如，可以如何呈现外围装置或外围装置的增强性能)等。也就是说，集线器2450可以使用与外围装置的图像对应的预呈现数据针对每个外围装置提供呈现信息，然后该呈现信息可以被提供给显示系统2420并由显示系统2420导入而无需进一步处理。

在一些实施方式中，集线器2450可以是独立单元，或者是包括外围装置(例如，键盘、鼠标、触控笔)、智能装置(例如，电话、手表)、专用迷你“塔”等的其他装置的一部分。集线器2450可以跨不同平台(例如，HMD、电话、PC)工作，其不可知、适应各种平台或者在平台之间调解和交换数据。集线器2450可以被配置成与各种操作系统通信，各种操作系统包括但不限于Windows^TM、Android、IOS、MS-DOS、MacOS、Unix、Linux等。在一些情况下，可以使用多个集线器一起来提高跟踪精度。

在某些实现方式中，集线器2450可以作为参考点进行操作以检测物理环境的物理特性并且确定限定操作“区”的位置，类似于如上面参照图19至图24进一步讨论的参考外围装置。在这样的情况下，可以使用集线器2450或其他外围装置上的照明来突出显示区，以指示外围装置何时被放置或未被放置在跟踪区中(例如，如上面描述的高精度感测区域)。在一些情况下，集线器2450可以输出外围装置是否在用户的指定区或轮廓区中的标记(例如，在区域1周围投影框等)。此外，集线器2450可以被配置成检测和定位外围输入装置，并且基于检测到的外围装置，在检测到的外围装置2430(1至n)与显示系统2420和/或计算机2420之间中继相应的数据。集线器2450可以进行操作来以比由显示系统2420提供的精度更高的精度确定其位置(从显示系统2420或板载感测资源检测到)和其他外围装置或与所述外围装置的交互。在一些情况下，集线器2450可以包括：收发器，其被配置成与用于向用户呈现虚拟现实或增强现实虚拟现实环境的显示系统进行通信；跟踪子系统，其被配置成感测物理外围输入装置在物理环境内的位置；以及耦接至收发器和跟踪子系统的一个或更多个处理器，一个或更多个处理器被配置成经由跟踪子系统确定物理外围输入装置在物理环境内的位置，并且经由收发器向显示系统发送物理外围输入装置在物理环境内的位置。在一些情况下，跟踪子系统可以使用与由显示系统使用以跟踪用户或用户穿戴的头戴式显示器(HMD)的位置的技术不同的技术来感测物理外围输入装置的位置。由跟踪子系统使用以跟踪物理外围输入装置的技术和由显示系统使用以跟踪用户或HMD的位置的技术每一个均可以选自包括以下内容的列表：超声发射器；超声接收器；可见光光学传感器；可见光光学发射器；不可见光光学传感器；不可见光光学发射器；磁场发生器；磁场传感器；无线电波发射器；以及无线电波接收器。在一些情况下，集线器装置还可以包括用于通过用于跟踪用户或用户穿戴的头戴式显示器(MHD)的位置的系统来确定装置在物理环境内的位置的特征。特征可以选自包括以下内容的列表：例如，传感器、发射器和标记。传感器可以被配置成检测或者发射器被配置成发射：可见光、红外光、超声波、磁场或无线电波。

图25是示出根据某些实施方式的用于操作集线器以与AR/VR工作站环境内的一个或更多个外围装置交互的方法2500的各方面的简化流程图。方法2500可以通过处理逻辑来执行，该处理逻辑可以包括硬件(电路、专用逻辑等)、在适当硬件(例如，通用计算系统或专用机器)上操作的软件、固件(嵌入式软件)或其任何组合。在某些实施方式中，方法2500可以通过集线器2450、计算机2410、显示系统1820或其组合的各方面来执行。

在步骤2510处，方法2500可以包括在物理环境内检测物理外围装置。例如，集线器2450可以被配置成检测外围装置2430(1至n)。如受益于本公开内容的本领域普通的技术人员将理解的，检测可以包括经由传感器(例如，基于视觉的检测)、通信(例如IR)或确定外围装置的存在的其他合适方法来确定外围装置的存在。

在步骤2520处，方法2500可以包括确定物理外围装置在物理环境内的位置。例如，这可以通过集线器2450使用上面关于图24描述的并且被识别为独立的第二跟踪系统的传感器能力来执行，以跟踪外围装置并提供位置数据、外围装置功能数据、外围装置视觉表示数据等。

在步骤2530处，方法2500可以包括建立与物理外围装置和基于AR/VR的显示器的通信耦合，以及从物理外围装置和基于AR/VR的显示器接收数据。也就是说，集线器2450可以使用单独的通信链路(例如，Wi-Fi、IR、ZigBee、Z-Wave、RF等)与外围装置(1至n)中的每一个进行交互(例如，通信、向/从其传输数据、共享传感器/跟踪数据等)，并且经由集线器2450使用单个通信路径将来自外围装置2430的信息合并到显示系统2420(例如，HMD、全息成像系统、AR/VR显示系统等)，以利于接收数据在物理外围装置与基于AR/VR的显示器之间的传输(步骤2540)。

在步骤2550处，方法2500可以包括基于所确定的物理外围装置的位置确定要在物理环境内相对于物理外围装置定向虚拟显示器的区域。在一些情况下，确定区域可以对应于上面关于图18至图23描述的“区”。

在步骤2560处，方法2500可以包括集线器2450生成控制数据，该控制数据被配置成使基于AR/VR的显示器在所确定的区域(例如，区1、区2、区3、区4等)中投影虚拟显示器。在一些情况下，控制数据还可以被配置成：使基于AR/VR的显示器在物理外围装置在物理环境内移动时，保持物理外围装置与投影的虚拟显示器之间的空间关系。

方法2500还可以包括从一个或更多个传感器接收轮询数据，其中轮询数据对应于物理外围装置周围的物理环境的物理特性，并且其中还可以基于物理环境的物理特性确定要定向虚拟显示器的区域。在一些情况下，可以使用第一跟踪系统跟踪基于AR/VR的显示器的头戴式显示器(HMD)和集线器的移动和位置，并且可以确定使用第二跟踪系统经由集线器跟踪的物理外围装置在物理环境内的位置，使得方法2500还可以包括将与所确定的物理外围装置在物理环境内的位置对应的数据提供给HMD，其中所提供的数据可以被配置成使经由第二跟踪系统进行的跟踪与经由第一跟踪系统进行的跟踪整合。

在一些实施方式中，方法2500还可以包括：在物理环境内检测第二物理外围装置；确定第二物理外围装置在物理环境内的位置；建立与第二物理外围装置的通信耦合以及从第二物理外围装置接收数据；以及将从第一物理外围装置和第二物理外围装置接收的数据合并成聚合外围装置数据，

其中，可以经由集线器将聚合外围装置数据传输到基于AR/VR的显示器，而不是传输从第一物理外围装置和第二物理外围装置中的每一个接收的单个数据。在一些实施方式中，集线器可以是独立单元，或者可以与键盘、智能装置、可穿戴装置或迷你塔装置等中的一个集成。

应该理解的是，图25中所示的具体步骤提供了根据某些实施方式的用于操作集线器以与AR/VR工作站环境内的一个或更多个外围装置交互的特定方法2500。根据替选实施方式，还可以执行其他步骤序列。此外，可以根据特定应用来添加或移除另外的步骤。可以使用任何改变的组合，并且受益于本公开内容的本领域的普通技术人员将理解其许多变型、修改以及替选实施方式。

应当理解的是，任何公开的方法(或相应的设备、程序、数据载体等)可以由主机或客户端执行，这取决于具体实现(即，所公开的方法/设备是通信的一种形式，并且因此可以从任一“观点”执行，即，以彼此对应的方式执行)。

如本说明书中所使用的，任何使用“A、B或C中的至少一个”的表达和表达“A、B和C中的至少一个”使用连词“或”和连词“和”，使得这些表达包括A、B、C的任何和所有结合和多种排列，即单独的A、单独的B、单独的C、任何顺序的A和B、任何顺序的A和C、任何顺序的B和C和任何顺序的A、B、C。在这样的表达中使用多于或少于三个的特征。

在权利要求中，置于括号内的任何附图标记不应被解释为限制权利要求。词语“包括”不排除存在权利要求中列出的要素或步骤以外的其他要素或步骤。此外，如本文中使用的，术语“一”或“一个”被定义为一个或多于一个。另外，即使当相同的权利要求包括介绍性短语“一个或更多个”或“至少一个”以及不定冠词如“一”或“一个”时，在权利要求中使用介绍性短语例如“至少一个”和“一个或更多个”也不应被解释为暗示由不定冠词“一”或“一个”介绍的另一权利要求元素将包含这样介绍的权利要求要素的任何特定权利要求限制于仅包含一个这样的要素的发明。这同样适用于对定冠词的使用。除非另有说明，否则使用例如“第一”和“第二”的术语来在这样的术语描述的要素之间进行任意地区分。因此，这些术语不一定指示指示这样的要素的时间或其他优先级。事实上，在相互不同的权利要求中叙述某些措施不指示这些措施的组合不能有益地使用。

除非另有明确说明为不兼容，或实施方式的物理或其他，示例或权利要求防止这样的组合，否则前述实施方式和示例的特征以及所附权利要求的特征可以以任何合适的布置集成在一起，特别是存在这样做的有益效果的特征。这不仅限于任何指定的益处，而是可能来自“事后”的预测。这就是说，特征的组合不受所描述的形式的限制，特别是示例、实施方式或权利要求的从属的形式(例如，编号)。此外，这也适用于短语“在一个实施方式中”、“根据实施方式”等，其仅仅是文字形式的措辞，并且不应被解释为将以下特征限制为与相同或相似措辞的所有其他实例分开的实施方式。也就是说，对“一个”、“一种”或“一些”实施方式的引用可以是对所公开的任何一个或更多个，和/或所有实施方式或其组合的引用。此外，类似地，对“该”实施方式的引用可以不限于前一实施方式。

本说明书中的某些附图是说明方法和系统的流程图。应当理解的是，这些流程图的每个块以及这些流程图中的块的组合可以由计算机程序指令实现。可以将这些计算机程序指令加载到计算机或其他可编程设备上以产生机器，使得在计算机或其他可编程装置上执行的指令创建用于实现流程图块或块中指定的功能的结构。这些计算机程序指令还可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程设备以特定方式起作用，使得存储在计算机可读存储器中的指令产生包括指令结构的制品，该指令结构实现流程图块或块中指定的功能。计算机程序指令也可以加载到计算机或其他可编程设备上，以使得在计算机或其他可编程设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机或其他可编程设备上执行的指令提供了用于实现流程图块或块中指定的功能的步骤。因此，流程图的块支持用于执行指定功能的结构的组合以及用于执行指定功能的步骤的组合。还将理解的是，流程图的每个块以及流程图中的块的组合可以由执行特定功能或步骤的基于硬件的专用计算机系统或专用硬件和计算机指令的组合来实现。

例如，可以使用任何数量的计算机编程语言，例如，C、C++、C#(CSharp)、Perl、Ada、Python、Pascal、SmallTalk、FORTRAN、汇编语言等来实现机器指令。此外，取决于每个特定实现的需求，可以采用各种编程方法，例如，程序、面向对象或人工智能技术。由计算机系统执行的编译器程序和/或虚拟机程序通常转换更高级编程语言以生成可由一个或更多个处理器执行机器指令集，以执行编程功能或功能集。

一个或更多个实现方式的前述描述提供了说明和描述，但并不旨在穷举或将本发明的范围限制为所公开的确切形式。根据以上教导，修改和变型是可行的，或者可以根据本公开内容的各种实现方式的实践获得修改和变型。

Claims (99)

1.一种操作虚拟工作站的方法，所述方法包括：

确定物理外围输入装置在物理环境内的位置；以及

基于所述物理外围输入装置在物理环境内的位置，确定要向所述物理外围装置的用户呈现的第一虚拟显示器的方向，其中，能够响应于所述用户操作所述物理外围输入装置来修改经由所呈现的第一虚拟显示器展示给用户的内容。

2.根据权利要求1所述的方法，其中，所确定的要呈现的第一虚拟显示器的方向能够被配置成：当所述物理外围输入装置在物理环境内移动时，相对于所述物理外围输入装置保持固定的、感知到的空间关系。

3.根据权利要求2所述的方法，其中，所确定的要呈现的第一虚拟显示器的方向被配置成：当所述物理外围输入装置在物理环境内移动时，响应于所述物理输入装置从初始位置的移动大于阈值距离，相对于所述物理外围输入装置保持固定的、感知到的空间关系，并且其中，所确定的要呈现的第一虚拟显示器的方向被配置成：响应于所述物理输入装置从初始位置的移动小于所述阈值距离，保持在原位。

4.根据权利要求1所述的方法，还包括：

基于所述物理外围输入装置在物理环境内的位置，确定要向所述物理外围装置的用户呈现的交互式虚拟显示器的方向，

其中，所述用户能够选择经由所呈现的交互式虚拟显示器展示给用户的内容，以修改与所述用户对所述物理外围输入装置的使用对应的操作，并且

其中，所述交互式虚拟显示器被呈现为对于所述用户而言看起来靠近所述物理外围装置。

5.根据权利要求4所述的方法，其中，与所述用户对所述物理外围输入装置的使用对应的操作包括：

改变与所述物理外围输入装置的输入元件的致动对应的命令；

改变所述物理外围输入装置的外观、所述物理外围输入装置的输入元件的外观；以及/或者

改变一个或更多个所呈现的虚拟显示器与所述物理外围输入装置之间的关系。

6.根据权利要求5所述的方法，其中，所述一个或更多个所呈现的虚拟显示器与所述物理外围输入装置之间的关系包括：

选择所述一个或更多个所呈现的虚拟显示器中的哪些虚拟显示器包括能够响应于所述用户操作所述物理外围输入装置而进行修改的内容；

选择所述一个或更多个所呈现的虚拟显示器中的哪些虚拟显示器相对于所述物理外围输入装置被固定在适当的位置；以及/或者

选择所述一个或更多个所呈现的虚拟显示器中的一个虚拟显示器如何相对于所述物理外围输入装置被固定在适当的位置，其包括：

在所述一个或更多个所呈现的虚拟显示器中的所述一个虚拟显示器响应于所述物理外围输入装置正在移动而移动之前，所述物理外围输入装置能够移动的阈值距离；或者

所述一个或更多个所呈现的虚拟显示器是否响应于所述物理外围输入装置正在移动而移动。

7.根据权利要求4所述的方法，其中，所述交互式虚拟显示器的方向被呈现为对于所述用户而言看起来处于被集成在所述物理外围输入装置之上或在其周围内的位置处。

8.根据权利要求7所述的方法，其中，所述交互式虚拟显示器被呈现为对于所述用户而言看起来位于所述物理外围输入装置的包括补充由所述交互式虚拟显示器提供的功能的特征的区域上。

9.根据权利要求8所述的方法，其中，所述特征包括由集成在所述物理外围输入装置内的触觉反馈生成器生成的触觉反馈，以响应于与所述交互式虚拟显示器的用户交互来提供触觉反馈。

10.根据权利要求8所述的方法，其中，所述特征包括物理输入元件，并且其中，所述交互式虚拟显示器的内容被呈现为对于所述用户而言看起来能够由所述用户通过对所述物理输入元件的致动来进行选择。

11.根据权利要求4所述的方法，其中，所述交互式虚拟显示器被呈现为对于所述用户而言看起来位于靠近所述物理外围输入装置的区域中，并且其中，所述内容被确定为由所述用户通过所述物理外围输入装置的传感器在无需物理地接触所述物理外围输入装置的情况下来选择。

12.根据权利要求4所述的方法，还包括：

确定第二物理外围输入装置在物理环境内的位置；以及

基于所述第二物理外围输入装置在物理环境内的位置，确定要向所述第二物理外围装置的用户呈现的第二交互式虚拟显示器的方向，

其中，所述第二物理外围输入装置的用户能够选择经由所呈现的显示器展示给所述用户的内容，以修改所述第二物理外围输入装置的用户对所述第二物理外围输入装置的使用的操作，并且

其中，所述第二交互式虚拟显示器被呈现为对于所述第二物理外围输入装置的用户而言看起来靠近所述第二物理外围输入装置。

13.根据权利要求4所述的方法，其中，所述交互式虚拟显示器被呈现为对于所述用户而言看起来处于至少部分地基于所述用户的生物力学模型确定的空间位置处，以使所述用户能够利用附加物到达所述交互式显示器。

14.根据权利要求1所述的方法，还包括：

生成控制数据以使头戴式显示器装置呈现所述第一虚拟显示器。

15.根据权利要求1所述的方法，其中，所述物理外围输入装置是计算机键盘。

16.根据权利要求1所述的方法，其中，所述第一虚拟显示器的方向还基于所述物理外围输入装置所位于的环境的物理特性来确定。

17.根据权利要求16所述的方法，其中，所述物理特性包括将会阻挡所述用户的视线的障碍物。

18.根据权利要求16所述的方法，其中，所述物理特性部分地由所述物理外围输入装置的传感器来确定。

19.根据权利要求1所述的方法，其中，响应于对所述物理外围输入装置的物理输入元件的致动来呈现所述第一虚拟显示器。

20.根据权利要求1所述的方法，其中，响应于确定所述用户靠近所述物理外围输入装置来呈现所述第一虚拟显示器。

21.根据权利要求1所述的方法，其中，响应于所述物理外围输入装置被放置在工作表面上来呈现所述第一虚拟显示器。

22.根据权利要求21所述的方法，其中，基于附接至所述物理外围输入装置的传感器的读数确定所述物理外围输入装置被放置在工作表面上。

23.根据权利要求1所述的方法，其中，响应于确定所述物理外围输入装置处于指示所述用户正在操作所述物理外围装置的第一状态，以第一方向呈现所述第一虚拟显示器，使得所述第一虚拟显示器对于所述用户而言看起来相对于所述物理外围输入装置处于第一空间方向上；并且

响应于确定所述物理外围输入装置未处于所述第一状态，不以所述第一方向呈现所述第一虚拟显示器。

24.根据权利要求23所述的方法，其中，响应于确定所述物理外围输入装置未处于所述第一状态，所述第一虚拟显示器处于第二方向，使得所述第一虚拟显示器对于所述用户而言看起来相对于所述物理外围输入装置处于第二空间方向上。

25.根据权利要求24所述的方法，其中，响应于确定所述物理外围输入装置处于所述第一状态，以所述第一方向自动呈现第一虚拟显示器。

26.根据权利要求1所述的方法，其中，所述物理外围输入装置包括用于通过跟踪系统确定所述物理外围输入装置在物理环境内的位置的特征；并且

其中，所述跟踪系统用于确定用于呈现所述第一虚拟显示器的物理显示器的方向。

27.根据权利要求26所述的方法，其中，所述特征选自包括以下各项的列表：

传感器；

发射器；以及

标记。

28.根据权利要求27所述的方法，其中，传感器被配置成检测可见光、红外光、超声波、磁场或无线电波，或者所述发射器被配置成发射可见光、红外光、超声波、磁场或无线电波。

29.根据权利要求27所述的方法，其中，所述物理外围输入装置包括使得能够通过多种跟踪技术中的任何一种在物理环境内跟踪所述物理外围输入装置的多个特征。

30.根据权利要求1所述的方法，其中，所述物理外围输入装置包括惯性测量单元(IMU)，并且其中，使用所述IMU来确定所述物理外围输入装置在物理环境内的位置。

31.根据权利要求1所述的方法，其中，基于所述物理外围输入装置的用户的所确定的身份来确定所述第一虚拟显示器的方向，并且其中，将针对识别的不同用户不同地呈现所述第一虚拟显示器的方向。

32.一种操作外围装置的方法，所述方法包括：

从一个或更多个传感器接收轮询数据，所述轮询数据对应于所述外围装置周围的物理环境的物理特性；

基于所述物理特性确定要在物理环境内相对于所述外围装置定向虚拟显示器的区域；

确定所述外围装置与投影的虚拟显示器之间的空间关系；以及

生成控制数据，所述控制数据被配置成使基于AR/VR的头戴式显示器(HMD)在所述外围装置在物理环境内移动时在所确定的区域中以所述外围装置与投影的虚拟显示器之间的所保持的空间关系投影所述虚拟显示器。

33.根据权利要求32所述的方法，还包括：

检测所述外围装置被放置在表面上或由用户接口，

其中，响应于检测到所述外围装置被放置在所述表面上或由所述用户接口而发生从一个或更多个传感器接收轮询数据。

34.根据权利要求33所述的方法，还包括：

确定所述外围装置被抬离所述表面；

生成第二控制数据，以使所述HMD改变所述外围装置与投影的虚拟显示器之间的空间关系，使得由所述外围装置和投影的虚拟显示器占据的体积区域减小。

35.根据权利要求32所述的方法，还包括：

确定相对于所述外围装置定向虚拟交互式显示器的第二区域，其中，所述交互式显示器被配置成利于所述外围装置的功能能力的增强；以及

确定所述外围装置与投影的交互式显示器之间的空间关系，

其中，所述控制数据还被配置成使所述HMD在所述外围装置在物理环境内移动时在所确定的第二区域中以所述外围装置与投影的交互式显示器之间的所保持的空间关系投影所述交互式显示器。

36.根据权利要求35所述的方法，其中，所述控制数据使所述外围装置与所述虚拟显示器之间的空间关系被保持，使得：

所述外围装置从所述外围装置的初始位置的、在阈值距离内的移动不会使所述虚拟显示器移动；以及

所述外围装置从所述外围装置的所述初始位置的、大于所述阈值距离的移动使所述外围装置与投影的交互式显示器之间的空间关系固定，

当所述外围装置在物理环境内移动时，所述外围装置与投影的交互式显示器之间的空间关系是固定的。

37.根据权利要求35所述的方法，还包括：

确定所述外围装置上的要定向虚拟覆盖层的第三区域，其中，所述虚拟覆盖层被配置成进一步利于所述外围装置的功能能力的增强；以及

确定所述外围装置与投影的虚拟覆盖层之间的空间关系，

其中，所述控制数据还被配置成使所述HMD在所述外围装置在物理环境中移动时在所确定的第三区域中以所述外围装置与所投影的交互式显示器之间的所保持的空间关系投影所述虚拟覆盖层。

38.一种集线器装置，其用于对接用于虚拟环境的物理外围装置，包括：

收发器，其被配置成与用于向用户展示虚拟现实或增强现实虚拟现实环境的显示系统通信；

跟踪子系统，其被配置成感测物理外围输入装置在物理环境内的位置；以及

一个或更多个处理器，其耦接至所述收发器和所述跟踪子系统，所述一个或更多个处理器被配置成：

经由所述跟踪子系统确定所述物理外围输入装置在物理环境内的位置；以及

经由所述收发器将所述物理外围输入装置在物理环境内的位置发送到所述显示系统。

39.根据权利要求38所述的集线器装置，其中，所述跟踪子系统使用与由所述显示系统用于跟踪所述用户的位置或由所述用户穿戴的头戴式显示器(HMD)的位置的技术不同的技术来感测所述物理外围输入装置的位置。

40.根据权利要求39所述的集线器装置，其中，由所述跟踪子系统用于跟踪所述物理外围输入装置的技术和由所述显示系统用于跟踪所述用户或所述HMD的位置的技术均选自包括以下各项的列表：

超声发射器；

超声接收器；

可见光光学传感器；

可见光光学发射器；

不可见光光学传感器；

不可见光光学发射器；

磁场发生器；

磁场传感器；

无线电波发射器；以及

无线电波接收器。

41.根据权利要求38所述的集线器装置，还包括：用于通过用于跟踪所述用户的位置或由所述用户穿戴的头戴式显示器(MHD)的位置的系统来确定所述装置在物理环境内的位置的特征。

42.根据权利要求41所述的集线器装置，其中，所述特征选自包括以下各项的列表：

传感器；

发射器；以及

标记。

43.根据权利要求42所述的集线器装置，其中，传感器被配置成检测可见光、红外光、超声波、磁场或无线电波，或者所述发射器被配置成发射可见光、红外光、超声波、磁场或无线电波。

44.根据权利要求38所述的集线器装置，其中，所述一个或更多个处理器被配置成：

经由所述跟踪子系统确定所述物理外围输入装置相对于所述装置的位置；

将所述物理外围输入装置的位置从由所述装置使用的坐标系变换至由所述显示系统使用的坐标系；以及

经由所述收发器将使用所述显示系统的坐标系的所述物理外围输入装置的位置发送至所述显示系统。

45.根据权利要求44所述的集线器装置，其中，由所述显示系统使用的坐标系被用于跟踪所述用户或HMD的位置。

46.根据权利要求44所述的集线器装置，其中，由所述显示系统使用的坐标系被用于跟踪所述用户或HMD的位置。

47.根据权利要求38所述的集线器装置，其中，所述一个或更多个处理器被配置成从所述物理外围输入装置接收与所述外围输入装置的输入元件的致动对应的信号；并且

经由所述收发器将与所述输入元件的致动对应的信号发送至所述显示系统。

48.根据权利要求38所述的集线器装置，其中，所述跟踪子系统被配置成感测多个物理外围输入装置中的每一个在物理环境内的位置；并且

所述一个或更多个处理器被配置成：经由所述跟踪子系统确定所述多个物理外围输入装置中的每一个在物理环境内的位置；并且

经由所述收发器将所述多个物理外围输入装置中的每一个在物理环境内的位置发送到所述显示系统。

49.根据权利要求38所述的集线器装置，还包括存储多个配置文件的存储器，所述多个配置文件中的每一个对应于不同的物理外围输入装置。

50.根据权利要求49所述的集线器装置，其中，所述多个配置文件中的一个配置文件包括用于将从与所述多个配置文件中的所述一个配置文件对应的物理外围输入装置接收的信号转换成能够由所述显示系统解释的信号的信息。

51.根据权利要求50所述的集线器装置，其中，从与所述多个配置文件中的所述一个配置文件对应的物理外围输入装置接收的信号对应于与所述多个配置文件中的所述一个配置文件对应的物理外围输入装置的输入元件的致动。

52.根据权利要求49所述的集线器装置，其中，所述多个配置文件中的一个配置文件包括用于呈现与所述多个配置文件中的所述一个配置文件对应的物理外围输入装置的视觉表示的信息。

53.根据权利要求49所述的集线器装置，其中，所述多个配置文件中的一个配置文件包括指示与所述多个配置文件中的所述一个配置文件对应的物理外围输入装置的特征的信息，其中，所述特征指示所述物理外围输入装置支持增强的虚拟内容的能力。

54.根据权利要求53所述的集线器装置，其中，所述特征指示所述物理外围输入装置的包括物理元件的区域，其中，能够向用户显示增强的虚拟内容，并且其中，所述元件通过向与增强的虚拟内容交互的用户提供物理刺激或者提供用于与增强的虚拟内容交互的触觉输入元件来支持增强的虚拟内容。

55.根据权利要求53所述的集线器装置，其中，在三维空间内确定所述物理外围输入装置的位置。

56.根据权利要求38所述的集线器装置，其中，所述跟踪子系统包括用于确定所述物理外围输入装置的位置的、以下各项中的至少两个：

超声发射器或接收器；

光学传感器或接收器；

磁场发生器或传感器；以及

无线电波发射器或接收器。

57.一种集线器装置，其用于确定与虚拟环境一起使用的虚拟工作站，包括：

收发器，其被配置成与用于向用户展示虚拟现实或增强现实虚拟现实环境的显示系统通信；

一个或更多个传感器，其被配置成检测所述装置附近的物理环境的各方面；以及

一个或更多个处理器，其被配置成：

经由所述一个或更多个传感器确定所述装置附近的物理环境的各方面；

基于所确定的物理环境的各方面，限定用于所述用户与物理外围输入装置和由所述显示系统提供的虚拟显示器进行交互的一个或更多个区；以及

经由所述收发器将指示所述一个或更多个区的信息发送至所述显示系统。

58.根据权利要求57所述的集线器装置，其中，所述一个或更多个传感器包括光学成像器、电磁成像或超声成像器，以检测物理环境的各方面。

59.根据权利要求57所述的集线器装置，其中，所述一个或更多个区包括限定区域的第一区，所述第一区的特征在于：被放置在所述第一区内的物理外围输入装置被用户用于与由所述显示系统呈现的一个或更多个虚拟显示器交互。

60.根据权利要求59所述的集线器装置，其中，基于检测到物理外围输入装置能够被放置在其上的工作表面来确定所述第一区。

61.根据权利要求60所述的集线器装置，其中，所述工作表面包括基本平坦且水平的表面。

62.根据权利要求59所述的集线器装置，其中，基于识别物理外围输入装置在物理环境内的位置来确定所述第一区。

63.根据权利要求59所述的集线器装置，其中，基于识别表面上的一个或更多个基准标记来确定所述第一区。

64.根据权利要求59所述的集线器装置，其中，所述一个或更多个区包括第二区，所述第二区的特征在于：虚拟显示器在位于所述第二区内时能够被用户感知，并且与所述第一区内的物理外围装置的交互能够修改在所述第二区内的所述虚拟显示器上呈现的能够由用户观看的内容。

65.根据权利要求64所述的集线器装置，其中，所述第二区被选择成与在物理环境内检测到的垂直物理边界对准。

66.根据权利要求64所述的集线器装置，其中，所述第二区被限定成与在物理环境内检测到的垂直物理边界对准。

67.根据权利要求64所述的集线器装置，其中，基于在所述第一区内检测到的物理外围装置的类型来限定所述第二区。

68.根据权利要求64所述的集线器装置，其中，所述一个或更多个区包括第三区，所述第三区的特征在于：虚拟显示器上显示的内容在位于所述第三区内时能够被所述用户感知，并且其中，所述用户与所述内容的交互修改位于所述第一区内的物理外围输入装置的操作。

69.根据权利要求68所述的集线器装置，其中，基于在所述第一区内检测到的物理外围输入装置的位置来确定所述第三区的位置。

70.根据权利要求69所述的集线器装置，其中，确定多个第三区，每个第三区对应于相应的外围输入装置。

71.根据权利要求68所述的集线器装置，其中，基于所述用户的生物力学模型确定所述第三区的位置，使得所述位置使所述用户能够使用附加物物理地到达所述第三区。

72.根据权利要求57所述的集线器装置，其中，指示所述一个或更多个区的信息包括所述一个或更多个区的空间坐标。

73.根据权利要求57所述的集线器装置，其中，基于所述集线器装置在物理环境内的位置来确定所述一个或更多个区。

74.根据权利要求57所述的集线器装置，其中，基于多个集线器装置中的每一个的位置来确定所述一个或更多个区，其中，所述集线器装置被包括在所述多个集线器装置中。

75.根据权利要求64所述的集线器装置，其中，所述一个或更多个区包括第四区，所述第四区的特征在于：在所述第四区内显示的内容能够由在增强现实或虚拟现实虚拟现实环境中进行交互的多个用户观看，并且

其中，在所述第二区内显示的内容只能由所述多个用户中的一个用户观看。

76.根据权利要求57所述的集线器装置，其中，所述一个或更多个传感器包括惯性测量单元(IMU)，并且所述一个或更多个处理器被配置成经由所述IMU确定所述集线器装置在物理环境内的位置。

77.一种操作集线器以在AR/VR工作站环境内与一个或更多个外围装置交互的方法，所述方法包括：

在物理环境内检测第一物理外围装置；

确定所述第一物理外围装置在物理环境内的位置；

建立与所述第一物理外围装置和基于AR/VR的显示器的通信耦合，并从所述第一物理外围装置和所述基于AR/VR的显示器接收数据；

促进所接收的数据在所述第一物理外围装置与所述基于AR/VR的显示器之间的传输；

基于所确定的所述第一物理外围装置的位置，确定要在物理环境内相对于所述第一物理外围装置定向虚拟显示器的区域；以及

生成控制数据，所述控制数据被配置成使所述基于AR/VR的显示器在所确定的区域中投影所述虚拟显示器。

78.根据权利要求77所述的方法，其中，所述控制数据还被配置成使所述基于AR/VR的显示器在所述第一物理外围装置在物理环境内移动时保持所述第一物理外围装置与所投影的虚拟显示器之间的空间关系。

79.根据权利要求77所述的方法，还包括：

从一个或更多个传感器接收轮询数据，所述轮询数据对应于所述第一物理外围装置周围的物理环境的物理特性，

其中，还基于所述物理环境的物理特性确定要定向所述虚拟显示器的所述区域。

80.根据权利要求77所述的方法，其中，使用第一跟踪系统跟踪所述基于AR/VR的显示器的头戴式显示器(HMD)和所述集线器的移动和位置，并且其中，经由所述集线器使用第二跟踪系统跟踪确定所述第一物理外围装置在物理环境内的位置，所述方法还包括：

将与所确定的所述第一物理外围装置在物理环境内的位置对应的数据提供给所述HMD，所提供的数据被配置成使经由所述第二跟踪系统进行的跟踪与经由所述第一跟踪系统进行的跟踪整合。

81.根据权利要求77所述的方法，还包括：

在物理环境内检测第二物理外围装置；

确定所述第二物理外围装置在物理环境内的位置；

建立与所述第二物理外围装置的通信耦合，并且从所述第二物理外围装置接收数据；以及

将从所述第一物理外围装置和所述第二物理外围装置接收的数据合并成聚合外围装置数据，

其中，经由所述集线器将所述聚合外围装置数据传输到所述基于AR/VR的显示器，而不是将从所述第一物理外围装置和所述第二物理外围装置中的每一个接收的数据传输到所述基于AR/VR的显示器。

82.根据权利要求77所述的方法，其中，所述集线器与键盘、智能装置、可穿戴装置或独立实体中的一个集成。

83.一种利用计算机与用户进行接口的系统，所述系统包括：

显示器，其被配置成向用户呈现一个或更多个图像以为所述用户实现虚拟现实或增强现实虚拟现实环境；以及

一个或更多个处理器，其耦接到所述显示器，所述一个或更多个处理器被配置成：

引导所述显示器呈现所述一个或更多个图像，以为所述用户实现虚拟现实或增强现实虚拟现实环境；以及

引导所述显示器呈现一个或更多个层，以向所述用户展示物理接口装置在虚拟现实或增强现实虚拟现实环境内的表示，其中所述表示对于所述用户而言看起来处于虚拟现实或增强现实虚拟现实环境内的、与所述物理接口装置的物理空间位置对应的位置处。

84.根据权利要求83所述的系统，其中，展示所述物理接口装置的表示的所述一个或更多个层包括：

输入元件层，其表示所述物理接口装置的一个或更多个输入元件；

标记层，其表示与所述输入元件相关联的一个或更多个标记；

反馈层，其提供对所述一个或更多个输入元件的状态的用户反馈；或者

主体层，其表示所述物理接口装置的主体。

85.根据权利要求83所述的系统，其中，所述一个或更多个层包括表示靠近所述物理接口装置的区域的近端区域层。

86.根据权利要求83所述的系统，其中，所述一个或更多个层包括表示与所述物理接口装置接口的身体部分的身体部分层。

87.根据权利要求83所述的系统，其中，所述一个或更多个层中的一个层被表示为部分透明；并且

其中，一个或更多个部分透明的层被叠加在所述一个或更多个层中的另一层上；或者

所述一个或更多个层中的另一层被叠加在所述一个或更多个部分透明的层上。

88.根据权利要求83所述的系统，其中，所述一个或更多个层包括表示与所述物理接口装置有关的对象的深度的特征。

89.根据权利要求83所述的系统，其中，响应于触发而呈现所述一个或更多个层或者在呈现所述一个或更多个层的过程中进行改变，所述触发包括以下中的一个或更多个：

所述物理接口装置的配置；

所述物理接口装置的布置；

对与所述系统相关联的物理对象的检测；

与所述系统相关联的情景事件；以及

与所述系统的用户交互。

90.根据权利要求89所述的系统，其中，所述物理接口装置的配置包括所述物理接口装置的形状因子的变化。

91.根据权利要求89所述的系统，其中，所述物理接口装置的布置包括所述物理接口装置的方向的变化和/或所述物理接口装置的位置的变化。

92.根据权利要求91所述的系统，其中，所述位置是工作表面上方的位置；并且

所述一个或更多个层包括表示所述工作表面的近端区域层。

93.根据权利要求89所述的系统，其中，所述物理对象是能够与所述物理接口装置协同操作的用户接口装置；并且

其中，对所述物理对象的检测包括检测所述物理对象与所述物理接口装置的接近。

94.根据权利要求89所述的系统，其中，与所述系统的用户交互包括以下中的一个或更多个：

用户做出的手势；

与所述物理接口装置的用户对接；或者

检测用户与所述物理接口装置对接的意图。

95.根据权利要求83所述的系统，其中，所述层中的一个或更多个是用户可定制的。

96.根据权利要求83所述的系统，其中，所述物理接口装置的表示包括被约束为所述物理接口装置的物理尺寸的所述物理接口装置的图像；并且

所述一个或更多个层中的一个层延伸超出被约束为所述物理接口装置的物理尺寸的所述物理接口装置的图像。

97.根据权利要求83所述的系统，还包括传感器系统，所述传感器系统被配置成感测所述物理接口装置的真实世界布置；并且

其中，所述一个或更多个处理器被配置成基于所述传感器系统感测所述物理接口装置的真实世界布置来引导所述显示器呈现所述一个或更多个层。

98.一种计算装置，包括：

显示器；

存储器；以及

一个或更多个处理器，其与所述显示器和所述存储器可通信地耦接，并且被配置成执行根据权利要求1至37和权利要求77至82中任一项所述的方法。

99.一种计算机程序，包括能够由计算机系统的处理器执行的软件代码，所述计算机程序被配置成在执行时执行根据权利要求1至37和权利要求77至82中任一项所述的方法。