CN109891367B - 在增强和/或虚拟现实环境中使用手势生成虚拟符号表面 - Google Patents

Abstract

在增强现实和/或虚拟现实系统中，可以响应于检测到的手势而实现虚拟符号表面或虚拟薄片或虚拟白板。用户可以注释、调整、存储、查看和修改虚拟符号表面，并且允许在当前虚拟环境中和/或在另一虚拟环境内和/或在虚拟环境外部与其他用户协作。

Description

在增强和/或虚拟现实环境中使用手势生成虚拟符号表面

相关申请的交叉引用

本申请是2016年12月5日提交的美国申请No.15/369,620的继续和对于其要求优先权，其公开内容通过引用整体并入本文。

技术领域

本文件总体上涉及在增强现实和/或虚拟现实环境中利用手势生成笔记表面。

背景技术

增强现实(AR)和/或虚拟现实(VR)系统可以生成沉浸式三维(3D)虚拟环境。用户可以使用各种电子设备与该虚拟环境中的对象交互，该各种电子设备例如是：头盔或其他头戴式设备，包括用户在观看显示设备时看透的显示器、眼镜或护目镜；一个或多个手持电子设备，诸如控制器和操纵杆等；配有传感器的手套；键盘；鼠标；以及，其他电子设备。

发明内容

在一个方面，一种方法可以包括：在头戴式显示器(HMD)设备的显示器上显示虚拟环境，在HMD的外部检测手势输入，响应于检测到手势输入而生成虚拟符号表面，并且将虚拟符号表面显示为虚拟环境中的虚拟对象，在HMD的外部检测另一手势输入并基于检测到的手势输入注释虚拟符号表面，并将注释的虚拟符号表面显示为在虚拟环境中的虚拟对象。

在另一方面，配置成生成虚拟现实环境的计算设备可包括存储可执行指令的存储器，以及配置成执行指令的处理器。指令可以使计算设备在头戴式显示器(HMD)设备的显示器上显示虚拟环境，在HMD的外部检测第一手势输入，响应于检测到第一手势输入而生成虚拟符号表面，在HMD的外部检测第二手势输入，响应于检测到第二手势输入，将虚拟符号表面显示为虚拟环境中的虚拟对象，在HMD的外部检测第三手势输入，响应于检测到第三手势输入注释虚拟符号表面，并将注释的虚拟符号表面显示为虚拟环境中的虚拟对象。

在另一方面，包含在非暂时性计算机可读介质上的计算机程序产品可以在其上存储一系列指令。当由处理器执行时，指令可以使处理器执行一种方法，包括在头戴式显示器(HMD)设备的显示器上显示虚拟环境，在HMD的外部检测第一手势输入，响应于检测到第一手势输入而生成虚拟符号表面，在HMD的外部检测第二手势输入，响应于检测到第二手势输入，将虚拟符号表面显示为虚拟环境中的虚拟对象，在HMD的外部检测第三手势输入，响应于检测到第三手势输入注释虚拟符号表面，并将注释的虚拟符号表面显示为虚拟环境中的虚拟对象。

在附图和以下描述中阐述了一个或多个实现的细节。根据说明书和附图以及权利要求，其他特征将是显而易见的。

附图说明

图1是根据如本文所述的实现的增强和/或虚拟现实系统的示例实现，该增强和/或虚拟现实系统包括与外部输入设备通信的头戴式显示器。

图2A和图2B是根据本文所述的实现的示例性头戴式显示设备的透视图。

图3是根据本文描述的实现的增强和/或虚拟现实系统的框图。

图4A至图4H示出了根据本文描述的实现的用于响应于在增强和/或虚拟现实环境中检测到的用户手势来实现虚拟符号表面的系统。

图5A至图5G、图6A至图6D和图7A至图7L示出了根据本文描述的实现的增强和/或虚拟现实环境中的虚拟符号表面的注释和操纵。

图8是根据本文描述的实现的在增强和/或虚拟现实环境中实现虚拟符号表面的方法的流程图。

图9示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。

具体实施方式

佩戴例如头戴式显示器(HMD)设备的沉浸在增强和/或虚拟现实环境中的用户可以探索虚拟环境并通过各种不同类型的输入与虚拟环境交互。这些输入可以包括例如与HMD分离的一个或多个电子设备的操纵和/或HMD本身的操纵和/或手/手臂姿势、眼睛/头部注视等。与HMD分离的一个或多个电子设备的所述操纵可以包括例如对一个或多个电子设备的输入、一个或多个电子设备的移动和/或对一个或多个电子设备的位置的改变。在一些实现中，可以经由所述电子设备的输入设备或用户界面来完成对电子设备的输入。HMD的所述操纵可以包括例如向HMD提供输入，这可以经由HMD的相应输入设备或接口来完成。用户可以独立于HMD或与HMD一起操纵各种电子设备，以在虚拟环境中引起期望的动作。当沉浸在虚拟环境中时，用户可能需要以例如草图、图表或其他类型的符号的形式记录信息，其在现实世界中可以用笔和纸以及白板等来完成。以类似方式记录各种不同类型信息的可视表示但不离开虚拟环境的能力可以增强用户的虚拟体验。这种在虚拟表面上捕获信息(例如，二维草图和其他类型的信息)的能力可以促进虚拟环境中的多个用户之间的协作，进一步增强用户在虚拟环境中的体验。

在系统和方法中，根据本文描述的实现，沉浸在增强和/或虚拟现实环境中的用户可以使虚拟符号表面在虚拟环境内生成(例如，物化、生成)。可以响应于检测到设置的用户实现的手势或其他类型的输入命令，在虚拟环境中生成该虚拟符号表面。该符号表面可以接收用户注释，例如，注释和草图等，其中，响应于用户使用虚拟标记工具(例如，控制器，虚拟笔或画笔和手/手指等)对虚拟符号表面的操纵来输入这些注释。这些注释可以是例如二维虚拟表面上的二维草图或其他符号或其他类型的标记，在某种程度上模仿用户在发现在现实世界中记录类似类型的信息的需要时可以遵循的过程。在虚拟表面上接收的注释可以被存储和保存以供用户和/或后续用户将来引用，并且可以由用户和/或后续用户更新、进一步注释和/或否则修改。可以响应于用户操纵来调整虚拟符号表面的大小和/或形状。重新调整和/或重新塑造这些虚拟符号表面的能力可以允许虚拟表面适应特定虚拟标记工具的相对大的输入比例，并且还可以允许在通过在输入注释之后进一步调整虚拟符号表面的大小和/或比例，以具有改进的粒度的缩小的比例显示虚拟表面上的结果注释。因此，提供了用户和虚拟环境之间的更灵活的界面。

图1是佩戴HMD 100的用户的第三人视图。在该示例第三人视图中，用户处于其中增强/虚拟现实系统可操作的物理空间400中并且沉浸在虚拟环境中，从而观看在HMD 100的显示器上显示的虚拟场景。当虚拟场景在HMD 100内对用户能够看到时，仅为了便于讨论和说明，在图1中示出了在HMD 100的显示器上向用户显示的虚拟场景的表示500。用户可以与可以与HMD 100可操作地耦合并与HMD 100通信的一个或多个外部计算设备200交互。这可以提供在外部设备200和HMD100之间的通信和数据交换。一个或多个外部计算设备200与HMD 100的可操作耦合可以包括例如，在一个或多个外部计算设备200与HMD100之间提供通信连接。当用户输入由外部设备200接收时，用户可以基于在外部设备200处接收的输入与HMD 100生成的虚拟场景500中的虚拟对象进行交互。在图1所示的示例中，可操作地与HMD100耦合的外部设备200是手持电子设备200或手持控制器200。在一些实现中，多个手持电子设备200(例如，由用户的第一手握持的第一控制器和由用户的第二手握持的第二控制器)可以由用户操纵以与由HMD100生成的虚拟环境的虚拟元素交互。在一些实现中，其他外部设备200(例如，鼠标、键盘和操纵杆等)可以可操作地耦合到HMD 100以接收用于虚拟环境中的交互的用户输入。在一些实现中，系统可以基于检测和跟踪的其他输入设备(例如，用户的手臂和/或手和/或其他身体部分)的位置和/或取向来检测用于虚拟环境中的交互的用户输入。

图2A至图2B是用户佩戴的示例HMD 100的透视图，图3是根据本文描述的实现的示例性增强/虚拟现实系统的框图。将在要在此呈现的系统和方法的各种实现的描述后更详细地描述图2A至图2B和图3。

在下文中，将描述其中可以响应于检测到设置的手势(例如，在HMD 100外部实现的设置手势)而生成虚拟符号表面的实现。这些虚拟符号表面(或者在下文中，简称为虚拟表面)可以被配置为例如通过使用诸如手持电子设备的外部设备200与虚拟表面的用户交互，响应于用户实现的各种操作而调整尺寸和/或形状和/或表面轮廓。虚拟表面可以被配置为接收由用户通过例如经由外部设备200与虚拟表面的用户交互而应用的虚拟注释。虚拟注释可以包括以以下形式应用于虚拟表面的任何类型的标记：例如，文本、草图、从其他虚拟符号表面拉出的信息以及用户期望的其他类型的注释。

图4A至图4E示出了示例实现，其中，响应于检测到的用户手势，在虚拟环境中生成虚拟符号表面。在该示例中，用户沉浸在由HMD 100生成的虚拟环境中，其中，HMD 100可操作地与包括一对手持电子设备或控制器200A和200B的外部设备200耦合，以进行交换与用户与虚拟环境中的虚拟对象、元素和特征等的交互相关的信息。如上所述，代替或补充示例控制器200A和200B，其他类型的外部计算设备可以与HMD 100可操作地耦合。

图4A示出了由用户在例如HMD 100的显示器140上观看的虚拟场景500或虚拟环境500，其中还示出了用户的表示，这仅为了便于讨论和说明。在该示例中，用户佩戴HMD 100，并且握住可操作地耦合到HMD 100或与HMD 100配对的第一和第二控制器200A和200B。在体验图4A中所示的示例中所示的虚拟环境500的同时，用户可以发现有用的是：例如基于例如在体验虚拟环境500时进行的观察，以文本形式、草图或其他方式做出符号作为以后引用的提醒以记录要与其他用户共享的信息等。

在一些实现中，虚拟环境500可以基本上在HMD 100的范围内，例如，如上所述在HMD 100的显示器140上向用户显示。在这种情况下，使用例如书写表面上的标记工具(纸上的笔/铅笔和白板上的标记等)来记录笔记和消息草图等的传统方法可能不实用，因为它们可能需要用户中断虚拟体验并暂时离开虚拟环境500。在系统和方法中，根据本文描述的实现，用户可以使得在虚拟环境500中实现虚拟符号表面(或者，在下文中，简单地为虚拟表面，为了便于讨论)。然后，用户可以使用例如文本和草图等来注释虚拟表面，而不离开虚拟环境500。可以存储注释的虚拟表面和使得其可访问以供用户和/或其他用户以后在相同的虚拟环境500中和/或在不同的虚拟环境中和/或在虚拟环境之外引用。注释的虚拟表面和/或记录在注释的虚拟表面上的符号可以组合到单个虚拟表面上，和/或多个虚拟表面可以虚拟地连接或结合以形成复合虚拟表面。存储注释的虚拟表面、稍后访问存储的虚拟表面、组合来自不同虚拟表面的符号和/或连接多个虚拟表面的能力可能在某种程度上模仿现实世界中的协作用户所遵循的过程，从而提高用户生产力并增强虚拟体验。以这种方式，使得能够更方便地使用HMD100。此外，允许改进与经由HMD 100显示的虚拟环境500以及与HMD100本身的交互。

如图4B所示，当沉浸在虚拟环境500中时，用户可以实现设置手势。设置手势可以由系统检测，并且可以被系统识别为与实现虚拟表面600的命令相对应的手势。在图4B所示的示例中，用户可以以设置方式将第一和第二控制器200A和200B带入第一位置，其中，第一和第二控制器200A和200B以可以由系统检测的设置方式定位。在图4B所示的示例中，第一和第二控制器200A和200B以可以由系统检测的设置方式对准作为设置手势的启动。图4B中所示的第一位置仅是第一和第二控制器200A和200B的第一位置布置的一个示例。基于例如用户偏好和工厂设置等，可以基于第一控制器200A和第二控制器200B的其他相对位置来设置和检测包括第一位置的设置手势。在第一和第二控制器200A和200B处于第一位置的情况下，用户可以在一个或两个控制器200A、200B上提供输入，例如诸如触发器或按钮的操纵设备205A、205B的致动。在第一手势位置中利用第一和第二控制器200A和200B致动一个或两个操纵设备205A、205B可以被系统检测为用于生成虚拟表面600的用户输入命令。在一些实现中，控制器200A、200B的相对定位可以由控制器200A、200B中的位置/取向传感器和/或HMD100中的图像传感器和/或系统的其他组件和/或由控制器200A、200B中的传感器和HMD100中的传感器以及系统的其他组件提供的数据的组合检测，该数据的组合一起提供对第一和第二控制器200A和200B的位置和取向的跟踪。

当用户将控制器200A、200B移开(或彼此远离)时，HMD 100可以根据图4B所示的实现响应于控制器200A、200B的移动来检测由控制器200A、200B的移动限定的相应手势输入。可以例如通过使用传感器来执行检测，如在上述示例中那样。响应于对手势输入的检测，虚拟表面600可以实现，例如，可以通过HMD 100在虚拟环境500中显示虚拟表面600。另外，当用户继续移动控制器200A、200B时，例如，当控制器200A、200B的移动被检测为用户的进一步手势或交互，关于虚拟环境执行并且使HMD 100执行虚拟表面600的大小调整时，可以调整虚拟表面600的尺寸，如图4C和4D所示。在一些实现中，当控制器200A、200B继续移动时，用户可以继续将一个或两个操纵设备205A和/或205B保持在致动状态(通过例如将按钮或触发器保持在按下状态)，指示用户希望继续调整虚拟表面600的尺寸和/或形状。在检测到用户已经完成虚拟表面600向期望的尺寸和/或形状的实现时，通过例如检测到操纵设备205A、205B的致动的释放，虚拟表面600可以准备好以文本和草图等形式接收用户输入，如图4E所示。在该示例中，可以由系统基于在检测到操纵设备205A、205B的致动的释放的点处的第一控制器200A的第二位置和第二控制器200B的第二位置确定虚拟表面600的尺寸和/或形状。以这种方式，用户可以容易地与HMD 100显示的虚拟环境500交互，并使其显示虚拟表面600以进一步与虚拟环境500交互。因此，能够实现HMD 100的容易且有效的使用。

在如图4A至图4E所示的示例中，虚拟表面600基本上是矩形的。这仅仅是虚拟表面600的外围形状的一个示例，仅为了便于讨论和说明。虚拟表面600的外围可以由其他形状限定，并且可以是规则的，例如圆形、椭圆形、三角形、梯形等，例如，如图4F和4G所示，和/或可以由不规则的外围限定，例如，如图4H所示，和/或可以通过不同外围的组合来定义。在一些实现中，可以基于例如用户偏好或工厂设置来预设虚拟表面600的外围形状。在一些实现中，虚拟表面600的外围形状可以在生成虚拟表面600时由用户例如使用在第一位置的控制器200A和200B选择。在一些实现中，虚拟表面600的外围形状可以在生成虚拟表面600之后(例如，在虚拟表面600的注释之前，或者在虚拟表面600的注释之后，或者在虚拟表面600的注释之前和之后两者)被操纵或改变。

在图4A至图4H中所示的示例中，仅为了便于讨论和说明，虚拟表面600的表面轮廓由基本上平坦的平面限定。虚拟表面600的表面轮廓可以由其他轮廓(例如，弯曲轮廓、成角度或折叠轮廓等)限定，和/或可以由不规则的轮廓限定，和/或可以由不同轮廓的组合来限定。在一些实现中，可以基于例如用户偏好或工厂设置来预设虚拟表面600的轮廓。在一些实现中，虚拟表面600的轮廓可以由用户在例如使用在第一位置处的控制器200A和200B生成虚拟表面600时选择。在一些实现中，虚拟表面600的轮廓可以在虚拟表面600已经生成之后(例如，在虚拟表面600的注释之前，或者在虚拟表面600的注释之后，或者在虚拟表面600的注释之前和之后两者)被操纵或改变。

在一些实现中，用户可以使用标记工具来注释虚拟表面600，标记工具例如是控制器200A、200B中的一个或两个、其位置和取向由系统跟踪的手/手指或者其位置和取向由系统跟踪的其他指定的标记工具。例如，如图5A所示，一旦虚拟表面600被实现并准备好接收注释，系统可以检测控制器200A、200B中的一个的移动，其对应于要应用于虚拟表面600的注释。在一些实现中，特定的初始化动作(例如，用户致动相应控制器200A、200B的操纵设备205A、205B中的一个，例如按下按钮或触发器)可以初始化相应的控制器200A、200B以用于虚拟表面600的虚拟标记和/或注释。

在图5A所示的示例中，第二控制器200B的操纵设备205B的致动可以初始化第二控制器200B以启动虚拟表面600的注释。如图5B所示，用户可以在将操纵设备205B保持在致动状态的同时移动或铰接第二控制器200B，以基于第二控制器200B的移动来定义要应用于虚拟表面600的注释。在一些实现中，当用户以期望的图案移动控制器200B同时将操纵设备205B保持在致动状态时，可以在虚拟表面600上虚拟地显示注释。在一些实现中，在释放操纵设备205B的致动之后，可在虚拟表面600上虚拟地显示注释。用户可以通过再次致动或按下操纵设备205B来初始化控制器200B以用于虚拟表面600的注释，并且然后以期望的图案或轮廓移动控制器200B以根据需要进一步注释虚拟表面600来进一步注释当前显示的虚拟表面600，如图5C所示。在如图5B和5C所示的示例中，第二控制器200B被致动并移动以注释虚拟表面600。然而，如上所述，作为第一控制器200A和/或第二控制器200B的补充或替代，虚拟表面600的注释也可以响应于第一控制器200A的致动和移动，和/或通过第一控制器200A和第二控制器200B的致动和移动，和/或通过另一个虚拟标记工具的致动和移动而完成。

在一些实现中，用户可能想要在以上述方式注释虚拟表面600之前或之后调整虚拟表面600的尺寸和/或形状和/或取向。可以通过例如虚拟表面600的进一步虚拟操纵来调整虚拟表面600的尺寸和/或形状。例如，如图5D所示，在第一控制器200A位于虚拟表面600的左边缘并且第二控制器200B位于虚拟表面600的右边缘处的情况下，用户可以致动第一控制器200A的操纵设备205A和第二控制器200B的操纵设备205B，并且将左右边缘向外，从图5C中所示的布置向图5D中所示的布置移动。类似地，如图5E所示，在第一控制器200A位于虚拟表面600的顶部边缘并且第二控制器200B位于虚拟表面600的底部边缘处的情况下，用户可以致动第一控制器200A的操纵设备205A和第二控制器200B的操纵设备205B，并且将上下边缘向彼此，从图5C和5D中所示的布置向图5E中所示的布置移动。用户可以通过将控制器200A、200B中的一个致动并从虚拟表面600的边缘处的第一位置移动到第二位置，以类似的方式调整虚拟表面600的仅仅一个边缘的位置，以对虚拟表面600的尺寸/形状进行相应的调整。用户可以通过例如释放操纵设备205A、205B来终止尺寸和/或形状的这种调整。

如上所述，仅为了便于讨论和说明，图5A至图5E中所示的示例虚拟表面600的外围形状是矩形的。然而，可以以与图5A至图5E中所描述的类似的方式调整由不同外围形状限定的虚拟表面600的尺寸和/或形状。例如，如图5F所示，可以调整由基本上圆形的外围限定的虚拟表面600，例如，增大响应于第一和第二控制器200A和200B的相对移动而调整的虚拟表面600的尺寸和/或形状。在图5G所示的示例中，可以调整由不规则形状的外围限定的虚拟表面600，例如，减小响应于第一和第二控制器200A和200B的移动而调整的虚拟表面600的尺寸和/或形状。

在一些实现中，虚拟表面600的尺寸和/或形状的调整还可以引起虚拟表面600上的注释的大小或比例的相应调整。例如，如图6A所示，在第一控制器200A位于虚拟表面600的底部拐角并且第二控制器200B位于虚拟表面600的相对的顶部拐角处的情况下，用户可以致动第一控制器200A的操纵设备205A和第二控制器200B的操纵设备205B，并且可以使虚拟表面600的相对的底部和顶部拐角朝向彼此移动，以从图6A中所示的布置向图6B中所示的布置按比例减小虚拟表面600的尺寸和比例以及在虚拟表面600上接收的注释。虚拟表面600和注释的尺寸和/或比例的增加(例如，以从图6A中所示的布置向图6B中所示的布置)可以通过例如在彼此远离的方向上移动相对的拐角来实现。

在一些实现中，可响应于第一和第二控制器200A和200B的相对移动来调整虚拟表面600的取向。在图6C所示的示例中，第一和第二控制器200A和200B的相对运动导致虚拟表面600在基本垂直的平面中旋转。在图6D所示的示例中，控制器200A和200B的相对运动导致虚拟表面600从基本垂直平面到基本水平平面的取向变化。响应于第一和第二控制器200A和200B的相对运动，可以实现垂直表面600的取向的许多其他变化。可以对于由不同的外围形状限定的和/或具有不同的表面轮廓的虚拟表面以这种方式实现虚拟表面600的取向的这些变化。

在一些情况下，使多个虚拟表面可用于多个用户之间的访问和协作可能是有用的。例如，第一物理空间中的第一用户A和第二物理空间中的第二用户B(或者与第一用户在第一物理空间中)可以沉浸在共享虚拟环境550中，如图7A所示。在图7A中所示的示例中，仅为了便于讨论和说明，在共享虚拟空间550中示出了第一用户A的表示和第二用户B的表示。在该示例中，第一用户A操作第一和第二控制器A1和A2，并且第二用户操作第一和第二控制器B1和B2。多个虚拟符号表面600(具体地，虚拟表面600A、600B、600C、600D和600E)可以对共享虚拟环境550中的第一用户A和第二用户B可用，以用于访问、查看、修订和协作等等。

如图7B所示，第一用户A(或第二用户B)可以选择虚拟表面600中的一个，例如，虚拟表面600C，以查看，例如通过使用控制器A1、A2的一个或两个而选择虚拟表面600C。在查看所选择的虚拟表面600C时，例如，第一用户A可以例如以上面参考图5D至图5E和6A至图6B描述的方式放大所选择的虚拟表面600C。第一用户A还可以例如以上面参考图5A至图5C描述的方式向虚拟表面600C添加笔记、草图或其他注释。

第二用户B可以基本上同时在共享虚拟环境550中或稍后的时间查看已由第一用户A注释的虚拟表面600C，并且可以进一步修改或否则注释虚拟表面600C。例如，响应于第一用户A留下的笔记，建议添加公园，第二用户B还可以选择虚拟表面600E，包括公园信息，如图7D所示。第二用户B可以使用存储在虚拟表面600E上的信息来进一步注释虚拟表面600C，如图7E所示。然后，进一步注释的虚拟表面600C可以由第一用户A在共享虚拟空间550中基本上实时地或者稍后通过从存储器访问虚拟表面600C查看，如图7F所示。

可以实现虚拟符号表面600，并且可以以上面参考图4A至图4H，图5A至图5G，图6A至图6D和图7A至图7F描述的方式在虚拟表面600上制作、调整和存储虚拟笔记和/或注释和/或草图，其不一定与当前正在经历的虚拟环境相关。存储在虚拟表面600上的虚拟注释可以被存储，使得它们也可以在当前虚拟环境500之外和/或在其他虚拟环境中和/或当没有沉浸在虚拟环境中时被用户和/或其他用户访问以进行协作。

在一些情况下，虚拟对象或特征(例如，虚拟表面600和/或要添加到虚拟表面600上的对象)可以在虚拟空间550中的用户的虚拟可达范围之外。类似地，在一些情况下，用户可能希望将虚拟对象或特征(例如，虚拟表面600和/或其他虚拟对象)从相对较近的场移动到远离用户的虚拟位置，以用于例如清除近场虚拟空间以执行其他任务。在一些实现中，可以响应于检测到与要执行的移动相对应的手势而完成虚拟对象从虚拟空间500中的相对远场位置到虚拟空间500中的相对近场位置和/或从虚拟空间500中的相对近场位置到相对远场位置的这种移动。

图7G是物理空间中的用户的第三人视图，该用户与由HMD 100生成并在HMD 100内向用户显示的虚拟环境和虚拟对象交互，如上所述。在图7G所示的示例中，用户已经使虚拟表面600例如以上述方式在虚拟环境中生成，并且多个虚拟对象700在虚拟远场中被显示给用户。补充或替代直接在虚拟表面上标记或绘制或书写之外，用户可以选择例如通过例如选择要添加到虚拟表面600或包括在虚拟表面600上的一个或多个虚拟对象700来注释、绘制、标记或否则添加到虚拟表面600。

如上所述，虚拟对象700位于远虚拟场中，并且位于用户的虚拟可达范围之外。为了在虚拟表面600上选择虚拟对象700中的一个用于注释或绘图，用户可以通过例如将手持电子设备200朝向要选择的特定虚拟对象700A来选择虚拟对象700。在图7G中所示的示例中，示出了从手持电子设备200朝向虚拟对象700A引导的虚拟光束201，以向用户提供虚拟视觉指示：手持电子设备200的取向以与虚拟对象700A的虚拟交叉点为目标。在一些实现中，这可以以其他方式向用户指示，例如，指示手持电子设备200的取向的目标的光标或点和目标虚拟对象的突出显示或其他外观变化等等。可以基于例如手持电子设备200的操纵设备的致动和大于或等于预设阈值停留时间虚拟对象700A上的停留时间等来检测虚拟对象700A的选择。

在检测到已经选择了虚拟对象700A时，用户可以实现指示所选择的虚拟对象700A的期望移动的手势。例如，用户实现旋转或扭转手势，如图7H所示，以将所选择的虚拟对象700A拉得更靠近用户，例如，从远虚拟场拉向近虚拟场，使得用户可以与所选择的虚拟对象700A交互。在图7H中所示的示例中，仅为了便于讨论和说明，用户实现逆时针手势以将所选择的虚拟对象700A拉得更近。然而，使得所选择的虚拟对象700A被拉近用户的所实现的手势可以是例如顺时针移动或手势，或持有更靠近用户的手持电子设备200的用户的手臂和/或手的移动或手势或其他这样的手势和/或动作。

用户可以维持手势，例如，用户的手臂/手和手持式电子设备200的旋转位置，例如，手持式电子设备200的操纵设备处于致动位置，直到所选择的虚拟对象700A处于用户期望的虚拟位置。用户可以实现其他附加手势以例如垂直和/或横向等地移动所选择的虚拟对象700A。在图7I中所示的示例中，用户已经将所选择的虚拟对象从远虚拟场移动到近虚拟场中，并且已经横向移动所选择的虚拟对象700A，以便用所选择的虚拟对象700A来注释虚拟表面600。如上所述，虚拟表面600可以通过附图、对象和文本等进一步注释，和/或可以通过图7I所示的用户和/或由另一个用户如上所述协同努力地如上所述调整尺寸和/或形状和/或轮廓。

可以以类似的方式将虚拟对象移动，例如，从相对较近的场移动到相对较远的场。例如，在虚拟表面600的注释之后，用户可能希望移动注释的虚拟表面600以清除近虚拟场中的空间以用于新任务。用户可以选择注释的虚拟表面600，虚拟表面600例如以上述方式表示虚拟环境中的所选择的虚拟对象，如图7J所示。在检测到已经选择了虚拟表面600时，用户可以实现指示所选择的虚拟表面600的期望移动的手势。例如，用户实现旋转或扭转手势，如图7K所示，以从近虚拟场向远虚拟场移动所选虚拟表面600远离用户。在图7K所示的示例中，仅为了便于讨论和说明，用户实现顺时针手势以将所选虚拟表面600移动远离用户。然而，使得所选择的虚拟表面600进一步远离用户移动的所实现的手势可以是例如逆时针移动或手势，或持有手持电子设备200的用户的手臂和/或手在远离用户的方向上的移动或手势或其他这样的手势和/或动作。用户可以维持手势，例如，用户的手臂/手和手持式电子设备200的旋转位置，例如，手持式电子设备200的操纵设备处于致动位置，直到所选择的虚拟表面600在用户所希望的虚拟位置为止，如图7L所示。用户可以实现其他附加手势以例如垂直和/或横向等地移动所选择的虚拟表面600。

在图8中示出根据本文所述的实现的在增强和/或虚拟现实环境中实现虚拟符号表面的方法800。

用户可以使用例如计算设备(例如，包括如上所述的头戴式显示设备的系统，其与一个或多个外部设备可操作地耦合或配对)来发起增强现实体验和/或虚拟现实体验，以生成增强现实和/或虚拟现实环境(框810)。系统可以检测与用户输入命令相对应的设置用户手势，以实现，例如显示虚拟符号表面(框820)，并且可以响应于检测到的设置用户手势实现虚拟符号表面(框830)。如关于图4A至图4C所述，检测到的手势可以是例如通过与头戴式显示设备可操作地耦合的一个或多个外部设备或控制器的移动和/或定位来实现的手势，并且还可以包括该一个或多个外部设备的操纵设备的致动。系统可以检测虚拟符号表面的实现，即相应的过程例如响应于检测到的外部设备的操纵设备或控制器的释放而完成(框840)，如上面关于图4C至图4H所讨论的。系统可以检测用户符号输入(框850)，并且响应于检测到的用户符号输入来注释所选择的虚拟符号表面(框860)，直到系统检测到所选择的虚拟符号表面的符号完成为止(框870)。检测到的用户符号可以对应于例如检测到的外部设备的操纵设备或控制器的致动，以及外部装置或控制器的移动，如上面参考图5A至图5C、图6A至图6D和图7A至图7L所述。对符号的完成的系统检测可以包括检测操纵设备的致动的释放。该过程可以继续直到确定当前增强现实和/或虚拟现实体验已经终止为止(框880)。

在系统和方法中，根据本文描述的实现，虚拟符号表面或虚拟薄片或虚拟白板可以响应于检测到的手势在增强和/或虚拟现实环境中实现。用户可以注释、调整、存储、查看和修改虚拟符号表面，并且允许在当前虚拟环境中和/或在另一虚拟环境内和/或在虚拟环境外部与其他用户协作。

图2A和图2B是示例HMD的透视图，例如，用户在图1所示的示例中佩戴的HMD 100。HMD 100可以包括耦合到框架120的壳体110，其具有音频输出设备130，音频输出设备130包括例如安装在耳机中的扬声器，其也耦合到框架120。在图2B中，壳体110的前部110a远离壳体110的基部110b旋转，使得容纳在壳体110中的一些部件是可见的。显示器140可以安装在壳体110的前部110a的内部面向侧上。当前部110a倚靠壳体110的基部110b处于关闭位置时，透镜150可以安装在壳体110中，在用户的眼睛和显示器140之间。HMD 100可包括：感测系统160，包括各种传感器；以及，控制系统170，包括处理器190和各种控制系统设备，以便于HMD 100的操作。例如，在一些实现中，感测系统160可以包括惯性测量单元(IMU)162，其包括各种不同类型的传感器，例如加速度计、陀螺仪和磁力计等。可以基于由IMU 162提供的数据来检测和跟踪HMD 100的位置和取向，从而允许系统依次检测和跟踪用户的头部注视方向和移动。相机180可以捕获静止图像和/或运动图像，其可以用于帮助跟踪用户和/或与HMD100通信/可操作地耦合的其他外部设备的物理位置。捕获的图像也可以在通过模式下在显示器140上显示给用户。

在一些实现中，HMD 100可以包括注视跟踪设备165，其包括例如一个或多个传感器，以检测和跟踪眼睛注视方向和移动。可以处理由传感器165A捕获的图像以检测和跟踪用户的眼睛注视的方向和移动，并且可以将检测和跟踪的眼睛注视处理为用户输入以转换为沉浸式虚拟体验中的相应交互。

在图3中示出根据本文描述的实现的系统的框图。该系统可以包括第一电子设备300(例如，如上面参考图1和图2A至图2B所述的HMD)以及与第一电子设备300通信的至少一个第二电子设备302(例如，如上参考图1所述的手持电子设备或其他外部设备。如上所述，尽管图3中示出了单个第二电子设备302，为了便于讨论和说明，不止一个第二电子设备302可以与第一电子设备300可操作地耦合。

第一电子设备300可以包括感测系统360和控制系统370，其可以分别类似于图2A和图2B中所示的感测系统160和控制系统170。感测系统360可包括不同类型的传感器，包括例如光传感器、音频传感器、图像传感器、距离/接近度传感器和IMU和/或其他传感器和/或不同传感器组合。控制系统370可以包括例如电源/暂停控制设备、音频和视频控制设备、光学控制设备、转换控制设备和/或其他这样的设备和/或不同的设备组合。取决于特定实现，感测系统360和/或控制系统370可包括更多或更少的设备。包括在感测系统360和/或控制系统370中的元件可以具有例如在除了图2A和2B中所示的HMD 100之外的HMD内的不同的物理布置(例如，不同的物理位置)。第一电子设备300还可以包括与感测系统360和控制系统370通信的处理器390。处理器390可以处理从感测系统360接收的输入，并执行与检测到的输入相对应的指令。第一电子设备300还可以包括存储器380以及提供第一电子设备300与另一外部设备(例如，第二电子设备302)之间的通信的通信模块350。处理器390还可以处理从第二电子设备302接收的输入。

第二电子设备302可以包括通信模块306，其提供第二电子设备302与第二电子设备302外部的另一设备(例如，第一电子设备300)之间的通信和数据交换。在一些实现中，取决于第二电子设备302(即，手持电子设备或控制器，相对于键盘或鼠标)的特定配置，第二电子设备302可以包括感测系统304，其包括例如：图像传感器和音频传感器，例如包括在例如相机和麦克风中；IMU；诸如包括在手持电子设备的触敏表面中的触摸传感器；或智能电话；以及其他这样的传感器和/或不同的传感器组合。处理器309可以与感测系统304和第二电子设备302的控制器305通信，控制器305具有对存储器308的访问并控制第二电子设备302的整体操作。

如上所述，当沉浸在由HMD 100生成的虚拟现实环境中时，在不必离开虚拟环境的情况下制作笔记或草图并保存该笔记或草图以供稍后参考和/或与其他用户共享该笔记或草图的能力可以增强用户在虚拟环境中的体验。在不离开虚拟环境的情况下制作该笔记或草图的能力可以允许用户在虚拟环境中保持连接或存在，而不会破坏和/或中断虚拟体验，无论笔记或草图或其他要记录在虚拟符号表面上的信息是否与正在体验的虚拟环境有关。这可以向用户提供虚拟环境中的功能，该功能类似于在现实世界环境中在草稿纸、白板、便签等上做出笔记和草图的能力。因此，在系统和方法中，根据本文描述的实现，可以响应于用户输入(例如，设置用户手势)在虚拟环境中实现虚拟符号表面。例如，响应于用户输入，在用户在虚拟符号表面上输入信息之前和/或之后，可以调整虚拟符号表面的尺寸和/或形状。

图9示出了计算机设备1000和移动计算机设备1050的示例，其可以用于这里描述的技术。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008以及连接到低速总线1014和存储设备1006的低速接口1012。组件1002、1004、1006、1008、1010和1012中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004中或存储设备1006上的指令，以在外部输入/输出设备(例如，耦合到高速接口1008的显示器1016)上显示GUI的图形信息。在其他实现中，可以适当地使用多个处理器和/或多条总线以及多个存储器和多个类型的存储器。而且，可以连接多个计算设备1000，每个设备提供必要操作的部分(例如，作为服务器库、一组刀片服务器或多处理器系统)。

存储器1004存储计算设备1000内的信息。在一种实现中，存储器1004是一个或多个易失性存储器单元。在另一实现中，存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一种形式的计算机可读介质，例如磁盘或光盘。

存储设备1006能够为计算设备1000提供大容量存储。在一种实现中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设备或设备阵列，包括存储区域网络中的设备或其他配置。计算机程序产品可以有形地包含在信息载体中。计算机程序产品还可以包含指令，所述指令在被执行时执行一个或多个方法，例如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006或处理器1002上的存储器。

高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实现中，高速控制器1008耦合到存储器1004、显示器1016(例如，通过图形处理器或加速器)，并耦合到高速扩展端口1010，高速扩展端口1010可以接受各种扩展卡(未示出)。在该实现中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。低速扩展端口可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)，可以例如通过网络适配器耦合到一个或多个输入/输出设备，例如键盘、指示设备、扫描仪或诸如交换机或路由器的网络设备。

计算设备1000可以以多种不同的形式实现，如图中所示。例如，它可以实现为标准服务器1020，或者在一组这样的服务器中实现多次。它还可以实现为机架服务器系统1024的一部分。此外，它可以在诸如膝上型计算机1022的个人计算机中实现。或者，来自计算设备1000的组件可以与诸如设备1050的移动设备(未示出)中的其他组件组合。这些设备中的每一个可以包含计算设备1000、1050中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。

计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068等组件。设备1050还可以设置有存储设备，例如微驱动器或其他设备，以提供额外的存储。组件1050、1052、1064、1054、1066和1068中的每一个使用各种总线互连，并且若干组件可以适当地安装在公共主板上或以其他方式安装。

处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以实现为芯片的芯片组，其包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于设备1050的其他组件的协调，诸如用户界面的控制、设备1050运行的应用和设备1050的无线通信。

处理器1052可以通过控制接口1058和耦合到显示器1054的显示器接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示器接口1056可以包括用于驱动显示器1054以向用户呈现图形和其他信息的适当电路。控制接口1058可以从用户接收命令并将它们转换以提交给处理器1052。此外，可以提供与处理器1052通信的外部接口1062，以便使设备1050能够与其他设备进行近区域通信。外部接口1062可以例如在一些实现中提供有线通信，或者在其他实现中提供无线通信，并且多个接口还可以被使用。

存储器1064存储计算设备1050内的信息。存储器1064可以实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器1074并将其通过扩展接口1072连接到设备1050，扩展接口1072可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器1074可以为设备1050提供额外的存储空间，或者还可以存储设备1050的应用或其他信息。具体地，扩展存储器1074可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为设备1050的安全模块，并且可以用允许安全使用设备1050的指令编程。此外，可以通过SIMM卡提供安全应用以及附加信息。例如以不可黑客的方式将识别信息放在SIMM卡上。

存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一种实现中，计算机程序产品有形地包含在信息载体中。该计算机程序产品包含的指令在执行时执行一种或多种方法，例如上述方法。信息载体是计算机或机器可读介质，例如存储器1064、扩展存储器1074或处理器1052上的存储器，其可以例如容纳在收发器1068或外部接口1062上。

设备1050可以通过通信接口1066无线通信，通信接口1066可以在必要时包括数字信号处理电路。通信接口1066可以提供各种模式或协议下的通信，各种模式或协议例如是GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器1068发生。此外，可以例如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)发生短程通信。另外，GPS(全球定位系统)接收器模块1070可以向设备1050提供附加的导航和位置相关的无线数据，其可以由在设备1050上运行的应用适当地使用。

设备1050还可以使用音频编解码器1060进行可听地通信，音频编解码器1060可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1060同样可以例如通过例如在设备1050的手机中的扬声器为用户生成可听声音。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上运行的应用生成的声音。

计算设备1050可以以多种不同的形式实现，如图中所示。例如，它可以实现为蜂窝电话1080。它还可以实现为智能电话1082、个人数字助理或其他类似移动设备的一部分。

这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，该可编程系统包括至少一个可编程处理器，其可以是特殊的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向其发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或装配/机器语言实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，用于将机器指令和/或数据提供给可编程处理器，该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，在此描述的系统和技术可以实现在计算机上，该计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息；以及，键盘和诸如鼠标或轨迹球的指示设备，用户可以通过其向计算机提供输入。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，该任何形式包括声音、语音或触觉输入。

在此描述的系统和技术可以实现在计算系统中，该计算系统包括诸如作为数据服务器的后端组件，或者包括诸如应用服务器的中间件组件，或者包括诸如具有图形用户界面或Web浏览器的客户端计算机的前端组件，或者包括一个或多个这样的后端、中间件或前端组件的任何组合，用户可以通过该图形用户界面或Web浏览器与在此描述的系统和技术的实现交互。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

在一些实现中，图10中描绘的计算设备可包括与虚拟现实(VR耳机/HMD设备1090)对接的传感器。例如，包括在图10中描绘的计算设备1050或其他计算设备上的一个或多个传感器可以向VR耳机1090提供输入，或者一般而言向VR空间提供输入。传感器可包括但不限于触摸屏、加速计、陀螺仪、压力传感器、生物识别传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050可以使用传感器来确定VR空间中的计算设备的绝对位置和/或检测到的旋转，然后可以将其用作VR空间的输入。例如，计算设备1050可以作为虚拟对象并入VR空间，虚拟对象例如是控制器、激光指示器、键盘、武器等。当并入VR空间中时用户定位计算设备/虚拟对象可以允许用户定位计算设备，以便在VR空间中以某些方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以操纵计算设备，就像它是实际的激光指示器一样。用户可以左右、上下和以圆圈等移动计算设备，并以与使用激光指示器类似的方式使用该设备。

在一些实现中，包括在计算设备1050上或连接到计算设备1050的一个或多个输入设备可以用作对于VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指示设备、鼠标、轨迹球、操纵杆、相机、麦克风、耳机或具有输入功能的芽、游戏控制器或其他可连接的输入设备。当计算设备被并入VR空间中时与包括在计算设备1050上的输入设备交互的用户可以导致在VR空间中发生特定动作。

在一些实现中，计算装置1050的触摸屏可呈现为VR空间中的触摸板。用户可以与计算设备1050的触摸屏交互。例如，在VR头戴式耳机1090中，交互被呈现为VR空间中的呈现的触摸板上的移动。呈现的移动可以控制VR空间中的虚拟对象。

在一些实现中，计算设备1050上包括的一个或多个输出设备可以向VR空间中的VR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动、打开和关闭或闪烁和/或闪动一个或多个灯或闪光灯、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可包括但不限于振动马达、振动线圈、压电装置、静电装置、发光二极管(LED)、闪光灯和扬声器。

在一些实现中，计算设备1050可以表现为计算机生成的3D环境中的另一个对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备1050在计算机生成的3D环境中显示为虚拟激光指示器。当用户操纵计算设备1050时，VR空间中的用户看到激光指示器的移动。用户从计算设备1050上或VR耳机1090上的VR环境中与计算设备1050的交互接收反馈。

在一些实现中，计算设备1050可以包括触摸屏。例如，用户可以以特定方式与触摸屏交互，该特定方式可以模仿触摸屏上发生的事情以及VR空间中发生的事情。例如，用户可以使用捏合型动作来缩放在触摸屏上显示的内容。触摸屏上的这种捏合型动作可以使VR空间中提供的信息被缩放。在另一示例中，计算设备可以被呈现为计算机生成的3D环境中的虚拟书。在VR空间中，书籍的页面可以显示在VR空间中，并且用户的手指在触摸屏上的滑动可以被解释为翻/翻动虚拟书的页面。当翻动页/翻页时，除了看到页面内容改变之外，还可以向用户提供音频反馈，例如书中翻页的声音。

在一些实现中，除了计算设备(例如，鼠标、键盘)之外的一个或多个输入设备可以在计算机生成的3D环境中呈现。呈现的输入设备(例如，呈现的鼠标、呈现的键盘)可以在VR空间中呈现时用于控制VR空间中的对象。

计算设备1000旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备1050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里示出的组件、它们的连接和关系以及它们的功能意味着仅仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实现。

在以下示例中汇总了另外的实现：

示例1：一种方法，包括：在头戴式显示器(HMD)设备的显示器上显示虚拟环境；在所述HMD的外部检测第一手势输入；响应于检测到所述第一手势输入，生成虚拟符号表面；在所述HMD的外部检测第二手势输入；响应于检测到所述第二手势输入，将所述虚拟符号表面显示为在所述虚拟环境中的虚拟对象；在所述HMD的外部检测第三手势输入；响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及，将注释的虚拟符号表面显示为所述虚拟环境中的虚拟对象。

示例2：示例1所述的方法，检测第一手势输入包括：检测第一手持电子设备的第一位置，所述第一手持电子设备与所述HMD可操作地耦合；检测第二手持电子设备的第一位置，所述第二手持电子设备与所述HMD可操作地耦合；以及，基于检测到的所述第一手持电子设备的第一位置和检测到的所述第二手持电子设备的第一位置，检测所述第一手势输入。

示例3：示例2所述的方法，检测第一手势输入还包括：检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的致动。

示例4：示例3所述的方法，检测第二手势输入包括：检测所述第一手持电子设备的第二位置；检测所述第二手持电子设备的第二位置；并且，基于检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置，设置所述虚拟符号表面的尺寸或形状中的至少一个。

示例5：示例4所述的方法，检测第二手势输入还包括：检测所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述操纵设备的所述致动的释放；以及，响应于检测到所述操纵设备的所述致动的所述释放、所述第一手持电子设备的所述第二位置和检测到在与检测到所述操纵设备的所述致动的所述释放对应的点处检测到的第二手持电子设备的第二位置，设置所述虚拟符号表面的所述尺寸或所述形状中的所述至少一个。

示例6：示例1所述的方法，检测第三手势输入和注释虚拟符号表面包括：检测和跟踪标记工具的移动；以及，基于检测到的所述标记工具的移动来注释所述虚拟符号表面。

示例7：示例6所述的方法，基于检测到的所述标记工具的移动来注释所述虚拟符号表面包括：检测所述标记工具的操纵设备的致动；响应于检测到的所述操纵设备的致动，启动跟踪所述标记工具的所述移动；检测所述操纵设备的所述致动的释放；以及，响应于检测到的所述操纵设备的释放，终止跟踪所述标记工具的所述移动。

示例8：示例7所述的方法，基于检测到的所述标记工具的移动来注释所述虚拟符号表面还包括：检测与跟踪的所述标记工具的移动对应的轮廓；并且，使用与检测到的所述标记工具的移动的轮廓对应的轮廓来注释所述虚拟符号表面。

示例9：一种系统，包括：被配置为生成虚拟现实环境的计算设备，所述计算设备包括：存储可执行指令的存储器；以及，处理器，所述处理器被配置为执行所述指令以使所述计算设备：在头戴式显示器(HMD)设备的显示器上显示虚拟环境；在所述HMD的外部检测第一手势输入；响应于检测到所述第一手势输入，生成虚拟符号表面；在所述HMD的外部检测第二手势输入；响应于检测到所述第二手势输入，将所述虚拟符号表面显示为所述虚拟环境中的虚拟对象；在所述HMD的外部检测第三手势输入；响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及，将注释的虚拟符号表面显示为所述虚拟环境中的虚拟对象。

示例10：示例9所述的系统，其中，在检测第一手势输入时，所述指令使所述计算设备：检测第一手持电子设备的第一位置，所述第一手持电子设备与所述HMD可操作地耦合；检测第二手持电子设备的第一位置，所述第二手持电子设备与所述HMD可操作地耦合；以及，基于检测到的所述第一手持电子设备的第一位置和检测到的所述第二手持电子设备的第一位置，检测所述第一手势输入。

示例11：示例10所述的系统，其中，在检测第一手势输入时，所述指令还使所述计算设备：检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的致动。

示例12：示例11所述的系统，其中，在检测第二手势输入时，所述指令使所述计算设备：检测所述第一手持电子设备的第二位置；检测所述第二手持电子设备的第二位置；并且，基于检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置，设置所述虚拟符号表面的尺寸或形状中的至少一个。

示例13：示例12所述的系统，其中，在检测第二手势输入时，所述指令使所述计算设备：检测所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述操纵设备的所述致动的释放；以及，响应于检测到所述操纵设备的所述致动的所述释放、所述第一手持电子设备的所述第二位置和检测到在与检测到所述操纵设备的所述致动的所述释放对应的点处检测到的第二手持电子设备的第二位置，设置所述虚拟符号表面的所述尺寸或所述形状中的所述至少一个。

示例14：示例9所述的系统，其中，在检测第三手势输入和注释所述虚拟符号表面时，所述指令使所述计算设备：检测和跟踪标记工具的移动；以及，基于检测到的所述标记工具的移动来注释所述虚拟符号表面。

示例15：示例14所述的系统，其中，在基于检测到的所述标记工具的移动来注释所述虚拟符号表面时，所述指令使所述计算设备：检测所述标记工具的操纵设备的致动；响应于检测到的所述操纵设备的致动，启动跟踪所述标记工具的所述移动；检测所述操纵设备的所述致动的释放；以及，响应于检测到的所述操纵设备的释放，终止跟踪所述标记工具的所述移动。

示例16：示例15所述的系统，其中，在基于检测到的所述标记工具的移动来注释所述虚拟符号表面时，所述指令使所述计算设备：检测与跟踪的所述标记工具的移动对应的轮廓；并且，使用与检测到的所述标记工具的移动的轮廓对应的轮廓来注释所述虚拟符号表面。

示例17：一种包含在非暂时性计算机可读介质上的计算机程序产品，所述计算机可读介质上存储有一系列指令，当由处理器执行时，所述指令使得所述处理器执行方法，所述方法包括：在头戴式显示器(HMD)设备的显示器上显示虚拟环境；在所述HMD的外部检测第一手势输入；响应于检测到所述第一手势输入，生成虚拟符号表面；在所述HMD的外部检测第二手势输入；响应于检测到所述第二手势输入，将所述虚拟符号表面显示为在所述虚拟环境中的虚拟对象；在所述HMD的外部检测第三手势输入；响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及，将注释的虚拟符号表面显示为在所述虚拟环境中的虚拟对象。

示例18：示例17所述的计算机程序产品，检测第一手势输入，包括：检测第一手持电子设备的第一位置，所述第一手持电子设备与所述HMD可操作地耦合；检测第二手持电子设备的第一位置，所述第二手持电子设备与所述HMD可操作地耦合；检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的第一致动；以及，基于检测到的所述第一手持电子设备的第一位置、检测到的所述第二手持电子设备的第一位置以及检测到的所述操纵设备的第一致动，检测所述第一手势输入。

示例19：示例18所述的计算机程序产品，检测第二手势输入包括：在检测到所述第一手势输入后，检测所述操纵设备的所述第一致动的释放；在检测到所述操纵设备的所述第一致动的所述释放的点处检测所述第一手持电子设备的第二位置；在检测到操纵设备的第一动作的释放的点处检测第二手持电子设备的第二位置；以及，基于以下项来设置所述虚拟符号表面的大小或形状中的至少一个：检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及，检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置。

示例20：示例19所述的计算机程序产品，检测第三手势输入和注释所述虚拟符号表面包括：检测所述操纵设备的第二致动；响应于检测到的所述操纵设备的第二致动，跟踪所述第一手持电子设备或所述第二手持电子设备中的至少一个的移动；检测所述操纵设备的所述第二致动的释放；响应于检测到的所述操纵设备的所述第二操纵的释放，终止跟踪所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述移动；使用与在检测到所述操纵设备的所述第二致动和检测到所述操纵设备的所述第二致动的所述释放之间跟踪的所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述移动对应的轮廓来注释所述虚拟符号表面。

已经描述了多个实施例。然而，应该理解，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。

另外，附图中描绘的逻辑流程不需要所示出的特定顺序或依序来实现期望的结果。另外，从所描述的流程，可以提供其他步骤，或者可以消除步骤，并且可以将其他组件添加到所描述的系统或从所描述的系统移除。因此，其他实施例在所附权利要求的范围内。

虽然已经如本文所述说明了所描述的实现的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应该理解的是，所附权利要求旨在覆盖落入实施范围内的所有这些修改和变化。应该理解的是，它们仅作为示例而不是限制被呈现，并且可以进行在形式和细节上的各种改变。本文所述的装置和/或方法的任何部分可以以除互相排斥的组合之外的任何组合进行组合。这里描述的实现可以包括所描述的不同实现的功能、组件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种用于生成虚拟符号表面的方法，包括：

在头戴式显示器设备的显示器上显示虚拟环境；

基于第一手持电子设备的检测到的第一位置和第二手持电子设备的检测到的第一位置来在所述头戴式显示器的外部检测第一手势输入；

响应于检测到所述第一手势输入，生成虚拟符号表面；

基于所述第一手持电子设备的检测到的第二位置和所述第二手持电子设备的检测到的第二位置来在所述头戴式显示器的外部检测第二手势输入；

响应于检测到所述第二手势输入，将所述虚拟符号表面显示为在所述虚拟环境中的虚拟对象；

基于所述第一手持电子设备的检测到的第三位置和所述第二手持电子设备的检测到的第三位置来在所述头戴式显示器的外部检测第三手势输入；

响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及

生成与所注释的虚拟符号表面对应的虚拟对象，以在所述虚拟环境中显示。

2.根据权利要求1所述的方法，其中所述第一手持电子设备与所述头戴式显示器可操作地耦合，以及所述第二手持电子设备与所述头戴式显示器可操作地耦合。

3.根据权利要求2所述的方法，其中检测第一手势输入还包括：

检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的致动。

4.根据权利要求3所述的方法，其中检测第二手势输入包括：

基于检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置，设置所述虚拟符号表面的尺寸或形状中的至少一个。

5.根据权利要求4所述的方法，其中检测第二手势输入还包括：

检测所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述操纵设备的所述致动的释放；以及

响应于检测到所述操纵设备的所述致动的所述释放、所述第一手持电子设备的所述第二位置和在与检测到所述操纵设备的所述致动的所述释放对应的点处检测到的第二手持电子设备的第二位置，设置所述虚拟符号表面的所述尺寸或所述形状中的所述至少一个。

6.根据权利要求1所述的方法，其中检测第三手势输入和注释所述虚拟符号表面包括：

检测和跟踪标记工具的移动；以及

基于检测到的所述标记工具的移动来注释所述虚拟符号表面。

7.根据权利要求6所述的方法，其中基于检测到的所述标记工具的移动来注释所述虚拟符号表面包括：

检测所述标记工具的操纵设备的致动；

响应于检测到的所述操纵设备的致动，启动跟踪所述标记工具的所述移动；

检测所述操纵设备的所述致动的释放；以及

响应于检测到的所述操纵设备的释放，终止跟踪所述标记工具的所述移动。

8.根据权利要求7所述的方法，其中基于检测到的所述标记工具的移动来注释所述虚拟符号表面还包括：

检测与跟踪的所述标记工具的移动对应的轮廓；并且

使用与检测到的所述标记工具的移动的轮廓对应的轮廓来注释所述虚拟符号表面。

9.一种用于生成虚拟符号表面的系统，包括：

被配置为生成虚拟现实环境的计算设备，所述计算设备包括：

存储可执行指令的存储器；以及

处理器，所述处理器被配置为执行所述指令以使所述计算设备：

在头戴式显示器设备的显示器上显示虚拟环境；

基于第一手持电子设备的检测到的第一位置和第二手持电子设备的检测到的第一位置来在所述头戴式显示器的外部检测第一手势输入；

响应于检测到所述第一手势输入，生成虚拟符号表面；

基于所述第一手持电子设备的检测到的第二位置和所述第二手持电子设备的检测到的第二位置来在所述头戴式显示器的外部检测第二手势输入；

响应于检测到所述第二手势输入，将所述虚拟符号表面显示为所述虚拟环境中的虚拟对象；

基于所述第一手持电子设备的检测到的第三位置和所述第二手持电子设备的检测到的第三位置来在所述头戴式显示器的外部检测第三手势输入；

响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及

将注释的虚拟符号表面显示为所述虚拟环境中的虚拟对象。

10.根据权利要求9所述的系统，其中，所述第一手持电子设备与所述头戴式显示器可操作地耦合，以及所述第二手持电子设备与所述头戴式显示器可操作地耦合。

11.根据权利要求10所述的系统，其中，在检测第一手势输入时，所述指令还使所述计算设备：

检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的致动。

12.根据权利要求11所述的系统，其中，在检测第二手势输入时，所述指令使所述计算设备：

基于检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置，设置所述虚拟符号表面的尺寸或形状中的至少一个。

13.根据权利要求12所述的系统，其中，在检测第二手势输入时，所述指令使所述计算设备：

检测所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述操纵设备的所述致动的释放；以及

响应于检测到所述操纵设备的所述致动的所述释放、所述第一手持电子设备的所述第二位置和检测到在与检测到所述操纵设备的所述致动的所述释放对应的点处检测到的第二手持电子设备的第二位置，设置所述虚拟符号表面的所述尺寸或所述形状中的所述至少一个。

14.根据权利要求9所述的系统，其中，在检测第三手势输入和注释所述虚拟符号表面时，所述指令使所述计算设备：

检测和跟踪标记工具的移动；以及

基于检测到的所述标记工具的移动来注释所述虚拟符号表面。

15.根据权利要求14所述的系统，其中，在基于检测到的所述标记工具的移动来注释所述虚拟符号表面时，所述指令使所述计算设备：

检测所述标记工具的操纵设备的致动；

响应于检测到的所述操纵设备的致动，启动跟踪所述标记工具的所述移动；

检测所述操纵设备的所述致动的释放；以及

响应于检测到的所述操纵设备的释放，终止跟踪所述标记工具的所述移动。

16.根据权利要求15所述的系统，其中，在基于检测到的所述标记工具的移动来注释所述虚拟符号表面时，所述指令使所述计算设备：

检测与跟踪的所述标记工具的移动对应的轮廓；并且

使用与检测到的所述标记工具的移动的轮廓对应的轮廓来注释所述虚拟符号表面。

17.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时，使得所述处理器执行用于生成虚拟符号表面的方法，所述方法包括：

在头戴式显示器设备的显示器上显示虚拟环境；

基于第一手持电子设备的检测到的第一位置和第二手持电子设备的检测到的第一位置来在所述头戴式显示器的外部检测第一手势输入；

响应于检测到所述第一手势输入，生成虚拟符号表面；

基于所述第一手持电子设备的检测到的第二位置和所述第二手持电子设备的检测到的第二位置来在所述头戴式显示器的外部检测第二手势输入；

响应于检测到所述第二手势输入，将所述虚拟符号表面显示为在所述虚拟环境中的虚拟对象；

基于所述第一手持电子设备的检测到的第三位置和所述第二手持电子设备的检测到的第三位置来在所述头戴式显示器的外部检测第三手势输入；

响应于检测到所述第三手势输入，注释所述虚拟符号表面；以及

将注释的虚拟符号表面显示为在所述虚拟环境中的虚拟对象。

18.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述第一手持电子设备与所述头戴式显示器可操作地耦合，并且所述第二手持电子设备与所述头戴式显示器可操作地耦合，所述方法进一步包括：

检测所述第一手持电子设备或所述第二手持电子设备中的至少一个的操纵设备的第一致动；以及

基于检测到的所述第一手持电子设备的第一位置、检测到的所述第二手持电子设备的第一位置以及检测到的所述操纵设备的第一致动，检测所述第一手势输入。

19.根据权利要求18所述的非暂时性计算机可读存储介质，其中检测第二手势输入包括：

在检测到所述第一手势输入后，

检测所述操纵设备的所述第一致动的释放；

在检测到所述操纵设备的所述第一致动的所述释放的点处检测所述第一手持电子设备的第二位置；

在检测到所述操纵设备的所述第一致动的所述释放的点处检测第二手持电子设备的第二位置；以及

基于以下项来设置所述虚拟符号表面的大小或形状中的至少一个：

检测到的所述第一手持电子设备的第二位置相对于检测到的所述第一手持电子设备的第一位置，以及

检测到的所述第二手持电子设备的第二位置相对于检测到的所述第二手持电子设备的第一位置。

20.根据权利要求19所述的非暂时性计算机可读存储介质，其中检测第三手势输入和注释所述虚拟符号表面包括：

检测所述操纵设备的第二致动；

响应于检测到的所述操纵设备的第二致动，跟踪所述第一手持电子设备或所述第二手持电子设备中的至少一个的移动；

检测所述操纵设备的所述第二致动的释放；

响应于检测到的所述操纵设备的所述第二致动的释放，终止跟踪所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述移动；

使用与在检测到所述操纵设备的所述第二致动和检测到所述操纵设备的所述第二致动的所述释放之间跟踪的所述第一手持电子设备或所述第二手持电子设备中的所述至少一个的所述移动对应的轮廓，来注释所述虚拟符号表面。

Images