CN112218068B - 头戴式显示器中的环境中断以及非视野不动产的利用 - Google Patents

Abstract

一种可穿戴计算装置包括头戴式显示器(HMD)，其生成虚拟现实环境。通过位置数据的生成和追踪，所述虚拟环境可以中断或暂停。在暂停所述环境时，用户便可以访问在所述虚拟环境的正常操作期间无法以其他方式使用的许多辅助菜单和控件。

Description

头戴式显示器中的环境中断以及非视野不动产的利用

本申请是申请日为2015年1月12日、申请号为201580005727.1的发明专利申请“头戴式显示器中的环境中断以及非视野不动产的利用”的分案申请。

技术领域

本发明一般来说涉及具有头戴式显示器(HMD)的可穿戴虚拟现实(VR)计算装置。更具体地说，本发明涉及HMD中的视野中的中断操作以及利用HMD中的非视野不动产。

背景技术

可穿戴VR系统集成各种元件，如输入装置、传感器、检测器、图像显示器和无线通信部件以及图像和音频处理器。通过接近于穿戴者的眼睛来安放图像显示元件，可以使得人工图像重叠现实世界的视线或者完全自行建立独立的现实。此类图像显示元件并入到也被称为头戴式显示器(HMD)的系统中。取决于显示元件的大小以及离穿戴者眼睛的距离，在显示器上提供的人工图像可以充满或几乎充满穿戴者的视野。

并入有HMD的VR系统是可移动且轻便的，同时允许与虚拟环境的通信和交互。然而，此类系统一般是不足的，原因在于它们仍需要使用独立控制器来进行虚拟环境的导航。从这个意义来说，大多数HMD不过是允许进入VR环境的护目镜。本领域中需要在不引入独立控制器装置的情况下进行VR环境的导航和控制，尤其是针对以自然和非侵入方式进行的环境中断操作。还需要在所述VR环境中最佳地利用非视野“不动产”。

发明内容

本发明的实施方案包括用于中断头戴式显示器中的虚拟环境的系统和方法。可以存储关于至少一个控制设置的信息，所述至少一个控制设置将功能与头戴式显示器的位置变化相关联。头戴式显示器可以被校准来识别起始位置。追踪头戴式显示器的移动的位置数据可以被生成。头戴式显示器的当前位置可以被确定来指示从起始位置的、超过控制设置的位置变化的变化。然后，可以执行与控制设置相关联的功能，所述功能可以涉及通过暂停环境来中断头戴式显示器中的虚拟环境。

本文主张一种用于中断头戴式显示器中的虚拟环境的方法。此类方法可以包括：存储关于至少一个控制设置的信息，所述至少一个控制设置将功能与头戴式显示器的位置变化相关联；校准头戴式显示器以便识别起始位置；生成位置数据，所述位置数据追踪头戴式显示器的移动；确定头戴式显示器的当前位置指示从起始位置的、超过控制设置的位置变化的变化；以及执行与控制设置相关联的功能，其中所述功能包括通过暂停环境来中断头戴式显示器中的虚拟环境。

其他实施方案包括用于中断头戴式显示器中的虚拟环境的系统。此类系统可以包括：存储器，其存储关于至少一个控制设置的信息，所述至少一个控制设置将功能与头戴式显示器的位置变化相关联；陀螺仪、磁力计和加速度计中的至少一个，其校准头戴式显示器并且生成追踪头戴式显示器的移动的位置数据，其中识别头戴式显示器的起始位置；处理器，其执行存储在存储器中的指令，以便确定头戴式显示器的当前位置指示从起始位置的、超过控制设置的位置变化的变化并且执行与控制设置相关联的功能；以及头戴式显示器，其包括至少一个透镜以便显示虚拟环境，其中所述功能的执行通过暂停所述环境来中断所述环境。

本发明的实施方案还可以包括非暂时性计算机可读存储介质，其上体现有程序，所述程序可由处理器执行以便进行如本文中所述的、中断头戴式显示器中的虚拟环境的方法。

附图说明

图1示出示例性可穿戴计算装置的框图。

图2A示出将穿戴者完全浸没在虚拟现实环境中的HMD。

图2B示出允许生成VR信息而同时维持现实世界的感知的HMD。

图3示出VR环境中的中断的示例性实现方式。

图4示出用于实施VR环境中的中断的方法。

图5示出使用非视野不动产来提供VR环境的辅助信息。

具体实施方式

本发明的实施方案包括用于中断头戴式显示器中的虚拟环境的系统和方法。可以存储关于至少一个控制设置的信息，所述至少一个控制设置将功能与头戴式显示器的位置变化相关联。头戴式显示器可以被校准来识别起始位置。追踪头戴式显示器的移动的位置数据可以被生成。头戴式显示器的当前位置可以被确定来指示从起始位置的、超过控制设置的位置变化的变化。然后，可以执行与控制设置相关联的功能，所述功能可以涉及通过暂停环境来中断头戴式显示器中的虚拟环境。

图1示出示例性可穿戴虚拟现实系统100的框图。在与外部计算装置110通信的情况下，可穿戴虚拟现实系统100可以包括USB接口120、无线通信接口130、陀螺仪140、加速度计150、磁力计160、数据储存器170、处理器180和头戴式显示器(HMD)200。

头戴式显示器(HMD)200允许其穿戴者观察现实世界周围事物、所显示的计算机生成图像或这两者的组合。HMD 200在一些实施方案中可以包括透视显示器。可穿戴虚拟现实系统100的穿戴者在此类实施方案中可能能够浏览HMD 200并且观察现实世界环境的一部分，尽管存在可穿戴虚拟现实系统100。另一实施方案中的HMD 200可以被操作来显示叠加在视野上的图像以便提供“增强现实”体验。由HMD 200显示的图像中的一些可以相对于视野中的特定对象来叠加或呈现。在又一实施方案中，HMD 200可以是完全虚拟的环境，据此可穿戴虚拟现实系统100的穿戴者从与现实世界的任何视觉接触隔离。

所显示图像可以包括图形、文本和/或视频；可以通过对应音频装置来提供音频。由HMD显示的图像可以是交互式用户界面的一部分，并且包括菜单、选择框、导航图标或使得穿戴者能够调用可穿戴计算装置的功能或者以其他方式与可穿戴计算装置交互的其他用户界面特征。HMD 200的形式因素可以是眼镜、护目镜、头盔、帽子、面罩、头带的形式因素，或者呈可以支撑在穿戴者的头部上或从其处支撑的某个其他形式。

为了向穿戴者显示虚拟图像，HMD可以包括光学系统，所述光学系统具有照亮显示面板的光源，如发光二极管(LED)。显示面板可以包括液晶显示面板(LCD)。显示面板可以通过空间地调制来自光源的光来生成光图案，并且图像形成器从光图案中形成虚拟图像。或者，所述面板可以是硅基液晶(LCOS)，据此液晶层可以位于硅背板的顶部上。

示例性实施方案中的HMD包括具有不重叠立体3D图像的7英寸屏，据此左眼看到向左的额外区域并且右眼看到向右的额外区域。HMD尝试模拟正常人类视觉，其并不是100％重叠的。示例性实施方案中的视野大于水平90度(对角线110度)，从而大致充满视线的整个视野，从而使得实现世界可以完全被遮挡以便产生强烈的浸没感。

一个实施方案可以利用1280×800(纵横比为16:10)，从而允许每只眼睛640×800的有效率、4:5的纵横比。在不允许眼睛之间的完全重叠的一个实施方案中，所组合的水平分辨率有效地大于640。针对每只眼睛的显示图像是销式缓冲的，从而为每只眼睛生成球形映射图像。

HMD 200可以与外部计算装置110通信。外部计算装置110包括应用服务器、数据库以及本领域已知的其他外部计算部件，包括标准硬件计算部件，如网络和媒体接口、非暂时性计算机可读储存器(存储器)和用于执行指令或者访问可以存储在存储器中的信息的处理器。

可穿戴虚拟现实系统100在一些情形中可以物理地连接到外部计算装置110。此类连接可以借助USB接口120来实施，所述USB接口120可以用来借助USB兼容缆线向外部计算装置110发送数据和从其接收数据。USB接口120也可以用来对可穿戴虚拟现实系统100供电，从而潜在地消除对于外部电源以及与所述外部电源相关联的任何电力缆线的需求。在一些情形中，另一电源适配器(未图示)可能对于借助USB接口120来实施电力而言是必需的。应理解的是，对USB的参考是示例性的，因为可以使用其他类型的接口，包括但不限于FireWire、Lightning以及其他电缆连接标准，如HDMI和DVI。

图1的可穿戴虚拟现实系统100包括无线通信接口130。无线通信接口130可以用于与外部计算装置110无线通信。无线通信接口130也可以用于与其他可穿戴计算装置100通信。无线通信接口130可以利用任何数量的无线通信标准，所述无线通信标准支持基于分组的网络(如互联网)上的双向数据交换。示例性通信标准包括CDMA、GSM/GPRS、4G蜂窝、WiMAX、LTE和802.11(WiFi)。

可穿戴虚拟现实系统100可以包括三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个。陀螺仪140可以用来基于角动量的原理测量方位。加速度计150可以用来检测作为向量的加速度的量值和方向。这个结果可以用来感测方位，因为重量变化的方向、坐标加速度与重力或重力变化以及借助固有加速度的变化而在阻性介质中产生的振动、冲击和下降相关。磁力计160可以用来识别相对于可穿戴虚拟现实系统100的磁场中的扰动。磁力计160可以帮助识别GPS和罗盘应用的真北以及帮助无触摸或无相机的手势输入。通过利用从前述内容中生成的数据，可以计算相对于地球没有偏移的绝对头部方位追踪。延时追踪可以在大致1000Hz下运作以便减少响应时间并且增加感知到的真实性。可穿戴虚拟现实系统100的显示器可以经过调节以便允许单独显示器移动到更远离或更接近穿戴者眼睛的地方。

可穿戴虚拟现实系统100可以通过存储在数据储存器170中的非暂时性计算机可读指令的执行来运作，其中执行是通过处理器180的操作来发生。虽然图1将数据储存器170和处理器180示出为存在于可穿戴虚拟现实系统100处，但是此类元件可以位于外部计算装置110中，或者在一些情形中，具有分布在这两者之间的可执行操作。处理器180以及数据储存器170处的可执行指令也可以控制USB接口120、无线接口130、陀螺仪140、加速度计150和磁力计160的各方面。

图2A示出将穿戴者完全浸没在虚拟现实环境中的HMD 200。虽然图2A示出为浸没式护目镜，但是其他形式因素也是可能且可预想的。图2A中的元件的操作与图2B的情境中所论述的那些元件相同。图2A包括头戴式支撑件210，其允许可穿戴虚拟现实系统100(包括HMD 200)定位在穿戴者的头部上。HMD 200还包括透镜显示器220A和220B，其可以是如上文所述的LCD或LCOS构造。透镜显示器220A和220B可以是可穿戴虚拟现实系统100的集成部分。

可穿戴虚拟现实系统100的制造可以允许部件(如图1中所示出的那些部件)的集成，并且各种部件进行互连以便内部集成。其他部件可以位于可穿戴虚拟现实系统100的外部上以便允许更轻易地访问或物理连接到外部计算装置110。可穿戴虚拟现实系统100的一个实施方案可以包括麦克风以便允许与利用可穿戴虚拟现实系统100的其他个人进行语音通信或者允许系统100的某些免提控制。

图2B示出允许生成虚拟现实信息而同时维持现实世界的感知的HMD 200。此类双重感知是通过将穿戴者不完全浸没在虚拟环境的界限内来提供(即，现实世界仍可以被看到和感知)。虽然图2B的HMD200示出为简单的带子，但是其他形式因素也是可能且可预想的。图2B上的元件的操作与图2A的情境中所论述的那些元件相同。

图3示出VR环境中的中断的示例性实现方式。如图所示，HMD200的用户310看得“很全面”或者看到VR环境320的“死点”，VR环境320的中心由准线330来反映。应注意的是，准线330仅出于帮助说明的目的而展现，而且并非确实存在于VR环境320中，尽管可能的是，方位的标记可以由HMD 200相对于虚拟环境320来显示。如由准线330和用户的视线(340)所反映的，两者可以相对地平行于彼此。

虽然准线330在VR环境中不是必须示出的要素，但是准线330可以在用户310第一次将HMD 200安装到他们的头部时通过校准所述HMD来确定。通过利用三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个所生成的信息，可穿戴虚拟现实系统100可以计算用户的“起始”或“中间”位置以及VR环境，用户310的头部以及广而言之HMD 200的进一步运动从所述VR环境中来判定。此类校准可以在操作开始时、在手动复位期间或者响应于通过可穿戴虚拟现实系统100自动确定位置信息已经“偏移”或不再适当地相关来发生，从而使得需要重新校准。此类确定可以通过由处理器180运行存储在存储器170上的软件来发生。

现在转向图3中的用户350，此类用户(其与用户310是相同用户但是简单地使他们的头部转动大致45度)已经转动他们的头部，从而使得他们的视线不再沿着如在上述校准过程中建立的准线330而平行。新的视线340₁反映出视线现在偏向原始建立的准线330的右侧大致45度(360)。通过利用三维轴陀螺仪140、加速度计150和磁力计160中的一个或多个所生成的信息，可穿戴虚拟现实系统100可以计算视线340₁已经从用户的“开始”或“中间”位置变化了多远并且这被用来建立准线330。

如同准线330一样，角度360被示出来帮助理解环境中断或“暂停”特征的实现方式，据此环境中的活动被中断或搁置以便允许某个其他功能，包括但不限于菜单导航。而且也如同准线330一样，角度360可以在虚拟环境320中作为图形重叠的一部分以视觉方式向用户示出。这个信息可以显示为展示角度从中心准线330的实际变化的几何图示显示，或者仅显示为用户相对于中心330转动他们的头部的度数(例如，12度)的数字指示符。

应注意的是，虽然本发明的一个实施方案借助如图3中所示、用户转动他们的头部超过特定角度来具体地解决“中断”或“暂停”功能性，但是其他功能性也可以与位置变化相关联(例如，保存功能、复位功能、重启功能)。在这点上，中断或“暂停”功能是示例性的。此外，一个实施方案可以实施具有不同功能的不同角度。例如，“暂停”可以在偏离中心330 20度后实施，而保存可以在离中心330 30度后实施，并且在离中心330 45度后实施重启。那些功能的实施可以在度数变化达到时或者在用户使他们的头部处在特定位置变化中持续预定时间段后即刻发生。

图4示出用于实施VR环境中的中断的方法400。图4的方法400可以体现为非暂时性计算机可读存储介质中的可执行指令，所述非暂时性计算机可读存储介质包括但不限于CD、DVD或非易失性存储器，如硬盘驱动器。此类方法论可以由执行体现在存储器170中的非暂时性计算机可读指令的处理器180来实施。处理器180和存储在存储器170中的软件可以利用从系统100的各种其他部件(包括三维轴陀螺仪140、加速度计150和磁力计160)所获取的数据。图4中所标示的步骤(及其顺序)是示例性的并且可包括各种替代物、等效物或其衍生物，包括但不限于它们的执行次序。

在步骤410中，可以开始校准过程。所述校准可以在可穿戴虚拟现实系统100启动时发生，或者响应于在系统100的背景下发起特定应用而发生。用户也可以请求手动校准，或者系统100可能由于位置偏移而需要手动校准。

响应于校准过程，在步骤420中接收来自三维轴陀螺仪140、加速度计150和磁力计160的信息。这个信息将用来确定中间或“静止”位置，所有其他角度计算将从所述位置中根据情境来判断。这个确定可以(例如)对应于如图3的情境中所论述的准线330。测量和计算可以在X以及Y轴上发生。在这点上，“暂停”或其他功能可以不仅通过沿着X轴的移动而且通过沿着Y轴的移动或甚至这两者的组合(例如，用户向右提高他们的头部并且超过某个位置)来引入。

在步骤430中，可以相对于步骤420中生成的位置数据来设置各种控制。准线330的中间位置以及各种功能可以确认，如果HMD 200的位置数据指示用户已经转动他们的视线超过特定角度，那么便可以实施所述各种功能，所述转动可以包括沿着一个或多个特定轴线。在一些情形中，各种功能可以实施用于增加变化角度。时间段也可以实施，据此用户必须在给定时间段内沿着特定轴线改变他们的视线超过特定角度。

在步骤440中，HMD 200的追踪通过使用三维轴陀螺仪140、加速度计150和磁力计160等生成的信息来开始。在整个追踪过程上，针对HMD 200的位置数据是否指示其已经超过步骤430中设置的限制或控制中的一个来做出连续检查。例如，并且如图3中所示，针对用户是否已经移动他们的头部并且因此他们的视线340是否相对于中间准线330超过特定控制角度来做出判定。如果所述角度尚未超过(或在预定时间段内未超过)，那么追踪便在步骤440处继续，并且在步骤450处继续做出相对于来自步骤430的设置的检查。然而，如果用户已经在特定时间段内沿着特定轴线超过位置设置(或步骤430处控制的任何其他设置)，那么便可以在步骤460处实施对应功能性，如“暂停”。

图5示出使用非视野不动产来提供VR环境的辅助信息。可以确定用户已经转动他们的视野超过中间或中心设置，诸如在图3的情境中所论述的。因为用户已经暂停HMD 200所显示的VR环境，所以用户现在可以参加不动产区域中的其他活动，所述区域不是VR环境中的直接部分并且通常将归入到用户视线的“外围视觉”区域。

例如，这个区域可以包括与VR环境或当前执行来生成VR环境的应用有关的各种菜单和控件。其还可以包括关于VR环境的数据，如在环境中发生的活动的状态(例如，得分、健康、库存等等)。外围区域不动产也可以包括关于系统100或系统100的HMD 200的状态信息。广告也可以显示在这个区域中。其他应用也可以在这个区域中执行，如视频呼叫、消息或其他实时通信。通过将这个空间用于此类数据并且允许用户在暂停状态期间访问所述数据，VR环境中的主要视线区域可以被更好地利用。

本发明可以实施在可使用各种装置进行操作的应用中。非暂时性计算机可读存储介质是指参与将指令提供给中央处理器(CPU)而用于执行的任何一种或多种介质。此类介质可采取许多形式，包括但不限于非易失性和易失性介质，分别诸如光盘或磁盘和动态存储器。非暂时性计算机可读介质的常见形式包括(例如)软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM光盘、数字视频光盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、快闪EPROM以及任何其他存储芯片或存储匣。

各种形式的传输介质可以涉及将一个或多个指令的一个或多个序列载送至CPU而用于执行。总线将数据载送至系统RAM，CPU从所述系统RAM中检索并执行指令。系统RAM所接收的指令可以在由CPU执行之前或之后任选地存储在固定盘上。同样地，可以实施各种形式的储存器，以及必要的网络接口和用以实施所述网络接口的网络拓扑。

虽然上文已描述了各种实施方案，但应了解，所述实施方案仅以举例的方式而不是以限制性的方式来展现。描述内容并不意图将本发明的范围限制于本文所陈述的特定形式。因此，优选实施方案的广度和范围不应受任何上述示例性实施方案的限制。应了解，以上描述是说明性的而不是限制性的。相反地，目前的描述内容意图涵盖可包括在如所附权利要求书所限定的和本领域普通技术人员以其他方式所理解的本发明精神和范围内的替代方案、修改和等效物。因此，不应参照上文的描述来确定本发明的范围，而是应参照所附的权利要求书以及其等效物的全部范围来确定本发明的范围。

Claims (15)

1.一种用于在虚拟环境中执行功能的方法，所述方法包括：

将控制设置存储在存储器中，所述控制设置将多个不同功能与从准线测量的头戴式显示器的位置变化的不同对应角度相关联；

校准所述头戴式显示器的中间位置，以建立所述准线，其中所述校准使用一个或多个传感器执行；

监控与所述头戴式显示器相关联的位置数据，其中监控的位置数据通过所述一个或多个传感器获得并且指示用户的视线从所述准线偏离的角度；

将由所述头戴式显示器的所述监控的位置数据指示的所述角度与关联于所述控制设置中的一个控制设置的对应角度进行比较；并且

当由所述头戴式显示器的所述监控的位置数据指示的所述角度被识别为超过所述对应角度持续至少预定时间段时，执行与所述对应角度相关联的对应功能。

2.如权利要求1所述的方法，其中用于校准所述中间位置的所述一个或多个传感器包括三维轴陀螺仪、加速度计，以及磁力计。

3.如权利要求1所述的方法，其中校准所述头戴式显示器的所述中间位置包括确定沿y轴的初始位置。

4.如权利要求1所述的方法，其中校准所述头戴式显示器的所述中间位置包括确定沿x轴的初始位置。

5.如权利要求1所述的方法，其中校准所述头戴式显示器的所述中间位置包括确定沿y轴和x轴两者的初始位置。

6.如权利要求1所述的方法，其中执行的功能包括通过暂停所述环境中断与所述头戴式显示器相关联的虚拟环境。

7.如权利要求1所述的方法，进一步包括在视觉区域内生成相应的菜单功能，以供用户根据所述执行的功能使用所述头戴式显示器查看。

8.一种用于在虚拟环境中执行功能的系统，所述系统包括：

存储器，其存储控制设置，所述控制设置将多个不同功能与从准线测量的头戴式显示器的位置变化的不同对应角度相关联；

一个或多个传感器，用于：

校准所述头戴式显示器的中间位置，以建立所述准线，以及

监控与所述头戴式显示器相关联的位置数据，监控的位置数据指示用户的视线从所述准线偏离的角度；以及

处理器，所述处理器执行存储在存储器中的指令以：

将由所述头戴式显示器的所述监控的位置数据指示的所述角度与关联于所述控制设置中的一个控制设置的对应角度进行比较；以及

当由所述头戴式显示器的所述监控的位置数据指示的所述角度的被识别为超过所述对应角度持续至少预定时间段时，执行与所述对应角度相关联的对应功能。

9.如权利要求8所述的系统，其中用于校准所述中间位置的所述一个或多个传感器包括三维轴陀螺仪、加速度计和磁力计。

10.如权利要求8所述的系统，其中所述传感器通过确定沿y轴的初始位置校准所述头戴式显示器的所述中间位置。

11.如权利要求8所述的系统，其中所述传感器通过确定沿x轴的初始位置校准所述头戴式显示器的所述中间位置。

12.如权利要求8所述的系统，其中所述传感器通过确定沿y轴和x轴二者的初始位置校准所述头戴式显示器的所述中间位置。

13.如权利要求8所述的系统，其中执行的功能包括通过暂停所述环境中断与所述头戴式显示器相关联的虚拟环境。

14.如权利要求8所述的系统，其中所述处理器进一步执行指令以在视觉区域内生成相应的菜单功能，以供用户根据所述执行的功能使用所述头戴式显示器查看。

15.一种其上体现程序的非暂时性计算机可读存储介质，所述程序可由处理器执行，以执行一种在虚拟环境中执行功能的方法，所述方法包括：

将控制设置存储在存储器中，所述控制设置将多个不同功能与从准线测量的头戴式显示器的位置变化的不同对应角度相关联；

校准所述头戴式显示器的中间位置，以建立所述准线，其中所述校准使用一个或多个传感器执行；

监控与所述头戴式显示器相关联的位置数据，其中监控的位置数据通过所述一个或多个传感器获得并且指示用户的视线从所述准线偏离的角度；

将由所述头戴式显示器的所述监控的位置数据指示的所述角度与关联于所述控制设置中的一个控制设置的对应角度进行比较；并且

当由所述头戴式显示器的所述监控的位置数据指示的所述角度被识别为超过所述对应角度持续至少预定时间段时，执行与所述对应角度相关联的对应功能。