CN108038006A - 头戴显示设备的控制方法、设备及系统 - Google Patents

Abstract

本发明公开一种头戴显示设备的控制方法、设备和系统。该方法包括：头戴显示设备操作系统的管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接；所述管理进程与头戴显示设备的硬件资源建立连接；所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域；所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问。应用该方法可实现头戴显示设备中多个应用程序同时获取传感器数据。

Description

头戴显示设备的控制方法、设备及系统

技术领域

本发明涉及头戴显示设备领域，更具体的，涉及一种头戴显示设备的控制方法、头戴显示设备及头戴显示系统。

背景技术

头戴显示设备例如包括虚拟现实(virtual reality，VR)设备、增强现实(augmented reality,AR)设备或者混合现实(mixed reality)设备等。

在头戴显示设备中运行的应用程序，例如游戏，需要获取头戴显示设备的传感器数据。传感器例如陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器等。在现有的头戴显示设备中，应用程序独占传感器物理通道。这种方式无法满足多个应用程序需要同时获取传感器数据的需求。

发明内容

本发明的目的在于提供一种多个应用程序共享头戴显示设备的硬件资源的新的方法。

根据本发明的第一方面，提供一种头戴显示设备的控制方法，包括：头戴显示设备操作系统的管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接；所述管理进程与头戴显示设备的硬件资源建立连接；所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域；所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问。

可选地，所述硬件资源包括传感器；所述数据包括由所述传感器向内存输出的传感器数据；所述管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接包括：所述管理进程建立第一命名管道实例，用于监听所述多个应用程序的连接请求，

所述管理进程获取所述多个应用程序中的第一应用程序发送的连接请求，并与所述第一应用程序建立管道连接，

所述管理进程再次建立第一命名管道实例，用于监听所述多个应用程序中第一应用程序以外的应用程序的连接请求，所述管理进程获取所述多个应用程序中的第二应用程序发送的连接请求，并与所述第二应用程序建立管道连接，所述管理进程获取所述多个应用程序中的第二应用程序发送的连接请求，并与所述第二应用程序建立管道连接；所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问包括：所述管理进程响应第一应用程序的数据请求，并通过所述第一命名管道实例将所述传感器数据传输至第一应用程序，所述管理进程响应第二应用程序的数据请求，并通过所述第一命名管道实例将所述传感器数据同时传输至第一应用程序和第二应用程序。

可选地，所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域的步骤中还包括：所述管理进程对所述内存中的指定区域设置同步锁，所述同步锁用于控制所述内存中的指定区域在同一时间只能进行读操作或写操作。

可选地，所述硬件资源包括显示屏；所述数据包括由所述多个应用程序向内存输出的显示数据；所述管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接包括：所述管理进程建立多个第二命名管道实例，分别连接所述头戴显示设备运行的多个应用程序中的每个应用程序；所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域包括:所述管理进程设置所述多个应用程序中的每个应用程序输出的显示数据同时存储于内存中的对应区域；所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问包括：所述管理进程通过所述第二命名管道实例获取所述多个应用程序的激活状态，并将当前被激活的应用程序对应的显示数据输出至显示屏。

可选地，所述管理进程设置所述多个应用程序中的每个应用程序输出的显示数据同时存储于内存中的对应区域，所述管理进程将当前被激活的应用程序对应的显示数据输出至显示屏包括：所述管理进程创建显示指引，所述显示指引指示所述多个应用程序所对应的内存区域的地址；所述管理进程创建应用索引，所述应用索引指示当前被激活的应用程序对应的显示指引；所述管理进程将所述应用索引所指向的显示指引所指向的内存区域中的显示数据输出至显示屏。

根据本发明第二方面，提供一种头戴显示设备，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据第一方面所述的方法。

根据本发明第三方面，提供一种头戴显示系统，包括头戴显示设备和主机，所述头戴显示设备包括传感器和显示屏，并用于向主机输出传感器数据和接收主机发送的显示数据；所主机包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据第一方面所述的方法。

本发明实现多个应用程序共享头戴显示设备的硬件资源，提高了系统的运行效率，降低了用户在切换应用程序时的等待时间。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的多个应用程序共享头戴显示设备的硬件资源的方法的流程示意图。

图2示出了本发明实施例提供的头戴显示设备的硬件配置的框图。

图3示出了本发明实施例提供的头戴显示系统的硬件配置的框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出了本发明实施例1提供的头戴显示设备的控制方法的流程示意图，该方法包括以下步骤。

步骤11、头戴显示设备操作系统的管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接。

该管理进程建立第一命名管道实例(第一命名管道实例例如命名为VRSensorShare)，用于监听所述多个应用程序的连接连接请求。在头戴显示设备中约定，如果某个应用程序希望通过管理进程获取头戴显示设备的硬件资源的输出数据(例如传感器输出的传感数据)，那么这个应用程序需要与VRSensorShare这个命名管道实例建立通信连接。

例如，第一应用程序向该管理进程发送连接请求，然后该管理进程与第一应用程序建立管道连接。之后，该管理进程再次建立一个命名为VRSensorShare的命名管道实例。这时出现第二应用程序需要获取传感器数据，第二应用程序会通过VRSensorShare这个命名管道实例与该管理进程建立连接。这样多个应用程序便通过命名为VRSensorShare的命名管道实例与该管理进程建立了通信连接。

步骤12、所述管理进程与头戴显示设备的硬件资源建立连接。

对应前述的例子，头戴显示设备的硬件资源例如包括传感器。传感器例如包括摄像头、6轴传感器、9轴传感器、陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。

管理进程与传感器建立连接，也即是管理进程与传感器建立通信，以获取传感器的传感数据。

步骤13、所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域。

在这个例子中，管理进程在内存中分配一块区域，专门存储传感数据。管理进程实时地将传感器的传感数据存储于内存中的指定区域。

步骤14、所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问。

沿用前述例子，该管理进程相应第一应用程序的数据请求，通过VRSensorShare这个命名管道实例将内存中的传感数据传输至第一应用程序。

如果第一应用程序和第二应用程序同时向该管理进程发出数据请求，那么，管理进程可以通过两个命名为VRSensorShare的命名管道实例将相同的传感数据同时传输至第一应用程序和第二应用程序。

进一步，由于该管理进程需要管理对所述内存区域的读操作和写操作，故该管理进程对所述内存中的指定区域设置同步锁。该同步锁控制所述内存中的指定区域在同一时间只能进行读操作或写操作。

也就是，当该管理进程向所述内存中的指定区域写入传感数据时，不允许应用程序读该内存区域。当该管理进程向应用程序传输传感数据时，传感数据不会写入该内存区域。

应用本实施例所提供的方法，可实现头戴显示设备中的多个应用程序同时读取传感器数据。

图1示出的方法还可应用于控制多个应用程序向头戴显示设备的显示屏输出显示数据。

步骤11、头戴显示设备操作系统的管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接。

该管理进程创建第二命名管道实例(第二命名管道实例例如命名为VRDisplay)，用于监听所述多个应用程序的连接请求。在头戴显示设备中约定，如果某个应用程序希望通过该管理进程向头戴显示设备的硬件资源输出数据(例如显示数据)，那么这个应用程序需要与VRDisplay这个命名管道实例建立通信连接。

例如，第一应用程序向该管理进程发送连接请求，然后该管理进程与第一应用程序建立管道连接。之后，该管理进程再次建立一个命名为VRDisplay的命名管道实例。这时出现第二应用程序需要获取传感器数据，第二应用程序会通过VRDisplay这个命名管道实例与该管理进程建立连接。这样多个应用程序便通过命名为VRDisplay的命名管道实例与该管理进程建立了通信连接。

每个与命名为VRDisplay的命名管道实例连接的应用程序都会通过这个命名管道实例向该管理进程发送它们的激活状态，以通知管理进程本应用程序当前是否被激活。

步骤12、所述管理进程与头戴显示设备的硬件资源建立连接。

这里的硬件资源为接收应用程序输出数据的硬件资源，例如是显示屏。管理进程与显示屏建立通信连接。由管理进程负责将显示数据输出至显示屏。在一些例子中，具体地，管理进程将显示数据输出至头戴显示设备的显卡，由显卡对该显示数据进程处理后输出至显示屏。

步骤13、所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域。

管理进程为每个与该管理进程连接的应用程序在内存中创建一个内存区域，并生成指向该内存区域的显示指引。

例如管理进程将第一应用程序输出的显示数据存储于内存中的第一区域，将第二应用程序输出的显示数据存储于内存中的第二区域，将第三应用程序输出的显示数据存储于内存中的第三区域。

管理进程生成第一显示指引、第二显示指引、第三显示指引。第一显示指引指向第一区域，第二显示指引指向第二区域，第三显示指引指向第三区域。

管理进程进一步可以建立应用索引，该索引指向被激活的应用程序对应的内存区域的显示指引。

步骤14、所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问。

用户切换应用程序时，被激活的应用程序通过第二命名管道实例通知管理进程该应用程序已被激活。管理进程将该应用索引调整至被激活的应用程序的显示指引。管理进程将该显示指引指示的内存区域中的显示数据输出至显示屏。

现有的头戴显示设备中，用户切换应用程序时，会经历被切换的应用程序释放对显示屏的占有和切换后的应用程序重新占有显示屏的过程。这会导致整个头戴显示设备运行的不流畅。而根据本实施例所提供的方法，能够实现用户切换应用程序时，头戴显示设备无需经历被切换的应用程序释放显示屏和切换后的应用程序占有显示屏的过程，实现头戴显示设备的显示屏无缝切换应用程序。

对于本领域技术人员来说，可以通过硬件方式、软件方式或软硬件结合的方式实现前述多个应用程序共享头戴显示设备的硬件资源的方法。基于同一发明构思，参考图2介绍本发明实施例的头戴显示设备，以执行前述多个应用程序共享头戴显示设备的硬件资源的方法。

图2是显示可用于实现本发明的实施例的头戴显示设备的硬件配置的例子的框图，头戴显示设备300包括处理器301、存储器302、传感器303、显示屏304、虚拟图像光学单元305、输入操作单元306、通信单元307、图像处理单元308，等等。

存储器302用于存储指令，所述指令用于控制处理器301进行操作以执行根据前述任一项所述的多个应用程序共享头戴显示设备的硬件资源的方法。

处理器301例如可以是中央处理器CPU、微处理器MCU等。存储器302例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。

传感器303例如摄像头、6轴传感器、9轴传感器、陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器，等等。

显示屏304置在头戴显示设备300上面向用户面部的侧表面，可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

虚拟图像光学单元305以放大方式拍摄显示屏304所显示的图像，并允许用户按放大的虚拟图像观察所显示的图像。一些例子中，虚拟图像光学单元305可以包括透镜单元，例如球面透镜、非球面透镜、菲涅尔透镜等。

输入操作单元306包括至少一个用来执行输入操作的操作部件，例如按键、按钮、开关或者其他具有类似功能的部件，通过操作部件接收用户指令，并且向控制器301输出指令。

通信单元307执行与外部装置(例如智能手机、腕表和用户穿戴的其它多功能终端)的通信处理、调制和解调处理、以及通信信号的编码和解码处理。

图像处理单元308用于执行信号处理，比如与从处理器301输出的图像信号相关的图像质量校正，以及将其分辨率转换为根据显示屏304的屏幕的分辨率。

图2所示的头戴显示设备仅是解释性的，并且决不是为了要限制本发明、其应用或用途。本领域技术人员应当理解，尽管在图2中示出了多个装置，但是，本发明提供的方法可以仅涉及其中的部分装置。本领域技术人员可以根据本发明所公开方案设计指令，指令如何控制处理器进行操作是本领域公知技术，故在此不再详细描述。

图3示出了本发明实施例提供的头戴显示设备系统。系统中的各个元件或单元与图2所示实施例中含义相同，不做赘述。

区别在于图2所示实施例提供的头戴显示设备可以是一体机结构。而图3所示的头戴显示设备为分体结构。

图3所示的头戴显示系统包括两部分：头戴显示设备300a和外部处理系统300b，二者共同构成头戴显示系统。

外部处理系统300b例如是计算机系统、控制手柄等，其与头戴显示设备300a配合使用。

外部处理系统300b又例如是该头戴显示系统的主机，主机可以连接和更换不同的头戴显示设备300a。

图2所示的头戴显示设备及图3所示的头戴显示系统均可实现本公开提供的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可是不是物理上分开的。

另外，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种头戴显示设备的控制方法，其特征在于，包括：

头戴显示设备操作系统的管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接；

所述管理进程与头戴显示设备的硬件资源建立连接；

所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域；

所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问。

2.根据权利要求1所述的方法，其特征在于，

所述硬件资源包括传感器；

所述数据包括由所述传感器向内存输出的传感器数据；

所述管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接包括：

所述管理进程建立第一命名管道实例，用于监听所述多个应用程序的连接请求，

所述管理进程获取所述多个应用程序中的第一应用程序发送的连接请求，并与所述第一应用程序建立管道连接，

所述管理进程再次建立第一命名管道实例，用于监听所述多个应用程序中第一应用程序以外的应用程序的连接请求，

所述管理进程获取所述多个应用程序中的第二应用程序发送的连接请求，并与所述第二应用程序建立管道连接，

所述管理进程获取所述多个应用程序中的第二应用程序发送的连接请求，并与所述第二应用程序建立管道连接；

所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问包括：

所述管理进程响应第一应用程序的数据请求，并通过所述第一命名管道实例将所述传感器数据传输至第一应用程序，

所述管理进程响应第二应用程序的数据请求，并通过所述第一命名管道实例将所述传感器数据同时传输至第一应用程序和第二应用程序。

3.根据权利要求2所述的方法，其特征在于，

所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域的步骤中还包括：

所述管理进程对所述内存中的指定区域设置同步锁，所述同步锁用于控制所述内存中的指定区域在同一时间只能进行读操作或写操作。

4.根据权利要求1所述的方法，其特征在于，

所述硬件资源包括显示屏；

所述数据包括由所述多个应用程序向内存输出的显示数据；

所述管理进程与所述头戴显示设备运行的多个应用程序以命名管道通信的方式建立通信连接包括：

所述管理进程建立多个第二命名管道实例，分别连接所述头戴显示设备运行的多个应用程序中的每个应用程序；

所述管理进程将所述多个应用程序与所述硬件资源之间通信的数据存储于内存中的指定区域包括:

所述管理进程设置所述多个应用程序中的每个应用程序输出的显示数据同时存储于内存中的对应区域；

所述管理进程管理所述多个应用程序与所述硬件资源对所述指定区域的访问包括：

所述管理进程通过所述第二命名管道实例获取所述多个应用程序的激活状态，并将当前被激活的应用程序对应的显示数据输出至显示屏。

5.根据权利要求4所述的方法，其特征在于，

所述管理进程设置所述多个应用程序中的每个应用程序输出的显示数据同时存储于内存中的对应区域，所述管理进程将当前被激活的应用程序对应的显示数据输出至显示屏包括：

所述管理进程创建显示指引，所述显示指引指示所述多个应用程序所对应的内存区域的地址；

所述管理进程创建应用索引，所述应用索引指示当前被激活的应用程序对应的显示指引；

所述管理进程将所述应用索引所指向的显示指引所指向的内存区域中的显示数据输出至显示屏。

6.一种头戴显示设备，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。

7.一种头戴显示系统，包括头戴显示设备和主机，其特征在于，

所述头戴显示设备包括传感器和显示屏，并用于向主机输出传感器数据和接收主机发送的显示数据；

所主机包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行根据权利要求1-5任一项所述的方法。