CN109598797A - 可支持虚拟现实应用程序的混合现实系统及其显示方法 - Google Patents

Abstract

本发明提供一种可支持虚拟现实应用程序的混合现实系统及其显示方法，其中混合现实系统包括处理装置及混合现实头戴装置，处理装置提供可执行虚拟现实内容的第一应用程序界面及可执行混合现实内容的第二应用程序界面。此方法包括由处理装置取得第一虚拟现实内容，通过第二应用程序界面将混合现实头戴装置所需的画面相关设定告知第一应用程序界面，通过第一应用程序界面根据画面相关设定示出第一虚拟现实内容对应的第一图形数据并建立共享控制代码以传送至第二应用程序界面，通过第二应用程序界面通过共享控制代码显示第一图形数据于混合现实头戴装置。

Description

可支持虚拟现实应用程序的混合现实系统及其显示方法

技术领域

本发明涉及一种混合现实系统及其显示方法，尤其涉及一种可支持虚拟现实应用程序的混合现实系统及其显示方法。

背景技术

混合现实是将现实世界与虚拟世界结合，以创造出新的环境，其中现实世界中的物件能够与虚拟世界中的物件共同存在并且产生即时的互动。目前市面上的混合现实应用程序主要是建构在通用Windows平台(Universal Windows Platform，UWP)上，但其所提供的混合现实内容(mixed reality content)数量较少，因而降低了消费者的使用意愿。

发明内容

有鉴于此，本发明提供一种可支持虚拟现实应用程序的混合现实系统及其显示方法，其可以低成本的硬件设备结合虚拟现实平台进而提升建立混合现实产品的优势。

在本发明的一实施例中，上述的混合现实系统的显示方法适用于包括处理装置以及混合现实头戴装置的混合现实系统，其中处理装置提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，第二应用程序界面关联于混合现实头戴装置。此方法包括由处理装置取得第一虚拟现实内容，由处理装置通过第二应用程序界面告知第一应用程序界面有关于混合现实头戴装置所需的画面相关设定，由处理装置通过第一应用程序界面根据画面相关设定示出对应于第一虚拟现实内容的第一图形数据，由处理装置通过第一应用程序界面建立关联于第一图形数据的共享控制代码(sharehandle)并且传送共享控制代码至第二应用程序界面，以及由处理装置通过第二应用程序界面通过共享控制代码显示第一图形数据于混合现实头戴装置。

在本发明的一实施例中，上述的混合现实系统包括处理装置以及混合现实头戴装置，其中处理装置连接于混合现实头戴装置并且提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，其中第二应用程序界面关联于混合现实头戴装置。处理装置用以执行上述的混合现实系统的显示方法。

在本发明的一实施例中，上述的混合现实系统包括处理装置以及混合现实头戴装置，其中处理装置内建于混合现实头戴装置并且提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，其中第二应用程序界面关联于混合现实头戴装置。处理装置用以执行上述的混合现实系统的显示方法。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为根据本发明一实施例所示出的混合现实系统的方块图。

图2为根据本发明的一实施例所示出的混合现实系统的显示方法的流程图。

图3为根据本发明的一实施例所示出的混合现实系统的显示方法的功能方块图。

附图标记说明

100：混合现实系统

110：处理装置

120：混合现实头戴装置

S202～S210、S302～S312：步骤

351：OpenVR应用程序界面

353：OpenVR D3D

360：DirectX 3D Runtime

361：UWP混合现实应用程序界面

363：UWP D3D

SH：共享控制代码

TD：图形数据

具体实施方式

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的方法与系统的范例。

图1为根据本发明一实施例所示出的混合现实系统的方块图。首先图1先介绍混合现实系统的所有构件以及配置关系，详细功能将配合图2一并揭示。

请参照图1，混合现实系统100包括处理装置110以及混合现实头戴装置120。

在本实施例中，处理装置110可以是具有运算能力并且具有处理器的运算装置，例如是文件伺服器、数据库伺服器、应用程序伺服器、工作站、个人电脑、笔记型电脑等。处理器可以是北桥(north bridge)、南桥(south bridge)、场式可程序门阵列(fieldprogrammable array，FPGA)、可程序化逻辑装置(programmable logic device，PLD)、特殊应用集成电路(application specific integrated circuits，ASIC)、中央处理单元(central processing unit，CPU)、应用处理器(application processor，AP)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignal processor，DSP)、图形处理器(graphics processing unit，GPU)、其他类似装置或这些装置的组合。处理装置110可执行混合现实内容以将虚拟的场景、物体以及角色融入现实之中，创造出崭新的环境，并且其可与混合现实头戴装置120进行沟通，以让使用者得以在混合现实世界中进行互动。

本领域技术人员应明了，处理装置110还包括数据存储装置以及通讯界面。数据存储装置可以是任意型式的非暂态性、易失性、非易失性的存储器，其用以存储缓冲数据、永久数据以及用来执行处理装置110的功能的编译程序码。此外，数据存储装置可以是可被处理装置110存取的外接硬盘、云端存储或是其它外接记录装置。通讯界面可以是支持任何有线连接或是无线通讯标准以与其它装置进行连线。

混合现实头戴装置120可以是具有内建头部追踪系统的头戴显示器或是眼镜。混合现实头戴装置120至少包括整合显示器、动作传感器、定位器以及通讯界面。显示器例如是液晶显示器(liquid-crystal display，LCD)、发光二极管(light-emitting diode，LED)显示器或其他类似装置。动作传感器可以是加速度计(例如：重力传感器)、陀螺仪(例如：陀螺仪传感器)或任何可检测混合现实头戴装置120的线性移动以及旋转移动的传感器。定位器可以是图像传感器、深度传感器及其组合来实现混合现实头戴装置120的定位。通讯界面可以是支持任何有线连接或是无线通讯标准以与处理装置110进行数据传输。

在本实施例中，混合现实头戴装置120会将所感测到的数据通过通讯界面以现有的无线或有线方式输出至处理装置110，而处理装置110会将混合现实内容传送给虚拟现实头戴装置120的显示器呈现。在另一实施例中，处理装置110可与混合现实头戴装置120整合为单一装置，也就是处理装置110将内建于混合现实头戴装置120而成为整合式全功能(all-in-one)的系统，本发明不在此设限。

在本实施例中，处理装置110可提供第一应用程序架构平台以及第二应用程序架构平台，而两个架构平台并不相容。在此，第一应用程序界面可于第一应用程序架构平台上执行虚拟现实内容，而第二应用程序界面可于第二应用程序架构平台上执行混合现实内容并且将其显示于混合现实头戴装置120。此外，假设第一应用程序架构平台以及第二应用程序架构平台皆有各自的多媒体应用程序界面，而两者底层的执行环境(runtime)是共通的。

以下即搭配图1的混合现实系统100的各元件列举实施例，以图2为根据本发明的一实施例所示出的混合现实系统的显示方法的流程图来说明混合现实系统100支持虚拟现实内容的详细步骤。

请同时参照图1以及图2，首先处理装置110将取得第一虚拟现实内容(步骤S202)。在此的第一虚拟现实内容可以是处理装置110自第三方商店的虚拟现实内容平台所下载的游戏、电影等虚拟现实内容。在其它实施例中，第一虚拟现实内容也可以是预先存储于处理装置110的存储器或者是自其它装置、存储媒体所接收。

接着，处理装置110将通过第二应用程序界面告知第一应用程序界面有关于混合现实头戴装置120所需的画面相关设定(步骤S204)。详细来说，由于第一虚拟现实内容是基于第一应用程序界面所绘制，因此第二应用程序界面将告知第一应用程序界面有关于混合现实头戴装置120所需要的虚拟空间度量、画面解析度等等相关设定，以确保最终显示于混合现实头戴装置12的图像达到良好的视觉化效果。

之后，处理装置110将通过第一应用程序界面根据混合现实头戴装置120所需的画面相关设定示出对应于第一虚拟现实内容的第一图形数据(步骤S206)。在此，第一应用程序界面可利用多媒体应用程序界面中的3D绘图编程界面，示出出对应于混合现实头戴装置120左右眼各自的图形数据(即，第一图形数据)。

接着，处理装置110将建立关联于第一图形数据的共享控制代码，并且将共享控制代码传送至第二应用程序界面(步骤S208)，其中共享控制代码即代表第一图形数据的识别元以及对于第一图形数据的特定存取权限。基此，处理装置110将通过第二应用程序界面通过共享控制代码将第一图形数据显示于混合现实头戴装置120(步骤S210)。也就是说，第二应用程序界面可通过共享控制代码直接使用第一应用程序界面所示出的第一图形数据，并且将其显示在混合现实头戴装置120的左右眼。

值得一提的是，一般现有在进行图像串流传输时往往会进行编码以及解码程序。当图像串流的品质越高，编码以及解码所耗费的系统资源也相应地越大。此外，基于编码后所输出的图像串流为固定的解析度、数据格式，接收端除了需将编码后的图像串流进行解码外，还需要依据接收端的显示器针对每一张图像进行额外的光学、色彩校正、变形处理等程序。另一方面，在本实施例中，由于第二应用程序界面是直接取得来自第一应用程序界面依照混合现实头戴装置120所需的画面相关设定所示出的原始第一图形数据，因此不需要再进行额外的编码、解码程序以及图像校正，以大幅减少效能损耗。此外，第二应用程序界面仍可再选择性地针对所接收到的第一图形数据进行图像变形、数据格式再做进一步的调整，以达到更完整的适应性图像处理的效果。

以下将以图3根据本发明的一实施例所示出的混合现实系统的显示方法的功能方块图来说明图2所提出的方法如何实际地应用于微软Windows作业系统中。在此先说明的是，目前微软所提供的混合现实程序(Windows mixed reality App)是建构在通用Windows平台(Universal Windows Platform，UWP)上，但其所提供的混合现实内容数量较少。另一方面，目前具有最多虚拟现实内容的平台为Steam数字游戏平台，然而其所支持的硬件设备为需要有一定空间来架设定位器的虚拟现实系统，以对虚拟现实头戴装置进行追踪，并且较适于执行于Win32等一般传统型应用程序架构平台。也就是说，部分程序在Win32架构平台与UWP平台上有不相容的情况。在本实施例中，假设前述的第一应用程序架构平台为Win32，而第二应用程序架构平台为UWP。此外，假设第一应用程序界面为可于Win32架构平台上执行的OpenVR应用程序界面，而第二应用程序界面为可于UWP架构平台上执行的UWP混合现实应用程序界面，其中两个架构平台各自的多媒体应用程序界面DirectX，而两者底层的执行环境是共通的。

请同时参照图1以及图3，假设处理装置110已从例如是Steam数字游戏平台取得虚拟现实内容。首先，UWP混合现实应用程序界面361将告知OpenVR应用程序界面351有关于混合现实头戴装置120所需的画面相关设定(步骤S302)。接着，OpenVR应用程序界面351将使用DirectX中的3D绘图编程界面OpenVR D3D 353示出左右眼的图形数据TD(步骤S304)。基于底层的执行环境DirectX 3D Runtime 360为共通，OpenVR应用程序界面351建立左右眼的图形数据的共享控制代码SH(步骤S306)，以传送给DirectX中的3D绘图编程界面UWP D3D363(步骤S308)。接着，UWP D3D 363将通过共享控制代码SH直接使用OpenVR D3D 353所示出左右眼的图形数据TD(步骤S310)，并且将左右眼的图形数据TD显示于混合现实头戴装置120(步骤S312)。步骤S302～S312的详细细节请参照图2的相关对应，与此不再赘述。

综上所述，本发明所提出可支持虚拟现实应用程序的混合现实系统及其显示方法，其利用不同架构平台下底层的执行环境仍是共通的特性，以共享控制代码的机制使得混合现实系统得以支持虚拟现实内容。如此一来，本发明可以低成本的硬件设备结合虚拟现实平台进而提升建立混合现实产品的优势。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种可支持虚拟现实应用程序的混合现实系统的显示方法，其特征在于，所述混合现实系统包括处理装置以及混合现实头戴装置，所述处理装置提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，所述第二应用程序界面关联于所述混合现实头戴装置，所述方法包括：

由所述处理装置取得第一虚拟现实内容；

由所述处理装置通过所述第二应用程序界面告知所述第一应用程序界面有关于所述混合现实头戴装置所需的画面相关设定；

由所述处理装置通过所述第一应用程序界面根据所述画面相关设定示出对应于所述第一虚拟现实内容的第一图形数据；

由所述处理装置通过所述第一应用程序界面建立关联于所述第一图形数据的共享控制代码并且传送所述共享控制代码至所述第二应用程序界面；以及

由所述处理装置通过所述第二应用程序界面通过所述共享控制代码显示所述第一图形数据于所述混合现实头戴装置。

2.根据权利要求1所述的方法，其特征在于，由所述处理装置取得所述第一虚拟现实内容的步骤包括：

由所述处理装置自第三方的虚拟现实内容平台下载所述第一虚拟现实内容。

3.根据权利要求1所述的方法，其特征在于，所述画面相关设定包括所述混合现实头戴装置的画面解析度以及虚拟空间度量至少之一者。

4.根据权利要求1所述的方法，其特征在于，所述处理装置提供第一应用程序架构平台以及所述第二应用程序架构平台，所述第一应用程序界面得以于所述第一应用程序架构平台执行虚拟现实内容，所述第二应用程序界面得以于所述第二应用程序架构平台执行混合现实内容，所述第一应用程序架构平台以及所述第二应用程序架构平台分别具有第一多媒体应用程序界面以及第二多媒体应用程序界面，其中所述第一多媒体应用程序界面与所述第二多媒体应用程序界面的底层的执行环境为共通。

5.根据权利要求4所述的方法，其特征在于，由所述处理装置通过所述第一应用程序界面根据所述画面相关设定示出对应于所述第一虚拟现实内容的所述第一图形数据的步骤包括：

由所述处理装置通过所述第一应用程序界面，以所述第一多媒体应用程序界面中的3D绘图编程界面，根据所述画面相关设定示出对应于所述第一虚拟现实内容的所述第一图形数据。

6.根据权利要求4所述的方法，其特征在于，由所述处理装置通过所述第一应用程序界面建立关联于所述第一图形数据的所述共享控制代码并且传送所述共享控制代码至所述第二应用程序界面的步骤包括：

由所述处理装置通过所述第一应用程序界面，以所述第一多媒体应用程序界面中的3D绘图编程界面，建立所述共享控制代码；以及

由所述第一多媒体应用程序界面中的所述3D绘图编程界面通过所述执行环境传送所述共享控制代码至所述第二多媒体应用程序界面中的3D绘图编程界面。

7.根据权利要求6所述的方法，其特征在于，由所述处理装置通过所述第二应用程序界面通过所述共享控制代码显示所述第一图形数据于所述混合现实头戴装置的步骤包括：

由所述处理装置通过所述第二应用程序界面，以所述第二多媒体应用程序界面中的所述3D绘图编程界面，通过所述共享控制代码直接存取所述第一图形数据，并且显示所述第一图形数据所述混合现实头戴装置。

8.根据权利要求1所述的方法，其特征在于，所述第二应用程序架构平台为通用Windows平台，而所述第一应用程序架构平台为所述通用Windows平台以外的架构平台。

9.一种可支持虚拟现实应用程序的混合现实系统，其特征在于，包括：

混合现实头戴装置；以及

处理装置，连接于所述混合现实头戴装置，用以提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，其中所述第二应用程序界面关联于所述混合现实头戴装置，而所述处理装置用以执行下列步骤：

取得第一虚拟现实内容；

通过所述第二应用程序界面告知所述第一应用程序界面有关于所述混合现实头戴装置所需的画面相关设定；

通过所述第一应用程序界面根据所述画面相关设定示出对应于所述第一虚拟现实内容的第一图形数据；

通过所述第一应用程序界面建立关联于所述第一图形数据的共享控制代码并且传送所述共享控制代码至所述第二应用程序界面；以及

通过所述第二应用程序界面通过所述共享控制代码显示所述第一图形数据于所述混合现实头戴装置。

10.一种可支持虚拟现实应用程序的混合现实系统，其特征在于，包括：

混合现实头戴装置；以及

处理装置，内建于所述混合现实头戴装置，用以提供可执行虚拟现实内容的第一应用程序界面以及可执行混合现实内容的第二应用程序界面，其中所述第二应用程序界面关联于所述混合现实头戴装置，而所述处理装置用以执行下列步骤：

取得第一虚拟现实内容；

通过所述第二应用程序界面告知所述第一应用程序界面有关于所述混合现实头戴装置所需的画面相关设定；

通过所述第一应用程序界面根据所述画面相关设定示出对应于所述第一虚拟现实内容的第一图形数据；

通过所述第一应用程序界面建立关联于所述第一图形数据的共享控制代码并且传送所述共享控制代码至所述第二应用程序界面；以及

通过所述第二应用程序界面通过所述共享控制代码显示所述第一图形数据于所述混合现实头戴装置。