CN108090944A - 一种自适应vr显示方法及装置 - Google Patents

Abstract

本发明公开了一种自适应VR显示方法及装置，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

Description

一种自适应VR显示方法及装置

技术领域

本发明涉及VR领域，尤其涉及一种自适应VR显示方法及装置。

背景技术

现在已经有将移动终端的系统界面通过VR进行展示，即VR系统，可以使得用户通过沉浸式的VR界面进行移动终端的应用程序操作，增加了用户的体验性。

当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

发明内容

本发明提供的一种自适应VR显示方法及装置，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

本发明提供的一种自适应VR显示方法，包括：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；

将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

可选地，获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址具体包括：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息。

可选地，获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址具体包括：

构建用于保存纹理地址的动态链接库；

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将所述纹理地址保存在所述动态链接库中；

将所述纹理地址对应的纹理信息渲染到VR显示进程具体包括：

从所述动态链接库中调用所述纹理地址，并将所述纹理地址对应的纹理信息渲染到VR显示进程。

可选地，所述应用程序为安卓应用程序。

本发明提供的一种自适应VR显示装置，包括：

第一获取单元，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；

第一渲染单元，用于将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

可选地，所述第一获取单元具体用于：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息。

可选地，所述第一获取单元具体包括：

第一构建子单元，用于构建用于保存纹理地址的动态链接库；

第一获取子单元，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将所述纹理地址保存在所述动态链接库中，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息；

第一渲染单元具体包括：

第一调用子单元，用于从所述动态链接库中调用所述纹理地址；

第一渲染子单元，用于将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

可选地，所述应用程序为安卓应用程序。

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的一种自适应VR显示方法及装置，其中，一种自适应VR显示方法，包括：获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

本发明中，在进行移动终端的系统VR显示时，移动终端获取到用户的操作，通过直接获取移动终端最上层UI的纹理信息并渲染到VR launcher，使得不需要将普通应用UI(2D)做成控件可嵌入应用的web，就可以直接套用移动终端现成的纹理信息来进行VR显示，直接将普通应用UI(2D)显示的内容以平面、曲面等全新方式渲染到沉浸式的VR显示内容中，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的一种自适应VR显示方法的一个实施例的流程示意图；

图2为本发明提供的一种自适应VR显示方法的另一个实施例的流程示意图；

图3为本发明提供的一种自适应VR显示装置的一个实施例的结构示意图；

图4为本发明提供的一种自适应VR显示装置的另一个实施例的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实现本发明实施例的VR显示系统可以分为Launcher的Unity模块、Launcher的Android模块、客制化后的graphic子系统和input子系统；

其中，Unity模块部分包括VR launcher，用于显示VR的场景，Android模块部分负责与Framework层进行数据交互，且新增和实现了图形子系统中SurfaceFlinger提供应用可见视图层(Layer)的接口，可以通过从获取到的Layer中提取纹理。

请参阅图1，本发明提供的一种自适应VR显示方法的一个实施例，包括：

S100：获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

在进行基于移动终端界面的自适应VR显示时，需要获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

移动终端可以是某些便捷式电子设备，可选地，移动设备可以是基于安卓的移动终端；可选地，移动终端响应于用户操作应用程序可以是用户直接在移动终端上进行操作，或者是在VR场景下对VR界面进行操作并映射到移动终端界面上；

在具体实施过程中，可选地，首先Launcher启动的时候会触发Android模块部分MainActivity的初始化流程，并通过NativeHelper调用libtextureobtain.so中的TextureObtain.startRecordThread来启动一个线程，通过SurfaceComposerClient从SurfaceFlinger中获取到处于当前位于移动终端最上层UI的纹理地址(一共三个：状态栏，导航栏，内容区)，取出其中内容的Layer的Texture的TextureName，其中，TextureName为纹理地址；

需要说明的是，位于移动终端最上层UI的纹理地址对应的纹理信息为移动终端系统已经合成后的纹理信息，即不需要将纹理提取出来后先进行合成才能进行渲染，使得显示系统不用新增Buffer来进行绘制和拷贝，不会造成显示效果的延迟和卡顿；

可选地，Unity层中的VR launcher在获取到纹理ID后即不停地循环Update函数，Update函数中会调用Texture2D的UpdateExternalTexture来更新纹理地址对应的纹理信息，只传递句柄过来，并由底层按原有方式更新纹理内容，Unity模块中进行实时刷新，即可达到在沉浸的VR环境下显示通用Android应用UI的目的；

本实施例中，获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

可以看出，本发明实施例在进行移动终端的系统VR显示时，移动终端获取到用户的操作，通过直接获取移动终端最上层UI的纹理信息并渲染到VR显示进程，使得不需要将普通应用UI(2D)做成控件可嵌入应用的web，就可以直接套用移动终端现成的纹理信息来进行VR显示，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

上面是对一种自适应VR显示方法的一个实施例进行的详细描述，下面将对一种自适应VR显示方法的另一个实施例进行详细的描述。

请参阅图2，本发明提供的一种自适应VR显示方法的另一个实施例，包括：

S200：构建用于保存纹理地址的动态链接库；

本发明实施例中，移动终端可以是某些便捷式电子设备，在进行基于移动终端界面的自适应VR显示时，需要构建用于保存纹理地址的动态链接库；

需要说明的是，动态链接库可以是在系统层面新增的用于实时保存UI的纹理地址的链接库；

S201：获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息；

在构建用于保存纹理地址的动态链接库之后，需要获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息；

可选地，移动终端响应于用户操作应用程序可以是用户直接在移动终端上进行操作，或者是在VR场景下对VR界面进行操作并映射到移动终端界面上；

在具体实施过程中，可选地，首先Launcher启动的时候会触发Android模块部分MainActivity的初始化流程，并通过NativeHelper调用libtextureobtain.so中的TextureObtain.startRecordThread来启动一个线程，通过SurfaceComposerClient从SurfaceFlinger中获取到处于当前位于移动终端最上层UI的纹理地址(一共三个：状态栏，导航栏，内容区)，取出其中内容的Layer的Texture的TextureName保存到libtextureobtain.so的TextureObtain类的全局变量中供后续使用，其中，TextureName为纹理地址，libtextureobtain.so为新增的动态链接库；

需要说明的是，位于移动终端最上层UI的纹理地址对应的纹理信息为移动终端系统已经合成后的纹理信息，即不需要将纹理提取出来后先进行合成才能进行渲染，使得显示系统不用新增Buffer来进行绘制和拷贝，不会造成显示效果的延迟和卡顿；

S202：从动态链接库中调用纹理地址，并将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

在获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息之后，需要从动态链接库中调用纹理地址，并将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

可选地，在Launcher初始化完成，启动Launche的UI的时候，会触发TextureLoad脚本中的start函数，这个函数会构造一个Unity的Texture2D对象，并通过Android模块部分的Jni调用从libtextureobtain.so的TextureObtain类中取出步骤1中保存的TextureName(即OpenGL所需要使用的纹理ID)；

可选地，Unity层中的VR launcher在获取到纹理ID后即不停地循环Update函数，Update函数中会调用Texture2D的UpdateExternalTexture来更新纹理地址对应的纹理信息，只传递句柄过来，并由底层按原有方式更新纹理内容，Unity模块中进行实时刷新，即可达到在沉浸的VR环境下显示通用Android应用UI的目的；

本发明实施例中，构建用于保存纹理地址的动态链接库；获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息；从动态链接库中调用纹理地址，并将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

可以看出，本发明实施例，在进行移动终端的系统VR显示时，移动终端获取到用户的操作，通过直接获取移动终端最上层UI的纹理信息并渲染到VR显示进程，使得不需要将普通应用UI(2D)做成控件可嵌入应用的web，就可以直接套用移动终端现成的纹理信息来进行VR显示，并新增了用于保存纹理地址的动态链接库，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

上面是对一种自适应VR显示方法的一个实施例进行详细的描述，下面将对一种自适应VR显示装置的一个实施例进行详细的描述。

请参阅图3，本发明提供的一种自适应VR显示装置的一个实施例，包括：

第一获取单元301，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；

第一渲染单元302，用于将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

本实施例中，首先通过第一获取单元301获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，之后第一渲染单元302将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示，在进行移动终端的系统VR显示时，移动终端获取到用户的操作，通过直接获取移动终端最上层UI的纹理信息并渲染到VR显示进程，使得不需要将普通应用UI(2D)做成控件可嵌入应用的web，就可以直接套用移动终端现成的纹理信息来进行VR显示，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

上面是对一种自适应VR显示装置的一个实施例进行详细的描述，下面将对一种自适应VR显示装置的另一个实施例进行详细的描述。

请参阅图4，本发明提供的一种自适应VR显示装置的一个实施例，包括：

第一获取单元401，第一获取单元具体包括：

第一构建子单元4011，用于构建用于保存纹理地址的动态链接库；

第一获取子单元4012，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息；

第一渲染单元402具体包括：

第一调用子单元4021，用于从动态链接库中调用纹理地址；

第一渲染子单元4022，用于将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示；

本实施例中，通过第一构建子单元4011构建用于保存纹理地址的动态链接库，之后第一获取子单元4012获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将纹理地址保存在动态链接库中，其中，纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息，之后第一调用子单元4021从动态链接库中调用纹理地址，之后第一渲染子单元4022将纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示，解决了当前大部分VR系统在操作应用程序的显示机制，都是在VR场景内添加应用对应的按钮，在用户操作应用程序后启动相应的普通应用UI(2D)来显示，或者将普通应用UI(2D)做成控件可嵌入应用的web，前者存在着会脱离VR场景这样一个沉浸式的环境，即用户在进行VR系统的应用程序操作时，弹出的应用程序界面是不具备VR效果的，严重影响了用户的体验性的技术问题，后者则存在着需要大量的人力开发，需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种自适应VR显示方法，其特征在于，包括：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；

将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

2.根据权利要求1所述的自适应VR显示方法，其特征在于，获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址具体包括：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息。

3.根据权利要求2所述的自适应VR显示方法，其特征在于，获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址具体包括：

构建用于保存纹理地址的动态链接库；

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将所述纹理地址保存在所述动态链接库中；

将所述纹理地址对应的纹理信息渲染到VR显示进程具体包括：

从所述动态链接库中调用所述纹理地址，并将所述纹理地址对应的纹理信息渲染到VR显示进程。

4.根据权利要求3所述的自适应VR显示方法，其特征在于，所述应用程序为安卓应用程序。

5.一种自适应VR显示装置，其特征在于，包括：

第一获取单元，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址；

第一渲染单元，用于将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

6.根据权利要求5所述的自适应VR显示装置，其特征在于，所述第一获取单元具体用于：

获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息。

7.根据权利要求6所述的自适应VR显示装置，其特征在于，所述第一获取单元具体包括：

第一构建子单元，用于构建用于保存纹理地址的动态链接库；

第一获取子单元，用于获取到移动终端响应于用户操作应用程序后位于移动终端最上层UI的纹理地址，并将所述纹理地址保存在所述动态链接库中，其中，所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息，或内容区纹理直接对应的纹理信息；

第一渲染单元具体包括：

第一调用子单元，用于从所述动态链接库中调用所述纹理地址；

第一渲染子单元，用于将所述纹理地址对应的纹理信息渲染到VR显示进程，并进行对应的VR显示。

8.根据权利要求7所述的自适应VR显示装置，其特征在于，所述应用程序为安卓应用程序。