CN108280868A - 一种vr界面的控制显示方法及装置 - Google Patents

一种vr界面的控制显示方法及装置 Download PDF

Info

Publication number
CN108280868A
CN108280868A CN201711479228.3A CN201711479228A CN108280868A CN 108280868 A CN108280868 A CN 108280868A CN 201711479228 A CN201711479228 A CN 201711479228A CN 108280868 A CN108280868 A CN 108280868A
Authority
CN
China
Prior art keywords
texture
mobile terminal
information
address
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711479228.3A
Other languages
English (en)
Inventor
李刚
龙寿伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dlodlo Technologies Co Ltd
Shenzhen Dlodlo New Technology Co Ltd
Original Assignee
Shenzhen Dlodlo Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dlodlo Technologies Co Ltd filed Critical Shenzhen Dlodlo Technologies Co Ltd
Priority to CN201711479228.3A priority Critical patent/CN108280868A/zh
Publication of CN108280868A publication Critical patent/CN108280868A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种VR界面的控制显示方法及装置,解决了当前大部分VR系统在操作应用程序的显示机制,都是在VR场景内添加应用对应的按钮,在用户操作应用程序后启动相应的普通应用UI(2D)来显示,或者将普通应用UI(2D)做成控件可嵌入应用的web,且没有VR桌面和移动终端桌面对应的交互机制,前者存在着会脱离VR场景这样一个沉浸式的环境,即用户在进行VR系统的应用程序操作时,弹出的应用程序界面是不具备VR效果的,严重影响了用户的体验性的技术问题,后者则存在着需要大量的人力开发,需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。

Description

一种VR界面的控制显示方法及装置
技术领域
本发明涉及VR领域,尤其涉及一种VR界面的控制显示方法及装置。
背景技术
现在已经有将移动终端的系统通过VR进行展示,即VR系统,可以使得 用户通过VR界面进行移动终端的应用程序操作,增加了用户的体验性。
当前大部分VR系统在操作应用程序的显示机制,都是在VR场景内添加 应用对应的按钮,在用户操作应用程序后启动相应的普通应用UI(2D)来显 示,或者将普通应用UI(2D)做成控件可嵌入应用的web,且没有VR桌面 和移动终端桌面对应的交互机制,前者存在着会脱离VR场景这样一个沉浸式 的环境,即用户在进行VR系统的应用程序操作时,弹出的应用程序界面是不 具备VR效果的,严重影响了用户的体验性的技术问题,后者则存在着需要大 量的人力开发,需要针对于每一个应用程序都做成相应的控件可嵌入应用的 web的技术问题。
发明内容
本发明提供的一种VR界面的控制显示方法及装置,解决了当前大部分 VR系统在操作应用程序的显示机制,都是在VR场景内添加应用对应的按钮, 在用户操作应用程序后启动相应的普通应用UI(2D)来显示,或者将普通应 用UI(2D)做成控件可嵌入应用的web,且没有VR桌面和移动终端桌面对 应的交互机制,前者存在着会脱离VR场景这样一个沉浸式的环境,即用户在 进行VR系统的应用程序操作时,弹出的应用程序界面是不具备VR效果的, 严重影响了用户的体验性的技术问题,后者则存在着需要大量的人力开发, 需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问 题。
本发明提供的一种VR界面的控制显示方法,包括:
检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根据所述虚 拟操作位置信息确定所述虚拟位置信息在移动终端界面对应的实际操作位置 信息;
获取到移动终端响应于所述实际操作位置信息后位于移动终端最上层UI 的纹理地址;
将所述纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的VR 显示。
可选地,检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根 据所述虚拟操作位置信息确定所述虚拟位置信息在移动终端界面对应的实际 操作位置信息具体包括:
检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标,并将所述虚拟 操作位置坐标按照预设比例映射,或按照虚拟三角面到移动终端界面三角面 的映射关系映射,或按照曲面到矩形面的映射,映射到移动终端界面对应的 实际操作坐标;
所述获取到移动终端响应于所述实际操作位置信息后位于移动终端最上 层UI的纹理地址具体包括:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI 的纹理地址。
可选地,获取到移动终端响应于所述实际操作位置坐标后位于移动终端 最上层UI的纹理地址具体包括:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI 的纹理地址,其中,所述纹理地址对应的纹理信息为移动终端响应于用户操 作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹 理信息,或内容区纹理直接对应的纹理信息。
可选地,获取到移动终端响应于所述实际操作位置坐标位于移动终端最 上层UI的纹理地址具体包括:
构建用于保存纹理地址的动态链接库;
获取到移动终端响应于所述实际操作位置坐标位于移动终端最上层UI的 纹理地址,并将所述纹理地址保存在所述动态链接库中;
将所述纹理地址对应的纹理信息渲染到VR显示进程具体包括:
从所述动态链接库中调用所述纹理地址,并将所述纹理地址对应的纹理 信息渲染到VR显示进程。
本发明提供的一种VR界面的控制显示装置,包括:
第一检测单元,用于检测用户在VR环境中进行虚拟操作的虚拟操作位置 信息;
第一确定单元,用于根据所述虚拟操作位置信息确定所述虚拟位置信息 在移动终端界面对应的实际操作位置信息;
第一获取单元,用于获取到移动终端响应于所述实际操作位置信息后位 于移动终端最上层UI的纹理地址;
第一渲染单元,用于将所述纹理地址对应的纹理信息渲染到VR显示进 程,并进行对应的VR显示。
可选地,所述第一检测单元具体用于:
检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标;
所述第一确定单元,具体用于:
将所述虚拟操作位置坐标按照预设比例映射,或按照虚拟三角面到移动 终端界面三角面的映射关系映射,或按照曲面到矩形面的映射,映射到移动 终端界面对应的实际操作坐标;
所述第一获取单元,具体用于:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI 的纹理地址。
可选地,所述第一获取单元,具体用于:获取到移动终端响应于所述实 际操作位置坐标位于移动终端最上层UI的纹理地址,其中,所述纹理地址对 应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏 纹理和内容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹 理信息。
可选地,所述第一获取单元具体包括:
第一构建子单元,用于构建用于保存纹理地址的动态链接库;
第一获取子单元,用于获取到移动终端响应于所述实际操作位置坐标位 于移动终端最上层UI的纹理地址,并将所述纹理地址保存在所述动态链接库 中,其中,所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程 序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息, 或内容区纹理直接对应的纹理信息;
第一渲染单元具体包括:
第一调用子单元,用于从所述动态链接库中调用所述纹理地址;
第一渲染子单元,用于将所述纹理地址对应的纹理信息渲染到VR显示进 程,并进行对应的VR显示。
从以上技术方案可以看出,本发明具有以下优点:
本发明提供的一种VR界面的控制显示方法及装置,其中,一种VR界面 的控制显示方法,包括:检测用户在VR环境中进行虚拟操作的虚拟操作位置 信息,并根据所述虚拟操作位置信息确定所述虚拟位置信息在移动终端界面 对应的实际操作位置信息;获取到移动终端响应于所述实际操作位置信息后 位于移动终端最上层UI的纹理地址;将所述纹理地址对应的纹理信息渲染到 VR显示进程,并进行对应的VR显示。
本发明中,提出了将用户在VR环境中的操作与移动界面的对应交互机 制,并通过直接获取移动终端最上层UI的纹理信息并渲染到显示进程,使得 不需要将普通应用UI(2D)做成控件可嵌入应用的web,就可以直接套用移 动终端现成的纹理信息来进行VR显示,解决了当前大部分VR系统在操作应 用程序的显示机制,都是在VR场景内添加应用对应的按钮,在用户操作应用 程序后启动相应的普通应用UI(2D)来显示,或者将普通应用UI(2D)做 成控件可嵌入应用的web,且没有VR桌面和移动终端桌面对应的交互机制, 前者存在着会脱离VR场景这样一个沉浸式的环境,即用户在进行VR系统的 应用程序操作时,弹出的应用程序界面是不具备VR效果的,严重影响了用户 的体验性的技术问题,后者则存在着需要大量的人力开发,需要针对于每一 个应用程序都做成相应的控件可嵌入应用的web的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲, 在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明提供的一种VR界面的控制显示方法的一个实施例的流程示 意图;
图2为本发明提供的一种VR界面的控制显示方法的另一个实施例的流程 示意图;
图3为本发明提供的一种VR界面的控制显示装置的一个实施例的结构示 意图;
图4为本发明提供的一种VR界面的控制显示装置的另一个实施例的结构 示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将 结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整 地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部 的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实现本发明实施例的VR显示系统可以分为Launcher的Unity模块、 Launcher的Android模块、客制化后的graphic子系统和input子系统;
其中,Unity模块部分包括VR launcher,用于显示VR的场景,Android 模块部分负责与Framework层进行数据交互,且新增和实现了图形子系统中 SurfaceFlinger提供应用可见视图层(Layer)的接口,可以通过从获取到的Layer 中提取纹理。
请参阅图1,本发明提供的一种VR界面的控制显示方法的一个实施例, 包括:
S100:检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根 据虚拟操作位置信息确定虚拟位置信息在移动终端界面对应的实际操作位置 信息;
在进行基于移动终端界面的VR界面的控制显示时,需要检测用户在VR 环境中进行虚拟操作的虚拟操作位置信息,并根据虚拟操作位置信息确定虚 拟位置信息在移动终端界面对应的实际操作位置信息;
S101:获取到移动终端响应于实际操作位置信息后位于移动终端最上层 UI的纹理地址,将纹理地址对应的纹理信息渲染到VR显示进程,并进行对 应的VR显示;
在检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根据虚拟 操作位置信息确定虚拟位置信息在移动终端界面对应的实际操作位置信息之 后,需要获取到移动终端响应于实际操作位置信息后位于移动终端最上层UI 的纹理地址,将纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的 VR显示;
在将与用户在VR环境中进行虚拟操作的虚拟操作位置信息对应到移动 终端的实际位置时,移动终端则可以间接响应于用户操作,进行最上层的UI 的纹理更新;
移动终端可以是某些便捷式电子设备,可选地,移动设备可以是基于安 卓的移动终端;可选地,移动终端响应于用户操作应用程序可以是用户直接 在移动终端上进行操作,或者是在VR场景下对VR界面进行操作并映射到移 动终端界面上;
在具体实施过程中,可选地,首先Launcher启动的时候会触发Android 模块部分MainActivity的初始化流程,并通过NativeHelper调用 libtextureobtain.so中的TextureObtain.startRecordThread来启动一个线程,通过 SurfaceComposerClient从SurfaceFlinger中获取到处于当前位于移动终端最上 层UI的纹理地址(一共三个:状态栏,导航栏,内容区),取出其中内容的 Layer的Texture的TextureName,其中,TextureName为纹理地址;
需要说明的是,位于移动终端最上层UI的纹理地址对应的纹理信息为移 动终端系统已经合成后的纹理信息,即不需要将纹理提取出来后先进行合成 才能进行渲染,使得显示系统不用新增Buffer来进行绘制和拷贝,不会造成 显示效果的延迟和卡顿;
可选地,Unity层中的VR launcher在获取到纹理ID后即不停地循环 Update函数,Update函数中会调用Texture2D的UpdateExternalTexture来更新 纹理地址对应的纹理信息,只传递句柄过来,并由底层按原有方式更新纹理 内容,Unity模块中进行实时刷新,即可达到在沉浸的VR环境下显示通用 Android应用UI的目的;
本实施例中,检测用户在VR环境中进行虚拟操作的虚拟操作位置信息, 并根据虚拟操作位置信息确定虚拟位置信息在移动终端界面对应的实际操作 位置信息;获取到移动终端响应于实际操作位置信息后位于移动终端最上层 UI的纹理地址;将纹理地址对应的纹理信息渲染到VR显示进程,并进行对 应的VR显示。
可以看出,本发明实施例提出了将用户在VR环境中的操作与移动界面的 对应交互机制,并通过直接获取移动终端最上层UI的纹理信息并渲染到VR launcher,使得不需要将普通应用UI(2D)做成控件可嵌入应用的web,就可 以直接套用移动终端现成的纹理信息来进行VR显示,解决了当前大部分VR 系统在操作应用程序的显示机制,都是在VR场景内添加应用对应的按钮,在 用户操作应用程序后启动相应的普通应用UI(2D)来显示,或者将普通应用 UI(2D)做成控件可嵌入应用的web,且没有VR桌面和移动终端桌面对应 的交互机制,前者存在着会脱离VR场景这样一个沉浸式的环境,即用户在进 行VR系统的应用程序操作时,弹出的应用程序界面是不具备VR效果的,严 重影响了用户的体验性的技术问题,后者则存在着需要大量的人力开发,需 要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问题。
上面是对一种VR界面的控制显示方法的一个实施例进行的详细描述,下 面将对一种VR界面的控制显示方法的另一个实施例进行详细的描述。
请参阅图2,本发明提供的一种VR界面的控制显示方法的另一个实施例, 包括:
S200:检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标,并将 虚拟操作位置坐标按照预设比例映射,或按照虚拟三角面到移动终端界面三 角面的映射关系映射,或按照曲面到矩形面的映射,映射到移动终端界面对 应的实际操作坐标;
本发明实施例中,移动终端可以是某些便捷式电子设备,在进行基于移 动终端界面的VR界面的控制显示时,需要检测用户在VR环境中进行虚拟操 作的虚拟操作位置坐标,并将虚拟操作位置坐标按照预设比例映射,或按照 虚拟三角面到移动终端界面三角面的映射关系映射,或按照曲面到矩形面的 映射,映射到移动终端界面对应的实际操作坐标;
o为VR画布的坐标原点,o-CW是画布的宽,o-CH是画布的高,o’为对 应的移动终端桌面的坐标原点,o-SW是对应于画布的宽的移动终端桌面的 宽,o-WH是对应于画布的高的移动终端桌面的高。
当用户头瞄光标定位在(x,y)这个点时,实际对应于移动终端桌面中要 操作的点是(x’,y’);
其中,按照预设比例映射的机制为:
x’=x*(o-SW/o-CW);
y’=y*(o-SW/o-CW);
移动终端应用层向系统中注入的为这个坐标值为(x’,y’)的touch事件;
S201:构建用于保存纹理地址的动态链接库;
在检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标,并将虚拟操 作位置坐标按照预设比例映射,或按照虚拟三角面到移动终端界面三角面的 映射关系映射,或按照曲面到矩形面的映射,映射到移动终端界面对应的实 际操作坐标之后,需要构建用于保存纹理地址的动态链接库;
需要说明的是,动态链接库可以是在系统层面新增的用于实时保存UI的 纹理地址的链接库;
S202:获取到移动终端响应于实际操作位置坐标位于移动终端最上层UI 的纹理地址,并将纹理地址保存在动态链接库中,其中,纹理地址对应的纹 理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和 内容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息;
在构建用于保存纹理地址的动态链接库之后,需要获取到移动终端响应 于实际操作位置坐标位于移动终端最上层UI的纹理地址,并将纹理地址保存 在动态链接库中,其中,纹理地址对应的纹理信息为移动终端响应于用户操 作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹 理信息,或内容区纹理直接对应的纹理信息;
可选地,移动终端响应于用户操作应用程序可以是用户直接在移动终端 上进行操作,或者是在VR场景下对VR界面进行操作并映射到移动终端界面 上;
在具体实施过程中,可选地,首先Launcher启动的时候会触发Android 模块部分MainActivity的初始化流程,并通过NativeHelper调用 libtextureobtain.so中的TextureObtain.startRecordThread来启动一个线程,通过 SurfaceComposerClient从SurfaceFlinger中获取到处于当前位于移动终端最上 层UI的纹理地址(一共三个:状态栏,导航栏,内容区),取出其中内容的 Layer的Texture的TextureName保存到libtextureobtain.so的TextureObtain类 的全局变量中供后续使用,其中,TextureName为纹理地址,libtextureobtain.so 为新增的动态链接库;
需要说明的是,位于移动终端最上层UI的纹理地址对应的纹理信息为移 动终端系统已经合成后的纹理信息,即不需要将纹理提取出来后先进行合成 才能进行渲染,使得显示系统不用新增Buffer来进行绘制和拷贝,不会造成 显示效果的延迟和卡顿;
S203:从动态链接库中调用纹理地址,并将纹理地址对应的纹理信息渲 染到VR显示进程,并进行对应的VR显示。
在获取到移动终端响应于实际操作位置坐标位于移动终端最上层UI的纹 理地址,并将纹理地址保存在动态链接库中,其中,纹理地址对应的纹理信 息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容 区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息之后, 需要从动态链接库中调用纹理地址,并将纹理地址对应的纹理信息渲染到VR 显示进程,并进行对应的VR显示;
可以看出,本发明实施例提出了将用户在VR环境中的操作与移动界面的 对应交互机制,并通过直接获取移动终端最上层UI的纹理信息并渲染到VR 显示进程,使得不需要将普通应用UI(2D)做成控件可嵌入应用的web,就 可以直接套用移动终端现成的纹理信息来进行VR显示,解决了当前大部分 VR系统在操作应用程序的显示机制,都是在VR场景内添加应用对应的按钮, 在用户操作应用程序后启动相应的普通应用UI(2D)来显示,或者将普通应 用UI(2D)做成控件可嵌入应用的web,且没有VR桌面和移动终端桌面对 应的交互机制,前者存在着会脱离VR场景这样一个沉浸式的环境,即用户在 进行VR系统的应用程序操作时,弹出的应用程序界面是不具备VR效果的, 严重影响了用户的体验性的技术问题,后者则存在着需要大量的人力开发, 需要针对于每一个应用程序都做成相应的控件可嵌入应用的web的技术问 题。
上面是对一种VR界面的控制显示方法的一个实施例进行详细的描述,下 面将对一种VR界面的控制显示装置的一个实施例进行详细的描述。
请参阅图3,本发明提供的一种VR界面的控制显示装置的一个实施例, 包括:
第一检测单元301,用于检测用户在VR环境中进行虚拟操作的虚拟操作 位置信息;
第一确定单元302,用于根据虚拟操作位置信息确定虚拟位置信息在移动 终端界面对应的实际操作位置信息;
第一获取单元303,用于获取到移动终端响应于实际操作位置信息后位于 移动终端最上层UI的纹理地址;
第一渲染单元304,用于将纹理地址对应的纹理信息渲染到VR显示进程, 并进行对应的VR显示。
本实施例中,首先通过第一检测单元301检测用户在VR环境中进行虚拟 操作的虚拟操作位置信息,之后第一确定单元302根据虚拟操作位置信息确 定虚拟位置信息在移动终端界面对应的实际操作位置信息,之后第一获取单 元303获取到移动终端响应于实际操作位置信息后位于移动终端最上层UI的 纹理地址,之后第一渲染单元304将纹理地址对应的纹理信息渲染到VR显示 进程,并进行对应的VR显示,解决了当前大部分VR系统在操作应用程序的 显示机制,都是在VR场景内添加应用对应的按钮,在用户操作应用程序后启 动相应的普通应用UI(2D)来显示,或者将普通应用UI(2D)做成控件可 嵌入应用的web,且没有VR桌面和移动终端桌面对应的交互机制,前者存在 着会脱离VR场景这样一个沉浸式的环境,即用户在进行VR系统的应用程序 操作时,弹出的应用程序界面是不具备VR效果的,严重影响了用户的体验性 的技术问题,后者则存在着需要大量的人力开发,需要针对于每一个应用程 序都做成相应的控件可嵌入应用的web的技术问题。
上面是对一种VR界面的控制显示装置的一个实施例进行详细的描述,下 面将对一种VR界面的控制显示装置的另一个实施例进行详细的描述。
请参阅图4,本发明提供的一种VR界面的控制显示装置的一个实施例, 包括:
第一检测单元401,用于检测用户在VR环境中进行虚拟操作的虚拟操作 位置坐标;
第一确定单元402,用于将虚拟操作位置坐标按照预设比例映射,或按照 虚拟三角面到移动终端界面三角面的映射关系映射,或按照曲面到矩形面的 映射,映射到移动终端界面对应的实际操作坐标;
第一获取单元403,第一获取单元403具体包括:
第一构建子单元4031,用于构建用于保存纹理地址的动态链接库;
第一获取子单元4032,用于获取到移动终端响应于实际操作位置坐标位 于移动终端最上层UI的纹理地址,并将纹理地址保存在动态链接库中,其中, 纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹 理、导航栏纹理和内容区纹理进行合成后得到的纹理信息,或内容区纹理直 接对应的纹理信息;
第一渲染单元404具体包括:
第一调用子单元4041,用于从动态链接库中调用纹理地址;
第一渲染子单元4042,用于将纹理地址对应的纹理信息渲染到VR显示 进程,并进行对应的VR显示。
本实施例中,通过第一检测单元401检测用户在VR环境中进行虚拟操作 的虚拟操作位置坐标,之后第一确定单元402将虚拟操作位置坐标按照预设 比例映射,或按照虚拟三角面到移动终端界面三角面的映射关系映射,或按 照曲面到矩形面的映射,映射到移动终端界面对应的实际操作坐标,之后第 一构建子单元4031构建用于保存纹理地址的动态链接库,之后第一获取子单 元4032获取到移动终端响应于实际操作位置坐标位于移动终端最上层UI的 纹理地址,并将纹理地址保存在动态链接库中,其中,纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内 容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息, 之后第一调用子单元4041从动态链接库中调用纹理地址,之后第一渲染子单 元4042将纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的VR 显示,解决了当前大部分VR系统在操作应用程序的显示机制,都是在VR场 景内添加应用对应的按钮,在用户操作应用程序后启动相应的普通应用UI (2D)来显示,或者将普通应用UI(2D)做成控件可嵌入应用的web,且没 有VR桌面和移动终端桌面对应的交互机制,前者存在着会脱离VR场景这样 一个沉浸式的环境,即用户在进行VR系统的应用程序操作时,弹出的应用程 序界面是不具备VR效果的,严重影响了用户的体验性的技术问题,后者则存 在着需要大量的人力开发,需要针对于每一个应用程序都做成相应的控件可 嵌入应用的web的技术问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都 是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述 的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示 例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现, 为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性 地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定 的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本 发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存 储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编 程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任 意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下, 在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例, 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种VR界面的控制显示方法,其特征在于,包括:
检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根据所述虚拟操作位置信息确定所述虚拟位置信息在移动终端界面对应的实际操作位置信息;
获取到移动终端响应于所述实际操作位置信息后位于移动终端最上层UI的纹理地址;
将所述纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的VR显示。
2.根据权利要求1所述的VR界面的控制显示方法,其特征在于,检测用户在VR环境中进行虚拟操作的虚拟操作位置信息,并根据所述虚拟操作位置信息确定所述虚拟位置信息在移动终端界面对应的实际操作位置信息具体包括:
检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标,并将所述虚拟操作位置坐标按照预设比例映射,或按照虚拟三角面到移动终端界面三角面的映射关系映射,或按照曲面到矩形面的映射,映射到移动终端界面对应的实际操作坐标;
所述获取到移动终端响应于所述实际操作位置信息后位于移动终端最上层UI的纹理地址具体包括:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI的纹理地址。
3.根据权利要求2所述的VR界面的控制显示方法,其特征在于,获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI的纹理地址具体包括:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI的纹理地址,其中,所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息。
4.根据权利要求3所述的VR界面的控制显示方法,其特征在于,获取到移动终端响应于所述实际操作位置坐标位于移动终端最上层UI的纹理地址具体包括:
构建用于保存纹理地址的动态链接库;
获取到移动终端响应于所述实际操作位置坐标位于移动终端最上层UI的纹理地址,并将所述纹理地址保存在所述动态链接库中;
将所述纹理地址对应的纹理信息渲染到VR显示进程具体包括:
从所述动态链接库中调用所述纹理地址,并将所述纹理地址对应的纹理信息渲染到VR显示进程。
5.一种VR界面的控制显示装置,其特征在于,包括:
第一检测单元,用于检测用户在VR环境中进行虚拟操作的虚拟操作位置信息;
第一确定单元,用于根据所述虚拟操作位置信息确定所述虚拟位置信息在移动终端界面对应的实际操作位置信息;
第一获取单元,用于获取到移动终端响应于所述实际操作位置信息后位于移动终端最上层UI的纹理地址;
第一渲染单元,用于将所述纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的VR显示。
6.根据权利要求5所述的VR界面的控制显示装置,其特征在于,所述第一检测单元具体用于:
检测用户在VR环境中进行虚拟操作的虚拟操作位置坐标;
所述第一确定单元,具体用于:
将所述虚拟操作位置坐标按照预设比例映射,或按照虚拟三角面到移动终端界面三角面的映射关系映射,或按照曲面到矩形面的映射,映射到移动终端界面对应的实际操作坐标;
所述第一获取单元,具体用于:
获取到移动终端响应于所述实际操作位置坐标后位于移动终端最上层UI的纹理地址。
7.根据权利要求6所述的VR界面的控制显示装置,其特征在于,所述第一获取单元,具体用于:获取到移动终端响应于所述实际操作位置坐标位于移动终端最上层UI的纹理地址,其中,所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息。
8.根据权利要求7所述的VR界面的控制显示装置,其特征在于,所述第一获取单元具体包括:
第一构建子单元,用于构建用于保存纹理地址的动态链接库;
第一获取子单元,用于获取到移动终端响应于所述实际操作位置坐标位于移动终端最上层UI的纹理地址,并将所述纹理地址保存在所述动态链接库中,其中,所述纹理地址对应的纹理信息为移动终端响应于用户操作应用程序后将状态栏纹理、导航栏纹理和内容区纹理进行合成后得到的纹理信息,或内容区纹理直接对应的纹理信息;
第一渲染单元具体包括:
第一调用子单元,用于从所述动态链接库中调用所述纹理地址;
第一渲染子单元,用于将所述纹理地址对应的纹理信息渲染到VR显示进程,并进行对应的VR显示。
CN201711479228.3A 2017-12-29 2017-12-29 一种vr界面的控制显示方法及装置 Pending CN108280868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711479228.3A CN108280868A (zh) 2017-12-29 2017-12-29 一种vr界面的控制显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711479228.3A CN108280868A (zh) 2017-12-29 2017-12-29 一种vr界面的控制显示方法及装置

Publications (1)

Publication Number Publication Date
CN108280868A true CN108280868A (zh) 2018-07-13

Family

ID=62802724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711479228.3A Pending CN108280868A (zh) 2017-12-29 2017-12-29 一种vr界面的控制显示方法及装置

Country Status (1)

Country Link
CN (1) CN108280868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095744A1 (zh) * 2020-11-09 2022-05-12 华为技术有限公司 Vr显示控制方法、电子设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014259A (zh) * 2010-11-17 2011-04-13 杭州华泰医疗科技有限公司 基于投影纹理映射的斜投影失真校正方法
US8234121B1 (en) * 2007-08-10 2012-07-31 Rockwell Collins, Inc. Voice recognition system for an avionics system using unique words to encode specific frequencies
CN104469385A (zh) * 2014-12-11 2015-03-25 北京星网锐捷网络技术有限公司 基于虚拟化技术的图形显示方法及装置
CN105528207A (zh) * 2015-12-03 2016-04-27 北京小鸟看看科技有限公司 一种虚拟现实系统及其中显示安卓应用图像的方法和装置
CN106126021A (zh) * 2016-06-21 2016-11-16 上海乐相科技有限公司 一种界面显示方法及装置
CN106528303A (zh) * 2016-10-20 2017-03-22 武汉斗鱼网络科技有限公司 一种基于gpu纹理共享来获取d3d12游戏源图像的方法及系统
CN106980382A (zh) * 2017-03-31 2017-07-25 维沃移动通信有限公司 一种vr设备播放控制的方法、移动终端和vr设备
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8234121B1 (en) * 2007-08-10 2012-07-31 Rockwell Collins, Inc. Voice recognition system for an avionics system using unique words to encode specific frequencies
CN102014259A (zh) * 2010-11-17 2011-04-13 杭州华泰医疗科技有限公司 基于投影纹理映射的斜投影失真校正方法
CN104469385A (zh) * 2014-12-11 2015-03-25 北京星网锐捷网络技术有限公司 基于虚拟化技术的图形显示方法及装置
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
CN105528207A (zh) * 2015-12-03 2016-04-27 北京小鸟看看科技有限公司 一种虚拟现实系统及其中显示安卓应用图像的方法和装置
CN106126021A (zh) * 2016-06-21 2016-11-16 上海乐相科技有限公司 一种界面显示方法及装置
CN106528303A (zh) * 2016-10-20 2017-03-22 武汉斗鱼网络科技有限公司 一种基于gpu纹理共享来获取d3d12游戏源图像的方法及系统
CN106980382A (zh) * 2017-03-31 2017-07-25 维沃移动通信有限公司 一种vr设备播放控制的方法、移动终端和vr设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095744A1 (zh) * 2020-11-09 2022-05-12 华为技术有限公司 Vr显示控制方法、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
KR101636808B1 (ko) 동적 그래픽 인터페이스 셰도우들
US9436369B2 (en) Touch interface for precise rotation of an object
JP6313395B1 (ja) 描画処理方法、描画処理プログラム及び描画処理装置
CN111167120A (zh) 游戏中虚拟模型的处理方法和装置
JP6081769B2 (ja) プログラム、情報処理装置、情報処理方法および情報処理システム
US20170357404A1 (en) Menu display method, apparatus and system
US9013509B2 (en) System and method for manipulating digital images on a computer display
CN106910232A (zh) 画线擦除方法及装置
CN104142776A (zh) 一种图标处理方法及装置
CN109697733A (zh) 点云空间寻点方法、装置、计算机设备和存储介质
JP2017151806A (ja) 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置
CN108280868A (zh) 一种vr界面的控制显示方法及装置
CN113926190A (zh) 游戏编辑器中三维模型的控制方法、装置及存储介质
CN111210486B (zh) 一种用于实现流光效果的方法和装置
KR101680174B1 (ko) 3차원 모델로부터 색칠공부도안 생성 방법, 이를 수행하기 위한 기록 매체 및 장치
US10176613B2 (en) Drawing method
JP5767371B1 (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
EP4160374A1 (en) Method and device for displaying material, electronic device and storage medium
CN114489409B (zh) 一种图片处理方法、装置、电子设备以及存储介质
JP2013109595A (ja) 表示システムおよび表示プログラム
CN105393214A (zh) 自我揭示符号性的手势
CN110193190B (zh) 游戏对象的创建方法、触控终端设备、电子设备及介质
CN113724364A (zh) 一种利用多边形实现遮挡且本体不渲染的设置方法及装置
JP6863918B2 (ja) 制御プログラム、制御方法及び情報処理装置
CN108230449A (zh) 一种自适应vr显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713