CN106598514A - 一种终端设备中切换虚拟现实模式的方法及系统 - Google Patents

Abstract

本发明公开了一种终端设备中切换虚拟现实模式的方法及系统，所述方法包括：监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。本发明通过在虚拟现实模式下使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中实现了终端设备直接与虚拟现实系统进行交互，使得终端设备可便捷的显示虚拟现实，给用户使用带来方便。

Description

一种终端设备中切换虚拟现实模式的方法及系统

技术领域

本发明涉及智能终端技术领域，特别涉及一种终端设备中切换虚拟现实模式的方法及系统。

背景技术

虚拟现实系统是一种可以创建和体验虚拟世界的计算机仿真系统，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。例如，用户通过佩戴虚拟现实头盔等虚拟现实设备来完成与虚拟现实系统的交互。当然，终端设备也可以通过外设来实现入门级的虚拟现实体验，如Google Cardboard以及三星Gear VR等等。

但是，现有终端设备需要安装特定的虚拟现实应用才能实现与虚拟现实系统的交互。例如，用户想通过终端设备观看VR视频时，需要另外下载VR播放器，才能将手机屏幕显示为左右两部分，而不能使用系统原来的播放器或者在线视频应用。并且，当切换回普通模式时，需要退出VR应用而无法继续刚才的观看内容，给用户的使用带来不变。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种终端设备中切换虚拟现实模式的方法及系统，能够实现普通模式与VR模式无缝的切换，给用的使用带来方便。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种终端设备中切换虚拟现实模式的方法，其包括：

监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

所述终端设备中切换虚拟现实模式的方法，其中，所述方法还包括：

当所述切换指令对应的显示模式为普通模式时，获取当前帧图像，并使用OpenGL函数将所述图像绘制至系统缓存区；

采用SurfaceFlinger服务将所述系统缓存区中的内容进行组合并显示于终端设备的屏幕上。

所述终端设备中切换虚拟现实模式的方法，其中，所述监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式之前还包括：

当所述终端设备启动时，启动SurfaceFlinger服务；

通过OpenGL函数创建一帧缓冲区和纹理对象，并将所述帧缓冲区与所述纹理对象绑定。

所述终端设备中切换虚拟现实模式的方法，其中，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕具体包括：

使用OpenGL函数将所述预设的帧缓冲区对应的纹理图像分别绘制成左右屏幕的显示内容；

通过SurfaceFlinger服务分别将左右屏幕的显示内容进行混合，并以分屏方式显示于终端设备的屏幕上。

所述终端设备中切换虚拟现实模式的方法，其中，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕之前还包括：

通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

所述终端设备中切换虚拟现实模式的方法，其中，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容具体为：

根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。

所述终端设备中切换虚拟现实模式的方法，其中，所述通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵具体包括：

读取所述传感器模块前一次界面刷新信号至当前界面刷新信号之间获取的用户头部状态数据；

根据所述用户头部状态数据计算用户左右眼的透视矩阵。

一种终端设备中切换虚拟现实模式的系统，其包括：

监听模块，用于监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

第一绘制模块，用于当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

第二绘制模块，用于将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

所述终端设备中切换虚拟现实模式的系统，其还包括：

传感器模块，用于通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

所述终端设备中切换虚拟现实模式的系统，其中，所述第二绘制模块具体用于：

根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。

有益效果：与现有技术相比，本发明提供了一种终端设备中切换虚拟现实模式的方法及系统，所述方法包括：监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。本发明通过在虚拟现实模式下使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中实现了终端设备直接与虚拟现实系统进行交互，使得终端设备可便捷的显示虚拟现实，给用户使用带来方便。

附图说明

图1为本发明提供的终端设备中切换虚拟现实模式的方法较佳实施的流程图。

图2为本发明提供的终端设备中切换虚拟现实模式的系统的结构原理图。

具体实施方式

本发明提供一种终端设备中切换虚拟现实模式的方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，模块”、“部件”或“单元”可以混合地使用。

终端设备可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的终端设备中切换虚拟现实模式的方法的较佳实施例的流程图。所述方法包括：

S100、监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

S200、当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

S300、将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

本实施例公开了一种终端设备中切换虚拟现实模式的方法，其根据监听到终端设备接收的切换指令对所述终端设备的显示模式进行切换。当显示模式为普通模式时，采用Android系统默认的渲染方式对接收的帧图像进行渲染并显示。当显示模式为虚拟现实模式时，采用二次绘制的方式对接到到的帧图像进行渲染，使得所述帧图像与分方式显示于终端设备的屏幕上，实现虚拟现实的效果。所述二次绘制指的是首先将所述帧图像以分屏方式绘制至预设帧缓冲区以得到纹理对象，将所述纹理对象绘制在终端设备屏幕的左右两边。这样用户在使用任何应用时，终端设备都无需安装VR应用，可以通过在虚拟现实模式与普通模式之间无缝的切换，在切换后还可以继续之前的应用，给用户的使用带来方便。

具体的来说，在所述步骤S100中，所述切换指令指的用于切换终端设备显示模式的指令，所述显示模式为终端设备预设的，其包括普通模式和虚拟现实模式。所述普通模式指的是终端设备现有的显示模式，所述虚拟现实模式为用于与虚拟现实系统进行交互，并使得终端设备显示虚拟现实的模式。

所述终端设备上预先设置一控制按键，所述控制按键用于控制终端设备显示模式的切换；也可以通过设置界面设置显示模式设置键，通过所述设置键来切换终端设备的显示模式。在本实施例中，所述终端设备上预设设置一控制按键，这可以在不影响终端设备当前运行的应用程序的前提上，切换终端设备的显示模式，给用户的使用带来方便。

在本实施例中，所述控制按键可以仅有一个控制指令即切换指令，那么监听到所述切换指令时，获取当前的显示模式，并根据当前的显示模式确定所述切换指令对应的显示模块。例如，当前显示模式为普通模式，则切换指令对应的显示模式为虚拟现实模式；当显示模式为虚拟现实模式，则切换指令对应的显示模式为普通模式。在本实施例的变形实施例中，所述控制按键设置两个控制开关，分别为普通模式和虚拟现实模式。当用户触发控制开关时，获取所述控制开关所对应的显示模式，将所述显示模式确定为所述切换指令对应的显示模式。值得说明的，在设置两个控制开关时，在确定所述切换指令对应的显示模式之后还包括获取终端设备当前的显示模式，并将当前的显示模式与切换指令对应的显示模式进行比较，如果相同，则结束操作。如果不同，则执行后续步骤。

示例性的，在所述监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式之前还包括：

S101、当所述终端设备启动时，启动SurfaceFlinger服务；

S102、通过OpenGL函数创建一帧缓冲区和纹理对象，并将所述帧缓冲区与所述纹理对象绑定。

具体的来说，在所述步骤S101中，所述SurfaceFlinger服务为Android系统自带的系统服务，SurfaceFlinger服务运行于System进程中，用于负责管理Android系统的帧缓冲区(Frame Buffer)。在Android系统中，每个Android应用程序都有与SurfaceFlinger服务是运行在不同进程中，它们之间采用Binder机制进行通信。也就是说，每个Android应用程序与SurfaceFlinger服务之间都有一个连接，当Android应用程序成功连接到SurfaceFlinger服务之后，就能获得一个对应的接入端Client对象的Binder对象接口，然后就可以通知SurfaceFlinger服务来绘制自己的UI。Android系统的UI显示到屏幕以及外部设备的过程中，SurfaceFlinger的职责是Flinger，即把系统中所有应用程序的最终绘图结果进行混合，然后统一显示到物理屏幕上。

在所述步骤S102中，所述通过OpenGL函数创建一帧缓冲区指的是预先建立一个OpenGL帧缓冲区，调用OpenGL绑定帧缓冲区函数将OpenGL函数绑定至所述并将所述OpenGL帧缓冲区，使得通过OpenGL函数绘制的内容存在至所述帧缓冲区。也就是说，所述帧缓冲区是用于终端设备做离屏渲染。所述离屏渲染指的将当前帧图像渲染至所述帧缓冲区，而不直接渲染至系统的缓冲区。所述帧缓冲区与OpenGL纹理绑定，也就是所述帧缓冲去与一个纹理对象的图像数据相关联。也就是说，当将前帧图像绘制至所述帧缓冲区时，可以得到一纹理图像。

在所述步骤S200中，所述获取当前帧图像指的是获取终端设备当前接收到帧图像，所述当前帧图像是终端设备需显示的内容。所述使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中指的是依次调用各个Layer的绘制方法，采用OpenGL函数以左右分屏的方式进行绘制，将所述当前帧图像绘制至预设的帧缓冲取中，并且每个Layer绘制的显示内容都已经被保存在纹理中，也就是说，每个Layer绘制的显示内容都对应一个纹理图像，所述纹理图像用于后续系统缓冲区的绘制。

在所述步骤S300中，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕具体包括：

S301、使用OpenGL函数将所述预设的帧缓冲区对应的纹理图像分别绘制成左右屏幕的显示内容；

S302、通过SurfaceFlinger服务分别将左右屏幕的显示内容进行混合，并以分屏方式显示于终端设备的屏幕上。

具体地，使用OpenGL函数对预设帧缓冲区对应的纹理图像进行二次绘制，也就是将所述纹理图像绘制至系统缓冲区，并采用SurfaceFlinger服务对系统缓冲区的左右屏幕的显示内容分别进行混合，并将混合后的左右屏幕的显示内容提交至终端设备的显示模块，使得当前帧图像与分屏方式显示于终端设备的屏幕上，实现虚拟现实的显示。

在本实施中，由于用户头部位置不同，左右眼看到的景象不同，从而在所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕之前还可以包括：

S300a、通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

具体地，终端设备通过传感器模块数据中得到用户头部状态数据，例如头部的角度、面向方向等等，具体可以从如陀螺仪中得到旋转矢量rotation vector的具体数值，根据这些数据确定用户左右眼的透视矩阵，并根据所述透视矩阵绘制显示内容，使得用户就可以感觉到身处一个虚拟的场景中，提高用户身临其境的真实性。相应的，所述使用OpenGL函数将所述预设的帧缓冲区对应的纹理图像分别绘制成左右屏幕的显示内容具体可以为根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。

进一步，为了使得传感器模块获取的用户头部状态数据与用户当前状态保持实时性，在绘制显示内容时可以读取传感器模块一时间内的数据，并将所述数据作为当前用户头部状态数据。从而，所述通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵具体可以包括：

读取所述传感器模块前一次界面刷新信号至当前界面刷新信号之间获取的用户头部状态数据；

根据所述用户投标状态数据计算用户左右眼的透视矩阵。

在本发明的在一个实施例中，所述终端设备中切换虚拟现实模式的方法还包括：

S400、当所述切换指令对应的显示模式为普通模式时，获取当前帧图像，并使用OpenGL函数将所述图像绘制至系统缓存区;

S500、采用SurfaceFlinger服务将所述系统缓存区中的内容进行组合并显示于终端设备的屏幕上。

本发明还提供了一种终端设备中切换虚拟现实模式的系统，如图2所示，其包括：

监听模块100，用于监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

第一绘制模块200，用于当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

第二绘制模块300，用于将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

所述终端设备中切换虚拟现实模式的系统，其还包括：

传感器模块，用于通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

所述终端设备中切换虚拟现实模式的系统，其中，所述第二绘制模块具体用于：

根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。

上述终端设备中切换虚拟现实模式的系统的各个模块在上述方法中已经详细说明，在这里就不再一一陈述。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种终端设备中切换虚拟现实模式的方法，其特征在于，其包括：

监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

2.根据权利要求1所述终端设备中切换虚拟现实模式的方法，其特征在于，所述方法还包括：

当所述切换指令对应的显示模式为普通模式时，获取当前帧图像，并使用OpenGL函数将所述图像绘制至系统缓存区；

采用SurfaceFlinger服务将所述系统缓存区中的内容进行组合并显示于终端设备的屏幕上。

3.根据权利要1所述终端设备中切换虚拟现实模式的方法，其特征在于，所述监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式之前还包括：

当所述终端设备启动时，启动SurfaceFlinger服务；

通过OpenGL函数创建一帧缓冲区和纹理对象，并将所述帧缓冲区与所述纹理对象绑定。

4.根据权利要求3所述终端设备中切换虚拟现实模式的方法，其特征在于，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕具体包括：

使用OpenGL函数将所述预设的帧缓冲区对应的纹理图像分别绘制成左右屏幕的显示内容；

通过SurfaceFlinger服务分别将左右屏幕的显示内容进行混合，并以分屏方式显示于终端设备的屏幕上。

5.根据权利要求1或4所述终端设备中切换虚拟现实模式的方法，其特征在于，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕之前还包括：

通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

6.根据权利要求5所述终端设备中切换虚拟现实模式的方法，其特征在于，所述将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容具体为：

根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。

7.根据权利要求5所述终端设备中切换虚拟现实模式的方法，其特征在于，所述通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵具体包括：

读取所述传感器模块前一次界面刷新信号至当前界面刷新信号之间获取的用户头部状态数据；

根据所述用户头部状态数据计算用户左右眼的透视矩阵。

8.一种终端设备中切换虚拟现实模式的系统，其特征在于，其包括：

监听模块，用于监听到切换指令时，确定所述切换指令对应的显示模式，其中，所述显示模式包括虚拟现实模式以及普通模式；

第一绘制模块，用于当所述切换指令对应的显示模式为虚拟现实模式时，获取当前帧图像,并使用OpenGL函数将所述图像以左右分屏的方式绘制到预设的帧缓冲区中；

第二绘制模块，用于将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕。

9.根据权利要求8所述终端设备中切换虚拟现实模式的系统，其特征在于，其还包括：

传感器模块，用于通过终端设备预设的传感器模块获取用户头部状态数据，并根据所述用户头部状态数据计算用户左右眼的透视矩阵。

10.根据权利要求9所述终端设备中切换虚拟现实模式的系统，其特征在于，所述第二绘制模块具体用于：

根据所述用户左右眼的透视矩阵，使用OpenGL函数将所述预设的帧缓冲区中的内容分别绘制到终端设备的左右屏幕内容。