CN114286077B - 一种虚拟现实设备及vr场景图像显示方法 - Google Patents

Abstract

本申请提供一种虚拟现实设备及VR场景图像显示方法可以在获取用于浏览媒资文件的控制指令后，控制显示器显示浏览界面，同时通过获取显示面板的类型，并根据显示面板类型在浏览界面中渲染虚拟场景图案。所述方法可以通过选择不同的模式渲染不同的场景图案，并且通过虚拟相机对每帧图像进行统一的分辨率转化，减轻显示高分辨率图像时的闪烁问题，提高渲染性能。

Description

一种虚拟现实设备及VR场景图像显示方法

技术领域

本申请涉及虚拟现实设备技术领域，尤其涉及一种虚拟现实设备及VR场景图像显示方法。

背景技术

虚拟现实(Virtual Reality，VR)技术是通过计算机模拟虚拟环境，从而给人以环境沉浸感的显示技术。虚拟现实设备是一种应用虚拟显示技术为用户呈现虚拟画面以实现沉浸感的设备。通常，虚拟现实设备包括两个用于呈现虚拟画面内容的显示屏幕，分别对应用户的左右眼。当两个显示屏幕所显示的内容分别来自于同一个物体不同视角的图像时，可以为用户带来立体的观影感受。

虚拟现实设备所呈现的图像内容可以来源于图片文件和视频文件。在显示图像画面，尤其是图片画面时，由于用户单次浏览的图片数量为多个，因此会根据图片画面内容切换要显示的画面内容。但传统的虚拟现实设备不能在展示界面中直接执行切换，需要退出展示界面，在文件管理界面中打开其他图片。这样的图像显示方式，操作复杂，并且由于文件管理界面中只展示文件图标或缩略图，不便于用户了解画面内容，即无法实现精确操作。

发明内容

本申请提供了一种虚拟现实设备及VR场景图像显示方法，以解决传统虚拟现实设备不便于用户操作的问题。

第一方面，本申请提供一种虚拟现实设备，包括：显示器和控制器。其中，所述显示器被配置为显示用户界面；所述控制器被配置为执行以下程序步骤：

获取用户输入的用于浏览媒资文件的控制指令；

响应于所述控制指令，控制显示器显示浏览界面，所述浏览界面中包括至少一个显示面板，所述显示面板中显示待显示媒资文件的画面内容；

根据所述显示面板所属的类型，在所述浏览界面中渲染虚拟场景图案。

第二方面，本申请还提供一种VR场景图像显示方法，应用于虚拟现实设备，所述虚拟现实设备包括显示器和控制器，所述VR场景图像显示方法包括：

获取用户输入的用于浏览媒资文件的控制指令；

响应于所述控制指令，控制显示器显示浏览界面，所述浏览界面中包括至少一个显示面板，所述显示面板中显示待显示媒资文件的画面内容；

根据所述显示面板所属的类型，在所述浏览界面中渲染虚拟场景图案。

由以上技术方案可知，本申请提供的虚拟现实设备及VR场景图像显示方法可以在获取用于浏览媒资文件的控制指令后，控制显示器显示浏览界面，同时根据显示面板所属的类型，在浏览界面中渲染虚拟场景图案。所述方法可以通过选择不同的模式渲染不同的场景图案，并且通过虚拟相机对每帧图像进行统一的分辨率转化，减轻显示高分辨率图像时的闪烁问题，提高渲染性能。

第三方面，本申请还提供一种显示设备，包括：显示器和控制器。其中，所述显示器被配置为显示浏览界面，所述浏览界面包括显示面板和虚拟场景图案；所述控制器被配置为执行以下程序步骤：

获取用户输入的用于启用或关闭视线跟随功能的交互指令；

响应于所述交互指令，检测所述交互指令中的动作内容；

如果所述动作内容为开启视线跟随功能，对所述浏览界面中的虚拟场景图案执行黑暗显示处理；

如果所述动作内容为关闭视线跟随功能，对所述浏览界面中的虚拟场景图案执行点亮显示处理。

第四方面，本申请还提供一种VR场景图像显示方法，应用于虚拟现实设备，所述虚拟现实设备包括显示器和控制器，所述VR场景图像显示方法包括：

获取用户输入的用于启用或关闭视线跟随功能的交互指令；

响应于所述交互指令，检测所述交互指令中的动作内容；

如果所述动作内容为开启视线跟随功能，对所述浏览界面中的虚拟场景图案执行黑暗显示处理；

如果所述动作内容为关闭视线跟随功能，对所述浏览界面中的虚拟场景图案执行点亮显示处理。

由以上技术方案可知，申请提供的虚拟现实设备及VR场景图像显示方法，可以在显示浏览界面时获取用户输入的交互指令。如果用户输入用于开启视线跟随功能的交互指令，则对浏览界面中的虚拟场景图案执行黑暗显示处理，如果用户输入用于关闭视线跟随功能的交互指令，则对浏览界面中的虚拟场景图案执行点亮显示处理。所述方法可以通过视线跟随功能，浏览界面中的虚拟场景图案进行隐藏或显示，以带来更加真实的沉浸感体验。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中包括虚拟现实设备的显示系统结构示意图；

图2为本申请实施例中VR场景全局界面示意图；

图3为本申请实施例中全局界面的推荐内容区域示意图；

图4为本申请实施例中全局界面的应用快捷操作入口区域示意图；

图5为本申请实施例中全局界面的悬浮物示意图；

图6为本申请实施例中虚拟现实设备结构示意图；

图7为本申请实施例中浏览界面示意图；

图8为本申请实施例中控制选项区域示意图；

图9为本申请实施例中图片列表示意图；

图10为本申请实施例中模式切换时的界面示意图；

图11a为本申请实施例中2D图片浏览界面示意图；

图11b为本申请实施例中2D图片旋转状态示意图；

图12为本申请实施例中3D图片浏览界面示意图；

图13为本申请实施例中浏览图片时的流程示意图；

图14a为本申请实施例中左右型3D片源分割示意图；

图14b为本申请实施例中上下型3D片源分割示意图；

图15为本申请实施例中视频列表示意图；

图16为本申请实施例中浏览视频时的流程示意图；

图17为本申请实施例中检测外接设备接入时的浏览界面示意图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中，所述虚拟现实设备500泛指能够佩戴于用户面部，为用户提供沉浸感体验的显示设备，包括但不限于VR眼镜、增强现实设备(Augmented Reality，AR)、VR游戏设备、移动计算设备以及其它可穿戴式计算机等。本申请部分实施例以VR眼镜为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

虚拟现实设备500可以在佩戴于用户面部后，显示媒资画面，为用户双眼提供近距离影像，以带来沉浸感体验。为了呈现媒资画面，虚拟现实设备500可以包括多个用于显示画面和面部佩戴的部件。以VR眼镜为例，虚拟现实设备500可以包括外壳、镜腿、光学系统、显示组件、姿态检测电路、接口电路等部件。实际应用中，光学系统、显示组件、姿态检测电路以及接口电路可以设置于外壳内，以用于呈现具体的显示画面；外壳两侧连接镜腿，以佩戴于用户面部。

在使用时，姿态检测电路中内置有重力加速度传感、陀螺仪等姿态检测元件，当用户头部移动或转动时，可以检测到用户的姿态，并将检测到的姿态数据传递给控制器等处理元件，使处理元件可以根据检测到的姿态数据调整显示组件中的具体画面内容。

需要说明的是，根据虚拟现实设备500的类型不同，其所呈现具体画面内容的方式也不同。例如，如图1所示，对于部分轻薄VR眼镜，其内置的控制器一般不直接参与显示内容的控制过程，而是将姿态数据发送给外接设备，如计算机中，由外接设备进行处理，并在外接设备中确定要显示的具体画面内容，再回传给VR眼镜中，以在VR眼镜中显示最终的画面。

在一些实施例中，所示虚拟现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示系统，在虚拟现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给虚拟现实设备500中进行显示。

其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及虚拟现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和虚拟现实设备500通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中，用户可通过移动终端100A和遥控器100B操作显示设备200。移动终端100A和遥控器100B可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端100A和遥控器100B可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端100A和遥控器100B可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中，移动终端100A和遥控器100B还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端100A和遥控器100B可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中，用户还可以使用移动终端100A和遥控器100B还可以直接与虚拟现实设备500进行交互，例如，可以将移动终端100A和遥控器100B作为虚拟现实场景中的手柄进行使用，以实现体感交互等功能。

在一些实施例中，虚拟现实设备500的显示组件包括显示屏幕以及与显示屏幕有关的驱动电路。为了呈现具体画面，以及带来立体效果，显示组件中可以包括两个显示屏幕，分别对应于用户的左眼和右眼。在呈现3D效果时，左右两个屏幕中显示的画面内容会稍有不同，可以分别显示3D片源在拍摄过程中的左相机和右相机。由于用户左右眼观察到的画面内容，因此在佩戴时，可以观察到立体感较强的显示画面。

虚拟现实设备500中的光学系统，是由多个透镜组成的光学模组。光学系统设置在用户的双眼与显示屏幕之间，可以通过透镜对光信号的折射以及透镜上偏振片的偏振效应，增加光程，使显示组件呈现的内容可以清晰的呈现在用户的视野范围内。同时，为了适应不同用户的视力情况，光学系统还支持调焦，即通过调焦组件调整多个透镜中的一个或多个的位置，改变多个透镜之间的相互距离，从而改变光程，调整画面清晰度。

虚拟现实设备500的接口电路可以用于传递交互数据，除上述传递姿态数据和显示内容数据外，在实际应用中，虚拟现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，虚拟现实设备500可以通过接口电路连接显示设备，从而将所显示的画面实时输出至显示设备进行显示。又例如，虚拟现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在VR用户界面中执行相关操作。

其中，所述VR用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图2所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排,如图3所示。

业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。

应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图4所示。

悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图5所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。

在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。

例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。

在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。

用户可以通过全局界面进入不同的场景界面，例如，如图6所示，用户可以在全局界面中的“浏览界面”入口进入浏览界面，或者通过在全局界面中选择任一媒资启动浏览界面。在浏览界面中，虚拟现实设备500可以通过Unity 3D引擎创建3D场景，并在3D场景中渲染具体的画面内容。

在浏览界面中，用户可以观看具体媒资内容，为了获得更好的观影体验，浏览界面中还可以设置不同的虚拟场景控件，以配合媒资内容呈现具体场景或实时交互。例如，在浏览界面中，可以在Unity 3D场景中设置面板，用来呈现图片内容，在配合其他家居虚拟控件，以实现影院银幕的效果。

虚拟现实设备500可以在浏览界面中展示操作UI内容。例如，在Unity 3D场景中的显示面板前方还可以显示有列表UI，在列表UI中可以显示当前虚拟现实设备500本地存储的媒资图标，或者显示可在虚拟现实设备500中进行播放的网络媒资图标。用户可以在列表UI中选择任一图标，则在显示面板中可以实时显示被选中的媒资。

本申请实施例中，虚拟现实设备500所显示的具体内容，可以通过渲染引擎构建的渲染场景呈现。例如，通过Unity 3D引擎，可以创建Unity 3D场景。在渲染场景中，可以添加多种显示内容，显示内容可以通过虚拟物体模型、控件等方式进行具体表现。例如，可以在渲染场景中添加显示面板，用于呈现媒资影像画面，也可以在渲染场景中添加虚拟人物、物体，用于模拟场景。

在构建渲染场景后，渲染引擎可以通过内置的虚拟相机对渲染的虚拟场景进行拍摄，输出能够用于屏幕显示的具体画面内容。其中，虚拟相机的数量通常为两个，两个虚拟相机可以按照用户的双眼位置等比例缩放设置。一个虚拟相机模拟用户左眼，称为左眼相机；另一个虚拟相机模拟用户右眼，称为右眼相机。左眼相机和右眼相机同时对渲染场景进行拍摄，并分别将拍摄所形成的画面输出到左侧显示器和右侧显示器进行显示，从而获得立体的观看体验。

虚拟相机还与虚拟现实设备500的位姿传感器关联，即在虚拟现实设备500的控制器获取位姿传感器检测是位置数据后，虚拟相机可以根据位姿数据，在虚拟场景中调整拍摄方向(角度)，从而实现实时跟随用户动作，调整观看角度的效果。

需要说明的是，上述虚拟相机的“拍摄”并非指真实物理设备意义上的拍摄，而是指按照预先定义的成像算法，将渲染场景中的3D虚拟物体向特定方向成像获得2D图像的过程。

基于上述虚拟现实设备500，用户可以通过虚拟现实设备500所提供的UI界面执行交互操作，并进入浏览界面。在浏览界面中，虚拟现实设备500可以展示图片或播放视频媒资文件，并执行与展示图片或视频相关联的交互操作。

当用户在全局界面中的“浏览界面”入口进入浏览界面，或者通过在全局界面中选择任一媒资启动浏览界面后。虚拟现实设备500可以跳转至显示浏览界面中。如图7所示，在浏览界面中，可以包括显示面板区域、控制选项区域、资源列表区域等。

其中，显示面板区域用于展示图片或视频文件的具体资源内容，可以根据所浏览的媒资内容的不同，呈现为不同的内容。例如，当浏览图片文件时，显示面板上呈现静态的图案；当浏览视频文件时，显示面板上呈现动态的视频画面内容。

媒资文件可以包括多种片源类型，例如，2D图片、3D图片及360°全景图片等图片媒资文件；以及，2D视频、3D视频、180°视频、360°视频以及鱼眼视频等，并且其中180°视频、360°视频和鱼眼视频又分为全景模式、上/下模式以及左/右模式等。在显示不同片源类型的媒资文件时，对显示面板也具有不同的要求。例如，在呈现360°全景图片时，显示面板需要为球形，以此来适应360°全景图片拍摄过程中的变形，还原图案中对应实体的真实形状。

因此，为了适应媒资文件的片源类型，虚拟现实设备500在进入浏览界面时，可以对媒资文件的片源类型进行检测，从而根据检测的片源类型设置不同形状的显示面板。例如，当用户通过在全局UI界面的内容推荐区域中点击同一个2D类型的电影资源链接，以进行播放时，虚拟现实设备500可以运行界面跳转程序，显示浏览界面。期间，虚拟现实设备500可以对电影资源的片源类型进行检测，从而在检测出片源类型为2D时，在浏览界面中呈现平面形式的显示面板。

控制选项区域中包含多个控制选项，这些控制选项可以由用户的交互动作触发不同的控制指令，用于对浏览界面中的媒资播放过程进行控制。例如，可以通过控制选项区域，对展示的图片执行缩小、放大等控制处理；或者对播放的视频媒资文件执行暂停/播放、快进等控制处理。

可见，控制选项区域可以作为主要交互区域，预设多个交互控件。由于所浏览的媒资文件类型不同，在浏览过程中执行的交互动作也存在着较大的差异，因此，根据所浏览的媒资文件类型，浏览界面可以展示包含不同交互控件内容的控制选项区域。如图8所示，对于部分实施例，在展示图片媒资文件时，控制选项区域中可以包括：“图片列表”、“拖拽按钮”选项、“退出”选项、“模式切换”选项、“旋转”选项以及“详情”选项等一种或几种。

其中，“图片列表”中可以呈一行排列多个图片文件的图标或缩略图，当用户点击任一图标或缩略图时，可以在显示面板中显示该图片对应的具体内容。由于图片列表中可以展示多个图片文件的缩略图，包括虚拟现实设备500本地存储的图片文件和云端服务器中存储的图片文件，而图片列表区域显示范围有限，因此在图片列表区域内可以仅显示部分图片的缩略图，而通过“拖拽按钮”执行拖拽、翻页处理，以显示的其他未显示的图片文件缩略图。

图片列表中的缩略图还可以在被选中后突出显示，以表示当前显示面板中展示是图片内容对应为列表中的哪个缩略图。例如，在图7所示的浏览界面控制选项区域中，一个图片被选中后，会在图片列表中进行放大显示。需要说明的是，为了对选中的缩略图进行突出显示，根据交互UI风格的不同，可以采用不同的突出显示方式。例如，可以对缩略图执行高亮处理、放大处理、框选处理、变换颜色等。

为了操作方便，“拖拽按钮”选项可以包括分别设置在“图片列表”两侧的两个按钮，分别表示向左翻页和向右翻页。“拖拽按钮”上可以显示指示方向的图案，如箭头、尖角等。当用户执行在“拖拽按钮”上的点击操作时，可以控制切换图片列表中的缩略图内容。例如，在初始状态下，图片列表中可以显示最新内容图片文件缩略图，即图片1、图片2和图片3的缩略图。当用户单击右侧的拖拽按钮时，可以向左滑动显示缩略图，从而显示出图片4、图片5、图片6、图片7、图片8的缩略图，如图8所示；继续点击右侧的拖拽按钮在可以显示出图片9和图片10的缩略图，如图9所示。

“拖拽按钮”还可以用于切换选中的缩略图项目。例如，在选中图片1时，图片1对应的缩略图被突出显示，而在用户点击右侧的拖拽按钮后，可调整为选中图片2，并将图片2的缩略图进行突出显示。如此，通过图片列表左右两侧的拖拽按钮，可以在多个缩略图项目之间进行选中目标的切换，并且，在选中一页缩略图中位于边缘的项目上以后，继续按下拖拽按钮，完成翻页显示。例如，在用户选中图片3后，再次按下右侧的拖拽按钮，则可以在图片列表中显示图片4、图片5等之前未显示的图片，并对选中的图片4进行突出显示。

“退出”选项、“模式切换”选项、“旋转”选项以及“详情”选项是控制图片显示状态的常用选项，可以表现为文字和图标的显示内容形式。不同功能的选项可以调用不同的控制功能。例如，退出选项用于在用户点击退出图标时，关闭当前浏览界面，返回全局UI界面。

“模式切换”选项可以针对不同类型的图片形式，切换显示方式。对于虚拟现实设备500，由于其支持2D图片、3D图片以及360°全景图片，而不同类型的图片需要不同的显示面板进行显示，因此用户在图片列表中选中的图片类型与前一次显示的图片类型不同时，将有可能导致图片无法显示或者无法获得较好的显示效果。

对此，用户可以通过点击模式切换选项控制虚拟现实设备500调整浏览界面中的显示面板形状以及向显示器输出画面内容的方式，从而使显示模式适应图片类型，获得较好的显示效果。例如，在用户选中2D的图片1后，切换至选中3D的图片2，由于2D图片的显示过程中，左右眼对应的显示器对应在显示面板上展示的图片内容相同，而3D图片需要在两个显示器中显示不同的内容才能获得3D效果，因此，用户可以在切换至选中图片2以后，通过点击模式切换选项，调整显示器画面的输出方式，使左右显示器显示的画面不同，从而获得3D效果。

需要说明的是，对于3D图片的显示过程，可以将按照源文件中左侧图像和右侧图像的排布方式，分别在显示面板上进行显示。例如，3D的图片2文件中，图像排布方式为上下型，即左眼图像位于上方，右眼图像位于下方，则可以在用户点击“模式切换”按钮后，在Unity 3D虚拟场景中设置两个显示面板，其中一个显示面板用于显示图片2上半部分的左侧图像，并仅对左显示器的虚拟相机可见，从而向左显示器输出左眼图像；另一个显示面板用于显示图片2下板部分的右眼图像，并仅对右显示器的虚拟相机可见，从而向右显示器输出右眼图像。

在模式切换过程中，由于不同类型图片切换显示时，需要消耗一定的时间，因此可以在切换过程中，可以在浏览界面中显示等待界面。如图10所示，当用户从3D模式切换至360°全景图片时，可以在切换过程中在原显示面板区域显示等待界面。

“旋转”选项用于实现对显示图片执行旋转操作，当用户点击旋转选项时，可以触发对图片的旋转操作。旋转选项可以设定为每次点击对图片执行特定角度的旋转操作。例如，可以设定旋转选项在每次点击过程中，对图片进行顺时针90°的旋转操作，用户可以通过多次点击旋转按钮，实现对图片的多角度旋转操作。如用户点击两次旋转选项，则可以将所显示的图片旋转为倒置的状态。

旋转选项可针对不同类型的图片执行不同的旋转方式。例如，对于2D类型的图片，旋转选项可以为对平面图案的直接旋转显示，以获得翻转效果；而对于360°全景图片，旋转选项还可以实现对不同视角的转动处理，即在显示360°全景图片时，可以在用户点击旋转选项后，将球形的显示面板进行翻转处理，以显示面板另一侧背面的内容。由此，在浏览不同类型的图片文件时，旋转选项可以采用不同形状图标图案，以便对图片旋转操作的方式进行展示。

需要说明的是，为了获得更好的观看效果，在执行旋转操作的过程中，虚拟现实设备500所进行的旋转可以不是针对图片本身进行的旋转，而针对显示面板进行的图片操作。即虚拟现实设备500先将图片渲染在显示面板上，并在用户点击旋转选项以后，直接对显示面板执行旋转操作。例如，如图11a、图11b所示，在显示2D图片时，每次点击旋转选项，虚拟现实设备500对矩形的显示面板执行顺时针转动90°的操作；在显示360°全景图片时，每次点击旋转选项，虚拟现实设备500对球形的显示面板执行转动180°的操作。可见，通过对显示面板执行旋转操作，可以在旋转过程中保留立体显示效果。

“详情”选项可以用于显示当前所浏览图片的文件信息，如图片大小、图片类型、图片格式、图片名称、图片来源以及修改日期等信息。当用户点击详情选项后，虚拟现实设备500可以在浏览界面中显示文件信息。详情信息可以显示在显示面板上的特定区域内，如显示面板的右下角；或者显示在浏览界面中的特定区域内，如可以在Unity 3D虚拟场景中再设置一个显示面板用于显示详情信息。

需要说明的是，控制选项区域中不仅包括上述几个控制选项，还可以包括其他控制选项，用于实现对浏览的媒资文件执行特定的调节功能。例如，如图12所示，还可以包括“亮度”选项，当用户点击该选项时，可以弹出亮度调节选项，供用户调节显示亮度。

资源列表区域内可用于展示可进行浏览的资源文件，以供用户选择。当用户在资源列表区域中选择任一资源文件时，可以切换当前展示或播放的资源文件内容，并展示或播放新选中的资源文件。

资源列表区域中可以展示多个资源文件，并具体显示为图标或者缩略图的方式。多个资源文件的排布顺序可以与资源文件的存储顺序相同，以便用户快速选择新的资源文件。例如，资源列表区域中显示的第一个资源文件可以是虚拟现实设备500最后存储的文件。

资源列表区域在浏览界面中，可以是单独的区域，也可以是设置在控制选项区域中的特定区域。例如，当虚拟现实设备500播放视频媒资文件时，资源列表区域为设置在浏览界面左上角的一个独立区域，其中包含视频列表，该视频列表可以在进入浏览界面时显示，在选中资源文件时隐藏，并且当用户点击浏览界面中没有控制选项的区域时，可再次调出视频列表。当虚拟现实设备500在展示图片文件时，资源列表区域可以设置在控制选项区域中，即图片列表。

基于上述浏览界面，如图13所示，虚拟现实设备500在浏览图片文件的过程中，可以采用如下图片展示方式：

在获取图片浏览指令后，对待显示的图片文件执行解码操作，从而获得图片文件的图像内容。对于不同来源的图片文件，可以采用不同的解码方式。例如，对于虚拟现实设备500本地存储的图片文件，可以直接按照图片文件存储方式，对图片文件进行解压处理，从而获得图像数据；而对于从云端服务器获取的图片数据，虚拟现实设备500可以根据数据传输协议的压缩方式，对图片数据进行解码处理，从而获得图像数据。

在获得图像数据后，虚拟现实设备500可以将图像数据以二维纹理(texture 2D)的形式传递给渲染引擎(如Unity 3D引擎)，从而在渲染虚拟场景中对图像内容进行展示。例如，对于2D图片，可以将图像数据显示在显示面板上。

通过虚拟相机对Unity 3D虚拟场景执行拍摄，以输出渲染纹理数据，即通过虚拟相机转化输出rendertexture(x，y)形式的图像画面。其中，rendertexture是指对二维纹理图片执行渲染函数render，以根据二维纹理图片生成固定分辨率x：y形式的渲染纹理数据。虚拟相机是Unity 3D虚拟场景中的一个虚拟模块，用于对Unity 3D虚拟场景进行拍摄，以将Unity 3D虚拟场景中的内容输出成能够在虚拟现实设备500的显示器中进行显示的图像画面。为了获得立体的观感效果，在Unity 3D虚拟场景下可以模仿人的双眼位置关系分别设置两个虚拟相机，以分别对场景进行拍摄，获得两个显示器的输出图像内容。

为了模仿用户佩戴时的动作，虚拟相机还可以与虚拟现实设备500中的姿态传感器进行关联，即通过实时获取姿态传感器中检测的姿态数据，调整虚拟相机的拍摄方向，从而实现在不同角度对Unity 3D虚拟场景中的虚拟物体进行观察。

在一些实施例中，还可以在将图片文件显示在显示面板上以前，先通过一个虚拟相机对其进行拍摄，根据待显示图片生成rendertexture(x，y)形式的图像画面数据，并将拍摄获得的图像数据进行输出，以显示在显示面板中。通过camera对图片文件进行拍摄并输出rendertexture数据，可以将图片文件统一转化为特定分辨率和大小的图像形式，从而缓解在显示高分辨率图像时出现的闪烁、条纹等问题。

在输出rendertexture数据的同时，虚拟现实设备500还可以对所显示图片文件的片源类型进行检测，并且在不同的图片类型下，采用不同的数据输出方式和场景。当待显示图片文件的类型为2D图片时，可以将rendertexture数据直接贴在2D的显示面板中进行展示。

当待显示图片文件的类型为3D图片，则可以将rendertexture数据通过UV分解的方式，将rendertexture数据分成两份。根据3D图片中图像的排布方式的不同，UV分解的方式也不同。例如，如图14a所示，对于左右形式的图像排布方式，可以将x轴(0，0.5)，y轴(0,1)区域的图像内容划分为左眼显示内容；将x轴(0.5,1)，y轴(0,1)区域的内容划分为右眼显示内容。如图14b所示，对于上下形式的图像排布方式，可以将x轴(0，1)，y轴(0,0.5)区域的图像内容划分为左眼显示内容；将x轴(0,1)，y轴(0.5,1)区域的内容划分为右眼显示内容，并分别将左眼显示图像贴在左显示面板进行显示，将右眼显示图像贴在右显示面板进行显示。

当待显示图片文件的类型为360°全景图片，则可以将rendertexture数据贴在材质球上进行展示。由于360°全景图片是通过全景相机拍摄的图片，图片中存在部分变形，因此在将360°全景图片的rendertexture数据贴在球形的显示面板上，可以克服图片中的变形，对图片文件进行全景展示。

在将rendertexture数据贴在显示面板上以后，虚拟现实设备500还可以根据显示面板所属的类型，渲染应用场景。即在Unity 3D虚拟场景中添加各种虚拟模型，以模拟特定的场景画面。其中，显示面板所属的类型可以根据显示面板的形状预先通过分类设定，所分的类别可包括不同片源下的多个类型。例如，对于2D片源，可以根据演示屏幕的面积分类为普通2D屏、巨幕屏等。在将rendertexture数据贴在屏幕上以后，如果屏幕是普通2D屏，可以渲染天台、卧室等居家场景物体；如果屏幕是巨幕屏，可以添加座椅、阶梯等虚拟模型，以渲染影院场景。

在完成上述展示和渲染过程后，虚拟现实设备500还可以通过设置的左眼虚拟相机和右眼虚拟相机对Unity 3D虚拟场景进行拍摄，从而根据Unity 3D虚拟场景形成适用于左右眼观看的输出图像，并通过左侧显示器和右侧显示器进行显示。可见，在上述实施例中，虚拟现实设备500可以按照不同的图片类型，采用不同的图片展示方式，保证图片能够通过虚拟现实设备500进行正常显示。并通过虚拟相机对图片文件的图像内容预先进行拍摄，以生成rendertexture数据，从而适应多种不同分辨率的影响，以获得更好的显示效果。

在一些实施例中，当用户浏览视频文件时，浏览界面中可以呈现为不同的显示布局。视频浏览界面与图片浏览界面的主要不同点在于控制选项区域，由于对视频播放过程的控制与图片的控制操作不同，因此如图15所示，在视频浏览界面的控制选项区域中，可以包括“退出”选项、“音量”选项、“亮度”选项、“播放/暂停”选项、“模式切换”选项、“视频跟随”开关选项以及“设置”选项。

其中，“退出”选项与图片浏览界面中的退出选项功能相同，都是在用户点击该选项以后，退出当前浏览界面并跳转回全景UI界面。

“音量”选项用于对播放过程中，视频媒资的总体音量执行控制。当用户点击音量选项以后，可以在浏览界面中添加一个音量调节控件。用户可以针对音量调节控件执行交互动作以调节音量。例如，音量调节控件可以为带有活动标的滚动条，用户可以拖动活动标在滚动条上滑动，以使活动标处于不同的位置，进而调节视频音量。

需要说明的是，由于部分虚拟现实设备500并不带有音频输出功能，用户在使用中需要额外连接耳机等设备。因此在音量调节的过程中，用户通过音量调节控件所执行的交互动作可以转化为音量调节指令，并通过虚拟现实设备500传输给总的控制系统。控制系统再根据音量调节指令调节输出音量，完成音量调节。例如，当虚拟现实设备500与耳机同时接入显示设备时，音量调节指令可以先由虚拟现实设备500发送给显示设备200，在由显示设备200设定输出音量，从而调整输出给耳机的声音信号的音量大小。

“亮度”选项用于对虚拟现实设备500显示器的显示亮度进行调节。与音量选项的交互方式相同，亮度选项也可以在用户点击后，在浏览界面中显示亮度调节控件。使得用户可以针对亮度调节控件输入调节指令，调节显示器亮度。

“播放/暂停”选项用于在播放视频的过程中，对视频播放过程进行暂停和播放处理。“播放/暂停”选项可以为一个按钮控件，并在播放过程中呈现为不同的形式和功能。例如，当视频在播放的过程中，“播放/暂停”选项显示为暂停图标，并且在用户点击时暂停播放；而当视频在暂停的状态下，“播放/暂停”选项显示为播放图标，并在用户点击时继续播放。

“模式切换”选项与图片浏览界面中的“模式切换”选项的功能相同，都是用于控制虚拟现实设备500调整浏览界面中的显示面板形状以及向显示器输出画面内容的方式。由于视频文件的类型相对于图片文件的类型更多，因此“模式切换”选项对应的可以切换模式也更多。

“视线跟随”开关选项，可以用户开启和关闭视线跟随功能。其中，视线跟随功能是指，在播放视频的过程中，可以控制虚拟场景中的显示面板跟随左右眼的虚拟相机转动，以使虚拟性相机输出给左右显示器的画面内容始终处于正对的状态。例如，在用户点击视线跟随按钮后，虚拟现实设备500可以使场景黑掉来提高用户沉浸感，通过调用SDK中的接口将显示面板跟随camera转动实现视线跟随。在视线跟随的过程中，控制选项区域可以被隐藏，以获得更好的沉浸感体验。而在退出视线跟随时，获取当前帧的图像位置信息，并在设定的时间t内，将控制选项区域的位置信息对应于所获图像的位置信息，重新点亮场景。

“设置”选项可以作为其他控制功能和全局控制功能入口，在用户点击“设置”选项后，虚拟现实设备500可以跳转至设置界面，或者在浏览界面上添加设置区域。设置界面或者设置区域中可以包括针对系统全局和/或播放过程的控制选项，例如，画质调整、字幕选择、倍速播放等具体的控制选项。

基于上述浏览界面，如图16所示，虚拟现实设备500在浏览视频文件的过程中，可以采用如下视频播放方式：

在进入浏览界面后，用户可以在左侧的视频列表中选择任一视频进行播放。虚拟现实设备500可以调用视频播放应用(Mideaplayer)，对选中的视频文件进行解码，获取视频中的每一帧图像，并形成由多帧图像构成的视频数据流。再将解码获得的每帧图像，以texture 2D的形式，逐帧发送给unity 3D引擎，从而在Unity 3D虚拟场景中对图像内容进行展示。

在将解码获得的图像发送给unity 3D引擎后，虚拟现实设备500可以针对视频文件的片源类型进行不同的播放操作。由于视频文件的片源类型较多，如2D视频、3D视频、180°视频、360°视频以及鱼眼视频等。其中，对于2D视频和3D视频，可以采用与浏览图片文件相同的展示过程。即在将图像数据发送给unity 3D引擎后，也可以通过虚拟相机对每帧图像进行拍摄，将图片数据文件转化为rendertexture形式的图像画面，以将每一帧图像统一转化为特定分辨率(如1280×720)和大小的图像画面，从而在4K等高分辨率影片播放时的每帧图像会通过rendertexture提前转化每帧图像，减轻闪烁，提高渲染性能。

而对于180°视频、360°视频以及鱼眼视频，由于其显示区域超过视野可见范围，并且每帧图像都会被拉伸，不会有像素压缩闪烁的问题。因此可以将180°视频、鱼眼视频放在半球上显示，360°视频放在全球上显示。因此，对于180°视频、360°视频以及鱼眼视频，可以在将图像帧数据发送给unity 3D引擎后，直接将数据通过UV分解的方式，将每帧图像数据分成两份。

同样，根据视频文件中每帧图像的排布方式不同，UV分解的方式也不同。例如，对于左右形式的图像排布方式，可以将x轴(0，0.5)，y轴(0,1)区域的图像内容划分为左眼显示内容；将x轴(0.5,1)，y轴(0,1)区域的内容划分为右眼显示内容，并分别将左眼显示图像贴在左球形或半球形显示面板进行显示，将右眼显示图像贴在球形或半球形显示面板进行显示。

虚拟现实设备500在显示浏览界面的过程中，还可以对用户的使用状态进行监控，并在用户的使用动作触发任一控制程序时，通过浏览界面进行提示。例如，如图17所示，可以在虚拟现实设备500的控制系统中注册设备插拔的广播，并在应用接收到该广播后对设备的插拔情况进行检测。

当检测到有外接设备插入时，可以同步对话，并在浏览界面中显示提示框，如“检测到【设备名称】接入，可到文件管理器＞外接设备中查看”并在显示的提示框中添加“取消”和“查看”选项，以供用户选择。如果用户选择点击“查看”选项，则可以跳转至设备同步界面；如果用户选择点击“取消”，则继续展示浏览界面。当检测到外接设备拔出后，可以弹出显示提示文字，提示用户外接设备已拔出。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (9)

1.一种虚拟现实设备，其特征在于，包括：

显示器；

控制器，被配置为：

获取用户输入的用于浏览媒资文件的控制指令；

响应于所述控制指令，控制显示器显示浏览界面，所述浏览界面中包括至少一个显示面板，所述显示面板中显示待显示媒资文件的画面内容；所述浏览界面中还包括控制选项区域，所述控制选项区域中包括多个控制选项；

根据所述显示面板所属的类型，在所述浏览界面中渲染虚拟场景图案；

获取用户针对所述控制选项输入的交互指令；

如果所述交互指令中控制选项为视线跟随选项，解析所述交互指令中的视线跟随控制动作内容；

如果所述控制动作内容为开启视线跟随，隐藏所述浏览界面中的控制选项区域；以及通过调用软件开发工具包中的接口，将所述显示面板设置为跟随虚拟输出相机转动状态，以实现视线跟随；

如果所述控制动作内容为关闭视线跟随，获取当前帧的图像位置信息；以及根据所述图像位置信息，在所述浏览界面中显示所述控制选项区域。

2.根据权利要求1所述的虚拟现实设备，其特征在于，获取用户输入的用于浏览媒资文件的控制指令的步骤后，所述控制器被进一步配置为：

对待显示媒资文件执行解码，以获取图像数据；

将所述图像数据以二维纹理图片的形式传递给渲染引擎；

获取待显示媒资文件的片源类型；

如果所述片源类型为第一类型，生成渲染纹理数据，所述渲染纹理数据由渲染引擎内置的虚拟相机程序基于待浏览媒资文件转化获得；

将所述渲染纹理数据显示在所述显示面板中。

3.根据权利要求2所述的虚拟现实设备，其特征在于，获取用户输入的用于浏览媒资文件的控制指令的步骤后，所述控制器被进一步配置为：

如果所述片源类型为第二类型，将所述图像数据显示在所述显示面板中。

4.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：

响应于所述交互指令，执行所述交互指令中控制选项动作；

根据所述控制选项动作调整所述浏览界面中的显示内容。

5.根据权利要求4所述的虚拟现实设备，其特征在于，如果所述交互指令中控制选项为旋转选项，所述控制器被进一步配置为：

获取所述待显示媒资文件的图片类型；

如果所述图片类型为2D图片或3D图片，在渲染引擎场景中以垂直于显示面板方向为转轴，控制平面形的显示面板旋转预设角度；

如果所述图片类型为360°全景图片，在渲染引擎场景中以竖直方向为转轴，控制球形的显示面板旋转预设角度。

6.根据权利要求4所述的虚拟现实设备，其特征在于，如果所述交互指令中控制选项为模式切换选项，所述控制器被进一步配置为：

根据所述待显示媒资文件的片源类型，修改所述显示面板形状以及图像画面的输出方式；

按照修改后的所述显示面板形状和输出方式，刷新所述浏览界面。

7.根据权利要求1所述的虚拟现实设备，其特征在于，如果所述交互指令中控制选项为视线跟随选项，所述控制器被进一步配置为：

如果所述控制动作内容为开启视线跟随，对虚拟场景图案执行黑暗显示处理；

如果所述控制动作内容为关闭视线跟随，对虚拟场景图案执行点亮显示处理。

8.根据权利要求1所述的虚拟现实设备，其特征在于，所述控制器被进一步配置为：

获取用户输入的用于启用或关闭视线跟随功能的交互指令；

响应于所述交互指令，检测所述交互指令中的动作内容；

如果所述动作内容为开启视线跟随功能，对所述浏览界面中的虚拟场景图案执行黑暗显示处理；

如果所述动作内容为关闭视线跟随功能，对所述浏览界面中的虚拟场景图案执行点亮显示处理。

9.一种VR场景图像显示方法，其特征在于，应用于虚拟现实设备，所述虚拟现实设备包括显示器和控制器，所述VR场景图像显示方法包括：

获取用户输入的用于浏览媒资文件的控制指令；

响应于所述控制指令，控制显示器显示浏览界面，所述浏览界面中包括至少一个显示面板，所述显示面板中显示待显示媒资文件的画面内容；所述浏览界面中还包括控制选项区域，所述控制选项区域中包括多个控制选项；

根据所述显示面板所属的类型，在所述浏览界面中渲染虚拟场景图案；

获取用户针对所述控制选项输入的交互指令；

如果所述交互指令中控制选项为视线跟随选项，解析所述交互指令中的视线跟随控制动作内容；

如果所述控制动作内容为开启视线跟随，隐藏所述浏览界面中的控制选项区域；以及通过调用软件开发工具包中的接口，将所述显示面板设置为跟随虚拟输出相机转动状态，以实现视线跟随；

如果所述控制动作内容为关闭视线跟随，获取当前帧的图像位置信息；以及根据所述图像位置信息，在所述浏览界面中显示所述控制选项区域。