CN106791771A - Vr设备播放3d视频的方法和vr设备 - Google Patents

Abstract

本发明公开了一种VR设备播放3D视频的方法和VR设备，从视频流中按序获取包括左视图部分和右视图部分的3D视频图像后，针对每帧3D视频图像，区分出其左视图部分和右视图部分，并建立左眼图层和右眼图层，将左视图部分渲染到左眼图层上，将右视图部分渲染到右眼图层上；在VR设备的显示屏显示左眼图层的视图和右眼图层的视图，并调节VR设备的左镜头获取左眼图层的视图和调节VR设备的右镜头获取右眼图层的视图；使得用户佩戴VR设备体验到的是真实的3D效果视频，相比现有VR设备播放3D视频的方式，无需增加专用设备观看，也无需预加载视频、无需切割3D视频图像，保证了视频播放流畅性和3D的真实感，利用现有的渲染技术降低VR设备的功耗。

Description

VR设备播放3D视频的方法和VR设备

技术领域

本发明属于虚拟现实技术领域，具体地说，是涉及一种VR设备播放3D视频的方法和VR设备。

背景技术

虚拟现实（Virtual Reality，VR）技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

近年来VR技术得到了空前发展，而VR视频的播放、尤其是3D视频的播放技术也越来越引起人们的关注。人们之所以热衷于VR技术在于其沉浸感，而3D视频更能增加用户的真实感，因此3D视频播放技术吸引了越来越多的关注。VR技术中的3D视频播放技术不同于传统的3D视频播放，是由VR技术特有的左右双眼模式决定的。

传统的3D视频文件在主流播放器中播放都会出现重影或者重复图像的问题，即一副图像会显示左右两份，因此要观看此类视频需要专用的设备，例如3D眼镜等，但如果把专用的设备加到VR头盔中则会增加头盔成本，而且增加头盔结构构造和体积，这样会影响用户观看体验。而不需要专用设备情况下在VR设备播放3D视频，目前的主要做法是：将3D视频的每一帧的左右两份相同图像进行区分切割，切割后仅将其中一副图像进行播放；而实现一帧图像切割的方法主要是利用第三方应用预先加载视频流，然后从视频流中将每帧图像解压缩出来，继而在应用层根据每帧图像左右两部分的相似性在中间部分将图像一分为二；但是，现有的这种在VR设备播放3D视频的方式由于引入第三方应用预先加载视频，会导致播放延迟卡顿，而解压缩后在应用层切割的过程导致VR设备消耗功率增大，且播放切割出的一副图像也会丧失3D的特点，降低用户的体验。

发明内容

本申请提供了一种VR设备播放3D视频的方法和VR设备，不需要增加专用设备，不需要引入第三方应用预加载视频，不需要切割每帧图像，并且能够保留3D视频特点，解决现有VR设备播放3D视频的上述技术问题。

为解决上述技术问题，本申请采用以下技术方案予以实现：

提出一种VR设备播放3D视频的方法，包括：从视频流中按序获取3D视频图像；其中，所述3D视频图像包括左视图部分和右视图部分；针对每帧3D视频图像，区分出其左视图部分和右视图部分；建立左眼图层和右眼图层；将所述左视图部分渲染到所述左眼图层上，将所述右视图部分渲染到所述右眼图层上；显示所述左眼图层的视图和所述右眼图层的视图，并调节VR设备的左镜头获取所述左眼图层的视图和调节VR设备的右镜头获取所述右眼图层的视图。

进一步的，所述显示所述左眼图层的视图和所述右眼图层的视图，具体为：将所述左眼图层的视图和所述右眼图层的视图重合显示于VR设备的显示屏上。

进一步的，所述从视频流中按序获取3D视频图像，具体为：从播放器的播放接口按序获取3D视频图像。

进一步的，所述从播放器的播放接口按序获取3D视频图像，具体包括：获取所述播放器的播放速率；以与所述播放速率呈正比例关系的获取速率，从所述播放接口按序获取3D视频图像。

进一步的，所述从播放器的播放接口按序获取3D视频图像，具体包括：判断所述播放器的播放是否暂停或停止；若是，控制暂停或停止从所述播放接口获取3D视频图像。

提出一种VR设备，包括显示屏、左镜头和右镜头；还包括3D视频图像获取模块、左右视图区分模块、图层建立模块、渲染模块和镜头调节模块；所述3D视频图像获取模块，用于从视频流中按序获取3D视频图像；其中，所述3D视频图像包括左视图部分和右视图部分；所述左右视图区分模块，用于针对每帧3D视频图像，区分出其左视图部分和右视图部分；所述图层建立模块，用于建立左眼图层和右眼图层；所述渲染模块，用于将所述左视图部分渲染到所述左眼图层上，将所述右视图部分渲染到所述右眼图层上；所述显示屏，用于显示所述左眼图层的视图和所述右眼图层的视图；所述镜头调节模块，用于调节VR设备的左镜头获取所述左眼图层的视图，以及调节VR设备的右镜头获取所述右眼图层的视图。

进一步的，所述VR设备还包括显示模块；所述显示模块，用于控制将所述左眼图层的视图和所述右眼图层的视图重合显示与所述显示屏上。

进一步的，所述VR设备还包括播放视频的播放器；所述3D视频图像获取模块，用于从所述播放器的播放接口按序获取3D视频图像。

进一步的，所述VR设备还包括3D视频图像获取速率设定模块；所述3D视频图像获取速率设定模块，用于获取所述播放器的播放速率，以与所述播放速率呈正比例的关系设定获取速率，使得所述3D视频图像获取模块以所述获取速率从所述播放器的播放接口按序获取3D视频图像。

进一步的，所述VR设备还包括播放器播放状态判断模块；所述播放器播放状态判断模块，用于判断所述播放器的播放是否暂停或停止；若是，则所述3D视频图像获取模块暂停或停止从所述播放器的播放器接口获取3D视频图像。

与现有技术相比，本申请的优点和积极效果是：本申请提出的VR设备播放3D视频的方法和VR设备中，在播放器播放视频时，从播放器的播放接口按序获取3D视频图像，每获取一帧3D视频图像后，区分出其左视图部分和右视图部分，并建立左眼图层和右眼图层，将左视图部分渲染到左眼图层上，将右视图部分渲染到右眼图层上，并将左眼图层的视图和右眼图层的视图都显示在VR设备的显示屏上，最后调整VR设备的左镜头获取左眼图层的视图，而右镜头获取右眼图层的视图，由此呈现在用户眼前的是3D效果的视图，用户看到的是立体感很强的3D视频。VR设备使用本方法播放3D视频时，无需使用第三方应用来预先加载视频，节省了存储空间，能够提高3D视频播放的流畅性和清晰度，还能避免播放延迟卡顿的现象发生；无需针对3D视频图像进行切割来选取其中一部分显示，只需区分出左视图部分和右视图部分分别进行渲染和显示即可，减少了VR设备的功率消耗，且因为左视图部分和右视图部分全都显示，相比有现有技术中仅显示切割的一部分，真实保留了3D视频的效果，在不增加专用设备观看3D视频的前提下提高了用户的观看体验。

本申请中，可以使用现有VR设备的GPU自身的接口和现有的渲染技术实现3D视频图像的区分和渲染，不需要关心每帧3D视频图像左右两部分视图的具体区分和渲染过程，能够保证各个开发平台的兼容性，降低编码难度。

由于是从播放器的播放接口获取3D视频图像，与VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，能够实现跟随播放器的播放顺序、播放速度或播放状态更改VR设备的播放，例如，播放器顺序播放或者后退时，VR设备从播放器的播放接口获取的即为顺序播放或者后退播放的视频流，3D视频图像获取模块按序获取的即为顺序播放的3D视频图像或后退播放的3D视频图像，则VR设备实现的即为3D视频的顺序播放或后退播放；同理，播放器快进或慢进时，VR设备实现的即为3D视频的快进或慢进播放；同理，播放器暂停或停止播放，VR设备实现的也是暂停或停止播放；由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，

结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。

附图说明

图1 为本申请提出的VR设备播放3D视频的方法流程图；

图2为本申请提出的VR设备的功能架构图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步详细地说明。

本申请提出的VR设备播放3D视频的方法，如图1所示，包括如下步骤：

步骤S11：从视频流中按序获取3D视频图像。

其中，3D视频图像包括左视图部分和右视图部分，左视图部分和右视图部分通常各占据一帧图像的左半部和右半部，分别为针对同一目标使用不同角度的两部摄像设备拍摄得到。通常观看3D视频图像时，需要佩戴诸如3D眼镜的专用设备才能观看到3D效果。而本实施例中，采用普通播放器播放3D视频，从播放器的播放接口中按序从视频流中获取3D视频图像；这里的播放接口是指将经播放器解码、播放速度转换、播放顺序转换、播放状态转换后的视频流数据输出至播放的数据接口。

步骤S12：针对每帧3D视频图像，区分出其左视图部分和右视图部分。

本申请中，对于一帧3D视频图像，无需像现有技术中一样对3D视频图像进行左视图部分和右视图部分的切割后拿出其中一部分进行显示，而是只要区分出左视图部分和右视图部分即可，也即，针对一帧3D视频图像，只需确定左视图部分和右视图部分的分界点即可。

实际应用中，可以采用诸如Unity shader 技术，在播放器播放3D视频时，利用VR设备自身GPU，基于Unity shader技术实现视频的每一帧进行左视图部分和右视图部分的区分，找到分界点即可；shader技术中，顶点着色程序进行几何方面的运算，片段着色程度针对最终的颜色值进行计算，两者结合，实现一帧3D图像的左视图部分和右视图部分的分界点确定。

步骤S13：建立左眼图层和右眼图层。

这里的图层是指能够绘制文字或图像的画布，能够按序叠放后组合形成视图的最终效果。

步骤S14：将左视图部分渲染到左眼图层上，将右视图部分渲染到右眼图层上。

在确定了一帧3D视频图像的左视图部分和右视图部门，并建立了左眼图层和右眼图层之后，采用现有的渲染技术分别将左视图部分渲染到左眼图层上，和将右视图部分渲染到右眼图层上。

这里的渲染泛指计算机图形学中把某种形式的图形变为二维的像素矩阵，例如绘制、呈现等，是一种从模型生成图像的过程、把数据以特定方式显示给用户的过程。

步骤S15：显示左眼图层的视图和右眼图层的视图，并调节VR设备的左镜头获取左眼图层的视图和调节VR设备的右镜头获取右眼图层的视图。

渲染完成后，将左眼图层和右眼图层同时显示在VR设备的显示屏上，显示时，左眼图层和右眼图层需要在同一个位置，也即重合显示，然后调节VR设备的左镜头获取左眼图层的视图，而调节VR设备的右镜头获取右眼图层的视图，这样避免了重影，使用户感受到的是3D效果的视图。

当然，在确定左视图部分和右视图部分的分界点后，可以一边渲染一边显示，也即，将左视图部分渲染到左眼图层同时显示左眼图层，将右视图部分渲染到到右眼图层同时显示右眼图层，能够提高视频的流畅性，避免卡顿。

上述可见，本申请提出的VR设备播放3D视频的方法中，在播放器播放视频时，从播放器的播放接口按序获取3D视频图像，每获取一帧3D视频图像后，区分出其左视图部分和右视图部分，并建立左眼图层和右眼图层，将左视图部分渲染到左眼图层上，将右视图部分渲染到右眼图层上，并将左眼图层的视图和右眼图层的视图都显示在VR设备的显示屏上，最后调整VR设备的左镜头获取左眼图层的视图，而右镜头获取右眼图层的视图，由此呈现在用户眼前的是3D效果的视图，用户看到的是立体感很强的3D视频。

相比于现有技术中使用第三方应用预先加载3D视频，并对每帧3D视频数据进行左右部分切割后提取其中一部分进行显示的技术，本方法播放3D视频时，无需使用第三方应用来预先加载视频，节省了存储空间，能够提高3D视频播放的流畅性和清晰度，还能避免播放延迟卡顿的现象发生；无需针对3D视频图像进行切割来选取其中一部分显示，只需区分出左视图部分和右视图部分分别进行渲染和显示即可，减少了VR设备的功率消耗，且因为左视图部分和右视图部分全都显示，相比有现有技术中仅显示切割的一部分，真实保留了3D视频的效果，在不增加专用设备观看3D视频的前提下提高了用户的观看体验。

并且，本申请中可以使用现有VR设备的GPU自身的接口和现有的渲染技术实现3D视频图像的区分和渲染，不需要关心每帧3D视频图像左右两部分视图的具体区分和渲染过程，能够保证各个开发平台的兼容性，降低编码难度。

本申请实施例中，从播放器的播放接口按序获取3D视频图像时，还可以进行以下操作：获取播放器的播放速率，并以与播放速率呈正比例关系的获取速率，从播放接口按序获取3D视频图像；实现的是在VR设备中的显示与播放器中的显示同步的技术效果。例如，播放器快进播放或慢进播放时，VR设备也调整从播放器的播放接口获取3D视频图像的速率，使得VR设备实现的也为3D视频的快进播放或慢进播放。

或者，从播放器的播放接口按序获取3D视频图像时，还可以判断播放器的播放是否暂停或停止；若是，则控制暂停或停止从播放接口获取3D视频图像。由此，VR设备也能实现3D视频播放的暂停或者停止。

因为是从播放器的播放接口按序获取的3D视频图像，则对于VR设备而言，当播放器顺序播放3D视频时，VR设备实现的也是顺序播放，而若播放器是按照倒退播放3D视频，则VR设备按序获取的也是倒退的3D视频图像，其实现的也就是倒序播放。

上述可见，由于是从播放器的播放接口获取3D视频图像，于VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，用户只需调节播放器的播放顺序、播放速度或者播放状态，VR设备也能够实现跟随播放器的播放顺序、播放速度或播放状态更改播放，由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，

基于上述提出的VR设备播放3D视频的方法，本申请还提出一种VR设备，该VR设备基于上述VR设备播放3D视频的方法实现对3D视频的播放。如图2所示，该VR设备包括显示屏21、左镜头22、右镜头23、3D视频图像获取模块24、左右视图区分模块25、图层建立模块26、渲染模块27和镜头调节模块28。

3D视频图像获取模块24用于从视频流中按序获取3D视频图像；其中，3D视频图像包括左视图部分和右视图部分；左右视图区分模块25用于针对每帧3D视频图像，区分出其左视图部分和右视图部分；图层建立模块26用于建立左眼图层和右眼图层；渲染模块27用于将左视图部分渲染到左眼图层上，将右视图部分渲染到右眼图层上；显示屏21用于显示左眼图层的视图和右眼图层的视图；镜头调节模块28用于调节VR设备的左镜头22获取左眼图层的视图，以及调节VR设备的右镜头23获取右眼图层的视图。

具体的，该VR设备还包括显示模块20；该显示模块20用于控制将左眼图层的视图和右眼图层的视图重合显示与显示屏21上。

该VR设备还包括播放视频的播放器29，3D视频图像获取模块24从播放器29的播放接口按序获取3D视频图像。

该VR设备还包括3D视频图像获取速率设定模块30；3D视频图像获取速率设定模块30用于从播放器29中获取播放器的播放速率，以与播放速率呈正比例的关系设定获取速率，使得3D视频图像获取模块24能够以该获取速率从播放器29的播放接口按序获取3D视频图像。

该VR设备还包括播放器播放状态判断模块31；该播放器播放状态判断模块31用于判断播放器29的播放是否暂停或停止；若是，则3D视频图像获取模块24暂停或停止从播放器29的播放器接口获取3D视频图像。

具体的该VR设备的工作流程以及实现的技术效果已经在上述VR设备播放3D视频的方法中详述，此处不予赘述。

上述本申请提出的VR设备播放3D视频的方法和VR设备中，用户只需采用传统播放器在VR设备中播放3D视频就能实现VR设备中3D视频播放的真实感，相比于现有技术中先预加载再切割显示3D视频的方案，本申请中无需预加载视频，节省了存储空间，能够提高视频播放的流畅性和清晰度，针对3D视频图像无需切割，只需确定左视图部分和右视图部分的分界点，一边分别向左眼图层和右眼图层渲染一边显示，能够降低VR设备功耗还保证了3D效果，提高用户体验；于用户而言，只需按照传统方式控制播放器，即可实现VR设备3D视频播放的控制，降低了编码难度，保证了各个开发平台的兼容性。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.VR设备播放3D视频的方法，其特征在于，包括：

从视频流中按序获取3D视频图像；其中，所述3D视频图像包括左视图部分和右视图部分；

针对每帧3D视频图像，区分出其左视图部分和右视图部分；

建立左眼图层和右眼图层；

将所述左视图部分渲染到所述左眼图层上，将所述右视图部分渲染到所述右眼图层上；

显示所述左眼图层的视图和所述右眼图层的视图，并调节VR设备的左镜头获取所述左眼图层的视图和调节VR设备的右镜头获取所述右眼图层的视图。

2.根据权利要求1所述的VR设备播放3D视频的方法，其特征在于，所述显示所述左眼图层的视图和所述右眼图层的视图，具体为：

将所述左眼图层的视图和所述右眼图层的视图重合显示于VR设备的显示屏上。

3.根据权利要求1所述的VR设备播放3D视频的方法，其特征在于，所述从视频流中按序获取3D视频图像，具体为：

从播放器的播放接口按序获取3D视频图像。

4.根据权利要求3所述的VR设备播放3D视频的方法，其特征在于，所述从播放器的播放接口按序获取3D视频图像，具体包括：

获取所述播放器的播放速率；

以与所述播放速率呈正比例关系的获取速率，从所述播放接口按序获取3D视频图像。

5.根据权利要求3所述的VR设备播放3D视频的方法，其特征在于，所述从播放器的播放接口按序获取3D视频图像，具体包括：

判断所述播放器的播放是否暂停或停止；若是，

控制暂停或停止从所述播放接口获取3D视频图像。

6.一种VR设备，包括显示屏、左镜头和右镜头；其特征在于，还包括3D视频图像获取模块、左右视图区分模块、图层建立模块、渲染模块和镜头调节模块；

所述3D视频图像获取模块，用于从视频流中按序获取3D视频图像；其中，所述3D视频图像包括左视图部分和右视图部分；

所述左右视图区分模块，用于针对每帧3D视频图像，区分出其左视图部分和右视图部分；

所述图层建立模块，用于建立左眼图层和右眼图层；

所述渲染模块，用于将所述左视图部分渲染到所述左眼图层上，将所述右视图部分渲染到所述右眼图层上；

所述显示屏，用于显示所述左眼图层的视图和所述右眼图层的视图；

所述镜头调节模块，用于调节VR设备的左镜头获取所述左眼图层的视图，以及调节VR设备的右镜头获取所述右眼图层的视图。

7.根据权利要求6所述的VR设备，其特征在于，所述VR设备还包括显示模块；

所述显示模块，用于控制将所述左眼图层的视图和所述右眼图层的视图重合显示与所述显示屏上。

8.根据权利要求6所述的VR设备，其特征在于，所述VR设备还包括播放视频的播放器；

所述3D视频图像获取模块，用于从所述播放器的播放接口按序获取3D视频图像。

9.根据权利要求8所述的VR设备，其特征在于，所述VR设备还包括3D视频图像获取速率设定模块；

所述3D视频图像获取速率设定模块，用于获取所述播放器的播放速率，以与所述播放速率呈正比例的关系设定获取速率，使得所述3D视频图像获取模块以所述获取速率从所述播放器的播放接口按序获取3D视频图像。

10.根据权利要求8所述的VR设备，其特征在于，所述VR设备还包括播放器播放状态判断模块；

所述播放器播放状态判断模块，用于判断所述播放器的播放是否暂停或停止；若是，则所述3D视频图像获取模块暂停或停止从所述播放器的播放器接口获取3D视频图像。