CN105915972A - 一种虚拟现实中4k视频优化方法和装置 - Google Patents

Abstract

本发明公开了一种虚拟现实中4K视频优化方法和装置，其中，该方法包括：步骤A：在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；步骤B：在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。本发明在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备屏幕的过程中直接合成，避免了4K视频先缩小再放大导致的画面模糊问题。

Description

一种虚拟现实中4K视频优化方法和装置

技术领域

本发明涉及虚拟现实技术领域，具体地，涉及一种虚拟现实中4K视频优化方法和装置。

背景技术

虚拟现实的初级应用在这两年已经得到了广大用户的了解和认知，也已经有一些以虚拟现实为背景的视频播放、需求，比如在一个虚拟的电影院中观看电影院幕布上播放的视频。但是由于现有设备分辨率有限，如何在现有分辨率下尽量地提升显示质量就是亟待解决的问题。

此问题的前提是现有虚拟现实设备的分辨率为高分辨率，比如是4K的，但是由于GPU(Graphics Processing Unit，图形处理器)渲染能力有限，实际虚拟现实场景的单眼分辨率可能只有1080P，之后再通过后端二位图形设备将图象放大到和实际屏幕相同的分辨率上，这样会损失一定的像素以带来速度的提升。但是对于4k视频，由于场景的大小就是1080P，按照默认的流程就会被先在单眼缩放到1080P中的幕布上面的大小，然后再在系统最终显示的时候放大，这样实际就损失了像素，使画质打折。

如图6所示，现有技术中通常的实现方法为：把电视屏幕作为画布，然后把解码后的4K视频作为纹理，然后在虚拟现实引擎中直接把视频贴到虚拟现实场景中幕布的位置，渲染完成后交由系统的画面投递服务程序进行合成，输出到虚拟现实设备(如电视等)的屏幕上，视频内容单眼为1080P，但画质是540P。当视频分辨率比较高的情况下就会先做缩放，损失像素，然后再做视频放大，把已经损失的像素再放大，这样就会导致视频内容变得模糊。

发明内容

为了解决现有技术中存在的由于现有设备分辨率较低导致在虚拟影院中播放4K视频时画面模糊的技术问题，本发明提出了一种虚拟现实中4K视频优化方法和装置。

本发明的一种虚拟现实中4K视频优化方法，包括：

步骤A：在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

步骤B：在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

优选的，还包括：

获取录制完成的4K视频，对所述4K视频进行解码。

优选的，在所述步骤A中，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。

优选的，所述步骤B具体包括：

在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；

在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。

本发明的虚拟现实中4K视频优化方法，在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景中幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备屏幕的过程中直接参与合成，避免了4K视频先缩小再放大导致的画面模糊问题。本发明提高了4K视频播放的清晰度，优化了视频播放的工作过程，同时也优化了用户观看视频的体验。

本发明的一种虚拟现实中4K视频优化装置，包括：

视频反畸变模块，用于在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

合成投递模块，用于在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

优选的，还包括：

视频解码模块，用于获取录制完成的4K视频，对所述4K视频进行解码。

优选的，所述视频反畸变模块还用于，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。

优选的，所述合成投递模块具体用于，

在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；

在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。

本发明的虚拟现实中4K视频优化装置，在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景中幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备的屏幕的过程中直接参与合成，避免了4K视频先缩小再放大导致的画面模糊问题。本发明提高了4K视频播放的清晰度，优化了视频播放的工作过程，同时也优化了用户观看视频的体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中虚拟现实中4K视频优化方法的工作流程图；

图2为本发明实施例二中虚拟现实中4K视频优化方法的工作流程图；

图3为本发明实施例三中虚拟现实中4K视频优化装置的结构示意图；

图4为本发明的视频在虚拟现实场景中播放的第一示意图；

图5为本发明的视频在虚拟现实场景中播放的第二示意图。

图6为现有技术中的虚拟现实中4K视频的播放流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

为了解决现有技术中存在的由于现有设备分辨率较低导致在虚拟影院中播放4K视频时画面模糊的技术问题，本发明提出了一种虚拟现实中4K视频优化方法和装置。

本发明的核心技术方案是不让视频直接渲染在虚拟现实场景里，而是在系统合成的时候直接参与合成，类似于现有播放器的方法。但还需要对视频做其他处理，因为虚拟现实场景中的视频已经不再是普通的标准矩形了，并且不能用解码后的数据直接做合成，还需要通过图形处理器进行一系列的变形后才能去做合成。以下采用实施例一、实施例二和实施例三对本发明的技术方案进行详细说明。

实施例一

如图1所示，本发明的虚拟现实中4K视频优化方法，包括以下步骤：

步骤S101：在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

本发明的方法中，在将解码后的4K视频投放到虚拟现实场景中幕布上之前，需要对该视频进行反畸变处理，以适应虚拟现实场景中幕布的位置和大小，但与现有技术不同的是：现有技术在进行投放之前，对解码后的4K视频进行反畸变处理的同时还要进行缩放，本发明中仅作反畸变处理而不进行缩放，从而不会造成视频像素的损失。

步骤S102：在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

在本步骤中，将反畸变处理后需要投放到虚拟现实场景中幕布上的视频内容与渲染好的虚拟现实场景进行合成输出，即将需要在虚拟现实场景中呈现的影院环境、座位信息等与投放在虚拟现实场景幕布上的视频，按照在虚拟现实场景中需要呈现出来的相对位置进行合成，并输出到虚拟现实设备的屏幕上。

本发明的虚拟现实中4K视频优化方法，在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景中幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备的屏幕的过程中直接参与合成，避免了4K视频先缩小再放大导致的画面模糊问题。本发明提高了4K视频播放的清晰度，优化了视频播放的工作过程，同时也优化了用户观看视频的体验。

实施例二

如图2所示，对本发明的虚拟现实中4K视频优化方法进行更加详细的说明，该方法包括以下步骤：

步骤S201：获取录制完成的4K视频，对所述4K视频进行解码。

4K视频是指拥有4096×2160(宽×高)分辨率的视频，即横向有4096个像素，纵向有2160个像素，其总像素超过了800万，是2K投影机和高清电视分辨率的4倍(2K数字电影的分辨率与高清电视的分辨率大致相当，而高清电视的分辨率为1920×1080)。真正意义上的4K视频，是指用4K摄像机拍摄并用4K放映机放映的数字视频。

步骤S202：在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

现有技术在对解码后的4K视频进行投放处理时，直接将解码后的4K视频作为纹理，然后在虚拟现实引擎中直接把视频贴到虚拟现实场景中幕布的位置，但是由于4K视频分辨率比较高，在投放时需要先做缩放，从而损失了像素，必然导致播放时的画质和清晰度变劣。本发明提出的技术方案为：在进行投放时，仅对4K视频进行反畸变处理而不进行缩放，保证了4K视频的像素的完整。

由于解码后的4K视频是正常拍摄的矩形，而虚拟现实场景中幕布的形状通常呈鱼眼形，因此，需要对解码后的4K视频作反畸变处理，以使得反畸变处理后的4K视频形状能够适应虚拟现实场景中幕布的形状、大小和位置，反畸变处理的结果即是对解码后的4K视频进行变形，以满足最终系统对视频和场景的合成。

优选的，在步骤S201中，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。观看者通过虚拟现实设备观看视频时，在现实场景中的位置移动会带动虚拟现实场景中观看位置的变化，这种变化由虚拟现实设备的位置追踪功能进行采集分析；观看者头部的转动会带动虚拟现实场景中观看角度的变化，主要由虚拟现实设备的加速器和陀螺仪等部件进行采集分析。

由于观看者的观看位置和观看角度的不同，其所观看到的虚拟现实场景中幕布上呈现的播放效果也会随之不同，在观看位置发生变化时，如在虚拟现实场景中由前排至后排移动时，观看者所观看到的视频播放效果必然存在差异；在观看角度发生变化时，如前后左右向不同角度观看时，观看到的视频播放效果也会存在差异。因此，为了消除这种差异，为观看者提供最佳的视频播放效果，需要结合观看者的观看位置和观看角度对解码后的4K视频进行反畸变变形处理。

步骤S203：在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到所述虚拟现实设备的屏幕上。

优选的，在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。

所述渲染完成的场景即是如图4、图5所示在虚拟现实场景中呈现的影院环境、座位信息等。对反畸变处理后的视频和渲染完成的场景进行合成的步骤，即为将需要在虚拟现实场景中呈现的影院环境、座位信息等与投放在虚拟现实场景幕布上的视频，按照在虚拟现实场景中需要呈现出来的相对位置进行合成，并输出到虚拟现实设备的屏幕上。

如图4、图5所示为本发明的视频在虚拟现实场景中播放的示意图。

本发明的虚拟现实中4K视频优化方法，在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景中幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备的屏幕的过程中直接参与合成，避免了4K视频先缩小再放大导致的画面模糊问题。本发明提高了4K视频播放的清晰度，优化了视频播放的工作过程，同时也优化了用户观看视频的体验。

实施例三

如图3所示，对本发明的虚拟现实中4K视频优化装置进行详细说明，包括：

视频反畸变模块31，用于在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

合成投递模块32，用于在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

优选的，还包括：

视频解码模块33，用于获取录制完成的4K视频，对所述4K视频进行解码。

优选的，所述视频反畸变模块31还用于，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。

优选的，所述合成投递模块32具体用于，

在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；

在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。

本发明的虚拟现实中4K视频优化装置，在将视频纹理贴到虚拟现实场景中幕布上之前，仅对视频做反畸变处理但不进行缩放处理，将视频变形成适合虚拟现实场景中幕布播放的形状，在最终将视频和场景进行合成并投递到虚拟现实设备的屏幕的过程中直接参与合成，避免了4K视频先缩小再放大导致的画面模糊问题。本发明提高了4K视频播放的清晰度，优化了视频播放的工作过程，同时也优化了用户观看视频的体验。

本发明能有多种不同形式的具体实施方式，上面以图1-图6为例结合附图对本发明的技术方案作举例说明，这并不意味着本发明所应用的具体实例只能局限在特定的流程或实施例结构中，本领域的普通技术人员应当了解，上文所提供的具体实施方案只是多种优选用法中的一些示例，任何体现本发明权利要求的实施方式均应在本发明技术方案所要求保护的范围之内。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种虚拟现实中4K视频优化方法，其特征在于，包括：

步骤A：在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

步骤B：在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

2.根据权利要求1所述的方法，其特征在于，在所述步骤A之前，还包括：

获取录制完成的4K视频，对所述4K视频进行解码。

3.根据权利要求1或2所述的方法，其特征在于，在所述步骤A中，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。

4.根据权利要求1或2所述的方法，其特征在于，所述步骤B具体包括：

在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；

在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。

5.一种虚拟现实中4K视频优化装置，其特征在于，包括：

视频反畸变模块，用于在虚拟现实引擎中，根据解码后的4K视频需要投放在虚拟现实场景中幕布上的位置和所述幕布框体大小，对所述解码后的4K视频进行反畸变处理且不进行缩放；

合成投递模块，用于在场景渲染完成后，对所述反畸变处理后的视频和渲染完成的场景进行合成，并进行画面投递输出到虚拟现实设备的屏幕上。

6.根据权利要求5所述的装置，其特征在于，还包括：

视频解码模块，用于获取录制完成的4K视频，对所述4K视频进行解码。

7.根据权利要求5或6所述的装置，其特征在于，所述视频反畸变模块还用于，还根据观看者的观看位置和观看角度对所述解码后的4K视频进行反畸变处理。

8.根据权利要求5或6所述的装置，其特征在于，所述合成投递模块具体用于，

在虚拟现实引擎中对场景进行渲染，并将反畸变处理后的视频存入一个临时内存中；

在进行画面投递过程中采用硬件合成器对反畸变处理后的视频和渲染完成的场景进行合成，将输出视频投递到虚拟现实设备的屏幕上。