CN108391103A - Vr视频观影区域划分方法及装置 - Google Patents

Abstract

公开了一种VR视频观影区域划分方法及装置。所述方法包括：获得VR视频数据的投影面积；将所述投影面积划分为多个区域格；划分出所述投影面积的核心区域；将所述核心区域分成多个核心区域格；组合所述核心区域格，以形成多个观影区域；建立所述多个观影区域和所述区域格之间的映射关系，所述观影区域和用户当前的视场角度相关。根据映射表获得观影区域，并区别处理观影区域和非观影区域的视频数据，以达到最佳观影效果。

Description

VR视频观影区域划分方法及装置

技术领域

本发明涉及视频处理技术，更具体地，涉及VR视频观影区域划分 方法及装置。

背景技术

虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统， 例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图 像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服 务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上， 根据观察者的观看位置将相应视角的视频数据显示在显示装置上。

然而，高分辨率的视频数据需要占据大量的传输带宽，并且需要显 示装置具备强大的数据处理能力。由于数据传输带宽和显示装置处理能 力的需求高，因此，现有的视频处理技术对网络和终端设置的要求高， 并且难以实现高分辨率的实时图像显示。

如何通过较少的视频数据在播放端体现较佳的视频播放效果，是业 界一直致力解决的问题。

发明内容

有鉴于此，本申请提供VR视频观影区域的划分方法及装置，通过 确定VR视频的观影区域，进而通过对观影区域和非观影区域的VR视 频数据进行区别处理，在播放端实现以较少的视频数据下载量实现较佳 的视频播放效果。

根据本发明的第一方面，提供一种VR视频观影区域划分方法，包括：

获得VR视频数据的投影面积；

根据所述投影面积将所述VR视频数据分为多个区域格；

划分出所述投影面积的核心区域；

将所述核心区域分成多个核心区域格；

组合所述核心区域格，以形成观影区域；

建立所述观影区域和所述多个区域格之间的映射关系，所述观影区 域和用户当前的视场角度相关。

优选地，所述获得VR视频数据的投影面积包括：

将所述VR视频数据通过等矩形矩阵投影成长宽比为2:1的矩形，以 获得所述投影面积。

优选地，所述根据所述投影面积将所述VR视频数据分为多个区域格 包括：

将所述投影面积均分为多个等份；以及

基于每一等份的面积将所述VR视频数据分为相同数量的区域格。

优选地，还包括：为所述区域格、所述核心区域格和所述观影区域 建立编号，通过编号建立所述观影区域和所述多个区域格之间的映射关 系。

优选地，为所述所述区域格、所述核心区域格和所述观影区域建立 编号，通过编号建立所述观影区域和所述区域格之间的映射包括：

所述区域格的编号id_block为从零开始的正整数，则满足方程式(1)

id_block∈[0,n-1],id_block∈N⁺ (1)；

所述区域格的边长满足方程式(2)，

其中，height_video表示画面高度，N⁺表示正整数；

所述核心区域所占的区域格集合Set_core满足方程式(3)。

定义所述核心区域格为与所述区域格等宽且与所述核心区域等高的 格子，对于所述核心区域格的编号id_{core_block}满足方程式(4)，

定义所述观影区域包含在所述核心区域中，其宽度由用户当前的观IA17000705

影视角决定，其高度等于所述核心区域的高度，所述观影区域的宽度width_{viewport_block}满足方程式(5)，

其中fov表示用户当前的视场角度；

定义所述观影区域包含核心区域格的数量为i，则i满足方程式(6)，

对于任意一个所述观影区域的编号通过方程式(7)得出该区域内所 有核心区域格，

对于任意一个核心区域格的编号可以使用以下方程式得出以此核心 区域格为首对应的观影区域编号：

id_{viewport_block}＝f(id_{core_block})＝id_{core_block_1st}(8)。

优选地，所述将所述核心区域分成多个核心区域格包括：

将所述核心区域按照面积大小均分为多个核心区域格。

优选地，所述核心区域格和所述核心区域的高度相同，所述核心区 域的面积等于所述区域格的面积的整数倍。

优选地，还包括：根据所述多个区域格将VR视频数据划分为多个子 数据，每个子数据对应一个所述区域格，以及通过所述观影区域和所述 多个区域格之间的映射关系确定所述多个子数据和所述观影区域之间的 映射关系。

优选地，还包括：根据多个观影视角建立多个观影区域。

根据本发明的第二方面，提供一种VR视频观影区域划分装置，包括：

获取模块，用于获得VR视频数据的投影面积；

第一划分模块，用于根据所述投影面积将所述VR视频数据分为多个 区域格；

第二划分模块，用于划分出所述投影面积的核心区域；

第三划分模块，用于将所述核心区域分成多个核心区域格；

组合模块，用于组合所述核心区域格，以形成多个观影区域；

建立模块，用于建立所述观影区域和所述区域格之间的映射关系， 所述观影区域和用户当前的视场角度相关。

优选地，所述获取模块包括：

将所述VR视频数据通过等矩形矩阵投影成长宽比为2:1的矩形，以 获得所述投影面积。

本实施例将VR源视频数据划分为多个区域格，根据具体的视场角 度(fov)建立观影区域和区域格之间的映射表。当用户的视场角度发生 变化时，根据映射表查到观影区域，并区别处理观影区域和非观影区域 的视频数据，以达到最佳观影效果。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它 目的、特征和优点将更为清楚，在附图中：

图1是VR播放系统的网络示意图；

图2是适用于图1的VR播放系统的方法的流程图；

图3示出了本发明实施例的VR视频观影区域划分方法的流程图；

图4示意性地示出了视频数据的核心区域、区域格和核心区域格；

图5示出了本发明实施例的VR视频观影区域划分装置的结构图。

具体实施方式

以下将参照附图更详细地描述本发明。在各个附图中，相同的元件 采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按 比例绘制。此外，可能未示出某些公知的部分。

图1是VR播放系统的网络示意图。设备网络10包括通过网络110 耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独 立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据 以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运 行着各种守护进程，一方面，用于处理服务器100上的各种视频数据， 另一方面，用于响应VR设备和显示设备120的各种请求。网络110可以 是任意(一个或多个)网络，例如因特网、局域网和物联网等。显示设 备120例如是一个具有独立显示屏的和一定处理能力的计算机设备，可 以是：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机 计算机、掌上电脑、个人数字助理、智能手机、智能电器、游戏控制台、 iPAD/iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐 系统或任意其它合适的计算设备。显示设备120可以存储VR播放器软件， 当VR播放器启动后，播放器向服务器100请求和接收各种视频数据，并 且将下载到显示设备端的视频数据在播放器内进行渲染播放。在本例中， VR设备130是一个外接式头显设备，可以和显示设备120以及服务器100 进行各种交互，通过信号传递向显示设备120和/或服务器100传递一些 相关信息，例如，用户头盔位置的改变、眼睛视线的变化等等，显示设 备120可以根据这些信息能够灵活处理当前播放的视频数据。在一些实 施例里，当用户位置发生改变时，显示设备120判断用户的核心观影区 域发生改变，并在核心观影区域播放高分辨率的视频数据。

在上述实施例，VR设备130是一个外接式头显设备，但是本领域的 技术人员可以理解到，VR设备130不仅限于此，VR设备130还可以一体 式头显设备。一体式头显设备本身具有显示屏的功能，因此可以不需要 外部的显示设备，例如本例中，如果采用一体式头显设备，即可以省略 显示120。此时，一体式头显设备承担了从服务器100上获取视频数据 以及播放的工作，同时，一体式头显设备检测到用户当前的一些观影角 度变化信息并基于这些观影角度变化信息调整播放工作。

图2是适用于图1的VR播放系统的方法的流程图。该方法包括以下 步骤。

在步骤S10中，服务器端进行源视频数据处理。

在步骤S20中，显示设备端基于和VR设备的交互获得用户的一些相 关信息。

在步骤S30中，显示设备端根据这些相关信息向服务器端请求视频 数据以及接收视频数据。

在步骤S40中，显示设备端基于接收到的视频数据进行渲染处理。

其中，步骤S10用于处理存储在服务器端的视频数据。在此步骤中， 可以将视频数据划分为观影区域和非观影区域的视频数据，进而进行区 别处理，以减少非观影区域的数据下载量。由此，本发明进一步提供了 一种VR视频观影区域划分方法用于实现上述功能。

图3示出了本发明实施例的VR视频观影区域划分方法的流程图。具 体包括以下步骤。

在步骤S100中，获得VR视频数据的投影面积。

虽然VR视频数据采集的是真实世界环境的360度全景图像，但是在 VR视频制作过程和渲染中一般需要进行投影处理，将其处理成二维空间 数据。对于原始的没有经过投影处理的视频数据，可先将其进行投影处 理，例如，采用等矩形投影处理使之成为长宽比例为2:1的VR视频数据， 进而获得投影面积。如果是已经经过投影处理的VR视频数据，可通过解 码VR视频数据获得投影面积。业界目前主流作为片源提供的两种VR视 频格式为长宽比为1:1和长宽比为2:1的视频数据。在一些情况下，服 务器端需要根据用户需求做标准化处理，例如，将长宽比例为1:1的视 频数据处理成长宽比例为2:1的视频数据以适合用户的VR设备。等矩形 投影(例如，等间距的圆柱形投影)可以是能够将子午线绘制成用于恒定 间距的垂直直线的投影，或者将纬度圈绘制成用于恒定间距的水平直线 的投影。应该指出的是，这里的VR视频数据泛指任何VR处理过程中的 原始数据和/或中间数据。

在步骤200中，划分投影面积的核心区域。

如上所述，通过步骤S100得到VR视频数据的投影面积，在本步骤 中划分出投影面积的核心区域。经过投影后的数据一般会发生扭曲。例 如，采用等矩形投影方法将一个全视角的图像平铺到2:1的面积内，根 据等矩形投影的拉伸特性，画面越靠近极点的画面拉伸、变曲得越厉害， 像素失真程度越高。因此，根据等矩形投影的拉伸特性，一般选择中心区域作为核心区域。

在步骤S300中，根据参数N定义出区域格尺寸。

参数N是一个给定参数，在本步骤中，根据设定的N值得到每个区 域格的面积。例如，假设规范后的视频数据的面积为S，N为32，则每 个区域格的尺寸等于S/32。

在步骤S400中，将核心区域划分成核心区域格。

核心区域确定后，可以基于一个给定数值M将核心区域划分为M 个核心区域格。之后可以对多个区域进行编号以标记每个区域格。一般 编号从0开始。

在步骤S500中，将投影面积划分为区域格。

在本步骤中，根据投影面积按空间维度划分为多个等份，每个等份 对应一个区域格。应该理解，此处的区域格是VR视频数据的一部分。 之后可以对每个区域格进行编号，一般编号从0开始。

在步骤S600中，组合核心区域格，形成观影区域。

观影区域包含一个或多个核心区域格。在VR设备的视场角度发生 变化时，观影区域发生变化，即观影区域包含的核心区域格也发生变化。 因此，可以根据用户当前的视场角度组合核心区域格，以形成观影区域。

在步骤S700中，生成观影区域和区域格之间的映射表。

基于步骤S600获得的每个VR视频数据的观影区域，建立观影区域 和区域格之间的映射表。本实施例将VR源视频数据划分为多个区域格， 根据具体的视场角度(fov)定义观影区域，建立观影区域和区域格之间 的映射表。当用户视角发生变化时，对应映射表获得变化的观影区域， 向观影区域的视频数据进行区别处理，以获得更好的观影体验。进一步 地，用户的视场角度和观影区域的面积成正比。通过多个视场角度(fov) 能够定义多个观影区域。在可选的实施例中，对区域格、核心区域格和 观影区域建立编号，进而通过编号建立观影区域和多个区域格之间的映 射关系。

应该指出的是，在上述实施例中，并没有真正实现对视频数据的切 割。因此，在本发明的一个可选实施例中还可以包括一个切割步骤，即 根据上述实施例获得的多个区域格将视频数据划分为多个子数据，每个 子数据对应一个区域格，则根据上述建立的观影区域和多个区域格之间 的映射关系能够确定多个子数据和观影区域之间的映射关系。

在一些限定条件下，可以基于区域格、核心区域格以及观影区域的 编号建立数学方程式，从而可以根据区域格和/或核心区域格的编号推导 出观影区域的编号，或者根据观影区域的编号推导出核心区域格的编号， 具体可以参见下面的描述。

假设将2:1的视频画面划分为n个长宽比为1:1的格子，每个格子 为一个区域格，区域格编号id_block为：

id_block∈[0,n-1],id_block∈N⁺(1)

区域格的边长满足方程式(1)。

其中，height_video表示画面高度，N⁺表示正整数。

根据等矩形投影特性，定义出核心区域，核心区域所占的区域格集 合Set_core满足方程式(3)。

定义核心区域格为与区域格等宽且与核心区域等高的格子，对于核心区 域格的编号id_{core_block}满足方程式(4)。

定义观影区域为核心区域中由用户当前的视场角度fov决定宽度并且与 核心区域等高的格子，观影区域宽度width_{viewport_block}满足方程式(5)。

定义观影区域中包含核心区域格的数量为i，则i满足方程式(6)。

对于任意一个观影区域的编号可以以以下方程式得出该区域内所有核心 区域格的编号满足方程式(7)，

对于任意一个核心区域格的编号可以使用以下方程式得出以此核心 区域格为首唯一对应的观影区域编号，id_{core_block_1st}表示第一个核心区域格的编号。 满足方程式(8)：

id_{viewport_block}＝f(id_{core_block})＝id_{core_block_1st}(8)。

图4示意性地示出了根据视频数据获得的核心区域、区域格和核心 区域格。

在本例中，400为投影面积，401为核心区域，N等于32，也就是 说投影面积分为32个区域格，编号为0-31，核心区域格的编号为0-7。 假设一个观影区域(未示出)包含1和2两个核心区域格，则该观影区 域包含9-10和17-18这些编号的区域格，由此能够建立观影区域和区域 格之间的映射关系。本例中的区域格、核心区域格以及观影区域的编号 可以通过上述方程式加以验证。

当然，本例中只是示出了一种比较理想状况下的区域格、核心区域 格以及观影区域的编号之间的映射关系，即本例中核心区域格和区域格 以及观影区域完全重叠，但本发明不局限于此，还适用于区域格和核心 区域格部分重叠的状况。

图5示出了本发明实施例的VR视频观影区域划分装置的结构图。

该VR视频观影区域划分装置，包括：获取模块501、第一划分模块 503、第二划分模块502、第三划分模块504、组合模块505和建立模块506。

获取模块501用于获得VR视频数据的投影面积。有些VR视频数据已 经处理成二维的数据，因此可以通过解码读取参数读取该数据的投影面 积，而有些数据没有处理成二维数据，则可以经过等矩形投影到一个矩 形上，获得投影面积。目前业界主流的两种2:1和1:1的VR视频数据，可 以统一标准化为2:1的VR视频数据，再进行后续的处理。

第一划分模块503用于将投影面积分为N个区域格。例如将投影面积 均分为32份。由此，该32个区域格各为投影面积的一部分，其大小一般 相等。

第二划分模块502用于根据用户当前的视场角度划分出投影面积的 核心区域。在投影面积上定义出核心区域。例如，对于矩形来说，定义X 轴方向的中心区域或Y轴方向的中心区域为核心区域。

第三划分模块504用于将核心区域分成多个核心区域格。将核心区 域的面积分成多个区域格，一般按照面积进行均匀划分，但不限于此， 例如如果边缘区域的面积不足，则将边缘部分的区域格较小。

组合模块505用于组合核心区域格，以形成多个观影区域。按照预 定策略组合核心区域格，例如将2个相邻的核心区域格组成观影区域。再 例如，以中心点所在的核心区域格以及周边的核心区域格组成一个观影 区域。

建立模块506用于建立多个观影区域和区域格之间的映射关系。每 个观影区域内包含多个核心区域格，每个核心区域格可能和一个或多个 区域格有重叠部分，则通过核心区域格能够对应上一个或多个区域格。

本发明通过建立观影区域和区域格之间的映射关系，能够确定观影 区域的位置，通过优化观影区域的视频数据，能够提升VR体验效果。

优选地，上述VR视频观影区域划分装置还可以包括一个切割模块 (未示出)，所述切割模块根据获得的多个区域格将视频数据划分为多个 子数据，每个子数据对应一个区域格，则通过上述建立的观影区域和多 个区域格之间的映射关系能够确定多个子数据和观影区域之间的映射关 系。

优选地，所述获取模块包括：将VR视频数据通过等矩形矩阵投影成 长宽比为2:1的矩形，以获得投影面积。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本 领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本 领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (11)

1.一种VR视频观影区域划分方法，包括：

获得VR视频数据的投影面积；

将所述投影面积划分为多个区域格；

划分出所述投影面积的核心区域；

将所述核心区域分成多个核心区域格；

组合所述核心区域格，以形成观影区域；

建立所述观影区域和所述多个区域格之间的映射关系，所述观影区域和用户当前的视场角度相关。

2.根据权利要求1所述的VR视频观影区域划分方法，其中，所述获得VR视频数据的投影面积包括：

将所述VR视频数据通过等矩形矩阵投影成长宽比为2:1的矩形，以获得所述投影面积。

3.根据权利要求1所述的VR视频观影区域划分方法，其中，所述将所述投影面积划分为多个区域格包括：

将所述投影面积均分为多个等份。

4.根据权利要求1所述的VR视频观影区域划分方法，还包括：为所述区域格、所述核心区域格和所述观影区域建立编号，以及通过编号建立所述观影区域和所述多个区域格之间的映射关系。

5.根据权利要求4所述的VR视频观影区域划分方法，其中，为所述所述区域格、所述核心区域格和所述观影区域建立编号，通过编号建立所述观影区域和所述区域格之间的映射包括：

设定所述区域格的编号id_block为从零开始的正整数，则满足方程式(1)

id_block∈[0,n-1],id_block∈N⁺ (1)；

所述区域格的边长满足方程式(2)，

其中，height_video表示画面高度，N⁺表示正整数；

所述核心区域所占的区域格集合Set_core满足方程式(3)。

定义所述核心区域格为与所述区域格等宽且与所述核心区域等高的格子，对于所述核心区域格的编号id_{core_block}满足方程式(4)，

定义所述观影区域包含在所述核心区域中，宽度由用户当前的视场角度决定，高度等于所述核心区域的高度的格子，所述观影区域的宽度width_{viewport_block}满足方程式(5)，

其中fov表示用户当前的视场角度；

定义所述观影区域包含核心区域格的数量为i，则i满足方程式(6)，

对于任意一个所述观影区域的编号通过方程式(7)得出该区域内所有核心区域格的编号，

对于任意一个核心区域格的编号可以使用以下方程式得出以此核心区域格为首唯一对应的观影区域编号：

id_{viewport_block}＝f(id_{core_block})＝id_{core_block_1st} (8)。

6.根据权利要求1所述的VR视频观影区域划分方法，其中所述将所述核心区域分成多个核心区域格包括：

将所述核心区域按照面积大小均分为多个核心区域格。

7.根据权利要求1所述的VR视频观影区域划分方法，其中，所述核心区域格和所述核心区域的高度相同，所述核心区域的面积等于所述区域格的面积的整数倍。

8.根据权利要求1所述的VR视频观影区域划分方法，还包括：根据所述多个区域格将VR视频数据划分为多个子数据，每个子数据对应一个所述区域格，以及通过所述观影区域和所述多个区域格之间的映射关系确定所述多个子数据和所述观影区域之间的映射关系。

9.根据权利要求1所述的VR视频观影区域划分方法，还包括：根据多个视场角度建立多个观影区域。

10.一种VR视频观影区域划分装置，包括：

获取模块，用于获得VR视频数据的投影面积；

第一划分模块，用于将根据所述投影面积划分为多个区域格；

第二划分模块，用于划分出所述投影面积的核心区域；

第三划分模块，用于将所述核心区域分成多个核心区域格；

组合模块，用于组合所述核心区域格，以形成多个观影区域；

建立模块，用于建立所述观影区域和所述区域格之间的映射关系，所述观影区域和用户当前的视场角度相关。

11.根据权利要求1所述的VR视频观影区域划分装置，其中，所述获取模块包括：

将所述VR视频数据通过等矩形矩阵投影成长宽比为2:1的矩形，以获得所述投影面积。