CN110706355A

CN110706355A - 基于视频内容的指示信息标识方法、系统及存储介质

Info

Publication number: CN110706355A
Application number: CN201810806586.9A
Authority: CN
Inventors: 徐异凌; 管云峰; 黄倩; 谢绍伟; 柳宁
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2018-07-09
Filing date: 2018-07-20
Publication date: 2020-01-17
Anticipated expiration: 2038-07-20
Also published as: CN110706355B; CN113178019A; CN113178019B

Abstract

本发明提供了一种基于视频内容的指示信息标识方法，包含以下步骤：视频存储步骤：将视频存储在服务器端上；解析定型步骤：对视频进行解析，根据解析结果设置视频母类型；属性设置步骤：根据视频母类型设置视频属性及约束信息。本发明还提供了一种基于视频内容的指示信息标识系统以及计算机可读存储介质。本发明能够对3DoF+、6DoF等视频进行分类与约束，并对视频媒体的3DoF+、6DoF等内容进行信息标识，标识信息指示了该部分视频具体的3DoF+、6DoF类别信息及约束信息，在具体的应用中，比如虚拟导航、虚拟体育场等，本发明提供的标识信息可进一步用于客户端应用或服务的处理和呈现。

Description

基于视频内容的指示信息标识方法、系统及存储介质

技术领域

本发明涉及虚拟现实技术领域，具体地，涉及一种基于视频内容的指示信息标识方法，特别是一种基于六自由度的用于视频呈现与消费时的特定应用场景的指示信息标识方法、系统及存储介质。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的快速发展，VR系统的需求增加，技术上来说，正在实现从三自由度(3Degree of Freedom，3DoF)到三自由度加(3Degree ofFreedom+，3DoF+)到六自由度(6Degree of Freedom，6DoF)的发展，6DoF追踪技术使虚拟现实世界的交互成为可能，通过允许用户在VR空间内进行移动以创造身临其境的体验。3DoF支持用户头部进行Yaw、Roll、Pitch(即偏航角、翻滚角、俯仰角)三种旋转，如图1所示。3DoF+在3DoF的基础上支持用户头部进行X、Y、Z轴的上下左右前后六个方向小范围的平移运动，如图2所示。6DoF不仅能像3DoF一样进行Yaw、Roll、Pitch三种旋转，还可以追踪用户在X、Y、Z轴上的平移。目前主要定义的有三种6DoF，分别是窗口6DoF、全方向6DoF和完全6DoF，如图3、4、5所示。对窗口6DoF来说，用户头部可以进行Yaw、Pitch范围受限，Roll范围不受限的旋转，用户自身可以进行X轴前向的范围受限、其他五个方向范围不受限的平移运动；对全方向6DoF来说，用户头部可以进行Yaw、Roll、Pitch范围不受限的旋转，用户自身可以进行X、Y、Z轴的上下左右前后六个方向范围受限的平移运动；对完全6DoF来说，用户头部可以进行Yaw、Roll、Pitch不受限的旋转，用户自身可以进行X、Y、Z轴的上下左右前后六个方向范围都不受限的平移运动。为了满足不同应用场景的需求，需要对视频内容的所属3DoF+以及6DoF信息进行额外的标识来满足特定信息的进一步指示。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于视频内容的指示信息标识方法、系统及存储介质。

根据本发明提供的基于视频内容的指示信息标识方法，包含以下步骤：

视频存储步骤：将视频存储在服务器端上；

解析定型步骤：对视频进行解析，根据解析结果设置视频母类型；

属性设置步骤：根据视频母类型设置视频属性。

优选地，所述解析定型步骤中，根据以下因素对视频进行解析：

--视频内容是否随平移发生变化；

--视频内容是否随旋转发生变化；

所述视频母类型包含以下内容：

--非全景视频；

--三自由度视频；

--三自由度加视频；

--六自由度视频。

优选地，所述属性设置步骤中：

将非全景视频的属性设置为common；

将三自由度视频的属性设置为3DoF；

将三自由度加视频的属性设置为3DoF+；

将六自由度视频的属性设置为6DoF；

还包含以下步骤：

六自由度子类型设置步骤：设置六自由度视频的视频子类型，所述子类型包含以下内容：

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

标签设定步骤：

--对窗口六自由度视频设置标签0x01；

--对全向六自由度视频设置标签0x02；

--对完全六自由度视频设置标签0x00。

优选地，还包含约束建立步骤：对以下任一个任多个视频类型：

--三自由度视频；

--三自由度加视频；

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

建立以下任一类或任多类约束：

--观看者头部转动约束；

--观看者头部平移约束；

--观看者身体平移约束。

本发明还提供了一种基于视频内容的指示信息标识系统，包含以下模块：

视频存储模块：将视频存储在服务器端上；

解析定型模块：对视频进行解析，根据解析结果设置视频母类型；

属性设置模块：根据视频母类型设置视频属性。

优选地，所述解析定型模块中，根据以下因素对视频进行解析：

--视频内容是否随平移发生变化；

--视频内容是否随旋转发生变化；

所述视频母类型包含以下内容：

--非全景视频；

--三自由度视频；

--三自由度加视频；

--六自由度视频。

优选地，所述属性设置模块中：

将非全景视频的属性设置为common；

将三自由度视频的属性设置为3DoF；

将三自由度加视频的属性设置为3DoF+；

将六自由度视频的属性设置为6DoF；

还包含以下模块：

六自由度子类型设置模块：设置六自由度视频的视频子类型，所述子类型包含以下内容：

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

标签设定模块：

--对窗口六自由度视频设置标签0x01；

--对全向六自由度视频设置标签0x02；

--对完全六自由度视频设置标签0x00。

优选地，还包含约束建立模块：对以下任一个任多个视频类型：

--三自由度视频；

--三自由度加视频；

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

建立以下任一类或任多类约束：

--观看者头部转动约束；

--观看者头部平移约束；

--观看者身体平移约束。

本发明还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于视频内容的指示信息标识方法的步骤。与现有技术相比，本发明具有如下的有益效果：

1、本发明能够对3DoF+、6DoF等视频进行分类与约束，并对视频媒体的3DoF+、6DoF等内容进行信息标识，标识信息指示了该部分视频具体的3DoF+、6DoF类别信息及约束信息。

2、在具体的应用中，比如虚拟导航、虚拟体育场等，本发明提供的标识信息可进一步用于客户端应用或服务的处理和呈现。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为3DoF自由度示意图；

图2为3DoF+自由度示意图；

图3为窗口6DoF自由度示意图；

图4为全向6DoF自由度示意图；

图5为完全6DoF自由度示意图；

图6为基于视频内容的指示信息标识方法逻辑流程图；

图7为优选实施例中VR信息的组织结构；

图8为反应视频来源与各类视频约束的基于视频内容的指示信息标识方法逻辑流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图6所示，本发明提供的基于视频内容的指示信息标识方法，包含以下步骤：视频存储步骤：将视频存储在服务器端上；解析定型步骤：对视频进行解析，根据解析结果设置视频母类型；属性设置步骤：根据视频母类型设置视频属性。

所述解析定型步骤中，根据以下因素对视频进行解析：视频内容是否随平移发生变化；视频内容是否随旋转发生变化。视频母类型包含以下内容：非全景视频；三自由度视频；三自由度加视频；六自由度视频。所述属性设置步骤中：将非全景视频的属性设置为common；将三自由度视频的属性设置为3DoF；将三自由度加视频的属性设置为3DoF+；将六自由度视频的属性设置为6DoF。

基于视频内容的指示信息标识方法还包含以下步骤：六自由度子类型设置步骤：设置六自由度视频的视频子类型，所述子类型包含以下内容：窗口六自由度视频；全向六自由度视频；完全六自由度视频。标签设定步骤中：对窗口六自由度视频设置标签0x01；对全向六自由度视频设置标签0x02；对完全六自由度视频设置标签0x00。优选地，基于视频内容的指示信息标识方法还包含约束建立步骤：对以下任一个任多个视频类型：三自由度视频、三自由度加视频、窗口六自由度视频、全向六自由度视频、完全六自由度视频，建立以下任一类或任多类约束：观看者头部转动约束、观看者头部平移约束、观看者身体平移约束。实际应用中，观看者身体平移约束对应了观看者脚部移动约束。

相应地，本发明还提供了一种基于视频内容的指示信息标识系统，包含以下模块：视频存储模块：将视频存储在服务器端上；解析定型模块：对视频进行解析，根据解析结果设置视频母类型；属性设置模块：根据视频母类型设置视频属性。

所述解析定型模块中，根据以下因素对视频进行解析：视频内容是否随平移发生变化；视频内容是否随旋转发生变化。视频母类型包含以下内容：非全景视频；三自由度视频；三自由度加视频；六自由度视频。所述属性设置模块中：将非全景视频的属性设置为common；将三自由度视频的属性设置为3DoF；将三自由度加视频的属性设置为3DoF+；将六自由度视频的属性设置为6DoF。

基于视频内容的指示信息标识系统还包含以下模块：六自由度子类型设置模块：设置六自由度视频的视频子类型，所述子类型包含以下内容：窗口六自由度视频；全向六自由度视频；完全六自由度视频。标签设定模块中：对窗口六自由度视频设置标签0x01；对全向六自由度视频设置标签0x02；对完全六自由度视频设置标签0x00。优选地，基于视频内容的指示信息标识系统还包含约束建立模块：对以下任一个任多个视频类型：三自由度视频、三自由度加视频、窗口六自由度视频、全向六自由度视频、完全六自由度视频，建立以下任一类或任多类约束：观看者头部转动约束、观看者头部平移约束、观看者身体平移约束。实际应用中，观看者身体平移约束对应了观看者脚部移动约束。

本发明还提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的基于视频内容的指示信息标识方法的步骤。

优选实施例：

本发明应用在具体的协议中，以OMAF标准中的MMT传输信令为例，可以根据需要合理地添加如下字段：

6DoF_type：指示该区域视频内容所属6DoF的标签类型，其中标签类型的取值和含义如下表所示。

给不同视频类型增加的约束可以是如下所示：

3DoF+{

HXmax

HXmin

HYmax

HYmin

HZmax

HZmin

}

窗口6DoF{

Xmax

Yawmax

Yawmin

Pitchmax

Pitchmin

}

全向6DoF{

Xmax

Xmin

Ymax

Ymin

Zmax

Zmin

}

HXmax、HXmin、HYmax、HYmin、HZmax、HZmin分别指示观看者在x轴上头部移动的最大值、x轴上头部移动的最小值、y轴上头部移动的最大值、y轴上头部移动的最小值、z轴上头部移动的最大值、z轴上头部移动的最小值；

Xmax、Xmin、Ymax、Ymin、Zmax、Zmin分别指示观看者在x轴上脚步移动的最大值、x轴上脚步移动的最小值、y轴上脚步移动的最大值、y轴上脚步移动的最小值、z轴上脚步移动的最大值、z轴上脚步移动的最小值；

Yawmax、Yawmin、Pitchmax、Pitchmin分别指示观看者在yaw上头部旋转的最大值、yaw上头部旋转的最小值、pitch上头部旋转的最大值、pitch上头部旋转的最小值。

基于以上信息，针对OMAF标准中的MMT传输信令中的VR资产信息描述子VRInformation Asset descriptor，图7给出一种对这些信息的组织结构。

应用实例之虚拟体育场应用：

在全景视频的应用中，虽然包含了360度的视角范围，但是用户端对于观看方向切换的控制是有限的，往往限定于消费制作好的360度全景内容，随着用户自身的移动，所看到的景象不会发生变化。而本发明提供的指示信息可以标识6DoF视频内容关联标签，进而结合用户喜好，将通过3D显示屏和环绕声系统给人一种身临其境的感觉，并随着用户移动定位到对应的视角，将此部分的视频呈现给用户。

具体地，通过定位多个传感器以捕捉现场事件的多个视图，摄像机可以固定在体育场的周边或者沿着允许摄像机移动的轨道以捕捉场景的多个视图，甚至可以在上方使用直升机拍摄。在用户消费该全景视频时，通过定位6DoF_type为0x00的标签并根据其对应的6DoF中对Yaw、Roll、Pitch三种旋转以及X、Y、Z轴平移的限制规定将媒体内容之间呈现给用户。

总而言之，在众多的视频媒体应用中，人们越来越关注用户的沉浸感、用户与环境以及用户之间的交互等，比如在虚拟导航中，通过给用户设置X轴前向范围受限的窗口6DoF，能够获得比传统VR视频更好的视听体验；在虚拟体育场中，通过使用不受限的6DoF技术使用另外一个空体育场体验相同的比赛，给用户带来了非常好的沉浸体验，这是传统的三自由度所不能实现的。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种基于视频内容的指示信息标识方法，其特征在于，包含以下步骤：

视频存储步骤：将视频存储在服务器端上；

属性设置步骤：根据视频母类型设置视频属性。

2.根据权利要求1所述的基于视频内容的指示信息标识方法，其特征在于，所述解析定型步骤中，根据以下因素对视频进行解析：

--视频内容是否随平移发生变化；

--视频内容是否随旋转发生变化；

所述视频母类型包含以下内容：

--非全景视频；

--三自由度视频；

--三自由度加视频；

--六自由度视频。

3.根据权利要求2所述的基于视频内容的指示信息标识方法，其特征在于，所述属性设置步骤中：

将非全景视频的属性设置为common；

将三自由度视频的属性设置为3DoF；

将三自由度加视频的属性设置为3DoF+；

将六自由度视频的属性设置为6DoF；

基于视频内容的指示信息标识方法还包含以下步骤：

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

标签设定步骤：

--对窗口六自由度视频设置标签0x01；

--对全向六自由度视频设置标签0x02；

--对完全六自由度视频设置标签0x00。

4.根据权利要求3所述的基于视频内容的指示信息标识方法，其特征在于，还包含约束建立步骤：对以下任一个任多个视频类型：

--三自由度视频；

--三自由度加视频；

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

建立以下任一类或任多类约束：

--观看者头部转动约束；

--观看者头部平移约束；

--观看者身体平移约束。

5.一种基于视频内容的指示信息标识系统，其特征在于，包含以下模块：

视频存储模块：将视频存储在服务器端上；

属性设置模块：根据视频母类型设置视频属性。

6.根据权利要求5所述的基于视频内容的指示信息标识系统，其特征在于，所述解析定型模块中，根据以下因素对视频进行解析：

--视频内容是否随平移发生变化；

--视频内容是否随旋转发生变化；

所述视频母类型包含以下内容：

--非全景视频；

--三自由度视频；

--三自由度加视频；

--六自由度视频。

7.根据权利要求6所述的基于视频内容的指示信息标识系统，其特征在于，所述属性设置模块中：

将非全景视频的属性设置为common；

将三自由度视频的属性设置为3DoF；

将三自由度加视频的属性设置为3DoF+；

将六自由度视频的属性设置为6DoF；

基于视频内容的指示信息标识系统还包含以下模块：

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

标签设定模块：

--对窗口六自由度视频设置标签0x01；

--对全向六自由度视频设置标签0x02；

--对完全六自由度视频设置标签0x00。

8.根据权利要求7所述的基于视频内容的指示信息标识系统，其特征在于，还包含约束建立模块：对以下任一个任多个视频类型：

--三自由度视频；

--三自由度加视频；

--窗口六自由度视频；

--全向六自由度视频；

--完全六自由度视频；

建立以下任一类或任多类约束：

--观看者头部转动约束；

--观看者头部平移约束；

--观看者身体平移约束。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于视频内容的指示信息标识方法的步骤。