CN112770178A - 一种全景视频传输方法、接收方法、传输系统及接收系统 - Google Patents

Abstract

本发明提供一种全景视频渲染和呈现属性指示方法及系统，所述方法在与全景视频渲染和呈现相关联的描述信息中针对所述全景视频插入第一指示信息，以及第二指示信息和/或第三指示信息；所述第一指示信息对所述全景视频的媒体内容属性进行指示，包括：全景视频的映射格式的标识符；全景视频是否覆盖360度视角的标识符；所述第二指示信息，对所述全景视频的空间信息进行指示；所述第三指示信息，对所述全景视频的质量信息进行指示。本发明能够实现基于视角的媒体内容的渲染和呈现，匹配视角的全景视频能在网络带宽受限的情况下尽可能满足用户对全景视频的高质量消费需求。

Description

一种全景视频传输方法、接收方法、传输系统及接收系统

本申请是申请日为2016年12月14日，申请号为CN201611155809.7的发明专利申请“一种全景视频渲染和呈现属性指示方法及系统”的分案申请。

技术领域

本发明涉及数字媒体技术领域，具体地，涉及一种全景视频渲染和呈现属性指示方法及系统，给出全景视频必要指示信息，用于全景视频的实时渲染和呈现。

背景技术

随着数字媒体技术的快速发展，沉浸式媒体逐渐成为未来媒体的发展方向之一。在工业界和学术界广泛投入到全景视频制作以及编码研究的同时，全景视频的传输也面临着一些需要解决的问题。

对于全景视频而言，用户每次消费的媒体内容都为整个完整视频的一部分空间区域，且消费的媒体内容的空间区域随着用户观看全景视频的视角改变而改变。

经检索，中国发明CN201210365946.9，公开了一种全景视频的展示与交互系统及方法，该专利通过在参考物上设置标识，采用一个至少具有两个标识来实现对全景视频的360°旋转操作控制，实现全景视频的自由展示与交互过程。但是该专利无法实现视频内容的指示，无法用于全景视频基于视角的渲染、呈现和视角切换时对媒体内容的索引。

发明内容

本发明的目的是提供一种全景视频渲染和呈现属性指示方法及系统，对针对全景视频在不同映射方式下的渲染和呈现属性进行指示，能够实现基于视角的媒体内容的渲染和呈现。

根据本发明的第一方面，提供一种全景视频渲染和呈现属性指示方法，所述方法：在与全景视频渲染和呈现相关联的描述信息中针对所述全景视频插入第一指示信息，以及第二指示信息和/或第三指示信息；

所述第一指示信息对所述全景视频的媒体内容属性进行指示，包括：

-全景视频的映射格式的标识符；

-全景视频是否覆盖全部视角范围的标识符；

所述第二指示信息，对所述全景视频的空间信息进行指示；

所述第三指示信息，对所述全景视频的质量信息进行指示。

优选地，所述全景视频的映射格式的标识符，用于指示平面帧到全景视频呈现时的映射方式。

优选地，所述全景视频是否覆盖全部视角范围的标识符，用于指示所述全景视频中的数据是否能完整映射成全部视角范围的全景视频呈现。

优选地，所述空间信息指示了全景视频媒体资源和客户端呈现模型上不同视角区域的对应关系。

优选地，对于不同的所述映射方式，所述空间信息包括以下内容：

-对于经纬图和双目立体经纬图映射方式，所述空间信息包括空间区域覆盖俯仰角和方位角的范围；

-对于多面体映射方式，所述空间信息包括指示所述全景视频包含的多面体的面的编号；

-对于圆柱体映射方式，所述空间信息包括所述全景视频包含的面的编号，及在侧面的具体水平和空间坐标范围。

优选地，所述质量信息，包括所述全景视频的分辨率信息。

更优选地，所述分辨率信息包括空间区域的水平和垂直像素个数，特别的，对于圆柱体上下底面的分辨率用底面半径来指示。

进一步的，所述方法还包括：从网络实体接收所述指示信息，并对所述指示信息进行解析，用于所述全景视频的渲染和呈现。

根据本发明的第二方面，提供一种全景视频渲染和呈现方法，包括：

S1：在服务器端构建信令信息，在与全景视频渲染和呈现相关联的信令中针对所述全景视频插入第一指示信息，以及第二指示信息和/或第三指示信息，将所述全景视频及其对应的信令信息发送给客户端；

S2：客户端接收到服务器发来的所述全景视频及其对应的信令信息后，对包含所述第一指示信息的信令信息进行解析，对所述全景视频进行渲染和呈现时，利用所述第二指示信息和/或第三指示信息确定所述全景视频媒体资源和客户端呈现模型不同视角区域的对应关系，以正确的渲染和呈现。

根据本发明的第三方面，提供一种全景视频渲染和呈现系统，包括：

服务器端，在与全景视频渲染和呈现相关联的信令中针对所述全景视频插入第一指示信息，以及第二指示信息和/或第三指示信息，将所述全景视频及其对应的信令信息发送给客户端；

客户端，接收到服务器发来的所述全景视频及其对应的信令信息后，对包含所述第一指示信息的信令信息进行解析，对所述全景视频进行渲染和呈现时，利用所述第二指示信息和/或第三指示信息确定所述全景视频媒体资源和客户端呈现模型不同视角区域的对应关系，以正确的渲染和呈现。

与现有技术相比，本发明具有如下的有益效果：

本发明针对全景视频在不同映射方式下的渲染和呈现属性提出一套完整的指示机制，并进一步在该机制基础上对所传输的全景视频的空间及质量信息进行标识，从而能够实现基于视角的全景视频的渲染和呈现。匹配视角的全景视频能在网络带宽受限的情况下尽可能满足用户对全景视频的高质量消费需求。

本发明对全景视频的媒体内容属性、空间信息和/或质量信息进行指示，能够很好地用于全景视频基于视角的渲染、呈现和视角切换时对媒体内容的索引。

附图说明

通过阅读参照以下图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例全景视频指示信息的简化流程图；

图2为媒体内容属性、空间位置及分辨率解析流程；

图3为经纬图映射方式空间位置指示示例图；

图4为双目立体经纬图的排布方式示例图；

图5为正六面体各个面的指示关系；

图6为正六面体的不同排布方式示例图；

图7为圆柱体映射方式空间位置指示示例图；

图8为本发明一实施例中的全景视频属性指示信息的应用实例流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了实现用户视野范围内媒体内容的实时渲染、呈现以及视野的实时切换，需要对媒体内容的空间属性进行必要的指示。考虑到人眼对视野范围内不同区域的敏感度不同，也需要指示全景视频的质量信息。如此一来，全景视频基于视角的渲染、呈现和视角切换时对媒体内容的索引才能正常进行。

因此，本发明在流级别对与全景视频渲染和呈现属性相关的媒体内容属性、空间位置和分辨率信息进行指示。媒体内容指示信息的简化流程见图1。

为了对全景视频渲染和呈现属性进行指示，需要在与全景视频渲染和呈现相关联的描述信息中插入以下指示信息：

第一指示信息：对于对所述全景视频的不同的映射方式进行指示，并指示该所述全景视频资源媒体所包含的内容能否完整覆盖全景视频内容。后续据此指示信息(媒体内容属性)来进行下面的空间位置的分情况指示。

具体的，第一指示信息包括：

全景视频的映射格式(vr_projection_format)：指示媒体内容的映射方式，据此指示信息进行下面的空间信息的分情况指示；

全景视频是否覆盖全部视角(is_complete)：指示该媒体资源所包含的内容是否为完整的全景视频内容，取值为1表示该媒体资源所包含的内容为完整的全景视频内容，取值为0表示该媒体资源所包含的内容为分块的全景视频内容，据此媒体资源内容属性信息进行下面的空间信息的分情况指示。

在部分实施例中，进一步在与全景视频渲染和呈现相关联的描述信息中插入以下第二指示信息、第三指示信息的一种或两种：

所述第二指示信息，对所述全景视频的空间信息进行指示；

所述第三指示信息，对所述全景视频的质量信息进行指示。

具体地，所述空间信息，所述空间信息指示了全景视频媒体资源和客户端呈现模型上不同视角区域的对应关系，即全景视频媒体资源和用户观看球面上不同视角的对应关系，其空间范围的定义采用数据平面帧上的矩形范围来确定。通过平面帧上的范围定义和平面帧到用户观看球面上的对应关系定义，媒体内容在用户观看球面上的空间位置就唯一确定了。而平面帧的产生是基于映射方式的，也就是说不同映射方式下的平面帧与用户观看球面的对应关系会不同，因此本发明的空间位置定义要基于映射方式。

目前已有的全景视频映射方式多种多样，有经纬图、双目立体经纬图、正多面体、圆柱体等映射方式，对于每种映射方式中媒体内容合适的空间位置的指示方式有所不同。

对于不同的映射方式，空间信息包含如下：

对于经纬图和双目立体经纬图映射方式，空间信息包含空间区域覆盖俯仰角和方位角的范围；

对于多面体映射方式，空间信息指示媒体内容包含的多面体的面的编号；

对于圆柱体映射方式，空间信息包含媒体内容包含的面的编号及在侧面的具体水平和空间坐标范围。

分辨率信息包括空间区域的水平和垂直像素个数，特别的对于圆柱体上下底面的分辨率用底面半径来指示。

所述第二指示信息、第三指示信息分别对不同的映射方式的视频内容进行空间信息、质量信息进行指示，具体的，在部分优选实施例中:

所述第二指示信息通过定义以下字段进行：

初始视角方位角坐标(initial_center_yaw)：对于经纬图，双目立体经纬图和圆柱体映射方式，采用初始视角方位角坐标来标识用户观看视频的初始方位角；

初始视角俯仰角坐标(initial_center_pitch)：对于经纬图，双目立体经纬图和圆柱体映射方式，采用初始视角俯仰角坐标来标识用户观看视频的初始俯仰角；

统一分辨率标记(is_unify_resolution)：对于完整的全景视频内容，用该字段标记视频内容中的不同空间区域是否为统一分辨率，取值为1表示媒体内容为统一分辨率，取值为0表示不是统一分辨率；

空间区域数量(num_vr_regions)：对于完整的全景视频内容，当视频内容不是统一分辨率时，不同视频内容分辨率的空间区域分块数，在此之后需要对每个空间区域进行分辨率的标记；

空间区域编号(vr_region_id)：指示视频内容空间区域编号；

空间区域上端俯仰角(region_pitch_top)：指示当前区域上边缘的俯仰角；

空间区域左端方位角(region_yaw_left)：指示当前区域左端的方位角；

空间区域俯仰角范围(region_pitch_height)：指示当前区域覆盖的俯仰角角度范围；

空间区域方位角范围(region_yaw_width)：指示当前区域覆盖的方位角角度范围；

排布方式(layout)：对于双目立体经纬图和多面体映射方式，各个面可以以不同的排布方式来形成完整的覆盖全部全景视角的视频内容；

初始面编号(initial_surface_id)：对于多面体来说，用初始观看面编号表示初始面，初始面的中心作为用户观看视频的初始默认视角；

默认面旋转标志(default_rotation_flag)：对于多面体映射方式，各个面在拼接时是否采用默认旋转角度，取值为1表示采用默认旋转角度，取值为0 表示不采用默认旋转方式；

面编号(face_id)：对于多面体或者圆柱体，视频帧由多个面拼接而成，面编号为面的标号，用来来标注面所在的空间位置；

面旋转(face_rotations)：对于多面体映射方式，面拼接成平面视频帧时出于编码的考虑会对面进行适当的旋转拼接，用面旋转来标注旋转角度；

侧面最大度俯仰角(side_pitch)：对于圆柱体映射方式，各个面所对应的角度范围不确定，由侧面最大俯仰角可以唯一确定圆柱体各个面所对应的视角范围。确定方式如下：

侧面展开宽度(side_width)：对于圆柱体映射方式，侧面展开之后水平方向的像素数量；

侧面展开高度(side_height)：对于圆柱体映射方式，侧面在垂直方向的像素数量；

空间区域左上顶点水平坐标(region_horizontal_left)、空间区域左上顶点纵坐标(region_vertical_top)：对于圆柱体映射方式，当前空间区域在在圆柱体的侧面展开图形中的左上角顶点的坐标。

所述第三指示信息通过定义以下字段进行：

水平分辨率(resolution_width)：当前空间区域水平方向像素个数；

垂直分辨率(resolution_height)：当前空间区域垂直方向像素个数；

底面半径(underside_radius)：对于圆柱体映射方式，上下底面为圆形，用上下底面的半径来唯一确定上下底面的分辨率；

进一步的，对上述一些字段在某些具体实施例中的用法进行详述：

映射格式用于指示媒体内容的映射方式，可按照以下方式定义：

映射格式	描述
		0	经纬图
1	双目立体经纬图
		2	正六面体
3	圆柱体
		4	正8面体
5	正20面体
		其他	保留

对于经纬图映射方式，确定球面上的空间区域用该区域的上边缘俯仰角和左边缘方位角以及该空间区域的俯仰角和方位角的范围大小空间区域俯仰角范围和空间区域方位角范围来确定，如图2所示。

对于双目立体，双目立体经纬图的拼接方式有两种，排布方式取值为0，表示与左、右球面对应的双目平面视频帧按照左、右顺序排列成一个平面视频帧，左侧对应左球面，右侧对应右球面；排布方式值为1，表示与左、右球面对应的双目平面视频帧按照上、下顺序排列排列成一个平面视频帧，上面对应左球面，下面对应右球面，如图3所示。

对于多面体来说，各个面拼接成平面视频帧的方式有多种，以正六面体为例：

①首先确定面编号与面的对应关系，参见图4；

面编号	面名称
		0	左面
1	前面
		2	右面
3	背面
		4	顶面
5	底面

②假设有以下几种可选的排布方式，参见图5。则排布方式对应的具体取值实例如下：

排布方式	排列类型
		0	6×1
1	3×2
		2	2×3
其他	其他

③各个面在拼接时的默认旋转角度的具体实例如下：

当拼接时不使用默认旋转角度，对各个面的旋转角度进行逐一指示，用面旋转来指示，具体实例如下表所示：

面旋转	旋转角度(逆时针)
		0	0°
1	–90°
		2	+90°
3	+180°

至此，对于双目立体经纬图和多面体映射方式中，平面帧到全景视频的一一对应关系就确定了。

特别的，对于圆柱体来说，需要对侧面的最大俯仰角范围侧面最大度俯仰角，侧面展开宽度，侧面展开高度以及底面半径来确定圆柱体映射方式下的平面帧中的像素到全景视频不同视角的一一对应关系，需要注意的是，对于不同的分辨率的平面帧来说，其侧面展开宽度，侧面展开高度和底面半径均会不同，对应关系如图6所示。

基于以上信息，以MMT为例，下面给出在MP_message中对每一个asset 分别指示媒体内容的空间信息和分辨率信息的实例，将上述的指示信息在 vr_asset_descriptor中描述，如下表所示，下表中的各个字段含义参见以上描述：

上表中针对全景视频的媒体资源属性描述字段及流程都是基于本发明所提出的插入指示信息设计的。

需要注意的是，本发明中只是以上述字段为例对媒体内容标示信息进行说明，并不局限于以上字段及其大小。为了更好的理解以上字段的含义，可参见图1所示的应用实例。

利用对全景视频上述属性的指示，在部分实施例中，一种全景视频渲染和呈现方法，包括：

①在服务器端构建信令信息，将媒体资源指示媒体内容属性、空间位置信息和质量信息(分辨率)添加到信令中，指示过程见图1，将媒体资源及其对应的信令信息发送给客户端；

②客户端接收到服务器发来的媒体资源及其属性描述的信令后对媒体资源属性信息进行解析，解析流程见图2；

③客户端在利用媒体资源进行渲染和呈现时，利用本发明提出的媒体内容属性、空间信息和分辨率信息，确定媒体资源和用户观看球面的对应关系，以正确的渲染和呈现。

对应的，在部分实施例中，一种全景视频渲染和呈现系统，包括：

服务器端，在与全景视频渲染和呈现相关联的信令中针对所述全景视频插入第一指示信息，第二指示信息和/或第三指示信息，将所述全景视频及其对应的信令信息发送给客户端；

客户端，接收到服务器发来的所述全景视频及其对应的信令信息后，对包含所述第一指示信息的信令信息进行解析，对所述全景视频进行渲染和呈现时，利用第二指示信息和/或第三指示信息确定媒体资源和用户观看球面的对应关系，以正确的渲染和呈现；

基于上述表述，以下给出一具体应用实例：

为更加清楚地阐明本发明提出的指示机制以支持客户端媒体内容的渲染和呈现，图7结合具体实例中的指示方法，举例说明了一个具体的实现流程：

当客户端登录服务时，服务器会发送MP_message()、其他信令信息及媒体资源内容，然后客户端接收MP_message()、媒体资源内容及其他相关信息；

用户接收到asset及MP_message()后，对MP_message()进行解析，读取 MP_table()，并解析其中的vr_asset_descriptor()，需要读取的内容包括：

①asset中视频内容的映射方式；

②asset中视频内容能否完整覆盖全景视频所有视角；

③asset中全景视频内容的初始视角信息、从平面帧映射到立体空间上的布局信息、各个面拼接时的旋转角信息等；

④asset中视频内容的分辨率；

⑤asset中视频内容不同空间区域映射到全景视频上的位置对应信息。

客户端解析了以上关于每个asset的信息后，当客户端需要调用某个asset 渲染和呈现时即可利用以上指示信息对视频的渲染和呈现进行指导。

本发明以上部分实施例以MMT为例，阐明所提出的解决方案，但是这些方案同样也可以用于其它文件封装、传输系统和协议里。

本发明对媒体内容属性、空间信息和/或质量信息进行指示，以实现全景视频渲染和呈现时对媒体内容的索引。对于不同的映射方式，可采用适合的空间区域指示方式。对于完整帧视频和空间分块视频内容均有相应的空间位置指示信息。另外也对媒体内容不同区域对应的分辨率进行了指示。有利于在渲染和呈现时能够准确索引到与用户视角相匹配的媒体内容。在网络带宽有限的情况下，尽可能的满足了用户的高质量需求。

应当理解的是，以上实施例是本发明部分针对视频多媒体内容的部分实施例，本发明同样适用于其他多媒体内容的存储和传输，比如图像等。这对于本领域技术人员来说是能够实现的。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种全景视频传输方法，其特征在于，包括：

构建全景视频的信令信息，所述信令信息包括：全景视频的映射方式信息、空间信息和/或质量信息；

封装全景视频形成视频封装包并传输，封装所述信令信息形成信令信息封装包并传输。

2.根据权利要求1所述的一种全景视频传输方法，其特征在于：

所述全景视频的映射方式包括以下任一种：

经纬图映射，正六面体映射。

3.根据权利要求1所述的一种全景视频传输方法，其特征在于：

所述空间信息包括以下任一种或两种：

空间区域覆盖俯仰角和方位角的范围，空间坐标范围；

所述质量信息包括以下任一种或多种：

分辨率信息，质量等级信息，码率信息。

4.根据权利要求1所述的一种全景视频传输方法，其特征在于：

所述空间信息和/或质量信息依据所述映射方式信息计算得出。

5.一种如权利要求1所述的一种全景视频传输方法的全景视频接收方法，其特征在于，包括以下步骤：

接收封装包；

解析信令信息封装包得到信令信息，依据所述信令信息选定视频封装包并解析得到全景视频；

利用所述信令信息，将所述全景视频在客户端呈现。

6.根据权利要求5所述的一种全景视频接收方法，其特征在于：

所述全景视频的映射方式包括以下任一种：

经纬图映射，正六面体映射。

7.根据权利要求5所述的一种全景视频接收方法，其特征在于：

所述空间信息包括以下任一种或两种：

空间区域覆盖俯仰角和方位角的范围，空间坐标范围；

所述质量信息包括以下任一种或多种：

分辨率信息，码率信息，质量等级信息；

所述空间信息和/或质量信息依据所述映射方式信息计算得出。

8.一种全景视频传输系统，其特征在于，包括：

信令信息构建模块：构建全景视频的信令信息，所述信令信息包括：全景视频的映射方式信息、空间信息和/或质量信息；

封装传输模块：封装全景视频形成视频封装包并传输，封装所述信令信息形成信令信息封装包并传输。

9.根据权利要求8所述的一种全景视频传输系统，其特征在于：

所述全景视频的映射方式包括以下任一种：

经纬图映射，正六面体映射；

所述空间信息包括以下任一种或两种：

空间区域覆盖俯仰角和方位角的范围，空间坐标范围；

所述质量信息包括以下任一种或多种：

分辨率信息，质量等级信息，码率信息；

所述空间信息和/或质量信息依据所述映射方式信息计算得出。

10.一种如权利要求8所述的一种全景视频传输系统的全景视频接收系统，其特征在于，包括：

接收模块：接收封装包；

解析模块：解析信令信息封装包得到信令信息，依据所述信令信息选定视频封装包并解析得到全景视频；

呈现模块：利用所述信令信息，将所述全景视频在客户端呈现。

11.根据权利要求10所述的一种全景视频接收系统，其特征在于：

所述全景视频的映射方式包括以下任一种：

经纬图映射，正六面体映射；

所述空间信息包括以下任一种或两种：

空间区域覆盖俯仰角和方位角的范围，空间坐标范围；

所述质量信息包括以下任一种或多种：

分辨率信息，质量等级信息，码率信息；

所述空间信息和/或质量信息依据所述映射方式信息计算得出。

Images