CN114339034A - 一种基于自由视角视频数据的传输方法及接收处理方法 - Google Patents

Abstract

本发明揭示了一种基于自由视角视频数据的传输方法及接收处理方法，用于用户在观看视频时自由切换观看视角，本发明采用不同视角的多个摄像机协同拍摄生成的多个视频流，服务端向客户端提供观看的可变视角范围；用户选择出自己想观看的目标视角，服务端选取出该目标视角所依赖的各拍摄相机参数信息以及对应生成的视频数据流并传输给客户端，用户端分析计算后进行渲染呈现。本发明实现了客户端对于可交互自由视角视频的消费需求，以及提高了数据传输效率，最终给用户带来更好的体验。

Description

一种基于自由视角视频数据的传输方法及接收处理方法

技术领域

本发明涉及自由视角视频数据封装与传输过程的设计应用领域，具体地，涉及一种基于自由视角视频数据的传输方法及接收处理方法。

背景技术

随着信息技术的快速发展，基于固定视角的传统视频消费模式趋于成熟，如何为用户提供更高逼真度、更强交互性、更加个性化的视觉通信体验逐渐成为发展热点。新型视觉通信通过多相机协同拍摄，内容实时生成、高效编解码器、自适应传输系统和交互式终端等技术，为用户提供不受时间、地域、现实条件限制的、身临其境的真实体验，更给新应用带来无限空间。

新型视觉媒体数据生成、封装、传输、处理和呈现等方面与传统媒体数据存在较大的不同，新型视觉媒体数据量更加巨大，种类更加多元化。为满足用户的不同呈现需求，相应的数据描述及传输方法也受到了广泛的关注。得益于深度相机技术和虚拟视角视频渲染技术的发展，自由视角视频的相关技术在学术界和工业界引起了广泛的研究和探索。

自由视角视频是允许用户在观看视频时可以交互式选择视角的一种新型媒体形式。传统的媒体形式只允许用户在一个或多个固定视角进行观看，且用户可选的观看视角由内容制作者事先决定。而自由视角视频允许用户主动调整想要观看的视角，之后由服务端实时选取相应视角的媒体数据流并传输至用户端。因此，自由视角视频可以为用户带来真实灵活，实时交互的沉浸式消费体验。

目前对于如何存储、封装多视角视频数据已有一定的研究，但现有多视角视频的传输信令只考虑了数据整体呈现效果，并未加入对用户实时控制视角变换的封装传输信令支持。因此，为满足用户自由选择视角的需求，需要对现有的自由视角视频数据的传输信令进行扩展，使用户端与服务器端进行实时交互，使用户在消费时可以自由改变想要观看的视角，以满足自由视角视频媒体的灵活呈现需求。

发明内容

本发明提供了一种基于自由视角视频数据的传输方法及接收处理方法，采用对用户选择出的目标视角所依赖的各拍摄相机参数信息以及对应的视频数据流进行分析计算后渲染呈现的方法，满足自由视角视频媒体的灵活呈现需求。

依据上述目的，实施本发明的一种基于自由视角视频数据的传输方法，其特征在于，包括如下步骤：

传输视角可变范围信息、初始观看视角及其对应的视频数据流给客户端；

接收从视角可变范围信息中选取的目标视角，选取该目标视角所依赖的各拍摄相机；

将选取的各拍摄相机的拍摄相机参数信息、各拍摄相机生成的视频数据流传输给客户端。

可选的，多个视频流由不同视角的多个拍摄相机协同拍摄生成，每个拍摄相机对应生成一个视频流。

可选的，所述初始观看视角设置为多个拍摄相机的不同视角中的一个。

可选的，所述视角可变范围信息包括如下至少一项：

用户能够选取的视角的x轴分量最小值、x轴分量最大值、y轴分量最小值、y轴分量最大值、z轴分量最小值、z轴分量最大值。

可选的，所述目标视角包括如下至少一项：

目标视角对应的虚拟相机的x轴分量、虚拟相机的y轴分量、虚拟相机的z轴分量、虚拟相机焦距的x轴分量、虚拟相机焦距的y轴分量。

依据上述目的，实施本发明的一种基于自由视角视频的数据接受处理方法，其特征在于，包括如下步骤：

接收视角可变范围信息、初始观看视角及其对应的视频数据流，对初始观看视角对应的视频数据流进行呈现；

从视角可变范围中选取目标视角并发送给服务端；

接收该目标视角所依赖的各拍摄相机参数信息及相应的媒体数据流，并进行分析计算生成所述目标视角的视频数据流；

对生成的目标视角的视频数据流进行呈现。

依据上述目的，实施本发明的一种服务端，其特征在于，用于执行前述的一种基于自由视角视频数据的传输方法。

依据上述目的，实施本发明的一种客户端，其特征在于，用于执行前述一种基于自由视角视频的数据接受处理方法。

依据上述目的，实施本发明的一种基于自由视角视频的交互系统，其特征在于，包括前述的一种服务端和前述的一种客户端。

采用了本发明的技术方案，针对现有技术的不足，提供视角可变范围供用户选择，采用对用户选择出的目标视角所依赖的各拍摄相机参数信息以及对应的视频数据流进行分析计算后渲染呈现的方法，实现自由视角视频媒体的灵活呈现。

附图说明

图1为本发明所提出的基于自由视角视频消费的系统架构图；

图2为本发明所提出的基于自由视角视频的用户交互和传输方法的流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

实施例一

附图1所示为本发明所提出的基于自由视角视频消费的系统架构图，主要包括如下几个部分：

一、在拍摄场地进行拍摄的拍摄系统。

拍摄系统由不同视角的多个拍摄相机组成，每个拍摄相机对拍摄现场进行拍摄生成一个视频流，上述不同视角的多个拍摄相机协同拍摄形成多个视角的视频流，拍摄系统实时将视频流通过通信网络(例如5G)传输给服务端(云端)。

二、服务器端(云端)。

服务器端接收拍摄系统传输的多个视角的视频流，并进行存储。

为了对视频流进行管理，方便后续的使用，定义了两个对这些信息的组织结构：

一是表示拍摄多视角视频的一个拍摄相机的结构：

二是表示初始传输时服务器端向客户端提供的一个初始观看视角：

aligned(8)class FV_InitViewStruct(){

FV_CameraStruct()；

}

上述信息的组织结构所包含的字段含义主要如下：

camera_pos_x：一个拍摄相机位置的x分量取值；

camera_pos_y：一个拍摄相机位置的y分量取值；

camera_pos_z：一个拍摄相机位置的z分量取值；

camera_focal_length_x：一个拍摄相机焦距的x分量取值；

camera_focal_length_y：一个拍摄相机焦距的y分量取值；

camera_resolution_x：一个拍摄相机采集的纹理图、深度图的分辨率宽度；

camera_resolution_y：一个拍摄相机采集的纹理图、深度图的分辨率高度；

camera_count：合成一个虚拟视角需要的拍摄相机个数；

camera_id：一个拍摄相机的标识符；

message_id：自由视角视频互反馈消息的标识符；

version：自由视角视频交互反馈消息的版本。新的版本所携带的信息将覆盖任何之前的旧版本；

length：包含了以字节计算的自由视角视频交互反馈消息的长度，即从下一字段起直到交互反馈消息最后一个字节的长度。“0”值在此字段无效。

asset_id：指示客户端当前消费的多媒体数据实体。

基于上述信息的组织结构和字段含义，自由视角视频交互响应消息定义如下：

如图2所示，服务器端除了传输上述初始观看视角之外，还传输初始观看视角对应的视频数据流给客户端供其播放，传输视角可变范围信息给客户端供，告知用户自由可选的视角可变范围。

所述视角可变范围信息包括以下至少一项：用户能够选取的视角的x轴分量最小值、x轴分量最大值、y轴分量最小值、y轴分量最大值、z轴分量最小值、z轴分量最大值。其可用如下字段表示：

camera_pos_x_min：自由视角视频中用户可选视角的x轴分量最小值；

camera_pos_x_max：自由视角视频中用户可选视角的x轴分量最大值；

camera_pos_y_min：自由视角视频中用户可选视角的y轴分量最小值；

camera_pos_y_max：自由视角视频中用户可选视角的y轴分量最大值；

camera_pos_z_min：自由视角视频中用户可选视角的z轴分量最小值；

camera_pos_z_max：自由视角视频中用户可选视角的z轴分量最大值。

视角可变范围信息可以通过自由视角视频初始消息的方式传输给客户端，自由视角视频初始消息的定义如下：

客户端从视角可变范围信息中选取目标视角并传输给服务器端，服务器端接收到目标视角信息后分析计算并选取该目标视角所依赖的所有拍摄相机；服务器端将选取的各拍摄相机的拍摄相机参数信息、各拍摄相机生成的视频数据流传输给客户端供其渲染呈现。

三、客户端(消费终端)。

客户端接收视角可变范围信息、初始观看视角及其对应的视频数据流，并对初始观看视角对应的视频数据流进行解码、渲染和呈现，初始观看视角为拍摄系统中某一拍摄相机的视角；当用户想变更观看的视角时，从客户端接收到的视角可变范围中选取自己想要观看的目标视角，客户端将目标视角发送给服务器端，告知服务器端其想变更到的视角。

所述目标视角包括如下至少一项：目标视角对应的虚拟相机的x轴分量、虚拟相机的y轴分量、虚拟相机的z轴分量、虚拟相机焦距的x轴分量、虚拟相机焦距的y轴分量。其可用如下字段表示：

ClientCam_pos_x：用户所选视角对应的虚拟相机的x轴分量；

ClientCam_pos_y：用户所选视角对应的虚拟相机的y轴分量；

ClientCam_pos_z：用户所选视角对应的虚拟相机的z轴分量；

ClientCam_focal_length_x：用户所选视角对应的虚拟相机焦距的x轴分量；

ClientCam_focal_length_y：用户所选视角对应的虚拟相机焦距的y轴分量。

目标视角可以通过自由视角视频交互请求消息的方式传输给服务器端，自由视角视频交互请求消息的定义如下：

如图2所示，客户端接收目标视角所依赖的各拍摄相机参数信息及相应的媒体数据流后，进行分析计算生成所述目标视角的视频数据流，并对生成的目标视角的视频数据流进行呈现。

一种基于自由视角视频的交互系统，包含上述服务器端和上述客户端，还可以包括上述拍摄系统。

实施例二

实施例二与实施一基本相同，不同之处如下：

服务器端接收到目标视角信息后分析确定并选取该目标视角所依赖的各拍摄相机，服务器端分析目标视角所依赖的各拍摄相机参数信息及相应的媒体数据流后，生成所述目标视角的视频数据流并传输给客户端。

客户端解码后直接渲染呈现。

本发明提供了一种基于自由视角视频数据的传输方法及接收处理方法，能够在用户消费视频媒体内容时提供实时的视角可变范围供选择。用户在消费视频媒体时自由变更视角，可以获取符合用户需求以及不同应用场景下的自由视角的视频媒体内容，实现了客户端对于可交互自由视角视频的消费需求。

所属领域的技术人员应当认识到，以上的说明书仅是本发明众多实施例中的一种或几种实施方式，而并非用对本发明的限定。任何对于以上所述实施例的均等变化、变型以及等同替代等技术方案，只要符合本发明的实质精神范围，都将落在本发明的权利要求书所保护的范围内。

Claims (9)

1.一种基于自由视角视频数据的传输方法，其特征在于，包括如下步骤：

传输视角可变范围信息、初始观看视角及其对应的视频数据流给客户端；

接收从视角可变范围信息中选取的目标视角，选取该目标视角所依赖的各拍摄相机；

将选取的各拍摄相机的拍摄相机参数信息、各拍摄相机生成的视频数据流传输给客户端。

2.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，

多个视频流由不同视角的多个拍摄相机协同拍摄生成，每个拍摄相机对应生成一个视频流。

3.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，

所述初始观看视角设置为多个拍摄相机的不同视角中的一个。

4.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，所述视角可变范围信息包括如下至少一项：

用户能够选取的视角的x轴分量最小值、x轴分量最大值、y轴分量最小值、y轴分量最大值、z轴分量最小值、z轴分量最大值。

5.如权利要求1所述的一种基于自由视角视频数据的传输方法，其特征在于，所述目标视角包括如下至少一项：

目标视角对应的虚拟相机的x轴分量、虚拟相机的y轴分量、虚拟相机的z轴分量、虚拟相机焦距的x轴分量、虚拟相机焦距的y轴分量。

6.一种基于自由视角视频的数据接受处理方法，其特征在于，包括如下步骤：

接收视角可变范围信息、初始观看视角及其对应的视频数据流，对初始观看视角对应的视频数据流进行呈现；

从视角可变范围中选取目标视角并发送给服务端；

接收该目标视角所依赖的各拍摄相机参数信息及相应的媒体数据流，并进行分析计算生成所述目标视角的视频数据流；

对生成的目标视角的视频数据流进行呈现。

7.一种服务端，其特征在于，用于执行如权利要求1-5中任意一项所述的基于自由视角视频数据的传输方法。

8.一种客户端，其特征在于，用于执行如权利要求6所述的一种基于自由视角视频的数据接受处理方法。

9.一种基于自由视角视频的交互系统，其特征在于，包括如权利要求7所述的服务端和如权利要求8所述的客户端。

Images