CN116016981A - 视角增强视频的传输方法、装置以及介质 - Google Patents

Abstract

本公开涉及视角增强视频的传输方法、装置以及介质。提供了一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。

Description

视角增强视频的传输方法、装置以及介质

技术领域

本公开总体上涉及视角增强视频的传输方法、装置以及介质。

背景技术

5G作为新时代的网络技术基础与经济增长点，作为国家新型战略而被大力发展，而消耗大流量的VR服务在其中则是重要的使用场景之一。随着VR业务的兴起，VR视频逐渐开始占据网络流量和终端的能力中不可忽视的一部分。

现阶段，VR普遍使用均匀全景视频传输方式，将包含360度画面的信息映射进2：1的视频画面中，并通过现网的视频传输协议进行传输。客户端接收到视频流后对画面进行解码，再通过所声明的映射方式通过反映射得到初始的360度画面信息，随后根据当前视角进行显示画面的渲染。

为了降低传输的带宽和解码性能的需求，业界开始在VR业务中开发并使用新的传输方法，即视角增强(Field of View enhanced)(FoVe)传输方法，通过压缩性价比较低的图像信息来提高整个流程的性价比。

然而，在现有的视角增强视频的传输方法中，还存在诸如客户端侧的计算负荷太高之类的技术问题。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

根据本公开的一个方面，提供一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。

根据本公开的另一个方面，提供一种视角增强视频的传输装置，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在所述存储器上的指令，以执行如上所述的方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据本公开的上述方面所述的方法。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更清楚地理解本公开，其中：

图1示出了根据本公开的一个实施例的分块组合方式的示例。

图2示出了根据本公开的一个实施例的分块组合方式的示例。

图3示出了根据本公开的一个实施例的主视角视频和副视角视频的编码和存储处理。

图4示出了根据本公开的一个实施例的响应于终端的服务请求的视角增强视频的传输和再现处理。

图5示出了可以实现根据本公开的实施例的计算设备的示例性配置。

具体实施方式

参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本公开的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本公开，本公开是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本公开。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

现有的视角增强传输方法中，终端通过计算视角并向服务器发送视角信息以请求对应分片(segment)，服务器向终端发送对应视角的高清分组和低清全景信息，终端收到后分别进行解码，同步和合成画面，最后在合适的时间切换当前的播放流。在此过程当中，大量的计算负载在终端侧，导致对终端的要求提升。此外，这还导致服务器侧对业务实现流程的掌控力低，难以进行有效优化。

现有的全景技术将完整360度画面的信息进行编码传输，而客户端在观看时却只使用了其中很小的一部分，因此传输其余画面信息造成了巨量的浪费。鉴于终端视角转换与实际画面信息传达到终端之间的延迟的存在，需要有一种缓冲机制允许用户观看其余视角的画面。

为了解决现有技术中的上述一个或多个问题，本公开使用新的FoVe传输方法传输原始画质的当前视角画面和低画质画面的辅助视角，由此可以显著降低传输流量和解码性能消耗，同时保证一定的用户体验不受影响。

此外，现有FoVe方法使用传统服务器提供分片，由客户端开展当前视角的追踪计算和进行不同质量的分片的请求，等到分片数据到达客户端之后对不同的流进行拼接后解码或解码后拼接，再进行渲染。

与现有技术不同，本公开的方法将流合成或流拼接步骤改为由服务器执行，客户端只需要根据当前视角进行请求，无需进行流同步和流拼接，从而降低了客户端计算量。

图1和图2分别示出了根据本公开的一个实施例的分块组合方式的示例。

在本公开中，根据客户端的当前视角，由服务器选择与当前视角对应的一个或多个高清晰度的主视角分块以及一个或多个低清晰度的剩余视角(即，副视角或辅助视角)分块。

在本公开中，用户视野的中央部分是当前视角，但并不一定等于传输的视频流的主视角。主视角和副视角分别对应360度视频中画面的不同部分，两者组合成完整的360度视频画面，主视角的画面画质高，副视角的画面画质低，切换播放流的目的就是尽可能地将用户当前视角的画面以主视角的画面质量呈现，但在切换未完成的时候，用户看到的可能是主视角的画面或者副视角的画面。

例如，在图1中，高清晰度的主视角分块是分块A、B、C、D、E、F、G以及H，低清晰度的副视角分块是分块I、J、K以及L。例如，服务器从高清晰度的主视角分块A、B、C、D、E、F、G以及H中选择与当前视角对应的主视角分块A、B、E以及F，并从副视角分块I、J、K以及L中选择副视角分块K和L。图2与图1是类似的，示出了另一种分块划分和挑选方式。分块的划分和挑选方式不受限制，只要能够由选择的主视角分块和副视角分块组合成没有缺省的完整画面(或图片)即可。

图3示出了根据本公开的一个实施例的主视角视频和副视角视频的编码和存储处理。

在以下说明中，作为示例，以下均使用HEVC编码，并且主视角视频与副视角视频均使用同一GOP配置。不过，本申请并不限于HEVC编码和相同GOP配置。

在图3所示的处理中，首先，对初始视频(即主视角视频，设分辨率为2A x A，A为正整数，通常为2的倍数如1024、2048、4096等)进行下采样，生成副视角视频(分辨率A x0.5A)。

然后，对初始视频和副视角视频分别进行运动约束分块集合(Motion-Constrained Tile Set)(MCTS)编码(在这种编码中，运动预测矢量和过滤器的边界被限制在分块(tile)的边界内)，以分别生成M x 2N和M x N(或者分别为M x N和M x N)数目的视频块流，其中M和N均为正整数。将视频块流分别提取成单独流文件(即，图3中所示的分块流)。

在一个实施例中，每个分块流在经过重写之后，可以被存储在存储装置(例如，图3中所示的服务器中的存储装置)中。

更具体来说，可以对任意视角组合方式(例如，参照图1和2所述的组合方式)，生成(或使用已生成的)视频流元数据。分别将初始视频和副视角视频的视频编码层的网络抽象层单元中的位置信息进行长度和数值重写(除此之外不作改动)，先删除枚举字节(enumeration bytes)，将位置信息写为零，在对齐切片头部(slice header)后，除位置信息处的连续零字节外，在切片头部内加入枚举字节，复制切片有效载荷(slice payload)部分，以生成视频编码层的网络抽象层单元，并记录如下信息：位置信息比特位置、位置信息开端所在字节开始往前的零字节(字节数值为零)数目、位置信息结尾所在字节开始往后的零字节数目、以及所在每个网络抽象层单元的长度。

在一个实施例中，主视角视频和副视角视频的上述编码和存储处理可以在预处理中执行。即，在开始视频流服务之前完成上述编码和存储处理，而不是针对每个播放链接都实时地执行一次。

图4示出了根据本公开的一个实施例的响应于终端(即，客户端)的服务请求的视角增强视频的传输和再现处理。

如图4所示，当终端进行服务请求时，终端随该服务请求一起向服务器发送当前视角信息(如无则默认为中心点)。服务器接收到请求后，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和/或低清分块，并从存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流。然后，服务器将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。

在发送视频流时，服务器首先传输元数据，随后从开始时间(或者终端指定的时间点)往后的第一个IDR(Instantaneous Decoding Refresh，即时解码刷新)帧开始，每帧为一组进行数据传输，传输一组数据，即以重写后(以下将更详细地描述该重写处理)的视频编码层的网络抽象层单元为单位按位置顺序传输可组成完整画面的此帧高分辨率和/或低分辨率分块的网络抽象层单元集合。

在上述重写处理中，服务器首先确定对应视角的分块排列，然后根据排列顺序重写高清分块和/或低清分块在拼接成的图片中的位置，之后连同前后的零字节作为整体写入枚举字节中，并插入之前处理好的原始网络抽象层数据的对应位置，形成新的网络抽象层单元。然后，服务器按位置顺序将网络抽象层单元传输给终端。由此，可充分利用索引信息提升效率。上述重写处理是在图4中的流合成处理中执行的。

终端收到当前画面后，直接进行解码，随后根据视角信息使用约定好的方式对当前画面进行重构，形成ERP(等距柱状投影)投影格式，再进行360度画面的反映射和显示器渲染。此处可省略重构步骤，直接通过包含视角参数的方程将解码画面视为ERP投影画面并直接反映射得到360度画面信息，并进行渲染。此选项取决于客户端的实现形式，不影响传输流程。

如参照图1和2所述，在服务器挑选视角分块以进行视角组合时，将高清分块和低清分块组合成没有缺省的完整图片，以允许独立解码器解码。满足此条件的任意组合方式均为合法组合方式。组合方式的使用和选择取决于终端和网络的性能，流信息通过扩展的网络抽象层单元种类对组合方式的使用进行说明。

组合方式可以是任意的，只要与客户端之间约定好了(可以是预先约定，也可以通过交互参数来指定)。比如，可以约定：高清和低清画面是在同一视频流还是在不同视频流，在同一视频流中哪一个部分是高清，画面分多少个分块，分块之间的组合顺序(比如图1所示拼接好之后从左往右从上往下是ABKEFL，也可以是KABLEF，或者是其他的，只要客户端知道是哪种方式即可)。预先约定好了之后，服务器就可以根据约定的方式进行分块组合和拼接。

根据本公开的一个实施例，提供了一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成(例如，该合成对应于图4所示的“流合成”处理)，并将合成的视频流发送给客户端。

在一个实施例中，将所读取的主视角分块流和副视角分块流合成可以包括：将主视角分块流和副视角分块流合成为一个视频流，或者将主视角分块流和副视角分块流合成为一个主视角视频流和一个副视角视频流。也就是说，合成后的视频流的数量并不受特别限定。

在一个实施例中，将合成的视频流发送给客户端可以包括：将合成的视频流和客户端的当前视角信息一起发送给客户端(例如，如图4所示的由服务器执行的发送处理)。客户端在收到从服务器发送的当前视角信息之后，可以根据该当前视角信息对当前画面进行重构。

在一个实施例中，在开始视角增强视频的流传输服务之前，预先完成所述编码和所述存储的步骤。即，可以提前在预处理中完成所述编码和所述存储的步骤。由此，可以提高在为终端提供流传输服务时的处理速度和响应速度。

预处理可以由任何服务器进行，可以是中心服务器，也可以是专门的预处理服务器，这取决于方案模型。理论上来说也可以用边缘服务器来执行，但这会浪费计算资源，因为这样的话每个边缘服务器都要分别计算一次。理想情况是预处理服务器进行预处理，然后将内容注入中心服务器，中心服务器可以再根据服务状况预先分发给边缘服务器或者等待边缘服务器向上回源，因为这样每个模块之间更加解耦合。预处理可以由任何设备执行，只要在开始视频流服务之前完成而不是每个播放链接都实时处理一次即可。

在一个实施例中，将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流可以包括：对主视角视频和副视角视频分别进行运动约束分块集合编码，以及分别从编码后的主视角视频和副视角视频提取多个主视角分块流和多个副视角分块流。

在一个实施例中，上述视角增强视频的传输方法还可以包括：在所述存储之前，分别对主视角视频和副视角视频的视频编码层的网络抽象层单元中的位置信息进行长度和数值重写。

更具体来说，在一个实施例中，一个网络抽象层单元可以包含一个分块的画面信息，其中包括了分块的位置信息，但是分块所在的位置在合成后的画面的位置是不固定的，所以必须要根据发送时对应的位置来重写对应部分的信息。另外原始视频经过MCTS编码生成的编码流里的网络抽象层单元信息是以原始画面分辨率来计算位置的，将要以部分分块合成的高清画面或高清加低清画面有可能不会达到原始画面的分辨率，这种分辨率的不同可能会导致切片分片(slice segment)地址产生一到两个比特的位移(具体可以参照HEVC对切片分片地址的计算方式，概括来说切片分片地址的比特长度等于log2(分辨率乘积/64/64))，信息对应不上就会导致解码器解码错误。而这个位移会影响到自切片分片地址起到这个网络抽象层单元终结为止的所有数据(其中，影响最大的是网络抽象层单元头部部分)。

网络抽象层单元的起始和终结是以网络抽象层单元前缀来标识的，例如，具体为0x000001或者0x00000001。为了防止有效载荷中出现0x000001从而使得解码器识别错误，需要在流中加入枚举字节来打断类似的序列，然后在提取了单独的网络抽象层单元进行解码时移除掉。添加枚举字节的方法是流中每出现两个0x00就添加一个0x03。因此现有的数据库都是在计算的时候先去除枚举字节，然后在发送的时候加入枚举字节。本公开对此进行了优化，使得在对流进行操作的时候不需要进行枚举字节的移除与添加，这个优化方式只有在进行了预处理的情况下才能实现。

在一个实施例中，在上述视角增强视频的传输方法中，可以根据所述客户端和网络的性能选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块。

在一个实施例中，在上述视角增强视频的传输方法中，将所读取的主视角分块流和副视角分块流合成可以包括：在合成的视频流中通过扩展的网络抽象层单元种类对高清分块和低清分块的组合方式进行描述。

在一个实施例中，在上述视角增强视频的传输方法中，将所读取的主视角分块流和副视角分块流合成可以包括：按照与客户端约定的分块排列方式，重写高清分块和低清分块中的一者或两者在要组合的画面中的位置。

以下，对本申请的技术效果进行说明。

1.视角增强技术的优点：现有的全景技术将完整360度画面的信息进行编码传输，而客户端在观看时却只使用了其中很小的一部分，因此传输其余画面信息造成了巨量的浪费，但鉴于终端视角转换与实际画面信息传达到终端之间的延迟的存在，需要有一种缓冲机制允许用户观看其余视角的画面；使用本公开的FoVe传输方法传输原始画质的当前视角画面和辅助视角的低画质画面将显著降低传输流量和解码性能消耗，同时保证一定的用户体验不受影响。

2.现有FoVe方法使用传统服务器提供分片，由客户端开展当前视角的追踪计算并对不同质量的分片进行请求，等到分片数据到达之后对不同的流进行拼接后解码或解码后拼接，再进行渲染；而本公开的方法将流拼接步骤上升到服务器层面，客户端只需要根据当前视角进行请求，无需进行流同步和流拼接，从而降低了客户端计算量。

3.相比现有FoVe方法中由客户端进行流切换的步骤，本公开的方法由服务器端生成流数据，使得客户端无需考虑流切换的问题，并且不用同步各类元数据与媒体数据的信息，从而降低了客户端复杂度。同时由于流程的改变调整了视角切换与服务器出流的逻辑关系，使得传输更加顺畅和高效。

4.在本公开的方法中，通过FoVe传输的拼接后的视频流可以被普通播放器播放，与现有技术的FoVe传输方法相比，更容易通过扩展现有软硬件实现播放。

图5示出了能够实现根据本公开的实施例的计算设备1200的示例性配置。

计算设备1200是能够应用本公开的上述方面的硬件设备的实例。计算设备1200可以是被配置为执行处理和/或计算的任何机器。计算设备1200可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(PDA)、智能电话、车载计算机或以上组合。

如图5所示，计算设备1200可以包括可以经由一个或多个接口与总线1202连接或通信的一个或多个元件。总线1202可以包括但不限于，工业标准架构(Industry StandardArchitecture，ISA)总线、微通道架构(Micro Channel Architecture，MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。计算设备1200可以包括例如一个或多个处理器1204、一个或多个输入设备1206以及一个或多个输出设备1208。一个或多个处理器1204可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器1204例如可以被配置为实现上述视角增强视频的传输方法。输入设备1206可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备1208可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。

计算设备1200还可以包括或被连接至非暂态存储设备1214，该非暂态存储设备1214可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备1200还可以包括随机存取存储器(RAM)1210和只读存储器(ROM)1212。ROM 1212可以以非易失性方式存储待执行的程序、实用程序或进程。RAM 1210可提供易失性数据存储，并存储与计算设备1200的操作相关的指令。计算设备1200还可包括耦接至数据链路1218的网络/总线接口1216。网络/总线接口1216可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙^TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)。

本公开可以被实现为装置、系统、集成电路和非瞬时性计算机可读介质上的计算机程序的任何组合。可以将一个或多个处理器实现为执行本公开中描述的部分或全部功能的集成电路(IC)、专用集成电路(ASIC)或大规模集成电路(LSI)、系统LSI，超级LSI或超LSI组件。

本公开包括软件、应用程序、计算机程序或算法的使用。可以将软件、应用程序、计算机程序或算法存储在非瞬时性计算机可读介质上，以使诸如一个或多个处理器的计算机执行上述步骤和附图中描述的步骤。例如，一个或多个存储器以可执行指令存储软件或算法，并且一个或多个处理器可以关联执行该软件或算法的一组指令，以根据本公开中描述的实施例提供各种功能。

软件和计算机程序(也可以称为程序、软件应用程序、应用程序、组件或代码)包括用于可编程处理器的机器指令，并且可以以高级过程性语言、面向对象编程语言、功能性编程语言、逻辑编程语言或汇编语言或机器语言来实现。术语“计算机可读介质”是指用于向可编程数据处理器提供机器指令或数据的任何计算机程序产品、装置或设备，例如磁盘、光盘、固态存储设备、存储器和可编程逻辑设备(PLD)，包括将机器指令作为计算机可读信号来接收的计算机可读介质。

举例来说，计算机可读介质可以包括动态随机存取存储器(DRAM)、随机存取存储器(RAM)、只读存储器(ROM)、电可擦只读存储器(EEPROM)、紧凑盘只读存储器(CD-ROM)或其他光盘存储设备、磁盘存储设备或其他磁性存储设备，或可以用于以指令或数据结构的形式携带或存储所需的计算机可读程序代码以及能够被通用或专用计算机或通用或专用处理器访问的任何其它介质。如本文中所使用的，磁盘或盘包括紧凑盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中磁盘通常以磁性方式复制数据，而盘则通过激光以光学方式复制数据。上述的组合也包括在计算机可读介质的范围内。

提供本公开的主题作为用于执行本公开中描述的特征的装置、系统、方法和程序的示例。但是，除了上述特征之外，还可以预期其他特征或变型。可以预期的是，可以用可能代替任何上述实现的技术的任何新出现的技术来完成本公开的部件和功能的实现。

另外，以上描述提供了示例，而不限制权利要求中阐述的范围、适用性或配置。在不脱离本公开的精神和范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以在其他实施例中被结合。

另外，在本公开的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性和顺序。

类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。

Claims (11)

1.一种视角增强视频的传输方法，包括:

将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；

将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；

响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；

从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及

将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。

2.根据权利要求1所述的传输方法，其中，将所读取的主视角分块流和副视角分块流合成包括：

将主视角分块流和副视角分块流合成为一个视频流，或者

将主视角分块流和副视角分块流合成为一个主视角视频流和一个副视角视频流。

3.根据权利要求1所述的传输方法，其中，将合成的视频流发送给客户端包括：

将合成的视频流和客户端的当前视角信息一起发送给客户端。

4.根据权利要求1所述的传输方法，其中，在开始视角增强视频的流传输服务之前，预先完成所述编码和所述存储的步骤。

5.根据权利要求1所述的传输方法，其中，将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流包括：

对主视角视频和副视角视频分别进行运动约束分块集合编码，以及

分别从编码后的主视角视频和副视角视频提取多个主视角分块流和多个副视角分块流。

6.根据权利要求1所述的传输方法，还包括：

在所述存储之前，分别对主视角视频和副视角视频的视频编码层的网络抽象层单元中的位置信息进行长度和数值重写。

7.根据权利要求1所述的传输方法，其中，根据所述客户端和网络的性能选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块。

8.根据权利要求1所述的传输方法，其中，将所读取的主视角分块流和副视角分块流合成包括：

在合成的视频流中通过扩展的网络抽象层单元种类对高清分块和低清分块的组合方式进行描述。

9.根据权利要求1所述的传输方法，其中，将所读取的主视角分块流和副视角分块流合成包括：

按照与客户端约定的分块排列方式，重写高清分块和低清分块中的一者或两者在要组合的画面中的位置。

10.一种视角增强视频的传输装置，包括：

存储器，其上存储有指令；以及

处理器，被配置为执行存储在所述存储器上的指令，以执行根据权利要求1至9中的任一项所述的方法。

11.一种计算机可读存储介质，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1至9中的任意一项所述的方法。

Images