CN108076345A - 多视角视频帧的编码方法、传输方法、装置、计算机 - Google Patents

Abstract

本申请提供一种视频帧的编码方法、传输方法、装置、计算机，该方法应用于多视角视频传输，包括步骤：将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；对各图像块进行编码；记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息，本申请缩短了传输时间，提高了所显示的视频帧的清晰度。

Description

多视角视频帧的编码方法、传输方法、装置、计算机

技术领域

本申请涉及图像处理，尤其涉及多视角视频帧的编码方法、传输方法、装置、计算机。

背景技术

与人眼视野近似或大于人眼视野(例如，约160度宽75度高)的图像可被称为是全景图像。全景图像通常具有在一个方向(例如，通常水平方向)比在另一个方向(例如，垂直方向)上显著较宽(例如，2x、3x或更多倍)的至少一个维度。全景视频由一帧帧的全景图像组成。

各视频帧经由编码器进行编码后，通过网络传输至解码器，再由解码器进行解码，解码器将每帧视频帧解码并还原成多视角图像，供用户观看。

相关技术中，通常是根据网络带宽状况，将视频帧的整幅图像编码较小的码字或者较大的码字，因此，在网络带宽不足时，如果传输的是较小码字的视频帧，则在解码后显示的画面不清晰；如果传输的是较大码字的视频帧，则需要占用大量的带宽且传输时间长。

发明内容

针对现有技术的问题，本申请提供多视角视频帧的编码方法、传输方法、装置、计算机。

根据本申请实施例的第一方面，提供一种视频帧的传输方法，应用于多视角视频传输，该方法包括步骤：

将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

根据本申请实施例的第二方面，提供一种视频帧的编码方法，应用于多视角视频编码，该方法包括步骤：

将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

根据本申请实施例的第三方面，提供一种计算机，包括：

处理器；

存储处理器可执行指令的存储器；

其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

将视频帧划分为至少两个图像块集合，所述视频帧包括多视角视频帧，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

根据本申请实施例的第四方面，提供一种视频帧的编码装置，应用于多视角视频编码，包括：

分块模块，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块，用于对各图像块进行编码；

记录模块，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

根据本申请实施例的第一方面，提供一种多视角视频帧的传输装置，应用于多视角视频传输，包括：

分块模块，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块，用于对各图像块进行编码；

记录模块，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

发送模块，用于根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

本申请的实施例将多角度视频帧分块后再进行编码，而不是将整个视频帧统一编码，因此可以实现在带宽状况不佳时仅传输视频帧的部分数据，由于传输量大大减少，所以提高了传输速度，另外，由于可以仅传输视频帧的部分数据，对带宽的要求降低，因此可以将所传输的部分视频帧数据编码成质量较高的数据，从而可以使用户在解码后看到相对清晰的视频内容。

附图说明

图1为本申请实施例中不同视角的全景视频帧的示意图；

图2为本申请实施例中多视角视频帧的编码方法的部分流程图；

图3a为本申请实施例中一个实例中视频帧分块的示意图；

图3b为本申请实施例中另一个实例中视频帧分块的示意图；

图4为本申请实施例中多视角视频帧的传输方法的部分流程图；

图5为本申请实施例中一种数据包格式示意图；

图6为本申请实施例中一应用场景下对多视角视频帧的处理过程的部分流程图；

图7为本申请实施例中多视角视频帧的编码装置的硬件架构图；

图8为本申请实施例中多视角视频帧的编码装置的逻辑框图；

图9为本申请实施例中多视角视频帧的传输装置的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

对于全景(Panorama)图像、虚拟现实(VR)图像、增强现实(Augmented Reality，简称AR)图像或混合现实(Mix reality，简称MR)图像等类型的图像，通常能反映用户在某一视点处多个视角所看到的图像。由这些类型的图像制作而成的视频帧涵盖了多视角的场景信息，可以分别被称为全景视频、虚拟现实视频、增强现实视频、混合现实视频。

本申请中，编码器是指将视频帧按照某种视频编码标准进行编码的装置；负责对视频帧进行解码的装置称为解码器。视频帧可以是在线视频的视频帧、广播电视的视频帧等。编码器传输视频帧可以通过广播电视网络、IP网络等网络传输给解码器。显示解码后的视频帧的终端的类型可以是移动终端、机顶盒、智能电视、平板电脑、个人电脑、可穿戴设备、便携式音乐播放器等。

某些视频中，用户可以在观看视频内容的同时对视频内容进行操作和交互，例如，用户可以通过鼠标或手指拖动屏幕来观看视频内容，或者可以配合手机、眼镜等设备通过头部转动来控制所观看的视频内容。

用户在终端上看到的一帧视频帧通常是单个视角的图像，本申请中，将用户终端上当前看到的视角称为主视角。通常，可以预先设置某个视角作为首先呈现给用户的主视角，例如60度或90度的图像，因此，本申请中预设主视角可以是最先呈现给用户的视角。用户所观看的不同角度的视频帧可以被认为是通过不同角度的多帧单视角图像组合而成。以全景视频为例，如图1所示，全景视频帧中，用户可以在观看视频帧的预设主视角(例如90度视角)的图像时，通过手指拖动屏幕使屏幕其他视角的图像转换为当前主视角(例如，通过拖动，将180度、270度、360度视角的图像转变为主视角)，每次拖动呈现的图像帧拼接成完整的一帧全景视频帧。可以看出，用户在某个时刻通常看到的是其中某个视角的图像，因此本申请提出了将视频帧分块编码的方案，在网络带宽状况不佳的情况下，使用户在观看视频时，既可以看到一帧完整的画面，又可以保证一定的清晰度，且等待时间较短。

图2示出了一个实施例中视频编码方法的部分流程图。

S201，将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，优先级用于确定图像块集合被发送到解码器的次序；

S202，对各图像块进行编码；

S203，记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

与传统做法不同，本实施例中先将每帧视频帧分块，然后对图像块依次编码，而不是对视频帧的整帧图像编码。如何分块与视频帧的不同区域的优先级有关，同一优先级可以包括多个图像块，也可以只包括一个图像块，本申请中，将同一优先级的图像块称为一个图像块集合。

优先级用于确定各图像块集合被发送到解码器的次序，某些例子中，可以参考网络带宽来设置优先级。

某些例子中，优先级的设置策略可以预先设置；另外一些例子中，也可以动态设置不同视频帧的优先级。作为例子，可以对用户观看视频的观看习惯进行分析，根据用户对不同视角的关注度的不同来设定分块规则，比如，用户可能最希望能看到预设主视角的图像。以此为例，以下列举几种预先设置优先级策略的实例。

策略1，由于多视角的视频帧在呈现给用户时，需要设置某个视角的图像作为预设主视角最先呈现给用户，然后由用户发出指令来转换主视角，因此，可以将视频帧的预设主视角所包含的图像块集合的优先级设置为最高；作为例子，设计者可以将视频帧的中心区域设置为预设主视角，当然并不排除其他视角作为预设主视角的可能。

策略2，在某些场景下，例如演唱会现场、羽毛球比赛等，用户对视频帧的中心区域的关注度高于其他区域的关注度，因此，可以在设置优先级策略时，设定一个中心区域的坐标范围，将此区域的图像块作为优先级最高的图像块。

策略3，某些场景下，用户的关注度可能会根据离中心区域的远近发生变化，离中心区域越远，用户的关注度越低，因此，可以设置与中心区域的图像块的相邻的图像块的坐标范围，分别将几个相邻区域的图像块的优先级设置成不低于其他不相邻的图像块的优先级。

策略4，某些场景下，视频帧的顶部区域可能是天空、底部区域可能是地面景物，用户对顶部区域和底部区域的关注度可能比较低，因此可以将中间区域的图像块集合的优先级设置成不低于顶部区域和底部区域的图像块集合的优先级。

策略5，某些场景下，用户可能对地面景物的关注度高于对天空的关注度，因此，可以将底部区域的图像块集合的优先级设置成不低于顶部区域的图像块集合的优先级。

设计者在设置优先级策略时，可以根据实际需要选择其中一种策略，也可以多种策略同时使用。另外，设计者也可以根据不同视频帧的场景转换来动态设置优先级策略：由于不同场景中物体所在的区域可能不一样，例如，动作片视频中可能存在运动较快的物体，物体在不同视频帧中可能从左到右、从上到下发生变化，因此，设计者可根据视频帧中物体所在区域确定当前视频帧的优先级策略，具体做法可以是：在对每帧视频帧进行分块之前，分析当前视频帧中物体所在区域，以便判断物体的位置是否发生变化，从而确定当前视频帧的优先级设定规则。

值得指出的是，划分图像块时，各图像块的大小可以相同，也可以其中部分图像块相同，或者各图像块的大小均不相同，尺寸大小可以预先设定。另外，对于优先权策略，并非局限于以上所列举的情况，设计者可根据视频的场景不同或者视频帧中物体的运动特点等因素设计不同的策略。

参考图3a、图3b列举几种优先级策略的实例。

参见图3a，可以事先定义出一帧视频帧的中部区域、底部区域、顶部区域的坐标范围，并针对中部区域进一步定义出中心区域、中心区域以外的其他区域在划分图像块的坐标范围。针对各坐标范围，定义各坐标范围的编号次序，以及各编号所对应的优先级。

实例1：在需要对视频帧分块时，根据所定义的坐标范围，将视频帧划分为编号1-17的17个图像块。根据所定义的各编号对应的优先级，将各图像块划分为5个图像块集合，分别对应5个优先级，优先级1的级别最高，该图像块集合中只包括编号1的图像块，该图像块位于中心区域，该图像块被设置为预设主视角的图像块；第二优先级的图像块集合中包括编号2、3、4、5的图像块，与编号1的图像块相邻；第三优先级的图像块集合包括编号6、7、8、9的图像块，位于编号1的图像块的四个斜角(左上角、左下角、右上角、右下角)位置；第四优先级的图像块集合包括编号10、11、12、13、14、15的图像块，分别位于中部区域的最左侧和最右侧；第五优先级为顶部区域和底部区域的图像块集合，顶部区域的图像块集合为编号16的图像块，底部区域的图像块集合为编号17的图像块。

实例2，该实例中，图像块的优先级也可以是事先设置好，视频帧分块方式与图3a类似，也是将视频帧分成17个图像块，与实例1不同，本实例中各图像块的优先级规则与实例1不完全相同。优先级1的图像块集合为编号1的图像块；优先级2的图像块集合包括编号2-9的图像块，即以图像块1为中心所形成一个长方形区域；优先级3的图像块集合包括编号10-15的图像块，包括位于中部区域最左边的图像块(编号10-12的图像块)和位于中心区域最右边的图像块(编号13-15的图像块)；优先级4的图像块集合为底部区域和顶部区域的图像块(编号16、17的图像块)。

参见图3b，该实例中，针对物体在不同视频帧中的变化区域，动态设置各视频帧的图像块集合的优先级。将3b和图3a对比可以看出，根据物体所在区域，图3b优先级1的图像块集合位于视频帧的中间区域的偏下部分(图中编号1的图像块)，优先级2的图像块集合为编号2-6的图像块，优先级3的图像块集合包括编号7-15的图像块，优先级4的图像块集合为编号17的图像块，优先级5的图像块集合为编号为16的图像块。图3a为图3b的下一帧视频帧，在需要对该帧视频帧进行分块时，检测到物体所在区域发生变化，于是根据物体所在区域重新设置优先级策略，这里以图3a的分块规则和图像块集合所对应的优先级策略与实例1相同为例，分块后的图像块编号及相应的优先级不再赘述。

对于检测物体在视频帧中所在的区域的方式，可以采用目前类似技术的常规算法，本申请不做特殊要求。

编码器在对图像块集合进行编码时，可以设置每个优先级的图像块集合所需要占用的带宽，例如，预留300k的带宽供优先级1的图像块集合编码、预留200k的带宽供优先级2的图像块集合编码等。所采用的编码标准可以是H.264\H.265或其他编码标准。另外，也可以采用SVC(Scalable Video Coding,可伸缩视频编码)标准来进行编码，举例来说，优先级越高的图像块集合编码质量越高，而针对同一图像块，可以根据SVC标准进行多层编码，编码成不同质量的图像块，即编码成SVC标准所定义的基础层编码数据和增强层编码数据，同时，可以存在多个增强层，各增强层的编码质量不断增高。在发送给解码器时，可以根据不同的带宽选择不同质量的图像块发送给解码器。作为例子，可以按照优先级的高低来确定编码的次序，例如先对优先级最高的图像块集合进行编码，随后对第二优先级的图像块集合进行编码，也可以根据网络带宽进一步的选择将某个层级的图像块编码数据来进行发送等等。

值得指出的是，为了减少编码的计算量，某些例子中，可以基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码。待编码的图像块可以是已编码的图像块相邻图像块。以图3a为例，在对编号为1的图像块编码后，编号为2、3、4的图像块是与编号为1的图像块相邻的图像块，因此对这三个图像块编码时，可以分别计算这三个图像块与编号为1的图像块的像素差，然后进行编码，其他的待编码的图像块按照此方式依次类推。

在解码器接收到图像块集合后，需要将各个图像块集合拼接和还原出来，因此，为了解码器解码后能够拼接和还原出视频帧，在编码器编码时，可以记录各图像块集合之间的关联信息，通过关联信息来描述各个图像块集合以及图像块之间的位置关系等信息。在某些例子中，记录的方式可以参考SVC标准中实现不同层之间相互连接的定义，容易理解，记录方式并非局限于SVC标准的相关定义，其他记录方式使得解码器能够对各图像块集合进行还原和拼接操作的均可使用。

某些例子在编码后，需要存储编码后的图像块集合的编码信息，例如图像块的编码数据、该编号的图像块所属的优先级信息、以及该图像块所属的图像块集合与其他图像块集合的关联信息等等。其中一种存储方式是区分不同的优先级进行存储，由于一个图像块集合中的图像块的优先级相同，因此可以区分图像块集合来存储。区分优先级存储的方式，可以便于根据不同带宽选择相应的图像块集合发送到解码器。以图3a为例，5个优先级的图像块集合分别被称为Base、Enlance1、Enlance2、Enlance3、Enlance4，则在存储图像块集合的编码数据时，将这五个优先级的图像块集合的编码数据分别独立存储。

编码器将图像块集合传输给解码器的方式可以不止一种，例如，当网络带宽状况不佳时，仅将优先级最高的图像块集合传输给解码器，以保证用户在较差的网络带宽下也可以收看到某个角度的视频画面。如果目前的网络带宽允许，则可以将第二优先级的图像块集合也发给解码器；随后根据网络带宽状况，先后将第三、第四等优先级的图像块集合发送给解码器，这种传输方式可以使用户在网络状况不佳的情况下可以看到部分角度的视频画面，随着网络状态的好转，逐渐可以看到其他视角的视频画面，甚至所有视频角度的视频画面。

在其他例子中，如果图像块集合是采用SVC标准进行了多层级编码，则还可以根据所设置的传输策略，在发送时，决定将某个图像块集合的某层级编码质量的图像块发送给解码器。举例来说，某些场景下，各个图像块集合的图像块在编码时根据SVC标准分别编码成基础层编码质量的图像块和多个增强层编码质量的图像块，则这些图像块集合的传输策略可以是：对于优先级1的图像块集合，基础层编码质量的图像块被发送的优先级高于增强层编码质量的图像块；对于不同优先级的图像块集合，上一个优先级的增强层编码质量的图像块被发送的优先级高于下一个优先级的基础层编码质量的图像块等等。由于传输策略可以根据实际需求来设置多种变化，因此不进行赘述。

在解码器接收到编码器发送的图像块集合后，对图像块集合的存储方式可以根据需求不同而不同，例如，某些例子中可以参考图像块集合在编码器端的存储方式，即区分优先级进行存储。当然，并不排除其他存储方式。

当显示图像块集合时，可以按照图像块集合的优先级确定对解码后的图像块集合的渲染顺序，例如，从优先级最高的图像块集合开始，依次取出各图像块集合进行渲染，并显示在屏幕的相应位置。

为了帮助理解以上视频帧被传输的过程，可以参考图4所示的流程。

S401，将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

S402，对各图像块进行编码；

S403，记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

S404，根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

图5举例示出了一个数据包的格式，图中数据包的Header部分携带数据包的类型以及相应信息，例如

1.类型代表了分层编码的类型，如空域SVC、时域SVC或全景视频等；

2.Model为模式类型，描述了该数据包中图像块集合的模型，模型可以

体现出不同图像块的优先级顺序；

3.Tag携带了图像块集合的关联信息；

4.Data部分为某个图像块的编码数据。

图6是一个应用实例，该应用实例中，优先级策略被预先设置在发送端设备中(本例中采用实例1所描述的优先级策略)，发送端设备包括编码器。

在S610阶段，对视频帧分块。

当编码器获取到一帧视频帧后，将视频帧分成图3a所示的17个图像块，并依据优先级策略对各图像块编号。

在S611阶段，对图像块编码。

本例中设定最高优先级的图像块集合的编码带宽为300k，第二优先级的图像块集合的编码带宽为200k，第二优先级的图像块集合的编码带宽为100k，第四、五优先级的图像块集合的编码带宽均为100k。

编码器在对图像块编码时，先取出编号1的图像块进行编码，编码器按照此带宽，将并且采用SVC标准，将编号1的图像块编码成基础层和多个增强层的编码数据。

在S613阶段，对已编码的图像块进行存储。

在编码完成后，将编号1的图像块的编码数据、该图像块与相邻图像块的关联信息进行存储。

接着编码器对第二优先级的图像块集合(编号为2、3、4的图像块)进行编码。以编号为2的图像块为例，计算编号为2的图像块与编号为1的图像块的像素差，基于像素差来获得编号为2的图像块的编码数据。另外，每个图像块也可以参照编号1的图像块的类似方式，编码成不同层的编码数据。

在编码完成后，将编号2、3、4的图像块的编码数据、这些图像块与相邻图像块的关联信息进行存储。

以此类推，直至将5个优先级的图像块集合编码完成并存储在各自的位置。

在S613、S614阶段，检测当前带宽，获取相应的图像块集合，并发送给接收端设备。

当需要发送视频帧给解码器时，检测当前的网络带宽，然后按照优先级从高到低的次序获取相应的图像块集合的编码信息。举例来说，如果检测到当前的网络带宽不足500k，则获取最高优先级的图像块集合(编号1的图像块)发送给解码器；如果检测到当前的网络带宽为500k，则获取最高优先级和第二优先级的图像块集合(编号1-4的图像块)发送给解码器。

S615-S619阶段为接收端设备对视频帧的解码及显示过程。

S615阶段中接收端设备接收发送端设备发送的数据包。

S616阶段中，在解码器收到图像块集合的编码信息后，按照接收的先后顺序依次进行解码。

S617阶段中，将每个图像块集合独立存储。

S618阶段中，在显示图像块集合的编码信息时，按照优先级从高到低的顺序，依次取出所存储的图像块集合的编码信息进行渲染。

在S619阶段中，依次显示渲染后的图像块集合。

由此，用户在网络带宽较差时，首先看到的是最高优先级的图像块集合，随着网络带宽的增加，逐渐可以看到第二优先级的图像块集合、第三优先级的图像块集合，或者完整的多视角视频帧。

与前述多视角视频帧的编码方法的实施例相对应，本申请还提供了多视角视频帧的编码装置的实施例。

本申请多视角视频帧的编码装置的实施例可以应用在计算机设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本申请多视角视频帧的编码装置所在计算机的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的计算机通常根据该计算机的实际功能，还可以包括其他硬件，对此不再赘述。

作为例子处理器可以执行对多视角视频进行如下操作：

将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

请参考图8，视频帧的编码装置800，用于多视角视频的编码，包括：

分块模块801，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块802，用于对各图像块进行编码；

记录模块803，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

作为例子，视频帧可以包括：全景视频帧、虚拟现实视频帧、增强现实视频帧或混合现实视频帧。

作为例子，所述优先级按照以下至少一条规则设定：

视频帧的预设主视角所包含的图像块集合的优先级高于其他区域的图像块；

视频帧中心区域的图像块的优先级高于其他区域的图像块；

与视频帧中心区域的图像块相邻的图像块的优先级不低于其他不相邻区域的图像块；

视频帧中部区域的图像块集合的优先级不低于顶部区域和底部区域的图像块集合；

底部区域的图像块集合的优先级不低于顶部区域的图像块集合。

某些例子中，各图像块集合的优先级还可以根据视频帧中物体所在区域确定。

作为例子，分块模块801还用于将视频帧划分为至少两个图像块集合之前，分析当前视频帧中物体所在区域，确定当前视频帧的优先级设定规则。

作为例子，编码模块802可以基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码；其中，待编码的图像块为已编码的图像块相邻图像块。

作为例子，不同图像块集合的编码信息可以被独立存储。

作为例子，各图像块的编码数据可以包括基于可伸缩视频编码SVC标准的基础层编码数据和增强层编码数据。

参见图9，视频帧的传输装置900，用于多视角视频的传输，包括：

分块模块901，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块902，用于对各图像块进行编码；

记录模块903，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

发送模块904，用于根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

作为例子，视频帧可以包括全景视频帧、虚拟现实视频帧、增强现实视频帧或混合现实视频帧。

作为例子，所述优先级按照以下至少一条规则设定：

视频帧的预设主视角所包含的图像块集合的优先级高于其他区域的图像块；

视频帧中心区域的图像块的优先级高于其他区域的图像块；

与视频帧中心区域的图像块相邻的图像块的优先级不低于其他不相邻区域的图像块；

视频帧中部区域的图像块集合的优先级不低于顶部区域和底部区域的图像块集合；

底部区域的图像块集合的优先级不低于顶部区域的图像块集合。

作为例子，各图像块集合的优先级可以根据视频帧中物体所在区域确定。

作为例子，分块模块901将视频帧划分为至少两个图像块集合之前，还可以分析当前视频帧中物体所在区域，确定当前视频帧的优先级设定规则。

作为例子，编码模块902可以基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码；其中，待编码的图像块为已编码的图像块相邻图像块。

作为例子，不同图像块集合的编码信息可以被独立存储。

作为例子，图像块的编码数据可以包括基于SVC标准的基础层编码数据和增强层编码数据。

作为例子，还可以包括渲染模块(图中未示出)，用于根据优先级确定对解码后的图像块集合的渲染顺序。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (28)

1.一种视频帧的传输方法，应用于多视角视频传输，其特征在于，该方法包括步骤：

将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

2.根据权利要求1所述的方法，其特征在于，所述视频帧包括：

全景视频帧、虚拟现实视频帧、增强现实视频帧或混合现实视频帧。

3.根据权利要求1所述的方法，其特征在于，所述优先级按照以下至少一条规则设定：

视频帧的预设主视角所包含的图像块集合的优先级高于其他区域的图像块；

视频帧中心区域的图像块的优先级高于其他区域的图像块；

与视频帧中心区域的图像块相邻的图像块的优先级不低于其他不相邻区域的图像块；

视频帧中部区域的图像块集合的优先级不低于顶部区域和底部区域的图像块集合；

底部区域的图像块集合的优先级不低于顶部区域的图像块集合。

4.根据权利要求1所述的方法，其特征在于，各图像块集合的优先级根据视频帧中物体所在区域确定。

5.根据权利要求4所述的方法，其特征在于，将视频帧划分为至少两个图像块集合之前，所述方法还包括步骤：

分析当前视频帧中物体所在区域，确定当前视频帧的优先级设定规则。

6.根据权利要求1所述的方法，其特征在于，对各图像块进行编码的步骤包括：

基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码；其中，待编码的图像块为已编码的图像块相邻图像块。

7.根据权利要求1所述的方法，其特征在于，不同图像块集合的编码信息被独立存储。

8.根据权利要求1所述的方法，其特征在于，图像块的编码数据包括基于SVC标准的基础层编码数据和增强层编码数据。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：根据优先级确定对解码后的图像块集合的渲染顺序。

10.一种视频帧的编码方法，应用于多视角视频编码，其特征在于，该方法包括步骤：

将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

11.根据权利要求10所述的方法，其特征在于，所述视频帧包括：

全景视频帧、虚拟现实视频帧、增强现实视频帧或混合现实视频帧。

12.根据权利要求10所述的方法，其特征在于，所述优先级按照以下至少一条规则设定：

视频帧的预设主视角所包含的图像块集合的优先级高于其他区域的图像块；

视频帧中心区域的图像块的优先级高于其他区域的图像块；

与视频帧中心区域的图像块相邻的图像块的优先级不低于其他不相邻区域的图像块；

视频帧中部区域的图像块集合的优先级不低于顶部区域和底部区域的图像块集合；

底部区域的图像块集合的优先级不低于顶部区域的图像块集合。

13.根据权利要求10所述的方法，其特征在于，各图像块集合的优先级根据视频帧中物体所在区域确定。

14.根据权利要求13所述的方法，其特征在于，将视频帧划分为至少两个图像块集合之前，所述方法还包括步骤：

分析当前视频帧中物体所在区域，确定当前视频帧的优先级设定规则。

15.根据权利要求10所述的方法，其特征在于，对各图像块进行编码的步骤包括：

基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码；其中，待编码的图像块为已编码的图像块相邻图像块。

16.根据权利要求10所述的方法，其特征在于，不同图像块集合的编码信息被独立存储。

17.根据权利要求10所述的方法，其特征在于，图像块的编码数据包括基于可伸缩视频编码SVC标准的基础层编码数据和增强层编码数据。

18.一种计算机，其特征在于，包括：

处理器；

存储处理器可执行指令的存储器；

其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

将视频帧划分为至少两个图像块集合，所述视频帧包括多视角视频帧，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

对各图像块进行编码；

记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

19.根据权利要求18所述的计算机，其特征在于，所述多视角视频帧包括：

全景视频帧、虚拟现实视频帧、增强现实视频帧或混合现实视频帧。

20.根据权利要求19所述的计算机，其特征在于，所述优先级按照以下至少一条规则设定：

视频帧的预设主视角所包含的图像块集合的优先级高于其他区域的图像块；

视频帧中心区域的图像块的优先级高于其他区域的图像块；

与视频帧中心区域的图像块相邻的图像块的优先级不低于其他不相邻区域的图像块；

视频帧中部区域的图像块集合的优先级不低于顶部区域和底部区域的图像块集合；

底部区域的图像块集合的优先级不低于顶部区域的图像块集合。

21.根据权利要求18所述的计算机，其特征在于，各图像块集合的优先级根据视频帧中物体所在区域确定。

22.根据权利要求21所述的计算机，其特征在于，所述处理器还被配置为：

将视频帧划分为至少两个图像块集合之前，分析当前视频帧中物体所在区域，确定当前视频帧的优先级设定规则。

23.根据权利要求18所述的计算机，其特征在于，所述处理器对各图像块进行编码的步骤包括：

基于已编码的图像块与待编码的图像块的像素差，获得待编码的图像块的编码；其中，待编码的图像块为已编码的图像块相邻图像块。

24.根据权利要求18所述的计算机，其特征在于，不同图像块集合的编码信息被独立存储。

25.根据权利要求18所述的计算机，其特征在于，图像块的编码数据包括基于可伸缩视频编码SVC标准的基础层编码数据和增强层编码数据。

26.根据权利要求18所述的计算机，其特征在于，所述处理器还被配置为：根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。

27.一种视频帧的编码装置，应用于多视角视频编码，其特征在于，包括：

分块模块，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块，用于对各图像块进行编码；

记录模块，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据以及各图像块集合之间的关联信息。

28.一种多视角视频帧的传输装置，应用于多视角视频传输，其特征在于，包括：

分块模块，用于将视频帧划分为至少两个图像块集合，每个图像块集合包括至少一个图像块，不同的图像块集合对应不同的优先级，所述优先级用于确定图像块集合被发送到解码器的次序；

编码模块，用于对各图像块进行编码；

记录模块，用于记录图像块集合的编码信息，所述编码信息包括图像块的编码数据、以及各图像块集合之间的关联信息；

发送模块，用于根据网络带宽获取至少一个优先级的图像块集合，并封装成数据包后发送给解码器，所述数据包携带图像块集合的编码信息。