CN106341622B - 一种多路视频流的编码方法及装置 - Google Patents

Abstract

本申请提供了一种多路视频流的编码方法及装置，其中，该编码方法包括：获取待编码的多路视频流；对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流；对所述复合视频流进行编码，以生成一路视频码流。本申请将多路视频流进行叠加处理后再进行编码，并以单路视频码流结构输出，提升复合视频流的压缩率。

Description

一种多路视频流的编码方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种多路视频流的编码方法及装置。

背景技术

随着媒体通信技术的发展，经常出现将多路视频同时传输并显示的情况。例如，发送方用户将本地的文档和视频一起分享给接收方，并使文档和视频同时显示在接收方的屏幕上。在这种情况下，为了降低媒体载荷以及更好地适应网络传输，需要把文档信号和视频信号分别进行编码产生两路码流，接收方接收到两路码流后，再分别进行解码，并根据预定的布局方式作显示屏的展现处理。

现有技术的实现方案基于多路已经编码的码流进行复合，由于基于工业界传统的差分脉冲编码调制(DPCM)的各种视频压缩标准，包含了不同类型载荷头单元的编码语义结构，更多路的编码码流意味着更多的载荷头开销。

因此，需要提出一种能够减低载荷开销，提升多路视频流总体压缩效率的多路视频流编码的方案。

发明内容

本申请的一个目的是提供一种多路视频流的编码方法及装置，提升对多路视频流编码时的压缩率。

根据本申请的一方面，提供了一种多路视频流的编码方法，该编码方法包括：

获取待编码的多路视频流；

对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流；

对所述复合视频流进行编码，以生成一路视频码流。

根据本申请的另一方面，还提供了一种多路视频流的编码装置，该编码装置包括：

获取单元，用于获取待编码的多路视频流；

合成单元，用于对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流；

编码单元，用于对所述复合视频流进行编码，以生成一路视频码流。

与现有技术相比，本申请的实施例具有以下优点：

本申请将多路视频流进行叠加处理后再进行编码，并以单路视频码流结构输出，消除了多路视频流中由于包含不同类型的载荷头单元而造成的语义编码冗余，提升复合码流的压缩率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请一个实施例提供的方法的流程图；

图2为根据本申请一个实施例的对所述多路视频流代表的视频进行合成的步骤的流程图；

图3为根据本申请一个实施例的画中画格式的多路视频合成的示意图；

图4为根据本申请一个实施例的平铺格式的多路视频合成的示意图；

图5为根据本申请一个实施例的对所述复合视频流进行编码，以输出一路视频码流的步骤的流程图；

图6为本申请一个实施例提供的装置示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本申请作进一步详细描述。

本申请的方法可以应用于服务器端或客户端中。例如，应用于具有多媒体传输功能的应用的服务器端或客户端中。

图1为本申请一个实施例的多路视频流的编码方法。

参考图1，在步骤110中，获取待编码的多路视频流。

具体而言，该待编码的多路视频流不仅限于传统意义的视频还可以包括文档、图片、照片等。例如用户在所使用的客户端本地选取文档、视频传输给其他用户。

参考图1，在步骤120中，对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流。

具体地，对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流的步骤具体可以包括步骤1201和步骤1202。

参考图2，在步骤1201中，根据所述多路视频流的解析度和预定的布局格式，确定所述多路视频流代表的视频的合成点位置。

具体地，该多路视频流中可以包含未经编码的视频信号(原始视频信号)和/或经过编码产生的视频码流。对于未经编码的视频信号，记录视频的解析度。对于经过编码而产生的视频码流，可以对该视频码流进行语义解析，从语义解析得到的信息中获取该视频码流的解析度。

所述预定的布局格式为预先设置的将所述多路视频流代表的视频进行合成的格式。并且，将该多路视频流编码输出后，在解码播放时该多路视频流代表的视频也以该预定布局格式显示。

在一种具体实施方式中，所述预定的布局格式可以为画中画格式。

所述画中画格式是指在播放的外视频的画面内部区域同时播放至少一路内视频。因此，对于画中画布局格式需要从多路视频流中选取一路视频流代表的视频作为画中画的外视频，其余视频流代表的视频作为画中画的内视频。

如果预定的布局格式为画中画格式，则步骤1201的一种具体的实施方式为：

将所述多路视频流中解析度最大的视频流代表的视频作为画中画的外视频，将所述多路视频流中其余视频流代表的视频作为画中画的内视频。

具体而言，如果将解析度较小的视频流代表的视频作为画中画的外视频，可能需要对其画面进行拉伸，导致画面质量变差，影响最终视频播放的效果。因此，为提高编码后输出的视频码流的最终的播放效果，可以将多路视频流中解析度最大的视频流代表的视频作为画中画的外视频，将其余视频流代表的视频作为画中画的内视频，这样即使将该解析度最大的视频作为画中画的外视频时对其画面进行拉伸，其拉伸的比例也会比解析度较小的视频作为画中画的外视频时的拉伸比例小，因此能够取得画中画格式的较好效果。

在预定的布局格式下，可以预先设置不同的视频数量对应的不同的内视频与外视频的合成点位置和叠加区域的大小(宽度和高度)，画中画格式下，内视频与外视频的叠加区域就是指内视频与外视频叠加在一起的区域，该叠加区域的大小就是画中画的内视频在播放时的画面(或窗口)大小。所述多路视频的合成点位置可以是每个内视频的左上角顶点相对于所述外视频的左上角顶点的相对坐标。

图3为根据本申请实施例的画中画格式的多路视频合成的示意图。

参考图3，301为画中画的外视频，302为画中画的内视频，当只有两路视频进行复合时，画中画中外视频301的内部区域只有一路内视频302，内视频302可以位于外视频301的左下角处。其中，以外视频301画面的左上角顶点为坐标原点(0，0)，内视频302的画面的左上角顶点相对于外视频301的画面的左上角顶点的相对坐标为(dx，dy)，即内视频302与外视频301的合成点位置为(dx，dy)。

为保证经过编码的视频码流的信息可用性，所述合成点位置相对于画中画的外视频的顶点或背景的顶点的坐标是基本编码单元的正整数倍。具体而言，该合成点坐标的水平分量和垂直分量为基本编码单元对应分量的正整数倍，其中，合成点坐标的水平分量和垂直分量以及基本编码单元对应分量均以像素个数表示。不同压缩标准的基本编码单元不同，例如，ITU H.263压缩标准是以8×8的像素块为基本编码单元，采用该压缩标准时，合成点坐标的水平分量对应的像素个数和垂直分量对应的像素个数均为8的整数倍。ISOMPEG4-part10/ITU H.264压缩标准是以16×16的像素块为基本编码单元，采用该压缩标准时，合成点坐标的水平分量对应的像素个数和垂直分量对应的像素个数均为16的整数倍。

可选地，所述预定的布局格式可以为平铺格式。其中，平铺格式是指将多路视频的画面在屏幕上无重叠地并列显示。平铺格式可以看做外视频为一路空白信号或背景信号的画中画格式。因此，对于平铺格式可以先产生一路信号作为外视频，将待编码的多路视频流代表的视频作为内视频。

图4为根据本申请实施例的布局格式为平铺格式的多路视频合成的示意图。其中，外视频401为产生的一路作为背景的信号，该信号可以是空白信号或者预设的背景信号(例如，预设的蓝色背景信号)。与画中画格式类似，在平铺格式下，多路视频的合成点位置可以是每个内视频的左上角顶点相对于所述外视频的左上角顶点的相对坐标。图4中，以外视频401的画面的左上角顶点为坐标原点(0，0)，内视频402和内视频403的画面的左上角顶点相对于外视频401左上角顶点的坐标(dx0，dy)、(dx1，dy)分别为内视频402和内视频403与外视频401的合成点位置。与前述实施方式类似，为保证经过编码的视频码流的信息可用性，所述合成点位置相对于外视频的顶点或背景的顶点的坐标是基本编码单元的正整数倍。

在步骤1202中，根据确定的合成点位置对所述多路视频流代表的视频进行合成处理，以生成所述一路复合视频流。

画中画格式下，可以先根据确定的合成点位置确定画中画的每一路内视频与外视频的叠加区域的位置，再根据确定的叠加区域的位置，将每一路内视频的数据复制到外视频上相应的叠加区域中，以生成所述一路复合视频流。

具体地，叠加区域的位置可以根据确定的内视频与外视频的合成点位置以及确定的内视频与外视频叠加区域的宽度和高度确定。其中，确定的内视频与外视频的叠加区域的宽度和高度是根据预定布局格式确定的。在不同的布局格式下，可以分别预先设置不同视频数量的情况下对应的内视频与外视频的叠加区域宽度和高度。内视频与外视频的合成点为叠加区域的左上角顶点，因此，根据内视频与外视频的合成点坐标和确定的叠加区域的宽度和高度，确定每个内视频与外视频叠加区域的右下角顶点，从而确定在外视频上每个内视频与外视频的叠加区域位置。

例如，图3中内视频302与外视频301的合成点的坐标为(dx，dy)，确定的叠加区域的宽度和高度分别为w和h(其中，宽度和高度为像素尺寸，也就是像素个数)，则内视频302与外视频301的叠加区域的右下顶点的坐标为(dx+w，dy+h)，左上顶点(dx，dy)至右下顶点(dx+w，dy+h)形成的矩形区域就是内视频302与外视频301的叠加区域。

可选地，步骤1202还可以包括以下步骤：

记录每个内视频与所述外视频的叠加区域在所述外视频上的区域坐标以及对应的编码宏块索引表，以在所述一路复合视频流中传输。

具体地，叠加区域的坐标可以以该区域的左上角顶点的坐标和右下角顶点的坐标来表示。例如，图3中以外视频301的左上角顶点为坐标原点，内视频302与外视频301的叠加区域的左上角顶点的坐标为(dx，dy)，右下角顶点的坐标为(dx+w，dy+h)，则叠加区域的坐标可以表示为(dx，dy)-(dx+w，dy+h)。通过在该一路复合视频流中传输叠加区域在所述外视频上的区域坐标以及对应的宏块索引表，以便于在对该复合流进行编码时，能够快速确定叠加区域的视频流的宏块。

在步骤130中，对所述复合视频流进行编码，以生成一路视频码流。

具体而言，待编码的多路视频流中可以包括未经编码的视频信号和/或经过编码产生的视频码流。对所述复合视频流进行编码，就是对复合而成的复合视频流中未经编码的视频信号数据和/或经过编码产生的视频码流数据进行编码，并将编码产生的视频码流按照图像(帧)顺序以一路视频码流的结构输出。

当该多路视频流中包含未经编码的视频信号时，步骤130的一种具体实施方式为：

对于所述复合视频流中未经编码的视频信号进行预测，得到对所述视频信号进行编码的预测信息；

基于得到的预测信息，对所述未经编码的视频信号进行编码处理。

具体地，可以采用帧间预测和/或帧内预测的预测编码方式对未经编码的视频信号进行预测，以去除冗余信息并得到帧间和/或帧内预测信息。其中，对该未经编码的视频信号进行帧间和/或帧内预测时以宏块为单位。根据得到的帧间和/或帧内预测信息对所述未经编码的视频信号执行预定的编码处理流程(例如，基于得到的预测信息进行变换、量化、熵编码处理)以生成视频码流，作为输出的一路视频码流的一部分。其中，输出的一路视频码流中还可以包含解码所需的信息，例如，运动矢量。

如果进行帧内预测，则预测信息包括：预测模式以及残差数据。

帧内预测过程可以包括：

以宏块为单位，利用当前帧内已编码并解码的重建的相邻像素信息来生成预测宏块，并且将预测宏块与当前宏块(当前要编码的宏块)进行比较得到残差数据。例如，将预测宏块从当前宏块中减去，得到一个残差宏块(残差数据)。在后面的步骤中，基于得到的残差数据进行编码处理生成视频码流。

如果进行帧间预测，则预测信息包括：参考帧索引、宏块划分方式、运动矢量以及残差数据。

帧间预测过程可以包括：

以宏块为单位，通过运动估计在参考帧中指定的运动搜索范围内搜索与当前宏块最相似的宏块，即，匹配宏块，将当前宏块与匹配宏块两者间的位置进行相减得到运动矢量，根据运动矢量指定的位置，对当前宏块和最佳匹配宏块进行运动补偿得到残差数据。在后面的步骤中，基于得到的残差数据进行编码处理。

上述步骤对于所述复合视频流中未经编码的视频信号进行预测时，对外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧内预测的预测来源在所述叠加区域内。也就是说，帧内预测的预测宏块的来源不超出内视频与外视频的叠加区域的范围内的宏块。

上述步骤对于所述复合视频流中未经编码的视频信号进行预测时，对外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧间预测的运动搜索范围小于等于所述叠加区域。

具体地，对内视频与外视频的叠加区域进行帧间预测的运动搜索时，运动搜索的正整数搜索窗口迭代为±σ像素，叠加区域中某个宏块对应运动搜索范围具体可以为：

Range_x＝[Max(dx，x-σ)，Min(dx+w，x+σ)]

(1)

Range_y＝[Max(dy，y-σ)，Min(dy+h，y+σ)]

基于上述，针对叠加区域进行编码时，需要另外开辟内存空间供使用，其中，每个参考帧的亮度分量缓存大小不小于(w+2σ)×(h+2σ)字节，以满足对内视频作帧间预测的运动搜索的需要。

当该多路视频流中包含经过编码产生的视频码流时，步骤130可以进一步包括步骤1301、步骤1302和步骤1303。

参考图5，在步骤1301中，对于所述复合视频流中经过编码产生的视频码流进行语义解析，以获取所述经过编码产生的视频码流所经过的编码中的预测信息。

具体而言，该复合视频流中经过编码产生的视频码流可以是对原始视频信号或视频码流进行编码产生的，因此，对该经过编码产生的视频码流进行语义解析，可以获取所经过的编码中的预测信息。其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据(残差宏块、运动矢量偏差)。

参考图5，在步骤1302中，根据所述所经过的编码中的预测信息，获取对所述经过编码产生的视频码流进行编码时的预测信息。

步骤1302的一种具体实施方式为：

判断所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准是否相同；如果相同，则将所述所经过的编码中的预测信息确定为对所述经过编码产生的视频码流进行编码时的预测信息。

具体地，如果该经过编码产生的视频码流所经过的编码所采用的视频编码标准与对合成后的一路复合视频流进行编码时的视频编码标准相同，例如，该经过编码产生的视频码流所经过的编码采用ISO MPEG4-part10/ITU H.264视频压缩标准，而预先设置的对合成后的该一路复合视频流进行编码的视频编码标准也是MPEG4-part10/ITU H.264视频编码标准，则不需要对该经过编码产生的视频码流重新进行帧间预测和/或帧内预测，可以直接将所述经过编码产生的视频码流所经过的编码中的预测信息确定为对所述经过编码产生的视频码流进行编码时的预测信息。

基于上述实施方式，如果所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准不同，则步骤1302的一种具体实施方式为：

根据所经过的编码中对所述视频码流进行帧内预测时确定的预测模式，确定对所述经过编码产生的视频码流进行编码时的预测模式；根据确定的预测模式对所述经过编码产生的视频码流进行帧内预测，以确定对所述复合视频流进行编码时的预测信息。

帧内预测时需要进行帧内预测模式的选择，例如，计算各个帧内预测模式下的R-D代价函数，将代价最小的预测模式确定为最优预测模式。对于经过编码产生的视频码流可以根据所经过的编码中确定的最优预测模式，确定对该经过编码产生的视频码流进行编码时的预测模式，以减小预测模式选择的计算复杂度。

以及/或者，步骤1302的另一种具体实施方式为：

根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差；

根据确定的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的预测信息。

其中，根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差的步骤包括：

根据所经过的编码中对所述视频码流进行帧间预测时产生的运动矢量偏差以及对所述复合视频流进行编码时视频编码标准对应的运动补偿的分数像素精度，计算对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

其中，运动矢量偏差表示运动矢量的预测残差，当前宏块的运动矢量可以根据当前宏块周围可得到的邻块的运动矢量进行预测，得到预测运动矢量。运动矢量偏差为当前宏块的实际运动矢量与预测运动矢量的差值，也就是该视频码流所经过的编码中，宏块的实际运动矢量与预测运动矢量的差值。

具体地，可以通过以下的转换公式(2)计算对所述经过编码产生的视频码流进行编码的运动矢量偏差(MVD_x′，MVD_y′)：

MVD_x’＝MVD_x+dx×fpp；

(2)

MVD_y’＝MVD_y+dy×fpp；

在公式(2)中，MVD_x和MVD_y分别为该经过编码产生的视频码流所经过的编码中，帧间预测时得到的运动矢量偏差所对应的水平分量和垂直分量；fpp(Fraction PixelPrecision)代表对所述复合视频流进行编码时的视频编码标准对应的运动补偿的分数像素精度，例如，H.263视频编码标准的fpp为1/2，H.264视频编码标准的fpp为1/4。

进一步地，上述步骤还可以包括：

将计算得到的对所述经过编码产生的视频码流进行编码时的运动矢量偏差作为运动搜索的基准点，对所述经过编码产生的视频码流重新进行运动搜索，以获取对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

也就是说，将计算得到的该运动矢量偏差作为对该经过编码产生的视频码流进行运动搜索的搜索起点，对该视频码流重新进行帧间预测的运动搜索，以获取对经过编码产生的视频码流进行编码时的最终的运动矢量偏差。其中，可以基于该经过编码产生的视频流所经过的编码的参考帧进行运动搜索。通过重新进行的帧间运动搜索得到的预测信息与当前编码的宏块更为匹配，可以提高视频质量。

上述步骤对于所述复合视频流中经过编码产生的视频码流进行预测时，类似于对未经编码的视频信号进行的预测，对外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧内预测的预测来源在所述叠加区域内。也就是说，帧内预测的预测宏块的来源不超出内视频与外视频的叠加区域的范围内的宏块。

上述步骤对于所述复合视频流中经过编码产生的视频码流进行预测时，类似于对未经编码的视频信号进行的预测，对外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧间预测的运动搜索范围小于等于所述叠加区域。其中，对经过编码产生的视频码流进行帧间预测的运动搜索的范围可参考对未经编码的视频信号进行的帧间预测的实施方式的描述，此处不加赘述。

参考图5，在步骤1303中，基于获取的对所述经过编码产生的视频码流进行编码时的预测信息，对所述经过编码产生的视频码流进行编码处理。

具体地，根据获取的对所述经过编码产生的视频码流进行编码时的预测信息，对所述经过编码产生的视频码流执行预定的编码处理流程(例如，基于得到的预测信息进行变换、量化、熵编码处理)，以生成视频码流，作为输出的一路视频码流的一部分。

更具体地，在帧内/帧间预测中，对得到的残差宏块D(残差数据)进行变换、量化，产生一组量化后的变换系数X，对变换系数X重新排序后进行熵编码，生成视频码流，作为输出的一路视频码流的全部或部分。

本申请技术方案相对于现有技术方案，预计节省的码流载荷量Diff_bit可参考公式(3)：

其中，共有n(n为大于1的正整数)路输入视频流，画中画布局格式中，Stream₀为代表外视频的视频流；Stream₁～Stream_n-1为其余(n-1)路代表内视频的视频流，若为未经编码的原始视频，相应的Stream_i(0＜i＜n)表示现有技术中编码系统所需要消耗的载荷。

本申请节省的载荷量Diff_bit，包括(n-1)路代表内视频的视频流的载荷总和

以及各个内视频与外视频叠加区域的原先的编码载荷Overlap_Li(外视频在叠加区域的原来的编码载荷)与内视频的编码载荷Overlap_Si之差的总和

因此，根据本申请技术方案，码率节省是巨大和可观的，可以更好的适应网络传输。

本申请的技术方案，将多路视频流进行合成处理生成复合视频流后，再进行统一编码输出一路视频码流，消除了多路视频码流中包含的不同类型载荷头单元的语义编码冗余，提升复合码流的压缩率。

并且，本申请的技术方案将多路视频流的布局方式固定在编码输出的单路视频码流中，接收方无需考虑视频显示时的布局，只需对接收到的单路视频码流进行解码，即可实现多路视频的同时播放。

同时，本申请的技术方案对于输入为经过编码的视频码流，基于视频码流已有的预测数据进行二次编码，能够提升复合视频流的压缩处理的计算性能，并进一步提高压缩效率。

基于与方法同样的发明构思，本申请还提供一种多路视频流的编码装置，图6所示为多路视频流的编码装置6示意图。该编码装置6包括：

获取单元610，用于获取待编码的多路视频流；

合成单元620，用于对所述多路视频流代表的视频进行合成，以生成代表合成后的视频的一路复合视频流；

编码单元630，用于对所述复合视频流进行编码，以生成一路视频码流。

可选地，所述合成单元620包括：

合成点位置确定单元，用于根据所述多路视频流的解析度和预定的布局格式，确定所述多路视频流代表的视频的合成点位置；

合成处理单元，用于根据确定的合成点位置对所述多路视频流代表的视频进行合成处理，以生成所述一路复合视频流。

可选地，所述预定的布局格式为画中画格式，所述合成点位置确定单元被配置为：

将所述多路视频流中解析度最大的视频流代表的视频作为画中画的外视频，将所述多路视频流中其余视频流代表的视频作为画中画的内视频。

可选地，所述合成点位置相对于画中画的外视频的顶点或背景的顶点的坐标是基本编码单元的正整数倍。

可选地，所述合成处理单元被配置为：

记录每个内视频与所述外视频的叠加区域在所述外视频上的区域坐标以及对应的编码宏块索引表，以在所述一路复合视频流中传输。

可选地，所述编码单元630被配置为：

对于所述一路复合视频流代表的视频中外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧间预测的运动搜索范围小于等于所述叠加区域、预测编码中采用的帧内预测的预测来源在所述叠加区域内。

可选地，所述多路视频流中包含未经编码的视频信号。

其中，所述编码单元630包括：

预测单元，用于对于所述复合视频流中未经编码的视频信号进行预测，得到对所述未经编码的视频信号进行编码的预测信息；

编码处理单元，用于基于得到的预测信息，对所述未经编码的视频信号进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

可选地，所述多路视频流中包含经过编码产生的视频码流。

其中，所述编码单元630包括：

语义解析单元，用于对于所述复合视频流中经过编码产生的视频码流进行语义解析，以获取所述经过编码产生的视频码流所经过的编码中的预测信息；

预测信息获取单元，用于根据所述所经过的编码中的预测信息，获取对所述经过编码产生的视频码流进行编码时的预测信息；

编码处理单元，用于基于获取的对所述经过编码产生的视频码流进行编码时的预测信息，对所述经过编码产生的视频码流进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

可选地，所述预测信息获取单元包括：

判断子单元，用于判断所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准是否相同；

确定子单元，用于如果相同，则将所述所经过的编码中的预测信息确定为对所述经过编码产生的视频码流进行编码时的预测信息。

可选地，所述确定子单元被配置为：

如果所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准不同，则：

根据所经过的编码中对所述视频码流进行帧内预测时确定的预测模式，确定对所述经过编码产生的视频码流进行编码时的预测模式；根据确定的预测模式对所述经过编码产生的视频码流进行帧内预测，以确定对所述经过编码产生的视频码流进行编码时的预测信息；

或者，

根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差；根据确定的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的预测信息。

可选地，所述确定子单元进一步被配置为：

根据所经过的编码中对所述视频码流进行帧间预测时产生的运动矢量偏差以及对所述复合视频流进行编码时视频编码标准对应的运动补偿的分数像素精度，计算对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

可选地，所述确定子单元进一步被配置为：

将计算得到的对所述经过编码产生的视频码流进行编码时的运动矢量偏差作为运动搜索的基准点，对所述经过编码产生的视频码流重新进行运动搜索，以获取对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，本申请的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

虽然前面特别示出并且描述了示例性实施例，但是本领域技术人员将会理解的是，在不背离权利要求书的精神和范围的情况下，在其形式和细节方面可以有所变化。

Claims (24)

1.一种多路视频流的编码方法，其特征在于，该编码方法包括以下步骤：

在发送方本地获取待编码的多路视频流；

根据所述多路视频流的解析度和预定的布局格式对所述多路视频流代表的视频在本地进行合成，以生成代表合成后的视频的一路复合视频流；

在本地对所述复合视频流进行编码，以生成一路视频码流；

对所述多路视频流代表的视频进行合成的步骤包括：

根据所述多路视频流的解析度和预定的布局格式，确定所述多路视频流代表的视频的合成点位置；根据确定的合成点位置对所述多路视频流代表的视频进行合成处理，以生成所述一路复合视频流；所述预定的布局格式为画中画格式，

所述根据所述多路视频流的解析度和预定的布局格式，确定所述多路视频流代表的视频的合成点位置的步骤包括：

将所述多路视频流中解析度最大的视频流代表的视频作为画中画的外视频，将所述多路视频流中其余视频流代表的视频作为画中画的内视频。

2.根据权利要求1所述的编码方法，其中，所述合成点位置相对于画中画的外视频的顶点或背景的顶点的坐标是基本编码单元的正整数倍。

3.根据权利要求1所述的编码方法，其中所述根据确定的合成点位置对所述多路视频流代表的视频进行合成处理，以生成所述一路复合视频流的步骤还包括：

记录每个内视频与所述外视频的叠加区域在所述外视频上的区域坐标以及对应的编码宏块索引表，以在所述一路复合视频流中传输。

4.根据权利要求1所述的编码方法，其中，所述对所述复合视频流进行编码的步骤包括：

对于所述一路复合视频流代表的视频中外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧间预测的运动搜索范围小于等于所述叠加区域、预测编码中采用的帧内预测的预测来源在所述叠加区域内。

5.根据权利要求1所述的编码方法，其中，所述多路视频流中包含未经编码的视频信号。

6.根据权利要求5所述的编码方法，其中，所述对所述复合视频流进行编码，以生成一路视频码流的步骤包括：

对于所述复合视频流中未经编码的视频信号进行预测，得到对所述未经编码的视频信号进行编码的预测信息；

基于得到的预测信息，对所述未经编码的视频信号进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

7.根据权利要求1所述的编码方法，其中，所述多路视频流中包含经过编码产生的视频码流。

8.根据权利要求7所述的编码方法，其中，所述对所述复合视频流进行编码，以生成一路视频码流的步骤包括：

对于所述复合视频流中经过编码产生的视频码流进行语义解析，以获取所述经过编码产生的视频码流所经过的编码中的预测信息；

根据所述所经过的编码中的预测信息，获取对所述经过编码产生的视频码流进行编码时的预测信息；

基于获取的对所述经过编码产生的视频码流进行编码时的预测信息，对所述经过编码产生的视频码流进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

9.根据权利要求8所述的编码方法，其中，所述根据所述所经过的编码中的预测信息，获取对所述经过编码产生的视频码流进行编码时的预测信息的步骤包括：

判断所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准是否相同；

如果相同，则将所述所经过的编码中的预测信息确定为对所述经过编码产生的视频码流进行编码时的预测信息。

10.根据权利要求9所述的编码方法，如果所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准不同，则：

根据所经过的编码中对所述视频码流进行帧内预测时确定的预测模式，确定对所述经过编码产生的视频码流进行编码时的预测模式；根据确定的预测模式对所述经过编码产生的视频码流进行帧内预测，以确定对所述经过编码产生的视频码流进行编码时的预测信息；

或者

根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差；根据确定的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的预测信息。

11.根据权利要求10所述的编码方法，其中，根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差的步骤包括：

根据所经过的编码中对所述视频码流进行帧间预测时产生的运动矢量偏差以及对所述复合视频流进行编码时视频编码标准对应的运动补偿的分数像素精度，计算对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

12.根据权利要求11所述的编码方法，其中，根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差的步骤进一步包括：

将计算得到的对所述经过编码产生的视频码流进行编码时的运动矢量偏差作为运动搜索的基准点，对所述经过编码产生的视频码流重新进行运动搜索，以获取对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

13.一种多路视频流的编码装置，其中，该编码装置包括：

获取单元，用于在发送方本地获取待编码的多路视频流；

合成单元，用于根据所述多路视频流的解析度和预定的布局格式对所述多路视频流代表的视频在本地进行合成，以生成代表合成后的视频的一路复合视频流；

编码单元，用于在本地对所述复合视频流进行编码，以生成一路视频码流；

其中，所述合成单元包括：

合成点位置确定单元，用于根据所述多路视频流的解析度和预定的布局格式，确定所述多路视频流代表的视频的合成点位置；

合成处理单元，用于根据确定的合成点位置对所述多路视频流代表的视频进行合成处理，以生成所述一路复合视频流；

其中，所述预定的布局格式为画中画格式，所述合成点位置确定单元被配置为：

将所述多路视频流中解析度最大的视频流代表的视频作为画中画的外视频，将所述多路视频流中其余视频流代表的视频作为画中画的内视频。

14.根据权利要求13所述的编码装置，其中，所述合成点位置相对于画中画的外视频的顶点或背景的顶点的坐标是基本编码单元的正整数倍。

15.根据权利要求13所述的编码装置，其中，所述合成处理单元被配置为：

记录每个内视频与所述外视频的叠加区域在所述外视频上的区域坐标以及对应的编码宏块索引表，以在所述一路复合视频流中传输。

16.根据权利要求13所述的编码装置，其中，所述编码单元被配置为：

对于所述一路复合视频流代表的视频中外视频与内视频的叠加区域的视频流的预测编码，预测编码中采用的帧间预测的运动搜索范围小于等于所述叠加区域、预测编码中采用的帧内预测的预测来源在所述叠加区域内。

17.根据权利要求13所述的编码装置，其中，所述多路视频流中包含未经编码的视频信号。

18.根据权利要求17所述的编码装置，其中，所述编码单元包括：

预测单元，用于对于所述复合视频流中未经编码的视频信号进行预测，得到对所述未经编码的视频信号进行编码的预测信息；

编码处理单元，用于基于得到的预测信息，对所述未经编码的视频信号进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

19.根据权利要求13所述的编码装置，其中，所述多路视频流中包含经过编码产生的视频码流。

20.根据权利要求19所述的编码装置，其中，所述编码单元包括：

语义解析单元，用于对于所述复合视频流中经过编码产生的视频码流进行语义解析，以获取所述经过编码产生的视频码流所经过的编码中的预测信息；

预测信息获取单元，用于根据所述所经过的编码中的预测信息，获取对所述经过编码产生的视频码流进行编码时的预测信息；

编码处理单元，用于基于获取的对所述经过编码产生的视频码流进行编码时的预测信息，对所述经过编码产生的视频码流进行编码处理；

其中，所述预测信息包括：帧内预测得到的预测模式以及残差数据和/或帧间预测得到的参考帧索引、宏块划分方式、运动矢量、以及残差数据。

21.根据权利要求20所述的编码装置，其中，所述预测信息获取单元包括：

判断子单元，用于判断所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准是否相同；

确定子单元，用于如果相同，则将所述所经过的编码中的预测信息确定为对所述经过编码产生的视频码流进行编码时的预测信息。

22.根据权利要求21所述的编码装置，所述确定子单元被配置为：

如果所述所经过的编码所采用的视频编码标准与对所述复合视频流进行编码时的视频编码标准不同，则：

根据所经过的编码中对所述视频码流进行帧内预测时确定的预测模式，确定对所述经过编码产生的视频码流进行编码时的预测模式；根据确定的预测模式对所述经过编码产生的视频码流进行帧内预测，以确定对所述经过编码产生的视频码流进行编码时的预测信息；

或者，

根据所经过的编码中对所述视频码流进行帧间预测时得到的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的运动矢量偏差；根据确定的运动矢量偏差，确定对所述经过编码产生的视频码流进行编码时的预测信息。

23.根据权利要求22所述的编码装置，其中，所述确定子单元进一步被配置为：

根据所经过的编码中对所述视频码流进行帧间预测时产生的运动矢量偏差以及对所述复合视频流进行编码时视频编码标准对应的运动补偿的分数像素精度，计算对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

24.根据权利要求23所述的编码装置，其中，所述确定子单元进一步被配置为：

将计算得到的对所述经过编码产生的视频码流进行编码时的运动矢量偏差作为运动搜索的基准点，对所述经过编码产生的视频码流重新进行运动搜索，以获取对所述经过编码产生的视频码流进行编码时的运动矢量偏差。

Images