CN104506870A - 一种适用于多码流的视频编码处理方法和装置 - Google Patents

Abstract

本发明实施例提供了一种适用于多码流的视频编码处理方法和装置，其中的方法并行进行各码流的视频编码处理，其中，每个码流的视频编码处理过程包括：对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；确定所述视频帧序列的帧类型；根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。本发明实施例能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

Description

一种适用于多码流的视频编码处理方法和装置

技术领域

本发明涉及视频编码技术领域，特别是涉及一种适用于多码流的视频编码处理方法和装置。

背景技术

随着网络及通信技术的发展，网络视频不断普及，成为人们娱乐生活的重要组成部分。然而，网络视频的播放效果和实际的网络带宽密切相关。用户实际使用的网络带宽是动态变化的，不仅取决于运营商提供给用户的接入带宽、骨干带宽和用户所访问的内容提供商的带宽，还与用户所在地区、用户电脑性能等有很大关系。

因此，为了满足用户在不同网络带宽条件下流畅地观看网络视频的需求，一些网络视频提供商能够提供多种码率、分辨率的码流，并且在服务器带宽或网络信号出现波动时，可以在不同码流之间进行切换。然而，当进行切换的两个码流的关键帧位置不同时，会在切换时出现重播或跳播的现象，影响观看体验。

现有的对于切换重播或跳播的解决方法是对网络视频以固定GOP(图像组，Group of Pictures)长度的方式进行编码。GOP结构将视频帧分为I帧、P帧和B帧三种，其中，I帧是关键帧，P帧是前向预测帧，B帧是双向内插帧。一般来说，GOP长度表示两个I帧之间的帧数量。

在实际应用中，当场景变化较小时，视频序列的各个帧之间的时域相关性较强，而由于B帧具有参考前后画面的特性，因此，可以采用较多的B帧以取得比较好的编码效率，这意味着需要采用较长的GOP结构反之，场景变换较剧烈时，前后场景相关性较弱，可采用较少的B帧。综上，采用固定GOP长度，容易降低视频编码效率。

发明内容

本发明实施例所要解决的技术问题是提供一种适用于多码流的视频编码处理方法，能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

相应的，本发明实施例还提供了一种适用于多码流的视频编码处理装置，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种适用于多码流的视频编码处理方法，其并行进行各码流的视频编码处理，其中，每个码流的视频编码处理过程包括：

对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

确定所述视频帧序列的帧类型；

根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

优选的，所述确定所述视频帧序列的帧类型的步骤，包括：

依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

优选的，所述编码参数包括：码率、分辨率和帧率；

其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

另一方面，本发明还公开了一种适用于多码流的视频编码处理装置，其用于并行进行各码流的视频编码处理，其中，每个码流的视频编码处理装置包括：

下采样模块，用于对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

帧类型确定模块，用于确定所述视频帧序列的帧类型；以及

编码模块，用于根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

优选的，所述帧类型确定模块，具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

优选的，所述编码参数包括：码率、分辨率和帧率；

其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例在将同一源视频编码为多个不同码流时，各个码流的视频编码处理可以并行进行，其中，每个码流的视频编码处理过程具体可以包括：首先对源视频进行下采样，得到预置分辨率的视频帧序列，再确定该视频帧序列的帧类型，最后将源视频依据该帧类型编码成不同的码流；

首先，由于各码流的编码处理中采用了相同的预置分辨率，故能够保证所使用视频帧序列和帧类型的一致性，从而可以保证各码流关键帧是对齐的，因此能够解决在各码流间切换时出现重播或跳播的问题；

其次，在编码成多码流的过程中，各个码流之间无需参考，编码过程可以并发进行，这提高了编码效率；

再者，在确定帧类型时能够依据视频帧序列各帧之间时域相关性获得最优的GOP长度，这相对于现有方案所使用的固定GOP长度，所述最优的GOP长度更能够更能够符合视频画面的场景相关性，因此能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

附图说明

图1是本发明的一种适用于多码流的视频编码处理方法实施例的步骤流程图；

图2是本发明实施例一种码流A的视频编码处理流程图；

图3是本发明实施例一种码流B的视频编码处理流程图；

图4是本发明的一种适用于多码流的视频编码处理装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种适用于多码流的视频编码处理方法实施例的步骤流程图，所述方法可以并行进行各码流的视频编码处理以实现多码流间的平滑切换，具体可以包括如下步骤：

步骤101、对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

本发明在将同一源视频编码为多个不同码流时，各个码流的视频编码处理可以并行进行，且各个码流的视频编码处理之间不涉及信息的交互。

一方面，各码流的视频编码过程中所使用的下采样的预置分辨率是相同的，这能够保证各码流的视频编码处理过程中使用相同的视频帧序列确定帧类型，从而能够保证帧类型的一致性。

另一方面，源视频通常具有较高的分辨率和码率，也即具备较高的画面质量。这样，如果直接依据源视频对应视频帧序列确定帧类型，容易增加编码的复杂度以及存储空间，因此，本发明首先对源视频进行下采样，还可以减少帧类型判定的时间。

在本发明的一种可选实施例中，所述预置分辨率可以小于所述多码流中的各码流要求的分辨率。在本发明的一种应用示例中，假设需要将源视频S编码为两个不同的码流A和B，则需要分别在码流A和码流B的视频编码处理过程中，将源视频S按照预置分辨率(w，h)进行下采样，得到视频帧序列D。其中，源视频分辨率为(w0，h0)，码流A要求的分辨率为(w1，h1)，码流B要求的分辨率为(w2，h2)，则，

w<＝w0 and w<＝w1 and w<＝w2；

h<＝h0 and h<＝h1 and h<＝h2；

w与h的值越小，所需要计算的复杂度就越小，在具体实施时，可以根据实际情况设置适当的预置分辨率。

当然，本领域技术人员可以根据实际需求采用其它预置分辨率，本发明实施例对具体的预置分辨率不加以限制。

步骤102、确定所述视频帧序列的帧类型；

在具体应用中，本步骤具体可以包括：依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

在本发明的一种应用示例中，可以使用AGS(自适应图像组结构，Adaptive Gop Structure)根据视频帧序列的时域特性自适应的调整GOP结构。例如，一个全尺寸GOP长度为16帧，当进行带有AGS的MCTF(基于运动补偿时域滤波，Motion-compensated temporal filtering)时，GOP组结构可以是任意的子GOP结构的组合，其中任意子GOP结构大小为16、8、4或2。在AGS算法中，需要进行所有可能GOP结构的MCTF操作，然后根据最小MSE(均方误差，Mean Squared Error)准则来得到最优的GOP组结构。

在本发明的另一种应用示例中，所述依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息的过程具体可以包括：

步骤1、首先对所述源视频帧序列进行分组，把几帧图像分为一组(GOP)，为防止运动变化，GOP长度不宜取多，并且，GOP长度可以依据所述视频帧序列各帧之间时域相关性得到；

步骤2、定义帧类型；将每个GOP组内各帧图像定义为三种类型：即I帧、B帧和P帧，具体可以根据综合每个GOP组的各帧之间时域相关性，及I帧、B帧和P帧的特点定义帧类型；

参照表1、表2和表3分别示出了I帧、B帧和P帧的特点。

表1

表2

表3

依据上述I帧、B帧和P帧的特点，可以看出，本领域技术人员可以依据所述视频帧序列各帧之间时域相关性确定合适的GOP长度，进一步，可以依据GOP长度确定I帧，再进一步，可以严格按照压缩算法的规定顺序排列I帧之后的B帧和P帧。

在本发明的另一种应用示例中，可以根据预设的帧计数规则来设定帧类型。例如，所述预定帧计数规则可以为：每个GOP组中I帧编号为1，第一个P帧编号为2，编号3M+1(M＝1,2,3….)的帧为增强P帧等等，也就是说视频帧的编号可以作为确定视频帧的依据。

在本发明的又一种应用示例中，I帧编码的基本流程可以为：

步骤A1、进行帧内预测，决定所采用的帧内预测模式；

步骤A2、像素值减去预测值，得到残差；

步骤A3、对残差进行变换和量化；

步骤A4、变长编码和算术编码；重构图像并滤波，得到的I帧编码图像作为其它帧的参考帧。

在本发明的再一种应用示例中，P帧和B帧编码的基本流程可以为：

步骤B1、进行运动估计，计算采用帧间编码模式的率失真函数(节)值；P帧只参考前面的帧，B帧可参考后面的帧；

步骤B2、进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定采用哪种编码模式；

步骤B3、计算实际值和预测值的差值；

步骤B4、对残差进行变换和量化；

步骤B5、熵编码，如果是帧间编码模式，编码运动矢量.

当然上述基本流程只是作为示例，本发明实施例对具体的I帧、B帧和P帧的编码流程不加以限制。

步骤103、根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

在本发明的一种应用示例中，所述编码参数具体可以包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

其中，码率是指视频帧传输时单位时间传送的数据位数，一般用单位kbps即千位每秒来表示；码率与视频帧图像的体积和质量成正比，通常码率越大，体积越大，视频越清晰；码率越小，体积越小，视频越模糊；

分辨率是指视频帧图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(像素每英寸，Pixels Per Inch)；通常分辨率与图像尺寸大小成正比，分辨率越高，图像尺寸越大；分辨率越低，图像尺寸越小。

帧率就是在每秒传输的画面的帧数；帧率影响画面流畅度，与画面流畅度成正比，帧率越大，画面越流畅；帧率越小，画面越有跳动感。

综上，本发明实施例中，首先对源视频进行下采样，得到预置分辨率的视频帧序列，再确定该视频帧序列的帧类型，最后将源视频依据该帧类型编码成不同的码流，由于各码流的编码处理中采用了相同的预置分辨率，故能够保证所使用帧类型的一致性，从而可以保证各码流关键帧是对齐的，解决了在各码流间切换时出现重播或跳播的问题；并且，编码成多码流的过程中，各个码流之间无需参考，编码过程可以并发进行，这提高了编码效率；此外，在确定帧类型时能够依据视频帧序列各帧之间时域相关性获得最优的GOP长度，这相对于现有方案所使用的固定GOP长度，所述最优的GOP长度更能够符合视频画面的场景变换，因此能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

为使本领域技术人员更好地理解本发明实施例，下面以2个码流为例，说明适用于多码流的视频编码处理过程。

该示例涉及，将源视频S编码为2个不同版本的码流，分别用A和B来表示，其中，A和B的分辨率和码率各不相同；假设源视频S的分辨率为(1920，1080)，码流A要求的分辨率为(1280，800)，码流B要求的分辨率为(640，480)，那么本发明实施例可以并行执行码流A和码流B的视频编码处理过程：

参照图2，示出了本发明实施例一种码流A的视频编码处理流程图，其可以首先将源视频S按照预置分辨率(720，576)进行下采样，得到视频帧序列D，也即视频帧序列D的分辨率为(720，576)；然后确定所述视频帧序列D的帧类型；最后根据所述视频帧序列D的帧类型将所述源视频编码为符合A的编码参数条件的码流A。

参照图3，示出了本发明实施例一种码流B的视频编码处理流程图，其可以首先将源视频S按照预置分辨率(720，576)进行下采样，得到视频帧序列D，也即视频帧序列D的分辨率为(720，576)；然后确定所述视频帧序列D的帧类型；最后根据所述视频帧序列D的帧类型将所述源视频编码为符合B的编码参数条件的码流B。

可以看出，上述将源视频S编码为码流A和码流B的过程都是依据视频帧序列D的帧类型，而码流A和码流B之间无需交互，故可以并行进行编码。

参照图4，示出了本发明的一种适用于多码流的视频编码处理装置实施例的结构框图，所述装置可用于并行进行各码流的视频编码处理，具体可以包括如下模块：

下采样模块410，用于对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

帧类型确定模块420，用于确定所述视频帧序列的帧类型；

编码模块430，用于根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

在本发明的一种优选实施例中，所述帧类型确定模块420，可具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

在本发明的另一种优选实施例中，所述预置分辨率可以小于所述多码流中的各码流要求的分辨率。

在本发明的再一种优选实施例中，所述编码参数可以包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种适用于多码流的视频编码处理方法，及一种一种适用于多码流的视频编码处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种适用于多码流的视频编码处理方法，其特征在于，并行进行各码流的视频编码处理，其中，每个码流的视频编码处理过程包括：

对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

确定所述视频帧序列的帧类型；

根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

2.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧序列的帧类型的步骤，包括：

依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

3.如权利要求1所述的方法，其特征在于，所述编码参数包括：码率、分辨率和帧率；

其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

4.一种适用于多码流的视频编码处理装置，其特征在于，用于并行进行各码流的视频编码处理，其中，每个码流的视频编码处理装置包括：

下采样模块，用于对源视频进行下采样，得到预置分辨率的视频帧序列；其中，各码流的视频编码所使用的预置分辨率相同；

帧类型确定模块，用于确定所述视频帧序列的帧类型；以及

编码模块，用于根据所述视频帧序列的帧类型对所述源视频进行视频编码处理，得到符合编码参数条件的码流。

5.根据权利要求4所述的装置，其特征在于，所述帧类型确定模块，具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

6.如权利要求4所述的装置，其特征在于，所述编码参数包括：码率、分辨率和帧率；

其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。