CN104506866A - 一种适用于多码流的视频编码处理方法和视频编码器 - Google Patents

Abstract

本发明实施例提供了一种适用于多码流的视频编码处理方法和一种视频编码器，其中的方法包括：选取所述多码流中之一，作为参考码流；按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；其中，在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型，将其记录在日志中；按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；其中，在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型，并按照所读取的帧类型进行所述其它码流的视频编码。本发明实施例能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

Description

一种适用于多码流的视频编码处理方法和视频编码器

技术领域

本发明涉及视频编码技术领域，特别是涉及一种适用于多码流的视频编码处理方法和一种视频编码器。

背景技术

随着网络及通信技术的发展，网络视频不断普及，成为人们娱乐生活的重要组成部分。然而，各种数据服务提供的带宽及其稳定性不同，为满足用户在不同网络条件能够流畅观看视频，网络视频提供商能够提供多种码率、分辨率的码流；这样，在服务器带宽或网络信号出现波动时，可以在不同码流之间进行切换。

在实际中，码流之间切换只能在I帧(关键帧)位置进行切换，以A码流向B码流切割为例，A码流发生切换时关键帧位置为T1，若A、B码流关键帧未对齐，则B在T1位置不是I帧，假设B码流中距离T1最近的I帧的位置T2，若T1<T2，则发生切换时会出现跳播现象；反之，若T1>T2，则发生切换时会出现重播现象。

现有的对于切换跳播或重播的解决方法是对网络视频以固定GOP(图像组，Group of Pictures)长度的方式进行编码。GOP结构将视频帧分为I帧、P帧和B帧三种，一般来说，GOP长度表示两个I帧之间的帧数量。

然而，在实际应用中，当场景变化较小时，视频序列的各个帧之间的时域相关性较强，而由于B帧具有参考前后画面的特性，因此，可以采用较多的B帧以取得比较好的编码效率，这意味着需要采用较长的GOP结构反之，场景变换较剧烈时，前后场景相关性较弱，可采用较少的B帧。综上，采用固定GOP长度，会降低视频编码效率。

发明内容

本发明实施例所要解决的技术问题是提供一种适用于多码流的视频编码处理方法，能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

相应的，本发明实施例还提供了一种视频编码器，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种适用于多码流的视频编码处理方法，包括：

选取所述多码流中之一，作为参考码流；

按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；其中，在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型，将其记录在日志中，并依据所述帧类型进行所述参考码流的视频编码处理；

按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；其中，在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型，并按照所读取的帧类型进行所述其它码流的视频编码。

优选的，所述确定所述源视频帧序列的帧类型的步骤，包括：

依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

优选的，所述日志中记录的帧类型信息包括：所述源视频帧序列中数据帧的显示序号及对应的帧类型。

优选的，所述编码参数包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

另一方面，本发明还公开了一种视频编码器，包括：

选取单元，用于选取所述多码流中之一，作为参考码流；

第一编码单元，用于按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；及

第二编码单元，用于按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；

其中，所述第一编码单元，包括：

确定模块，用于在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型；

记录模块，用于将所述帧类型记录在日志中；及

第一编码模块，用于依据所述帧类型进行所述参考码流的视频编码处理；

所述第二编码单元，包括：

读取模块，用于在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型；及

第二编码模块，用于按照所读取的帧类型进行所述其它码流的视频编码。

优选的，所述确定模块，具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

优选的，所述日志中记录的帧类型信息包括：所述源视频帧序列中数据帧的显示序号及对应的帧类型。

优选的，所述编码参数包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例中，首先对一参考码流进行视频编码处理，并在参考码流的视频编码处理过程中将所确定的帧类型记录在日志中；这样，随后的其它码流的视频编码处理过程中，无需进行帧类型的确定，复用日志中记录的帧类型即可实现视频编码处理；

由于其它码流的视频编码处理中复用了日志中记录的参考码流所使用的帧类型，故能够保证所有码流所使用帧类型的一致性，从而可以保证各码流关键帧是对齐的，解决了在各码流间切换时出现重播或跳播的问题；并且，在确定参考码流所使用帧类型时能够依据视频帧序列各帧之间时域相关性获得最优的GOP长度，这相对于现有方案所使用的固定GOP长度，所述最优的GOP长度更能够符合视频画面的场景相关性，因此能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

附图说明

图1是本发明的一种适用于多码流的视频编码处理方法实施例的步骤流程图；

图2是本发明实施例一种进行参考码流A的视频编码处理流程图；

图3是本发明实施例一种进行其它码流B的视频编码处理流程图；

图4是本发明的一种视频编码器实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种适用于多码流的视频编码处理方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101、选取所述多码流中之一，作为参考码流；

本发明实施例中可以应用于优酷、乐视网等网络视频提供商中，也可以应用于各种编码器，用于将多个码流的关键帧对齐，为多个码流的平滑切换提供了前提条件，避免切换时重播、跳播，可以提高用户观看体验；并且，还能够避免现有方案中采用固定GOP长度导致视频编码效率低的问题。

本发明实施例中，首先对一参考码流进行视频编码处理，并在参考码流的视频编码处理过程中将所确定的帧类型记录在日志中；这样，随后的其它码流的视频编码处理过程中，无需进行帧类型的确定，复用日志中记录的帧类型即可实现视频编码处理。

在实际应用中，可以随机选取所述参考码流，也可以按照码率或者分辨率选取所述参考码流，例如，选取码率最大、最小或者适中的参考码流等等，本发明实施例对具体的参考码流及其选取方式不加以限制。

步骤102、按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；其中，在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型，将其记录在日志中，并依据所述帧类型进行所述参考码流的视频编码处理；

在本发明的一种应用示例中，所述编码参数具体可以包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

其中，码率是指视频帧传输时单位时间传送的数据位数，一般用单位kbps即千位每秒来表示；码率与视频帧图像的体积和质量成正比，通常码率越大，体积越大，视频越清晰；码率越小，体积越小，视频越模糊；

分辨率是指视频帧图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(像素每英寸，Pixels Per Inch)；通常分辨率与图像尺寸大小成正比，分辨率越高，图像尺寸越大；分辨率越低，图像尺寸越小。

帧率就是在每秒传输的画面的帧数；帧率影响画面流畅度，与画面流畅度成正比，帧率越大，画面越流畅；帧率越小，画面越有跳动感。

在实际应用中，各码流要求的码率和分辨率不同，能够使得编码得到的各码流可以满足不同网络带宽以及客户端性能对视频质量的需求；而相同的帧率可以保证编码得到的各码流的关键帧对齐，避免在各码流间切换时出现重播或跳播的现象。

在本发明的一种优选实施例中，所述确定所述源视频帧序列的帧类型的步骤，具体可以包括：依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

在本发明的一种应用示例中，所述依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息的过程具体可以包括：

步骤1、首先对所述源视频帧序列进行分组，把几帧图像分为一组(GOP)，为防止运动变化，GOP长度不宜取多，并且，GOP长度可以依据所述视频帧序列各帧之间时域相关性得到；

步骤2、定义帧类型；将每个GOP组内各帧图像定义为三种类型：即I帧、B帧和P帧，具体可以根据综合每个GOP组的各帧之间时域相关性，及I帧、B帧和P帧的特点定义帧类型；

参照表1、表2和表3分别示出了I帧、B帧和P帧的特点。

表1

表2

表3

依据上述I帧、B帧和P帧的特点，可以看出，本领域技术人员可以依据所述视频帧序列各帧之间时域相关性确定合适的GOP长度，进一步，可以依据GOP长度确定I帧，再进一步，可以严格按照压缩算法的规定顺序排列I帧之后的B帧和P帧。

在本发明的另一种应用示例中，可以根据预设的帧计数规则来设定帧类型。例如，所述预定帧计数规则可以为：每个GOP组中I帧编号为1，第一个P帧编号为2，编号3M+1(M＝1,2,3….)的帧为增强P帧等等，也就是说视频帧的编号可以作为确定视频帧的依据。

在本发明的又一种应用示例中，I帧编码的基本流程可以为：

步骤A1、进行帧内预测，决定所采用的帧内预测模式；

步骤A2、像素值减去预测值，得到残差；

步骤A3、对残差进行变换和量化；

步骤A4、变长编码和算术编码；重构图像并滤波，得到的I帧编码图像作为其它帧的参考帧。

在本发明的再一种应用示例中，P帧和B帧编码的基本流程可以为：

步骤B1、进行运动估计，计算采用帧间编码模式的率失真函数(节)值；P帧只参考前面的帧，B帧可参考后面的帧；

步骤B2、进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定采用哪种编码模式；

步骤B3、计算实际值和预测值的差值；

步骤B4、对残差进行变换和量化；

步骤B5、熵编码，如果是帧间编码模式，编码运动矢量.

当然上述基本流程只是作为示例，本发明实施例对具体的I帧、B帧和P帧的编码流程不加以限制。

步骤103、按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；其中，在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型，并按照所读取的帧类型进行所述其它码流的视频编码。

在本发明的一种应用示例中，所述日志中记录的帧类型信息具体可以包括：所述源视频帧序列中数据帧的编码序号及对应的帧类型。则在其它码流的视频编码处理过程中，可以从日志中读取每一帧的帧类型信息，并进行如下操作：从输入的源视频帧序列将上述编码序号对应的每一帧的数据送给编码器单元，并按照相应的帧类型进行编码。依次操作直至完成全部源视频帧序列的编码。

综上，本发明实施例中，首先对一参考码流进行视频编码处理，并在参考码流的视频编码处理过程中将所确定的帧类型记录在日志中；这样，随后的其它码流的视频编码处理过程中，无需进行帧类型的确定，复用日志中记录的帧类型即可实现视频编码处理；

由于其它码流的视频编码处理中复用了日志中记录的参考码流所使用的帧类型，故能够保证所有码流所使用帧类型的一致性，从而可以保证各码流关键帧是对齐的，解决了在各码流间切换时出现重播或跳播的问题；并且，在确定参考码流所使用帧类型时能够依据视频帧序列各帧之间时域相关性获得最优的GOP长度，这相对于现有方案所使用的固定GOP长度，所述最优的GOP长度更能够符合视频画面的场景变换，因此能够避免现有方案中采用固定GOP长度导致的视频编码效率低的问题。

为使本领域技术人员更好地理解本发明实施例，下面以2个码流为例，说明适用于多码流的视频编码处理过程。

该示例涉及，将源视频帧序列S编码为2个不同版本的码流，分别用A和B来表示，其中，A和B的分辨率和码率各不相同。

本发明实施例中，可以首先进行A的视频编码处理。例如，参照图2，示出了本发明实施例一种进行参考码流A的视频编码处理流程图，其可以首先确定帧类型，再依据确定的帧类型进行A的视频编码处理，从而实现各GOP组中各帧的编码。最重要的是，本发明还可以将A所使用的每一帧的帧类型信息记录在日志中；例如，在本发明的一种应用示例中，显示序号记录display_num以及其对应的帧类型frame_type记录在日志中，记录形式可以表示为(display_num,frame_type)，简化为(d,type)，其中，frame_type的标识代表的帧类型具体可以包括：I帧、B帧、P帧等等。

在完成对A码流的视频编码处理后，可以进行B的视频编码处理。例如，参照图3，示出了本发明实施例一种进行其它码流B的视频编码处理流程图，其中，在进行B的视频编码处理过程中无需确定帧类型，而是从日志中读取码流A所使用的帧类型信息，并按照码率A所使用的帧类型信息进行B的视频编码处理。具体地，可以读取每一帧的(d,type)信息，并执行如下操作：从源视频帧序列S中将第d帧数据送给编码器单元，并按照type的标识的帧类型进行编码，依次操作直至完成全部源视频帧序列S的编码。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图4，示出了本发明的一种视频编码器实施例的结构框图，具体可以包括：

选取单元401，用于选取所述多码流中之一，作为参考码流；

第一编码单元402，用于按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；及

第二编码单元403，用于按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；

其中，所述第一编码单元402，具体可以包括：

确定模块421，用于在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型；

记录模块422，用于将所述帧类型记录在日志中；及

第一编码模块423，用于依据所述帧类型进行所述参考码流的视频编码处理；

所述第二编码单元403，包括：

读取模块431，用于在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型；及

第二编码模块432，用于按照所读取的帧类型进行所述其它码流的视频编码。

在本发明的一种优选实施例中，所述确定模块421，可具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

在本发明的另一种优选实施例中，所述日志中记录的帧类型信息具体可以包括：所述源视频帧序列中数据帧的显示序号及对应的帧类型。

在本发明的再一种优选实施例中，所述编码参数具体可以包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

在本发明实施例中，优选的是，在所述参考码流或其它码流要求的第一分辨率小于所述源视频帧序列对应的第二分辨率时，所述第一编码单元402或第二编码单元403具体可以包括：

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种适用于多码流的视频编码处理方法和一种视频编码器，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种适用于多码流的视频编码处理方法，其特征在于，包括：

选取所述多码流中之一，作为参考码流；

按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；其中，在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型，将其记录在日志中，并依据所述帧类型进行所述参考码流的视频编码处理；

按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；其中，在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型，并按照所读取的帧类型进行所述其它码流的视频编码。

2.根据权利要求1所述的方法，其特征在于，所述确定所述源视频帧序列的帧类型的步骤，包括：

依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

3.根据权利要求1所述的方法，其特征在于，所述日志中记录的帧类型信息包括：所述源视频帧序列中数据帧的显示序号及对应的帧类型。

4.如权利要求1所述的方法，其特征在于，所述编码参数包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。

5.一种视频编码器，其特征在于，包括：

选取单元，用于选取所述多码流中之一，作为参考码流；

第一编码单元，用于按照所述参考码流的编码参数条件对源视频帧序列进行视频编码处理，得到所述参考码流；及

第二编码单元，用于按照所述多码流中除参考码流之外其它码流的编码参数条件对所述源视频帧序列进行视频编码处理，得到其它码流；

其中，所述第一编码单元，包括：

确定模块，用于在所述参考码流的视频编码处理过程中，确定所述源视频帧序列的帧类型；

记录模块，用于将所述帧类型记录在日志中；及

第一编码模块，用于依据所述帧类型进行所述参考码流的视频编码处理；

所述第二编码单元，包括：

读取模块，用于在所述其它码流的视频编码处理过程中，从所述日志中读取所述帧类型；及

第二编码模块，用于按照所读取的帧类型进行所述其它码流的视频编码。

6.根据权利要求5所述的视频编码器，其特征在于，所述确定模块，具体用于依据所述视频帧序列各帧之间时域相关性，确定所述视频帧序列对应的图像组GOP信息。

7.根据权利要求5所述的视频编码器，其特征在于，所述日志中记录的帧类型信息包括：所述源视频帧序列中数据帧的显示序号及对应的帧类型。

8.如权利要求5所述的视频编码器，其特征在于，所述编码参数包括：码率、分辨率和帧率；其中，所述多码流中的各码流要求的码率和分辨率不同，要求的帧率相同。