CN102696226A

CN102696226A - 复用码流信息的h264转码方法

Info

Publication number: CN102696226A
Application number: CN2010800573484A
Authority: CN
Inventors: 冯涛; 张彦丁; 杨东
Original assignee: BEIJING GOLAND Tech CO Ltd
Current assignee: BEIJING GOLAND Tech CO Ltd
Priority date: 2010-12-31
Filing date: 2010-12-31
Publication date: 2012-09-26
Anticipated expiration: 2030-12-31
Also published as: JP2014504815A; EP2661079A1; CN102696226B; CA2817790A1; WO2012088649A1; US20130243099A1

Abstract

本发明公开了一种复用码流信息的H264转码方法，其特征在于，在编码之前，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的slice类型与原始码流一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。本发明在不牺牲太多视频画质的前提下，加快了编码速度，提高了编码效率。

Description

复用码流信息的 H264转码方法

技术领域

本发明涉及多媒体编码技术领域，特别涉及一种复用码流信息的 H264转码方法。

背景技术

随着网络共享及多媒体技术的发展，对视频进行备份，存储需求不断增加，这加速了转码技术的发展。而由于视频编码巨大的计算量，转码过程对硬件软件要求极高。一般的转码算法通过对原始视频流进行解码，然后重新编码的方式，由于编解码算法的复杂性，这种方式计算量太大，需要较长的计算时间。而由于现行的视频编解码标准都基于转码编码及运动补偿的基本框架，从原始码流中的运动矢量及宏块信息可以得到相关视频流的运动程度及图像细节等先验信息，如果在编码过程中加以利用可以在不牺牲太多画面质量的前提下大大提升再编码的速度。

目前主流的视频编码标准如 VC-1、 MPEG2、 MPEG4及 H26L等均基于变换编码，运动估计，熵编码的混合编码框架。现行的 H264码流转 H264码流的方法，先将原始码流中图像解码出 YUV图像序列，按照播放顺序传递给编码器，编码器逐幅图像分析，确定图像编码的 slice类型，然后对 slice中各个宏块的运动情况，细节复杂度进行分析，确定宏块的类型，运动矢量大小，然后进行编码。因为 H264标准的复杂性，如具有很多种宏块类型， Intra— 16x16有 4 种预测方式， Intra_4x4有 8中预测方式， Inter块的运动估计支持 1/4像素精度，需要大量插值运算等等，从诸多模式中选择最适合当前宏块的编码方式及寻找 Inter宏块最匹配的参考位置等等计算量负荷很大。

发明内容

(一）要解决的技术问题

本发明要解决的技术问题是：如何在不牺牲太多画质的前提下实现快速高效地转码。

(二）技术方案为解决上述技术问题，本发明提供了一种复用码流信息的 H264转码方法，在解码时，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的 slice类型与原始码流每帧或场的 slice—致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。

其中，所述编码器编码当前帧或场的 slice类型是与原始码流一致的步骤为：

S11 : 原始流输入 NAL;

S12: 判断 NAL的 nal_unit_type是否等于 5，若等于 5，则编码当前帧或场的所有 slice为 IDR slice; 若不等于 5，执行步骤 S13;

S 13：若原始码流的帧或场的 slice类型为 I slice，则编码当前帧或场的 slice 为 I slice, 若原始码流的帧或场的 slice类型为 P slice, 则编码当前帧或场的 slice为 P slice;若原始码流的帧或场的 slice类型为 B slice,则判断 nal_ref_idc 是否等于 0，若等于 0，则编码当前帧或场的 slice为 B slice, 若不等于 0，则编码当前帧或场的 slice为 B slice, 并将当前帧或场作为参考帧插入编码器的参考帧队列。

其中，所述复用原始流的宏块级码流信息包括步骤：

S21: 判断原始码流中是否存在错误，若有错误，则解码器解码当前宏块失败，解码器标记当前宏块错误，编码器使用原有的运动估计及预测模式选择算法对宏块进行分析，若没有错误，则执行步骤 S22;

S22: 若当前宏块为 intra宏块，则按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

S221 : 若当前宏块为 Intra— 4x4— DC、 Intra— 16x16— DC或 Intra— 8x8— DC的 DC预测方式，则编码当前宏块或块为对应的 DC预测方式；

S222 : 当前宏块其它的帧内预测方式，计算当前编码宏块及其块的 mbAddrA, mbAddrB, mbAddrC, 判断三者的 availa lity属性与原始码流对应位置相同，若不同，则去掉不可得方向的预测，均不可得使用 DC预测；

S23: 若当前宏块为 inter宏块，则宏块级信息复用包括以下步骤：

S231 : 宏块类型的处理，若原始流当前宏块为 P_SKIP, 则解码器标志其类型为 P— L0_16xl6，运动矢量为解码器中值预测的运动矢量，若为 B— SKIP, 则解码器标志其为 B— DIRECT类型，其它 inter类型保持不变输出给编码器；

S232: 解码器将保存的各个宏块的 8x8块的 ref_idx— k对应的参考帧的计数传递给编码器，编码器得到 8x8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧或场，如果存在将其作为参考帧继续执行步骤 S233, 否则使用编码器原有的运动估计过程对整个宏块进行估计；

S233: 复用 inter宏块中的运动信息；

S24: 输出编码后的宏块。

其中，所述步骤 S233中复用 inter宏块中的运动信息的方式为：将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其它方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧.，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素， 1/4像素搜索得到最终匹配位置；

直接复用原始流宏块的运动矢量，分块模式，参考帧索引及宏块类型，计算残差。

(三）有益效果

本发明通过对原始码流的帧或场级复用和宏块级复用，在不牺牲太多视频画质的前提下，加快了编码速度，提高了编码效率。

附图说明

图 1是 H264编码器编码基本框架图；

图 2是本发明实施例的一种复用码流信息的 H264转码方法中帧或场级复用时编码 slice类型流程图；

图 3是本发明实施例的一种复用码流信息的 H264转码方法中宏块级复用流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明在转换过程中，若转码输出与原始流图像序列分辨率不变，则使用原始码流中帧或场级， slice级及宏块级的先验信息，这些信息与视频序列的运动程度，细节精细度等图像固有属性相关，使用这些信息减少宏块级分析的时间，加速再次编码过程，并保持压缩效率损失不大。考虑叙述的简洁性，以下用帧代表帧及场两种方式。下面主要以 H264到 H264的转码为例，进一步说明本发明。

如图 1所示，为 H264编码器编码框架图，本发明的方法中对 ME ( motion estimate, 运动估计），即 inter宏块信息复用编码， intra预测选择和帧内预测部分码流信息复用编码，并且对解码器的帧索引进行了处理，其它各部分 MC (运动补偿）、 T ( DCT )及 Q (量化）等均按原来的编码方式编码。

在解码时，对原始码流解码出的帧计数，并用计数标记当前输出帧。在编码过程中，因为要复用原始码流的宏块级信息，所以编码器每帧图像的 slice 类型必须与原始码流一致，否则将无法复用 inter块的运动矢量等信息，编码器编码当前帧的 slice类型与原始码流一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。

编码器编码当前帧的 slice类型是与原始码流一致的步骤为如图 2所示，包括：

步骤 S201 , 原始流输入 NAL。

步骤 S202，判断 NAL的 nal_unit_type是否等于 5，若等于 5，则执行步骤 S203, 若不等于 5，则执行步骤 S204。

步骤 S203，编码当前帧的所有 slice为 IDR slice。

步骤 S204，判断原始码流的帧的 slice类型是否为 B slice, 若是，则执行步骤 S206, 若不是，则执行步骤 S205。

步骤 S205, 若原始码流的帧的 slice类型为 I slice, 则编码当前帧的 slice 为 I slice, 若原始码流的帧的 slice类型为 P slice, 则编码当前帧的 slice为 P slice。

步骤 S206, 判断 nal— ref_idc是否等于 0，若等于 0，则执行步骤 S208, 否则执行步骤 S207。

步骤 S207,编码当前帧的 slice为 B slice, 并将当前帧作为参考帧插入编码器的参考帧队列。

步骤 S208, 编码当前帧的 slice为 B slice.

编码器无法复用原始 h264 码流中调整参考帧序列排列顺序及参考帧序歹 'J 调整方式的 ref _pic_list_modification_flag_lx ， ad¾3tive_re^_pic— markingjnode— flag, memory— management— CQntrol—operaiion等相关信息 (参考文献： ITU-T H264 Advanced video coding for generic audiovisual services, 8.2.5.1 )，若编码 inter宏块时简单复用宏块级码流信息的 ref—idx— lx, 编码器所参考的帧并不是原始流相应宏块参考的帧，得到的并不是原始流中运动矢量的最佳匹配位置，所以对原始流解码出第一帧从 0进行计数，并用计数标记当前输出帧，同时宏块级在传递参考帧索引时需要做相应处理。

复用原始流的宏块级码流信息流程如图 3所示，包括：

步骤 S301 , 输入当前帧的宏块，即编码一帧时当前编码的宏块。

步骤 S302, 判断原始流中存在错误，若有错，则解码器解码当前宏块失败，解码器标记当前宏块错误，并执行步骤 S308,若没有错误，则步骤 S303。

步骤 S303，判断当前宏块类型，若为 intm宏块，则执行步骤 S304, 否则，执行步骤 S305。

步骤 S304，对当前宏块进行预处理，按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

若当前宏块为 Intra— 4x4— DC、 Intra— 16x 16— DC或 Intra— 8x8— DC的 DC预测方式，则编码当前宏块或块为对应的 DC预测方式。这需要根据编码器当前帧 slice的划分釆用标准（参考文献： ITU-T H264 Advanced video coding for generic audiovisual services， 8.3.2.2.4 ) 3种方式计算预测值。

当前宏块其它的帧内预测方式，计算当前编码宏块及其块的 mbAddrA, mbAddrB, mbAddrC, 判断三者的 availability属性与原始码流对应位置相同，若不同，则去掉不可得（availiable )方向的预测，均不可得使用 DC预测。

步骤 S305 , 此时宏块为 inter宏块，处理 inter宏块类型，若原始码流当前宏块为 P— SKIP, 则解码器标志其类型为 P_L0_16xl6，运动矢量为解码器中值预测的运动矢量，若为 B— SKIP, 则解码器标志其为 B_DIRECT类型，其它 inter类型保持不变输出给编码器。

步骤 S306, 解码器将保存各个宏块的 8x8块的 ref— idx_lx对应的参考帧的计数传递给编码器。编码器端得到 8x8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧，如果存在将其作为参考帧继续执行步骤 S307，若不存在，则使用编码器原有的运动估计过程对整个宏块（inter宏块）进行估计，即步骤 S308。

步骤 S307，复用 inter宏块中的运动信息。复用 inter宏块中的运动信息的方式为：

将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其他方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素， 1/4像素搜索得到最终匹配位置；

步骤 S308, 编码器使用原有算法对当前宏块进行分析，即对图 1中的运动估计及预测模式选择。

步骤 S309, 输出编码后的宏块。

本发明的复用码流信息的转码方法还适用于 VC-1、 MPEG2及 MPEG4等的编码， VC-1 , MPEG2及 MPEG4等与 H264均基于变换编码，运动估计的混合编码框架。虽然前者与 H264存标准存在较大差异，如 DCT变换，宏块模式等句不同。但是可以将前者宏块的运动矢量作为 H264运动估计时预测矢量之一，预测运动估计的初始搜索点。

以下对本发明的转码方法和现有的编码方法进行仿真测试及测试结果对比。仿真环境 windows7， Intel(R) Core(TM)2 Duo CPU E8500 @3.16GHz, memory 4GB, 解码器釆用 ffinpeg, 编码器釆用 x264对算法进行仿真。测试 1 为本发明方法的测试结果，测试 2为现有的全解码全编码方法的测试结果。测试 1和测试 2都使用相同 ffinpeg解码器、 x264参数配置及相同的测试源。测试 1 复用原始码流帧级到宏块级的先验信息，运动矢量复用釆用方式 c，不进行宏块编码模式分析及运动估计，测试 2使用 x264默认的分析及估计过程。表 1和表 2为两者 PSNR (峰值信噪比）及消耗时间的对比。

表 1 本发明的复用码流信息的 H264转码方法测试结果

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由杈利要求限定。

工业实用性

Claims

1、一种复用码流信息的 H264转码方法，其特征在于，在解码时，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的 _Sli_ce类型与原始码流每帧或场的 slice—致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。

2、如权利要求 1所述的复用码流信息的 H264转码方法，其特征在于，所述编码器编码当前帧或场的 slice类型是与原始码流一致的步骤为：

S11: 原始流输入 NAL;

S12: 判断 NAL的 nal_unit_type是否等于 5，若等于 5，则编码当前帧或场的所有 slice为 IDR slice; 若不等于 5, 执行步骤 S13;

S 13：若原始码流的帧或场的 slice类型为 I slice ,则编码当前帧或场的 slice 为 I slice, 若原始码流的帧或场的 slice类型为 P slice, 则编码当前帧或场的 slice为 P slice;若原始码流的帧或场的 slice类型为 B slice,则判断 nal— ref— idc 是否等于 0, 若等于 0，则编码当前帧或场的 slice为 B slice, 若不等于 0，则编码当前帧或场的 slice为 B slice, 并将当前帧或场作为参考帧插入编码器的参考帧队列。

3、如权利要求 2所述的复用码流信息的 H264转码方法，其特征在于，所述复用原始流的宏块级码流信息包括步骤：

S21: 判断原始码流中是否存在错误，若有错误，则解码器解码当前宏块失败，解码器标记当前宏块错误，编码器使用原有的运动估计及预测模式选择算法对宏块进行分析，若没有错误，则执行步骤 S22;

S22: 若当前宏块为 intra宏块，则按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

S221 : 若当前宏块为 Intra— 4x4— DC、 Intra— 16x16— DC或 Intra— 8x8— DC的 DC预测方式，则编码当前宏块或块为对应的 DC预测方式；

S222: 当前宏块其它的帧内预测方式，计算当前编码宏块及其块的 mbAddrA, mbAddrB, mbAddrC, 判断三者的 availability属性与原始码流对应位置相同，若不同，则去掉不可得方向的预测，均不可得使用 DC预测； S23: 若当前宏块为 inter宏块，则宏块级信息复用包括以下步骤：

S231 : 宏块类型的处理，若原始流当前宏块为 P_SKIP，则解码器标志其类型为 P_L0_16xl6，运动矢量为解码器中值预测的运动矢量，若为 B_SKIP，则解码器标志其为 B— DIRECT类型，其它 inter类型保持不变输出给编码器； S232: 解码器将保存的各个宏块的 8x8块的 ref_idx— lx对应的参考帧的计数传递给编码器，编码器得到 8x8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧或场，如果存在将其作为参考帧继续执行步骤 S233，否则使用编码器原有的运动估计过程对整个宏块进行估计；

S233: 复用 inter宏块中的运动信息；

S24: 输出编码后的宏块。

4、如权利要求 3所述的复用码流信息的 H264转码方法，其特征在于，所述步骤 S233中复用 inter宏块中的运动信息的方式为：

将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其它方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素， 1/4像素搜索得到最终匹配位置；

直接复用原始流宏块的运动矢量，分块模式，参考帧索引及宏块类型，计算残差。