CN102696226B - 复用码流信息的h264转码方法 - Google Patents

Abstract

本发明公开了一种复用码流信息的H264转码方法，其特征在于，在编码之前，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的slice类型与原始码流一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。本发明在不牺牲太多视频画质的前提下，加快了编码速度，提高了编码效率。

Description

复用码流信息的H264转码方法

技术领域

本发明涉及多媒体编码技术领域，特别涉及一种复用码流信息的H264转码方法。

背景技术

随着网络共享及多媒体技术的发展，对视频进行备份、存储的需求不断增加，这加速了转码技术的发展。由于视频编码巨大的计算量，转码过程对硬件软件要求极高。一般的转码算法采用对原始视频流进行解码，然后重新编码的方式。由于编解码算法的复杂性，这种方式计算量太大，需要较长的计算时间。而由于现行的视频编解码标准都基于转码编码及运动补偿的基本框架，从原始码流中的运动矢量及宏块信息可以得到相关视频流的运动程度及图像细节等先验信息，如果在编码过程中加以利用可以在不牺牲太多画面质量的前提下大大提升再编码的速度。

目前主流的视频编码标准如VC-1、MPEG2、MPEG4及H26L等均基于变换编码、运动估计、以及熵编码的混合编码框架。现行的H264码流转H264码流的方法，先将原始码流中图像解码出YUV图像序列，按照播放顺序传递给编码器，编码器逐幅图像分析，确定图像编码的slice类型，然后对slice中各个宏块的运动情况，细节复杂度进行分析，确定宏块的类型，运动矢量大小，然后进行编码。因为H264标准的复杂性，如具有很多种宏块类型，Intra_16×16有4种预测方式，Intra_4×4有8种预测方式，Inter块的运动估计支持1/4像素精度，需要大量插值运算等等，从诸多模式中选择最适合当前宏块的编码方式及寻找Inter宏块最匹配的参考位置等等计算量负荷很大。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何在不牺牲太多画质的前提下实现快速高效地转码。

（二）技术方案

为解决上述技术问题，本发明提供了一种复用码流信息的H264转码方法，在解码时，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的slice类型与原始码流每帧或场的slice一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。

其中，所述编码器编码当前帧或场的slice类型是与原始码流一致的步骤为：

S11：原始流输入NAL；

S12：判断NAL的nal_unit_type是否等于5，若等于5，则编码当前帧或场的所有slice为IDRslice；若不等于5，执行步骤S13；

S13：若原始码流的帧或场的slice类型为Islice，则编码当前帧或场的slice为Islice，若原始码流的帧或场的slice类型为Pslice，则编码当前帧或场的slice为Pslice；若原始码流的帧或场的slice类型为Bslice，则判断nal_ref_idc是否等于0，若等于0，则编码当前帧或场的slice为Bslice，若不等于0，则编码当前帧或场的slice为Bslice，并将当前帧或场作为参考帧插入编码器的参考帧队列。

其中，所述复用原始流的宏块级码流信息包括步骤：

S21：判断原始码流中是否存在错误，若有错误，则解码器解码当前宏块失败，解码器标记当前宏块错误，编码器使用原有的运动估计及预测模式选择算法对宏块进行分析，若没有错误，则执行步骤S22；

S22：若当前宏块为intra宏块，则按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

S221：若当前宏块为Intra_4×4_DC、Intra_16×16_DC或Intra_8×8_DC的DC预测方式，则编码当前宏块或块为对应的DC预测方式；

S222：当前宏块其它的帧内预测方式，计算当前编码宏块及其块的mbAddrA，mbAddrB，mbAddrC，判断三者的availability属性与原始码流对应位置相同，若不同，则去掉不可得方向的预测，均不可得使用DC预测；

S23：若当前宏块为inter宏块，则宏块级信息复用包括以下步骤：

S231：宏块类型的处理，若原始流当前宏块为P_SKIP，则解码器标志其类型为P_L0_16×16，运动矢量为解码器中值预测的运动矢量，若为B_SKIP，则解码器标志其为B_DIRECT类型，其它inter类型保持不变输出给编码器；

S232：解码器将保存的各个宏块的8×8块的ref_idx_lx对应的参考帧的计数传递给编码器，编码器得到8×8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧或场，如果存在将其作为参考帧继续执行步骤S233,否则使用编码器原有的运动估计过程对整个宏块进行估计；

S233：复用inter宏块中的运动信息；

S24：输出编码后的宏块。

其中，所述步骤S233中复用inter宏块中的运动信息的方式为：

将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其它方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素，1/4像素搜索得到最终匹配位置；

直接复用原始流宏块的运动矢量，分块模式，参考帧索引及宏块类型，计算残差。

（三）有益效果

本发明通过对原始码流的帧或场级复用和宏块级复用，在不牺牲太多视频画质的前提下，加快了编码速度，提高了编码效率。

附图说明

图1是H264编码器编码基本框架图；

图2是本发明实施例的一种复用码流信息的H264转码方法中帧或场级复用时编码slice类型流程图；

图3是本发明实施例的一种复用码流信息的H264转码方法中宏块级复用流程图。

具体实施方式

本发明提供的复用码流信息的H264转码方法，结合附图及实施例详细说明如下。

本发明在转换过程中，若转码输出与原始流图像序列分辨率不变，则使用原始码流中帧或场级，slice级及宏块级的先验信息，这些信息与视频序列的运动程度，细节精细度等图像固有属性相关，使用这些信息减少宏块级分析的时间，加速再次编码过程，并保持压缩效率损失不大。考虑叙述的简洁性，以下用帧代表帧及场两种方式。下面主要以H264到H264的转码为例，进一步说明本发明。

如图1所示，为H264编码器编码框架图，本发明的方法中对ME（motionestimate，运动估计），即inter宏块信息复用编码，intra预测选择和帧内预测部分码流信息复用编码，并且对解码器的帧索引进行了处理，其它各部分MC（运动补偿）、T（DCT）及Q（量化）等均按原来的编码方式编码。

在解码时，对原始码流解码出的帧计数，并用计数标记当前输出帧。在编码过程中，因为要复用原始码流的宏块级信息，所以编码器每帧图像的slice类型必须与原始码流一致，否则将无法复用inter块的运动矢量等信息，编码器编码当前帧的slice类型与原始码流一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息。

编码器编码当前帧的slice类型与原始码流一致的步骤为如图2所示，包括：

步骤S201，原始流输入NAL。

步骤S202，判断NAL的nal_unit_type是否等于5，若等于5，则执行步骤S203，若不等于5，则执行步骤S204。

步骤S203，编码当前帧的所有slice为IDRslice。

步骤S204，判断原始码流的帧的slice类型是否为Bslice，若是，则执行步骤S206，若不是，则执行步骤S205。

步骤S205，若原始码流的帧的slice类型为Islice，则编码当前帧的slice为Islice，若原始码流的帧的slice类型为Pslice，则编码当前帧的slice为Pslice。

步骤S206，判断nal_ref_idc是否等于0，若等于0，则执行步骤S208，否则执行步骤S207。

步骤S207，编码当前帧的slice为Bslice，并将当前帧作为参考帧插入编码器的参考帧队列。

步骤S208，编码当前帧的slice为Bslice。

编码器无法复用原始h264码流中调整参考帧序列排列顺序及参考帧序列调整方式的ref_pic_list_modification_flag_lx，adaptive_ref_pic_marking_mode_flag，memory_management_control_operation等相关信息（参考文献：ITU-TH264Advancedvideocodingforgenericaudiovisualservices，8.2.5.1），若编码inter宏块时简单复用宏块级码流信息的ref_idx_lx，编码器所参考的帧并不是原始流相应宏块参考的帧，得到的并不是原始流中运动矢量的最佳匹配位置，所以对原始流解码出第一帧从0进行计数，并用计数标记当前输出帧，同时宏块级在传递参考帧索引时需要做相应处理。

复用原始流的宏块级码流信息流程如图3所示，包括：

步骤S301，输入当前帧的宏块，即编码一帧时当前编码的宏块。

步骤S302，判断原始流中存在错误，若有错，则解码器解码当前宏块失败，解码器标记当前宏块错误，并执行步骤S308，若没有错误，则步骤S303。

步骤S303，判断当前宏块类型，若为intra宏块，则执行步骤S304，否则，执行步骤S305。

步骤S304，对当前宏块进行预处理，按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

若当前宏块为Intra_4×4_DC、Intra_16×16_DC或Intra_8×8_DC的DC预测方式，则编码当前宏块或块为对应的DC预测方式。这需要根据编码器当前帧slice的划分采用标准（参考文献：ITU-TH264Advancedvideocodingforgenericaudiovisualservices，8.3.2.2.4）3种方式计算预测值。

当前宏块其它的帧内预测方式，计算当前编码宏块及其块的mbAddrA，mbAddrB，mbAddrC，判断三者的availability属性与原始码流对应位置相同，若不同，则去掉不可得（availiable）方向的预测，均不可得使用DC预测。

步骤S305，此时宏块为inter宏块，处理inter宏块类型，若原始码流当前宏块为P_SKIP，则解码器标志其类型为P_L0_16×16，运动矢量为解码器中值预测的运动矢量，若为B_SKIP，则解码器标志其为B_DIRECT类型，其它inter类型保持不变输出给编码器。

步骤S306，解码器将保存各个宏块的8×8块的ref_idx_lx对应的参考帧的计数传递给编码器。编码器端得到8×8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧，如果存在将其作为参考帧继续执行步骤S307，若不存在，则使用编码器原有的运动估计过程对整个宏块（inter宏块）进行估计，即步骤S308。

步骤S307，复用inter宏块中的运动信息。复用inter宏块中的运动信息的方式为：

将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其他方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素，1/4像素搜索得到最终匹配位置；

直接复用原始流宏块的运动矢量，分块模式，参考帧索引及宏块类型，计算残差。

步骤S308，编码器使用原有算法对当前宏块进行分析，即对图1中的运动估计及预测模式选择。

步骤S309，输出编码后的宏块。

本发明的复用码流信息的转码方法还适用于VC-1、MPEG2及MPEG4等的编码，VC-1，MPEG2及MPEG4等与H264均基于变换编码，运动估计的混合编码框架。虽然前者与H264存标准存在较大差异，如DCT变换，宏块模式等句不同。但是可以将前者宏块的运动矢量作为H264运动估计时预测矢量之一，预测运动估计的初始搜索点。

以下对本发明的转码方法和现有的编码方法进行仿真测试及测试结果对比。

仿真环境windows7，Intel(R)Core(TM)2DuoCPUE85003.16GHz，memory4GB，解码器采用ffmpeg，编码器采用x264对算法进行仿真。测试1为本发明方法的测试结果，测试2为现有的全解码全编码方法的测试结果。测试1和测试2都使用相同ffmpeg解码器、x264参数配置及相同的测试源。测试1复用原始码流帧级到宏块级的先验信息，运动矢量复用采用方式c，不进行宏块编码模式分析及运动估计，测试2使用x264默认的分析及估计过程。表1和表2为两者PSNR（峰值信噪比）及消耗时间的对比。

表1本发明的复用码流信息的H264转码方法测试结果

表2现有的转码方法测试结果

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴。

Claims (4)

1.一种复用码流信息的H264转码方法，其特征在于，在解码时，对原始码流解码出的帧或场计数，并用计数标记当前输出帧或场，在编码过程中，编码器编码当前帧或场的条带类型与原始码流每帧或场的条带类型一致，在对宏块级码流信息编码时复用原始码流的宏块级码流信息；

其中，所述复用原始码流的宏块级码流信息包括：

步骤S301，输入当前帧的宏块，即编码一帧时当前编码的宏块；

步骤S302，判断原始流中存在错误，若有错，则解码器解码当前宏块失败，解码器标记当前宏块错误，并执行步骤S308，若没有错误，则执行步骤S303；

步骤S303，判断当前宏块类型，若为帧内宏块，则执行步骤S304，否则，执行步骤S305；

步骤S304，对当前宏块进行预处理，按照预处理后的原始码流对应位置宏块的预测方式编码；

步骤S305，此时宏块为帧间宏块，处理帧间宏块类型，若原始码流当前宏块为单向预测条带中的跳过宏块P_SKIP，则解码器标志其类型为16x16的亮度样点的一个亮度宏块划分P_L0_16×16，运动矢量为解码器中值预测的运动矢量，若为双向预测条带中的跳过宏块B_SKIP，则解码器标志其为直接模式预测B_DIRECT类型，其它帧间宏块类型保持不变输出给编码器；

步骤S306，解码器将保存各个宏块的8×8块的长期图像参考列表ref_idx_lx对应的参考帧的计数传递给编码器，编码器端得到8×8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧，如果存在将其作为参考帧继续执行步骤S307，若不存在，则使用编码器原有的运动估计过程对整个帧间宏块进行估计，即步骤S308；

步骤S307，复用帧间宏块中的运动信息；

步骤S308，编码器使用原有算法对当前宏块进行分析；

步骤S309，输出编码后的宏块。

2.如权利要求1所述的复用码流信息的H264转码方法，其特征在于，所述编码器编码当前帧或场的条带类型是与原始码流一致的步骤为：

S11：原始流输入网络抽象层NAL；

S12：判断NAL的原始字节序列载荷数据结构的类型nal_unit_type是否等于5，若等于5，则编码当前帧或场的所有条带为即时解码刷新帧包含条带IDRslice；若不等于5，执行步骤S13；

S13：若原始码流的帧或场的条带类型为帧内条带Islice，则编码当前帧或场的条带为Islice，若原始码流的帧或场的条带类型为单向预测条带Pslice，则编码当前帧或场的条带为Pslice；若原始码流的帧或场的条带类型为双向预测条带Bslice，则判断当前网络抽象层的优先级nal_ref_idc是否等于0，若等于0，则编码当前帧或场的条带为Bslice，若不等于0，则编码当前帧或场的条带为Bslice，并将当前帧或场作为参考帧插入编码器的参考帧队列。

3.如权利要求2所述的复用码流信息的H264转码方法，其特征在于，所述复用原始流的宏块级码流信息包括步骤：

S21：判断原始码流中是否存在错误，若有错误，则解码器解码当前宏块失败，解码器标记当前宏块错误，编码器使用原有的运动估计及预测模式选择算法对宏块进行分析，若没有错误，则执行步骤S22；

S22：若当前宏块为帧内宏块，则按照预处理后的原始码流对应位置宏块的预测方式编码，预处理包括：

S221：若当前宏块为帧内4×4直流预测模式Intra_4×4_DC、帧内16×16直流预测模式Intra_16×16_DC或帧内8×8直流预测模式Intra_8×8_DC的直流预测方式，则编码当前宏块或块为对应的直流预测方式；

S222：当前宏块其它的帧内预测方式，计算当前编码宏块及其块的左侧宏块mbAddrA，上侧宏块mbAddrB，右侧宏块mbAddrC，判断三者的有效属性与原始码流对应位置相同，若不同，则去掉不可得方向的预测，均不可得使用直流预测；

S23：若当前宏块为帧间宏块，则宏块级信息复用包括以下步骤：

S231：宏块类型的处理，若原始流当前宏块为P_SKIP，则解码器标志其类型为P_L0_16×16，运动矢量为解码器中值预测的运动矢量，若为B_SKIP，则解码器标志其为B_DIRECT类型，其它帧间宏块类型保持不变输出给编码器；

S232：解码器将保存的各个宏块的8×8块的ref_idx_lx对应的参考帧的计数传递给编码器，编码器得到8×8块的参考帧计数后，从编码器参考帧队列中寻找计数相同的帧或场，如果存在将其作为参考帧继续执行步骤S233,否则使用编码器原有的运动估计过程对整个宏块进行估计；

S233：复用帧间宏块中的运动信息；

S24：输出编码后的宏块。

4.如权利要求3所述的复用码流信息的H264转码方法，其特征在于，所述步骤S233中复用帧间宏块中的运动信息的方式为：

将原始流对应宏块的运动矢量作为编码器初始预测矢量之一，与中值预测得到的运动矢量及其它方式得到的运动矢量使用编码器原有匹配准则进行比较，得到初始搜索点位置，为初始搜索点搜索；

将原始流对应宏块的运动矢量大小整像素部分，运动矢量参考帧，宏块类型，分块模式，参考帧索引复用，编码器以运动矢量整数点为初始搜索点再进行亚像素，1/4像素搜索得到最终匹配位置；

直接复用原始流宏块的运动矢量，分块模式，参考帧索引及宏块类型，计算残差。