CN103442228A - 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器 - Google Patents

Abstract

本发明公开了一种从H.264/AVC标准到HEVC标准的快速帧内转码方法及其转码器，主要内容包括：将H.264/AVC标准的码流置入到H.264/AVC标准的解码器中解码；根据解码获得的信息将H.264/AVC标准的宏块结构转换为HEVC标准中的编码单元、预测单元格式，并根据HEVC标准的组块模式，按zorder顺序重新排序；将H.264/AVC标准中提取的各尺寸块的帧内预测模式对应到HEVC标准的帧内预测模式；H.264/AVC标准中16×16、8×8、4×4各尺寸块的上一层级的尺寸块，直接采用HEVC标准计算方法确定帧内预测模式；通过比较本层级尺寸块的最佳帧内预测模式和其上一层级尺寸块的最佳帧内预测模式的RD-cost值，选出最终的帧内预测模式。本发明在比特率和视频质量损失非常小的情况下，大幅度地降低了编码的计算复杂度。

Description

从H.264/AVC标准到HEVC标准的快速帧内转码方法及其转码器

技术领域

本发明涉及数字图像通信领域中视屏编码标准间转码技术，更为具体地说是涉及一种从H.264/AVC标准到HEVC标准的帧内转码技术。

背景技术

目前主流的视频编码标准为H.264/AVC，随着网络和传输信道等技术的发展，高清视频逐渐成为目前网络存储和传输的主要业务，H.264/AVC标准中的尺寸块机制并不能获得很好的编码性能，为此，两大国际标准化组织ITU-T和ISO/IEC专门成立了视频编码联合协作组JCT-VC，共同开发了新一代的国际视频编码标准：高性能视频编码（HEVC）。该标准的制定开始于2010年10月，至今已制定完成，压缩比相对于H.264/AVC标准提高了一倍，同时保持视频质量基本不变，若把HEVC标准应用于实际视频在网络中的存储和传输，将带来很大的性能提升。然而，目前网络中已有的数以亿计的视频资源，包括AVI、MKV等格式的视频，其数据部分均是采用H.264/AVC标准。另一方面，目前主流的视频采集设备，包括摄像机、相机、智能手机、网络监控摄像头等设备，也主要是采用H.264/AVC标准。为了在把HEVC标准应用于目前的网络存储和传输的同时，能继续共享网络中存储和传输的数以亿计的视频资源，同时也不让目前主流的H.264/AVC标准的大批视频采集设备淘汰，研究从H.264/AVC标准到HEVC标准视频格式转码技术成为必然。

不同视频编码标准之间的转码涉及视屏帧内预测。所述视屏帧内预测是指利用图像的空间相关性对图像进行压缩编码的方法。所述利用图像的空间相关性即利用相邻像素对当前编码块进行预测编码，减少图像中的空间冗余。

现有技术针对以往的各种视频编码标准之间的转码研究已经比较全面。清华大学的殷国炯，薛永林提出了基于DCT域（离散余弦变换）SAD（绝对误差和）由MPEG到H.264/AVC的帧内模式选择算法，利用MPEG-2码流中的模式选择信息，以及利用MPEG-2中8×8尺寸块的DCT系数简化H.264/AVC编码端的运算量，帧内模式选择包括尺寸块模式的选择与预测模式选择，都采用阈值法进行选择。具体公开了，如果一个H.264/AVC宏块的4个8×8尺寸块的DCT直流分量最大值小于阈值γ，则采用16×16尺寸块，否则采用4×4尺寸块模式；如果H.264/AVC的16×16尺寸块的4个8×8尺寸块DCT系数的b1和b2都小于阈值γ，则采用DC（直流）预测模式，否则进行DCT域的SAD计算。

Hari Kalva等人提出利用MPEG-2中得到的方向特性进行转码，从MPEG-2码流中获取的DCT系数可以估计出一帧图像的方向性，使用该方向特性计算H.264/AVC帧内预测模式。利用MPEG-2中8×8尺寸块的DC系数的方差可以确定是选用16×16尺寸块还是4×4尺寸块。这样就使得在用H.264/AVC标准进行编码时无需进行宏块模式和预测模式的计算，减小了转码的复杂度。

K.-Y.Liao等人提出的变换域联合转换算法，该算法结合了8×8尺寸块反DCT变换，2:1下采样，和4×4尺寸块整数变换，而没有引入任何空间域的复杂像素计算过程。

Gerardo Fernández-Escribano等人提出了一种DC-ABS以及DC-ABS像素方法选取最佳预测模式，同样有效利用MPEG-2解码出的DC系数，减少H.264/AVC模式判决过程中RD-cost（率失真代价）计算的复杂性来达到快速决策的目的。第一步，计算出MPEG-2解码图像块的DC系数，第二步，计算出H.264/AVC标准中各帧内亮度、色度块各预测方向的DC系数。对于16×16尺寸块,选取第二步的DC系数相比于第一步的DC系数的绝对差异ABS（absolute）最小的预测模式作为最佳预测模式，对于8×8尺寸块，同样选取H.264/AVC标准中各预测方向DC系数相比于原始块4个8×8尺寸块中一个块的DC系数的绝对差异ABS最小的预测模式作为最佳预测模式，4×4尺寸块也是采取同样的选取方式。

以上是关于MPEG-2标准到H.264/AVC标准的转码相关研究。对于H.264/AVC标准到HEVC标准的帧内预测转码，H.264/AVC标准中进行帧内预测的尺寸块包括16×16、8×8、4×4三种，其中16×16尺寸块有4种预测模式，8×8和4×4尺寸块有9种预测模式，而在HEVC标准中进行帧内预测的尺寸块则包括有64×64，32×32，16×16，8×8以及4×4共6种，且每个尺寸块都有35种预测模式。如何将H.264/AVC标准的帧内预测模式准确高效地对应到HEVC标准的帧内预测模式就是帧内预测模式转码器需要完成的工作。如果直接将H.264/AVC标准的解码器与HEVC标准的编码器级联，由于要进行HEVC标准的全编码，包括帧间、帧内预测编码，变换、量化、熵编码等，计算复杂度必然很高，而通过从H.264/AVC标准解码流中提取帧号、宏块坐标位置、宏块类型、宏块模式、子块预测模式等信息辅助HEVC标准进行帧内预测，则不用对HEVC标准中的所有模式进行全遍历，从而减小计算复杂度，节省时间。研究H.264/AVC标准到HEVC标准的转码具有非常大的实际意义。

发明内容

随着高性能视频编码标准（HEVC标准）的制定完成，针对H.264/AVC标准到HEVC标准的视频格式转码的重要性，本发明旨在提供一种从H.264/AVC标准到HEVC标准的快速帧内转码方法及其转码器，以减少转码中帧内预测模式选择的计算复杂度，大幅度地减少HEVC标准的帧内编码时间。

发明人在研究中发现，从H.264/AVC标准到HEVC标准的帧内转码主要涉及以下几方面的问题：

第一、两种视频编码标准间不同尺寸块的对应问题，即“小块组大块”方案的解决。因为H.264/AVC标准进行编码的最大尺寸块是16×16，而HEVC标准中采用了一系列大尺寸块的编码单元，如64×64、32×32等尺寸块。

第二、帧内预测模式的选择问题。在H.264/AVC标准中，帧内预测模式共有9种，而HEVC标准中有35种帧内预测模式。所以在这两个视频编码标准间进行转码时，须考虑两标准间帧内预测模式的对应选择问题。

发明人基于以上发现，从H.264/AVC标准与HEVC标准间的差异入手，提出了一种从H.264/AVC标准到HEVC标准的快速帧内转码方法，主要包括：

1、H.264/AVC标准的码流置入到H.264/AVC标准的解码器中解码，从解码终端获得各帧图像中每个尺寸块所在帧的编号、所在帧中的坐标位置、宏块的尺寸、宏块的帧内预测模式；

2、根据上述获得的信息将H.264/AVC标准的宏块结构转换为HEVC标准中的编码单元、预测单元格式，根据HEVC标准的组块模式，按zorder顺序重新排序；

3、将H.264/AVC标准中提取的各尺寸块的帧内预测模式对应到HEVC标准的帧内预测模式：

（1）若H.264/AVC标准中4个相邻的16×16尺寸块符合HEVC组块模式，则将4个16×16尺寸块组合成1个32×32尺寸块，并直接采用HEVC标准帧内预测模式中的平面、直流、垂直这3种预测模式以及包括平面、直流、垂直3种预测模式在内的35种预测模式中最小cost值所对应的预测模式；否则采用下述步骤（2）进行对应：

（2）H.264/AVC标准中16×16、8×8、4×4尺寸的各层级尺寸块，分别提取它们在H.264/AVC标准中确定的最佳帧内预测模式，对应到HEVC标准中的预测模式，并加上它们各自的平面、直流预测模式，最后再加上包括平面、直流两种预测模式在内的35种预测模式中最小cost值所对应的预测模式；

4、H.264/AVC标准中16×16、8×8、4×4各层级尺寸块的上一层级尺寸块，直接采用HEVC标准计算方法确定帧内预测模式；

5、通过比较本层级尺寸块的最佳帧内预测模式和其上一层级尺寸块的最佳帧内预测模式的RD-cost值，选出最终的帧内预测模式。

在本发明的上述技术方案中，所述的HEVC标准计算方法，具体是指：从35种帧内预测模式中通过计算cost值选出3种或8种最小cost值所对应的帧内预测模式，然后对选出的3种或8种最小cost值所对应的帧内预测模式计算RD-cost值，最小的RD-cost值所对应的预测模式则为最佳帧内预测模式。所述4个相邻的16×16尺寸块符合HEVC组块模式，具体是指：4个相邻的16×16尺寸块在一个zorder顺序中，能够成合成1个32×32层级的尺寸块。

本发明还提供了一种用于执行上述从H.264/AVC标准到HEVC标准的快速帧内转码方法的视频转码器。

本发明提供的从H.264/AVC标准到HEVC标准的快速帧内转码方法，在将H.264/AVC标准的码流置入到H.264/AVC标准的解码器中解码，从解码终端获得各帧图像中每个尺寸块所在帧的编号、所在帧中的坐标位置、宏块的尺寸、宏块的帧内预测模式的过程中，发明人为使扫描顺序与HEVC标准中采用的扫描顺序保持一致，将以上信息进行重排序，即将H.264/AVC标准中的扫描顺序重组成HEVC标准中采取的z-order顺序，并提取CU(编码单元)、PU（预测单元）尺寸以及各个块的帧内预测模式。

本发明在H.264/AVC标准中的小尺寸块组成上一层级尺寸块的组块过程中，特别需要说明的是，只有当H.264/AVC标准中4个相邻的16×16尺寸块符合HEVC标准组块模式时(在同一个Z字形中)，才能够组合成32×32尺寸块，其它层级的尺寸块保持不变，不组成上一层级的尺寸块。

本发明在H.264/AVC标准中提取的各个尺寸块的帧内预测模式对应到HEVC标准的过程中，除了对H.264/AVC标准中4个相邻的16×16尺寸块是否符合HEVC组块模式进行判断，符合组块模式的，4个16×16尺寸块组合成1个32×32尺寸块，采取特别的方式对应到HEVC标准中，不符合组块模式的，采用与其它层级的尺寸块相同的方式对应到HEVC标准中外，还参考H.264/AVC标准中确定的尺寸块，在HEVC标准的帧内预测中同时遍历当前尺寸块以及上一层级的尺寸块。

发明人通过大量实验证明：在HEVC标准中不仅要考虑从H.264/AVC标准中得到对应尺寸块模式，还要考虑上一层级尺寸块模式，例如H.264/AVC标准中组合成了32×32尺寸块，那么HEVC编码标准中不仅要计算32×32尺寸块下的帧内预测模式，同时还要计算64×64尺寸块下的帧内预测模式。同样的，H.264/AVC标准中的16×16尺寸块，对应到HEVC编码标准中需要计算的尺寸块是16×16和32×32的尺寸块。当H.264/AVC标准中的尺寸块为8×8尺寸块，对应HEVC编码标准中需要计算的尺寸块是8×8和16×16的尺寸块。当H.264/AVC标准中的尺寸块为4×4尺寸块，对应HEVC编码标准中需要计算的尺寸块是4×4和8×8的尺寸块。

本发明从H.264/AVC标准直接对应到HEVC标准中的尺寸块，根据步骤3中提到的方法计算帧内预测模式，而对应上一层级的尺寸块，则直接采取HEVC编码标准中的方法选择出3种较小的cost值所对应的帧内预测模式，然后对选出的3种帧内预测模式计算RD-cost值，最小的RD-cost值所对应的预测模式则为当前层级尺寸块的最佳帧内预测模式。

在本发明的上述方案中，对于HEVC标准中的编码单元CU的分割深度参照组块大小来确定，对于不同的尺寸块大小，不需要再遍历所有的CU四叉树划分。

在本发明的上述方案中，本发明定义了以下几个测试指标：

ΔPSNR=PSNR_转-PSNR_HEVC

其中，Bitrate_转和Bitrate_HEVC分别表示本发明转码方法和从H.264/AVC标准到HEVC标准直接级联视频转码方法(对H.264/AVC标准编码进行全解码，再用HEVC标准全编码)下的比特率，ΔBitrate表示本发明转码方法相比从H.264/AVC标准到HEVC标准直接级联视频转码方法减少比特率的百分比；PSNR_转和PSNR_HEVC分别表示两种方式下的的峰值信噪比（PSNR），该性能指标代表了视频的客观质量，ΔPSNR表示本发明转码算法相比从H.264/AVC标准到HEVC标准直接级联视频转码方法提高的视频质量；Time_转和Time_HEVC分别表示本发明转码方法和从H.264/AVC标准到HEVC标准直接级联视频转码方法的总体编码时间，ΔTime表示本发明转码方法相比从H.264/AVC标准到HEVC标准直接级联视频转码方法增加编码时间的百分比。根据本发明提出的算法能够在保持比特率和PSNR基本不变的情况，大大节省编码时间。

本发明研究分析了H.264/AVC标准与HEVC标准在帧内预测中的区别，并根据这些区别，发明了一种新的帧内转码算法。首先将H.264/AVC标准中的编码器编码好的码流置入H.264/AVC标准解码器中解码，在解码过程中提取尺寸块的各种信息：包括每个尺寸块所在帧的编号、所在帧中的坐标位置、宏块的类型、宏块的帧内预测模式信息。获得上述信息后，进行重排序以及小块组大块的操作，同时提取CU、PU尺寸以及各个块的帧内预测模式，并根据以上信息确定在HEVC标准中所要进行帧内预测的尺寸块和预测模式。

本发明在从H.264/AVC标准到HEVC标准的转码完成后，在HEVC标准中仍按照之前的四叉树划分，进行帧内预测编码，但对于较小尺寸块而言，如：8×8块，只需要计算其本身和16×16尺寸块下的两种RD-cost值，可直接跳过64×64、32×32这2种尺寸块的RD-cost值计算，这样就极大的降低了计算复杂度。所以具体需要计算的层数是通过从H.264/AVC标准中传入的尺寸块信息来决定的，采用发明提出的这种方法，在一定程度上可以节省帧内某些尺寸块的RD-cost计算时间，实验结果表明，本发明的转码方法，在比特率和视频质量损失较小的情况下，较大幅度地降低了编码的时间。

附图说明

图1为本发明转码过程中的帧内转码系统框图。图中所述提取的信息包括尺寸块所在帧的编号、所在帧中的坐标位置、宏块的类型、宏块的帧内预测模式。

图2为本发明转码过程中小尺寸块组成上一层级的大尺寸块的方式示意图。图中所述的满足Z-zorder排序，是指4个相邻的16×16尺寸块在一个zorder顺序中，能够组合成合成1个32×32层级的尺寸块。

图3为本发明转码过程中帧内预测模式的判决方式示意图。图中的N取值为4、8、16和32；2N×2N尺寸块的筛选为，选择最小的3个cost值计算RD-cost，得到RD-cost值最小的模式；N×N尺寸块的筛选为，选择当前尺寸块在H.264标准中的预测模式，DC，planar，以及cost值最小的模式进行RD-cos t计算，得到RD-cost值最小的模式；所述比较是指2N×2N尺寸块的RD-cost最小模式与N×N尺寸块的RD-cost最小模式的比较。

具体实施方式

下面结合实例对本发明作进一步的详细说明，有必要指出的是，以下的实例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

从H.264/AVC标准到HEVC标准的帧内转码，采用本发明的方法与采用直接级联的方法进行转码比较，比较过程如下：

1、同时打开两个算法的程序并设置好相同的配置文件，参考软件选择HM9.0，量化步长（QP）值分别取22、27、32、37。将本发明的方法与H.264/AVC标准到HEVC标准直接级联视频转码的方法进行比较，并对其三种视频编码性能：比特率、峰值信噪比（PSNR）以及视频编码时间（其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度），进行了比较分析，比较性能的差距用以下三个指标进行评价：

ΔPSNR=PSNR_转-PSNR_HEVC

其中Bitrate_转、PSNR_转和Time_转分别为本发明算法的比特率、PSNR以及视频编码时间，Bitrate_HEVC、PSNR_HEVC和Time_HEVC分别为H.264/AVC标准到HEVC标准直接级联视频转码方法的比特率、PSNR以及视频编码时间，ΔBitrate、ΔPSNR和ΔTime分别为本发明算法与H.264/AVC标准到HEVC标准直接级联视频转码方法之间比特率、PSNR以及视频编码时间的差。

2.编码的对象为标准的HEVC编码标准测试视频，它们的名称、分辨率和帧率分别为：BasketBallPass（416*240，50帧/秒），BlowingBubbles（416*240，50帧/秒），BasketballDrill（832*480，50帧/秒）、BQMall（832*480，60帧/秒）、Fourpeople（1280×720，60帧/秒）、KristenAndSara（1280*720，60帧/秒）、BQTerrance（1920*1080，60帧/秒）和BasketballDrive（1920*1080，50帧/秒）。

3.输入2个相同的视频序列；

4.分别对2个相同的视频序列进行快速帧内转码和直接级联转码；

5.利用H.264/AVC标准视频编码器JM18.2对视频序列在H.264/AVC标准方式下进行视频编码，形成H.264/AVC标准码流；

6.对H.264/AVC标准码流解码，得到重建视频，再对该重建视频用HEVC标准方式编码，得到直接级联转码方法的比特率、PSNR、编码时间等信息；

7.对H.264/AVC标准码流解码，得到重建视频，同时在解码过程中获取帧号、宏块坐标位置、宏块类型、宏块模式、子块预测模式等信息，根据这些信息将H.264的宏块结构转换为HEVC中的CU、PU格式，并计算本层CU以及上一层的CU的最佳帧内预测模式，比较两层的最佳帧内预测模式，选出最优的一个，不对每个深度的CU进行遍历，节省了时间；

8.两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间，上述3个指标的结果如表1-3所示，统计显示本发明方法比从H.264/AVC标准到HEVC标准直接级联转码方法在比特率方面上升了1.40%左右，在视频质量PSNR值方面降低0.04dB左右，在视频编码计算复杂度方面降低了61.87%左右。从总体来看来，本发明算法与H.264/AVC标准到HEVC标准直接级联转码方法相比，在视频压缩率（由比特率下降程度来体现）和视频质量损失很小的前提下，较大幅度地降低了视频编码的计算复杂度（见表1～3）。

表1本发明的方法与H.264/AVC到HEVC标准直接级联转码方法之间比特率的比较

表2本发明算法与H.264/AVC到HEVC标准直接级联转码方法之间PSNR值的比较

表3本发明算法与H.264/AVC到HEVC标准直接级联转码方法之间视频编码时间的比较

Claims (4)

1.一种从H.264/AVC标准到HEVC标准的快速帧内转码方法，其特征在于主要包括：

1）H.264/AVC标准的码流置入到H.264/AVC标准的解码器中解码，从解码终端获得各帧图像中每个分块所在帧的编号、所在帧中的坐标位置、宏块的尺寸、宏块的帧内预测模式；

2）根据上述获得的信息将H.264/AVC标准的宏块结构转换为HEVC标准中的编码单元、预测单元格式，根据HEVC标准的组块模式，按zorder顺序重新排序；

3）将H.264/AVC标准中提取的各尺寸块的帧内预测模式对应到HEVC标准的帧内预测模式：

（1）若H.264/AVC标准中4个相邻的16×16尺寸块符合HEVC组块模式，则将4个16×16尺寸块组合成1个32×32尺寸块，并直接采用HEVC标准帧内预测模式中的平面、直流、垂直这3种预测模式以及包括平面、直流、垂直3种预测模式在内的35种预测模式中最小cost值所对应的预测模式；否则采用下述步骤（2）进行对应：

（2）H.264/AVC标准中16×16、8×8、4×4各层级尺寸块，分别提取它们在H.264/AVC标准中确定的最佳帧内预测模式，对应到HEVC标准中的预测模式，并加上它们各自的平面、直流预测模式，最后再加上包括平面、直流两种预测模式在内的35种预测模式中最小cost值所对应的预测模式；

4）H.264/AVC标准中16×16、8×8、4×4各层尺寸块的上一层尺寸块，直接采用HEVC标准计算方法确定帧内预测模式；

5）通过比较本层级尺寸块的最佳帧内预测模式和其上一层级尺寸块的最佳帧内预测模式的RD-cost值，选出最终的帧内预测模式。

2.如权利要求1所述的从H.264/AVC标准到HEVC标准的快速帧内转码方法，其特征在于所述的HEVC标准计算方法是指从35种帧内预测模式中通过计算cost值选出3种或8种最小cost值所对应的帧内预测模式，然后对选出的3种或8种最小cost值所对应的帧内预测模式计算RD-cost值，最小的RD-cost值所对应的预测模式则为最佳帧内预测模式。

3.如权利要求1或3所述的从H.264/AVC标准到HEVC标准的快速帧内转码方法，其特征在于，所述4个相邻的16×16尺寸块符合HEVC组块模式是指4个相邻的16×16尺寸块均在一个zorder顺序中，能够组合成1个32×32层级的尺寸块。

4.一种用于执行权利要求1或2或3之一所述的从H.264/AVC标准到HEVC标准的快速帧内转码方法的视频转码器。

Images