CN110933430B - 二次编码优化方法 - Google Patents

Abstract

本发明属于编码技术领域，具体涉及一种二次编码优化方法。本发明的方法主要包括：根据编码器输入量化参数QP₀的范围设置视频序列起始I帧的量化参数，采用简化的方法进行第一次编码，同时计算当前帧的帧级时域影响因子k_i和帧内所有16×16像素块的块级时域影响因子k_B,j，第一次编码结束后恢复编码器的参考列表信息，然后判断场景是否切换，根据场景是否切换采用不同的策略设置量化参数进行第二次编码。本发明的有益效果是：通过简化的第一次编码得到当前帧与参考帧之间的率失真依赖强度，以及当前帧中各编码块对后续编码过程的率失真重要程度，进而用于指导第二次编码的帧级和CTU级编码资源优化。

Description

二次编码优化方法

技术领域

本发明属于编码技术领域，具体涉及一种二次编码优化方法。

背景技术

随着电子信息技术的高速发展和各种视频数据采集方式的使用，数字视频成为了多媒体信息的主要载体，然而未经压缩的数字视频数据量非常巨大，例如分辨率为1920×1080的8比特RGB彩色视频，帧率为30Hz，则其每小时的数据量高达4.89TB。如此之大的数据量给视频的传输和存储带来巨大的挑战，因此自上世纪80年代以来，视频压缩技术持续成为国内外研究和应用的热点领域。随着数字视频编解码技术的发展，数字视频的应用涵盖了电视广播、数字电影、远程教育、远程医疗、视频监控、视频会话和流媒体传输等各个领域，出现了许多知名的视频应用企业。为了保证不同厂商编解码产品之间的互操作性，催生了相应的视频编码标准。

由于数字视频中存在着多种冗余数据，任何一种编码工具都不可能单独地实现高效的视频压缩。上世纪80年代发布的第一代视频编码标准H.261采用了一个包含预测、变换、量化和熵编码等多种压缩工具的混合视频编码框架，其能有效地去除数字视频中的时域、空域、视觉、信息熵等冗余，实现高效的视频数据压缩。因此，混合视频编码结构被后续每一代视频编码标准沿用至今。由国际电信联盟-电信标准化组织(InternationalTelecommunication Union-Telecommunication standardization sector,ITU-T)的视频编码专家组(Video Coding Experts Group,VCEG)和国际标准化组织/国际电工委员会(International Organization for Standardization/InternationalElectrotechnical Commission,ISO/IEC)的运动图像专家组(Moving Picture ExpertsGroup,MPEG)同共成立的视频编码联合工作组(Joint Collaborative Team on VideoCoding,JCT-VC)于2013年发布了高效视频编码(High Efficiency Video Coding,HEVC)标准第一版，其压缩性能较上一代标准H.264/AVC提高了一倍，目前HEVC的市场份额在逐年增加，过去几年已出现了一些针对HEVC编码器的编码优化方法。

视频编码中，量化参数(Quantization Parameter,QP)和拉格朗日乘子λ决定着编码视频的失真以及编码所需的比特数，它们之间有着紧密的关系。HEVC编码器采用分级的编码结构，编码帧的量化参数由其在图像组(Group of Picture,GOP)中的位置和编码器输入量化参数QP₀确定：QP_HM＝QP₀+ΔQP。HEVC低延时编码配置中，GOP大小为4，相应的ΔQP取值分别为3、2、3和1。然后，编码中采用的拉格朗日乘子由QP_HM计算得到：

这里的W_L是一个与编码帧所属层级相关的权重因子，其取值一定程度上考虑了不同层级编码帧的率失真重要性。另外，在HEVC的R-λ码率控制算法中，首先确定待编码帧或编码树单元(Coding Tree Unit,CTU)的拉格朗日乘子；然后量化参数由拉格朗日乘子λ计算：QP＝4.2005×ln(λ)+13.7122。

混合视频编码框架下，预测编码技术为编码器实现高效视频压缩作出了非常大的贡献，帧内预测和帧间预测有效地去除了视频数据中的空域和时域冗余，然而预测编码也造成了编码帧之间以及基本编码单元之间产生极大的率失真依赖性，即当前的编码决策会影响到后续编码过程可达到的最大率失真性能。有效地利用上述率失真依赖性进行自适应的比特资源分配能进一步提升编码器压缩性能，而比特资源分配可以通过调节编码过程中的量化参数和拉格朗日乘子来实现。

发明内容

本发明利用率失真依赖关系优化编码比特资源分配，提出了一种二次编码优化方法。

本发明的技术方案为：

二次编码优化方法，包括以下步骤：

S1、设置视频序列起始帧为I帧，层级设为Level 0，并作为一个单独的GOP；对起始帧I帧进行优化，具体为根据编码器的输入量化参数QP₀范围设置I帧量化参数QP_I：

S2、编码器读入一个GOP的待编码帧；

S3、第一次编码：采用HEVC默认设置的量化参数QP_HM,i对当前帧进行第一次编码，以得到当前帧的帧级时域影响因子k_i和帧内所有16×16像素块的块级时域影响因子k_B,j：

D_i和

分别是当前帧的编码失真和运动补偿预测误差；D_B,j和

分别是当前帧中第j个16×16像素块的编码失真和运动补偿预测误差；

S4、第一次编码结束后恢复编码器的参考列表信息，即第一次编码不输出当前帧的码流和存储重建图像，编码后重置编码器中图像链表到编码当前帧之前的状态，包括恢复图像链表中的参考帧标识；

S5、判断场景是否切换，若是，则进入步骤S6，若否，则进入步骤S7；判断方法是：若

并且p_i>10，则判定当前帧发生了场景切换，其中p_i是当前帧的平均运动补偿预测绝对误差，

是之前6帧的平均运动补偿预测绝对误差的均值；

S6、设置当前帧量化参数QP_i＝QP₀，然后进行编码，并按编码器默认的方式输出码流和存储重建图像，进入步骤S8；

S7、设置当前帧量化参数

其中QP_HM,i是当前帧在原始编码器中设置的量化参数，Round(·)为四舍五入运算符；若当前帧是关键帧，则增大QP_i造成的编码质量损失会因为关键帧对后续多帧的直接失真传播被成倍放大，从而节省的比特数不足以抵消编码质量的总损失，最终可能造成编码性能下降，因此当前步骤不对关键帧的量化参数进行调整；

由QP_i计算得到帧级拉格朗日乘子λ_p后，通过下面公式得到编码当前帧中每一个CTU的拉格朗日乘子λ_n和量化参数QP_n：

QP_n＝4.2005×ln(λ_n)+13.7122

其中M是第n个CTU中包括的16×16像素块个数，N是编码帧中CTU的个数，w_n、

和W_n为中间变量，采用计算得到的拉格朗日乘子λ_n以及量化参数QP_n编码当前帧中的每个CTU，并按编码器默认的方式输出码流和存储重建图像；

S8、判断被编码帧是否为视频序列最后一帧，若是，则编码结束；否则继续判断被编码帧是否为当前GOP中的最后一帧，若是，则回到步骤S2，否则回到步骤S3。

本发明的方案与传统方法的区别点包括：提出帧级时域影响因子k_i和块级时域影响因子k_B,j以度量率失真依赖性。优化视频序列起始I帧，I帧的编码质量决定了后续P/B帧编码可达到的最大率失真性能，适当改善I帧质量能为整个编码视频带来一定的率失真性能提升。由于高码率时率失真依赖性较弱，低码率时率失真依赖性较强，本发明根据编码器的输入量化参数QP₀范围设置I帧量化参数QP_I。采用简化的编码过程获得帧级时域影响因子k_i和块级时域影响因子k_B,j。为了降低运算复杂度，第一次编码的RDO模式选择过程跳过了大部分模式判断，仅采用64×64、32×32和16×16的帧间预测模式。根据是否发生场景切换，对编码帧采用不同的优化策略。

本发明的有益效果是：

通过简化的第一次编码得到当前帧与参考帧之间的率失真依赖强度，以及当前帧中各编码块对后续编码过程的率失真重要程度，进而用于指导第二次编码的帧级和CTU级编码资源优化。在HEVC编码器HM-16.7中，本发明在编码复杂度平均增加23％的情况下，在低延时B帧(LDB)和低延时P帧(LDP)两种编码配置中分别获得了平均5.1％和5.3％的码率节省。

附图说明

图1是本发明的主要的流程图；

图2是HEVC低延时编码中的参考关系举例示意图；

图3是本发明中的帧级时域影响因子k_i统计图；

图4是本发明中的块级时域影响因子k_B,j可视频化示例示意图；

图5是率失真曲线对比示意图；

图6是本发明相对HEVC编码器的编码时间增加和码率节省示意图。

具体实施方式

下面结合附图和仿真示例对本发明作进一步说明，并指出本发明的有效性。

实施例

实施例采用开发环境为Visual Studio 2013，实施例基于HEVC参考软件HM-16.7实现。

图1是二次编码优化方法的主要步骤流程图，具体而言包括：

步骤1：视频序列起始帧优化。根据编码器的输入量化参数QP₀范围设置I帧量化参数QP_I：

步骤2：以HM-16.7默认的方式读入一个GOP的待编码帧。

步骤3：采用简化的编码过程进行第一次编码。使用HEVC默认的量化参数设置和拉格朗日乘子计算方式对当前帧进行第一次编码，从而获得帧级和16×16像素块级的运动补偿预测误差、编码失真等信息，然后根据公式计算当前帧的帧级时域影响因子k_i和帧内所有16×16像素块的块级时域影响因子k_B,j。

步骤4：恢复参考列表等信息。第一次编码不输出当前帧的码流和存储重建图像，编码后重置编码器中图像链表到编码当前帧之前的状态，包括恢复图像链表中的参考帧标识。

步骤5：判断场景切换，若是则进入步骤6，否则进入步骤7。场景切换判断方法为：若

并且p_i>10，则判定为第i帧发生了场景切换，其中p_i是当前帧的平均运动补偿预测绝对误差，

是之前6帧的平均运动补偿预测绝对误差的均值。

步骤6：设置当前帧量化参数QP_i＝QP₀，然后进行编码，并按编码器默认的方式输出码流和存储重建图像。

步骤7：设置当前帧量化参数

其中QP_HM,i是当前帧在原始HEVC编码器HM中设置的量化参数，Round(·)为四舍五入运算符。需要说明的是，上述量化参数设置只对层级为2和3的编码帧操作，关键帧的量化参数保持原始HEVC编码器中的设置。

由QP_i计算得到帧级拉格朗日乘子λ_p后，通过下面公式得到编码当前帧中每一个CTU的拉格朗日乘子λ_n和量化参数QP_n：

QP_n＝4.2005×ln(λ_n)+13.7122

其中M是第n个CTU中包括的16×16像素块个数，N是编码帧中CTU的个数。最终，对于没有发生场景切换的情况，采用上述计算的拉格朗日乘子λ_n和量化参数QP_n编码当前帧中的每个CTU，并按编码器默认的方式输出码流和存储重建图像。

步骤8：判断被编码帧是否为视频序列最后一帧。“是”则编码结束；“不是”则判断被编码帧是否为当前GOP中的最后一帧。“是”则跳转至步骤2读取下一个GOP数据；“不是”则跳转至步骤3编码当前GOP中的下一帧。

本发明编码生成的比特流符合HEVC标准的句法格式，生成的比特流均可以被标准的HEVC解码器解码。按照HEVC通用测试条件进行编码实验，测试了LDB和LDP两种编码器配置，其参考关系如图2所示。从图3和图4可以看出，本发明提出的帧级时域影响因子k_i和块级时域影响因子k_B,j有效地表示了率失真依赖性。

图5为测试序列PartyScene在LDB和LDP编码配置中的率失真曲线对比，可以看出，本发明的率失真性能在低码率和高码率时都优于原始HEVC编码器HM-16.7。

图6为本发明相对原始HEVC编码器HM-16.7的编码时间增加和码率节省示意图，可以看出，在编码复杂度平均增加23％的情况下，本发明在LDB和LDP配置下分别获得了平均5.1％和5.3％的码率节省，显示了较大的率失真性能提升。

Claims (1)

1.二次编码优化方法，其特征在于，包括以下步骤：

S1、设置视频序列起始帧为I帧，层级设为Level 0，并作为一个单独的GOP；对起始帧I帧进行优化，具体为根据编码器的输入量化参数QP₀范围设置I帧量化参数QP_I：

S2、编码器读入一个GOP的待编码帧；

S3、第一次编码：采用HEVC默认设置的量化参数QP_HM,i对当前帧进行第一次编码，以得到当前帧的帧级时域影响因子k_i和帧内所有16×16像素块的块级时域影响因子k_B,j：

D_i和

分别是当前帧的编码失真和运动补偿预测误差；D_B,j和

分别是当前帧中第j个16×16像素块的编码失真和运动补偿预测误差；

S4、第一次编码结束后恢复编码器的参考列表信息，即第一次编码不输出当前帧的码流和存储重建图像，编码后重置编码器中图像链表到编码当前帧之前的状态，包括恢复图像链表中的参考帧标识；

S5、判断场景是否切换，若是，则进入步骤S6，若否，则进入步骤S7；判断方法是：若

并且p_i>10，则判定当前帧发生了场景切换，其中p_i是当前帧的平均运动补偿预测绝对误差，

是之前6帧的平均运动补偿预测绝对误差的均值；

S6、设置当前帧量化参数QP_i＝QP₀，然后进行编码，并按编码器默认的方式输出码流和存储重建图像，进入步骤S8；

S7、设置当前帧量化参数

其中QP_HM,i是当前帧在原始编码器中设置的量化参数，Round(·)为四舍五入运算符；

由QP_i计算得到帧级拉格朗日乘子λ_p后，通过下面公式得到编码当前帧中每一个CTU的拉格朗日乘子λ_n和量化参数QP_n：

QP_n＝4.2005×ln(λ_n)+13.7122

其中M是第n个CTU中包括的16×16像素块个数，N是编码帧中CTU的个数，w_n、

和W_n为中间变量，采用计算得到的拉格朗日乘子λ_n以及量化参数QP_n编码当前帧中的每个CTU，并按编码器默认的方式输出码流和存储重建图像；

S8、判断被编码帧是否为视频序列最后一帧，若是，则编码结束；否则继续判断被编码帧是否为当前GOP中的最后一帧，若是，则回到步骤S2，否则回到步骤S3。

Images