CN105681797A - 一种基于预测残差的dvc-hevc视频转码方法 - Google Patents

Abstract

本发明提供了一种基于预测残差的DVC-HEVC视频转码方法，主要涉及转码器中HEVC编码方式的划分。在编码方式划分中，利用DVC解码端生成的WZ帧的边信息与当前HEVC编码帧(即WZ帧的重建帧)二者相减获得的预测残差，通过此预测残差来快速确定CU的划分模式，从而跳过HEVC编码模块中复杂的逐层率失真优化过程。本发明根据当前预测残差的离散度与阈值之间的关系进行条件判决，确定是否继续进行CU划分，快速确定CU分块模式，从而有效的降低了编码端的计算复杂度。实验结果表明，本发明在编码效率和峰值信噪比(PSNR)损失都很小的情况下，和HM16.5标准方法相比，大大降低了编码时间。

Description

一种基于预测残差的DVC-HEVC视频转码方法

技术领域

本发明涉及图像通信领域中的视频转码技术问题，尤其是涉及一种分布式视频编码(DVC)到HEVC标准之间的视频转码技术。

背景技术

随着移动通信和数字视频技术的迅猛发展，新兴移动通信设备的视频通信应用越来越广泛，如移动视频通话，移动远程现场指挥，远程2D/3D视频场景共享，无人机视频监控等。随着人们对随时随地利用移动设备进行实时视频通信的需求不断增加、对视频质量的要求日益提高，视频压缩编码对设备计算能力提出了更高的要求，视频的压缩效率与设备功耗的矛盾越发突出。

近年来，传统视频编码标准从H.264/AVC逐步发展到HEVC(HighEfficiencyVideoCoding)，在提升压缩率的同时也增加了编码计算复杂度，这对移动设备编码端的计算能力和功耗带来了巨大的挑战。2002年以来，分布式视频编码(DistributedVideoCoding,DVC)凭借其编码复杂度低、误码鲁棒性好、理论上与传统编码技术相似的压缩效率等特点受到越来越广泛的重视。然而DVC技术虽简化了编码端，但计算的重任却落在了解码端。因此，基于DVC-传统视频标准转码的视频通信框架应运而生。此视频通信转码框架通过将复杂的视频帧间相关性挖掘工作转移到转码服务器，有效地将DVC技术与传统视频编码标准结合起来，实现视频通信双方的低复杂度高效编码。

目前学术界关于如何从DVC向传统视频标准转码已经开展了大量工作，并且大多数已经取得了良好的进展。Jae-YungLee等提出了DVC转码到传统的VC-1视频编码标准的快速运动矢量模式选择算法，加快了VC-1视频编码的速度。AiguoYi等人通过对DVC解码端信息的重利用加速了AVS的运动估计过程，实现了DVC到AVS的快速转码。北京邮电大学的孙思阳研究了从DVC到H.264视频转码中各个模块的具体实现，取得了较好的转码效果。Kao等提出了基于JND(JustNoticeableDistortion)模型的感知无损DVC-H.264视频转码技术，实现了转码系统整体率失真性能的提升。上述方法都能在一定程度上加速DVC-传统视频标准转码过程，但是关于DVC转码到最新的传统视频编码标准HEVC的相关研究工作较少。

发明内容

本发明的目的是加快DVC-HEVC转码器中HEVC编码过程，本发明利用预测残差的大小和分布与CU分块之间的关系，提出了一种基于预测残差的DVC-HEVC视频转码方法，相比HEVC视频编码标准，本发明的方法在编码效率和峰值信噪比损失都很小的情况下，能较大幅度地降低视频编码的计算复杂度。

本发明的基本思想是利用预测残差与CU分块的相关性，利用DVC解码端生成的WZ帧的边信息作为当前HEVC编码帧(即WZ帧的重建帧)的预测值，二者的残差即为预测残差，通过此预测残差来快速确定CU的划分模式，从而跳过HEVC编码模块中复杂的逐层率失真优化过程，进而达到降低计算复杂度的目的。

由于视频序列中相邻帧的图像之间存在非常高的相似性，帧间预测通过相邻视频帧的时间相关性，在相邻已解码帧的基础上通过运动估计和运动补偿得到当前CU最匹配的区域，传统的预测残差即为最佳匹配区域与当前待编码CU的差值。通过实验我们发现，预测残差值的大小和分布与HEVC帧间预测中CU的划分有很大的关系。一般情况下，预测残差小的图像区域CU分块较大，预测残差较大且分布不均匀的CU分块较小。因此，可以将预测残差值的大小和分布情况作为CU分块模式选择的依据。

预测残差图像的分布情况可以用残差数据的差异度(即离散度)来衡量，差异越小，残差分布越均匀。一般情况下，如果残差变化较小的区域，离散度也较小，CU分块也较小；如果残差变化较大的区域，离散度也较大，CU分块通常情况下也较小。本发明选择残差数据的标准差作为离散度的度量，根据标准差与对应阈值的比较结果提前确定该CU是否继续往下划分。

在DVC-HEVC转码器设计中，提高转码实时性的关键步骤是DVC解码重建帧再进行HEVC编码的过程，因此如何利用DVC解码过程中产生的信息加速HEVC编码过程是转码器设计的关键环节。在DVC的解码过程中，利用已解码前一帧通过运动估计和运动补偿等技术可以生成当前待解码帧的边信息，即当前待解码帧的预测帧。本发明利用DVC解码端生成的边信息代替HEVC待编码帧的预测帧，通过边信息与解码重建帧作差得到预测残差帧，再利用上述提到的标准差std作为CU分块的参数，通过比较当前CU分块模式下残差图像的离散度std与给定阈值的关系，判断是否继续进行CU的划分，如果std大于给定阈值，则继续划分成更小的CU块；反之，若std小于给定阈值，则停止CU的继续划分，选择当前CU分块大小为最终分块模式，继续进行PU模式的选择，并完成剩下的编码流程。通过本发明的方法，可以跳过HEVC编码模块中计算复杂度较高的逐层率失真优化过程，从而达到降低HEVC编码复杂度的目的。

具体主要包括以下过程步骤：

(1)对Wyner-Ziv码流进行解码，并利用解码后的前一帧生成边信息；

(2)将DVC解码端生成的WZ帧的边信息作为当前编码帧的预测帧并与当前HEVC编码帧作差，得到预测残差图像；

(3)将步骤(2)中得到预测残差图像划分成LCU(64×64)，并计算预测残差在LCU下的标准差std64，将得到的std64与给定的阈值Th64进行比较，若大于给定阈值，则进入步骤(4)，否则，进入步骤(7)；

(4)将LCU继续划分成32×32的块，并计算预测残差在32×32CU分块模式下的标准差std32，将得到的std32与给定阈值Th32比较，若大于给定阈值，则进入步骤(5)，否则，进入步骤(7)；

(5)继续划分成16×16的块，并计算预测残差在16×16CU分块模式下的标准差std16，将得到的std16与给定阈值Th16比较，若大于给定阈值，则进入步骤(6)，否则，进入步骤(7)；

(6)继续划分成8×8的CU块；

(7)将当前CU尺寸确定为最终CU分块模式，CU分块模式完成并进入PU模式的选择，完成编码过程。

本发明改进的是整个DVC-HEVC转码器中HEVC视频编码中计算复杂度最高的地方。在整个HEVC视频编码过程中，CTU的递归划分占计算复杂度的90％以上，本发明最关键的是根据预测残差图像的离散度快速进行CU划分模式的选择，因此，在计算复杂度方面，本发明方法着眼于HEVC视频编码过程中计算复杂度改进最关键之处。

附图说明

图1为本发明基于预测残差的DVC-HEVC视频转码方法系统框图。

图2-a～图2-b为预测残差图像与CU分块的关系示意图，其中，2-a为边信息与待编码帧的作差得到的预测残差图像，图2-b为对应的CU分块图像；

图3为本发明的基于预测残差的DVC-HEVC视频转码方法的流程图；

图4～7为本发明方法与HEVC参考软件HM16.5的率失真曲线图，其中，图4为Foreman的率失真曲线；图5为BasketballDrill的率失真曲线；图6为BQMall的率失真曲线；图7为Johnny的率失真曲线。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

图3中，基于预测残差的DVC-HEVC视频转码方法，包括以下步骤：

(1)对Wyner-Ziv码流进行解码，并利用解码后的前一帧生成边信息；

(2)将DVC解码端生成的WZ帧的边信息作为当前编码帧的预测帧并与当前HEVC编码帧作差，得到预测残差图像；

(3)将步骤(2)中得到预测残差图像划分成LCU(64×64)，并计算预测残差在LCU下的标准差std64，将得到的std64与给定的阈值Th64进行比较，若大于给定阈值，则进入步骤(4)，否则，进入步骤(7)；

(4)将LCU继续划分成32×32的块，并计算预测残差在32×32CU分块模式下的标准差std32，将得到的std32与给定阈值Th32比较，若大于给定阈值，则进入步骤(5)，否则，进入步骤(7)；

(5)继续划分成16×16的块，并计算预测残差在16×16CU分块模式下的标准差std16，将得到的std16与给定阈值Th16比较，若大于给定阈值，则进入步骤(6)，否则，进入步骤(7)；

(6)继续划分成8×8的CU块；

(7)将当前CU尺寸确定为最终CU分块模式，CU分块模式完成并进入PU模式的选择，完成编码过程。

具体地，所述步骤(1)中，采用的是基于多分辨率运动细化(MRMR)的小波域DVC框架。

所述步骤(2)中，结合转码流程可知，当前HEVC编码帧是经过DVC解码后WZ帧的重建帧。由于在DVC编码时对K帧采用的HEVC编码，因此，在转码时不需要再对K帧进行编码。

所述步骤(3)、(4)、(5)中，阈值采用离线训练的方法获得。本文利用视频的时间相关性，通过运动估计从相邻参考帧得到当前CU的最匹配区域，并得到残差图像，统计残差图像中各个最佳编码尺寸CU的STN_N×N,n(其中N为CU的大小，N＝64,32,16,8，n为不同CU的数量)，计算STN_N×N,n的平均值通过大量实验训练，最终的阈值选取为Th_N＝Weight*meanSTD_N×N，其中， $Weight=\left\{\begin{array}{cc}0.6& (N=64)\\ 0.4& (N=32)\\ 0.35& (N=16)\\ 0.4& (N=8)\end{array}\right..$

为了证明本发明的算法的有效性，我们对其进行了实验验证，其结果如图2和图4～7所示。其中，图2为预测残差图像与CU分块的关系示意图，2-a为边信息与待编码帧的作差得到的预测残差图像，图2-b为对应的CU分块图像，从图2可以看出，CU分块模式与预测残差图像的大小和分布情况密切相关；图4～7为本发明的基于边信息质量的DVC-HEVC视频转码方法与HEVC参考软件HM16.5的率失真曲线对比结果，比较的具体过程如下：

(1)对视频序列进行DVC编解码，视频序列选择标准的HEVC测试视频，它们的名称、分辨率和帧率分别为：Foreman(352×288，30帧/秒)，BQMall(832×480，60帧/秒)、BasketballDrill(832×480，50帧/秒)、Johnny(1280×720，60帧/秒)。其中，K帧的量化步长(QP)值分别取22、26、30、34，WZ帧的量化步长取30。将每个K帧量化步长对应下的DVC解码帧和边信息分别存储为YUV序列。

(2)同时打开两个方法的程序并设置好相同的配置文件，参考软件选择HM16.5，量化步长(QP)值分别取22、26、30、34。本发明将与HEVC视频编码标准的参考软件算法HM16.5的方法进行比较。并对其三种视频编码性能：峰值信噪比(PSNR)、比特率以及编码时间(其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度)，进行比较分析，比较性能的差距用以下三个指标进行评价：

ΔPSNR＝PSNR_trans-PSNR_HM

$\mathrm{\Δ}BR=\frac{{\mathrm{BR}}_{trans}-{\mathrm{BR}}_{HM}}{{\mathrm{BR}}_{HM}}\×100\%$

$\mathrm{\Δ}T=\frac{T_{trans}-T_{HM}}{T_{HM}}\×100\%$

其中，ΔPSNR表示本发明的方法与HM16.5标准方法峰值信噪比的差值，ΔBR表示本发明的方法与HM16.5标准方法比特率差值的百分率，ΔT表示本发明的方法与HM16.5标准方法时间差值的百分率。

(3)输入2个相同的步骤1中得到的DVC重建视频序列；

(4)分别对2个相同的视频序列进行视频编码；

(5)利用HM16.5标准方法对视频序列在HEVC方式下进行视频编码；

(6)利用本发明方法对视频序列在HEVC方式下进行视频编码；

(7)两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间，上述3个指标的结果如表1-3所示，统计显示本发明方法与HEVC标准方法在比特率方面变化了1.5605％～6.5131％，在PSNR方面降低了0.0152dB～0.2676dB，在编码计算复杂度方面降低了49.25％～88.50％。从总体来看，本发明方法与HEVC视频编码标准方法相比，在视频压缩率(由比特率下降程度来体现)和视频质量(由PSNR值得下降程度来体现)损失很小的前提下，较大程度地降低了视频编码的计算复杂度(由编码时间下降程度来体现，如表1～3所示)。

表1本发明算法与HM16.5标准算法比特率的比较

表2本发明算法与HM16.5标准算法之间PSNR值的比较

表3本发明算法与HM16.5标准算法之间视频编码时间的比较

Claims (5)

1.一种基于预测残差的DVC-HEVC视频转码方法，其特征在于主要包括以下过程步骤：

(1)对Wyner-Ziv码流进行解码，并利用解码后的前一帧生成边信息；

(2)将DVC解码端生成的WZ帧的边信息作为当前编码帧的预测帧并与当前HEVC编码帧作差，得到预测残差图像；

(3)将步骤(2)中得到预测残差图像划分成LCU(64×64)，并计算预测残差在LCU下的标准差std64，将得到的std64与给定的阈值Th64进行比较，若大于给定阈值，则进入步骤(4)，否则，进入步骤(7)；

(4)将LCU继续划分成32×32的块，并计算预测残差在32×32CU分块模式下的标准差std32，将得到的std32与给定阈值Th32比较，若大于给定阈值，则进入步骤(5)，否则，进入步骤(7)；

(5)继续划分成16×16的块，并计算预测残差在16×16CU分块模式下得标准差std16，将得到的std16与给定阈值Th16比较，若大于给定阈值，则进入步骤(6)，否则，进入步骤(7)；

(6)继续划分成8×8的CU块；

(7)将当前CU尺寸确定为最终CU分块模式，CU分块模式完成并进入PU模式的选择，完成编码过程。

2.如权利要求1所述的基于预测残差的DVC-HEVC视频转码方法,其特征在于在步骤(2)中转码时不需要再对K帧进行转码。

3.如权利要求1所述的基于预测残差的DVC-HEVC视频转码方法,其特征在于在步骤(2)中将DVC解码端生成的边信息与当前HEVC编码帧作差，得到预测残差图像。

4.如权利要求1所述的基于预测残差的DVC-HEVC视频转码方法,其特征在于在步骤(3)(4)(5)中所述的根据在当前分块下预测残差的标准差与给定阈值的关系，判断是否继续进行CU划分，而跳过了原算法中复杂的逐层率失真优化过程，阈值的计算采用离线训练得到，具体计算方法如下：

本文利用视频的时间相关性，通过运动估计从相邻参考帧得到当前CU的最匹配区域，并得到残差图像，统计残差图像中各个最佳编码尺寸CU的STN_N×N,n(其中N为CU的大小，N＝64,32,16,8，n为不同CU的数量)，计算STN_N×N，n的平均值通过大量实验训练，最终的阈值选取为Th_N＝Weight*meanSTD_N×N，其中，

$Weight=\left\{\begin{array}{cc}0.6& (N=64)\\ 0.4& (N=32)\\ 0.35& (N=16)\\ 0.4& (N=8)\end{array}\right..$

5.一种用于执行权利要求1-4之一所述基于预测残差的DVC-HEVC视频转码方法的视频转码器。