CN104796705B - 一种基于ssim的hevc视频编码率失真优化与码率控制算法 - Google Patents

Abstract

本发明公开了一种基于SSIM的HEVC视频编码率失真优化与码率控制算法，所述视频编码率失真优化算法采用了基于SSIM的视频评价方法，通过SSIM模型计算视频失真D_SSIM获取率失真优化模型的拉格朗日乘子λ；并由λ此计算视频编码中的率失真代价；所述码率控制算法采用了视频编码中的二次R‑Q模型，来表征视频编码码流中的纹理残差比特与边信息码率间的关系，以此计算率失真模型中的编码参数QP，以及编码过程中的视频序列特征参数α和β的更新值。本发明能在保持图像质量不变的情况下进一步降低码率，且所获得码流更加平稳。

Description

一种基于SSIM的HEVC视频编码率失真优化与码率控制算法

技术领域

本发明涉及视频编码码率控制技术领域，尤其是一种基于SSIM的HEVC视频编码率失真优化与码率控制算法。

背景技术

在视频编码与传输应用中，新一代高性能视频编码标准H.265/MPEG-H HEVC(HighEfficiency Video Coding)由ISO-IEC/MPEG和ITU-T/VCEG两大国际标准化组织成立的视频编码联合开发小组(JCT-VC)开发，与H.264/AVC相比，在相同的视觉质量下，HEVC能使比特率降低一半。

作为新一代视频编码标准，HEVC仍然属于预测加变换的混合编码框架，它也包含了帧内预测、帧间预测、正交变换、量化、滤波、熵编码等编码模块，但在各个编码环节都进行了细致的优化与改进，HEVC标准编码方法如附图1所示。在视频编码码率控制算法中，率失真R-D(Rate-Distortion)性能是需要考虑的问题。一个良好的码率控制算法可以在精确的达到目标码率的同时达到尽量小的编码失真。码率控制问题可以被转化成如公式(1)所示的率失真优化问题。

公式(1)

通过这个优化问题编码器将在编码比特数不超过目标比特数的情况下，选择使失真最小化的参数作为最优的编码参数。其中{Para}表示编码参数集合，包括模式、运动信息、量化参数QP等。

公式(1)中的λ是拉格朗日乘子，表示R-D曲线的斜率绝对值。视频编码提供了很大的编码灵活性，编码器可以自由的选择各种编码参数的组合。选择不同的参数会对最终视频的编码比特率产生非常重要的影响。因此，码率控制算法会使得编码器在一些离散的合法的编码参数集合中选择合适的编码参数，进而达到目标码率。

HEVC使用双曲线模型来精确刻画编码算法中的R-D码率失真模型。如公式(2)所示，其中D表示经过压缩编码后的视频失真；R表示压缩后的比特率，以每像素消耗比特bpp(bit per pixel)为单位；C和K是和序列特性相关的模型参数，不同的视频序列C、K的取值不同。

公式(2)D(R)＝CR^-K。

在码率控制时，HEVC采用了一种新颖的基于R-λ模型的λ域码率控制算法。在这种码率控制算法中，在R-D码率失真模型的基础上通过码率R和编码使用的拉格朗日乘子λ之间建立数学关系，并利用调整λ的方法达到所期望的目标码率。如公式(3)所示，可以通过该公式计算拉格朗日乘子λ，其中α＝CK，β＝-K-1。因此α和β这两个参数也与序列的特性相关，不同序列具有不同的取值。

公式(3)

由公式(3)进一步得到码率R与λ关系，如公式(4)所示。

公式(4)。

由公式(4)可知码率R完全由拉格朗日乘子λ所决定。λ与R-D曲线的关系示意图如附图2所示。λ是由所有实际工作点的凸包络决定的R-D曲线的斜率绝对值，码率R和拉格朗日乘子λ之间存在着一一对应关系。由于R-D曲线是凸函数，基于某个λ值计算最小化公式(1)等效于使用斜率绝对值为λ值的直线去逼近R-D曲线，而此直线仅会和R-D曲线相切于一点。因此，λ值能够决定码率R和视频失真D。

在码率控制过程中，HEVC根据缓冲区的占有情况在对每一级别的编码单元分配合适数量的比特，通常包括图片组GOP(Group ofPictures)级、图片级和基本单元级(CodingUnit)。为了达到所分配的某个目标码率R，编码器将根据公式(3)决定相关联的λ值，并将其用于编码过程。当编码使用的λ值确定后，所有其他的编码参数均应由率失真优化RDO(Rate-Distortion Optimization)决定。

QP是率失真优化问题中待优化的编码参数之一。通常，可以通过多QP优化(Multiple-QP Optimization)的方式确定最优的QP。在多QP优化中，通常以公式(5)作为优化目标。

公式(5)。

{QP_i}是待选QP的集合。理想情况下，{QP_i}可以包含所有允许的QP值，在HEVC中可选的QP值包括从0到51共52个。但如果编码器尝试所有可能的QP值，会极大的增加编码端的复杂度。因此即使使用多QP优化的方法，也仅会根据经验包含有限的几个QP值。

由于编码端复杂度和使用的QP数量成正比，为了在不增加编码端复杂度的情况下，即在不使用多QP优化的情况下提升编码的率失真性能，HEVC基于不同测试序列的实验，利用最优的QP值和ln(λ)之间的线性关系，对编码中所使用的QP值进行修正，如公式(6)所示。然后利用修正后的QP值进行编码。

公式(6)QP＝a×ln(λ)+b。

在公式(6)中，斜率a为4.2005，截距b取值13.7122，这两个参数是基于不同的测试序列，经过实验拟合后的平均值。

在公式(3)中，由于在不同编码序列的情况下，模型可能会拥有完全不相同的α和β值，即使对于同一序列，处于不同级别的图片也可能拥有完全不相同的α和β值。因此在一个编码单元或者一幅图片编码完成后，我们需要使用实际编码得到的码率和实际编码中使用的λ值对α和β值进行更新。为了使α和β值可以随着视频序列的特性自适应更新，HEVC采用如下模型更新算法，如公式(7)，公式(8)与公式(9)所示。

公式(7)。

公式(8)α_new＝α_old+δ_α×(Inλ_real-Inλ_comp)×α_old。

公式(9)β_new＝β_old+δ_β×(Inλ_real-Inλ_comp)×InR_real。

在更新算法中α_old和β_old分别表示原来编码过程中使用的α和β；R_real表示编码后实际的码率；λ_comp表示基于实际码率计算所得到的λ值；λ_real表示原来编码时使用的λ值；δ_α和δ_β分别为利用最小均方误差LMS方法进行一次迭代所使用的迭代步长；α_new和β_new为更新后的模型参数。

发明内容

本发明的目的是提供一种基于SSIM的HEVC视频编码率失真优化与码率控制算法，该方法能在保持同等视觉质量的同时降低码率。算法利用符合视觉特性的基于结构相似度(SSIM，Structural Similarity)的图像与视频评价方法，结合率失真模型获得拉格朗日乘子λ与量化参数QP，并设计一种新的模型参数更新算法，完成基于SSIM的HEVC视频编码率失真优化与码率控制算法。

本发明采用以下技术方案。

一种基于SSIM的HEVC视频编码率失真优化与码率控制算法，所述视频编码率失真优化算法采用了基于SSIM的视频评价方法，通过SSIM模型计算视频失真D_SSIM获取率失真优化模型的拉格朗日乘子λ；并由λ此计算视频编码中的率失真代价；所述码率控制算法采用了视频编码中的二次R-Q模型，来表征视频编码码流中的纹理残差比特与边信息码率间的关系，以此计算率失真模型中的编码参数QP，以及编码过程中的视频序列特征参数α和β的更新值。

所述视频编码率失真优化算法，计算视频失真的方法为：

设视频中某一场景画面以码率R编码前后，相同对应区域为x、y，其中μ_x、μ_y分别为x、y的均值，体现了图像的亮度信息；σ_x、σ_y为x、y的方差，反映其对比度信息；σ_xy为x、y的相关系数，反映其结构信息的相似性；c₁与c₂是两个很小的正数，以避免分母为零或者接近零时造成的奇异性；则x、y区域上的结构相似度SSIM计算方法如公式(10)所示。

公式(10)

对应的视频失真D_SSIM计算公式为公式(11)D_SSIM＝1-SSIM。

计算率失真代价的方法为，设与该视频的序列特性相关模型参数为C和K，α＝CK，β＝-K-1。

则由率失真RD模型获得的拉格朗日乘子λ如公式(13)所示。

公式(13)。

进一步得出率失真代价J的计算公式(14)J＝D_SSIM+λR。

所述码率控制算法计算率失真模型中的编码参数QP的方法为：

设R_i为编码视频片段的目标码率；为边信息码率的预测值，建立二次R-Q模型，模型中b₁与b₂为模型参数，MAD为原始帧与预测帧差值的绝对值平均，Q_step为量化步长，基于视频图像的时空相关性，使用之前已编码帧对应位置的边信息码率进行预测，取R_i与的差值作为当前编码单元的纹理残差比特数，以公式(15)描述为：

公式(15)。

以公式(15)计算Q_step，以公式(16)计算QP；

公式(16)QP＝6log₂Q_step+4。

所述码率控制算法计算编码过程中的视频序列特征参数α和β更新值的方法依次包括以下步骤：

A、设原编码过程中使用的参数分别为α_old和β_old，当编码目标码率为R_i时，以公式(17)预测计算编码失真D_{SSIM_old}。

公式(17)。

B、设以D_{SSIM_real}描述实际编码失真，进一步以公式(18)描述经过编码后得到的码率R_real。

公式(18)。

C、对公式(18)两边取对数得公式(19)ln D_{SSIM_real}＝lnα-βR_real。

以公式(20)表述理论失真与实际失真的平方识差。

公式(20)e²＝(lnD_{SSIM_old}-lnD_{SSIM_real})²。

D、以最小均方误差法进行迭代，如公式(21)所述。

公式(21)lnα_new＝lnα_old+δ_α(ln D_{SSIM_old}-ln D_{SSIM_real})。

由公式(21)得α的更新值α_new＝。

α_new＝如公式(22)所述。

由此得β的更新值β_new＝如公式(23)所述。

公式(23)β_new＝β_old-δ_β(ln D_{SSIM_old}-ln D_{SSIM_real})R_real。

本发明基于视觉特性来评估视频压缩效果，基于视觉特性的率失真优化能在编码过程中，在同等的压缩码率下提高视频的视觉质量。

本发明的码率控制算法，采用二次R-Q模型来表征纹理残差比特与边信息码率间的关系，以此计算量化参数QP，并设计的模型特征参数α和β的更新算法，使HEVC码率控制更为精准。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是HEVC标准编码方法的示意图；

附图2是拉格朗日乘子λ与R-D曲线的关系示意图。

具体实施方式

一种基于SSIM的HEVC视频编码率失真优化与码率控制算法，所述视频编码率失真优化算法采用了基于SSIM的视频评价方法，通过SSIM模型计算视频失真D_SSIM获取率失真优化模型的拉格朗日乘子λ；并由λ此计算视频编码中的率失真代价；所述码率控制算法采用了视频编码中的二次R-Q模型，来表征视频编码码流中的纹理残差比特与边信息码率间的关系，以此计算率失真模型中的编码参数QP，以及编码过程中的视频序列特征参数α和β的更新值。

所述视频编码率失真优化算法，计算视频失真的方法为：

设视频中某一场景画面以码率R编码前后，相同对应区域为x、y，其中μ_x、μ_y分别为x、y的均值，体现了图像的亮度信息；σ_x、σ_y为x、y的方差，反映其对比度信息；σ_xy为x、y的相关系数，反映其结构信息的相似性；c₁与c₂是两个很小的正数，以避免分母为零或者接近零时造成的奇异性；则x、y区域上的结构相似度SSIM计算方法如公式(10)所示。

公式(10)

对应的视频失真D_SSIM计算公式为公式(11)D_SSIM＝1-SSIM。

计算率失真代价的方法为，设与该视频的序列特性相关模型参数为C和K，α＝CK，β＝-K-1。

则由率失真RD模型获得的拉格朗日乘子λ如公式(13)所示。

公式(13)。

进一步得出率失真代价J的计算公式(14)J＝D_SSIM+λR。

所述码率控制算法计算率失真模型中的编码参数QP的方法为：

设R_i为编码视频片段的目标码率；为边信息码率的预测值，建立二次R-Q模型，模型中b₁与b₂为模型参数，MAD为原始帧与预测帧差值的绝对值平均，Q_step为量化步长，基于视频图像的时空相关性，使用之前已编码帧对应位置的边信息码率进行预测，取R_i与的差值作为当前编码单元的纹理残差比特数，以公式(15)描述为：

公式(15)。

以公式(15)计算Q_step，以公式(16)计算QP；

公式(16)QP＝6log₂Q_step+4。

所述码率控制算法计算编码过程中的视频序列特征参数α和β更新值的方法依次包括以下步骤：

A、设原编码过程中使用的参数分别为α_old和β_old，当编码目标码率为R_i时，以公式(17)预测计算编码失真D_{SSIM_old}。

公式(17)。

B、设以D_{SSIM_real}描述实际编码失真，进一步以公式(18)描述经过编码后得到的码率R_real。

公式(18)。

C、对公式(18)两边取对数得公式(19)ln D_{SSIM_real}＝ln α-βR_real。

以公式(20)表述理论失真与实际失真的平方识差。

公式(20)e²＝(lnD_{SSIM_old}-lnD_{SSIM_real})²。

D、以最小均方误差法进行迭代，如公式(21)所述。

公式(21)lnα_new＝lnα_old+δ_α(ln D_{SSIM_old}-ln D_{SSIM_real})。

由公式(21)得α的更新值α_new＝。

α_new＝如公式(22)所述。

由此得β的更新值β_new＝如公式(23)所述。

公式(23)β_new＝β_old-δ_β(ln D_{SSIM_old}-ln D_{SSIM_real})R_real。

实施例：

使用H.265对某个未压缩的原始视频进行编码，在码率控制过程中，先预设目标码率，对于每个编码单元，本算法先采用二次R-Q模型计算量化参数QP；其他编码参数则使用SSIM进行率失真优化获得；在编码完成后，更新视频序列特征参数α和β值，并将其用于下一编码单元的码率控制。本算法与H.265原编码算法相比，能在保持图像质量不变的情况下进一步降低码率，在保证视频画质的同时降低数据存储空间与传输带宽，且所获得码流更加平稳，完全兼容H.265标准。

Claims (1)

1.一种基于SSIM的HEVC视频编码率失真优化与码率控制算法，其特征在于：

所述视频编码率失真优化算法采用了基于SSIM的视频评价方法，通过SSIM模型计算视频失真D_SSIM获取率失真优化模型的拉格朗日乘子λ；并由此计算视频编码中的率失真代价；

设R_i为编码视频片段的目标码率；为边信息码率的预测值，建立二次R-Q模型，模型中b₁与b₂为模型参数，MAD为原始帧与预测帧差值的绝对值平均，Q_step为量化步长，基于视频图像的时空相关性，使用之前已编码帧对应位置的边信息码率进行预测，取R_i与的差值作为当前编码单元的纹理残差比特数；

以公式(15)描述为；

公式(15)

所述码率控制算法采用了视频编码中的二次R-Q模型，来表征视频编码码流中的纹理残差比特与边信息码率间的关系，以此计算率失真模型中的编码参数QP，以及编码过程中的视频序列特征参数α和β的更新值；

所述视频编码率失真优化算法，计算视频失真的方法为；

设视频中某一场景画面以码率R编码前后，相同对应区域为x、y，其中μ_x、μ_y分别为x、y的均值，体现了图像的亮度信息；σ_x、σ_y为x、y的方差，反映其对比度信息；σ_xy为x、y的相关系数，反映其结构信息的相似性；c₁与c₂是两个很小的正数，以避免分母为零或者接近零时造成的奇异性；则x、y区域上的结构相似度SSIM计算方法如公式(10)所示；

公式(10)

对应的视频失真D_SSIM计算公式为公式(11)D_SSIM＝1-SSIM；

计算率失真代价的方法为，设与该视频的序列特性相关模型参数为C和K，α＝CK，β＝-K-1；

则由率失真RD模型获得的拉格朗日乘子λ如公式(13)所示；

公式(13)

进一步得出率失真代价J的计算公式(14)J＝D_SSIM+λR。