CN109587487B - 一种对rdo策略的结构性失真度的评估方法及系统 - Google Patents

Abstract

本发明公开了一种对RDO策略的结构性失真度的评估方法及系统，该方法包括如下步骤：步骤一，计算当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差；步骤二，根据获得当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差利用预先分级建模的模型进行判断，确定对应的模型；步骤三，根据确定的模型，确定RDO策略的失真度计算方式，本发明对基于SSD计算的RDO策略模式选择方法，在结构性失真度缺失方面进行了有效的补偿，并可以针对不同的情况采用灵活的优化策略。

Description

一种对RDO策略的结构性失真度的评估方法及系统

技术领域

本发明涉及视频图像处理领域，特别是涉及一种对基于SSD(Sum of SquaredDifference，差分平方和)方法的RDO(Rate Distortion Optimization，率失真优化)策略的结构性失真度的评估方法及系统。

背景技术

在现有主流视频编码器的方案中，均采用基于Lagrangian(拉格朗日)优化算法的率失真编码模式控制模型来实现视频编码的模式控制策略，考虑K个信源样本值的集合S＝(S₁,...,S_K)，宏块S_k的Lagrangian代价函数如下：

J_MODE(S_k,I_k|Q,λ_MODE)＝D_REC(S_k,I_k|Q)+λ_MODE×R_REC(S_k,I_k|Q,λ_MODE)

其中，I_k为相应宏块的编码模式，Q为量化参数，λ_MODE为Lagrangian参数。 D_REC为编码失真度，R_REC为编码后码流的码率。

失真度D_REC的计算一般有2种计算方式，即绝对差分和SAD(Sum of AbsoluteDifference，绝对差分和)以及差分平方和SSD(Sum of Squared Difference，差分平方和)：

其中，A为当前宏块，s[x,y,t]为当前编码宏块的像素值，p[x,y,t]为当前编码宏块相应的预测值，r[x,y,t]为当前编码宏块相应的重建值。

SAD只需要计算当前编码宏块和预测值之间的残差，计算过程简单，SSD 的残差计算需要重建值，而重建值的获取需要经过预测、频域正变换、量化、反量化、频域逆变换、重建等一系列复杂的AVC(Advanced Video Coding，高级视频编码)编码计算过程，但是，SSD相比SAD更加准确地反应了编码失真度，模式选择的准确度显著提升，编码性能也得到相应的提升。

但是，无论是基于SAD还是基于SSD的失真度计算，作为一个客观评价指标，都无法有效的在主观上真实的反映图像的失真程度，基于SSD计算的RDO (Rate DistortionOptimization，率失真优化)模式选择策略，也只是基于先验知识的全局性指标，无法有效地适应图像在局部上的丰富特性，例如，图像的亮度变化，局部纹理的复杂程度，运动丰富的局部前景和基本静止的全局背景等等。

因此，后续又陆续提出基于结构相似度SSIM(Structural Similarity，结构相似度)等方法，均旨在保证客观指标PSNR(Peak Signal to Noise Ratio，峰值信噪比)的基础上，希望能从客观指标上反映出主观体验的差别性。

目前，基于SSD和SSIM的主观质量评价方法，是编码器普遍采用的评估方法，但是，两者各有其应用局限，例如，SSD无法有效区分编码过程中，图像结构性失真的发生，而使用SSIM的计算也无法替换SSD作为RDO策略中失真的度量标准。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种对RDO策略的结构性失真度的评估方法及系统，其通过量化损失分级建模的方法，将SSD 和SSIM的两个方法有效的结合到一起，对基于SSD计算的RDO策略模式选择方法，在结构性失真度缺失方面进行了有效的补偿，并可以针对不同的情况采用灵活的优化策略。

为达上述目的，本发明提出一种对RDO策略的结构性失真度的评估方法，包括如下步骤：

步骤一，计算当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差；

步骤二，根据获得当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差利用预先分级建模的模型进行判断，确定对应的模型；

步骤三，根据确定的模型，确定RDO策略的失真度计算方式。

进一步地，于步骤一之前还包括根据量化损失分级建模的步骤。

进一步地，所述根据量化损失分级建模的步骤根据量化损失分级建立合理量化模型与强量化模型。

进一步地，所述合理化模型的量化指标为：

E(y)＝E(x)

其中，E(y)、E(x)为当前块y，重构块x的期望值，

为当前块y、重构块x和量化误差e的方差。

进一步地，所述强量化模型的量化指标为：

其中

其中，δ_xe为变量x与e的协方差，δ_xy为变量x与y的协方差。

进一步地，若确定为合理量化模型，则基于SSD或SSIM计算RDO策略的结构性失真度。

进一步地，若确定为强量化模型，则基于SSIM计算RDO策略的结构性失真度。

进一步地，所述根据量化损失分级建模的步骤还建立过量化模型，所述过量化模型的量化指标为：E(y)≠E(x)。

进一步地，若为强量化模型，则无需再进行失真度计算。

为达到上述目的，本发明还提供一种对RDO策略的结构性失真度的评估系统，包括：

参数计算单元，用于计算当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差

判断单元，用于根据获得当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差利用预先分级建模的模型进行判断，确定对应的模型

判断处理单元，根据确定的模型，确定RDO策略的失真度计算方式。

与现有技术相比，本发明一种对RDO策略的结构性失真度的评估方法及系统通过量化损失分级建模的方法，将SSD和SSIM的两个方法有效的结合到一起，以自适应RDO的方式调节编码器模式选择的策略，在保持原本基于SSD 计算的RDO模式选择策略进行了优化，对强量化和过度量化造成的图像损失进行了相应的有效抑制。

附图说明

图1为本发明一种对RDO策略的结构性失真度的评估方法的步骤流程图；

图2为本发明一种对RDO策略的结构性失真度的评估系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

本发明采用对量化损失程度的分级建模的方法，可以在编码器模式选择的 RDO策略中，有效解决诸多SSD计算无法解释并解决的难题，例如：为什么 SSD值的大小不能反映图像的主观失真度？为什么SSIM的方法能有效评估图像的结构化失真度？SSIM方法如何有效的融入基于SSD的RDO策略选择，并指导RDO策略如何在模式选择过程中有效的检测和规避结构化失真问题等等。

首先，在研究图像客观/主观质量之前，本发明定义“结构性匹配”的概念，作为一个满足“结构性匹配”的充分条件：

E(x)＝E(y)＝u

E(xy)＝E(x²)＝E(y²)，

在同时满足上述两个条件，可以得到

由此可以确定，当满足“结构性匹配”的图像客观/主观质量上均是有充分保证的。

因此，“结构性失配”，即满足下面两式其一

E(x)≠E(y)

E(xy)≠E(x²)≠E(y²),其中，失配的程度由偏差的大小决定，本发明以此作为两个图像的评估指标。

本发明做如下定义：当前块y，重构块x和量化误差e：

y＝x+e，满足如下关系式：

其中

图1为本发明一种对RDO策略的结构性失真度的评估方法的步骤流程图。如图1所示，本发明一种对RDO策略的结构性失真度的评估方法，包括如下步骤：

步骤101，计算当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差。

步骤102，根据获得当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差利用预先分级建模的模型进行判断；

步骤103，根据分级建模的模型，确定RDO策略的失真度计算方式。

优选地，于步骤101之前还包括如下步骤：

步骤100，根据量化损失分级建模。

具体地，于步骤101中，根据量化损失建立如下模型：

1、合理量化模型：即均值相同且不相关，量化指标为：

有如下重要推论：

由此可得：

结构性失配程度

只取决于SSD值，因此，在这种情况下，RDO策略中的SSD值能很好的反映失真度。简化SSIM 计算方法后可以得到：

基于SSIM的评估指标不仅与SSD有关，还取决于

即重构图像的平稳度；也就是说，在合理量化模型下，SSD方法与SSIM均能对RDO策略中的结构性失真进行很好的评估。

合理量化过程一般使用的QP(Quantization Parameter，量化参数)值不会太大，并大多发生在高码率/正常码率,或编码场景单一的应用场景下，一个比较典型的应用实例就是随机噪声的去噪，随机噪声一般是以高频噪声的形态存在于图像序列中，频域去噪的一种典型方法就是通过Local/Non-Local(本地/非本地)的方法进行预测，再对预测残差进行频域变换，在频域分量上，适度削减高频分量从而达到消除随机噪声的目的，该过程跟编码器时域预测，频域量化的压缩原理一致。由于随机噪声的不相关性，在完成去噪后，图像的结构性并不会被破坏。

2、强量化模型：即均值近似且相关(频域DC(直流)系数无损)，量化指标：

其中

δ_xe为变量x与e的协方差，δ_xy为变量x与y 的协方差，有如下推论：

由此可得：

结构性失配程度

可以看到SSD值的计算已经无法准确的反映图像的失真度，如果采用基于SSD计算RDO策略的Cost值来进行模式选择，也不能有效的反映图像的真实情况了，因此，在强量化模型下，本发明采用SSIM计算，简化后可以得到：

显然在基于SSIM的评估标准中，还取决于δ_xy，即原始图像和重构图像的协方差。

从合理量化和强量化两种客观评估指标可以发现，两种场景下，SSD的计算方法是完全相同的，试图通过SSD指标区分两者的性能显然是不可行的，同时，基于此值进行的RDO模式选择也是不合理的；而SSIM的计算则不同，这也是失真度计算指标上，SSIM比SSD能更有效的反映结构性失真的原因。

较佳地，于步骤100中，根据量化损失还建立了如下模型：

3、过量化模型：即均值严重失配(频域DC系数量损严重)。

量化指标：E(y)≠E(x)，在该情况下，图像已经出现了严重的失真，不论是 SSD还是SSIM指标的大小都已经没有实际的意义，即在过量化模型下，已出现严重的失真，无需再进行失真度计算。

图2为本发明一种对RDO策略的结构性失真度的评估系统的步骤流程图。如图2所示，本发明一种对RDO策略的结构性失真度的评估系统，包括参数计算单元201、判断单元202以及判断处理单元203。

其中，参数计算单元201，计算当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差。

判断单元202，用于根据获得当前视频图像当前块y，重构块x的期望值以及当前块y，重构块x、量化误差e的方差利用预先分级建模的模型进行判断；

判断处理单元203，用于根据预先分级建模的模型，确定RDO策略的失真度计算方式。

优选地，本发明一种对RDO策略的结构性失真度的评估系统还包括：建模单元，用于根据量化损失分级建模。具体地，建模单元根据量化损失建立如下模型：

1、合理量化模型：即均值相同且不相关，量化指标为：

有如下重要推论：

由此可得：

结构性失配程度

只取决于SSD值，因此，在这种情况下，RDO策略中的SSD值能很好的反映失真度。简化SSIM 计算方法后可以得到：

基于SSIM的评估指标不仅与SSD有关，还取决于

即重构图像的平稳度；也就是说，在合理量化模型下，SSD方法与SSIM均能对RDO策略中的结构性失真进行很好的评估。

合理量化过程一般使用的QP值不会太大，并大多发生在高码率/正常码率, 或编码场景单一的应用场景下，一个比较典型的应用实例就是随机噪声的去噪，随机噪声一般是以高频噪声的形态存在于图像序列中，频域去噪的一种典型方法就是通过Local/Non-Local的方法进行预测，再对预测残差进行频域变换，在频域分量上，适度削减高频分量从而达到消除随机噪声的目的，该过程跟编码器时域预测，频域量化的压缩原理一致。由于随机噪声的不相关性，在完成去噪后，图像的结构性并不会被破坏。

2、强量化模型：即均值近似且相关(频域DC系数无损)，量化指标：

其中

有如下推论：

由此可得：

结构性失配程度

可以看到SSD值的计算已经无法准确的反映图像的失真度，如果采用基于SSD计算RDO策略的Cost值来进行模式选择，也不能有效的反映图像的真实情况了，因此，在强量化模型下，本发明采用SSIM计算，简化后可以得到：

显然在基于SSIM的评估标准中，还取决于δ_xy，即原始图像和重构图像的协方差。

从合理量化和强量化两种客观评估指标可以发现，两种场景下，SSD的计算方法是完全相同的，试图通过SSD指标区分两者的性能显然是不可行的，同时，基于此值进行的RDO模式选择也是不合理的；而SSIM的计算则不同，这也是失真度计算指标上，SSIM比SSD能更有效的反映结构性失真的原因。

较佳地，建模单元根据量化损失还建立了如下模型：

3、过量化模型：即均值严重失配(频域DC系数量损严重)。

量化指标：E(y)≠E(x)，在该情况下，图像已经出现了严重的失真，不论是 SSD还是SSIM指标的大小都已经没有实际的意义，即在过量化模型下，已出现严重的失真，无需再进行失真度计算。

较佳地，实际应用过程中，强量化(E(y)≈E(x))与过量化(E(y)≠E(x)) 是一个较为模糊的概念，可以根据实际调试的情况进行设置，在本发明具体实施例中，提供一种近似的计算方法：

根据PSNR计算公式：

可以近似的估算出已编码帧的 MSE值，而MSE＝E[(y-x)²]＝D(y-x)+E²(y-x),由于目前的RDO策略都是基于失真度的计算最小化的目标，近似假设D(y-x)≈0则可以得到参数

假定某个序列保持在30dB的PSNR值，可以得到MSE≈65，δ≈8，则当δ＜8 时，量化评估方法都是有效的，可以针对本发明介绍的三级量化模型进行区分，并对强量化和过度量化的情况分别进行优化处理，在保证PSNR的基础下，进一步优化编码比特的合理分配，同时，有效提升编码图像的主观体验。

综上所述，本发明一种对RDO策略的结构性失真度的评估方法及系统通过量化损失分级建模的方法，将SSD和SSIM的两个方法有效的结合到一起，以自适应RDO的方式调节编码器模式选择的策略，在保持原本基于SSD计算的 RDO模式选择策略进行了优化，对强量化和过度量化造成的图像损失进行了相应的有效抑制。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (6)

1.一种对RDO策略的结构性失真度的评估方法，包括如下步骤：

步骤一，计算当前视频图像当前块y、重构块x的期望值以及当前块y、重构块x、量化误差e的方差；

步骤二，根据获得当前视频图像当前块y、重构块x的期望值以及当前块y、重构块x、量化误差e的方差利用预先分级建模的模型进行判断，确定对应的模型；

步骤三，根据确定的模型，确定RDO策略的失真度计算方式；

其中，步骤一之前还包括根据量化损失分级建模的步骤，包括根据量化损失分级建立合理量化模型与强量化模型；

所述合理量化模型的量化指标为：

E(y)＝E(x)

其中，E(y)、E(x)为当前块y、重构块x的期望值，

为当前块y、重构块x和量化误差e的方差；

所述强量化模型的量化指标为：

E(y)≈E(x)

其中

δ_xe为变量x与e的协方差，δ_xy为变量x与y的协方差。

2.如权利要求1所述的一种对RDO策略的结构性失真度的评估方法，其特征在于：若确定为合理量化模型，则基于SSD或SSIM计算RDO策略的结构性失真度。

3.如权利要求2所述的一种对RDO策略的结构性失真度的评估方法，其特征在于：若确定为强量化模型，则基于SSIM计算RDO策略的结构性失真度。

4.如权利要求3所述的一种对RDO策略的结构性失真度的评估方法，其特征在于，所述根据量化损失分级建模的步骤还建立过量化模型，所述过量化模型的量化指标为：E(y)≠E(x)。

5.如权利要求4所述的一种对RDO策略的结构性失真度的评估方法，其特征在于：若为过量化模型，则无需再进行失真度计算。

6.一种对RDO策略的结构性失真度的评估系统，包括：

参数计算单元，用于计算当前视频图像当前块y、重构块x的期望值以及当前块y、重构块x、量化误差e的方差；

判断单元，用于根据获得当前视频图像当前块y、重构块x的期望值以及当前块y、重构块x、量化误差e的方差利用预先分级建模的模型进行判断，确定对应的模型；

判断处理单元，根据确定的模型，确定RDO策略的失真度计算方式；

其中，所述预先分级建模的模型为根据量化损失分级建模，包括根据量化损失分级建立合理量化模型与强量化模型；

所述合理量化模型的量化指标为：

E(y)＝E(x)

其中，E(y)、E(x)为当前块y、重构块x的期望值，

为当前块y、重构块x和量化误差e的方差；

所述强量化模型的量化指标为：

E(y)≈E(x)

其中

δ_xe为变量x与e的协方差，δ_xy为变量x与y的协方差。

Images