CN102970536A - 一种改进的带有预测残差调整的视频编码方法 - Google Patents

Abstract

本发明提供一种改进的带有预测残差调整的视频编码方法，其中：根据预设的量化参数，获得基于量化的视频编码方法的失真；根据预设的量化参数和预测残差的调整程度，获得在带有预测残差调整的编码方法下，由量化和残差调整所造成的总失真；设得到的两种编码方法的失真相等或近似相等，以此确定在失真等效的意义下，带有预测残差调整的编码方法的等效量化参数；将得到的等效量化参数代入为基于量化的视频编码优化拉格朗日乘子的方法中，得到适用于带有预测残差调整的视频编码的拉格朗日乘子。接着，利用得到的拉格朗日乘子对带有预测残差调整的视频编码进行率失真优化。本发明考虑了由量化和残差调整所造成的总失真，因而能够获得较高的编码效率。

Description

一种改进的带有预测残差调整的视频编码方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种改进的带有预测残差调整的视频编码方法。

背景技术

随着视频编码技术的发展，各项视频业务的广泛应用给人们的生产和生活带来了极大的便利。视频编码一般需要在码率R受到约束的情况下使失真D最小。这可以表示为

min D，(1)

s.t.R≤R_c

其中R_c是码率的上限。目前最常用的率失真优化算法是拉格朗日方法，它把上述问题转化为利用拉格朗日乘子λ最小化拉格朗日代价函数

J=D+λ·R。    (2)

传统的视频编码一般是采用基于量化的调控码率与视频质量的编码方法。此时视频的失真主要由量化造成。通过对现有文献的检索，发现已有文献提出了传统编码方法下的拉格朗日乘子获得方法。比如Thomas Wiegand等人在2001年IEEE International Conference on Image Processing（IEEE图像处理国际会议）上发表的“Lagrange Multiplier Selection in Hybrid Video Coder Control（混合视频编码器控制中的拉格朗日乘子选择）”一文中，就提出了一种根据量化参数获得拉格朗日乘子的方法。

由于许多视频编码标准只规定了解码流程，因此，除了传统的基于量化的视频编码方法外，目前也有许多带有预测残差调整的视频编码方法。比如在中国专利号为CN201010203917.3，名称为“基于预测残差自适应调整的视频编码系统”的专利中，作者就提供了这样的编码方法。在带有预测残差调整的视频编码方法下，残差调整也引入了失真。因此，为获得更高的编码效率需要为带有预测残差调整的视频编码获得与其相适应的拉格朗日乘子。

发明内容

本发明针对现有视频编码技术的不足，提供一种改进的带有预测残差调整的视频编码方法，通过优化得到与其相适应的拉格朗日乘子，获得更高的编码效率。

根据本发明的一个方面，提供一种带有预测残差调整的视频编码中拉格朗日乘子的优化方法，该方法步骤如下：

①根据预设的量化参数，获得基于量化的视频编码方法的失真；

②根据预设的量化参数和预测残差的调整程度，获得在带有预测残差调整的编码方法下，由量化和残差调整所造成的总失真；

③设得到的两种编码方法的失真相等或近似相等，以此确定在失真等效的意义下，带有预测残差调整的编码方法的等效量化参数；

④将得到的等效量化参数代入为基于量化的视频编码优化拉格朗日乘子的方法中，得到适用于带有预测残差调整的视频编码的拉格朗日乘子。

根据本发明的另一方面，提供一种改进的带有预测残差调整的视频编码方法。该方法在带有预测残差调整的编码中应用上述拉格朗日乘子优化方法，考虑由量化和残差调整所造成的总失真，从而获得更高的编码效率。该方法步骤如下：

第一步，根据预设的量化参数和预测残差的调整程度，得到按上述方法优化的拉格朗日乘子；

①根据预设的量化参数，获得基于量化的视频编码方法的失真；

②根据预设的量化参数和预测残差的调整程度，获得在带有预测残差调整的编码方法下，由量化和残差调整所造成的总失真；

③设得到的两种编码方法的失真相等或近似相等，以此确定在失真等效的意义下，带有预测残差调整的编码方法的等效量化参数；

④将得到的等效量化参数代入为基于量化的视频编码优化拉格朗日乘子的方法中，得到适用于带有预测残差调整的视频编码的拉格朗日乘子；

第二步，获得图像块在各种编码模式下的预测残差，并施行所需程度的调整；

第三步，用优化的拉格朗日乘子选择图像块的编码模式；

第四步，按选择的编码模式和调整后的残差编码图像块。

与现有技术相比，本发明具有如下的有益效果：

本发明考虑了由量化和残差调整所造成的总失真，因而能够很好地适应带有预测残差调整的编码方法，能够获得较高的编码效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是为带有残差调整的编码方法优化拉格朗日乘子的流程图。

图2是改进的带有残差调整的编码方法的流程图。

图3是实施例所用的编码框架。

图4是实施例的编码框架的一种系数抑制情形的图示，其中：(a)是带有系数抑制的量化；(b)是相应的量化误差。

图5是实施例中Harbour第88帧图像及其等效量化步长的增强后的图示，其中：(a)是Harbour第88帧图像；(b)是相应的等效量化步长的增强后的图示。

图6是实施例中Night第43帧图像及其等效量化步长的增强后的图示，其中：(a)是Night第43帧图像；(b)是相应的等效量化步长的增强后的图示。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处把本发明应用到一个根据恰可察觉失真（Just Noticeable Distortion，JND）和注意力模型调整预测残差的H.264/AVC视频编码框架中。该框架通过抑制量化后系数的方式调整预测残差，具体结构如图3所示。图中的JND计算与转换模块用于根据JND模型估计H.264/AVC变换域的JND阈值，调整阈值计算模块用于根据注意力模型设定控制预测残差调整程度的JND归一化调整阈值，自适应抑制模块用于调整预测残差，拉格朗日乘子适配模块用于优化编码时的拉格朗日乘子。下面首先介绍预测残差的调整方式，然后将在此基础之上详细介绍拉格朗日乘子的优化。

1.编码框架的残差调整

H.264/AVC标准采用标量量化。对于第n个块的第(i,j)个子带，在理论上量化可以表示为

l_n，i，j=round(w_n，i，j·PF_i,j/Q_step)，    (3)

其中w_n，i，j和l_n，i，j分别表示量化前后的变换系数，PF_i,j是后缩放因子，Q_step是量化步长。为了方便计算，一般情况下量化的实现方式为

|l_n，i，j|=(|w_n，i，j|·MF_i,j+f)>>qbits，    (4)

sign(l_n，i，j)=sign(w_n，i，j)，    (5)

此处f是偏移量，MF_i,j和qbits分别是与量化参数相关的乘因子和右移次数。

由于H.264/AVC标准采用无偏移的均匀重建，因此，对于一个非零系数l_n,i,j，如果对其施行程度为k的抑制，则引入的误差大约为

e_n，i，j(k)≈|w_n，i，j|-[(|l_n，i，j|-k)<<qbits]/MF_i，j。    (6)

设根据注意力模型得到的第n个块的第(i,j)个子带的JND归一化调整阈值为T_n，i，j。则该子带的调整项为

k_n,i，j=max k

s.t.0≤k≤|l_n，i，j|,k∈Z，    (7)

$e_{n,i,j}\left(k\right)/J_{n,i,j}^{*}\&le;T_{n,i,j}$

其中是H.264/AVC变换域内第n个块第(i,j)个子带的JND阈值。调整后，该子带的系数l′_n，i，j为

|l′_n，i，j|=|l_n，i，j|-k_n，i，j，    (8)

sign(l′_n，i，j)=sign(l_n，i，j)。    (9)

一般情况下，H.264/AVC整数DCT变换的量化后系数都根据(7)进行调整。对于需要额外进行Hadamard变换的色差分量的直流系数以及I16×16模式下亮度分量的直流系数，此处选择在Hadamard变换前调整这些直流系数。也就是这些系数的最大抑制幅度为

2.拉格朗日乘子优化

在传统的基于量化的编码方法下，基于量化失真模型，可以得到H.264/AVC编码的最优拉格朗日乘子为

$\mathrm{\&lambda;}\left(Q_{\mathrm{step}}\right)=c\&CenterDot;Q_{\mathrm{step}}^2$ 或 $0.85\&CenterDot;2^{(\mathrm{QP}\left(Q_{\mathrm{step}}\right)-12)/3},---\left(10\right)$

其中c是一个常数，Q_step是量化步长，QP(Q_step)是依赖于量化步长的量化参数。在带有残差调整的编码方法下，除了常规的量化之外，残差调整也会引入失真。因此，需要适当修改拉格朗日乘子以适应所有的编码失真。下面在图3所示的编码框架下应用本发明提供的拉格朗日乘子优化方法。考虑到H.264/AVC变换与经典DCT变换近似相差一个缩放关系，不失一般性，下面在经典DCT域推导拉格朗日乘子的优化。

(I)分布估计

由于一般是以统计计算的方式得到失真，因此首先确定预测残差的变换系数的分布情况。假设预测残差的变换系数服从零均值的拉普拉斯（Laplace）分布

$f\left(x\right)=\frac{1}{\sqrt{2}\mathrm{\&sigma;}}{e}^{(-\frac{\sqrt{2}}{\mathrm{\&sigma;}}|x\left|\right)},---\left(11\right)$

其中x表示变换系数，σ是其标准方差。因此，变换系数的分布情况依赖于标准方差。下面以子带为单位估计标准方差。

设r_uv(0≤u,v≤N-1)表示像素域一个N×N块的预测残差。则该块的标准方差可近似表示为

${\mathrm{\&sigma;}}_f\&ap;\sqrt{2}\&CenterDot;\frac{\underset{u,v=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\left|r_{\mathrm{uv}}\right|}{N\&times;N}---\left(12\right)$

设σ_F(i,j)表示第(i,j)个DCT系数的标准方差，则它满足

${\mathrm{\&sigma;}}_F^2(i,j)={\mathrm{\&sigma;}}_f^2{\left[{\mathrm{CRC}}^T\right]}_{i,i}{\left[{\mathrm{CRC}}^T\right]}_{j,j},---\left(13\right)$

其中C是DCT变换矩阵，

ρ默认为0.6，[·]_i，i表示取矩阵的第(i,i)个元素。所以，变换系数的标准方差可以由像素域的残差确定。例如，当N=4时，直流系数的标准方差为

${\mathrm{\&sigma;}}_F\left(\mathrm{0,0}\right)=\sqrt{5.6074}{\mathrm{\&sigma;}}_f.---\left(15\right)$

把(12)代入(15)中可以得到

${\mathrm{\&sigma;}}_F\left(\mathrm{0,0}\right)\&ap;\sqrt{5.6074}\&CenterDot;\sqrt{2}\&CenterDot;\frac{\underset{u,v=0}{\overset{3}{\mathrm{\&Sigma;}}}\left|r_{\mathrm{uv}}\right|}{4\&times;4}.---\left(16\right)$

从上述分析可以看出，利用预测残差可以获得变换系数的分布情况。在本实施例中，对于帧间编码，用最小帧间预测残差来估计最终的预测残差；对于帧内编码，用带有系数抑制的最小帧内预测残差来估计最终的预测残差。这样，便可以获得变换系数的标准方差和分布情况。

(II)失真表达

获得变换系数的分布后，下面估计基于量化的编码方法的失真，以及带有残差调整的编码方法的失真。

对于具有概率密度函数f(x)的信号，其均匀量化的均方误差为

${\mathrm{\&epsiv;}}^2(Q_{\mathrm{step}},\mathrm{DZ})={\&Integral;}_{-\mathrm{DZ}}^{\mathrm{DZ}}{x}^2\&CenterDot;f\left(x\right)\mathrm{dx}$

$+\underset{i=0}{\overset{\&infin;}{\mathrm{\&Sigma;}}}({\&Integral;}_{\mathrm{DZ}+i\&CenterDot;Q_{\mathrm{step}}}^{\mathrm{DZ}+(i+1)\&CenterDot;Q_{\mathrm{step}}}{(x-(i+1)\&CenterDot;Q_{\mathrm{step}})}^2\&CenterDot;f\left(x\right)\mathrm{dx}+{\&Integral;}_{-\mathrm{DZ}-(i+1)\&CenterDot;Q_{\mathrm{step}}}^{-\mathrm{DZ}-i\&CenterDot;Q_{\mathrm{step}}}{(x+(i+1)\&CenterDot;Q_{\mathrm{step}})}^2\&CenterDot;f\left(x\right)\mathrm{dx}),---\left(17\right)$

其中Q_step和DZ分别表示量化器的量化步长和死区尺寸。如果信号服从(11)所示的标准方差为σ的拉普拉斯分布，则(17)可以化简为

${\mathrm{\&epsiv;}}_{\mathrm{Lap}}^2(\mathrm{\&sigma;},Q_{\mathrm{step}},\mathrm{DZ})={2\mathrm{\&lambda;}}^2-\frac{{2\mathrm{\&lambda;\&Delta;e}}^{-\mathrm{\&alpha;}/\mathrm{\&lambda;}}{e}^{-\mathrm{\&Delta;}/2\mathrm{\&lambda;}}}{(1-e^{-\mathrm{\&Delta;}/\mathrm{\&lambda;}})}[\frac{\mathrm{\&alpha;}}{\mathrm{\&lambda;}}+1],---\left(18\right)$

其中

α=DZ-Q_step/2，Δ=Q_step。H.264/AVC帧内和帧间编码所推荐的量化偏移分别为Q_step/3和Q_step/6。因此，相应的死区尺寸为

这样便可以近似得到，在传统的基于量化的编码方法下，标准方差为σ_F的变换系数的量化失真为

在本实施例所用的根据JND和注意力模型调整预测残差的编码框架下，设T和J分别表示变换系数的JND归一化的调整阈值和JND阈值。如果T·J≤DZ_nor(Q_step)，根据(7)不会有系数抑制操作。否则，将会有幅度不超过T·J的系数抑制。在这种情况下，带有系数抑制的量化如图4(a)所示。图中x轴表示原始系数，y轴表示重建后的系数。量化误差如图4(b)所示。图中x轴仍表示原始系数，e轴表示量化误差。因此，可以得出带有系数抑制的量化的死区尺寸为

${\mathrm{DZ}}_{\mathrm{pro}}\left(Q_{\mathrm{step}}\right)=\left\{\begin{array}{cc}{\mathrm{DZ}}_{\mathrm{nor}}\left(Q_{\mathrm{step}}\right)& T\&CenterDot;J\&le;{\mathrm{DZ}}_{\mathrm{nor}}\left(Q_{\mathrm{step}}\right)\\ T\&CenterDot;J& T\&CenterDot;J>{\mathrm{DZ}}_{\mathrm{nor}}\left(Q_{\mathrm{step}}\right)\end{array}\right..---\left(21\right)$

在这种情况下，标准方差为σ_F的变换系数的失真近似为

${\mathrm{\&epsiv;}}_{\mathrm{pro}}^2(J,T,{\mathrm{\&sigma;}}_F,Q_{\mathrm{step}})\&ap;{\mathrm{\&epsiv;}}_{\mathrm{Lap}}^2({\mathrm{\&sigma;}}_F,Q_{\mathrm{step}},{\mathrm{DZ}}_{\mathrm{pro}}\left(Q_{\mathrm{step}}\right)).---\left(22\right)$

(III)失真等效

下面基于以上的失真表示进行失真等效。鉴于直流分量对视频质量的重要影响，在本实施例中把直流分量作为失真等效的代表性分量。

当N=4时，一个宏块中包含K=16个4×4块。设J_n、T_n、σ_F,n分别表示第n块直流系数的JND阈值、调整阈值和标准方差。则在本实施例带有系数抑制的编码框架下，宏块直流分量的平均失真为

$\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2}\left(Q_{\mathrm{step}}\right)=\underset{n=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2(J_n,T_n,{\mathrm{\&sigma;}}_{F,n},Q_{\mathrm{step}})/K,---\left(23\right)$

其中Q_step是预设的量化步长。相比之下，在传统的基于量化的编码方法下，宏块直流分量的平均失真为

$\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2}\left(Q_{\mathrm{step}}\right)=\underset{n=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2({\mathrm{\&sigma;}}_{F,n},Q_{\mathrm{step}})/K.---\left(24\right)$

因此，如果Q′_step是带有系数抑制的编码的等效量化步长，可以有

$\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2}\left(Q_{\mathrm{step}}\right)=\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2}\left(Q_{\mathrm{step}}^{\&prime;}\right).---\left(25\right)$

在之前推导的基础上，由此关系便可以求出Q′_step。因为Q′_step是失真意义上的等效量化步长，所以可以将其代入(10)中，得到适用于本实施例带有残差调整的编码方法的拉格朗日乘子λ(Q′_step)。

为了简化Q′_step的计算，应用时可以选择搜索最接近步长的计算方法。设S_Q表示H.264/AVC标准中量化步长的集合。则计算得到的等效量化步长为

$Q_{\mathrm{step}}^{\&prime;}=\underset{Q\&Element;S_Q}{\arg \min }|\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2}\left(Q_{\mathrm{step}}\right)-\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2}\left(Q\right)|,---\left(26\right)$

即得到的是使失真误差最小的量化步长。

3.获得与调整预测残差

实施例中按H.264/AVC标准获得各种编码模式下的预测残差，并按前文所述的方式调整预测残差。

4.模式选择与编码

得到优化的拉格朗日乘子和各种编码模式下经过调整的预测残差后，实施例中选择拉格朗日代价最小的编码模式。接着按所选的编码模式和相应的调整后的预测残差进行编码。

5.实施条件与结果

基于JM 14.2软件实现应用本发明方法的实施例中的H.264/AVC编码框架，并用1280×720 4:2:0格式的序列Harbour和Night的前151帧对其进行测试。编码时，图像组（Group OfPictures，GOP）结构为IBBPBBP…，I帧周期为30帧，预设的量化参数为28，帧率设为30Hz，使用两个参考帧，并且选用4×4变换和上下文自适应的二进制算术编码（Context-based Adaptive Binary ArithmeticCoding，CABAC）。计算等效量化步长时，选择的是搜索最接近步长的计算方法。考虑到可能存在的模型及计算误差，限制等效量化步长不超过预设量化步长的两倍，以保持合理的率失真优化。

实施例的编码框架内应用的是Zhenyu Wei等人在2009年3月《IEEETransactions on Circuits and Systems for Video Technology》（《IEEE视频技术的电路与系统期刊》）337页到346页发表的“Spatio-Temporal Just Noticeable DistortionProfile for Grey Scale Image/Video in DCT Domain（离散余弦变换域内灰度图像/视频的空时恰可察觉失真档次”一文中提出的JND模型。设J_4×4表示把该JND模型应用到4×4情形得到的经典DCT域的JND阈值。实施例中H.264/AVC变换域内的JND阈值近似为

$J_{4\&times;4}^{*}\&ap;J_{4\&times;4}\&CircleTimes;\left[\begin{array}{cccc}4& 4\sqrt{5/2}& 4& 4\sqrt{5/2}\\ 4\sqrt{5/2}& 10& 4\sqrt{5/2}& 10\\ 4& 4\sqrt{5/2}& 4& 4\sqrt{5/2}\\ 4\sqrt{5/2}& 10& 4\sqrt{5/2}& 10\end{array}\right],---\left(27\right)$

其中

表示对应元素相乘。此外，把与每个色差分量对应的亮度分量的JND阈值的均值作为色差分量的JND阈值。

实施例的编码框架内应用的注意力模型是Jonathan Harel等人在2007年Advances in Neural Information Processing Systems（神经信息处理系统中的进展）会议上发表的“Graph-Based Visual Saliency（基于图的视觉显著性）”一文中提出的GBVS模型。设W_n∈[0,1]表示利用该模型得到的第n个4×4块的注意力权值。实施例中所用的JND归一化调整阈值为

$T_n=\left\{\begin{array}{cc}-4(T_{\max }-1)W_n+T_{\max }& W_n<0.25\\ 1& W_n\&GreaterEqual;0.25\end{array}\right.---\left(28\right)$

其中T_max=2。

在上述实施条件下，得到了表1所示的编码结果。其中“传统方法”指的是用于对比的，相同条件下基于量化的编码方法；“目前方法”指的是应用了本发明的实施例的编码方法。经过对比发现，两种方法具有相似的视觉质量。图5是Harbour第88帧图像，及其在上述实施条件下得到的等效量化步长的增强后的图示。图6是Night第43帧图像，及其在上述实施条件下得到的等效量化步长的增强后的图示。

表1实施例的编码结果

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种为带有预测残差调整的视频编码优化拉格朗日乘子的方法，其特征在于：所述方法包括如下步骤：

①根据预设的量化参数，获得基于量化的视频编码方法的失真；

②根据预设的量化参数和预测残差的调整程度，获得在带有预测残差调整的编码方法下，由量化和残差调整所造成的总失真；

③设得到的两种编码方法的失真相等或近似相等，以此确定在失真等效的意义下，带有预测残差调整的编码方法的等效量化参数；

④将得到的等效量化参数代入为基于量化的视频编码优化拉格朗日乘子的方法中，得到适用于带有预测残差调整的视频编码的拉格朗日乘子。

2.根据权利要求1所述的优化拉格朗日乘子的方法，其特征在于：设在带有系数抑制的编码方法下，图像块的平均失真为

其中Q_step是预设的量化步长；设在传统的基于量化的编码方法下，图像块的平均失真为

如果Q′_step是带有系数抑制的编码的等效量化步长，则有

$\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2}\left(Q_{\mathrm{step}}\right)=\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2}\left(Q_{\mathrm{step}}^{\&prime;}\right);$

Q′_step是失真意义上的等效量化步长，将其代入基于量化的编码方法的最优拉格朗日乘子公式，适用于H.264/AVC标准的最优拉格朗日乘子公式中：

$\mathrm{\&lambda;}\left(Q_{\mathrm{step}}\right)=c\&CenterDot;Q_{\mathrm{step}}^2$ 或 $0.85\&CenterDot;2^{(\mathrm{QP}\left(Q_{\mathrm{step}}\right)-12)/3},$

其中c是一个常数，Q_step是量化步长，QP(Q_step)是依赖于量化步长的量化参数，得到适用于带有残差调整的编码方法的拉格朗日乘子λ(Q′_step)。

3.根据权利要求2所述的优化拉格朗日乘子的方法，其特征在于：为了简化Q′_step的计算，应用时选择搜索最接近步长的计算方法，设S_Q表示H.264/AVC标准中量化步长的集合，则计算得到的等效量化步长为

$Q_{\mathrm{step}}^{\&prime;}=\underset{Q\&Element;S_Q}{\arg \min }|\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{pro}}^2}\left(Q_{\mathrm{step}}\right)-\stackrel{\&OverBar;}{{\mathrm{\&epsiv;}}_{\mathrm{nor}}^2}\left(Q\right)|.$

4.一种采用权利要求1-3任一项所述方法的改进的带有预测残差调整的视频编码方法，其特征在于：在带有预测残差调整的编码中应用拉格朗日乘子优化方法，包括以下步骤：

第一步，根据预设的量化参数和预测残差的调整程度，得到优化的拉格朗日乘子；

①根据预设的量化参数，获得基于量化的视频编码方法的失真；

②根据预设的量化参数和预测残差的调整程度，获得在带有预测残差调整的编码方法下，由量化和残差调整所造成的总失真；

③设得到的两种编码方法的失真相等或近似相等，以此确定在失真等效的意义下，带有预测残差调整的编码方法的等效量化参数；

④将得到的等效量化参数代入为基于量化的视频编码优化拉格朗日乘子的方法中，得到适用于带有预测残差调整的视频编码的拉格朗日乘子；

第二步，获得图像块在各种编码模式下的预测残差，并施行所需程度的调整；

第三步，用优化的拉格朗日乘子选择图像块的编码模式；

第四步，按选择的编码模式和调整后的残差编码图像块。

Images