CN101938654A - 一种变换系数的优化量化方法及装置 - Google Patents

Abstract

本发明公开了一种变换系数的优化量化方法及装置，对包含有Z个非零变换系数的Z₁×Z₂大小的变换系数块按如下步骤进行优化量化：(1)对每个非零变换系数生成若干候选量化值；(2)对M个非零变换系数的候选量化值之组合计算相应的编码代价，并选取使编码代价最小的候选量化值之组合作为该M个非零变换系数的优化量化值；计算相应的编码代价包括计算编码失真和计算编码比特数，所述计算编码失真包括对变换系数以及候选量化值经过反量化后恢复的变换系数值进行去非归一化处理；(3)滑动Q个非零变换系数执行上述(2)操作，直到该变换系数块中所有变换系数得到优化量化值为止。采用本发明，能提高优化量化的编码效率。

Description

一种变换系数的优化量化方法及装置

技术领域

本发明属于视频压缩编码技术领域，而且，更具体的，涉及一种变换系数的优化量化方法及装置。

背景技术

在各种图像、视频有损编解码技术中，如JPEG，MPEG-2，H.264/AVC，AVS等，量化是获得图像、视频有损压缩编码效率的重要手段。但量化也会引入编码失真，造成质量的失真。如何在高压缩率的视频编码情况下，尽可能的减少图像质量失真是一个研究的热点。

率失真优化理论就是选择能够达到码率与失真度的最佳平衡的编码模式。

目前大部分图像、视频编码都是先对变换系数进行量化，即在变换域中进行量化，然后对量化后的系数进行熵编码，来实现压缩编码。量化过程也可以使用率失真优化方法，进行最优量化后系数的选择，使得量化后系数的码率与失真度达到最佳平衡。由于一个变换系数块中量化后系数的熵编码是联合进行的，而且对编码失真是时空域度量的，所以其优化量化过程一般为：

1、对变换系数块按照一定的扫描顺序排列为一维的变换系数序列；

2、对一维的变换系数序列中的每个变换系数生成若干候选量化值，其中值为零的变换系数的候选量化值就是零，该变换系数的优化量化值也是零；

3、值不为零的变换系数一般称为非零变换系数，对当前非零变换系数的每个候选量化值计算相应的变换系数块的编码代价，并选取使编码代价最小的候选量化值作为该系数的优化量化值；

3.1估算编码失真：由变换系数的量化失真估算像素域的编码失真，即直接计算量化之前的变换系数与经过量化与反量化后恢复的反量化后变换系数之间的失真作为编码失真。

3.2估算编码比特数：估算候选量化值所对应的编码比特数，包括编码非零变换系数幅度值的比特数和值为零的系数的个数等语法元素的比特数。

3.3计算编码代价：使用拉格朗日函数由估算的编码失真和估算的编码比特数计算编码代价。

4、按照扫描顺序依次对每个非零系数执行上述3操作，直到该变换系数块的所有变换系数得到优化量化值为止。

但是，近年在一些编码系统中引入了非归一化的变换，如AVS标准中使用的预缩放整数变换PIT技术。这时，直接在变换域计算变换系数的编码失真不能准确反映实际的编码失真；而如果将量化后的变换系数经过反量化、反变换、预测补偿后恢复到像素域，再计算编码失真，则计算复杂度相当高。

另外在使用二维熵编码的编码系统中，非零变换系数的选取不同的候选量化值会引起周围游程-幅值编码(run，level)中run的值的变化和(run，level)总个数的变化从而导致整个变换系数块的编码比特数的变化，也会引起编码码表选择的变化从而导致整个变换系数块的编码比特数变化，因此多个非零变换系数的优化量化是相互关联的。必须解决优化量化过程的复杂度与编码效率的问题。

发明内容

为克服现有技术上述缺陷，本发明旨在提出一种变换系数的优化量化方法及装置，具体为：

一种变换系数优化量化的方法，其特征在于对包含有Z个非零变换系数的Z₁×Z₂大小的变换系数块按如下步骤进行优化量化：

(1)对每个非零变换系数生成若干候选量化值；

(2)对M个非零变换系数的候选量化值之组合计算相应的编码代价，并选取使编码代价最小的候选量化值之组合作为该M个非零变换系数的优化量化值；所述计算相应的编码代价包括计算编码失真和计算编码比特数；所述计算编码失真包括对变换系数以及候选量化值经过反量化后恢复的变换系数值进行去非归一化处理；

(3)滑动Q个非零变换系数执行上述(2)操作，直到该变换系数块中所有变换系数得到优化量化值为止；

其中：Z＜＝Z₁×Z₂，1≤M≤Z，1≤Q≤M。

所述对变换系数以及候选量化值经过反量化后恢复的变换系数值进行去非归一化处理是指将变换系数以及候选量化值经过反量化后恢复的变换系数值分别乘以去非归一化加权矩阵中对应位置的加权值，所述去非归一化加权矩阵与反变换矩阵相关联。

所述的去非归一化加权矩阵W由反变换的垂直和水平变换核矩阵IT_v和IT_h决定，W＝(||IT_v||×||IT_h||)，其中，

其中

其中

所述计算M个非零变换系数的候选量化值组合对应的编码比特数包括根据变换系数的候选量化值组合生成对应的(run，level)串，并计算(run，level)串的编码比特数。

所述计算(run，level)串的编码比特数，包括对每个(run，level)根据上下文选择码表。

本发明还提出一种变换系数的优化量化装置，该装置包括计算编码失真单元，所述计算编码失真单元的输入为变换系数块和每个非零变换系数的候选量化值，输出为候选量化值组合对应的编码失真；所述计算编码失真单元包括去非归一化处理单元。

所述去非归一化处理单元对输入信号进行去非归一化处理，即去非归一化处理单元的输出为去非归一化处理单元的输入乘以去非归一化加权矩阵中对应位置的加权值。

所述去非归一化加权矩阵W由反变换的垂直和水平变换核矩阵IT_v和IT_h决定，W＝(||IT_v||×||IT_h||)，其中，其中，

其中

其中

所述的变换系数的优化量化装置还包括计算编码比特数单元，所述计算编码比特数单元的输入为变换系数优化量化值存储单元的输出、变换系数量化值预测单元的输出、候选量化值生成单元的输出；所述计算编码比特数单元的输出为候选量化值组合对应的编码比特数；所述计算编码比特数单元包括(run，level)串生成单元，码表切换单元，计算(run，level)串比特数单元。

所述(run，level)串生成单元是由变换系数量化值预测单元的输出、候选量化值生成单元的输出、以及变换系数优化量化值存储单元的输出生成候选量化值组合对应的(run，level)串；所述码表切换单元根据变换系数优化量化值存储单元的输出、变换系数量化值预测单元的输出以及候选量化值生成单元的输出信息，依次为每个(run，level)选择二维熵编码码表。

采用本发明有益效果在于：

本发明旨在通过在变换域进行处理，以较低复杂度直接对非归一化变换的变换系数进行优化量化。本发明还考虑到多个非零变换系数的优化量化的相互关联性，提出了一种对变换系数块中M个非零变换系数联合优化量化的方法，在一定的复杂度情况下提高了优化量化的编码效率。

附图说明

图1为本发明一种变换系数优化量化的装置实施例的原理框图。

具体实施方式

下面，结合附图和实施例对本发明进行详细的说明。实施例以使用C2D-VLC的熵编码方法的AVS编码系统作为实施系统。但这并不是说本发明的应用范围限定在使用C2D-VLC熵编码方法的视频编码系统。本发明同样适用于采用其他熵编码方法的视频编码系统。

实施例一：

对于Z₁×Z₂大小的变换系数块按照一定的扫描顺序，如zig-zag扫描顺序、或zig-zag扫描顺序的倒序、或量化后变换系数熵编码的顺序、或其它预先定义的顺序，排列为一维的变换系数序列该变换系数块的优化量化方法按变换系数序列

的顺序进行，其中值为零的变换系数的优化量化值就是零，而对于值不为零的变换系数即非零变换系数则按照上述的一定的扫描顺序排列为一维的非零变换系数序列c₁，c₂，......c_z，使用一个宽度为M的联合优化窗进行M(1≤M≤Z)个非零变换系数联合优化量化，每次滑动Q(1≤Q≤M)个非零变换系数，此例以M＝1，Q＝1，即每个非零变换系数单独进行优化量化为例，具体包括：

1非零变换系数生成若干候选量化值：每个非零变换系数c_n(n＝1～Z)生成K_n个候选量化值

其中K_n为大于等于1的整数。可按多种方式生成候选量化值。例如，假设当前的量化步长为Q_step，则令level_double＝|c_n|÷Q_step。用l_int表示level_double的整数部分，用l_fl表示level_double的小数部分，则对c_n可以按如下规则生成候选量化值：

1.1如果l_int＝0，并且l_fl≤0.5，候选量化值包括：

1.2如果l_int＝0，并且l_fl＞0.5，候选量化值包括：

1.3如果l_int＞0，并且l_fl≤0.5，候选量化值包括：

1.4如果l_int＞0，并且l_fl＞0.5，候选量化值包括：

2对非零变换系数c_i的候选量化值

(k＝0，...K_n)计算相应的编码代价J，并选取使编码代价J最小的候选量化值作为该系数c_i的优化量化值，具体为：

2.1计算编码失真D，例如：

$D\left({l_{i,k}}^{\mathrm{cand}}\right)=\mathrm{err}(w_i{c}_i,w_i{c}_i^{\′}\left(l_{i,k}^{\mathrm{cank}}\right))$

w_i为去非归一化加权矩阵W中位置与c_i在变换系数块中的位置相同的元素即W中与c_i对应位置的加权值，

为由c_i的候选量化值

经过反量化后恢复的变换系数值，反量化方法通常在各种图像、视频编解码标准中都有明确定义；err(A，B)是表征A和B之间失真的函数，例如err(A，B)＝|A-B|；去非归一化加权矩阵W与非归一化反变换矩阵相关，具体如下：

不失一般性，对于反变换是二维可分离变换，反变换过程可以用垂直和水平变换核矩阵IT_v和IT_h描述为：

Y＝IT_v×CoeffM×IT_h

其中，CoeffM为量化后的变换系数块，Y为反变换后的变换系数块，)

${\mathrm{IT}}_v=\left[\begin{array}{cccc}{d}_{11}& d_{12}& ......& d_{{1z}_1}\\ d_{21}& d_{22}& ......& d_{{2z}_1}\\ ......& ......& ......& ......\\ d_{z_{1}1}& d_{z_{1}2}& ......& d_{z_1{z}_1}\end{array}\right],$ ${\mathrm{IT}}_h=\left[\begin{array}{cccc}{e}_{11}& e_{12}& ......& e_{{1z}_2}\\ e_{21}& e_{22}& ......& e_{{2z}_2}\\ ......& ......& ......& ......\\ e_{z_{2}1}& e_{z_{2}2}& ......& e_{z_2{z}_2}\end{array}\right].$

则：W＝(||IT_v||×||IT_h||)

其中， $\left|\right|{\mathrm{IT}}_v\left|\right|={\left[\begin{array}{cccc}{D}_1& D_2& ......& D_{z_1}\end{array}\right]}^T,$ 其中 $D_i=\sqrt{d_{i1}^2+d_{i2}^2+......+d_{{\mathrm{iz}}_1}^2},(1\≤i\≤z_1);$

$\left|\right|{\mathrm{IT}}_h\left|\right|=\left[\begin{array}{cccc}{E}_1& E_2& ......& E_{z_2}\end{array}\right],$ 其中 $E_i=\sqrt{e_{1i}^2+e_{2i}^2+......+e_{z_{2}i}^2},(1\≤i\≤z_2).$

以AVS-P2标准中使用的8x8反变换为例，

${\mathrm{IT}}_h={{\mathrm{IT}}_v}^T=\left[\begin{array}{cccccccc}8& 8& 8& 8& 8& 8& 8& 8\\ 10& 9& 6& 2& -2& -6& -9& -10\\ 10& 4& -4& -10& -10& -4& 4& 10\\ 9& -2& -10& -6& 6& 10& 2& -9\\ 8& -8& -8& 8& 8& -8& -8& 8\\ 6& -10& 2& 9& -9& -2& 10& -6\\ 4& -10& 10& -4& -4& 10& -10& 4\\ 2& -6& 9& -10& 10& -9& 6& -2\end{array}\right]$

得到

$W=\left[\begin{array}{cccccccc}512& 476& 487& 476& 512& 476& 487& 476\\ 476& 442& 453& 442& 476& 442& 453& 442\\ 487& 453& 464& 453& 487& 453& 464& 453\\ 476& 442& 453& 442& 476& 442& 453& 442\\ 512& 476& 487& 476& 512& 476& 487& 476\\ 476& 442& 453& 442& 476& 442& 453& 442\\ 487& 453& 464& 453& 487& 453& 464& 453\\ 476& 442& 453& 442& 476& 442& 453& 442\end{array}\right]$

去非归一化加权矩阵还可以由其它近似于上述W矩阵中系数之间的比例关系的其它矩阵代替。

对于反变换是二维不可分离的变换，也可用类似上面所述的方法通过

计算反变换矩阵的模而导出，具体不再赘述。

2.2计算编码比特数R

当前的待量化的非零变换系数为c_i，假设对于c_i生成的候选量化值为

即K_i＝3。在计算编码比特数R时需要用到整个块所有系数的量化值，对于值为零的变换系数，认为其优化量化值为零；对于c_i-1，c_i-2......c₁，使用已经确定好的优化量化值

对于c_z×z，c_z×z-1......c_i+1这一部分还未确定量化值的系数，使用预测量化值作为计算R时的量化值。

按照下述方法进行计算：

其中f为0到1之间的常数。

每个候选量化值

(k＝1～K_i)对应一个变换系数量化序列，共有K_i种序列：

$l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1}^{\mathrm{opt}},l_{i,k}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

此例中，3个候选量化值对应3个变换系数量化序列：

Seq1： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1}^{\mathrm{opt}},l_{i,1}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq2： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1}^{\mathrm{opt}},l_{i,2}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq3： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1}^{\mathrm{opt}},l_{i,3}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

根据每个序列生成相应的(run，level)串，计算每个相应的(run，level)串编码比特数：

$R\left(l_{i,k}^{\mathrm{cand}}\right)=\underset{n=1}{\overset{\mathrm{Num}\_\mathrm{of}\_\mathrm{run}\_\mathrm{level}}{\mathrm{\Σ}}}{r}_n+r_{\mathrm{other}}$

其中，Num_of_run_level是(run，level)串中(run，level)的个数，r_n为编码第n个(run，level)所需要的比特数，r_other是编码其他一些标志信息比如E0B，模式信息等所需要的比特数。每个r_n的计算需要根据上下文选择码表，计算编码第n个(run，level)所需要的比特数编码比特数。码表的选择按图像、视频标准中规定的方法，此处不再累述。

2.3计算编码代价J

变换系数块的编码代价J的计算方法有很多，本实施例根据率失真理论

以拉格朗日率失真函数计算编码代价：

J(l_i，k ^cand)＝D(l_i，k ^cand)+λ*R(l_i，k ^cand)

其中，

为候选量化值对应的编码失真，为候选量化值对应

的编码比特数，λ为拉格朗日系数，是个经验值，由统计得到。

3依次对每个非零变换系数执行上述2的操作，直到该变换系数块所有变换系数得到优化量化值为止。

实施例二：

对于Z₁×Z₂大小的变换系数块按照一定的扫描顺序，如zig-zag扫描顺序、或zig-zag扫描顺序的倒序、或量化后变换系数熵编码的顺序、或其它预先定义的顺序，排列为一维的变换系数序列

该变换系数块的优化量化方法按变换系数序列

的顺序进行，其中值为零的变换系数的优化量化值就是零，而对于值不为零的变换系数即非零变换系数则按照上述的一定的扫描顺序排列为一维的非零变换系数序列c₁，c₂，......c_z，使用一个宽度为M的联合优化窗进行M(1≤M≤Z)个非零变换系数联合优化量化，每次滑动Q(1≤Q≤M)个非零变换系数，此例以M＝2，Q＝1，即2个非零变换系数进行优化量化为例，具体如下文所述：

1非零变换系数生成若干候选量化值：每个非零变换系数c_n(n＝1～Z)生成K_n个候选量化值

其中K_n为大于等于1的整数。可按多种方式生成候选量化值。例如，假设当前的量化步长为Q_step，则令level_double＝|c_n|÷Q_step。用l_int表示level_double的整数部分，用l_fl表示level_double的小数部分，则对c_n可以按如下规则生成候选量化值：

1.1如果l_int＝0，并且l_fl≤0.5，候选量化值包括：

1.2如果l_int＝0，并且l_fl＞0.5，候选量化值包括：

1.3如果l_int＞0，并且l_fl≤0.5，候选量化值包括：

1.4如果l_int＞0，并且l_fl＞0.5，候选量化值包括：

2对非零变换系数c_i-1的候选量化值

(h＝1～K_i-1)与c_i的候选量化值

(k＝1～K_i)的组合计算相应的编码代价J，并选取使编码代价J最小的c_i-1的候选量化值作为该系数c_i-1的优化量化值。

2.1计算编码失真D，例如：

$D(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}})=\mathrm{err}(w_i{c}_i,w_i{c}_i^{\′}\left(l_{i,k}^{\mathrm{cank}}\right))+\mathrm{err}(w_{i-1}{c}_{i-1},w_{i-1}{c}_{i-1}^{\′}\left(l_{i-1,h}^{\mathrm{cank}}\right))$

w_i为去非归一化加权矩阵W中位置与与c_i在变换系数块中的位置相同的元素即W中与c_i对应位置的加权值，为由c_i的候选量化值

经过反量化后恢复的变换系数值，反量化方法通常在各种图像、视频编解码标准中都有明确定义；err(A，B)是表征A和B之间失真的函数，例如err(A，B)＝(A-B)²；去非归一化加权矩阵W与非归一化反变换矩阵相关，具体如下：

不失一般性，反变换是二维可分离变换，反变换过程可以用垂直和水平变换核矩阵IT_v和IT_h描述为：

Y＝IT_v×CoeffM×IT_h

其中，CoeffM为量化后的变换系数块，Y为反变换后的变换系数块，

${\mathrm{IT}}_v=\left[\begin{array}{cccc}{d}_{11}& d_{12}& ......& d_{{1z}_1}\\ d_{21}& d_{22}& ......& d_{{2z}_1}\\ ......& ......& ......& ......\\ d_{z_{1}1}& d_{z_{1}2}& ......& d_{z_1{z}_1}\end{array}\right],$ ${\mathrm{IT}}_h=\left[\begin{array}{cccc}{e}_{11}& e_{12}& ......& e_{{1z}_2}\\ e_{21}& e_{22}& ......& e_{{2z}_2}\\ ......& ......& ......& ......\\ e_{z_{2}1}& e_{z_{2}2}& ......& e_{z_2{z}_2}\end{array}\right].$

则：W＝(||IT_v||×||IT_h||)

其中， $\left|\right|{\mathrm{IT}}_v\left|\right|={\left[\begin{array}{cccc}{D}_1& D_2& ......& D_{z_1}\end{array}\right]}^T,$ 其中 $D_i=\sqrt{d_{i1}^2+d_{i2}^2+......+d_{{\mathrm{iz}}_1}^2},(1\≤i\≤z_1);$

$\left|\right|{\mathrm{IT}}_h\left|\right|=\left[\begin{array}{cccc}{E}_1& E_2& ......& E_{z_2}\end{array}\right],$ 其中 $E_i=\sqrt{e_{1i}^2+e_{2i}^2+......+e_{z_{2}i}^2},(1\≤i\≤z_2).$

以AVS-P2标准中使用的4x4反变换为例：

${\mathrm{IT}}_v={\mathrm{IT}}_h^T=\left[\begin{array}{cccc}2& 3& 2& 1\\ 2& 1& -2& -3\\ 2& -1& -2& 3\\ 2& -3& 2& -1\end{array}\right]$

则 $W=\left[\begin{array}{cccc}16.0000& 17.8885& 16.0000& 17.8885\\ 17.8885& 20.0000& 17.8885& 20.0000\\ 16.0000& 17.8885& 16.0000& 17.8885\\ 17.8885& 20.0000& 17.8885& 20.0000\end{array}\right]$

去非归一化加权矩阵还可以由其它近似于上述W矩阵中系数之间的比例关系的其它矩阵代替。例如以w₀₀归一并取近似2位小数则得到以下去非归一化加权矩阵W：

$W=\left[\begin{array}{cccc}1.00& 1.12& 1.00& 1.12\\ 1.12& 1.25& 1.12& 1.25\\ 1.00& 1.12& 1.00& 1.12\\ 1.12& 1.25& 1.12& 1.25\end{array}\right].$

对于反变换是二维不可分离的变换，也可用类似上面所述的方法通过计算反变换矩阵的模而导出，具体不再赘述。

2.2计算编码比特数R

当前的待量化的非零变换系数为c_i，c_i-1。假设对于c_i生成的候选量化值为

即K_i＝3；对于c_i-1生成的候选量化值为

即K_i-1＝2。在计算编码比特数R时需要用到整个块所有系数的量化值，对于值为零的变换系数，认为其优化量化值为零；对于c_i-2，c_i-3......c₁使用已经确定好的优化量化值

对于c_z×z，c_z×z-1......c_i+1这一部分还未确定量化值的系数，可以使用预测量化值

作为计算R时的量化值。

按照下述方法进行计算：

其中f为0到1之间的常数。

每种候选量化值组合[

(h＝1～K_i-1)，

(k＝1～K_i)]，对应一个变换系数量化序列，共有K_i*K_i-1种序列：

$l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1,h}^{\mathrm{cand}},l_{i,k}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

此例中，6种候选量化值组合对应6个变换系数量化序列：

Seq1： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-\mathrm{1,1}}^{\mathrm{cand}},l_{i,1}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq2： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-\mathrm{1,1}}^{\mathrm{cand}},l_{i,2}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq3： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-\mathrm{1,1}}^{\mathrm{cand}},l_{i,3}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq4： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1,2}^{\mathrm{cand}},l_{i,1}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq5： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1,2}^{\mathrm{cand}},l_{i,2}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

Seq6： $l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-1,2}^{\mathrm{cand}},l_{i,3}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

根据每个序列生成相应的(run，level)串，计算相应的(run，level)串编码比特数：

$R(l_{i,k}^{\mathrm{cand}},c_{i-1,h}^{\mathrm{cand}})=\underset{n=1}{\overset{\mathrm{Num}\_\mathrm{of}\_\mathrm{run}\_\mathrm{level}}{\mathrm{\Σ}}}{r}_n+r_{\mathrm{other}}$

其中r_n为编码第n个(run，level)所需要的比特数，Num_of_run_level与当前候选组合

相关，r_other是编码其他一些标志信息比如E0B，模式信息等所需要的比特数。每个r_n的计算需要根据上下文选择码表，计算编码第n个(run，level)所需要的比特数编码比特数。码表的选择按图像、视频标准中规定的方法，此处不再累述。

2.3计算编码代价J：

变换系数块的编码代价J的计算方法有很多，例如根据率失真理论以拉格朗日率失真函数计算编码代价：

$J({l_{i,k}}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}})=D({l_{i,k}}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}})+\mathrm{\λ}*R({l_{i,k}}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}})$

其中，为候选量化值对应的编码失真，

为候选量化值对应的编码比特数，λ为拉格朗日系数，是个经验值，由统计得到。

3滑动Q个非零变换系数重复执行上述2操作，直到该变换系数块所有变换系数得到优化量化值为止。

此例中Q＝1，因此所述滑动Q个非零变换系数重复执行上述2操作即i＝i+Q＝i+1后重复执行上述2操作。

实施例三：

对于Z₁×Z₂大小的变换系数块按照一定的扫描顺序，如zig-zag扫描顺序、或zig-zag扫描顺序的倒序、或量化后变换系数熵编码的顺序、或其它预先定义的顺序，排列为一维的变换系数序列

该变换系数块的优化量化方法按变换系数序列

的顺序进行，其中值为零的变换系数的优化量化值就是零，而对于值不为零的变换系数即非零变换系数则按照上述的一定的扫描顺序排列为一维的非零变换系数序列c₁，c₂，......c_z，使用一个宽度为M的联合优化窗进行M(1≤M≤Z)个非零变换系数联合优化量化，每次滑动Q(1≤Q≤M)个非零变换系数，此例中M＝3，Q＝3，即3个非零变换系数进行联合优化量化，如下文所述，具体包括：

1非零变换系数生成若干候选量化值：每个非零变换系数c_n(n＝1～Z)生成K_n个候选量化值其中K_n为大于等于1的整数。可按多种方式生成候选量化值。例如，假设当前的量化步长为Q_step，则令level_double＝|c_n|÷Q_step。用l_int表示level_double的整数部分，用l_fl表示level_double的小数部分，则对c_n可以按如下规则生成候选量化值：

1.1如果l_int＝0，并且l_fl≤0.5，候选量化值包括：

1.2如果l_int＝0，并且l_fl＞0.5，候选量化值包括：

1.3如果l_int＞0，并且l_fl≤0.5，候选量化值包括：

1.4如果l_int＞0，并且l_fl＞0.5，候选量化值包括：

2对非零变换系数c_i-2的候选量化值

(g＝1～K_i-2)、c_i-1的候选量化值

(h＝1～K_i-1)以及c_i的候选量化值

(k＝1～K_i)的组合计算相应的编码代价J，并选取使编码代价J最小的候选量化值组合作为变换系数c_i-2，c_i-1，c_i的优化量化值。

2.1当前块的编码失真D的计算，例如：

$D({l_{i,k}}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i-2,g}^{\mathrm{cand}})=\mathrm{err}(w_i{c}_i,w_i{c}_i^{\′}\left(l_{i,k}^{\mathrm{cand}}\right))+\mathrm{err}(w_{i-1}{c}_{i-1},w_{i-1}{c}_{i-1}^{\′}\left(l_{i-1,h}^{\mathrm{cand}}\right))+\mathrm{err}(w_{i-2}{c}_{i-2},w_{i-2}{c}_{i-2}^{\′}\left(l_{i-2,g}^{\mathrm{cand}}\right))$

w_i为去非归一化加权矩阵W中位置与与c_i在变换系数块中的位置相同的元素即W中与c_i对应位置的加权值，

为由c_i的候选量化值

经过反量化后恢复的变换系数值，反量化方法通常在各种图像、视频编解码标准中都有明确定义；err(A，B)是表征A和B之间失真的函数，例如err(A，B)＝(A-B)²；去非归一化加权矩阵W与非归一化反变换矩阵相关，具体如下：

不失一般性，反变换是二维可分离变换，反变换过程可以用垂直和水平变换核矩阵IT_v和IT_h描述为：

Y＝IT_v×CoeffM×IT_h

其中，CoeffM为量化后的变换系数块，Y为反变换后的变换系数块，

${\mathrm{IT}}_v=\left[\begin{array}{cccc}{d}_{11}& d_{12}& ......& d_{{1z}_1}\\ d_{21}& d_{22}& ......& d_{{2z}_1}\\ ......& ......& ......& ......\\ d_{z_{1}1}& d_{z_{1}2}& ......& d_{z_1{z}_1}\end{array}\right],$ ${\mathrm{IT}}_h=\left[\begin{array}{cccc}{e}_{11}& e_{12}& ......& e_{{1z}_2}\\ e_{21}& e_{22}& ......& e_{{2z}_2}\\ ......& ......& ......& ......\\ e_{z_{2}1}& e_{z_{2}2}& ......& e_{z_2{z}_2}\end{array}\right].$

则：W＝(||IT_v||×||IT_h||)

其中， $\left|\right|{\mathrm{IT}}_v\left|\right|={\left[\begin{array}{cccc}{D}_1& D_2& ......& D_{z_1}\end{array}\right]}^T,$ 其中 $D_i=\sqrt{d_{i1}^2+d_{i2}^2+......+d_{{\mathrm{iz}}_1}^2},(1\≤i\≤z_1);$

$\left|\right|{\mathrm{IT}}_h\left|\right|=\left[\begin{array}{cccc}{E}_1& E_2& ......& E_{z_2}\end{array}\right],$ 其中 $E_i=\sqrt{e_{1i}^2+e_{2i}^2+......+e_{z_{2}i}^2},(1\≤i\≤z_2).$

以AVS-P2标准中使用的4x4反变换为例：

${\mathrm{IT}}_v={\mathrm{IT}}_h^T=\left[\begin{array}{cccc}2& 3& 2& 1\\ 2& 1& -2& -3\\ 2& -1& -2& 3\\ 2& -3& 2& -1\end{array}\right]$

得到 $W=\left[\begin{array}{cccc}16.0000& 17.8885& 16.0000& 17.8885\\ 17.8885& 20.0000& 17.8885& 20.0000\\ 16.0000& 17.8885& 16.0000& 17.8885\\ 17.8885& 20.0000& 17.8885& 20.0000\end{array}\right]$

去非归一化加权矩阵还可以由其它近似于上述W矩阵中系数之间的比例关系的其它矩阵代替。

对于反变换是二维不可分离的变换，也可用类似上面所述的方法通过计算反变换矩阵的模而导出，具体不再赘述。

2.2计算编码比特数R

当前的待量化的非零变换系数为c_i，c_i-1，c_i-2。假设对于c_i生成的候选量化值为

即K_i＝3；对于c_i-1生成的候选量化值为

即K_i-1＝2；对于c_i-2生成的候选量化值为

即K_i-2＝3。在计算编码比特数R时需要用到整个块所有系数的量化值，对于值为零的变换系数，认为其优化量化值为零；对于c_i-3，c_i-4......c₁使用已经确定好的优化量化值

对于c_z×z，c_z×z-1......c_i+1这一部分还未确定量化值的系数，可以使用预测量化值

作为计算J时的量化值。

按照下述方法进行计算：

其中f为0到1之间的常数。

每种候选量化值组合[

(g＝1～K_i-2)，

(h＝1～K_i-1)，

(k＝1～K_i)]，对应一个变换系数量化序列，共有K_i*K_i-1*K_i-2种序列：

$l_1^{\mathrm{opt}},l_2^{\mathrm{opt}},......,l_{i-2,g}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i,k}^{\mathrm{cand}},l_{i+1}^{\mathrm{pre}},l_{i+2}^{\mathrm{pre}},......,l_{z\×z}^{\mathrm{pre}}$

根据每个序列生成相应的(run，level)串，计算每个序列相应的(run，level)串的编码比特数：

$R(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i-2,g}^{\mathrm{cnad}})=\underset{n=1}{\overset{\mathrm{Num}\_\mathrm{of}\_\mathrm{run}\_\mathrm{level}}{\mathrm{\Σ}}}{r}_n+r_{\mathrm{other}}$

其中r_n为编码第n个(run，level)所需要的比特数，Num_of_run_level与当前候选组合

相关，r_other是编码其他一些标志信息比如E0B，模式信息等所需要的比特数。每个r_n的计算需要根据上下文选择码表，计算编码第n个(run，level)所需要的比特数编码比特数。码表的选择按图像、视频标准中规定的方法，此处不再累述。

2.3计算编码代价J

变换系数块的编码代价J的计算方法有很多，例如根据率失真理论以拉格朗日率失真函数计算编码代价：

$J(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i-2,g}^{\mathrm{cand}})=D(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i-2,g}^{\mathrm{cnad}})+\mathrm{\λ}*R(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},l_{i-2,g}^{\mathrm{cand}})$

其中，

为候选量化值对应的编码失真，

为候选量化值对应的编码比特数，λ为拉格朗日系数，是个经验值，由统计得到。

3滑动Q个非零变换系数重复执行上述2操作，直到该变换系数块所有变换系数得到优化量化值为止。

此例中Q＝3，因此滑动Q个非零变换系数重复执行上述2操作即i＝i+Q＝i+3后重复执行上述2操作。

实施例四：

一种变换系数的优化量化装置。其结构如图1所示。该装置包括候选量化值生成单元，变换系数量化值预测单元，变换系数优化量化值存储单元，计算编码失真单元，计算编码比特数单元，计算编码代价单元，以及优化量化值选择单元。

(1)变换系数块信息输入候选量化值生成单元，候选量化值生成单元对每个值为零的变换系数生成的候选量化值即为零，而对每个非零变换系数c_n(n＝1～Z)生成K_n个候选量化值

其中K_n为大于等于1的整数。具体候选值的生成方法如实施例一～实施例三中所述。

(2)变换系数块输入变换系数量化值预测单元，变换系数量化值预测单元为尚未确定优化量化值的变换系数按照下述方法产生预测量化值

其中f为0到1之间的常数，c_n为输入的的变换系数块中的变换系数，Q_step为量化步长。

(3)变换系数优化量化值存储单元的输入端接优化量化值选择单元的输出端，变换系数优化量化值存储单元存储已经经过优化量化的变换系数的优化量化值l^opt，其中对于值为零的变换系数，其优化量化值为零；对于值不为零的变换系数即非零变换系数，其优化量化值由优化量化值选择单元提供。

(4)计算编码失真单元输入端接变换系数块以及候选量化值生成单元的输出端，输出M个非零变换系数c_i，c_i-1，......，c_i-M+1的候选量化值组合[(k＝1～K_i)，

(h＝1～K_i-1)，……，

(f＝1～K_i-M+1)]所对应的编码失真：

$D({l_{i,k}}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M+1,s}^{\mathrm{cand}})=\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\mathrm{err}(w_{i-m}{c}_{i-m},w_{i-m}{c}_{i-m}^{\′}\left(l_{i-m,s}^{\mathrm{cand}}\right))$

w_i为去非归一化加权矩阵W中位置与c_i在变换系数块中的位置相同的元素即W中与c_i对应位置的加权值；

为由c_i的候选量化值

经过反量化后恢复的变换系数；err(A，B)是表征A和B之间失真的函数。该计算编码失真单元包括反量化单元，去非归一化处理单元，err(A，B)函数计算单元。其中：

4.1反量化单元输入为候选量化值生成单元的输出，反量化单元为每一个非零变换系数的每一个候选量化值生成对应的经过反量化后恢复的变换系数值。反量化方法按图像、视频编解码标准定义。

4.2去非归一化处理单元输入为经过反量化后恢复的变换系数值或变换系数块，去非归一化处理单元对输入信号进行去非归一化处理，即将输入信号乘以去非归一化加权矩阵，得到去非归一化处理单元的输出。其中去非归一化加权矩阵与反变换矩阵相关联，不失一般性，对于反变换是二维可分离变换，反变换过程可以用垂直和水平变换核矩阵IT_v和IT_h描述为：

Y＝IT_v×CoeffM×IT_h

其中，CoeffM为量化后的变换系数块，Y为反变换后的变换系数块，

${\mathrm{IT}}_v=\left[\begin{array}{cccc}{d}_{11}& d_{12}& ......& d_{{1z}_1}\\ d_{21}& d_{22}& ......& d_{{2z}_1}\\ ......& ......& ......& ......\\ d_{z_{1}1}& d_{z_{1}2}& ......& d_{z_1{z}_1}\end{array}\right],$ ${\mathrm{IT}}_h=\left[\begin{array}{cccc}{e}_{11}& e_{12}& ......& e_{{1z}_2}\\ e_{21}& e_{22}& ......& e_{{2z}_2}\\ ......& ......& ......& ......\\ e_{z_{2}1}& e_{z_{2}2}& ......& e_{z_2{z}_2}\end{array}\right].$

则：W＝(||IT_v||×||IT_h||)

其中， $\left|\right|{\mathrm{IT}}_v\left|\right|={\left[\begin{array}{cccc}{D}_1& D_2& ......& D_{z_1}\end{array}\right]}^T,$ 其中 $D_i=\sqrt{d_{i1}^2+d_{i2}^2+......+d_{{\mathrm{iz}}_1}^2},(1\≤i\≤z_1);$

$\left|\right|{\mathrm{IT}}_h\left|\right|=\left[\begin{array}{cccc}{E}_1& E_2& ......& E_{z_2}\end{array}\right],$ 其中 $E_i=\sqrt{e_{1i}^2+e_{2i}^2+......+e_{z_{2}i}^2},(1\≤i\≤z_2).$

对于反变换是二维不可分离的变换，也可用类似上面所述的方法通过计算反变换矩阵的模而导出，具体不再赘述。

4.3.err(A，B)函数计算单元的输入为去非归一化处理单元的输出，err(A，B)函数计算单元计算经过去归一化处理的变换系数A和经过去归一化处理的变换系数B之间的编码失真，err(A，B)函数具体如实施例一～实施例三中所述。

(5)计算编码比特数单元的输入端接候选量化值生成单元的输出端、变换系数量化值预测单元的输出端、以及变换系数优化量化值存储单元的输出端，输出非零变换系数c_i，c_i-1，......，c_i-M+1的候选量化值组合[(k＝1～K_i)，

(h＝1～K_i-1)，……，

(s＝1～K_i-M+1)]对应的编码比特数：

$R(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M+1,f}^{\mathrm{cand}})=\underset{n=1}{\overset{\mathrm{Num}\_\mathrm{of}\_\mathrm{run}\_\mathrm{level}}{\mathrm{\Σ}}}{r}_n+r_{\mathrm{other}}.$

计算编码比特数单元包括(run，level)串生成单元，码表切换单元，二维熵编码码表存储单元，计算(run，level)串比特数单元，计算其他标志信息比特数单元。其中：

5.1(run，level)串生成单元由变换系数量化值预测单元的输出、候选量化值生成单元的输出、以及变换系数优化量化值存储单元的输出生成候选量化值组合对应的(run，level)串。

5.2二维熵编码码表存储单元存储所有编码变换系数所需要的二维熵编码码表；

5.3码表切换单元根据变换系数优化量化值存储单元的输出、变换系数量化值预测单元的输出以及候选量化值生成单元的输出信息，依次为每个(run，level)选择二维熵编码码表，码表的选择按图像、视频标准中规定的方法，此处不再累述；

5.4计算(run，level)串比特数单元根据码表切换单元选择的、存储在二维熵编码码表存储单元的、每个(run，level)对应的二维熵编码码表，计算(run，level)串比特数其中r_n为编码第n个(run，level)所需要的比特数。

5.5计算其他标志信息比特数单元计算编码其他一些标志信息比如E0B，模式信息等所需要的比特数r_other。

5.6计算(run，level)串比特数单元输出与计算其他标志信息比特数单元相加的结果就是计算编码比特数单元的输出

$R(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M+1,f}^{\mathrm{cand}})=\underset{n=1}{\overset{\mathrm{Num}\_\mathrm{of}\_\mathrm{run}\_\mathrm{level}}{\mathrm{\Σ}}}{r}_n+r_{\mathrm{other}}.$

(6)计算编码代价单元的输入端接计算失真单元的输出端和计算编码比特数单元的输出端，使用拉格朗日函数由计算失真单元的输出和计算编码比特数单元的输出计算编码代价，输出每个候选量化值组合对应的编码代价：

$J(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M+1,f}^{\mathrm{cand}})=D(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M,f}^{\mathrm{cand}})+\mathrm{\λ}*R(l_{i,k}^{\mathrm{cand}},l_{i-1,h}^{\mathrm{cand}},......,l_{i-M+1,f}^{\mathrm{cand}})$

(7)优化量化值选择单元的输入端接计算编码代价的输出端，优化量化值选择单元选取使编码代价最小的候选量化值组合作为该M个非零变换系数系数的优化量化值。

Claims (10)

1.一种变换系数优化量化的方法，其特征在于对包含有Z个非零变换系数的Z₁×Z₂大小的变换系数块按如下步骤进行优化量化：

(1)对每个非零变换系数生成若干候选量化值；

(2)对M个非零变换系数的候选量化值之组合计算相应的编码代价，并选取使编码代价最小的候选量化值之组合作为该M个非零变换系数的优化量化值；所述计算相应的编码代价包括计算编码失真和计算编码比特数；所述计算编码失真包括对变换系数以及候选量化值经过反量化后恢复的变换系数值进行去非归一化处理；

(3)滑动Q个非零变换系数执行上述(2)操作，直到该变换系数块中所有变换系数得到优化量化值为止；

其中：Z＜＝Z₁×Z₂，1≤M≤Z，1≤Q≤M。

2.如权利要求1所述的变换系数优化量化的方法，其特征在于：所述对变换系数以及候选量化值经过反量化后恢复的变换系数值进行去非归一化处理是指将变换系数以及候选量化值经过反量化后恢复的变换系数值分别乘以去非归一化加权矩阵中对应位置的加权值，所述去非归一化加权矩阵与反变换矩阵相关联。

3.如权利要求2所述的变换系数优化量化的方法，其特征在于：所述的去非归一化加权矩阵W由反变换的垂直和水平变换核矩阵IT_v和IT_h决定，W＝(||IT_v||×||IT_h||)，其中，

其中

其中

4.如权利要求1或2或3所述的变换系数优化量化的方法，其特征在于：所述计算M个非零变换系数的候选量化值组合对应的编码比特数包括根据变换系数的候选量化值组合生成对应的(run，level)串，并计算(run，level)串的编码比特数。

5.如权利要求4所述的变换系数优化量化的方法，其特征在于：所述计算(run，level)串的编码比特数，包括对每个(run，level)根据上下文选择码表。

6.一种变换系数的优化量化装置，其特征在于：包括计算编码失真单元，所述计算编码失真单元的输入为变换系数块和每个非零变换系数的候选量化值，输出为候选量化值组合对应的编码失真；所述计算编码失真单元包括去非归一化处理单元。

7.如权利要求6所述的变换系数的优化量化装置，其特征在于：所述去非归一化处理单元对输入信号进行去非归一化处理，即去非归一化处理单元的输出为去非归一化处理单元的输入乘以去非归一化加权矩阵中对应位置的加权值。

8.如权利要求7所述的变换系数的优化量化装置，其特征在于：所述去非归一化加权矩阵W由反变换的垂直和水平变换核矩阵IT_v和IT_h决定，W＝(||IT_v||×||IT_h||)，其中，其中，其中

其中

9.如权利要求6或7或8所述的变换系数的优化量化装置，其特征还在于：还包括计算编码比特数单元，所述计算编码比特数单元的输入为变换系数优化量化值存储单元的输出、变换系数量化值预测单元的输出、候选量化值生成单元的输出；所述计算编码比特数单元的输出为候选量化值组合对应的编码比特数；所述计算编码比特数单元包括(run，level)串生成单元，码表切换单元，计算(run，level)串比特数单元。

10.如权利要求9所述的变换系数的优化量化装置，其特征在于：所述(run，level)串生成单元是由变换系数量化值预测单元的输出、候选量化值生成单元的输出、以及变换系数优化量化值存储单元的输出生成候选量化值组合对应的(run，level)串；所述码表切换单元根据变换系数优化量化值存储单元的输出、变换系数量化值预测单元的输出以及候选量化值生成单元的输出信息，依次为每个(run，level)选择二维熵编码码表。

Images