CN102595112B - 视频编码中编码和重建图像块的方法 - Google Patents

Abstract

本发明涉及一种视频编码中编码和重建图像块的方法。编码过程：首先根据当前块选定的预测模式，生成图像预测块，选择发明的一组低复杂度整数DST变换函数，对残差块进行变换，得到变换系数块，对变换系数块进行量化；重建过程：接收量化的变换系数块，并进行反量化，得到变换系数块，选择发明的一组低复杂度整数DST变换函数，对变换系数块进行反变换，计算得到残差块，根据当前块选定的预测模式，生成图像预测块，并结合反变换计算得到残差块生成重建图像块。本发明实现了无乘法的DST，其性能与MDDT近似相同，但显著地降低了编解码器的存储复杂度，可以直接应用于视频编码过程中，有效提高编码效率，并降低模式相关变换的计算复杂度。

Description

视频编码中编码和重建图像块的方法

技术领域

本发明涉及一种视频编码方法，特别涉及一种用于视频编码预测残差的变换及反变换方法。

背景技术

在视频编码器中，视频数据首先被划分为若干个16×16大小的块，其中每一个16×16大小的块在国际视频编码标准H.264/AVC及中国自主知识产权的AVS标准中被称为宏块（Macroblock），视频编码的过程正是以宏块（Macroblock）为基本单位进行。在编码一个宏块的过程当中，编码器会进一步将宏块划分为多个更小的单元，比如16个4×4的块，如图1所示，或者4个8×8的块等。以H.264/AVC中4×4块的帧内编码为例，如图2所示，编码器首先利用每个4×4块周围的像素（A～L，Q，图2左）根据某个预测方向（图2右）生成一个4×4大小的预测块（Predicted block），然后将4×4块与这个预测块逐个像素求差值，得到一个4×4大小的残差块（Residual block），残差块中的16个元素称之为残差采样（Residualsample）值。由于不同的预测方向对应的残差的统计特性有所不同，近年来，有研究者提出模式相关的方向变换（Mode-dependent Directional Transform,MDDT）（Y.Ye and M.Karczewicz,“Improved h.264intra coding based on bi-directional intra prediction,directional transform,andadaptive coefficient scanning,”Proceedings of the2008IEEE International Conference on ImageProcessing(ICIP),pp.2116-2119,Oct.2008），即对不同的预测方向，采用不同的变换函数，如下式描述，

F=C_i·X·R_i   (1)

其中，C_i为预测模式i所对应的列变换矩阵，R_i为预测模式i所对应的行变换矩阵，X为残差块，F为计算变换所得到的变换系数矩阵。C_i，R_i，X和F均为N×N大小的矩阵。MDDT采用更加细化的变换，显著地提高了H.264/AVC的帧内编码性能。

在MDDT的基础之上，又有研究者进一步对图像像素进行建模，分析了某些预测方向对应的残差在水平方向和垂直方向上的协方差矩阵，推导得出对于某些预测方向，采用给定形式的离散正弦变换（Discrete Sine Transform,DST）（Chuohao Yeo,Yih Han Tan,Zhengguo Li,Susanto Rahardja,“TE7:Results for Mode-Dependent Fast Separable KLT for Block-based IntraCoding”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IECJTC1/SC29/WG11,JCTVC-C037,3rd JCT-VC Meeting,Guangzhou,China,Oct.,2010）优于离散余弦变换，给定形式的离散正弦变换如下式描述

$C_{i,j}=\frac{2}{\sqrt{2N+1}}\sin \left(\frac{(2i-1)\mathrm{j\π}}{2N+1}\right)---\left(2\right)$

其中，C_i,j为DST的变换矩阵C中位于（i,j）位置的元素。

MDDT显著地提高了H.264/AVC帧内编码的性能，但同时由于变换函数的数量显著增加，变换的计算没有快速算法，编码器和解码器的复杂度也显著提高了。

发明内容

针对上述问题，本发明的目的在于提出一种新的低复杂度的DST变换方法，使得这种变换方法与MDDT的性能近似相同，但变换函数的数量大大降低，变换过程的动态位宽降低，实现无乘法的DST。

为实现上述目的，本发明提供了如下的技术方案：

方案1：一种视频编码中编码图像块的方法，所述图像块为图像像素值的集合，其特征在于，所述方法包括如下步骤：

a)选择一种预测模式，根据图像块周围的像素生成预测块；

b)计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；

c)选择变换矩阵S，对残差块的每一行/列的元素进行行/列变换，得到变换系数块；

d)根据帧内预测模式，从多个缩放系数矩阵中选择一个对变换系数进行量化，得到量化的变换系数；

其中，所述变换矩阵S具有如下特征：

-S为整数矩阵；

-S中的每个元素的绝对值均小于20；

-S中每一行/列的元素不完全相同；

-S·S^T近似对角矩阵，S^T为S的转置；

-S经过归一化近似DST矩阵。

更具体地，如果S·S^T的全部对角元素的平方和与全部元素的平方和之比大于0.96，则称S·S^T近似对角矩阵；记S’为S除以S第一行全部元素的平方和的平方根得到的矩阵，那么如果S’与DST矩阵C相减得到的矩阵的各元素绝对值之和小于0.9，则称S经过归一化近似DST矩阵。

方案2：作为方案1的一种优选实现，其特征在于，所述残差块为4×4或者8×8大小；对于4×4的残差块，所选的变换矩阵S为4×4的矩阵；对于8×8的残差块，所选的变换矩阵S为8×8的矩阵。

方案3：作为方案1的一种优选实现，其特征在于，选择变换矩阵S进行变换的过程中，每一步计算通过加法、减法和移位操作实现，而不用通过乘法操作。

方案4：作为方案2的一种优选实现，其特征在于，对于4×4的残差块，所选的变换矩阵S的元素的绝对值均为小于10的整数；对于8×8的残差块，所选的变换矩阵S的元素的绝对值均为小于20的整数。

方案5：作为方案1的一种优选实现，其特征在于，所述多个缩放系数矩阵包括三个缩放矩阵（M₁，M₂，M₃），其中缩放矩阵M₁的每一行和每一列元素均相同；缩放矩阵M₂的每一行元素相同，但是每一列元素不完全相同；缩放矩阵M₃的每一列元素相同，但是每一行元素不完全相同。

本发明同时提供了对应的重建图像块的方法：

方案6：一种视频编码中重建图像块的方法，所述图像块是图像像素值的集合，其特征在于，所述方法包括如下步骤：

a)根据接收的编码预测模式，根据图像块周围的像素生成预测块；

b)根据接收的编码预测模式，从多个缩放系数矩阵中选择一个对接收的量化的变换系数块进行反量化，得到变换系数块；

c)选择变换矩阵S的转置对反量化的变换系数块的每一行/列的元素进行行/列变换，得到残差块；

d)根据预测块和残差块生成重建图像块；

其中，所述变换矩阵S具有如下特征：

-S为整数矩阵；

-S中的每个元素的绝对值均小于20；

-S中每一行/列的元素不完全相同；

-S·S^T近似对角矩阵，S^T为S的转置；

-S经过归一化近似DST矩阵。

更具体地，如果S·S^T的全部对角元素的平方和与全部元素的平方和之比大于0.96，则称S·S^T近似对角矩阵；记S’为S除以S第一行全部元素的平方和的平方根得到的矩阵，那么如果S’与DST矩阵C相减得到的矩阵的各元素绝对值之和小于0.9，则称S经过归一化近似DST矩阵。

方案7：作为方案6的一种优选实现，其特征在于，所述变换系数块为4×4或者8×8大小；对于4×4的变换系数块，所选的变换矩阵S为4×4的矩阵；对于8×8的变换系数块，所选的变换矩阵S为8×8的矩阵。

方案8：作为方案6的一种优选实现，其特征在于，选择变换矩阵S的转置进行反变换的过程中，每一步计算通过加法、减法和移位操作实现，而不用通过乘法操作。

方案9：作为方案7的一种优选实现，其特征在于，对于4×4的残差块，所选的变换矩阵S的元素的绝对值均为小于10的整数；对于8×8的残差块，所选的变换矩阵S的元素的绝对值均为小于20的整数。

方案10：作为方案6的一种优选实现，其特征在于，所述多个缩放系数矩阵包括三个缩放矩阵（M₁，M₂，M₃），缩放矩阵M₁的每一行和每一列元素均相同；缩放矩阵M₂的每一行元素相同，但是每一列元素不完全相同；缩放矩阵M₃的每一列元素相同，但是每一行元素不完全相同。

本发明的有益效果：本发明实现了无乘法的DST，其性能与MDDT近似相同，但显著地降低了编解码器的存储复杂度和计算复杂度。

附图说明

图1是将单个宏块划分为16个4×4的块的示意图。

图2是H.264/AVC中4×4块的帧内预测示意图。

图3是发明的变换函数与DST的变换函数的比较。

具体实施方式

实施例1：

首先根据变换矩阵S的约束条件寻找得到一个满足：（1）S为整数矩阵；（2）S中的每个元素的绝对值均小于10；（3）S中每一行/列的元素不完全相同；（4）S₄与S₄的转置相乘结果为对角矩阵，即S₄的行向量间相互正交；（5）S₄经过归一化后近似4×4的DST矩阵。

寻找S₄的方法如下描述，定义这样一个矩阵

$\left[\begin{array}{cccc}a& b& c& d\\ c& c& 0& -c\\ d& -a& -c& b\\ b& -d& c& -a\end{array}\right]---\left(3\right)$

其中，a，b，c和d均为小于10的整数，记

$T=\left[\begin{array}{cccc}a& b& c& d\\ c& c& 0& -c\\ d& -a& -c& b\\ b& -d& c& -a\end{array}\right]\×\left[\begin{array}{cccc}a& c& d& b\\ b& c& -a& -d\\ c& 0& -c& c\\ d& -c& b& -a\end{array}\right]---\left(4\right)$

$M=|\left[\begin{array}{cccc}a& b& c& d\\ c& c& 0& -c\\ d& -a& -c& b\\ b& -d& c& -a\end{array}\right]\×\frac{1}{\sqrt{a^2+b^2+c^2+d^2}}-C|---\left(5\right)$

其中为归一化因子。对所有符合形式（3）的整数矩阵进行穷举（10⁴），凡是满足以下对正交性和近似DST矩阵的约束的矩阵，输出为所要寻找的S₄。

正交约束： $\underset{i}{\mathrm{\Σ}}{T}_{i,i}/\underset{i,j}{\mathrm{\Σ}}\left|T_{i,j}\right|=1---\left(6\right)$

近似DST矩阵：M<0.15   (7)

其中，（6）限定T为对角矩阵，即限定矩阵的行向量相互正交；（7）限定符合形式（3）的矩阵经过归一化后近似DST矩阵C。通过上面的方法，可以得到满足上面全部要求的矩阵，如：

$S_4=\left[\begin{array}{cccc}3& 5& 7& 8\\ 7& 7& 0& -7\\ 8& -3& -7& 5\\ -5& 8& -7& 3\end{array}\right]$

矩阵S₄满足S₄·S₄ ^T=147×I，I为4×4的单位矩阵。同时，S₄中各元素间的比例关系和（2）式给定的标准DST变换矩阵C中各元素的比例关系非常接近，为了说明这一点，在图3中给出离散的正弦变换，连续的正弦变换和发明的近似的整数变换（对应于S₄矩阵）之间的变换函数的关系，图中（a），（b），（c），（d）为代表变换矩阵的每一行，即基函数。可以从图3看出，变换矩阵S₄可以很好地近似DST变换矩阵，同时具有元素均为小整数（绝对值小于10），计算复杂度低的优势。

实施例2：

其次根据变换矩阵S的约束条件寻找得到一个满足：（1）S为整数矩阵；（2）S中的每个元素的绝对值均小于20；（3）S中每一行/列的元素不完全相同；（4）S₈与S₈的转置相乘近似对角矩阵，即S₈的行向量间相互近似正交；（5）S₈经过归一化后近似8×8的DST矩阵。

寻找S₈的方法和上述寻找S₄的方法类似，首先定义这样一个矩阵：

$\left[\begin{array}{cccccccc}a& b& c& d& e& f& g& h\\ c& f& h& e& b& -a& -d& -g\\ e& g& b& -c& -h& -d& a& f\\ g& c& -d& -f& a& h& b& -e\\ h& -a& -g& b& f& -c& -e& d\\ f& -e& -a& g& -d& -b& h& -c\\ d& -h& e& -a& -c& g& -f& b\\ b& -d& f& -h& g& -e& c& -a\end{array}\right]---\left(8\right)$

然后类似寻找S₄的方法，定义T和M，对所有符合形式（8）的整数矩阵进行穷举（10⁸），凡是满足以下对正交性和近似DST矩阵的约束的矩阵，输出为所要寻找的S₈。

近似正交约束： $\underset{i}{\mathrm{\&Sigma;}}{T}_{i,i}/\underset{i,j}{\mathrm{\&Sigma;}}\left|T_{i,j}\right|>0.99---\left(9\right)$

近似DST矩阵：M<0.9   (10)

通过上面的方法，可以得到满足上面全部要求的矩阵，如：

$S_8=\left[\begin{array}{cccccccc}3& 7& 10& 13& 14& 18& 18& 18\\ 10& 18& 18& 14& 7& -3& -13& -18\\ 14& 18& 7& -10& -18& -13& 3& 18\\ 18& 10& -13& -18& 3& 18& 7& -14\\ 18& -3& -18& 7& 18& -10& -14& 13\\ 18& -14& -3& 18& -13& -7& 18& -10\\ 18& -18& 14& -3& -10& 18& -18& 7\\ 7& -13& 18& -18& 18& -14& 10& -3\end{array}\right]$

得到S₄和S₈，在编码图像块的过程中，根据帧内预测的计算过程，得到4×4帧内预测残差块X，然后采用发明的变换矩阵S₄对X某一行进行行变换的方法如下：

记X某一行的元素为[x₀,x₁,x₂,x₃]，依次计算：

a₀=x₀-x₁；a₁=x₁+x₃；a₂=(x₂<<3)-x₂；a₃=(x₀+x₁)-x₃

b₀=a₀<<2；b₁=a₁<<2

c₀=b₀+a₂

最终得到变换系数[f₀,f₁,f₂,f₃]为

f₀=c₀-a₀+(a₁<<3)；f₁=(a₃<<3)-a₃；f₂=(a₀<<3)-a₂+b₁+a₁；f₃=b₁-a₀-c₀-a₁

采用发明的变换矩阵对X某一列进行列变换的方法与上述过程类似。

在重建图像块的过程中，首先接收解码得到的量化的变换系数块，然后根据反量化的计算过程，得到4×4变换系数块F，然后采用发明的变换矩阵S₄的转置S₄ ^T对F的某一行进行行反变换的方法如下：

记F某一行的元素为[f₀,f₁,f₂,f₃]，依次计算：

a₀=f₀+f₂；a₁=f₂-f₃；a₂=(f₁<<3)-f₁；a₃=f₀-f₂-f₃

b₀=a₀<<2；b₁=a₁<<2

c₀=b₀+a₂

最终得到残差块的一行[x₀,x₁,x₂,x₃]为

x₀=c₀-a₀+b₁+a₁；x₁=a₀+c₀-(a₃<<3)；x₂=(a₃<<3)-a₃；x₃=(a₀<<3)-a₂-b₁+a₁

采用发明的变换矩阵对F某一列进行列反变换的方法与上述过程类似。

本发明方法集成在下一代国际视频编解码标准参考软件平台HM0.9中，与MDDT的比较结果如下表1、2、3所示：

表1本发明与MDDT的性能差异

表2本发明与MDDT所用到的变换矩阵的数量比较

	MDDT	本发明方法
			4×4变换	17个4×4矩阵	2个4×4矩阵

表3本发明与MDDT所用到的数学运算比较

虽然本发明是在HM0.9参考软件的帧内编码中，但可以同样适用于其他的编解码平台，如H.264/AVC,VC-1,AVS等。本发明也同样适用于P帧和B帧的帧内编码模块。

Claims (10)

1.一种视频编码中编码图像块的方法，其特征在于，包括如下步骤：

a)选择一种预测模式，根据图像块周围的像素生成预测块；

b)计算图像块和预测块对应像素之间的差值，得到残差值，所有残差值组成一个残差块；

c)选择变换矩阵S，对残差块的每一行/列的元素进行行/列变换，得到变换系数块；

d)根据帧内预测模式，从多个缩放系数矩阵中选择一个对变换系数进行量化，得到量化的变换系数；

其中，

所述变换矩阵S具有如下特征：

-S为整数矩阵；

-S中的每个元素的绝对值均小于20；

-S中每一行/列的元素不完全相同；

-S·S^T近似对角矩阵，S^T为S的转置；

-S经过归一化近似DST矩阵；

如果S·S^T的全部对角元素的平方和与全部元素的平方和之比大于0.96，则称S·S^T近似对角矩阵；记S’为S除以S第一行全部元素的平方和的平方根得到的矩阵，那么如果S’与DST矩阵C相减得到的矩阵的各元素绝对值之和小于0.9，则称S经过归一化近似DST矩阵。

2.按照权利要求1所述的方法，其特征在于，所述残差块为4×4或者8×8大小；对于4×4的残差块，所选的变换矩阵S为4×4的矩阵；对于8×8的残差块，所选的变换矩阵S为8×8的矩阵。

3.按照权利要求1所述的方法，其特征在于，选择变换矩阵S进行变换的过程中，每一步计算通过加法、减法和移位操作实现。

4.按照权利要求2所述的方法，其特征在于，对于4×4的残差块，所选的变换矩阵S的元素的绝对值均为小于10的整数；对于8×8的残差块，所选的变换矩阵S的元素的绝对值均为小于20的整数。

5.按照权利要求1所述的方法，其特征在于，所述多个缩放系数矩阵包括三个缩放矩阵，其中缩放矩阵M₁的每一行和每一列元素均相同；缩放矩阵M₂的每一行元素相同，但是每一列元素不完全相同；缩放矩阵M₃的每一列元素相同，但是每一行元素不完全相同。

6.一种视频编码中重建图像块的方法，其特征在于，包括如下步骤：

a)根据接收的编码预测模式，根据图像块周围的像素生成预测块；

b)根据接收的编码预测模式，从多个缩放系数矩阵中选择一个对接收的量化的变换系数块进行反量化，得到变换系数块；

c)选择变换矩阵S的转置对反量化的变换系数块的每一行/列的元素进行行/列反变换，得到残差块；

d)根据预测块和残差块生成重建图像块；

其中，

所述变换矩阵S具有如下特征：

-S为整数矩阵；

-S中的每个元素的绝对值均小于20；

-S中每一行/列的元素不完全相同；

-S·S^T近似对角矩阵，S^T为S的转置；

-S经过归一化近似DST矩阵；

如果S·S^T的全部对角元素的平方和与全部元素的平方和之比大于0.96，则称S·S^T近似对角矩阵；记S’为S除以S第一行全部元素的平方和的平方根得到的矩阵，那么如果S’与DST矩阵C相减得到的矩阵的各元素绝对值之和小于0.9，则称S经过归一化近似DST矩阵。

7.按照权利要求6所述的方法，其特征在于，所述变换系数块为4×4或者8×8大小；对于4×4的变换系数块，所选的变换矩阵S为4×4的矩阵；对于8×8的变换系数块，所选的变换矩阵S为8×8的矩阵。

8.按照权利要求6所述的方法，其特征在于，选择变换矩阵S的转置进行反变换的过程中，每一步计算通过加法、减法和移位操作实现。

9.按照权利要求7所述的方法，其特征在于，对于4×4的残差块，所选的变换矩阵S的元素的绝对值均为小于10的整数；对于8×8的残差块，所选的变换矩阵S的元素的绝对值均为小于20的整数。

10.按照权利要求6所述的方法，其特征在于，所述多个缩放系数矩阵包括三个缩放矩阵，缩放矩阵M₁的每一行和每一列元素均相同；缩放矩阵M₂的每一行元素相同，但是每一列元素不完全相同；缩放矩阵M₃的每一列元素相同，但是每一行元素不完全相同。

Images