CN101552924A - 一种用于视频编码的空间预测方法 - Google Patents

Abstract

本发明涉及视频图象处理领域，提供了一种用于视频编码的空间预测方法。所述方法包括以下步骤：A.编码器根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式；B.编码器根据侯选预测编码模式进行预测编码，计算各侯选预测编码模式的拉格郎日代价函数；C.编码器比较侯选预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式。采用本发明的方法，能在保证判断准确度高的同时，降低计算复杂度，从而减少计算量。

Description

一种用于视频编码的空间预测方法

技术领域

本发明涉及视频图象处理领域，更具体地说，涉及一种用于视频编码的空间预测方法。

背景技术

视频压缩编码体系中，在帧内编码时，会用到空间预测编码的概念。由于图象各区域对于空间的连续性在各个方向上是不同的，例如，在物体的边缘部分，垂直于边缘的方向不连续，而平行于边缘的方向一般是连续的，因此这方向上的各象素在数值上比较接近。空间预测编码的概念就是对图象各区域的空间相关性作分析，找出相关性最强的方向，在该方向上作预测编码，从而能够最大地消除冗余，实现最大的压缩性能。

现有技术用于视频编码的空间预测方法大都采用率失真优化方法，该方法包括以下步骤：(1)对每个可能的方向逐个测试得到预测编码模式；(2)对每个方向测试后的预测编码模式计算其拉格郎日代价函数；(3)比较预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式。率失真优化方法判断准确度高，但是由于该方法需要对每个可能的方向计算拉格郎日代价函数，因此计算复杂度相当高，计算量很大，不利于在实时性能要求高的场合使用。

因此需要一种新的用于视频编码的空间预测方法，在保证判断准确度高的同时，降低了计算复杂度，从减少了计算量。

发明内容

本发明的目的在于提供一种用于视频编码的空间预测方法，旨在解决现有技术计算复杂度高的问题。

为了实现发明目的，所述用于视频编码的空间预测方法包括以下步骤：

A.编码器根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式；

B.编码器根据侯选预测编码模式进行预测编码，计算各侯选预测编码模式的拉格郎日代价函数；

C.编码器比较侯选预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式。

优选地，在采用基于边界方向的模式选择来选择可用的侯选预测编码模式之前，对像素进行亚采样。

进一步优选地，所述对像素进行亚采样进一步包括：对相邻的像素求平均，得到的像素为亚采样后的像素。

优选地，所述步骤A中的基于边界方向的模式选择进一步包括：使用Sobel算子计算像素的边界方向向量，并将相同方向上的向量的模相加，得到相应的边界方向直方图，选择方向直方图中模最大的方向作为侯选预测编码模式。

进一步优选地，所述Sobel算子为 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

进一步优选地，所述边界方向直方图为：

$\mathrm{Histo}\left(k\right)=\underset{(m,n)\∈\mathrm{SET}\left(k\right)}{\mathrm{\Σ}}\mathrm{Amp}\left({\stackrel{\→}{D}}_{m,n}\right),$

$\mathrm{SET}\left(k\right)\∈\left\{(i,j)\right|\mathrm{Ang}\left({\stackrel{\→}{D}}_{i,j}\right)\∈a_u\},$

while

a₀＝(-103.3°，-76.6°]

a₁＝(-13.3°，13.3°]

a₃＝(35.8°，54.2°]

a₄＝(-54.2°，-35.8°]

a₅＝(-76.7°，-54.2°]

a₆＝(-35.8°，-13.3°]

a₇＝(54.2°，-76.7°]

a₈＝(13.3°，35.8°]

其中，Histo(k)是边界方向直方图，是边界方向向量的模，是边界方向向量的方向。

优选地，所述步骤A中的基于上下文的模型的模式选择进一步包括：选择当前小块的相邻小块的预测编码模式中的平均值作为当前小块的侯选预测编码模式。

优选地，所述步骤A中的基于前一帧图象相同位置上块的编码模式的模式选择进一步包括：选择前一帧的对应小块的编码模式作为当前小块的侯选预测编码模式。

优选地，所述步骤B中计算各侯选预测编码模式的拉格郎日代价函数为：

J(s，c，IMODE|QP，λ_MODE)＝SSD(s，c，IMODE|QP)+λ_MODE·R(s，c，IMODE|QP)

其中，是IMODE帧内预测可供选择的几种预测方向，QP是编码器的量化参数，λ_MODE是拉格郎日因子，SSD是帧内原始的像素值s和重建的像素值c之间的均方误差和，R(s，c，IMODE|QP)是使用IMODE模式进行编码后得到的码率。

本发明根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式，再对该侯选预测编码模式计算其拉格郎日代价函数，而无需对每个方向测试后的预测编码模式计算拉格郎日代价函数，因此，大大降低了计算复杂度，减少了计算量，并且在降低计算复杂度的同时仍能保证对方向判断的准确度，即保证了图象质量。

附图说明

图1是本发明中用于视频编码的空间预测方法的流程图；

图2是本发明的一个实施例中用于视频编码的空间预测方法的流程图；

图3是本发明在一个实施例中使用4X4小块作为帧内预测编码的基本单位时的像素分布图；

图4是本发明在一个实施例中使用4X4小块作为帧内预测编码的基本单位时可供选择的预测编码模式；

图5是本发明的一个实施例中对像素进行亚采样的示意图；

图6是本发明的一个实施例中采用基于上下文的模型的模式选择中的上下文模型的示意图；

图7是本发明的一个实施例中采用基于前一帧图象相同位置上块的编码模式的模式选择中块的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式，再对该侯选预测编码模式计算其拉格郎日代价函数，选择其最小值作为最佳预测编码模式。这样，在保证判断准确度高的同时，降低了计算复杂度，从减少了计算量。

图1示出了本发明中用于视频编码的空间预测方法的流程图，过程如下：

在步骤S101中，编码器根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式；

在步骤S102中，编码器根据侯选预测编码模式进行预测编码，计算各侯选预测编码模式的拉格郎日代价函数；

在步骤S103中，编码器比较侯选预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式。

图2示出了本发明的一个实施例中用于视频编码的空间预测方法的流程图，该方法基于H.264编码器，应当说明的是，本发明典型的应用不限于H.264编码器，在实际应用时，可灵活改变到其它类型的编码器，该方法具体过程如下：

在步骤S201中，编码器根据不同的帧内预测编码的基本单位，确定可供选择的预测编码模式。在一个实施例中，该编码器为H.264编码器，对于当前宏块是帧内编码模式而言，宏块的预测值来自于相邻的编码重建后的宏块。亮度分量可以使用16X16宏块或4X4小块作为帧内预测编码的基本单位，在使用16X16宏块作为编码的基本单位时，有4种预测编码模式可供选择；在使用4X4小块作为编码的基本单位时，有9中预测编码模式可供选择。两个色度分量使用8X8宏块作为帧内预测编码的基本单位时，有4种预测模式可供选择，两个色度分量选择的编码模式必须一样。

在一示例方案中，使用4X4小块作为帧内预测编码的基本单位，因此有9种可供选择的预测编码模式。图3示出了本发明在一个实施例中使用4X4小块作为帧内预测编码的基本单位时的像素分布图，其中，小写英文字母a到p表示小块内部的16个像素，大写字母A到M表示小快周围的像素。

图4示出了本发明在一个实施例中使用4X4小块作为帧内预测编码的基本单位时可供选择的预测编码模式，其中，数字0～1、3～8所指的方向分别表示可供选择的预测编码模式的方向，即表示模式0～模式1、模式3～模式8，需说明的是，由于编码模式2是DC预测编码模式，与方向无关，本发明未涉及到编码模式2，因此在图中未示出。在一实施例中，选用模式1进行水平方向的预测，则图3中小块中的预测值来自于像素I、J、K、L。

在步骤S202中，编码器根据预测编码模式，对像素进行亚采样后，采用基于边界方向的模式选择，选择出可用的侯选预测编码模式。

在一个实施侧中，使用4X4小块作为帧内预测编码的基本单位，因此有如图4所示的8种预测编码模式可供选择，由于图象在空间是连续和相关的，组成图象的各像素在空间上的8个预测方向上都具有相关性，本发明的一个实施例是要找到该8个预测方向上的相关性最强的方向，并使用此方向进行预测编码，从而达到帧内编码的最优效果。

图5示出了本发明的一个实施例中对像素进行亚采样的示意图，其中，实心圆表示的是可用的采样像素，亚采样后的像素值由两个相邻像素求平均而得到，如图中，亚采样后的图中像素A等于亚采样前的图中原始像素1和原始像素2的平均。因为相邻像素在空间上的相关性强，亚采样后的数据保留了原图象的数据特征，所以对算法的性能影响很小，而由于本发明对输入的原始像素进行的是2:1的亚采样，采样后的像素个数将是原始像素个数的1/2，因此对采样后的像素进行边界方向向量计算时所耗费的时间大约是原来的1/2，亚采样后计算复杂度将大大降低。

在一个实施例中，对像素进行亚采样后，采用基于边界方向的模式选择，来选择出可用的侯选预测编码模式，在一实施例中，其具体实现过程为：使用Sobel算子计算像素的边界方向向量，并将相同方向上的向量的模相加，得到相应的边界方向直方图(Edge Direction Histogram)，选择方向直方图中模最大的方向作为侯选预测编码模式。

在一示例方案中，Sobel算子为 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ 分别用来计算边界向量的水平和垂直方向分量，对亚采样后的像素p_i，j，相应边界向量为 ${\stackrel{\→}{D}}_{i,j}=\{{\mathrm{dx}}_{i,j},{\mathrm{dy}}_{i,j}\},$ 其中，dx_i，j表示边界向量水平方向的分量，dy_i，j表示边界向量垂直方向的分量，dx_i，j和dy_i，j的计算公式为：

dx_i，j＝p_i-1，j+1+2×p_i，j+1+p_i+1，j+1-p_i-1，j-1-2×p_i，j-1-p_i+1，j-1

dy_i，j＝p_i+1，j-1+2×p_i+1，j+p_i+1，j+1-p_i-1，j-1-2×p_i-1，j-p_i-1，j+1

其中，p_i-1，j+1、p_i，j+1、p_i+1，j+1、p_i-1，j-1、p_i，j-1、p_i+1，j-1、p_i+1，j、p_i-1，j分别表示像素p_i，j在原始图象中的相邻像素。

为了方便计算，定义边界方向向量的模为：

$\mathrm{Amp}\left({\stackrel{\→}{D}}_{i,j}\right)=\left|{\mathrm{dx}}_{i,j}\right|+\left|{\mathrm{dy}}_{i,j}\right|;$

定义边界方向向量的方向为：

将相同方向上的向量的模相加，得到相应的边界方向直方图，该边界方向直方图为：

$\mathrm{Histo}\left(k\right)=\underset{(m,n)\∈\mathrm{SET}\left(k\right)}{\mathrm{\Σ}}\mathrm{Amp}\left({\stackrel{\→}{D}}_{m,n}\right),$

$\mathrm{SET}\left(k\right)\∈\left\{(i,j)\right|\mathrm{Ang}\left({\stackrel{\→}{D}}_{i,j}\right)\∈a_u\},$

while

a₀＝(-103.3°，-76.6°]

a₁＝(-13.3°，13.3°]

a₃＝(35.8°，54.2°]

a₄＝(-54.2°，-35.8°]

a₅＝(-76.7°，-54.2°]

a₆＝(-35.8°，-13.3°]

a₇＝(54.2°，-76.7°]

a₈＝(13.3°，35.8°]

其中，Histo(k)是边界方向直方图，

是边界方向向量的模，

是边界方向向量的方向。

选择该边界方向直方图中模最大的方向作为侯选预测编码模式。

在步骤S203中，编码器根据预测编码模式，采用基于上下文的模型的模式选择，选择出可用的侯选预测编码模式。

图6示出了本发明的一个实施例中采用基于上下文的模型的模式选择中的上下文模型的示意图，该实施例使用4X4小块作为帧内预测编码的基本单位，其中，S表示当前的4X4小块，Q和R分别表示当前小块上边的4X4小块和当前小块左边的4X4小块。其具体过程实现为：选择当前小块S的相邻小块Q和R的预测编码模式中的平均值作为当前小块S的侯选预测编码模式。

在步骤S204中，编码器根据预测编码模式，采用基于前一帧图象相同位置上块的编码模式的模式选择，选择出可用的侯选预测编码模式。

图7示出了本发明的一个实施例中采用基于前一帧图象相同位置上块的编码模式的模式选择中块的示意图，该实施例使用4X4小块作为帧内预测编码的基本单位，选择当前小块在前一帧图象中对应位置的4X4小块的编码模式作为当前4X4小块的侯选预测编码模式。

在步骤S205中，编码器根据各侯选预测编码模式进行预测编码，计算各侯选预测编码模式的拉格郎日代价函数。在一个实施例中，使用4X4小块作为帧内预测编码的基本单位，根据上文选择出的侯选预测编码模式，计算各侯选预测编码模式的拉格郎日代价函数为：

J(s，c，IMODE|QP，λ_MODE)＝SSD(s，c，IMODE|QP)+λ_MODE·R(s，c，IMODE|QP)

其中，是IMODE帧内预测可供选择的几种预测方向，QP是编码器的量化参数，λ_MODE是拉格郎日因子，SSD是帧内原始的像素值s和重建的像素值c之间的均方误差和，R(s，c，IMODE|QP)是使用IMODE模式进行编码后得到的码率。在一实施例中，λ_MODE的取值是0.85×2^(Qp-12)/3，其中，QP与上述一样，是编码器的量化参数，QP在编码过程中动态变化。

在步骤S206中，编码器比较各侯选预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式，最佳预测编码模式即为空间相关性最强的方向。

应当说明的是，本发明典型的应用不限于H.264编码器，在实际应用时，可灵活改变到其它类型的编码器，因此上述实施例仅用于解释本发明，并不用于限制本发明，在其它编码器中，也可以应用本发明所阐述的方法。

另外，可通过实验对上述算法进行测试，在视频编码中，可通过峰值信噪比(Peak signal noise ratio，简称“PSNR”)来测试图象的质量，PSNR越高，图象质量越好，PSNR的单位是dB(分贝)，其计算式为：

$\mathrm{PSNR}=10lg\left(\frac{{255}^2}{\mathrm{MSE}}\right)$

其中，MSE是两个视频序列之间的均方误差。

在一实施例中，实验使用的测试视频编码软件的版本是JM7.6，编码软件的参数设置：使用Hadamard变换、RD优化，参考帧的数目为1，量化参数为28，GOP是IPPP。使用的测试序列为大小为QCIF的Mobile、Tempete、Bus、Paris，同时只对亮度分量进行测试，实验结果中在不同测试序列下的编码性能变化如下表所示：

测试序列	第一个I帧图像编码时间的变化(％)	序列中平均每帧图像比特率的变化(％)	序列中平均每帧图像编码时间的变化(％)	图像PSNR的变化(dB)
					Mobile	-70.25	0.12	-33.56	-0.016
Tempete	-69.78	0.26	-32.14	-0.014
					Bus	-69.58	0.39	-24.34	-0.024
Paris	-71.03	0.42	-31.76	-0.021

由上表可知，第一个I帧图像编码时间的变化了-60％左右，因此对于I帧(即帧内编码)，其计算复杂度降低了60％左右，而图象的PSNR仅仅降低了0.01dB～0.02dB，因此图象的质量并没有明显的下降，从而说明了本发明的方法在降低计算复杂度的同时，保证了图象的质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之。

Claims (9)

1、一种用于视频编码的空间预测方法，其特征在于，所述方法包括以下步骤：

A.编码器根据预测编码模式，分别采用基于边界方向的模式选择、基于上下文的模型的模式选择和基于前一帧图象相同位置上块的编码模式的模式选择，来选择出可用的侯选预测编码模式；

B.编码器根据侯选预测编码模式进行预测编码，计算各侯选预测编码模式的拉格郎日代价函数；

C.编码器比较侯选预测编码模式的拉格郎日代价函数，选择其最小值作为最佳预测编码模式。

2、根据权利要求1所述的用于视频编码的空间预测方法，其特征在于，在采用基于边界方向的模式选择来选择可用的侯选预测编码模式之前，对像素进行亚采样。

3、根据权利要求2所述的用于视频编码的空间预测方法，其特征在于，所述对像素进行亚采样进一步包括：对相邻的像素求平均，得到的像素为亚采样后的像素。

4、根据权利要求1所述的用于视频编码的空间预测方法，其特征在于，所述步骤A中的基于边界方向的模式选择进一步包括：使用Sobel算子计算像素的边界方向向量，并将相同方向上的向量的模相加，得到相应的边界方向直方图，选择方向直方图中模最大的方向作为侯选预测编码模式。

5、根据权利要求4所述的用于视频编码的空间预测方法，其特征在于，所述Sobel算子为 $\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 和 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

6、根据权利要求4所述的用于视频编码的空间预测方法，其特征在于，所述边界方向直方图为：

$\mathrm{Histo}\left(k\right)=\underset{(m,n)\∈\mathrm{SET}\left(k\right)}{\mathrm{\Σ}}\mathrm{Amp}\left({\stackrel{\→}{D}}_{m,n}\right),$

$\mathrm{SET}\left(k\right)\∈\left\{(i,j)\right|\mathrm{Ang}\left({\stackrel{\→}{D}}_{i,j}\right)\∈a_u\},$

while

a₀＝(-103.3°，-76.6°]

a₁＝(-13.3°，13.3°]

a₃＝(35.8°，54.2°]

a₄＝(-54.2°，-35.8°]

a₅＝(-76.7°，-54.2°]

a₆＝(-35.8°，-13.3°]

a₇＝(54.2°，-76.7°]

a₈＝(13.3°，35.8°]

其中，Hist(k)是边界方向直方图，是边界方向向量的模，

是边界方向向量的方向。

7、根据权利要求1所述的用于视频编码的空间预测方法，其特征在于，所述步骤A中的基于上下文的模型的模式选择进一步包括：选择当前小块的相邻小块的预测编码模式中的平均值作为当前小块的侯选预测编码模式。

8、根据权利要求1所述的用于视频编码的空间预测方法，其特征在于，所述步骤A中的基于前一帧图象相同位置上块的编码模式的模式选择进一步包括：选择前一帧的对应小块的编码模式作为当前小块的侯选预测编码模式。

9、根据权利要求1所述的用于视频编码的空间预测方法，其特征在于，所述步骤B中计算各侯选预测编码模式的拉格郎日代价函数为：

J(s，c，IMODE|QP，λ_MODE)＝SSD(s，c，IMODE|QP)+λ_MODE·R(s，c，IMODE|QP)

其中，是IMODE帧内预测可供选择的几种预测方向，QP是编码器的量化参数，λ_MODE是拉格郎日因子，SSD是帧内原始的像素值s和重建的像素值c之间的均方误差和，R(s，c，IMODE|QP)是使用IMODE模式进行编码后得到的码率。

Images