CN1795680A - 用于高级视频编码帧内预测的快速判定算法 - Google Patents

Abstract

本发明公开了一种用于AVC帧内预测以便对包括有多个图像的数字视频进行编码的方法(400)和装置。该方法包括以下步骤：为数字图像每一个帧内编码块生成边缘方向信息(410)；根据所生成的边缘方向信息选择(420)最有可能的帧内预测模式以便进行率失真优化。可通过给数字图像至少应用一个边缘算子来产生上述的边缘方向信息。可用边缘方向直方图来累加编码块内15个方向上像素的幅值。该方法可进一步包括以下步骤：用所选择的最有可能的帧内预测模式来对数字图像的一个块进行帧内编码(430)。

Description

用于高级视频编码帧内预测的快速判定算法

技术领域

本发明总的来讲涉及数字视频的处理，特别是数字视频的编码和压缩。

背景技术

为了获得最高的编码效率，高级视频编码(AVC)采用率失真优化(RDO)技术来获得最佳的编码结果，即编码质量最好同时所形成的数据位最小。高级视频编码包括AVC、H.264、MPEG-4 Part 10以及JVT。有关AVC的详细信息请参见2002年7月22-26日奥地利克拉根福(Klagenfurt)“联合视频规范的联合最终委员会草案(JFCD)”中的ITU-T录制H.264|ISO/IEC14496-10AVC。为了获得RDO，编码器会用所有的模式组合来对视频进行完全编码。这种模式的组合包括不同的帧内和帧间预测模式。结果，AVC中视频编码的复杂性和计算量都大大增加，因此在实际应用中例如在视频通讯中现有的硬件系统很难实现。

现有的报道可以看到人们在AVC视频编码运动估计的快速算法方面付出了诸多的努力。这可参见，Xiang Li和Guowei Wu于2002年12月5-13日在日本淡路岛召开的JVT-F011第6次会议上发表的“快速整数像素运动估计(Fast Integer Pixel Motion Estimation)”，Zhibo Chen、PengZhou和Yun He于2002年12月5-13日在日本淡路岛召开的JVT-F017第6次会议上发表的“快速整数像素分数像素运动估计(Fast Integer Pel andFractional Pel Motion Estimation for JVT)”，以及HyeYeon CheongTourapis、Alexis Michael Tourapis和Pankaj Topiwala于2002年10月9-17日在瑞士Geneva召开的JVT-E023第5次会议上发表的“在JVT编码中快速运动估计(Fast Motion Estimation within the JVT Codec)”。然而，现在还没有关于AVC帧内预测快速算法的报道。

帧内编码所指的是只利用视频图像中的空间冗余的情况。所形成的图像被称为I图像。通常来讲，I图像由图像中所有宏块的直接转换而编码形成，其相对于帧间编码来说会产生更大量的数据位。为了提高帧内编码的效率，在一给定图像中相邻宏块之间的空间关联要在AVC处理中被利用。相关宏块可从周围的宏块预测出来。对实际的宏块与预测宏块之间的差别进行编码。

如果宏块采用帧内模式编码，预测块则根据前面已编码并重建的块形成。对于亮度分量来说，帧内预测可用于每一个4×4子块或者是16×16宏块。对4×4的亮度块来说有九个预测模式，对于16×16的亮度块来说则有4个预测模式。对于色度分量来说，可将四个预测模式用于两个8×8的色度块(U和V)上。对U和V来说，所形成的预测模式应当是一样的。

图1所示为用于4×4亮度块100的帧内预测，其中像素a至p为准备预测的像素，像素A到I为预测时可获得的毗邻像素。如果预测模式选择为0，那么像素a、e、i和m就根据毗邻像素A预测出来，像素b、f、j和n就根据毗邻像素B预测出来，如此重复。除了图1所示的8个方向预测模式150之外，还有一个第9预测模式，即DC预测模式或者是AVC中的模式2。

还有，AVC视频编码是基于率失真优化原理进行的，因此编码器必须用所有的模式组合来对帧内编码块进行编码，并选择一个模式以给出最佳的RDO。在AVC帧内预测结构中，用于宏块中亮度块及色度块的模式组合的数目为M8X(M4×16+M16)，其中M8、M4和M6分别表示8×8色度块、4×4亮度块以及16×16亮度块的模式数目。由此，对于一个宏块来说，必须在确定出最佳RDO之前要进行592次RDO计算。结果，编码器的复杂性和计算量就非常大。

发明内容

本发明的一个方面是提供一种AVC帧内预测以便对包括多个图像的数字视频进行编码的方法。该方法包括以下步骤：为数字图像每一个帧内编码块生成边缘方向信息；根据所生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化。

该边缘方向信息可通过给数字图像至少应用一个边缘算子来产生。除了数字图像亮度和色度分量的边界像素之外，该边缘算子可应用到每一个亮度和色度像素，该方法进一步包括以下步骤：确定某一像素边缘矢量的幅值和角度。边缘方向信息可包括计算出的每一个帧内编码块中所有像素的边缘方向直方图。该边缘方向直方图可用于4×4亮度块；预测模式可以包括8个方向预测模式以及一个DC预测模式。该边缘方向直方图用于16×16亮度块和8×8编码块；预测模式可包括2个方向预测模式、一个平面预测模式以及一个DC预测模式。

该边缘方向直方图可用来总合编码块内相同方向上像素的幅值。

该方法可进一步包括以下步骤：如果当前RDO模式计算中非零系数的数目超过前次RDO模式计算中非零系数的数目，那么就终止RDO模式计算并丢弃当前的RDO模式。

该方法可进一步包括以下步骤：用所选择的最有可能的帧内预测模式来对数字图像的一个块进行帧内编码。

本发明的另一个方面是提供一种采用AVC帧内预测以便对包括多个图像的数字视频进行编码的装置。该装置包括：用来为数字图像每一个帧内编码块生成边缘方向信息的设备；以及根据所生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化的设备。本发明的其它方面在实施上与上述方法一样。

附图说明

图1是4×4亮度块的一例帧内预测；

图2是4×4亮度块的一例边缘方向直方图；

图3是帧内8×8和16×16预测模式的方向；

图4是AVC帧内预测以便对包括有多个图像的数字视频进行编码的方法的高级流程图；以及

图5是本发明实施例可实际应用的通用计算机的方块图。

优选实施例

本发明公开了一种用于AVC帧内预测以便对包括有多个图像的数字视频进行编码的方法、装置和计算机程序产品。尽管这里仅公开了少量的几个实施例，但本领域技术人员都明白在不脱离本发明范围和构思的条件下还能得到许多变化和/或替换形式。在其它的举例中，省略了本领域技术人员所公知的那些细节以便使本发明更加清楚。

本发明的实施例提供了一种用于AVC帧内预测的、基于局部边缘方向信息的快速判定算法，其减少了帧内预测的计算量。根据所预测图像块内的边缘信息，可为每个图像块生成一个局部边缘方向信息、边缘方向场或者是其它形式的边缘方向信息。根据该边缘方向信息，就能通过一个机制来选取少量的一些最有可能的帧内预测模式来进行率失真优化计算。也就是说，通过利用图像边缘图所得到的边缘方向直方图，就能选取出少量的一些最有可能的帧内预测模式来进行RDO计算。因此，这种快速判定算法大大提高了帧内编码的速度。沿着局部边缘方向的像素通常都具有相近的值(这包括亮度和色度分量)。因此，如果采用那些与某一边缘在同一方向的毗邻像素来对这些像素预测就可以获得一个好的预测。

本发明的实施例具有以下一个或多个特征：用图像块(4×4、8×8、16×16或者是其它大小的图像块)内的边缘方向信息来引导帧内预测程序；

可将边缘方向直方图用作局部边缘方向信息以便引导帧内预测程序；

边缘方向场可用作局部边缘方向信息以便引导帧内预测程序。

图像块内其它形式的边缘方向信息可用作局部边缘方向信息以便引导帧内预测程序；

具有最大边缘强度的一个边缘方向可用作率失真优化计算的最佳备选方向；

具有较大边缘强度的两个或多个边缘方向可用作率失真优化计算的优选备选方向；

根据整数转换和折线扫描后非零系数的数目来更早地终止RDO模式计算；以及

根据整数转换和折线扫描后零的长度来更早地终止RDO模式计算。

现在有许多方法来获取局部边缘方向信息，如边缘方向直方图(参见Rafael C.Gonzalez，Richard E.Woods在2002年Prentice Hall第P572页上发表的“Digital image processing(数字图像处理)”)、方向场(参见A.M.Bazen和S.H.Gerez在2002年7月IEEE Transactions on PatternAnalysis and Machine Intelligence第24卷第905到919页上发表的“Systematic methods for the computation of the directional fieldsand singular points of fingerprints(用来计算方向场和指纹特征点的系统方法)”)等。本发明的快速帧内预测算法可基于边缘方向直方图和方向场来实施，实施结果的好坏通过下面参数的结果对比出来：时间上的节约，2003年12月19日草案第4版的运动估计评估表中JVT测试模型Ad HocGroup所推荐的所有序列的平均PSNR及码率。基于边缘方向直方图的方案提供更优的性能。因此，这里所述的模式判定方案基于的是边缘方向直方图。

边缘图

为了获取与所预测帧内编码块毗邻的边缘信息，可将一个边缘算子如Sobel边缘算子加到一帧内图像上以产生边缘图。然后将帧内图像中的每一个像素都与该边缘图中的一个元素相关联，其中的元素是包含了其边缘方向和幅值的边缘矢量。在进行帧内预测之前，先由该原始图像生成边缘图。

边缘算子具有两个卷积积分核心。图像中的每一个像素均与这两个卷积积分核心卷积。其中一个对应于垂直方向的差度，另一个对应于水平方向的差度。除了图像亮度和色度边界的像素之外，该边缘算子可加到每一个亮度和色度像素上，这是因为该算子不可能加到那些没有8个环绕像素的像素上。对于像素p_ij来说，在亮度(或色度)图像中，对应的边缘矢量 ${\stackrel{\→}{D}}_{\mathrm{ij}}=\{{\mathrm{dx}}_{\mathrm{ij}},{\mathrm{dy}}_{\mathrm{ij}}\}$ 被定义为：

dx_i，j＝p_i-1，j+1+2×p_i，j+1+p_i+1，j+1-p_i-1，j-1-2×p_i，j-1-p_i+1，j-1

                                                                         (1)

dy_i，j＝p_i+1，j-1+2×p_i+1，j+p_i+1，j+1-p_i-1，j-1-2×p_i-1，j-p_i-1，j+1

这里，dx_i，j和dy_i，j表示垂直和水平方向上的差度。因此，边缘适量的幅值可由下式确定：

$\mathrm{Amp}\left({\stackrel{\→}{D}}_{i,j}\right)=\left|{\mathrm{dx}}_{i,j}\right|+\left|{\mathrm{dy}}_{i,j}\right|---\left(2\right)$

事实上，采用dx_i，j和dy_i，j平方和的开方可获得更为精确的幅值。然而，在快速算法中，通常采用公式(2)。边缘的方向(度数)由下式确定：

在该算法的一个应用中，公式(3)并不必要，这是因为在AVC中预测只能在有限的一些方向上进行。事实上，可用简单的阈值技术来构建边缘方向直方图。

边缘方向直方图

为了减少RDO中备选预测模式的数目，需将编码块中同向的所有像素的幅值都加起来从而从该编码块的所有像素计算出一个边缘方向直方图。

4×4亮度块边缘方向直方图

在4×4亮度块的情况下，如图1所示有8个方向预测模式加上一个DC预测模式。任何两个相邻方向预测模式之间的边界都是相应两个方向的等分线。例如，模式1(0°)和模式8(26.6°)之间的边界就是13.3°的方向。注意，由于预测模式是圆对称，因此模式3和8相邻。每一个像素的模式均由其边缘方向

确定。

因此，4×4亮度块的边缘方向直方图由下式确定：

$\mathrm{Histo}\left(k\right)=\underset{(m,n)\∈\mathrm{SET}\left(k\right)}{\mathrm{\Σ}}\mathrm{Amp}\left({\stackrel{\→}{D}}_{m,n}\right),$

$\mathrm{SET}\left(k\right)\∈\left\{\right\{(i_0,j_0)\},\{(i_1,j_1)\},\{(i_3,j_3)\},...,\{(i_u,j_u)\}...,\{(i_8,j_8)\left\}\right|\mathrm{Ang}\left({\stackrel{\→}{D}}_{i_u,j_u}\right)\∈a_u\},$

while

a₀＝(-103.3°，-76.7]

a₁＝(-13.3°，13.3°]

a₃＝(35.8°，54.2°]

a₄＝(-35.8°，-54.2°]                                             (4)

a₅＝(-54.2°，-76.7°]

a₆＝(-35.8°，-13.3°]

a₇＝(54.2°，76.7°]

a₈＝(13.3°，35.8°]

注意，k＝1，…，8，表示的是8个方向预测模式。此外，公式(4)中方向的角度为180°的周期角。图2所示是一例边缘方向直方图200。

16×16亮度和8×8色度块的边缘方向直方图

在16×16亮度和8×8色度块的情况下，只有两个方向预测模式，再加上一个平面预测模式和一个DC预测模式。因此，如图3所示，此时的边缘方向直方图基于三个方向300，即水平、垂直和对角线方向。

它们的边缘方向直方图按下式构建：

$\mathrm{Histo}\left(k\right)=\underset{(m,n)\∈\mathrm{SET}\left(k\right)}{\mathrm{\Σ}}\mathrm{Amp}\left({\stackrel{\→}{D}}_{m,n}\right),$

$\mathrm{SET}\left(k\right)\∈\left\{\right\{(i_1,j_1)\},...,\{(i_u,j_u)\},...,\{(i_3,j_3)\left\}\right|\mathrm{Ang}\left({\stackrel{\→}{D}}_{i_u,j_u}\right)\∈a_u\},$

同时

                                                  (5)

a₁＝[-22.25°，22.25°]

a₂＝(-∞，-67.5°)∪(67.5°，+∞，)

a₃＝Ω-(a₁∪a₂)

其中k＝1表示水平方向预测模式，k＝2表示垂直方向预测模式，k＝3表示平面预测模式。

基于直方图的帧内预测的快速模式选择

如上所述，边缘方向直方图中每一个柱均是编码块中相同方向像素幅值的总和。最大幅值的柱表示该方向上边缘最强，其可用作最佳预测模式的方向。

4×4亮度块预测模式

所述快速算法不对4×4亮度块进行9模式RDO，其只根据边缘方向直方图选择那些在帧内4×4编码块预测中更有可能成为备选模式的方向预测模式。

由于沿着某一方向上的像素很有可能具有相同的数值，因此最佳预测模式很可能出现在幅值最大的边缘方向上，或者是那些靠近最大幅值的方向上。由此，直方图中幅值最大的柱以及与之相邻的两个柱都是最佳预测模式的备选方向。当边缘方向直方图中所有的柱都具有相同的幅值时，将DC模式选取为第四备选模式。

因此，对于每一个4×4亮度块来说，只有4种模式的RDO计算，而不是9种。

16×16亮度块预测模式

直方图中只有幅值最大的柱才能作为最佳预测模式的备选模式。与上述情况相同，DC模式也被作为下一个备选模式。

因此，对于16×16亮度块来说，只需进行2种模式的RDO计算，而不是4种。

8×8色度块预测模式

对于色度块来说，有两种不同的直方图，一个来自于分量U，一个来自于分量V。因此，直方图中这两个分量幅值最大的柱均是备选模式。与前述情况相同，RDO计算中也包括DC模式。注意，如果两个分量幅值最大的方向是同一个方向时，可能只有2个备选模式用于RDO计算，要不然就有3个。

因此，对于8×8色度块来说，需要进行2或3种模式的RDO计算，而不是4种。

表1综述根据边缘方向直方图选用于RDO计算的备选模式的数目。从表1可以看出，具有快速判定算法的编码器只进行132-198次RDO计算，这一数目大大少于当前AVC视频编码(592)次的计算数目。

表1.所选取的模式数目

	编码块尺寸	模式总数	所选择的模式数目
				亮度(Y)	4×4	9	4
亮度(Y)	16×16	4	2
				色度(U，Y)	8×8	4	3或2*

*表示由两个色度块所选择的模式可以相同。

模式计算的提前终止

在帧内预测RDO模式的计算中，最耗时的部分是内容自适应二进制算术编码(CABAC)编码。还有，在CABAC编码之后所产生的数据位的数目主要取决于整数转换及折线扫描之后非零系数的数目。因此，在模式计算中采用一种简单的提前终止方案。即如果当前RDO模式计算中非零系数的数目超过前次RDO模式计算中非零系数的数目，那么就提前终止RDO模式计算并丢弃当前的RDO模式。

AVC帧内预测

图4是AVC帧内预测方法400的高级流程图。在步骤410中，为数字视频的一个数字图像的每一个帧内编码块生成边缘方向信息。在步骤420，根据所生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化。在步骤430，用所选择的最有可能的帧内预测模式来对数字图像的一个块进行帧内编码。该方法非常适于用硬件和/或软件来实现。在软件上，可用微处理器或计算机来执行计算机程序。例如，该软件可作为一个应用软件在人个计算机上执行，或者是嵌入到视频编码器中。

以计算机程序来实现

上述实施例的方法和装置可在图5中示意性展示的一计算机系统500上实现。在实现形式上可以是软件，如计算机系统500中执行的计算机程序，其用来指示计算机系统500进行该实施例的方法。

该计算机系统500包括一个计算机模块502、多个输入模块如键盘504和鼠标506以及多个输出设备如显示器508和打印机510。

计算机模块502通过一个合适的收发器514连接到计算机网络512上从而接入到例如互联网或其它网络系统如局域网(LAN)或广域网(WAN)。

该例中的计算机模块502包括一个处理器518、一个随机存取存储器(RAM)520以及一个只读存储器(ROM)522。计算机模块502还包括多个输入/输出(I/O)接口，例如连接到显示器508上的I/O接口524以及连接到键盘804上的I/O接口526。

计算机模块502的部件通常通过相互连接的总线528并以一种公知的方式来通讯。

该应用程序通常加载到用户的计算机系统500并编码到数据存贮介质如CD-ROM或软盘上，并利用与该数据存贮设备530相对应的数据存贮介质读取器来读取。该应用程序由处理器518读取并执行。程序运动的中间数据可用RAM 520保存。

本发明在上文中公开了一种用于AVC帧内预测以例对包括多个图像的数字视频进行编码的方法和装置。尽管其中只公开少量的实施例，但本领域技术人员都清楚在本发明范围构思内还有其它的变化和/或替换形式。

Claims (42)

1、一种进行AVC帧内预测以便对包括多个图像的数字视频进行编码的方法，该方法包括以下步骤：

为数字图像的每一个帧内编码块生成边缘方向信息；

根据上述生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化。

2、如权利要求1的方法，其中所述边缘方向信息通过给所述数字图像加上至少一个边缘算子来产生。

3、如权利要求2的方法，其中至少的一个边缘算子至少包括一个Sobel算子。

4、如权利要求2或3的方法，其中除了所述数字图像亮度和色度分量的边界像素之外，所述边缘算子应用到每一个亮度和色度像素上，

5、如权利要求4的方法，其进一步包括以下步骤：确定某一像素边缘矢量的幅值和角度。

6、如权利要求5的方法，其中的边缘方向信息包括计算出的每一个帧内编码块中所有像素的边缘方向直方图。

7、如权利要求6的方法，其中所述边缘方向直方图用于4X4亮度块。

8、如权利要求7的方法，其中的预测模式包括8个方向预测模式以及一个DC预测模式。

9、如权利要求6的方法，其中所述的边缘方向直方图用于16X16亮度块和8X8编码块。

10、如权利要求9的方法，其中的预测模式包括2个方向预测模式、一个平面预测模式以及一个DC预测模式。

11、如权利要求6到10之一的方法，其中所述边缘方向直方图用来总合所述编码块内相同方向上像素的幅值。

12、如权利要求1的方法，其中所述边缘方向信息是利用由数字图像产生的方向场信息产生。

13、如前述任一权利要求所述的方法，其进一步包括以下步骤：如果当前RDO模式计算中非零系数的数目超过前次RDO模式计算中非零系数的数目，那么就终止RDO模式计算并丢弃当前的RDO模式。

14、如前述任一权利要求所述的方法，其进一步包括以下步骤：用所述选择的最有可能的帧内预测模式来对所述数字图像的一个块进行帧内编码。

15、一种采用AVC帧内预测以便对包括多个图像的数字视频进行编码的装置，所述装置包括：

用来为一数字图像的每一个帧内编码块生成边缘方向信息的设备；以及

根据所述生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化的设备。

16、如权利要求15的装置，其中所述边缘方向信息通过给所述数字图像加上至少一个边缘算子来产生。

17、如权利要求16的装置，其中至少一个边缘算子包括至少一个Sobel算子。

18、如权利要求15或16的装置，其中除了所述数字图像亮度和色度分量的边界像素之外，所述边缘算子应用到每一个亮度和色度像素上，

19、如权利要求18的装置，其进一步包括用来确定某一像素边缘矢量幅值和角度的装置。

20、如权利要求19的装置，其中的边缘方向信息包括计算出的每一个帧内编码块中所有像素的边缘方向直方图。

21、如权利要求20的装置，其中所述边缘方向直方图用于4X4亮度块。

22、如权利要求21的装置，其中的预测模式包括8个方向预测模式以及一个DC预测模式。

23、如权利要求20的装置，其中所述的边缘方向直方图用于16X16亮度块和8X8编码块。

24、如权利要求23的装置，其中的预测模式包括2个方向预测模式、一个平面预测模式以及一个DC预测模式。

25、如权利要求20的装置，其中所述边缘方向直方图用来总合所述编码块内相同方向上像素的幅值。

26、如权利要求15的装置，其中所述边缘方向信息是利用由数字图像产生的方向场信息产生。

27、如权利要求15至26之一所述的装置，其进一步包括：如果当前RDO模式计算中非零系数的数目超过前次RDO模式计算中非零系数的数目，那么就终止RDO模式计算并丢弃当前的RDO模式的装置。

28、如权利要求15至27之一所述的装置，其进一步包括：用所述选择的最有可能的帧内预测模式来对所述数字图像的一个块进行帧内编码的装置。

29、一种计算机程序产品，其具有一个记录在计算机可读介质上的计算机程序，该程序采用AVC帧内预测以便对包括多个图像的数字视频进行编码，所述计算机程序产品包括：

计算机程序编码装置，其用来为一数字图像的每一个帧内编码块生成边缘方向信息；以及

计算机程序编码装置，其根据所述生成的边缘方向信息选择最有可能的帧内预测模式以便进行率失真优化。

30、如权利要求29的计算机程序产品，其中所述边缘方向信息通过给所述数字图像加上至少一个边缘算子来产生。

31、如权利要求29的计算机程序产品，其中至少的一个边缘算子至少包括一个Sobel算子。

32、如权利要求30或31的计算机程序产品，其中除了所述数字图像亮度和色度分量的边界像素之外，所述边缘算子加到每一个亮度和色度像素上，

33、如权利要求32的计算机程序产品，其进一步包括用来确定某一像素边缘矢量幅值和角度的计算机程序编码装置。

34、如权利要求33的计算机程序产品，其中的边缘方向信息包括计算出的每一个帧内编码块中所有像素的边缘方向直方图。

35、如权利要求34的计算机程序产品，其中所述边缘方向直方图用于4X4亮度块。

36、如权利要求35的计算机程序产品，其中的预测模式包括8个方向预测模式以及一个DC预测模式。

37、如权利要求34的计算机程序产品，其中所述的边缘方向直方图用于16X16亮度块和8X8编码块。

38、如权利要求37的计算机程序产品，其中的预测模式包括2个方向预测模式、一个平面预测模式以及一个DC预测模式。

39、如权利要求34的计算机程序产品，其中所述边缘方向直方图用来总合所述编码块内相同方向上像素的幅值。

40、如权利要求29的计算机程序产品，其中所述边缘方向信息是通过给所述数字图像加上至少一个边缘算子来产生，或者是利用由所述数字图像产生的方向场信息产生。

41、如权利要求29至40之一所述的计算机程序产品，其进一步包括：如果当前RDO模式计算中非零系数的数目超过前次RDO模式计算中非零系数的数目，那么就终止RDO模式计算并丢弃当前的RDO模式的计算机程序编码装置。

42、如权利要求29至41之一所述的计算机程序产品，其进一步包括：用所述选择的最有可能的帧内预测模式来对所述数字图像的一个块进行帧内编码的计算机程序编码装置。

Images