CN101884219A - 处理视频信号的方法和装置 - Google Patents

Abstract

公开了一种用于处理视频信号的装置及其方法。本发明包括接收当前块的预测模式信息、内插信息和残差，使用所述内插信息和相邻块来重建内插像素，以及使用内插像素、预测模式信息和残差来重建当前块，其中所述内插信息是基于当前块的位置产生的。按照用于处理视频信号的装置和方法，通过以重建的方式改善相关技术方法具有在编码时对于位于画面的边界区域的当前块可用的有限的帧内预测模式，以及基于内插信息使用内插像素，可以获得高重建速率。

Description

处理视频信号的方法和装置

技术领域

本发明涉及用于处理视频信号的方法和装置，尤其是，涉及用于编码或者解码视频信号的视频信号处理方法和装置。

背景技术

通常，压缩编码指的是用于经由通信电路传送数字化信息，或者以适用于存储介质的格式存储数字化信息的一系列的信号处理技术。压缩编码的目标包括音频、视频、字符等。尤其是，将对视频执行压缩编码的技术称作视频压缩。通常视频序列特征在于具有空间冗余和时间冗余。

发明内容

但是，如果没有充分地消除空间冗余和时间冗余，则在对视频信号进行编码的过程中压缩速率被降低。如果过度地消除空间冗余和时间冗余，则不能产生用于解码视频信号所需的信息从而使重建比降级。

技术解决方案

因此，本发明涉及一种用于处理视频信号的装置及其方法，其基本上消除了由于相关技术的限制和缺点而引起的一个或多个问题。

本发明的一个目的是提供一种用于处理视频信号的装置及其方法，通过所述装置及其方法，借助于使用所有九种帧内预测模式可以提高压缩效率，而对位于画面的边界区域中的块没有限制。

本发明的另一个目的是提供一种用于处理视频信号的装置及其方法，通过其可以使用各种运动矢量预测值候选提高运动矢量预测的精度。

有益效果

因此，本发明提供以下的效果和/或优点。

首先，按照本发明的视频信号处理方法可以借助于使用所有九种帧内预测模式提高编码效率而对位于画面的边界区域中的块没有限制。

其次，按照本发明的视频信号处理方法可以以当前块使用在用于帧内预测的当前块内的邻近像素和相邻块的像素的方式提高预测的精度和编码效率。

第三，按照本发明的视频信号处理方法可以使用帧内跳过模式降低比特率。

第四，按照本发明的视频信号处理方法能够以预测块不局限于位于当前块的上部或者左侧的块的方式使用单独的帧内预测模式精确地预测当前帧。

第五，按照本发明的视频信号处理方法类似于当前块的运动矢量采用使用各种运动矢量预测值候选的预测值，从而能够进行准确的运动预测。

第六，按照本发明的视频信号处理方法按照在当前块和先前块之间的同类性和当前块的类型确定运动矢量预测值候选，从而提高当前块的运动预测的精度。

第七，按照本发明的视频信号处理方法通过考虑在由当前块的参考索引指示的帧和由相邻块的参考索引指示的帧之间的距离确定运动矢量预测值，从而以确定的运动矢量预测值具有更类似于当前块的运动矢量的值的方式提高预测的精度。

第八，按照本发明的视频信号处理方法可以通过使用部分地跳过模式进一步激活跳过模式来提高编码效率，并且还可以使用比相关技术跳过模式多的运动矢量来提高当前块的重建比。

第九，按照本发明的视频信号处理方法通过使用8*8空间直接模式的方法在16*16块内使用至少两个运动矢量，从而在当前块位于边界区域或者小的目标正在移动的情况下，具有较高的重建比。

第十，按照本发明的视频信号处理方法重新排列残差信号，使得具有小的残差值的块在离散余弦变换之前位于在行或列中的左侧或者上部，从而在执行离散余弦变换时以离散余弦变换系数在左侧(近似DC分量)上占主导的方式获得较高的压缩效果。

附图说明

该伴随的附图被包括以提供对本发明进一步的理解，并且被结合进和构成本说明书的一部分，其图示本发明的实施例，并且与该说明书一起用于解释本发明的原理。

在附图中：

图1是按照本发明的一个实施例用于对视频信号进行编码的装置的示意性方框图；

图2是按照本发明的一个实施例用于对视频信号进行解码的装置的示意性方框图；

图3是按照本发明第一实施例在扩展预测模式中使用的相邻像素区域的示图；

图4A至4C是按照本发明的第一实施例内插以使用扩展预测模式的相邻像素的示图；

图5是按照本发明的第一实施例采用扩展预测模式的视频信号编码/解码序列的流程图；

图6A和图6B是按照本发明的第一实施例的编码/解码装置的帧内预测单元的方框图；

图7是按照本发明第二实施例用于执行帧像素预测模式的序列的流程图；

图8A至8P是按照本发明第二实施例在编码/解码装置的帧内预测单元中用于预测和重建当前块的方法的示图；

图9是按照本发明的第三实施例的视频画面的示图；

图10是按照本发明第三实施例的视频信号编码/解码序列的流程图；

图11是按照本发明第四实施例的视频信号编码/解码序列的流程图；

图12A至12C是指示按照本发明第四实施例的单独的帧内预测模式的块的示例性示图；

图13是按照本发明的第五实施例用于对视频信号进行编码的装置的方框图；

图14是按照本发明的第五实施例用于对视频信号进行解码的装置的方框图；

图15是按照本发明第五实施例用于当前块的运动矢量预测的当前帧和先前帧的运动矢量的示图；

图16A和图16B是按照本发明的第五实施例在运动矢量预测值确定方法中用于可用的运动矢量预测值的组合的示图；

图17是按照本发明的第五实施例用于运动矢量预测值竞争和运动补偿的序列的流程图；

图18是按照本发明的第六实施例用于确定运动矢量预测值候选的方法的流程图；

图19是在按照本发明的第六实施例的情况下的BD比率压缩比的图形；

图20和图21是按照本发明的第七实施例用于确定缩放的运动矢量预测值的方法的示图；

图22是按照本发明的第八实施例在部分地跳过模式中使用的块大小的示图；

图23A是按照相关技术用于采用空间直接模式的P8*8块的运动矢量的示图；

图23B是按照本发明的第九实施例用于8*8块的运动矢量的示图；

图24是用于执行常规的DCT方法的示图；和

图25是按照本发明的第十实施例用于离散余弦重排变换方法的示图。

具体实施方式

本发明的附加的特点和优点将在随后的描述中阐述，并且从该描述中在某种程度上将是清晰可见的，或者可以通过本发明的实践获悉。通过尤其在著述的说明书及其权利要求以及所附的附图中指出的结构，可以实现和获得本发明的目的和其他的优点。

为了实现这些和其他的优点，以及按照本发明的目的，如在此处实施和广泛地描述的，按照本发明的处理视频信号的方法，包括：接收当前块的预测模式信息、内插信息和残差，使用内插信息和相邻块重建内插像素，以及使用内插像素、预测模式信息和残差重建当前块，其中内插信息是基于当前块的位置产生的。

按照本发明，该内插信息包括用于产生内插像素的相邻块的像素信息和用于产生该内插像素的方案的信息。

按照本发明，该内插信息进一步包括指示当前块是否位于画面的边界区域上的标记信息。

为了实现这些和其他的优点，以及按照本发明的目的，如在此处实施和广泛地描述的，按照本发明的处理视频信号的方法，包括：接收包括当前块的像素预测信息和残差的视频信号，使用像素预测信息和残差重建当前块的单个像素，和使用重建的像素、像素预测信息和残差重建邻近的像素，其中像素预测信息包括用于邻近的像素的帧内预测的预测像素、预测方案和预测方向，和其中邻近的像素被包括在当前块中，并且使用包括在当前块中的其它的像素来预测。

按照本发明，预测像素是位于当前块或者重建的相邻块中的像素。

按照本发明，该预测方案包括用于使用相邻像素的平均值的方案和用于按照方向性预测的方案。

按照本发明，用于按照方向性预测的方案包括计算在以当前像素为中心的每个方向上在两个最靠近的像素之间的差，和使用在具有最小差的方向上的两个像素的平均值执行预测。

按照本发明，预测方向对应于除了DC模式之外的帧内预测模式的方向之一，并且该预测方向是在以当前像素为中心的每个方向上在最靠近当前像素的两个像素之间具有最小差值的方向。

为了进一步实现这些和其他的优点，以及按照本发明的目的，按照本发明的处理视频信号的方法，包括：接收包括运动矢量预测值信息和运动矢量的差的视频信号，使用空间预测值和时间预测值确定运动矢量预测值候选集合，使用运动矢量预测值信息确定运动矢量预测值，和使用运动矢量预测值和运动矢量的差对当前块执行运动补偿，其中运动矢量预测值是使用运动矢量预测值候选集合产生的。

按照本发明，该运动矢量预测值候选集合的确定取决于当前块是否采用跳过模式。

按照本发明，该跳过模式包括从由8*8块、8*16块、16*8块和16*16块组成的组中选择一个作为单位块。

按照本发明，如果当前块是处于跳过模式，则运动矢量预测值候选集合的确定基于在空间预测值的分量x和时间预测值的分量x之间，和在空间预测值的分量y和空间预测值的分量y之间存在或者不存在匹配。

按照本发明，如果当前块不处于跳过模式，则运动矢量预测值候选集合的确定基于在空间预测值的分量x和时间预测值的分量x之间的距离，和在空间预测值的分量y和空间预测值的分量y之间的距离。

按照本发明，运动矢量预测值信息指示用于当前块的运动矢量预测的运动矢量预测值信息。

按照本发明，该方法进一步包括在确定运动矢量预测值候选集合之前，使用空间预测值和时间预测值选择运动矢量竞争。

按照本发明，该运动矢量竞争的选择是基于空间和时间预测值的大小确定的。

按照本发明，该方法进一步包括在确定运动矢量预测值候选集合之前，基于先前画面的运动矢量和当前块的类型选择运动矢量竞争。

按照本发明，如果先前画面的运动矢量的大小的平均值是0或者等于或者小于2，则包括空间预测值和时间预测值的运动矢量预测值集合被确定。

按照本发明，如果先前画面的运动矢量的大小的平均值大于2，并且如果当前块的类型是跳过模式或者16*16块，则包括空间预测值和时间预测值的运动矢量预测值集合被确定。

按照本发明，该运动矢量预测值的确定进一步包括产生通过考虑在当前块和用于执行运动估算的块之间的距离缩放的运动矢量预测值。

为了进一步实现这些和其他的优点，以及按照本发明的目的，按照本发明用于处理视频信号的装置，包括：视频信号接收单元，接收包括当前块的预测模式信息、内插信息和残差的视频信号，内插像素重建单元，使用内插信息和相邻块重建内插像素，和当前块重建单元，使用内插像素、预测模式信息和残差重建当前块，其中内插像素重建单元使用基于当前块的位置产生的内插信息。

应该明白，上文的概述和下面的详细说明是示例性的和说明性的，并且意欲提供如权利要求所述的对本发明进一步的解释。

发明模式

现在将详细地参考本发明的优选实施例，在伴随的附图中图示其例子。选择目前全球使用的通用术语作为在本发明中使用的术语。并且，对于特定的情况存在由本申请人任意选择的术语，对于这些术语的详细含义，在本发明的优选实施例的描述中详细解释。因此，不应该借助于术语的名称，而是借助于该术语的含义理解本发明。

特别地，在本发明中的编码应该理解为包括编码和解码两者的概念。并且，在本发明中的相邻块应该理解为位于与当前完成解码的块相邻的块。

图1是按照本发明的一个实施例用于对视频信号进行编码的装置100的示意性方框图。参考图1，按照本发明一个实施例的视频信号编码装置100包括变换单元110、量化单元115、编码控制单元120、去量化单元130、反转单元135、滤波单元140、帧存储单元145、运动估算单元150、帧间预测单元160、帧内预测单元170和熵编码单元180。

变换单元110通过变换像素值获得变换系数值。为此，离散余弦变换(DCT)或者子波变换是可用的。尤其是，离散余弦变换通过将输入的视频信号分解为8*8块，并且将信号集中在少数的视频信号上来提高压缩效率。并且，稍后将参考图23和图24描述由本发明提出的离散余弦变换的实施例。量化单元115量化由变换单元110输出的变换系数值。编码控制单元120控制对特定的块或者帧是否执行画面内编码或者画面间编码。去量化单元130和反转单元135去量化该变换系数值，然后使用去量化的变换系数值重建原始像素值。

滤波单元140适用于每个编码的宏块以降低块失真。在这种情况下，滤波器使块的边缘平滑以增强解码的画面的图像质量。并且，这个滤波过程的选择取决于边界强度和边界周围的图像采样的斜率。输出滤波的画面或者将其存储在帧存储单元145中以用作基准画面。

运动估算单元150使用存储在帧存储单元145中的基准画面搜索用于对当前块最同类的基准块的基准画面。并且，运动估算单元150将搜索到的基准块的位置信息等转发给熵编码单元180，使得转发的位置信息等可以包括在比特流中。

帧间预测单元160使用基准画面执行当前画面的预测，并且将画面间编码信息转发给熵编码单元180。在这种情况下，画面间编码信息包括当前块和预测块(预测值)之间差的残差。稍后将参考伴随的附图详细解释用于帧间预测单元160的第四至第九实施例。

帧内预测单元170从在当前画面内解码的采样执行画面内预测，并且将画面内编码信息转发给熵编码单元180。尤其是，帧内预测单元170使用在当前画面内相邻块的像素来预测当前块，然后产生当前块和预测的当前块之间差的残差。将参考图3A至11C详细解释对于帧内预测单元170的第一至第三实施例。

熵编码单元180通过对量化的变换系数、画面间编码信息、画面内编码信息和从运动估算单元150输入的基准块信息进行熵编码来产生视频信号比特流。在这种情况下，熵编码单元180可以使用可变长度编码(VLC)方案和算术编码方案。可变长度编码(VLC)方案将输入的符号变换为连续的代码字。在这种情况下，代码字的长度是可变的。例如，经常产生的符号表示为短的代码字，并且不经常产生的符号表示为长的代码字。作为可变长度编码方案，基于上下文的自适应可变长度编码(CAVLC)是可用的。该算术编码将连续的数据符号变换为单个质数。并且，该算术编码可以获得用于表示每个符号所需的最佳质数位。作为算术编码，基于上下文的自适应二进制算术(CABAC)是可用的。

图2是按照本发明的一个实施例用于解码视频信号的装置的示意性方框图。

参考图2，按照本发明的视频信号解码装置主要包括熵解码单元210、去量化单元220、反转单元225、滤波单元230、帧存储单元240、帧间预测单元250和帧内预测单元260。

熵解码单元210通过对视频信号比特流进行熵解码来提取每个宏块的变换系数、运动矢量等。去量化单元220去量化熵解码的变换系数，以及反转单元225使用去量化的变换系数重建原始像素值。同时，滤波单元230适用于每个编码的宏块以降低块失真。滤波器通过使块的边缘平滑来增强解码的画面的图像质量。输出滤波的画面或者将其存储在帧存储单元240中以用作基准画面。

帧间预测单元250使用存储在帧存储单元240中的基准画面预测当前画面。在这种情况下，如在先前的描述中提及的，使用基准画面。另外，帧间预测单元250能够使用从熵解码单元210转发的画面间预测信息(基准画面索引信息、运动矢量信息等)。

同时，帧内预测单元260从在当前画面内解码的采样执行画面内预测。从帧内预测单元260或者帧间预测单元250输出的预测值和从反转单元225输出的像素值被加在一起以产生重建的视频帧。

在以下的描述中，本发明提出用于在编码装置的帧内预测单元170和帧间预测单元160中，和解码装置的帧内预测单元260和帧间预测单元250中有效地解码视频信号的新的各种实施例。首先，解释帧内预测单元170和260的第一至第四实施例，并且然后解释帧间预测单元160和250的第五至第九实施例。将参考图3至6B解释第一实施例，将参考图7至8B解释第二实施例，将参考图7至8B解释第三实施例和将参考图11和图12解释第四实施例。

图3是按照本发明的第一实施例采用扩展预测模式的相邻像素区域的示图，并且图4A至4C是内插以使用扩展预测模式的相邻像素的示图。图5是用于采用扩展预测模式的视频信号编码/解码序列的流程图。图6A示出按照本发明第一实施例的视频信号编码装置的帧内预测单元的配置，和图6B示出按照本发明第一实施例的视频信号解码装置的帧内预测单元的配置。

参考图3，单个帧可以以一组多个帧内块单元构成。单位块可以包括帧内4*4块、帧内8*8块或者帧内16*16块。通常，帧内N*N块可以使用九种预测模式执行帧内预测。该预测模式使用位于当前块左侧的四个像素和位于当前块上部的八个像素执行预测。但是，如图3所示，在当前块位于边界区域的情况下，可能不存在用于帧内预测的像素。这个边界区域可以对应于上端部分的最左边的块(A)、上端部分(B)、左侧部分(C)和右侧部分(D)的一个。

对于在该帧的上端部分的最左边的块(A)，其能够采用在九种预测模式之中使用平均值的DC模式(模式2)，因为当前块的左侧像素或者上部像素(其使用预测)都不存在。对于上端部分(B)，预测模式1(水平方向)、模式2(DC)和模式8(水平向上方向)是可用的，因为当前块的上部像素不存在。并且，对于左侧部分(C)，模式0(垂直方向)、模式2(DC)、模式3(斜向左下)和模式7(垂直向左)是可用的。并且，除了模式3(斜向左下)和模式7(垂直向左)之外，对应于右侧部分(D)的块能够使用六种预测模式。

因此，位于边界区域上的块A、B、C和D具有有限的预测模式。在熵编码单元180/210对块A、B、C和D执行VLC(可变长度编码)的情况下，无条件地传送最大四位。因此，产生与空的预测模式一样多的位丢失。

在本发明的第一实施例中，如果当前块位于边界区域(A、B、C、D)上，则进一步包括使用当前存在的相邻像素内插空的相邻像素的步骤。因此，位于边界区域上的块可以没有限制使用所有九种预测模式。并且，这个预测模式称作扩展帧内预测模式。

为了使用本发明的扩展帧内预测模式，如下解释内插位于边界区域上的块的相邻像素的方法。

首先，如果当前块是上端部分的最左边的块(A)，不同的DC预测值(预测值)被空的模式0、1、3、4、5、6和7取代，并且然后被传送。例如，该传输以模式0、1、3、4、5、6和7分别地取代DC预测值108、118、138、148、98、88、158和168的方式执行，以及将DC预测值128提供给当前模式2，从而能够选择具有最好的编码效率和重建比的值。

如果当前块位于上端部分(B)、左侧部分(C)或者右侧部分(D)上，则内插的相邻像素在图4A至4C中示出如下。

图4A示出在当前块位于上端部分(B)的情况下的内插的像素。

参考图4A，位于当前块左边的像素I、J、K和L已经作为属于像素A的像素存在。但是，起初在当前块之上的像素x和a至h不存在。因此，其能够通过使用先前存在的像素I、J、K和L内插以上所述的像素x和a至h来产生像素。

用于内插像素x和a至h的各种方法是可利用的。例如，像素I可用于完整地内插在像素x和a至h中。并且，像素I和J的平均值可以内插在像素x和a至h中。对于另一个例子，像素I至L的值完整地反映在像素a至d，并且像素e至h的值和像素I至L的平均值内插在像素x中。内插像素x和a至h的方法不局限于使用像素I至L的方法。剩余的像素对于重建的块A(即，当前块左边的块)是可用的，各种方法不受限于此。

图4B示出在当前块位于左侧部分(C)的情况下的内插的像素。

参考图4B，位于当前块上面的像素a至h已经作为属于重建的块A和B的像素存在。但是，起初左边的像素x和I至H不存在。因此，能够通过使用先前存在的像素a至h内插左侧的像素x和I至L来产生像素。

为了产生像素x和像素I至L，像素a可以完整地内插在像素X和像素I至L中去使用。像素a至d的平均值可以内插在像素x和像素I至L中。像素a至d的平均值内插在像素x中，并且像素a至d的值可以完整地反映在像素I至L的值上。但是，该内插方法不局限于此。并且，能够使用重建的块A和B的剩余的像素。

图4C示出在当前块位于右侧部分(D)的情况下的内插的像素。

参考图4C，像素a至h和像素I至H(其位于当前块的上面并且在当前块的左边)分别地已经作为属于重建的块A和B的像素存在。但是，在当前块的上面和右边的像素e至h是先前不存在的像素。因此，该像素可以通过使用先前存在的像素a至h和先前存在的像素I至L内插像素e至h来产生。

可用各种内插方法来产生像素e至h。例如，像素a至d的平均值可用作像素e至h的值，像素I至L的平均值可用作像素e至h的值，并且像素d的值也可用作像素e至h的值。但是，该内插方法不局限于此。并且，其能够使用重建的块A和B的剩余的像素。

参考图5和图6A，视频信号编码装置的帧内预测单元170包括内插确定单元610、内插块产生单元620和预测模式确定单元630。

首先，如果输入有关当前块的信息，则内插确定单元610确定当前块是否对应于边界区域(在屏幕上端部分、上端部分或者右端部分中的最左边的块)，然后确定是否去执行内插。基于当前块的位置信息确定当前块是否对应于边界区域[S510]。例如，可以使用配置当前块的像素的值获得当前块的位置。

同时，在确定去执行内插的步骤的情况下，内插确定单元510使用该内插产生指示是否产生当前块的相邻像素的内插信息，然后使得内插信息包括在比特流中。内插信息可以指示当前块位于在边界区域中的规定的位置上，或者是否执行内插。例如，内插信息可以作为一个标记存在。

如果使用当前块的位置信息确定当前块对应于边界区域，则内插像素产生单元620接收有关相邻块和当前块的信息输入，然后使用相邻块的像素产生内插像素[S520]。用于内插块产生单元620以产生先前不存在的内插像素的方法与参考图4A至4C解释的前述的方法一样。

如果内插确定单元610确定当前块没有位于边界区域，则由于用于当前块的帧内预测的所有相邻像素存在，将有关当前块的信息输入到预测模式确定单元630。

通过执行内插，在已经产生当前块的所有相邻像素之后，将有关相邻块的信息输入到预测模式确定单元630。预测模式确定单元630使用内插的相邻像素执行当前块的九种帧内预测，然后确定预测模式[S530]。预测模式确定单元630产生在按照确定的预测模式预测的块(预测值)和当前块之间的差的残差，使得预测模式信息、残差和先前产生的内插信息包括在比特流中，然后将该比特流传送给解码装置[S540]。

参考图5和图6B，解码装置(尤其是，熵解码单元)接收预测模式信息，内插信息和残差[S550]。

随后，解码装置的帧内预测单元260的内插块重建单元640使用接收到的内插信息和相邻块来重建内插块[S560]。在解码装置中重建内插块的步骤与参考图4A至4C描述的是相同的。

当前块重建单元650使用在步骤S560产生的内插块和在步骤S550中接收的预测模式来产生当前块的帧内预测[S570]，然后使用帧内预测和接收到的残差重建当前块[S580]。

因此，本发明的第一实施例内插相邻像素，然后使用用于当前块的帧内预测的内插的相邻像素。因此，即使当前块位于边界区域，但在对当前块进行编码时使用帧内预测是有利的。

本发明的第二实施例提出新的帧内预测模式，用于通过像素单元同时重建构成当前帧的多个块，其不同于在使用帧内预测重建当前帧时通过块单位以之字形方向的重建。尤其是，代替对位于当前帧的左上端部分的块执行帧内预测，然后对右边的块执行帧内预测，以预置的顺序对构成当前帧的多个块顺序地执行帧内预测。这种当前帧的帧内预测方法称作帧像素预测模式，并且将参考图7至8P进行详细解释。

图7是按照本发明第二实施例用于执行帧像素预测模式的序列的流程图。

参考图7，在当前帧采用帧像素预测模式的情况下，当前块使用位于先前帧(其被预先重建)中的相邻块来预测当前块的第一像素[S710]。在这种情况下，当前块帧内预测的第一像素首先可以是位于当前块的最右下端部分上的像素，第一像素的各种例子不受限于此。

随后，使用第一像素执行邻近像素的帧内预测，并且然后产生像素预测信息和残差[S720]。在这种情况下，像素预测信息(在下文中，简化为PPI)可以包括从由用于邻近的像素的帧内预测的预测像素(预测值)、预测方法和预测方向组成的组中选择出来的至少一个。残差是在按照像素预测方法预测的像素和当前像素之间的差，并且可以通过像素单元产生。

一旦邻近的像素的帧内预测被执行，按照本发明的编码装置100的帧内预测单元170和解码装置的帧内预测单元260的每个确定当前块的帧内预测是否已经完成[S730]。如果帧内预测完成，则传送在步骤S702中产生的像素预测信息(PPI)和残差[S740]。

相反地，如果当前块的帧内预测没有完成，则使用先前预测的像素预测邻近的像素和产生像素预测信息(PPI)和残差的步骤被重复。在这种情况下，使用完成预测的像素来预测的邻近的像素，按照预测的顺序分别地称作第二像素、第三像素、...和第n个像素。稍后将参考图8A至8P详细解释执行第一至第n个像素的帧内预测的方法。

按照本发明第二实施例的解码装置的帧间预测单元260接收像素预测信息(PPI)和残差[S750]，然后使用接收到的像素预测信息(PPI)和接收到的残差重建当前块的第一像素[S760]。用于第一像素重建的残差包括在位于先前帧中的像素和不同于其它像素的第一像素之间的差。

随后，使用重建的第一像素、像素预测信息和残差，重建第二像素[S770]。然后确定当前块的重建是否完成[S780]。如果该重建没有完成，则使用重建的第一像素、重建的第二像素、像素预测信息和残差来重建第三像素。这些被重复直到当前块的重建完成为止。将参考图8A至8P解释在按照本发明第二实施例的编码/解码装置的帧内预测单元170/260中预测和重建当前块的方法。

如图8A所示，按照本发明的第二实施例的帧内预测模式首先使用位于先前帧中的像素对位于当前块的最右边下端部分上的第一像素(即，在图8A中示出的像素0)进行帧内预测。在这种情况下，能够使用相关技术的所有九种预测模式去预测第一像素。一旦该帧内预测被执行，编码装置的帧内预测单元170产生像素预测信息(PPI)和残差。第一像素的像素预测信息可以包括用于像素预测的先前帧的像素(预测值)。预测方法可以包括具有在九种预测模式之中最佳效率的预测模式。并且，该残差可以是在第一像素和用于第一像素的预测的像素之间的差。

第二像素的帧内预测可以使用第一像素(0)执行。按照本发明第二实施例的帧像素预测模式使用以下两种方法作为第二到第n个像素(除了第一像素之外)的帧内预测模式，帧内预测模式的例子不限于此。

第一方法是使用邻近的像素的平均值进行预测的平均模式。并且，第二方法是按照方向性进行预测的方向性模式。尤其是，第一方法使用最邻近于当前像素的像素的平均值执行当前块的帧内预测以作为预测像素(预测值)在其上执行帧内预测。第二方法在以当前像素为中心的八种可能方向的每个中计算最靠近当前像素的两个像素之间的差，然后将具有最小差的方向确定为预测方向。在选择的预测方向中，将最靠近于当前像素的两个像素的平均值用作当前像素的预测像素(预测值)，执行当前像素的帧内预测。一旦执行该帧内预测，同样产生像素预测信息和残差。

参考图8B，可以使用第一像素(0)的平均值执行第二像素(a)的帧内预测。计算位于以第二像素(1)为中心的第一方向(由于第二方向的计算值相同而被省去)的第一像素(0)之间的差值。然后使用第一像素(0)的平均值作为预测像素执行帧内预测。一旦执行该帧内预测，同样产生像素预测信息和残差。

参考图8C，使用第一像素(0)和第二像素(1)(其相邻预测完成)作为第三像素(2)的预测像素(预测值)来执行第三像素(2)的帧内预测。如图8C所示，第三像素(2)能够使用在邻近于第三像素(2)的第一像素(0)和第二像素(1)之间的平均值作为预测像素。做为选择，预测方向通过在图8C所示的第一或者第二方向中找到在接近于其的像素之间的差来确定。在预测方向中接近于其的两个第二像素(在选择第一方向的情况下的两个第一像素(0)或者在选择第二方向的情况下的两个第二像素(1))的平均值然后可以用作预测像素。一旦执行该帧内预测，同样产生像素预测信息和残差。

参考图8D，使用第一像素(0)至第三像素(2)(其预测完成)作为第四像素(3)的预测像素(预测值)来执行第四像素(3)的帧内预测。如图8D所示，第四像素(3)能够使用邻近于第四像素(3)的第一像素(0)、第二像素(1)或者第三像素(2)的平均值作为预测像素。做为选择，预测方向(例如，第二方向)通过在图8D所示的第一至第三方向的每个中找到在接近于其的像素之间的差(例如，在第一方向中在两个第二像素(1)之间的差)，然后相互比较找到的差来确定。在预测方向(第二方向)中接近于其的两个像素(第三像素(2))的平均值可以用作预测像素。一旦执行该帧内预测，同样产生像素预测信息和残差。

参考图8E，使用第一像素(0)至第四像素(3)(其中预测完成)作为第五像素(4)的预测像素(预测值)来执行第五像素(4)的帧内预测。如图8E所示，第五像素(4)能够使用邻近于第五像素(4)的第一像素(0)、第二像素(1)或者第三像素(2)的平均值作为预测像素。做为选择，预测方向通过在图8E中所示的第一和第二方向的每个中找到在接近于其的像素之间的差，然后相互比较找到的差来确定。在确定的预测方向中接近于其的两个像素的平均值可以用作预测像素。

例如，参考图8E，在包括第三像素(2)和第四像素(3)的第一方向中找到在两个像素之间的差。并且，在包括第一像素(0)和第二像素(1)的第二方向中找到在两个像素之间的差。找到的差值相互比较。具有两个值的较小值的方向被确定为预测方向。如果第一方向被选择为预测方向，则用于第五像素(4)的帧内预测的预测像素(预测值)可以对应于在第一方向中邻近于第五像素(4)的第一和第四像素(2)以及(3)的平均值。一旦执行该帧内预测，同样产生像素预测信息和残差。

通过以上解释的方法，如图8F至8P所示，能够使用完成预测的相邻像素对第六像素(5)至第十六像素(15)执行帧内预测。一旦执行帧内预测，可以同样产生与每个像素有关的像素预测信息和残差。

每当执行第一至第N个像素每个的帧内预测，并且产生有关每个像素的像素预测信息和相应的残差时，确定当前块的帧内预测是否完成。如果当前块的帧内预测完成，则传送与第一至第N个像素有关的像素预测信息和残差。

本发明的视频信号解码装置的帧内预测单元270接收与第一至第N个像素有关的像素预测信息和残差，然后执行当前块的重建。尤其是，帧内预测单元270使用与第一像素有关的接收到的像素预测信息和残差来重建当前块的第一像素，然后使用重建的第一像素和与第二像素有关的接收到的像素预测信息和残差来重建当前块的第二像素。以这种方式，对当前块的像素顺序地执行重建直至第n个像素，以完成当前块的重建。

因此，按照本发明第二实施例的视频信号解码方法能够以当前块使用用于帧内预测的当前块的相邻像素以及相邻块的像素的方式更加准确地预测。另外，因为相邻的像素使用从至少两个方向中选择出来的预测值预测，所以在离散余弦变换的情况下产生具有更多零的系数的块。因此，按照本发明第二实施例的视频信号解码方法在提高编码效率方面是有利的。

本发明的第三实施例提出一种帧内跳过模式，其在特定的情形下在对当前块执行帧内预测时使用相邻块原样的像素值，而不是从相邻块执行预测。

图9是按照本发明第三实施例的视频画面的示图，和图10是按照本发明第三实施例的视频信号编码/解码序列的流程图。

按照相关技术，帧内预测使用16*16块、8*8块和4*4块，并且使用九种帧内预测模式执行。但是，当由于降低的画面间相关性而使用帧内预测模式时，如果当前块是与相邻块同类的，则使用原样的相邻块可以比执行相关技术的帧内预测更加有效。

参考图9，假设由于在图9示出的帽子上出现的方框A，或者面对着先前画面左边的方框B的相关性降低，帧间预测不可用。在这种情况下，执行帧内预测。由于在方框内的块是同类的，所以相邻块的像素值按照原样用作当前块的像素值。并且，使用帧内跳过模式可能是有效的，而不是单独地执行帧内预测。在这种情况下，应该明白，不传送预测模式信息和残差。

参考图10，首先，当前块确定执行帧内预测还是帧间预测[S1010]。在这种情况下，以相关技术同样的方式执行确定当前块的帧内预测或者帧间预测的步骤。

一旦步骤S101确定当前块执行帧内预测，只有在当前块具有比当前块执行相关技术帧内预测情形的效率好的时候，才可以采用帧内跳过模式。

当前块计算使用帧内预测模式情形的RD代价和使用帧内跳过模式情形的RD代价[S1020]。在这种情况下，如公式1所示计算RD代价(在下文中称作效率)。

[公式1]

J＝D+λR

在公式1中，“D”是平方和失真(SSD)，并且“R”是需要的位数。

在已经计算该效率之后，如果对于当前块使用帧内跳过模式具有较好的效率的情形，则选择帧内跳过模式[在步骤S1030中，“是”]，确定预测块，并且然后传送帧内跳过信息和选择的预测块信息[S1040]。在这种情况下，帧内跳过信息可以包括指示当前块是否使用帧内跳过模式的标记信息(intra_Skip_flag)。

按照本发明的解码装置的帧内预测单元260接收帧内跳过信息和预测块信息[S1050]。如果帧内跳过信息是以标记信息的格式，则帧内跳过模式标记信息的含义表示为表1。

[表1]

单独的帧内预测标记(intra_skip_flag)	含义
		0	执行相关技术的帧内预测模式
1	执行帧内跳过模式

如果将接收到的帧内跳过模式标记信息(intra_skp_flag)设置为1，则按照本发明的解码装置的帧内预测单元260按照预测块信息完整地将预测块的像素值用作当前块的像素值[S1060]。

相反地，如果确定当前块使用帧内预测模式[在步骤S1030中为“否”]，则执行N*N帧内预测，并且传送残差和预测模式信息[S1070]。

另外，按照本发明的解码装置的帧内预测单元260接收残差和预测模式信息，然后使用相关技术帧内预测方法重建当前块[S1080]。

因此，按照本发明的第三实施例在帧内跳过模式用于当前块的帧内预测的情况下，其中帧间预测低效，但与相邻块同类的视频信号的预测和重建是有效的。不必要执行帧内预测。并且，不必要传送残差和CBP。因此，能够降低使用的比特率。

用于执行帧内预测的帧被编码为帧内16*16块、帧内8*8块和帧内4*4块。在每个模式中，使用位于特定块上面的先前重建的块，和位于特定块左边的先前重建的块来预测特定块。尤其是，使用帧内4*4块的模式用于高频区域中。对于当前块的帧内预测，预测块(预测值)被限制为仅使用位于当前块上面和左边的块。这对于当前块的预测和重建足够。如果当前块位于边界上，这是低效的。因此，对于当前块的预测使用下一个将被重建的块以及先前重建的块能够进行更准确地预测。

为了解决帧内预测模式的这样问题，本发明的第四实施例提出了一种单独的帧内预测模式，其是包括当前块的当前帧的新的帧内预测方法。由于单个内部帧可以被分成两个或者四个独立的子帧，在独立的帧中可以存在各种独立的帧内预测模式。与具有运动的连续帧不同，在用于移动子像素的子帧之间存在高的冗余。因此，在内部帧的子帧中单独的帧内预测模式可以是相当有效的。

图11是按照本发明第四实施例的视频信号编码/解码序列的流程图，和图12A至12C是指示按照本发明第四实施例的单独的帧内预测模式的块的示例性示图。

参考图11，按照本发明的编码装置的帧内预测单元170通过对当前帧执行相关技术的帧内预测来计算RD代价[S1110]。并且，按照本发明第四实施例的帧内预测单元接收单独的帧内模式结构信息(SIMSI)的输入。单独的帧内模式结构信息(SIMSI)包括子帧的类型和单独的帧内模式的结构。子帧的类型可以包括多个16*16、8*8或者4*4块，单个16*16、8*8或者4*4块，或者单个或多个像素单元，本发明的例子不限于此。单独的帧内模式的结构可以包括IP结构、IPPP结构或者IBBP结构，稍后将参考图12A至12C进行详细解释。

在已经对当前帧执行相关技术的帧内预测之后，使用单独的帧内模式结构信息(SIMSI)执行按照单独的帧内模式的结构的当前帧的单独的帧内预测[S1120]。

在相关技术的帧内预测和用于当前帧的单独的帧内模式预测的情况下，计算RD代价。如果单独的帧内模式预测的效率(RD代价)比另一个更好，则选择单独的帧内模式预测[S1130]。

随后，包括选择的单独的帧内模式的类型和单独的帧内模式结构的单独的帧内模式信息(在下文中简化为SIDI)和在用于预测块(预测值)和当前块之间的残差被传送[S1140]。并且，也能够传送指示是否选择单独的帧内预测模式的单独的帧内预测标记信息(separate_intra_prediction_flag)。

如果从编码装置传送单独的帧内预测标记信息，则按照本发明的解码装置的帧内预测单元260接收单独的帧内预测标记信息。并且，单独的帧内预测标记信息的含义表示为表2。

[表2]

单独的帧内预测标记(separate_intra_skip_flag)	含义
		0	执行相关技术的帧内预测模式
1	执行单独的帧内预测模式

如果单独的帧内预测标记被设置为0，则对于当前帧的重建，执行相关技术的帧内预测模式。如果单独的帧内预测标记被设置为1，则执行单独的帧内预测模式。因此，接收单独的帧内模式信息(SIMI)和残差[S1150]。并且，使用单独的帧内模式信息(SIMI)、残差和先前帧来重建当前帧的第一子帧组[S1160]。另外，使用单独的帧内模式信息(SIMI)、残差和第一子帧组来重建第二子帧组[S1170]。

如果所选的单独的帧内模式结构是IPPP结构，则使用单独的帧内模式信息、残差、第一子帧组和第二子帧组来重建第三子帧组。并且，使用单独的帧内模式信息、残差、第一子帧组、第二子帧组和第三子帧组来重建第四子帧组。

如果所选的单独的帧内模式结构是IBBP结构，则使用单独的帧内模式信息、残差、第一子帧组和第二子帧组来重建第三子帧组。并且，使用单独的帧内模式信息、残差、第一子帧组和第二子帧组来重建第四子帧组。

在以下的描述中，参考图12A至12C解释按照单独的帧内模式结构预测单独的帧内预测模式的方法。

参考图12A，当前帧(I帧)可以通过子帧单元分成第一子帧和第二子帧，并且可以通过交替扫描方案定位。如果当前帧被分成均等的部分，则左侧部分对应于第一子帧，并且右侧部分对应于第二子帧。这不限制本发明的各种例子。第一和第二子帧可以如图12A所示交替地排列。一组这些第一子帧称作第一子帧组，并且一组这些第二子帧称作第二子帧组。

首先，可以使用相关技术的帧内预测模式对第一子帧组进行编码，并且可以参考第一子帧组在当前帧内使用帧内预测对第二子帧组进行编码。

图12B示出在单独的帧内预测模式中的IPPP结构和IPPP预测方法。当前帧可以被分成总共四种子帧。并且，四种子帧的组可以分别地包括第一至第四子帧组。

参考图12B，通过使用相关技术的帧内预测模式执行预测来对第一子帧组进行编码。随后，通过使用第一子帧组执行帧内预测来对第二子帧组进行编码。第三子帧组使用第一和第二子帧组执行帧内预测。并且，第四子帧组使用第一至第三子帧组执行帧内预测。

图12C示出在单独的帧内预测模式中的IBBP结构和IBBP预测方法。类似图12B，当前帧可以被分成总共四种子帧。

参考图12C，在IBBP预测方法中，第一子帧组使用相关技术的帧内预测模式执行帧内预测，第二子帧组使用第一子帧组执行帧内预测，第三子帧组使用第一和第二子帧组执行帧内预测，并且第四子帧组使用第一和第二子帧组执行帧内预测。

在这种情况下，在单独的帧内预测模式中的子帧的排列顺序不局限于在图12A至12C中示出的那些。并且，可选择各种顺序。另外，如在先前的描述中提及的结构和预测方法可以包括在单独的帧内模式信息中。

因此，在按照本发明第四实施例使用单独的帧内预测模式情况下，预测块不限于位于预测块上面或者左边的块，由此可以对当前帧进行准确预测。

按照本发明的对视频信号进行解码的方法提出用于高效进行运动矢量估算和补偿新模式以及新的帧内预测模式。

在以下的描述中，解释帧间预测单元160/250的第五至第九实施例。参考图13至17解释第五实施例，参考图18和图19解释第六实施例，参考图20和图21解释第七实施例，参考图22解释第八实施例，并且参考图23A和图23B解释第九实施例。

首先，视频信号解码装置的帧间预测单元160/250使用中值滤波器来确定运动矢量预测值(在下文中，简化为mvp)。但是，由于在运动矢量预测值(mvp)和估算的运动矢量之间存在误差，所以编码器的重要作用是找到准确的运动矢量预测值(mvp)。在以下本发明第五实施例的描述中，参考图13至17解释确定更准确的运动矢量预测值(mvp)的方法(在下文中，称作运动矢量竞争)。

图13是用于对视频信号进行编码的装置的方框图，其进一步包括运动矢量预测值产生单元1350。以及图14是用于对视频信号进行解码的装置的方框图，其进一步包括运动矢量预测值产生单元1445。

编码装置的运动矢量预测值产生单元1350确定通过预置的方法设置的运动矢量预测值(MVP)候选，确定在可以从确定的设置中获得的运动矢量预测值之中具有最好的效率的运动矢量预测值，并且传送与确定的运动矢量预测值有关的运动矢量预测值信息(MVPI)。

因此，按照本发明的第五实施例，为了将更加准确的运动矢量预测值用于运动矢量估算和补偿，设置更多的运动矢量预测值(mvp)候选集合，并且使用该运动矢量预测值候选集合的最有效的运动矢量预测值(mvp)。首先，运动矢量预测值(mvp)可以按照类型主要地划分为空间预测值、时间预测值和空时预测值。

图15是用于当前块的运动矢量预测的当前帧和先前帧的运动矢量的示图。

参考图15，空间预测值使用当前帧(帧N)的运动矢量。如果当前矢量的运动矢量是mv，空间预测值可以包括使用帧N的块a、b和c的运动矢量，用于从mva、mvb、mvc和mvd中采用中值的mv_med，和用于在至少三个运动矢量预测值之中采用中值的mv_spaEXT。

参考图15，时间预测值使用先前帧(帧N-1)的运动矢量，并且在先前帧中能够包括使用与当前块共址的块的运动矢量的mv_co1，使用mv_co1、mvt0、...、mvt3的中值的预测值，和使用MVco1、MVt0、...、MVt8的中值的预测值。

并且，空时预测值可以包括使用mv_co1、mv_co1、mva、mvb和mvc的平均值的运动矢量预测值(mv_spt)。

在运动矢量预测值之中实质上使用的空间预测值称作第一运动矢量预测值。并且，在本发明的第五实施例中使用的空间或者时间预测值称作第二运动矢量预测值。如图14所示，第一运动矢量预测值可以是中值运动矢量(mv_med)，并且第二运动矢量预测值可以是运动矢量预测值a(mva)，或者使用位于当前块左边的块的运动矢量的mv_co1，本发明的各种例子不限于此。

如在以上的描述中提及的，运动矢量预测值不是使用固定的中值确定的，而是从各种候选中确定的。因此，能够提高运动矢量预测值的精度。但是，如果该运动矢量预测值被固定为十种候选，在编码画面时可能是低效的。

因此，本发明的第五实施例设置新的运动矢量预测值候选集合(MVPCS)，并且提出用于确定其的条件。该运动矢量预测值候选集合表示为表3。

[表3]

集合	运动矢量-x分量	运动矢量-y分量
			1	Sx	Sy
2	Sx	Sy或者Ty
			3	Sx或者Tx	Sy
4	Sx或者Tx	Sy或者Ty

在表3中，“S”指示空间预测值，并且“T”指示时间的预测值。

用于运动矢量预测值候选集合的空间预测值仅使用mv_med，并且mvco1可用作时间预测值，其不限制本发明的各种例子。如果集合4被确定为运动矢量预测值候选集合，则可利用的运动矢量预测值包括四种情况(Sx-Sy、Sx-Ty、Tx-Sy、Tx-Ty)。因此，能够基于四种情况每个的运动代价确定更加准确的运动矢量预测值。

图16A和图16B是按照本发明的第五实施例在运动矢量预测值确定方法中用于可利用的运动矢量预测值的组合的示图。图16A示出当前块对应于跳过模式，而图16B示出除了跳过模式之外的情形。

首先，由于相关技术的跳过模式将先前帧的运动矢量预测值用作当前块的运动矢量，仅存在单个运动矢量预测值候选。相反地，在按照本发明的运动矢量预测值竞争的方法中，运动矢量预测值候选使用第二运动矢量预测值以及第一运动矢量预测值，由此可以存在最大四个可组合的候选。

参考图16A，当前块的第一运动矢量预测值可以是“A”，并且第二运动矢量预测值可以是“B”。因此，按照其组合的运动矢量候选可以包括“a(第一运动矢量预测值)”，“b(第二运动矢量预测值)”，“c(第一运动矢量预测值分量x-第二运动矢量预测值分量y”，或者“d(第二运动矢量预测值分量x-第一运动矢量预测值分量y)”。在这种情况下，对于运动矢量预测值的运动矢量预测值信息可以需要2比特。

参考图16B，如果当前块不处于跳过模式并且被分割，运动矢量预测值信息需要更多的比特。因此，测量第一运动矢量预测值和第二运动矢量预测值之间的距离(mv1-mv2)。当在第一和第二运动矢量预测值之间的测量距离等于或者小于1/2像素时，如果两个预测值相互接近，则将第一运动矢量预测值确定为当前块的运动矢量预测值，并且使用相关技术的运动矢量预测方法。在这种情况下，能够使用指示当前块使用相关技术的运动矢量预测方法还是使用运动矢量竞争的运动矢量预测值竞争标记(mv_competition_flag)。

一旦第一运动矢量预测值被确定为当前块的运动矢量预测值，则指示使用相关技术的运动矢量预测方法的运动矢量预测值竞争标记(mv_predictor_competition_flag)被设置为0，并且然后被传送。运动矢量预测值竞争标记信息的含义表示为表4。

[表4]

Mv竞争标记	含义
		0	当前块不使用MV竞争(使用相关技术的MV竞争)
1	当前块使用MV竞争

图17是按照本发明的第五实施例用于运动矢量预测值竞争和运动补偿的序列的流程图。

参考图17，在确定运动矢量预测值候选集合之前，计算公式2[S1710]。

[公式2]

MV_co1＞2*max(MV_{spa_max}，MV_{temp_max})

如果在先前帧中使用与当前块共址的块的运动矢量的mv_co1的值太大，则这指的是在先前帧和当前块之间的相关性被降低地太多。因此，对于满足公式2的条件的情形代替使用时间预测值[在步骤S1710中，“是”]，仅使用空间预测值确定运动矢量预测值[S1720]。可以分别地对分量x和分量y确定是否仅将空间预测值用作运动矢量预测值。

相反地，如果公式2的条件不满足[在步骤S1710中，“否”]，通过计算公式3或者公式4的条件确定将使用的运动矢量预测值候选集合。公式3示出用于运动矢量跳过模式的条件，并且公式4是用于除了跳过模式之外的情形的条件。

[公式3]

集合1：S_x＝T_x，S_y＝T_y

集合2：S_x＝T_x，S_y！＝T_y

集合3：S_x！＝T_x，S_y＝T_y

集合4：S_x！＝T_x，S_y！＝T_y

[公式4]

集合1：|S_x-T_x|＜3，|S_y-T_y|＜3

集合2：|S_x-T_x|＜3，|S_y-T_y|≥3

集合3：|S_x-T_x|≥3，|S_y-T_y|＜3

集合4：|S_x-T_x|≥3，|S_y-T_y|≥3

运动矢量预测值产生单元1350/1445使用以上的条件确定最有效的运动矢量预测值候选集合。例如，作为检查mv_med(Sx，Sy)和mv_co1(Tx，Ty)条件的结果，如果将集合3确定为运动矢量预测值候选集合，则可以有两种(Sx-Sy或者Tx-Sy)可利用的运动矢量预测值(mvp)。在这种情况下，通过测量在使用每个运动矢量预测值的情况下的运动代价，确定当前块的运动矢量预测值(Sx-Sy)[S1740]。

随后，表示使用哪种运动矢量预测值(Sx-Sy)组合的运动矢量预测值(mvp)信息被传送[S1750]。在这种情况下，如果mv_co1是大于或者mv_spa_max或者mv_temp_max的最大值两倍[在步骤S1710中，“是”]，该运动矢量预测值信息可以包括有关空间预测值的信息。

按照本发明的解码装置的运动补偿单元1445接收运动矢量预测值(mvp)信息，然后通过单独地计算公式3或者公式4对当前块的条件确定运动矢量预测值候选集合[S1760]。

随后，运动补偿单元1445使用接收到的运动矢量预测值信息和确定的集合的条件，执行当前块的运动补偿[S1770]。

因此，通过使用各种运动矢量预测值候选选择与当前块的运动矢量更同类的预测值，可以进行更准确的运动矢量预测。

在使用相关技术的运动矢量竞争的情况下，比特率降低大约是使用常规的AVC方案的情形的-0.5％。在按照本发明的第五实施例使用运动矢量竞争的情况下，比特率降低大约-0.8％。另外，PSNR(峰值信号对噪声比)在按照本发明的第五实施例使用运动矢量竞争情况比使用相关技术方法情况提高大约0.028dB以上。

因此，按照本发明第五实施例的运动矢量竞争使用各种运动矢量预测值候选来选择与当前块的运动矢量更同类的运动矢量预测值，从而能够进行更准确的运动矢量预测。

本发明的第六实施例能够按照先前帧的运动矢量的平均值和当前块的类型来确定运动矢量预测值候选。将参考图18解释运动矢量预测值候选确定方法。

首先，由于具有大的运动的帧通常是连续的，能够按照先前帧的运动矢量的平均大小确定当前帧是否与先前帧具有相关性。如果先前帧的运动矢量的平均值等于或者大于阈值，则当前帧的运动大于先前帧的运动。因此，与先前帧的相关性被降低。因此，至少两个空间预测值可用作运动矢量预测值候选。相反地，如果先前帧的运动矢量的平均值小于阈值，则当前帧的运动小于先前帧的运动。因此，与先前帧的相关性大。因此，使用时间预测值是有效的，其使用先前帧的运动矢量。在这种情况下，运动矢量预测值候选可以包括至少一个时间预测值以及至少一个空间预测值。

因此，在按照本发明的第六实施例的运动矢量预测值候选确定方法中，确定先前帧的运动矢量大小的平均值(mv_pre_avg)是否等于或者小于1[S1810]。如果先前帧的运动矢量大小的平均值(mv_pre_avg)大于1，则其指示包括当前块的当前帧是具有大的运动的帧。在这种情况下，按照本发明的第六实施例，由于在当前块和先前帧之间的相关性很小，所以使用两个空间预测值是有效的。但是，如果当前块包括具有小的同类性的子块，使用两个空间预测值不是有效的。

因此，检查当前块的块类型是跳过模式还是16*16模式[S1820]。如果块类型既不是跳过模式，又不是16*16模式[在步骤S1820中为“否”]，则当前块被分割为子块，并且分割的子块之间的相关性小。在这种情况下，使用时间预测值作为第二运动矢量预测值比使用空间预测值更加有效[S1830]。

如果当前块是跳过模式或者16*16模式，则使用空间预测值作为第二运动矢量预测值，以及使用空间预测值作为第一运动矢量预测值是有效的[S1840]。

如果先前帧的运动矢量的平均值小于1[在步骤S1810中为“是”]，则这表明当前帧是在当前块和先前帧之间具有大的同类性的慢画面。因此，使用空间预测值作为第一和第二运动矢量预测值是有效的。

因此，以按照在当前块和先前帧之间的同类性和当前块的类型不同地确定运动矢量预测值候选的方式，能够增强当前块的运动预测的明确性。

按照本发明的第五或者第六实施例由运动矢量竞争产生的运动矢量预测值信息需要两个比特。如果当前块是8*8块，则能够按照分割需要运动矢量预测值信息具有最大16比特。这可能导致相关技术的运动矢量预测方法是有效的。因此，每个块可以包括指示是否遵循运动矢量竞争的运动矢量竞争标记信息(mv_competition_flag)。

表5表示按照本发明的第六实施例用于比较运动矢量竞争的效果与相关技术的效果的测试条件。表6表示在表5所示的条件下用于执行运动预测的运动矢量候选。

[表5]

[表6]

在这种情况下，如果三个矢量可用，则使用在图15中所示的mva、mvb和mvc确定“mv_spaEXT”。另外，使用在mva、mvb和mvc之中可用的运动矢量确定“mv_spaEXT”。

图19示出对于使用情形1至3的运动矢量作为运动矢量预测值候选的情形，和使用按照本发明的第六实施例确定的运动矢量预测值的情形的BD比率增益。BD比率是指示编码性能的索引，并且表明压缩多少比特率来保持相同的图像质量。

参考图19，可以观察到，在本发明的第六实施例的情况下的比特率压缩幅度通常比使用在情形1至3中所示的运动矢量预测值候选的情形提高了。并且，可以观察到，PSNR[dB]实质上比按照本发明第五实施例的视频信号解码方法提高大约0.1dB。

在以下的描述中，参考图20和图21解释通过考虑在用于执行当前块和相邻块的运动估算的块之间的距离，使用产生的运动矢量预测值的新方法。

在相关技术中，使用与当前块相邻的三个块产生当前块的运动矢量预测值。图20示出当前块和三个相邻块。并且，三个相邻块包括当前块左边的块，在当前块上面的块，和在当前块右上(在斜的右上方向)的块。参考图20，当前块的运动矢量称作mvc，当前块的左边的块的运动矢量称作mv1，并且右上的块的运动矢量称作mvur。为了确定当前块的运动矢量预测值，检查三个相邻块的参考索引的至少一个是否等于当前块的参考索引。如果存在一个与当前块具有相同的参考索引的相邻块，则相应的相邻块的运动矢量被确定为运动矢量预测值。否则，(即，如果存在至少两个或更多个具有相同的参考数字的相邻块)，选择三个相邻块的运动矢量的中值并将其确定为当前块的运动矢量预测值。另外，参考索引被确定为在三个相邻块的参考索引之中最小的编号。

但是，如果当前块的参考索引具有不同于三个相邻块的参考索引的参考索引，则以以上的方式确定的运动矢量预测值可以与当前块的运动矢量具有大的差别。为了使确定的运动矢量预测值变得与当前块的运动矢量同类，按照本发明的第七实施例使用“缩放的运动矢量预测值”是有效的。

图21是用于按照本发明的第七实施例使用缩放的运动矢量预测值执行运动预测方法的流程图。

参考图21，在执行运动矢量预测时，检查是否存在与当前块的参考索引具有相同值的相邻块[S2110]。如果存在与当前块的参考索引具有相同值的相邻块，则采用相关技术的运动矢量竞争[S2120]。但是，如果当前块的参考索引与相邻块的参考索引不匹配[在步骤S2110中为“否”]，则计算缩放的运动矢量预测值(SMVP)[S2130]。并且，能够使用公式5找到缩放的运动矢量预测值。

[公式5]

${{\mathrm{MV}}_L}^{\′}=\frac{f_{\mathrm{ME}}-f_c}{f_L-f_c}*{\mathrm{MV}}_L,$ ${{\mathrm{MV}}_U}^{\′}=\frac{f_{\mathrm{ME}}-f_c}{f_U-f_c}*{\mathrm{MV}}_U,$ ${{\mathrm{MV}}_{\mathrm{UR}}}^{\′}=\frac{f_{\mathrm{ME}}-f_c}{f_{\mathrm{UR}}-f_c}*{\mathrm{MV}}_{\mathrm{UR}}$

在公式5中，f_ME指示对当前块执行运动估算的块的帧号，f_c指示当前块的帧号，以及f_L、f_u和f_UR分别指示当前块的左侧、上方和右上方的块。

从缩放的运动矢量预测值确定当前块的运动矢量预测值，并且使用确定的缩放的运动矢量预测值执行当前块的运动矢量预测[S2140]。并且，传送运动矢量差(mvd)、参考索引和缩放的运动矢量预测值信息[S2150]。另外，能够传送指示缩放的运动矢量预测值是否用于当前块的运动矢量预测的缩放的运动矢量预测值标记信息(scaled_mv_predictor_flag)。在使用缩放的运动矢量预测值信息情况下，该标记信息的含义可以表示为表7。

[表7]

缩放的mv预测值标记	含义
		0	当前块不使用缩放的MV预测值。(使用相关技术的MV预测值竞争)
1	当前块使用缩放的MV预测值。

按照本发明的解码装置的帧间预测单元250接收缩放的运动矢量预测值信息、mvd和参考索引[S2160]，然后使用接收到的一个重建当前块的运动矢量[S2170]。在传送缩放的运动矢量预测值标记信息(scaled_mv_predictor_flag)的情况下，可以不传送缩放的运动矢量预测值信息。在这种情况下，如果缩放的运动矢量预测值标记信息(scaled_mv_predictor_flag)的值是1，则能够使用接收到的参考索引、接收到的mvd和相邻块的运动矢量找到缩放的运动矢量预测值。然后使用找到的缩放的运动矢量预测值来重建当前块的运动矢量。

在按照本发明第七实施例预测当前块的运动矢量的方法中，运动矢量预测值通过考虑在由当前块的参考索引指示的帧和由相邻块的参考索引指示的帧之间的距离来确定，由此确定的运动矢量预测值可以与当前块的运动矢量具有更加同类的值。因此，能够提高预测的精度。

使用运动矢量预测当前块的方法可以在具有大的运动的画面中对当前块进行更加精确地编码。但是，相应的比特率要求高。因此，这个方法对预定的条件使用跳过模式。跳过模式使用相邻块的运动矢量(mvp)作为当前块的运动矢量，而不是使用相邻块计算的运动矢量(MV)差值作为运动矢量预测值。在使用跳过模式的情况下，不对诸如残差、参考索引、CBP(编码的块模式)等的信息进行编码。但是，H.264允许16*16块用于仅采用跳过模式的情形。因此，对于每个16*16块不允许两个或更多个运动矢量。

本发明的第八实施例提出部分地跳过模式，其使得具有运动矢量的单位块在跳过模式中具有各种大小。

图22是在部分地跳过模式中使用的块大小的示图。

参考图22，部分地跳过模式能够使用16*8块、8*16块或者8*8块以及16*16块。部分地跳过模式在16*16块内可以具有最大四个运动矢量(在使用8*8块的情况下)，而相关技术跳过模式每16*16块具有一个运动矢量。

因此，使用部分地跳过模式的当前块解码方法最小化画面失真，并且更加激活跳过模式，从而提高编码效率。

由于按照本发明的第八实施例的部分跳过模式使用新的块类型，其能够进一步使用部分地跳过模式传送有关块类型的信息。有关块类型的信息可以按照块大小对应于skip_16*16、skip_16*8、skip_8*16或者skip_P8*8，各种例子不受限于此。并且，能够传送指示使用相关技术的跳过模式还是本发明的部分地跳过模式的部分地跳过模式标记信息(partially_skip_flag)。该标记信息的含义表示为表8。

[表8]

partially_skip_flag	含义
		0	当前块不使用部分地跳过模式。(使用相关技术的跳过模式)
1	当前块使用部分地跳过模式。

按照本发明的解码装置的帧间预测单元250接收块类型信息和部分地跳过模式标记信息。如果使用部分地跳过模式，则帧间预测单元250在先前帧中使用与当前块共址的块的运动矢量作为当前块的运动矢量。如果是这样，跳过模式被进一步激活以提高编码效率。并且，使用运动矢量能够比使用相关技术的跳过模式提高当前块的重建速率。

同时，对于解码器推导和使用与其自己的运动矢量有关的信息，而不是从编码器接收与运动矢量有关的任何信息可能是更加有效。因此，视频信号解码装置可以使用用于推导当前块的运动估算所需的信息的直接模式。该直接模式包括空间直接模式和时间直接模式。空间直接模式在解码器上从相邻块推导当前块的运动矢量和参考索引。并且，以与相关技术画面B直接模式相同的方式执行时间直接模式。与时间直接模式不同，即使P8*8块采用空间直接模式，但空间直接模式被限制为仅通过16*16块单元推导和使用单个运动矢量。

因此，本发明的第九实施例提出能够在空间直接模式中使用各种运动矢量的基于8*8的空间直接模式。

图23A是按照相关技术用于采用空间直接模式的P8*8块的运动矢量的示图，和图23B是按照本发明的第九实施例用于8*8块的运动矢量的示图。

参考图23A，在相关技术方法中，如果当前块是P8*8块，并且使用直接模式，则构成16*16块的P8*8块具有相同的运动矢量和参考索引。如图23A所示，块A、B、C和D使用块a(位于16*16块的左边)、块b(位于16*16块的上面)和块c(位于16*16块的右上侧)经由中值滤波器推导使用相同的运动矢量(mv)和参考索引。

参考图23B，本发明的基于8*8的空间直接模式使用相邻块推导以使用各种运动矢量。在图23B中，块A′使用相邻块的块a′、块b′、块c′和块d′的运动矢量的中值作为块A′的运动矢量(mva′)。块B′使用相邻块的块a′、块d′和块e′的运动矢量作为运动矢量(mvb′)。块C′使用块b′、块c′和块d′推导运动矢量(mvc′)。并且，块D′使用块b′、块d′和块e′推导运动矢量(mvd′)。在这种情况下，作为参考索引，类似相关技术选择在使用的相邻块的参考索引之中的最小的值以提高编码效率。

因此，基于8*8的空间直接模式通过对每个P8*8块计算运动矢量来使用在16*16块内的至少两个运动矢量。因此，在当前块位于边界区域或者小的目标移动的情况下，在具有高的重建速率时是有利的。

如下参考图24和图25解释按照本发明另一个实施例的处理视频信号的方法，其进一步包括在离散余弦变换步骤中重新排列视频信号的步骤。该方法降低比特率和与原始画面的误差。

参考图24，在相关技术的离散余弦变换中，视频信号被变换为2维频率分量。并且，找到包括在变换的视频信号的块中的每个基本分量的大小。然后执行量化和之字形扫描。用于该离散余弦变换的视频信号使用2维变换方案。尤其是，在行方向执行变换。然后在列方向执行另一个变换。

此外，能够在每个方向变换之前，通过推导具有小的系数的块以集合在DC分量来更加增强压缩比。因此，本发明的第十实施例进一步包括在每个方向变换之前，通过考虑每个块的残差和系数来重新排列块的步骤，从而以允许离散余弦变换系数集合在DC分量(其是常规的离散余弦变换)附近的方式增强压缩比。在以下的描述中，解释用于执行重排的块是残差信号的情形。

参考图25，按照本发明第十实施例的离散余弦重新排列变换包括在行和列方向变换步骤之前的第一重新排列步骤和第二重新排列步骤。

在第一重新排列步骤中，通过在行方向比较块的残差而将具有小的值的块排列在左侧上，产生指示重新排列顺序的第一重新排列信息被，并且然后在行方向执行离散余弦变换。

在第二重新排列步骤中，在列方向参考在行方向离散余弦变换的残差而将具有小值的块重新排列在上侧，并且然后产生指示重新排列顺序的第二重新排列信息。本发明的这个实施例考虑了通过相互比较各个块的残差而重新排列的方法，本发明的各种例子不受限于此。

如在以上的描述中提及的，如果以重新排列残差信号的方式执行离散余弦变换，以使得具有小的残差的块位于行或列中的左侧或者上侧，则离散余弦变换系数通过聚集在左侧DC分量来分布。因此，能够获得进一步增强的压缩效果。

另外，本发明的编码/解码方法可以在计算机中执行的程序中实现，并且可以记录在计算机可读的记录介质中。并且，具有按照本发明的数据结构的多媒体数据可以记录在计算机可读的记录介质中。计算机可读的记录介质包括各种记录设备，由计算机系统可读的数据存储在该记录设备中。计算机可读的介质例如包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等，并且还包括载波型实现(例如，经由因特网的传输)。并且，由编码方法产生的比特流存储在计算机可读的记录介质中，或者可以经由有线/无线通信网络传送。

虽然参考其优选实施例在此处已经描述和图示了本发明，对于那些本领域技术人员来说显然在不脱离本发明的精神和范围的情况下，可以在其中进行各种修改和变化。因此，本发明意欲覆盖落入所附的权利要求及其其等效范围之内的本发明的改进和变化。

工业实用性

因此，本发明适用于音频编码和解码。

Claims (21)

1.一种处理视频信号的方法，包括：

接收当前块的预测模式信息、内插信息和残差；

使用所述内插信息和相邻块重建内插像素；以及

使用所述内插像素、所述预测模式信息和所述残差重建所述当前块，

其中所述内插信息是基于当前块的位置产生的。

2.根据权利要求1的方法，其中，所述内插信息包括用于产生所述内插像素的所述相邻块的像素信息和关于所述内插像素的产生的信息。

3.根据权利要求2的方法，其中，所述内插信息进一步包括指示当前块是否位于画面的边界区域上的标记信息。

4.一种处理视频信号的方法，包括：

接收包括当前块的像素预测信息和残差的视频信号；

使用所述像素预测信息和所述残差重建所述当前块的单个像素；以及

使用重建的像素、所述像素预测信息和所述残差重建邻近的像素，

其中，所述像素预测信息包括用于所述邻近的像素的帧内预测的预测像素、预测方案和预测方向，以及

其中，所述邻近的像素包括在当前块中，并且使用包括在当前块中的其它像素来预测。

5.根据权利要求4的方法，其中，所述预测像素是位于当前块或者重建的相邻块中的像素。

6.根据权利要求4的方法，其中，所述预测方案包括用于使用邻近的像素的平均值的方案和用于按照方向性进行预测的方案。

7.根据权利要求6的方法，所述按照方向性进行预测的方案，包括：

计算在以当前像素为中心的每个方向中在两个最靠近的像素之间的差；以及

使用在具有最小差的方向中的两个像素的平均值执行预测。

8.根据权利要求4的方法，其中，所述预测方向对应于除了DC模式之外的帧内预测模式的多个方向之一，并且其中所述预测方向是在以当前像素为中心的每个方向中在最靠近当前像素的两个像素之间的差中具有最小值的方向。

9.一种处理视频信号的方法，包括：

接收包括运动矢量预测值信息和运动矢量的差的视频信号；

使用空间预测值和时间预测值确定运动矢量预测值候选集合；

使用所述运动矢量预测值信息确定运动矢量预测值；以及

使用所述运动矢量预测值和所述运动矢量的差对当前块执行运动补偿，

其中，所述运动矢量预测值是使用所述运动矢量预测值候选集合产生的。

10.根据权利要求9的方法，其中，取决于当前块是否采用跳过模式来确定所述运动矢量预测值候选集合。

11.根据权利要求10的方法，其中，所述跳过模式包括作为单位块的8*8块、8*16块、16*8块和16*16块中的一个。

12.根据权利要求10的方法，其中，如果当前块采用所述跳过模式，则所述确定运动矢量预测值候选集合是基于在空间预测值的分量x和时间预测值的分量x之间、以及在空间预测值的分量y和时间预测值的分量y之间存在或者不存在匹配。

13.根据权利要求10的方法，其中，如果当前块没有采用所述跳过模式，其中确定所述运动矢量预测值候选集合是基于在空间预测值的分量x和时间预测值的分量x之间的距离、以及在空间预测值的分量y和时间预测值的分量y之间的距离。

14.根据权利要求9的方法，其中，所述运动矢量预测值信息指示用于当前块的运动矢量预测的运动矢量预测值。

15.根据权利要求9的方法，进一步包括在确定所述运动矢量预测值候选集合之前，使用空间预测值和时间预测值选择运动矢量竞争。

16.根据权利要求15的方法，其中，所述选择运动矢量竞争基于空间预测值和时间预测值的大小来确定。

17.根据权利要求9的方法，进一步包括在确定所述运动矢量预测值候选集合之前，基于先前画面的运动矢量和当前块的类型来选择运动矢量竞争。

18.根据权利要求17的方法，其中，如果所述先前画面的运动矢量的大小的平均值是0或者等于或者小于2，则确定包括空间预测值和时间预测值的所述运动矢量预测值集合。

19.根据权利要求17的方法，其中，如果所述先前画面的运动矢量的大小的平均值大于2，并且如果当前块的类型是跳过模式或者16*16块，则确定包括空间预测值和时间预测值的所述运动矢量预测值集合。

20.根据权利要求9的方法，确定运动矢量预测值进一步包括产生通过考虑在当前块和用于执行运动估算的块之间的距离缩放的运动矢量预测值。

21.一种用于处理视频信号的装置，包括：

视频信号接收单元，接收包括当前块的预测模式信息、内插信息和残差的视频信号；

内插像素重建单元，使用所述内插信息和相邻块重建内插像素；以及

当前块重建单元，使用所述内插像素、所述预测模式信息和所述残差重建当前块，

其中，所述内插像素重建单元使用基于当前块的位置产生的内插信息。

Images