CN102754442A - 处理视频信号的方法和装置 - Google Patents

Abstract

本发明涉及用于编码或解码视频信号的方法和装置。根据本发明的用于处理视频信号的方法根据指示是否分割或合并当前块的信息来确定块的类型，对于每个子块利用恢复周围的像素来获取每个子块的预测值，并且利用获取的值，恢复当前块。此处，用于获取预测值的像素可以包括用于在当前块中含有的其他子块的恢复像素，并且在用于获取预测值的预测模式中，可以考虑子块的类型。

Description

处理视频信号的方法和装置

技术领域

本发明涉及用于处理视频信号的方法和装置，更具体地说，涉及用于有效率地编码或解码视频信号的方法和装置。

背景技术

压缩编码指经由通信线路发送数字化信息或者以适合于存储介质的形式存储数字化信息的一系列信号处理技术。通常，视频、音频和文本经受压缩编码。具体而言，执行关于视频的压缩编码的技术被称为视频压缩。考虑空间相关性、时间相关性、概率相关性等，通过消除冗余信息，来实现视频的压缩编码。然而，最近随着各种媒体和数据传送媒体的发展，存在对有效率地处理视频信号的方法和装置的需求。

发明内容

技术问题

为了解决上述需求而设计本发明，并且本发明的一个目的是提供能够使用各种运动预测方法有效率地压缩视频信号的视频信号处理方法。

本发明的另一目的是，即使在帧内预测中使用具有各种形状的预测块的情形下，提供有效率和精确的方法。

本发明的另一目的是，通过有效率地分配指示预测模式的编号，提高压缩率。

本发明的另一目的是，在色度分量的帧内预测中，提供更精确和有效率的预测方法。

本发明的另一目的是，在帧间预测中，通过更精确地预测当前块的运动矢量，有效率地处理视频信号。

技术解决方案

在帧内预测中，利用诸如分割标志或合并标志的信息，通过提供各种预测块形状，能够实现本发明的目的。

提供了一种预测方法，即使在当前块的大多数预测模式的预测中使用具有各种尺寸和形状的预测块的情形下，能够适当地使用该预测方法，其中在当前块的大多数预测模式的预测中使用相邻块的预测模式。

提供了一种根据预测块来适当分配指示预测模式的编号的方法。

提供了一种在其中使用相邻像素的色度分量的帧内预测中预测并独立恢复分割的子预测块的方法。

提供了一种在色度分量和使用色度分量的语法的预测中将使用亮度分量的新帧内预测模式。

提供了一种推导相邻块内的运动矢量以便在帧间预测中更精确地预测当前矢量的运动矢量的方法。

有益效果

根据本发明的多个实施例，可以有效率地编码和解码视频信号。

更具体地说，可以在帧内预测中有效率地预测绝大多数预测模式。具体而言，可以使用具有各种尺寸和形状的预测块并且推导适合于各种预测块的预测模式。此外，可以通过将编号适当地分配给预测模式，利用少量信息有效率地表示预测模式。此外，可以在色度分量的预测中独立地恢复分割的子预测块以及通过使用每个子预测块的相邻像素来更精确地执行预测。此外，可以在色度分量的预测中，利用亮度分量，来减少发送的信息量。

在帧间预测中，可以在没有运动信息的情况下，通过预测关于帧内块的运动矢量，来获取更精确的运动矢量预测值。此外，可以在色度分量的预测中，使用利用亮度分量和运动补偿的混合方法。

附图说明

图1是根据本发明实施例的视频信号编码装置的示意性框图；

图2是根据本发明实施例的视频信号解码装置的示意性框图；

图3是示出了在H.264/AVC的帧内4×4模式中的九个预测模式和其方向的示意图；

图4是示出根据本发明实施例的用于推导作为当前块的预测模式的最可能模式的相邻块的示意图；

图5是示出2N×2N预测块的分割形式的示意图；

图6是示出在帧内预测模式中的任意预测方向的示意图；

图7至图8是图示根据本发明实施例的预测模式编号分配的示意图；

图9（a）至图9（c）是示出根据本发明实施例的如果一个预测块被四等分则对于帧内预测使用预测块的相邻色度分量的示意图；

图10是示出根据本发明实施例的如果一个预测块被四等分则对于帧内预测由每个子预测块使用的区域的示意图；

图11是示出包括标志信息的语法的示例的示意图，该标志信息指示是否使用新帧内预测模式；

图12是图示恢复色度分量的处理的流程图；

图13是示出用于预测帧内块的运动矢量的相邻块的示意图；

图14是示出根据本发明实施例的为了找到帧内块的运动矢量使用模板匹配方法的方法的示意图；

图15是示出包括标志信息的语法的示例的示意图，该标志信息指示是否使用新帧内预测模式；以及

图16是示出指示在帧间预测模式之中是否使用混合模式的语法的示例的示意图。

具体实施方式

最佳模式

能够通过提供处理视频信号的方法实现本发明的一个目的，该方法包括获取指示是否分割当前块的分割信息；如果该分割信息指示当前块被分割时，则将当前块分割成正方形的子块；使用在当前图片中的恢复像素来获取子块的预测值；并且使用预测值来恢复当前块。在当前图片中用于获取预测值的恢复像素包括在当前块中包含的其他子块的恢复像素。

该方法可以还包括获取指示当前块的子块是否被合并的合并标志信息；以及如果合并标志信息指示当前块的子块被合并，则获取相对于合并块的形状的预测值。此时，可以合并垂直地或水平地邻近的子块，并且合并的子块可以具有矩形形状。

该方法还可以包括使用当前块的上相邻块或左相邻块的预测模式来预测当前块的预测模式；获取预测值可以使用位于由预测模式指示的方向的参考像素，并且在预测模式的预测中可以考虑子块的分割。

在根据本发明的视频信号处理方法中，通过考虑发生频率，可以将预测编号有效率地分配给当前块的预测模式。例如，可以选择在上相邻块和左相邻块之间具有较小值的一个预测模式，并且可以将低预测编号分配给其他值或者分配给选定的预测模式的邻近预测模式。

本发明的模式

在下文中，将参考附图详细描述本发明的示例性实施例。在本说明和权利要求中使用的这些术语不限于其中的一般意义，并且基于适当地定义的这些术语的概念的规则，被理解为适合本发明的技术精神的意义和概念，以便尽可能以最佳方式图示本发明。本说明中描述的实施例和附图中示出的配置仅为示例性，并且可以进行各种修改及其等同物。

在本发明中，可以基于下列标准解释下列术语，并且在此未使用的这些术语也可以基于下列标准解释。可以将术语编译解释为编码或解码，并且术语信息包括值、参数、系数、元素等，并且根据这些情形可以不同地解释其中的含义，并且本发明不限于此。术语“单元”指示基本视频处理单元或视频的特定位置，并且根据需要与术语“块”或“区域”互换地使用。

图1是根据本发明实施例的视频信号编码装置100的示意性框图。参考图1，本发明的编码装置100包括变换部110、量化器115、逆量化器120、逆变换部125、滤波器部130、预测器150和熵编译器160。

变换部110变换接收到的视频信号的像素值，并且获取变换系数值。作为变换方法，例如，可以使用离散余弦变换（DCT）、小波变换等。具体而言，通过将接收到的视频信号分割成每个具有预定大小的块来执行DCT。

量化器115量化从变换部110输出的变换系数值。逆量化器120逆量化变换系数值，并且逆变换部125使用逆量化的变换系数值来恢复像素值。

滤波器部130执行用于提高恢复图像的质量的滤波操作。例如，滤波器部可以包括解块滤波器和/或自适应回路滤波器。将滤波图像输出并且存储在帧存储器156中，以便用作参考图像。

为了提高编译效率，使用一种利用先前编译区域来预测图像并且将图像和预测图像之间的残差值添加到预测图像以便获取恢复图像的方法。帧内预测器152执行当前图像内的预测，并且帧间预测器154使用在帧存储器156中存储的至少一个参考图像来预测当前图像。帧内预测器152从当前图像的恢复区域执行帧内预测，并且将帧内编译信息发送到熵编译器160。可以将帧间预测器154配置成包括运动补偿器162和运动估计器164。运动估计器164通过参考特定恢复区域来获取当前区域的运动矢量值。运动估计器164可以将参考区域的位置信息（参考帧、运动矢量等）发送到熵编译器160，以包括在比特流中。运动补偿器162使用从运动估计器164接收到的运动矢量值来执行帧间运动补偿。

熵编译器160熵编译从帧间预测器154接收到的量化变换系数、帧间编译信息、帧内编译信息和参考区域信息，以生成视频信号比特流。熵编译器160可以使用可变长度编译（VLC）方案、算法编译方案等。VLC方案将输入符号变换成连续码字，并且码字的长度是可变的。例如，通过短码字可以表示频繁出现的符号，并且通过长码字可以表示未频繁出现的符号。作为VLC方案，可以使用基于上下文自适应可变长度编译（CAVLC）方案。算法编译方案将连续数据符号变换成一个素数。可以使用算法编译来获取表示每个符号所需要的最佳素数编号比特。作为算法编译，可以使用基于上下文自适应二进制算法编译（CABAC）。

图2是根据本发明实施例的视频信号解码装置200的示意性框图。参考图2，本发明的解码装置200包括熵解码器210、逆量化器220、逆变换部225、滤波器单元230和预测器250。

熵解码器210熵解码视频信号流并且提取编译类型、每个区域的变换系数、运动矢量等。逆量化器220逆量化熵解码变换系数，并且逆变换部225使用逆量化变换系数来恢复像素值。

预测器250包括帧内预测器252和帧间预测器254，并且使用编译类型、每个区域的变换系数以及通过熵解码器210解码的运动矢量来恢复预测图像。

帧内预测器252从当前图像的解码样本来生成帧内预测图像。此外，帧间预测器254使用存储在帧存储器256中的参考图像来生成预测图像。从逆变换部225输出的像素值被添加到从帧内预测器252或帧间预测器254输出的预测图像，以生成恢复的视频帧。

滤波器部230过滤恢复的视频帧以提高图像质量。可以包括用于减少块失真现象的解块滤波器和用于消除整个图像的失真的自适应回路滤波器。可以将过滤的图像输出为最终图像并且存储在帧存储器256中，以便用作参考图像。

编译单元是在例如帧内/帧间预测、变换、量化和/或熵编译的视频信号处理程序中用于处理图像的基本单元。用于编译一个图像的编译单元的大小不是恒定的。编译单元可以具有矩形形状并且一个编译单元可以被分割成若干个编译单元。例如，可以将具有2N×2N大小的一个编译单元分割成具有N×N大小的四个编译单元。编译单元可以被递归地分割并且不需要被分割成具有相同形状的编译单元。为了方便编译和处理程序，对编译单元的最大尺寸和最小尺寸存在限制。

关于一个编译单元，可以指定指示是否将编译单元分割的信息。例如，如果指示分割/不分割的标志值是1，则与该节点相对应的块被分割成四个块，并且如果标志值是0，则在不需要分割的情形下可以处理编译单元。

使用递归树结构可以表示编译单元的结构。即，利用一个图像或最大尺寸编译单元作为根，分割的编译单元具有数目上对应于分割的编译单元的数目的子节点。因此，不再被分割的编译单元变成叶节点。如果假定一个编译单元仅被分割成正方形，则可以将一个编译单元分割成四个编译单元并且因此表示编译单元结构的树变成四叉树。

编码器可以通过考虑视频信号的属性（例如，分辨率）或者编译效率来选择编译单元的最佳大小，并且关于编译单元的大小的信息或用于驱动编译单元大小的信息可以包括在比特流中。例如，可以定义编译单元的最大尺寸和树的最大深度。如果将编译单元分割成正方形，则编译单元的高度和宽度是父节点的编译单元的高度和宽度的一半。因此，可以使用上述信息来获取最小编译单元。相反地，定义编译单元的最小尺寸和树的最大深度，并且使用编译单元的最小尺寸和树的最大深度可以推导出编译单元的最大尺寸。在分割成正方形中，由于以2的倍数的形式来更改单元的大小，所以通过基于2的对数值来表示编译单元的实际大小以便提高传输效率。

解码器可以获取指示当前单元是否被分割的信息。如果仅在特定条件下获取（发送）这种信息，则能够提高效率。例如，由于在当前编译单元大小以及关于当前位置的信息的添加小于图像的大小并且当前编译单元大小大于预定最小编译单元大小时能够将当前单元分割，所以可以获取指示仅在该情形下是否分割编译单元的信息。

如果信息指示编译单元被分割，则分割的编译单元的大小变成当前编译单元的一半，并且当前编译单元基于当前处理位置被分割成四个正方形编译单元。分割编译单元重复地经受上述处理。

相对于不再被分割的编译单元（即，编译单元树的叶节点）执行用于编译的图像预测（运动补偿）。用于执行这种预测的基本单元称为预测单元或预测块。可以将预测块分割成具有各种形状，并且每个分割部被称为子预测单元或子预测块。可以将一个预测块分割成具有诸如正方形或矩形的对称形状、非对称形状或几何形状的子预测块。比特流可以包括指示预测块是否被分割的信息或关于子预测块的形状的信息。可替选地，从其他信息可以推导出这种信息。

在预测中，可以使用诸如帧内预测模式MODE_INTRA、直接预测模式MODE_DIRECT、帧间预测模式MODE_INTER和跳频模式MODE_SKIP的各种模式。预测模式信息指示哪种模式被使用。在特殊情形中，可以通过推导出预测模式信息取代发送预测模式信息来减少发送的信息量。

帧内预测器252执行用于从当前图像的恢复区域预测目标单元的像素值的帧内预测。例如，从位于当前单元的上、左、左上和/或右上侧的单元的像素，可以预测当前单元的像素值。此时，可以在预测像素值中使用位于诸如垂直方向、水平方向和对角线方向的各种方向上的参考像素或者使用恢复像素的平均值的方法。相对于各种预测方法，可以定义和使用若干种模式。图3以H.264/AVC的帧内4×4模式示出了九个预测模式及其方向。具体而言，其中，通过仅参考未偏离图片边界的像素计算平均值的预测模式被称为“DC”预测（预测模式2）。

编码器发送关于在帧内预测中使用哪个模式的信息，并且解码器根据模式信息来获取当前预测块的预测值。在发送这种信息中，如果由于预测方向生成频率更高所以分配较小编号，则发送的信息的量减少，并且因此能够增加这种压缩效率。参考图3，可以将编号0至8以频率的顺序分配给九个预测模式。

由于将由当前预测块使用的预测模式与相邻块相互关联，所以能够用作当前块的预测模式的最可能模式可以从相邻块的预测模式推导出（预测）。此后，为了简洁，上述预测模式称为“当前块的MPM”。图4示出根据本发明的实施例的用于预测当前块的MPM的相邻块。参考图4，由于从一个图像的上侧至下侧以及左侧至右侧执行编译，所以已经对当前块410的左相邻块420和上相邻块430编译。例如，可以将左相邻块的预测模式和上相邻块的预测模式进行比较，并且可以将具有较小编号的预测模式用作当前块的MPM。

如果相邻块在帧内预测模式中不可用或者不能编译，则这样的相邻块的预测模式信息可以不用于推导出当前块的帧内预测模式。因此，关于相邻块的状态的信息可以用于推导出当前块的预测模式。

例如，如果当前块的左相邻块或上相邻块的一个或多个不可用，则以帧间预测模式进行编译或者不以特定帧内预测模式进行编译，可以将DC预测模式设置为当前块的MPM。在其他情形下，如上所述，从两个相邻块的预测模式可以选择分配较小编号的预测模式。

根据本发明的实施例，预测块的大小和形状是可变的。图5示出了其中使用各种方法将图像的具有2N×2N的大小的最小编译单元，即预测块，分割成块的情形。如上所述，可以将最大尺寸的编译单元500分割成若干个编译单元，并且最小编译单元510变成预测的基本单元。参考图5，一个预测块可以不被分割或者可以被分割成每个具有N×N的大小的四个正方形子预测块或者具有N×2N或2N×N大小的矩形子预测块。解码器可以接收关于各种预测块分割形状的信息，并且分割预测块。具体而言，通过垂直地或水平地合并具有N×N大小的子预测块可以生成具有矩形形状的预测块，并且可以使用指示是否已经执行合并的标志信息。在本发明中，通过考虑各种预测块形状来使用推导当前预测块的帧内预测模式的方法。

根据本发明的实施例，如果预测块（或子预测块）具有2N×2N或N×N的大小，即，正方形，则可以如下推导预测模式。如果左相邻块420不可用并且上相邻块430不可用或者以帧间预测模式编译，则推导DC预测模式作为当前块的MPM。如果左相邻块420以帧间预测模式编译并且上相邻块430不可用或者以帧间预测模式编译，则可以推导DC预测模式作为当前块的MPM。如果左相邻块420或上相邻块430的任何一个以帧内预测模式被编译，并且另一个不可用或者以帧间预测模式被编译，则推导以帧内预测模式编译的相邻块的帧内预测模式作为当前块的MPM。即，如果左相邻块420不可用或者以帧间预测模式编译并且以帧内预测模式编译上相邻块430，则可以将上相邻块430的帧内预测模式用作当前块的MPM。在其他情形下，如上所述，可以将在两个相邻块的预测模式之间的被分配较小编号的预测模式设置为当前块的MPM。

如果当前预测块（或子预测块）的大小是2N×N，则可以如下推导当前预测块的MPM。如果左相邻块420不可用并且上相邻块430不可用或者以帧间预测模式被编译，则可以推导DC预测模式作为当前块的MPM。如果左相邻块420以帧间预测模式编译并且上相邻块430不可用或者以帧间预测模式被编译，则可以推导DC预测模式作为当前块的MPM。如果以帧内预测模式对左相邻块420或上相邻块430中的任何一个进行编译并且另一个不可用或者以帧间预测模式编译，则可以推导以帧内预测模式编译的相邻块的帧内预测模式作为当前块的MPM。即，如果左相邻块420不可用或者以帧间预测模式编译并且以帧内预测模式对上相邻块430进行编译，则可以将上相邻块430的帧内预测模式用作当前块的MPM。换言之，如上所述，推导上相邻块430的预测模式作为当前块的MPM。

如果当前预测块（或子预测块）的大小是N×2N，则可以如下推导当前预测块的MPM。如果左相邻块420不可用并且上相邻块430不可用或者以帧间预测模式编译，则推导DC预测模式作为当前块的MPM。如果以帧间预测模式编译左相邻块420并且上相邻块430不可用或者以帧间预测模式被编译，则推导DC预测模式作为当前块的MPM。如果左相邻块420或上相邻块430中的任何一个以帧内预测模式被编译并且另一个不可用或者以帧间预测模式被编译，则推导以帧内预测模式编译的相邻块的帧内预测模式作为当前块的MPM。即，如果左相邻块420不可用或者以帧间预测模式编译并且上相邻块430以帧内预测模式编译，则可以将上相邻块430的帧内预测模式用作当前块的MPM。在其他情形下，如上所述，推导左相邻块420的预测模式作为当前块的MPM。

如上所述，如果当前块的预测模式被预测为最可能的预测模式，则可以发送指示作为当前块的预测模式的预测器的MPM是否等于实际预测的预测方向的信息。如果预测方向彼此不同，则该信息指示预测方向不同于实际预测的预测方向，并且可以发送指示除了预测方向之外的预测模式用于预测编译的信息。如果预测方向相同，则由于不需要发送关于预测模式的信息，则可以增加压缩效率。

图6示出在帧内预测模式中的任意预测方向。通过用于预测的当前像素610和参考像素620之间的斜率，可以表示任意预测方向。可以改变作为在一个图像中用于执行预测的单元的预测块的大小（例如，4×4,8×8,…,64×64），并且预测方向的种类可以随着预测块的尺寸变大而更加多样。

根据本发明的实施例，不分配固定的预测编号，但是根据预测方向发生频率可以分配预测编号，从而增加编译效率。例如，如果当前块的预测模式不是MPM，则当前块的预测模式具备具有较小值的预测模式，具有与预测的预测模式相类似的方向性，或者可以是相邻预测模式，该相邻预测模式未被选择用于推导MPM。

参考图7，例如，以Vert模式对当前块710的上相邻块730进行编译，并且以Hori_down模式对左相邻块720进行编译。图8示出根据本发明的若干个实施例的将预测模式编号分配到图7中示出的当前块的若干种方法。

在图7的当前块中，根据图3的编号分配方法，由于Vert模式具有较小编号，所以推导当前块的MPM值作为上相邻块的预测模式“Vert模式“。除了作为当前MPM的Vert模式，使用现有方法将从0至7的编号连续地分配到剩余的预测模式。

根据本发明的实施例，未被选定用于预测模式的预测的剩余相邻预测模式可以被看作下一个最可能的预测模式，并且可以将最小模式编号分配给剩余的相邻预测模式。即，在上述示例中，未选定的左块的Hori_down模式可以变成MPM的下一个最可能的模式。使用现有方法来连续地分配剩余的预测模式编号。图8的提出的方法1示出使用这种方法最新分配的预测编号。

根据本发明的另一实施例，接近预测模式的预测值的预测模式可以被看作最可能预测模式并且可以被最先考虑。在上述示例中，可以优先考虑接近Vert的Vert_left和Vert_right。使用现有方法来连续分配剩余的预测模式编号。图8的提出的方法2示出使用这种方法最新分配的预测编号。虽然在本实施例中仅考虑两种相邻方向，但是根据需要可以扩展相邻方向的范围。

根据本发明的另一实施例，可以考虑所有上述情形。即，优先地将低预测编号分配给未选定的相邻块的预测模式和预测的预测模式的相邻方向的模式。图8的提出的方法3示出使用这种方法最新分配的预测编号。本发明不限于这些实施例，并且可以相反地做出如更小预测编号被分配给哪一个模式的确定。

虽然为了描述方便将描述九种方向的预测模式，但是根据如上所述的预测块的大小，需要更多方向的预测模式。即使当预测模式的数量增加，本发明的预测模式分配方法也是可用的。

图9（a）至图9（c）示出如果一个预测块900被四等分为四个子预测块910、920、930和940则与用于帧内预测的预测块相邻的色度分量的使用。例如，在帧内预测模式中，使用解码块的左和上外部区域950和960来预测被分割的子预测块的色度分量。在一个预测块中，当子预测块的左上侧的位置是x0,y0，并且当前像素(x,y)的预测值是predc[x,y]和参考样本是p[x,y]，则可以如下推导根据每个预测模式的像素预测值。为了描述方便，每个子预测块的大小是4×4。

图9（a）示出了哪个外部区域用于以DC预测模式预测每个子预测块。在DC模式中，如上所述，使用预测块900的外部区域的可用像素来获得平均值并且被用作预测值。

如果x0=0,y0=0或x0>0,y0>0,即，在左上子预测块910或右下子预测块940的情形下，当前块的预测值如下。

如果所有参考样本是可用的，则通过左和上外部区域950和960的平均值可以表示当前块的预测值

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\′}=0}{\overset{3}{Q}}p\right[x^{\′}+\mathrm{xO},-1]+\underset{y^{\′}=0}{\overset{3}{Q}}p[-1,y^{\′}+\mathrm{yO}]+4)>>3.$

如果上块不可用，则通过左外部区域950的平均值可以表示当前块的预测值

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{y^{\′}=0}{\overset{3}{Q}}p\right[-1,y^{\′}+\mathrm{yO}]+2)>>2.$

如果左块不可用，则通过上外部区域960的平均值表示当前块的预测值

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\′}=0}{\overset{3}{Q}}p\right[x^{\′}+\mathrm{xO},-1]+2)>>2$

可以如上表示当前块的预测值。

在其他情形下，即，如果没有可用的参考像素的情形下，

pred_c=[x+xO，y+yO]＝1<<(BitDepth_c-1)

如上可以表示当前块的预测值。BitDepth_c指示当前块的比特深度。

如果x0>0,y0=0，即，在右上子预测块920的情形下，通过下列等式表示当前块的预测值：

如果上块是可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\&prime;}=0}{\overset{3}{Q}}p\right[x^{\&prime;}+\mathrm{xO},-1]+2)>>2.$

如果左块是可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{y^{\&prime;}=0}{\overset{3}{Q}}p\right[-1,y^{\&prime;}+\mathrm{yO}]+2)>>2.$

在其他情形下，

pred_c=[x+xO，y+yO]＝1<<(BitDepth_c-1)。

如果子预测块的大小是4×4并且x0=0,y0>0，即，在左下子预测块940的情形下，通过下列等式可以表示当前块的预测值：

如果左块是可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{y^{\&prime;}=0}{\overset{3}{Q}}p\right[-1,y^{\&prime;}+\mathrm{yO}]+2)>>2.$

如果上块是可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\&prime;}=0}{\overset{3}{Q}}p\right[x^{\&prime;}+\mathrm{xO},-1]+2)>>2.$

在其他情形下，

pred_c＝[x+xO，y+yO]＝1<<(BitDepth_c-1)。

图9（a）和图9（b）分别示出了在水平预测模式和垂直预测模式中、在每个子预测块中使用的区域。通过下列等式来表示这些。

pred_c[x，y]=p[-1，y]

pred_c[x，y]＝p[x，-1]

平面模式的等式表示如下。

pred_c[x，y]＝Clip1_c((a+bS(x-3)+cS(y-3)+16)>>5)

a=16S(p[-1，heightC-1]+p[widthC-1，-1])

b=(34SH)+32)>>6

c=((34SV)+32)>>6

$H=\underset{x^{\&prime;}=0}{\overset{3}{Q}}(x^{\&prime;}+1)s\left(p\right[4+x^{\&prime;},-1]-p[2-x^{\&prime;},-1\left]\right)$

$V=\underset{y^{\&prime;}=0}{\overset{3}{Q}}(y^{\&prime;}+1)\mathrm{sp}\left(\right[-\mathrm{1,4}+y^{\&prime;}]-p[-\mathrm{1,2}-y^{\&prime;}\left]\right)$

在本发明的另一方面，每个子预测块可以不使用预测块的相邻像素，但是可以将每个子预测块的相邻像素用作参考像素。如果在预测块单元中不执行恢复而是在子预测块单元中连续执行，则当恢复特定子预测块时可以使用关于其他子预测块的信息。图10示出了如果根据本发明实施例四等分一个预测块则用于帧内预测的每个子预测块使用的区域。虽然子预测块通常使用相同的预测模式，但是在一些情形下可以使用不同的预测模式。

根据参考样本是否可用来获取下列等式。

在DC预测模式中，如果所有参考样本是可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\&prime;}=0}{\overset{3}{Q}}p\right[x^{\&prime;}+\mathrm{xO},\mathrm{xO}-1]+\underset{y^{\&prime;}=0}{\overset{3}{Q}}p[\mathrm{yO}-1,y^{\&prime;}+\mathrm{yO}]+4)>>3.$

如果上块是不可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{y^{\&prime;}=0}{\overset{3}{Q}}p\right[\mathrm{xO}-1,y^{\&prime;}+\mathrm{yO}]+2)>>2.$

如果左块是不可用的，则

${\mathrm{pred}}_c=[x+\mathrm{xO},y+\mathrm{yO}]=\left(\underset{x^{\&prime;}=0}{\overset{3}{Q}}p\right[x^{\&prime;}+\mathrm{xO},\mathrm{yO}-1]+2)>>2.$

在其他情形下，可以表示

pred_c=[x+xO，y+yO]＝1<<(BitDepth_c-1)

同时，在水平预测模式的情形下，

pred_c[x+xO，y+yO]＝p[xO-1，y+yO]。

在垂直预测模式的情形下，

pred_c[x+xO，y+yO]＝p[x+xO，yO-1]。

在平面预测模式的情形下，

pred_c[x+xO，y+yO]＝Clip1_c((a+bS(x+xO-3)+cS(y+yO-3)+16)>>5)

a=16S(p[xO-1，yO++subHeightC-1]+p[xO+subWidthC-1，yO-1])

b=(34SH)+32)>>6

c=((34SV)+32)>>6

$H=\underset{x^{\&prime;}=0}{\overset{3}{Q}}(x^{\&prime;}1+1)s\left(p\right[4+x^{\&prime;},\mathrm{yO}-1]-p[2-x^{\&prime;},\mathrm{yO}-1\left]\right)$

$V=\underset{y^{\&prime;}=0}{\overset{3}{Q}}(y^{\&prime;}+1)\mathrm{sp}\left(\right[\mathrm{xO}-\mathrm{1,4}+y^{\&prime;}]-p[\mathrm{xO}-\mathrm{1,2}-y^{\&prime;}\left]\right)$

此处，subHeightC和subWidthC分别指示子预测单元的高度和宽度。

同时，使用亮度分量可以计算色度分量。更具体地，当亮度分量和色度分量分别是L(x,y)和C(x,y)时，通过下列等式可以表示根据与亮度分量的线性关系的色度分量的等式。

C′(x，y)=αL(x，y)+β

此时，可以如下定义系数。

$\mathrm{\&alpha;}=R\frac{(L,C)}{R(L,L)}$

β=mean(C)-αL

然而，由于解码器不能获取初始色度分量或亮度分量，所以通过下列等式可以接近于预测值。

${\hat{C}}^{\&prime;}(x,y)=\mathrm{\&alpha;}{L}^{\&prime;}(x,y)+\mathrm{\&beta;}$

$\mathrm{\&alpha;}=R\frac{(L^{\&prime;},C^{\&prime;})}{R(L^{\&prime;},L^{\&prime;})}$

β＝mean(C′)-αL′

L’(x,y)和C’(x,y)分别指示相邻块的亮度分量和色度分量。

根据本发明的实施例，可以添加使用亮度分量来预测色度分量的方法作为色度分量的新帧内预测模式。此外，可以将指示这种预测模式是否被使用的标志信息发送到解码器。图11示出包括指示上述新预测模式是否被使用的标志信息chroma_estimation_flag的语法的示例。例如，如果使用亮度分量的预测值模式被使用，则标志信息指示1。否则（在chroma_estimation_flag=0的情形下），发送指示哪个预测模式被使用的信息intra_chroma_pred_mode。

图12示出恢复色度分量的处理。如上所述，当前块通过使用恢复像素被预测（S1210）、被变换（S1220）、以及被恢复（S1230）。如上所述，可以相对于预测块或在子预测块单元中执行这样的处理。虽然图12中描述了色度分量，但是可以在子预测块单元中恢复亮度分量，以用于其他子预测块。

在帧间预测器254中，使用从先前编码的图像（或帧）来估计运动并且预测当前块的方法。该预测方法被称为帧间预测。对于帧间预测，需要推导指示参考块的运动矢量和参考图像的信息的处理。

通常，任何块的运动矢量与相邻块的运动矢量相关联。因此，从相邻块来预测当前块的运动矢量，并且仅对其的差异矢量进行编译，从而减少将被编译的比特的量并且增加压缩效率。为了获得运动矢量预测值，例如，可以使用相邻块的运动矢量的中值（median）和平均值。

然而，如果在帧内预测模式中编译相邻块，则由于帧内预测模式不包括运动信息，所以可以将帧内块的运动矢量看作特定值（例如，0），并且通常用于预测当前块的运动信息。此后，以帧内预测模式编译的块称为帧内块并且在帧间预测模式中编译的块称为帧间块。

通过速率失真最优化，可以最有效率地进行关于使用哪个块大小或者使用哪个预测模式的确定。通常，由于与先前图像（或帧）的相关性高，则选择帧间预测，而不是帧内预测。

通常，如果不能执行帧间预测则使用帧内预测，例如，在帧内图像的情形下，或者如果图像之间的关联性低并且因此劣化帧间预测性能。如果获得错误的运动矢量预测值mvp，则要被发送的运动矢量差mvd太大并且速率-失真成本增加，或者如果由于在两个图片之间变化大使得残差值增加，并且因此增加速率-失真成本，则可以选择帧内预测模式取代帧间预测模式。此外，即使在其中可以执行帧内预测的结构的情形下，帧内预测比帧间预测更有优势。因此，可以通过考虑这些原因来预测帧内块的运动矢量。

图13示出了用于预测帧内块X的运动矢量的相邻块。通常，可以使用位于帧内块的左侧、上侧和右上侧的相邻块A、B和C。

如果由于两个图片之间改变大使得残差值增加，则可以利用通常方法、使用相邻块的运动矢量值来获取帧内块的运动矢量预测值。参考图13，例如，通过相邻块A、B和C的运动矢量mvA、mvb和mvC的中值，可以获得X的运动矢量预测值mvx。此时，所有块A、B和C是帧间块（例如，A、B和C的所有参考图像索引refA、refB和refC不是-1）。可以将A、B和C的参考图像索引之中的最小值选定为参考图像的索引。

mvX=median(mvA,mvB,mvC)

参考索引=min(refA,min(refB,refC))

作为又一示例，如果推导出错误运动矢量预测值，则在块X的周围不存在相似运动矢量。因此，在参考图片中相应的预测块的运动矢量可以用作帧内块的运动矢量。如果相应块是帧内块，则可以使用特定值（例如，0）。

在本发明的另一实施例中，可以发送指示哪个值被用作运动矢量预测值的信息。例如，该信息可以表示相邻块A、B和C或其中值mvA、mvB和mvC的哪一个运动矢量被用作运动矢量预测值。

如果因为帧内预测效率好于帧间预测效率而选择帧内预测模式，则可以使用在解码器处找出帧内块的运动矢量的方法。

图14示出根据本发明实施例的使用模板匹配方法以便找出帧内块的运动矢量的方法。图14示出包括当前块1410A和参考帧1400B的当前帧1400A。目标区域是使用模板匹配的要被预测的当前块1410A。模板指将在参考帧1400B中找出的区域，并且恢复的区域用作模板。在图14中，在当前帧1400A的编译处理中，当前块1410A的左上侧是恢复区域并且右下侧是恢复之前的区域。因此，模板区域1420A可以由以恒定间隔设置以接触目标区域的左和上边缘的像素来构成。在参考帧1400B中找出与当前帧的模板区域1420A相似的区域1420B。可以获取与参考帧中的模板相似区域2420B的外围上的目标块相对应的区域1410B的运动矢量，并且用作目标块1410A的运动矢量预测值。虽然在本实施例中模板区域由接触左和上边缘的恒定像素区域来构成，但由已经恢复的区域构成的区域可以用作模板。

同时，在没有如以下等式所示的如上所述的帧间预测的情形下，使用亮度分量可以推导色度分量。

C′(x，y)=αL′(x，y)+β

$\mathrm{\&alpha;}=R\frac{(L^{\&prime;},C^{\&prime;})}{R(L^{\&prime;},L^{\&prime;})}$

β＝mean(C′)-αL′

因此，在本发明的实施例中，可以添加使用亮度分量的预测作为帧间预测模式之一。指示这种预测模式是否被使用的标志信息可以被发送到解码器。图15示出包括这种标志信息chroma_estimation_flag的语法的示例。例如，如果使用亮度分量的近似值模式被使用，则标志信息是1。根据标志信息使用亮度值可以预测色度分量或者使用现有方法可以执行使用运动矢量的运动补偿。

在本发明的另一实施例中，利用使用亮度信号的估计值和使用运动补偿的预测值，可以预测色度分量。

更具体地，可以如下表示使用亮度信号的估计值C1’(x,y)和使用运动补偿的C2’(x,y)。

C₁′(x，y)=αL(x，y)+β

C₂′(x，y)=C ′(x+mv_cx，y+mv_cy)

因此，使用如下这些值可以获得预测值。

C′(x，y)=0.5S(C₁′(x，y)+C₂′(x，y))

类似地，可以发送指示是否使用这种混合模式的标志hybrid_prediction_flag。图16示出在该情形下的语法。

通过根据预定格式将本发明的构成组件和特征组合提出了上述实施例。在没有附加说明的条件下，各个构成组件或特性应该被看作可选因素。如果需要，则各个构成组件或特性可以不与其他组件或特性组合。此外，可以将一些构成元件和/或特性组合，以实现本发明的实施例。在本发明的实施例中将被公开的操作的顺序可以改变为另一种。任何实施例的一些组件或特征也可以包括在其他实施例中，或者根据需要可以由其他实施例取代。

根据本发明的解码/编码方法可以实施为将在计算机上执行的程序，并且可以存储在计算机可读记录介质中，并且具有根据本发明的数据结构的多媒体数据可以存储在计算机可读介质中。计算机可读记录介质可以是其中能够以计算机可读方式存储数据的任何类型的记录设备。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁盘、软磁盘、光学数据存储器和载波（例如，在互联网上的数据传输）。通过上述编码方法生成的比特流可以存储在计算机可读记录介质中或者可以在有线/无线通信网络上发送。

通过例如硬件、固件、软件或其组合，能够实现本发明的实施例。在通过硬件实现本发明的情形下，利用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑设备（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器等能够实现本发明。

如果通过软件实现本发明的操作或功能，则通过单独的软件模块能够实施本说明书中所描述的程序和功能的实施例。每个软件模块可以执行在本说明中描述的一个或多个功能和操作。通过以适当的编程语言编写的软件应用可以实现软件代码。软件代码可以存储在存储器中并且由控制器执行。

虽然为了图示目的，已经公开本发明的优选实施例，但是本领域的技术人员应理解，在不脱离如随附权利要求中所公开的本发明的范围和精神的情形下，可以对本发明进行各种修改、添加和替换。

工业可应用性

本发明可应用于视频信号的编码或解码。

Claims (4)

1.一种处理视频信号的方法，所述方法包括：

获取指示当前块是否被分割的分割信息；

如果所述分割信息指示所述当前块被分割，则将所述当前块分割成正方形的子块；

利用在当前图片中的恢复像素，来获取所述子块的预测值；以及

利用所述预测值，来恢复所述当前块；

其中，在所述当前图片中的所述恢复像素包括在所述当前块中包括的其他子块的恢复像素，以及

其中，所述当前图片包括所述当前块。

2.根据权利要求1所述的方法，进一步包括：

获取指示所述当前块的子块是否被合并的合并标志信息，

其中，如果所述合并标志信息指示所述当前块的子块被合并，则相对于基于所述合并标志而合并的块来获取所述子块的预测值。

3.根据权利要求2所述的方法，其中，垂直地或水平地相邻的子块被合并。

4.根据权利要求1所述的方法，进一步包括：

利用所述当前块的上相邻块或左相邻块的预测模式，来预测所述当前块的预测模式，

其中，获取所述预测值利用位于由所述预测模式指示的方向上的参考像素，以及

在所述预测模式的预测中，考虑所述子块的分割形式。

Images