CN102685505A - 帧内预测的方法和预测装置 - Google Patents

Abstract

本发明的实施例提供了帧内预测的方法和预测装置。该方法包括：基于当前块的参考像素值，确定当前块的对角线上像素的预测值；基于对角线上像素的预测值和参考像素值，确定当前块中各像素的预测值。根据本发明实施例，通过借助于对对角线上像素值的预测来预测块内的其他像素值，可以降低计算的复杂度。

Description

帧内预测的方法和预测装置

技术领域

本发明涉及图像处理领域，更具体地，涉及帧内预测的方法和预测装置。

背景技术

随着人们对高清视频的传送和存储的需求所呈现的爆炸式增长，而因特网、通信网、广播网等信息网络基础设施的发展相对滞后，网络带宽成为一个瓶颈。因此，急切需要提高视频编码的压缩效率。

视频编码压缩的基本原理是利用空域、时域和码字之间的相关性来尽可能地去除冗余。目前流行的做法是采用基于块的混合视频编码框架，通过预测、变换、量化、熵编码等步骤来实现视频编码压缩。在这个混合视频编码框架中，采用帧内预测编码技术去除空域冗余，采用帧间预测编码技术去除时域冗余，采用高效的熵编码技术去除码字间的冗余。

在帧内预测中，利用相邻块的相关性去除时域冗余。可以采用方向性和非方向性的帧内预测技术来提高预测的精度。其中，方向性帧内预测适合编码有方向纹理特征的区域，而非方向性帧内预测适合编码平滑纹理区域，两者互为补充。

例如，在H.264协议中执行帧内编码时，对亮度分量的帧内预测有9种模式，其中有8种是方向性帧内预测模式，而只有一种是非方向性帧内预测模式，即DC模式(Direct Current mode；直流模式)。在DC模式预测方式中，DC模式的预测值是当前块周围参考像素的平均值。

虽然DC模式预测方式计算简单，但是不能适应平滑纹理区域的多样性，不能有效编码不同类型的平滑纹理区域，在某些情况下偏差较大，影响像素点的预测精度。

目前，还有一种非方向性帧内预测技术，即平面模式(Planar mode)预测。在平面模式预测方式中，首先利用当前块左边和上边的参考像素对当前块右下角的像素进行预测，然后通过插值来预测当前块的右边和底边上的像素的像素值，最后通过利用当前块四周的像素来对内部像素进行双向线性插值，从而得到当前块所有像素点的预测值。

可以看到，平面模式预测方式对内部像素点的预测是利用双向线性插值计算的，计算复杂度高，需要用到4个乘法和3个加法，计算复杂度较高。

发明内容

本发明实施例提供了帧内预测的方法和预测装置，能够降低计算的复杂度。

根据本发明的一个实施例，提供了一种帧内预测的方法，包括：基于当前块的参考像素值，确定当前块的对角线上像素的预测值；基于对角线上像素的预测值和当前块的参考像素值，确定当前块中其余像素的预测值。

根据本发明的另一实施例，提供了一种用于帧内预测的预测装置，包括：第一确定模块，用于基于当前块的参考像素值，确定当前块的对角线上像素的预测值；第二确定模块，用于基于对角线上像素的预测值和当前块的参考像素值，确定当前块中其余像素的预测值。

根据本发明实施例，通过首先预测对角线像素的像素值，再借助于该对角线像素和参考像素的像素值来预测当前块内其他像素，无需进行双向线性插值，从而可以降低计算的复杂度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的帧内预测的方法的流程图。

图2示出了根据本发明实施例的利用帧内预测的方法来预测像素值的示意图。

图3示出了根据本发明实施例的帧内预测的方法的另一例子的流程图。

图4示出了根据本发明实施例的用于帧内预测的预测装置的结构框图。

图5示出了根据本发明实施例的用于帧内预测的预测装置的另一例子的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的所述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

首先，结合图1描述根据本发明实施例的帧内预测的方法100。

如图1所示，方法100包括：在S110中，基于当前块的参考像素值，确定当前块的对角线上像素的预测值；在S120中，基于对角线上像素的预测值和当前块的参考像素值，确定当前块中其余像素的预测值。

图像帧可以被划分为多个块，每个块可以以它周围的像素作为参考像素，这些参考像素的值可以是重构或解码后得到的已知像素值，也可以是通过预测其他块中的像素而得到的预测值。可以通过块的参考像素来确定该块对角线上的像素值，然后再结合对角线上的像素值来预测与对角线上的该像素在同一行或同一列上的其他像素，以此完成该块的预测，从而完成该图像帧的帧内预测。

根据本发明实施例提供的帧内预测的方法，通过首先预测对角线像素的像素值，再借助于该对角线像素和参考像素的像素值来预测当前块内其他像素，无需进行双向线性插值，从而可以降低计算的复杂度。

下面，结合图2具体描述根据本发明实施例的方法100的一个例子。

在图2中。示出了利用帧内预测的方法100来预测帧内某个块的像素值的示意图。

图2仅仅示出了图像帧的一个块和该块的参考像素，其他块的预测方式与该块相似。图2中的每个方框代表一个像素。为了描述的简便，在块的内部只示出了对角线上的像素而省略其他像素。本领域技术人员容易想到，图2的例子只是示意性的，像素的个数、块的大小以及参考像素所在位置对本发明实施例的保护范围没有限制。

根据本发明的实施例，在S110中，基于当前块的参考像素值，确定当前块的对角线上像素的预测值。

在图2中，图像帧的当前块是由A、B、C、D四个点限定的区域，在AB边和BC边外部用阴影表示的方框代表参考像素。可以利用当前块上边的参考像素和左边的参考像素来确定当前块的对角线上像素的预测值。但是应注意，采用上边和左边的参考像素只是一个具体例子，不对本发明的范围构成限制。本发明实施例也有可能采用其他边上的参考像素。

根据本发明的一个实施例，可以通过对参考像素值进行线性平均或加权平均计算，确定当前块的对角线上像素的预测值。

例如，在图2中，对角线上某一像素P的预测值可以取该像素P对应的上边参考像素P_ra的像素值和左边参考像素值P_rl的像素值的线性平均值，即P＝(P_ra+P_rl)/2。根据需要，像素P的预测值也可以是P_ra和P_rl的加权平均值，即P＝(a×P_ra+b×P_ru)/(a+b)，其中a和b是加权系数，可以根据不同的情形进行设定。例如，当图像在水平方向变化平缓时，可以为P_ra设置较大的加权系数，即b＞a；同理，当图像在垂直方向变化平缓时，可以为P_rl设置较大的加权系数，即a＞b。

根据本发明的另一实施例，像素P的预测值也可以是该像素对应的多个上边参考像素和多个左边参考像素的线性平均值或加权平均值。此时的多个上边参考像素不仅可以包括与对角线上像素直接相对的特定像素P_ra，还可以包括该特定像素P_ra左右的像素，例如P_ra左边一个像素或右边一个像素。其他参考像素也是如此。

另外应注意，本发明实施例可以针对对角线上的各个像素P分别执行方法100的S110和S120，而无需在S110中确定所有对角线像素P的预测值之后再执行S120。这样，方法100的S110和S120可以同步执行，加快预测速度。例如，在确定对角线上像素的预测值时，可以一次只确定对角线上一个或多个像素的预测值，分为多次来完成对角线上所有像素的预测。每次确定对角线上部分像素的预测值之后，便执行与该部分像素相应的S120，确定利用该部分像素可确定的其他区域的像素。也可以完全将对角线上的像素预测出来之后，再执行S120。上述实施例均落入本发明的保护范围内。

另外，虽然在上面以参考像素在当前块的上边和左边为例进行描述，但是本发明实施例不限于此。参考像素的位置可根据具体需要而变化。例如，还可以使用当前块的上边和右边、下边和左边、或者下边和右边的参考像素，只要可以预测出对角线上的像素即可。

在S120中，基于对角线上像素的预测值和参考像素值，确定当前块中各像素的预测值。

根据本发明的一个实施例，可以通过对对角线上像素的预测值和参考像素值进行线性插值，确定当前块中各像素的预测值。

例如，在图2中，可以通过对角线上像素的预测值和对应的上边参考像素的像素值来预测当前块的上三角形(由对角线和上边所包围的三角形)中的像素的像素值。对于上三角形中的像素P1，它的预测值可以通过同一列的对角线上像素P的预测值和上边参考像素P_ra的像素值来确定。例如可采用线性插值，P1＝(d₁×P_ra+d₂×P)/(d₁+d₂)，其中d₁是像素P1与同一列的对角线上的相应像素P之间的距离，d₂是像素P1与同一列的上边参考像素P_ra之间的距离。基于距离关系进行插值，可以适应块内图像的缓慢变化，使得在平滑变化的情况下预测精度更高。

同理，对于下三角形中的像素P2，它的预测值可以通过与其在同一行的对角线上像素P的预测值和左边参考像素P的像素值_rl来确定。例如可采用线性插值，P2＝(d₃×P_rl+d₄×P)/(d₃+d₄)，其中d₃是像素P2与同一行的对角线上的相应像素P之间的距离，d₄是P2与同一行的左边参考像素P_rl之间的距离。基于距离关系进行插值，可以适应块内图像的缓慢变化，使得在平滑变化的情况下预测精度更高。

因此，本发明实施例的预测方法不涉及双向线性插值，能降低计算复杂度。

根据本发明的另一实施例，为了确定上或下三角形中的像素的预测值，不仅可以用同一列或同一行中的对角线上像素和参考像素，还可以利用相邻列或相邻行中的对角线上像素和参考像素。这样，在预测块内非对角线位置的像素时，可以利用更多的像素，具有更好的平滑效果，从而可以进一步提高预测精度。

根据本发明实施例提供的帧内预测的方法，通过预测对角线上的像素值，再借助于对角线和参考像素来预测当前块内其他像素，无需进行双向线性插值，从而可以降低计算的复杂度。

图3示出了根据本发明另一实施例的帧内预测的方法300的流程图。

相比于图1的方法100，图3中的S310和S320与图1的S110和S120基本相同，因此不再赘述。

与方法100不同的是，方法300在S310之前还包括S305，对参考像素值进行低通滤波处理。

例如，可以利用系数为[1，2，1]的低通滤波器对参考像素值进行滤波。假设当前参考像素为上边的像素P_r，其前一参考像素(P_r左边的像素)为P_L，其后一参考像素(P_r右边的像素)为P_R。那么，可以将这三个参考像素通过该低通滤波器，以得到当前参考像素滤波处理之后的像素值P_r’，即P_r’＝(P_L+2P_r+P_R)/4。当然，这里给出的低通滤波器的形式只是一个非限制性的例子，本发明实施例可以根据需要采用其他低通滤波的方式。

在S305中对参考像素进行低通滤波之后，在S310中则基于低通滤波处理后的参考像素值，确定当前块的对角线上像素的预测值。

通过低通滤波处理，可以平滑参考像素的像素值，减小像素值突变带来的影响，可以基于低通滤波处理后的参考像素更准确地预测对角线上的像素以及其余像素。

本发明实施例提供的帧内预测的方法可以用于在帧内进行非方向性预测，相比于现有的其他非方向性帧内预测，可以提高预测精度并降低计算复杂度。利用该方法来预测像素的像素值时，不仅可以预测像素的亮度分量，也可以预测像素的色度分量，还可以预测像素具有缓慢改变的其他分量。

上面描述了根据本发明实施例的帧内预测的方法，下面结合图4和图5描述根据本发明实施例的用于帧内预测的预测装置的结构框图。

图4示出了根据本发明实施例的用于帧内预测的预测装置400的结构框图。

预测装置400包括第一确定模块410和第二确定模块420。第一确定模块410可基于当前块的参考像素值，确定当前块的对角线上像素的预测值。第二确定模块420可基于对角线上像素的预测值和当前块的参考像素值，确定当前块中其余像素的预测值。

预测装置400的第一确定模块410和第二确定模块420的上述和其他操作和/或功能可以参考上述图1的方法100的S110和S120，为了避免重复，在此不再赘述。

本发明实施例提供的预测装置通过预测对角线上的像素值，再借助于对角线和参考像素来预测当前块内其他像素，无需进行双向线性插值，从而可以降低计算的复杂度。

图5示出了根据本发明实施例的用于帧内预测的预测装置500的结构框图。预测装置500中的第一确定模块510和第二确定模块520与图4的预测装置400中的第一确定模块410和第二确定模块420基本相同。

根据本发明的一个实施例，第一确定模块510可基于当前块上边和左边的参考像素值，确定当前块的对角线上像素的预测值。

根据本发明的一个实施例，预测装置500还可以包括处理模块530。处理模块530可用于对参考像素值进行低通滤波处理。此时，第一确定模块510可用于基于低通滤波处理后的参考像素值，确定当前块的对角线上像素的预测值。

根据本发明的一个实施例，第一确定模块510可用于通过对参考像素值进行线性平均或加权平均计算，确定当前块的对角线上像素的预测值。

根据本发明的一个实施例，第二确定模块520可用于通过对对角线上像素的预测值和参考像素值进行线性插值，确定当前块中各像素的预测值。

预测装置500的第一确定模块510、第二确定模块520和处理模块530的上述和其他操作和/或功能可以参考上述图1的方法100的S110和S120以及图3的方法300的S305，为了避免重复，在此不再赘述。

通过处理模块进行的低通滤波处理，可以平滑参考像素的像素值，减小像素值突变带来的影响，使得第一确定模块可以更准确地基于低通滤波处理后的参考像素来预测对角线上的像素。第一确定模块和第二确定模块通过借助于线性平均或加权平均以及单向线性插值来预测像素值，相比于现有技术利用的双向线性插值，可以降低计算的复杂度。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种帧内预测的方法，其特征在于，包括：

基于当前块的参考像素值，确定所述当前块的对角线上像素的预测值；

基于所述对角线上像素的预测值和所述当前块的参考像素值，确定所述当前块中其余像素的预测值。

2.根据权利要求1所述的方法，其特征在于，所述基于当前块的参考像素值、确定所述当前块的对角线上像素的预测值包括：

基于所述当前块上边和左边的参考像素值，确定所述当前块的对角线上像素的预测值。

3.根据权利要求1所述的方法，其特征在于，在所述确定所述当前块的对角线上像素的预测值之前，还包括：

对所述参考像素值进行低通滤波处理。

4.根据权利要求1所述的方法，其特征在于，所述确定所述当前块的对角线上像素的预测值包括：

通过对所述参考像素值进行线性平均或加权平均计算，确定所述当前块的对角线上像素的预测值。

5.根据权利要求1所述的方法，其特征在于，所述确定所述当前块中其余像素的预测值包括：

通过对所述对角线上像素的预测值和所述参考像素值进行线性插值，确定所述当前块中其余像素的预测值。

6.一种用于帧内预测的预测装置，其特征在于，包括：

第一确定模块，用于基于当前块的参考像素值，确定所述当前块的对角线上像素的预测值；

第二确定模块，用于基于所述对角线上像素的预测值和所述当前块的参考像素值，确定所述当前块中其余像素的预测值。

7.根据权利要求6所述的预测装置，其特征在于，所述第一确定模块用于基于所述当前块上边和左边的参考像素值，确定所述当前块的对角线上像素的预测值。

8.根据权利要求6所述的预测装置，其特征在于，还包括：

处理模块，用于对所述参考像素值进行低通滤波处理，

其中，所述第一确定模块用于基于低通滤波处理后的所述参考像素值，确定所述当前块的对角线上像素的预测值。

9.根据权利要求6所述的预测装置，其特征在于，所述第一确定模块用于通过对所述参考像素值进行线性平均或加权平均计算，确定所述当前块的对角线上像素的预测值。

10.根据权利要求6所述的预测装置，其特征在于，所述第二确定模块用于通过对所述对角线上像素的预测值和所述参考像素值进行线性插值，确定所述当前块中其余像素的预测值。

Images