CN102055972B - 视频图像编码处理、解码处理方法和装置及编解码系统 - Google Patents

Abstract

本发明提供一种视频图像编码处理、解码处理方法和装置及编解码系统。编码处理方法包括：对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。本发明实施例可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。

Description

视频图像编码处理、解码处理方法和装置及编解码系统

技术领域

本发明涉及视频图像处理技术领域，特别是涉及一种视频图像编码处理、解码处理方法和装置及编解码系统。

背景技术

未来人们对高清视频图像的传送和存储的需求呈现爆炸式增长，然而因特网、通信网、广播网等信息网络基础设施的发展却相对滞后，网络带宽仍然成为一个瓶颈。基于这一事实，下一代视频编码标准将重点面向高清、超高清视频，大幅度提高视频图像编码压缩效率，以缓解高清视频图像传输的带宽需求增长与信息网络基础设施的发展之间的矛盾。如何提高视频图像编码压缩效率，是新一代视频编码标准急需解决的核心问题。

基于块(Block)的混合视频编码框架是通用的视频压缩编码处理方案之一，主要包括帧内编码(Intra coding)技术和帧间编码(Inter coding)技术。帧内编码技术利用空域相关性，如使用帧内预测(Intra prediction)技术去除空域冗余信息，帧内编码由当前帧自身信息即可完成，不需要参考其他帧的信息，即不需要参考帧。帧间编码技术利用时域相关性，如利用运动补偿预测技术去除时域冗余信息，该技术需要根据参考帧的信息进行预测编码。采用上述编码技术可达到较高的视频图像编码的压缩效率。

为了获得较高的视频编码压缩效率，一种现有技术是利用已编码的相邻块之间的相关性进行预测编码，将对图像分量的预测模式及其相应的预测残差信息写入码流，以便解码端根据该预设模式及其相应的预测残差信息进行解码。另一种现有技术是：利用相邻像素之间的相关性进行帧内预测编码，如：对尺寸为8×8(单位为像素)的块进行下采样分解，得到4个尺寸为4×4的块，对其中一个尺寸为4×4的块进行帧内编码得到该块的重构图像，以该块的重构图像为参考，对其他尺寸为4×4的块进行预测编码。

发明人在实现本发明实施例过程中发现，现有技术并没有充分利用像素间的相关性，视频编码压缩效率比较低。

发明内容

本发明提供一种视频图像编码处理、解码处理方法和装置及编解码系统，以提高视频图像编码的压缩效率。

本发明提供了一种视频图像编码处理方法，包括：

对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块；

对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；

以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；

以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。

本发明还提供了一种视频图像解码处理方法，包括：

获取视频图像帧的宏块的编码比特信息，所述宏块至少包括：第1块，第2块和第3块；

对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值；

以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；

以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；

将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。

本发明还提供了一种视频图像编码处理装置，包括：

下采样分解模块，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块；

帧内预测编码模块，用于对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；

第一像素间预测编码模块，用于以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；

第二像素间预测编码模块，用于以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。

本发明还提供了一种视频图像解码处理装置，包括：

比特信息获取模块，用于获取视频图像帧的宏块的编码比特信息，所述宏块至少包括：第1块，第2块和第3块；

帧内预测解码模块，用于对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值；

第一像素间预测解码模块，用于以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；

第二像素间预测解码模块，用于以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；

解码图像生成模块，用于将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。

本发明还提供了一种视频图像编解码系统，包括：

视频图像编码处理装置，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理；

视频图像解码处理装置，用于获取所述宏块的编码比特信息，所述宏块至少包括：所述第1块，所述第2块和所述第3块；对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值；以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。

本发明实施例对宏块进行下采样分解得到多个块，对多个块进行预测编码或解码过程中将帧内预测技术与像素间预测技术相结合，形成了至少二级的级联式预测参考关系，因此可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的视频图像编码处理方法流程图；

图2为本发明第二实施例提供的视频图像解码处理方法流程图；

图3a为本发明第三实施例提供的视频图像编码处理方法流程图；

图3b为本发明第三实施例提供的视频图像编码处理方法逻辑实现框图；

图3c为本发明第三实施例提供的宏块下采样分解示意图；

图3d为本发明第三实施例提供的像素间预测编码插值处理分解示意图；

图4为本发明第四实施例提供的视频图像解码处理方法流程图；

图5a为本发明第五实施例提供的视频图像编码处理方法流程图；

图5b为本发明第五实施例提供的宏块分解示意图；

图6为本发明第六实施例提供的视频图像解码处理方法流程图；

图7a为本发明第七实施例提供的视频图像编码处理方法流程图；

图7b为本发明第七实施例提供的宏块下采样分解示意图；

图8为本发明第八实施例提供的视频图像解码处理方法流程图；

图9为本发明第九实施例提供的视频图像编码处理装置结构示意图；

图10为本发明第十实施例提供的视频图像解码处理装置结构示意图；

图11为本发明第十一实施例提供的视频图像编解码系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明第一实施例提供的视频图像编码处理方法流程图。如图1所示，本实施例视频图像编码处理方法包括：

步骤11、对视频图像帧的宏块进行下采样分解得到多个块，上述多个块至少包括：第1块、第2块和第3块。

在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

可根据视频图像帧的实际编码需求确定下采样系数，根据下采样系数对宏块进行下采样分解得到多个块，假设下采样系数为则对宏块下采样分解后可得到M²个块。在M²个块进行分组，例如可根据下采样过程中抽取的、组成各块像素之间的位置关系将M²个块分为N组，每组由一个或多个块组成，N为大于或等于3的整数。第一组包括至少一个第1块，第二组包括至少一个第2块，第三组包括至少一个第3块......以此类推，直至完成M²个块的分组处理。可选的，在对M²个块进行分组过程中，可根据抽取像素的位置关系是否相邻的原则进行分组，如将与同一像素相邻的像素组成的不同块划分为同一组等。

步骤12、对第1块进行帧内预测编码处理，得到第1块的重构图像值。

本步骤可利用帧内已编码的其他宏块的像素值对第1块进行帧内预测编码处理，得到第1块的重构图像值。重构图像值由第1块的预测值及其编码处理后的预测残差组成。

步骤13、以第1块的重构图像值为参考，对第2块进行预测编码处理，得到第2块的重构图像值。

可选的，在对第2块进行预测编码处理过程中，可包括对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预测值及其预测残差构造第2块的重构图像值。

步骤14、以第2块的重构图像值为参考，对第3块进行预测编码处理。

可选的，在对第2块进行预测编码处理过程中，可包括对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预测值及其预测残差构造第3块的重构图像值。

本实施例中第1块、第2块和第3块由对宏块的所有像素以预设的抽取规则抽取的像素分别组成，如在水平和垂直方向或其他方向上每隔1个或多个像素抽取的像素分别组成，因此各块的像素在空间位置上相互交织。上述步骤13和步骤14中，由于编码的块(第2/3块)与其参考的块(第1块)的像素在空间位置上是互相交织在一起的，因此他们之间的预测可以充分利用像素之间的相关性，从而提高预测精度。可见，这是一种像素间预测方法，不同于步骤12的帧内预测方法(其实际上是一种块间的预测方法)。采用像素间预测编码方式对除了第1块之外的其他块进行预测编码，第2块是以第1块的重构图像值为参考进行预测编码，第3块是以第2块的重构图像值为参考进行预测编码，可选的，宏块下采样分解得到的多组块之间，也可建立相似的预测参考关系，这样，在对下采样分解得到的多个块进行预测编码过程中，形成了至少二级的级联式预测参考关系。

在上述技术方案的基础上，进一步的，可将对宏块中各块的预测残差进行编码处理得到的各块的编码比特信息写入码流。需要说明的是，这里以对各个块的预测残差信息写入码流的情况为例进行说明。实际上，也可以允许对各个块的预测残差信息不写入码流的情况，或者，第1块的预测残差信息写入码流而第2块和第3块的预测残差信息不写入码流的情况，或者其他组合。

本实施例以按照第1块、第2块、第3块的顺序进行编码为例。进一步的，基于相同的原理，还可以按照第3块、第2块、第1块的顺序或者第1块、第3块、第2块的顺序进行编码。编码过程不再赘述。

本实施例视频图像编码处理方法对宏块进行下采样分解得到多个块，多个块之间形成级联的参考关系，因此可充分利用像素间的相关性，提高预测精度，同时，本实施例作为一种宏块层(MB level)的编码技术，可以在宏块层上更好的适应图像内不同区域的纹理特性，从而提高编码压缩效率。

本实施例中宏块的尺寸可以为16×16、32×32、64×64或128×128，或其他尺寸等。除非特别说明，后续实施例提到的宏块均指此含义。

图2为本发明第二实施例提供的视频图像解码处理方法流程图。本实施例为与图1所示的编码处理方法对应的解码端处理流程。如图2所示，本实施例视频图像解码处理方法包括：

步骤21、获取视频图像帧的宏块的编码比特信息，该宏块至少包括：第1块，第2块和第3块。

在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

宏块下采样分解方式如图1对应实施例步骤11所示，在此不再赘述。编码端在向解码端发送的码流中携带有宏块的各块的编码比特信息，解码端对各块的比特信息进行解码，可得各块的残差解码系数。

步骤22、对第1块的编码比特信息进行帧内预测解码处理，得到第1块的解码图像值。

可利用帧内已解码的其他宏块的像素值对组成第1块的编码比特信息进行帧内预测解码处理，得到第1块的预测值及其残差，将第1块的预测值与及其残差相加，得到第1块的解码图像值。这是传统的帧内预测解码方法。

步骤23、以第1块的解码图像值为参考，对第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值。

可选的，在对第2块的编码比特信息进行预测解码处理过程中，可包括对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预测值及其残差解码系数构造第2块的解码图像值。

步骤24、以第2块的解码图像值为参考，对第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值。

可选的，在对第3块的编码比特信息进行预测解码处理过程中，可包括对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预测值及其残差解码系数构造第3块的解码图像值。

上述步骤23和步骤24中，由于解码的块(第2/3块)与其参考的块(第1块)的像素在空间位置上是互相交织在一起的，他们之间的预测，可以充分利用每一像素之间的相关性，从而提高预测精度。可见，这是一种像素间预测方法，不同于步骤22的帧内预测方法(其实际上是一种块间的预测方法)。采用像素间预测解码方式对除了第1块之外的其他块进行预测解码，第2块是以第1块的解码图像值为参考进行预测解码，第3块是以第2块的解码图像值为参考进行预测解码，可选的，宏块包括的多组块之间，也可建立相似的解码预测关系，这样，在对下采样分解得到的多个块进行预测解码过程中，形成了至少二级的级联式预测参考关系。

步骤25、将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。

解码端进行的上采样合成处理过程是编码端进行下采样分解的逆过程，即本步骤是本发明第一实施例编码过程中的步骤11的逆过程。

需要说明的是，本实施例涉及的各个块的解码过程，均以各个块存在预测残差系数的情况为例进行说明。实际上，还可以允许各个块不存在预测残差系数的情况，或者，第1块存在预测残差系数而第2块和第3块不存在预测残差系数的情况，或者其他组合。

本实施例以按照第1块、第2块、第3块的顺序进行解码为例。进一步的，基于相同的原理，还可以按照第3块、第2块、第1块的顺序或者第1块、第3块、第2块的顺序进行解码。

本实施例视频图像解码处理方法对宏块进行下采样分解得到多个块进行预测解码过程中，将帧内预测解码技术与像素间预测解码技术相结合，像素间预测解码过程中形成了至少二级的级联式预测参考关系，因此可以实现充分利用像素相关性进行编码压缩后的视频图像的解码。

图3a为本发明第三实施例提供的视频图像编码处理方法流程图；图3b为本发明第三实施例提供的视频图像编码处理方法逻辑实现框图。本实施例基于块的混合视频编码框架中，对16×16大小的宏块进行下采样分解为例进行说明。如图3a所示，本实施例视频图像编码处理方法包括：

步骤31、输入待编码的视频图像帧。

步骤32、以

为下采样系数，对视频图像帧中16×16大小的宏块进行下采样分解，得到4个8×8大小的块。

图3c为本发明第三实施例提供的宏块下采样分解示意图。如图3c所示，以为下采样系数，对视频图像帧中16×16大小的宏块进行下采样分解即为：在水平和垂直方向上每隔1个像素抽取，抽取的像素组成新的块，共可形成4个8×8大小的块。图3c中以不同的填充方式区分组成不同块的像素。为便于描述本实施例的技术方案，不妨将从左到右、从上到下抽取像素的位置关系组成的块，分别标记为：块0、1、2和3。

根据宏块下采样分解过程中抽取像素的位置关系，将块分为多组，例如：块3为一组，块1和2为一组，块0为一组。

在对各块的下述编码处理过程中，块3的预测编码类型为帧内预测编码，其他块(如块0、1和2)的预测编码类型为像素间预测编码。图中采用“I”和“P”分别表示相应块的预测编码类型为：帧内预测编码或像素间预测类型。因此本实施例中，块3即为本发明实施例所述的“第1块”，块1和2即为本发明实施例所述的“第2块”，块0即为本发明实施例所述的“第3块”。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

在下采样分解过程中可能会导致混叠(aliasing)效应。为了进一步提升编码性能，可选的，本实施例可在下采样分解过程中进行对宏块的部分或全部像素进行抗混叠滤波处理：

举例说明一：可对宏块的全部像素进行抗混叠滤波处理，如采用低通滤波器进行抗混叠滤波处理以滤除高频成分，从而降低下采样分解过程中的混叠效应对编码造成的影响。

举例说明二：可对块0、1和2进行下采样分解过程中不采用抗混叠滤波处理，而在对块3进行下采样分解过程中进行抗混叠滤波处理，如采用低通滤波器作为下采样滤波器进行抗混叠滤波处理以滤除块3中的高频成分。由于块3对其他块(块0、1和2)的编码质量的影响较大，因此仅对块3进行抗混叠滤波处理，在实现降低下采样分解过程中的混叠效应对编码造成的影响的技术效果的基础上，还有利于降低实现的复杂度。

步骤33、对块3进行帧内预测编码处理，得到块3的重构图像值及其预测残差。

本步骤可利用帧内已编码的其他宏块的像素值，对块3进行帧内预测编码得到预测值，将该预测值与宏块原始像素进行比较得到块3的预测残差，根据块3的预测值及其编码处理后的预测残差构造块3的重构图像值。

步骤34、以块3的重构图像值为参考，分别对块1和块2进行预测编码处理，分别得到块1和块2的重构图像值及其预测残差。

步骤35、以块1和/或块2的重构图像值为参考，对块0进行预测编码处理，得到块0的重构图像值及其预测残差。

可选的，上述步骤34和步骤35对块0、1和2进行预测编码处理过程中，为了提高预测编码的准确性，可对被参考的块的重构图像值进行插值处理，插值后对应位置的像素值为预测值。

可采用多抽头插值滤波器对被参考的重构图像值进行插值处理。图3d为本发明第三实施例提供的像素间预测编码插值处理分解示意图。如图3d所示，可采用4-tap(4抽头)插值滤波器，对被参考的重构图像值进行插值处理，其中：

对块1和块2的插值处理过程例如：采用4-tap插值滤波器对块3的重构图像值进行水平方向或垂直方向

精度插值，以块3的重构图像值垂直方向的插值位置对应的像素值为块1像素的预测值，以块3的重构图像值水平方向的插值位置对应的像素值为块2像素的预测值。

对块0的插值处理过程例如：求取组成块0的像素周围的多个像素的像素值的平均值，为块0的像素的预测值。具体的，可对块0的像素周围的多个像素的像素值求取平均值，图3d仅示意出了这4个像素分别来自块1和块2的情形。可以理解，如果块0是以块1的重构图像值为参考，这4个像素可来自块1或者来自块1和3，如果块0是以块2的重构图像值为参考；这4个像素可来自块2或者来自块2和3；对求取平均值的像素的个数也不限于4个，例如，还可对块0的像素周围的8个像素的像素值求取平均值，这8个像素可来自块1、2和3等。

可选的，可根据上述步骤33-步骤35得到的各块的重构图像值，构造宏块的重构图像值，并存储该宏块的重构图像值。

步骤36、将对宏块中各块的预测残差进行编码处理得到的各块的编码比特信息写入码流。

需要说明的是，本实施例以对各个块的预测残差信息写入码流的情况为例进行说明。实际上，也可以允许对各个块的预测残差信息不写入码流的情况，或者，第1块的预测残差信息写入码流而第2块和第3块的预测残差信息不写入码流的情况，或者其他组合。

在基于块的混合视频编码框架中，对任一块的预测编码处理包括：预测、变换、量化和熵编码等处理过程，以实现视频图像的编码压缩。图3b为本发明第三实施例提供的视频图像编码处理方法逻辑实现框图。下面结合图3b，说明当本实施例在基于块的混合视频编码框架的应用场景中，对宏块包括的各块的处理过程，具体可包括：

(1)对块3进行帧内预测得到预测值及其预测残差，对块3的预测残差依次进行变换处理、量化处理和熵编码处理，根据块3的预测残差及其预测值构造块3的重构图像值。

(2)以块3的重构图像值为参考，分别对块1和2进行预测得到预测值及其预测残差，对块1和2的预测残差依次进行变换处理、量化处理和熵编码处理，分别根据块1和2各自的预测残差及其预测值，构造块1和2的重构图像值。

(3)以块1和/或2块的重构图像值为参考，对块0进行预测得到预测值及其预测残差，对块0的预测残差依次进行变换处理、量化处理和熵编码处理，根据块0的预测值及其预测残差构造块0的重构图像值。

可选的，如果宏块还包括有其他块，分别对其他各块进行预测，并对其他各块的预测残差依次进行变换处理、量化处理和熵编码处理。宏块包括的各块的预测残差经熵编码处理后的结果写入码流，对各块的重构图像值进合成处理，可得到宏块的重构图像值。

上述对块由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测两种不同预测编码类型的块，因此可在对块进行量化处理过程中进行优化设计，具体说明如下：

可在宏块内部建立块级别的量化映射机制，即：根据宏块内部不同块的重要性不同划分为多组，给各组块分配不同的量化参数(QuantizationParameter，简称QP)值。

由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的率失真(Rate-Distortion，简称RD)性能，各块之间的QP值分配原则是：

根据参考关系确定QP值。在上述编码过程中，有如下参考关系：块0参考块1和块2，块1和块2参考块3。被作为参考的块的QP值被赋予更小的QP值。

根据上述原则，如图3c所示的块之间的参考关系，可得块的QP值满足下式：

QP(块3)≤QP(块1/2)≤QP(块0)

在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP值：

QP(块1/2)＝QP(块0)＝QP(Slice)

QP(块3)＝QP(Slice)-6

其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可预先获取。

在确定各块的QP值之后，根据各块的QP值对各块的预测残差进行相应的量化处理。为了获得较佳的量化编码性能，可在量化处理过程中根据不同块的QP值不同的特点，对不同的块进行相应的量化优化处理如下：

举例说明1：在率失真优化(Rate-Distortion Optimization，简称RDO)实现过程中，需要考虑宏块内部不同块QP值不同的特点，对不同块计算率失真开销(rdcost)时，根据QP值确定与其对应的lambda系数，不同QP值对应的lambda系数不同。

举例说明2：在量化取整(rounding)过程中，考虑宏块内部各块的不同预测编码类型，对不同块使用不同的死区(deadzone)，以匹配帧内预测和像素间预测两种不同预测编码类型的块预测残差经变换处理后的系数具有不同的分布规律。在进行量化取整处理过程中，各块使用的死区的选择原则是：对帧内预测编码类型的块使用较小的死区，对像素间预测编码类型的块使用较大的死区，即对块3使用较小的死区，对块2、1和0使用较大的死区，例如对块3使用的死区为A，对块2、1或0使用的死区为B，则A小于B。

在编码端输出的码流中可携带其他编码比特信息，如对视频编码标准中语法元素“编码块模版”(Coded Block Pattern，简称CBP)的熵编码信息。由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测两种不同预测编码类型的块，不同预测编码类型的块的预测残差经量化处理后的系数具有不同的分布规律，考虑到这一点，可对语法元素CBP的熵编码方式进行相应的优化设计，具体的，CBP用于表示每个比特(Bit)对应的块是否存在非零系数。如对于亮度(Luma)分量，CBP中有4个比特分别指示宏块中的4个8×8大小的块是否存在非零系数。在进行熵编码处理过程中，根据各块的预测残差经量化处理后的系数的分布规律对各块进行相应的熵编码处理，以获得较佳的性能，这些熵编码处理的结果可写入码流。

举例说明1：在自适应变长编码(Context-based Adaptive Variable LengthCoding，简称CAVLC)方式中，需要根据宏块内部不同块具有不同的预测编码类型，重新设计结合帧内预测和像素间预测两种不同预测编码类型的块特性的CBP的码表。帧内预测编码类型的块的CBP比特位出现“1”的概率较大，像素间预测编码类型的块的CBP比特位出现“0”的概率较大，假设：CBP中用于指示块中是否存在非零系数的4个比特位，依次用于指示块3、块2、块1和块0中是否存在非零系数，则宏块的CBP中4个比特位的值依次为“1000”时可看作大概率事件，对各块分配较短的码字；而宏块的CBP中4个比特位的值依次为“0111”时可看作小概率事件，对各块分配较长的码字。根据各块的CBP的码表对应的码字，对相应的块的预测残差进行熵编码处理。

举例说明2：在自适应二进制算术编码(Context-based Adaptive BinaryArithmetic Coding，简称CABAC)方式中，需要根据宏块内部不同块具有不同的预测编码类型，重新设计概率模型初始化以及模型更新方法。具体的，宏块内部的帧内和像素间两种不同预测编码类型的块，分别适用不同的初始化概率模型，且各块分别适用不同的更新方法。例如：帧内预测编码类型的块的CBP中上述比特位值为“1”表示大概率符号(More Probable Symbol，简称MPS)，像素间预测编码类型的块的CBP中上述比特位值为“1”表示小概率符号(Less Probable Symbol，简称LPS)，在进行始化概率模型的选择和模型更新时，可以不使用上下文信息，仅根据CBP的各个比特位的位置进行模型选择和更新。

本实施例视频图像编码处理方法中，块0以块1和/或块2为参考进行预测编码，而块1和块2均以块3为参考进行预测编码，相当于在各块之间形成了级联的预测参考关系；又由于本实施例是在宏块层(MB level)进行编码处理，因而可称为“MB-level级联预测编码”。与帧层(frame level)下采样分解编码方法(如Intra帧分割为两场进行场编码的方法)不同，本实施例作为一种宏块层的编码处理技术，可与其他现有宏块类型一起参与RDO决策编码，从而实现在宏块层上更好的适应图像内不同区域的纹理特性。

需要说明的是，虽然本实施例16×16大小的宏块的预测编码进行说明，但可以理解，可根据视频图像编码的实际需要，对其他尺寸的块，如32×32、64×64或128×128等大小的宏块进行预测编码，预测编码过程中下采样系数可根据实际需要，得到的多个块的分组可为四组或四组以上，从而形成三级联或三级联以上的预测参考关系，其实现机理与本实施例相似，在此不再赘述。

图4为本发明第四实施例提供的视频图像解码处理方法流程图。本实施例为与本发明第三实施例提供的编码处理方法对应的解码端处理流程。如图4所示，本实施例视频图像解码处理方法包括：

步骤41、获取视频图像帧的宏块包含的块0、1、2和3的编码比特信息的码流。

步骤42、分别对块0、1、2和3的编码比特信息进行解码处理，得到各块的残差解码系数。

在基于块的混合视频编码框架中，对任一块的编码比特信息的解码处理包括：熵解码、反量化、反变换和预测等处理过程，以实现编码压缩后的视频图像的解码。可选的，当本实施例在基于块的混合视频编码框架的应用场景中，步骤42可包括步骤421-步骤423。

步骤421、对各块的编码比特信息进行熵解码处理。

在熵解码处理过程中，可根据各块的残差解码系数不同的分布规律，对各块的编码比特信息进行相应的熵解码处理，采用帧内预测编码模式进行预测编码的块出现非零系数的概率，大于采用像素间预测编码模式进行预测编码的块出现非零系数的概率，如：块3出现非零系数的概率，大于块0、1和2出现非零系数的概率。

步骤422、对各块经熵解码处理后的系数进行反量化处理。

由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的RD性能，各块之间的QP值分配原则是：根据参考关系确定QP值。可预先确定后续解码过程存在的参考关系，例如存在如下参考关系：块0参考块1/2，块1/2参考子块3。则被作为参考的块的QP值被赋予更小的QP值。

根据上述原则，可得块的QP值满足下式：

QP(块3)≤QP(1/2)≤QP(块0)

在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP值：

QP(块1/2)＝QP(块0)＝QP(Slice)

QP(块3)＝QP(Slice)-6

其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可预先获取。

在确定各块的QP值之后，根据各块的QP值，对各块的编码比特信息经熵解码处理后的系数进行相应的反量化处理。

步骤423、对各块经反量化处理后的系数进行反变换处理，得到残差。

步骤43、对块3进行帧内预测解码处理，将预测值与块3的残差相加，得到块3的解码图像值。

步骤44、以块3的解码图像值为参考，分别对块1和块2进行预测解码处理，将块1和块2的预测值与其各自的残差相加，分别得到块1和块2的解码图像值。

步骤45、以块1和/或块2的解码图像值为参考，对块0进行预测解码处理，将块0的预测值与其残差相加，得到块0的解码图像值。

上述步骤43-步骤45相当于在各块预测解码过程中建立级联预测参考关系，其实现方式与编码端在各块预测编码过程中建立级联预测参考关系的方法相似，具体详见步骤32-步骤34的记载，步骤33和步骤34中关于对块0、1和2进行插值处理的方法，也适用于解码端步骤44和步骤45中，以提高预测的准确性，具体实现方式在此不再赘述。

步骤46、将各块的解码图像值进行上采样合成处理，得到宏块的解码图像值。

需要说明的是，本实施例涉及的各个块的解码过程，均以各个块存在预测残差系数的情况为例进行说明。实际上，还可以允许各个块不存在预测残差系数的情况，或者，第1块存在预测残差系数而第2块和第3块不存在预测残差系数的情况，或者其他组合。

本实施例视频图像解码处理方法中，块1和块2均以块3为参考进行预测解码，而块0以块1和/或块2为参考进行预测解码，相当于在各块之间形成了级联的预测参考关系，因此可以实现充分利用像素相关性进行编码压缩后的视频图像的解码。

图5a为本发明第五实施例提供的视频图像编码处理方法流程图。本实施例与本发明第三实施例的区别在于，本实施例将块3进一步划分为多个子块，本实施例可应用于纹理细节较为丰富的视频图像的编码处理。如图5a所示，本实施例视频图像编码处理方法包括：

步骤51、输入待编码的视频图像帧。

步骤52、对视频图像帧中16×16大小的宏块进行下采样分解，得到4个8×8大小的块，分别标记为：块0、1、2和3，将块3划分为4个4×4大小的子块，分别标记为：子块30、31、32和33。

本步骤将16×16大小的宏块进行下采样分解为4个8×8大小的块的实现方法，与步骤32相似，在此不再赘述。

图5b为本发明第五实施例提供的宏块分解示意图。如图5b所示，本实施例将块3划分为4个4×4大小的子块，即子块30、31、32和33。本实施例对块3的分解过程不涉及下采样。图中在各子块中用“I”表示其的预测编码类型均为：帧内预测编码。

步骤53、对子块30、31、32和33分别进行帧内预测编码处理，得到各子块的重构图像值，对各子块的重构图像值进行合成处理，得到块3的重构图像值。

本步骤可利用帧内已编码的其他宏块的像素值，对组成子块30进行帧内预测得到预测值，将该预测值与宏块原始像素进行比较得到子块30的预测残差，根据子块30的预测值及其编码处理后的预测残差构造子块30的重构图像值。采用类似的方法，分别得到子块31、32和33的预测值及其相应的预测残差，并分别构造得到子块31、32和33的重构图像值。对子块30、31、32和33的重构图像值进行合成处理，得到块3的重构图像值。

步骤54-步骤55、与步骤34-步骤35相同，在此不再赘述。

步骤56、将对宏块中各子块和各块的预测残差进行编码处理得到的各子块及各块的编码比特信息写入码流。

本步骤对子块30、31、32和33的预测残差的编码处理，与步骤36中对预测编码类型为帧内预测编码的块(如块3)的预测残差的编码处理的方法相同，对块0、1和2的预测残差与对预测编码类型为像素间预测编码的块(如块0、1和2)的预测残差的编码处理的方法相同，在此不再赘述。

本实施例视频图像编码处理方法在实现本发明第三实施例技术效果的基础上，通过对块3细划分为多个子块(即子块30、31、32和33)，对各子块进行帧内预测编码，将各子块重构图像值合成得到的块3的重构图像值作为块1和2的参考。本实施例与本发明第三实施例的区别在于，利用4个4×4的帧内预测编码替换了本发明第三实施例中的1个8×8帧内预测编码。4×4的帧内预测编码，更适合纹理细节较为丰富的视频图像的编码处理。

图6为本发明第六实施例提供的视频图像解码处理方法流程图。本实施例为与本发明第五实施例提供的编码处理方法对应的解码端处理流程。如图6所示，本实施例视频图像解码处理方法包括：

步骤61、获取的视频图像帧的宏块包含的子块30、31、32和33以及块0、1和2的编码比特信息的码流。

步骤62、分别对子块30、31、32和33以及块0、1和2的编码比特信息进行解码处理，得到各块的残差。

本步骤对子块30、31、32和33的编码比特信息的解码处理，与步骤42中对预测编码类型为帧内预测编码的块(如块3)的编码比特信息的解码处理的方法相同，对块0、1和2的编码比特信息与对预测编码类型为像素间预测编码的块(如块0、1和2)的比特信息的解码处理的方法相同，在此不再赘述。

步骤63、对子块30、31、32和33进行帧内预测解码处理，并将预测值与各子块相应的残差相加，得到各子块的解码图像值，对各子块的解码图像值进行合成处理，得到块3的解码图像值。

本步骤可利用帧内已解码的其他宏块的像素值，对组成子块30进行帧内预测得到预测值，根据子块30的预测值及其残差构造子块30的解码图像值。采用相似的方法，分别得到子块31、32和33的的解码图像值。对子块30、31、32和33的解码图像值进行合成处理，得到块3的解码图像值。

步骤64-步骤66、与步骤44-步骤46相同，在此不再赘述。

本实施例视频图像解码处理方法，在实现本发明第四实施例提供的视频图像解码方法达到技术效果的基础上，通过将采用帧内预测编码的块划分的多个子块，在纹理细节较为丰富的视频图像的编码处理的应用场景中，可以实现充分利用像素相关性进行编码压缩后的视频图像的解码。

图7a为本发明第七实施例提供的视频图像编码处理方法流程图。本实施例与本发明第三实施例的区别在于，本实施例在块3再次进行了下采样分解得到多个子块，本实施例与本发明第五实施例的区别在于，本实施例对块3再次进行了下采样分解得到多个子块，而第五实施例中的分解过程不涉及下采样。本实施例可应用于纹理细节较不丰富的视频图像的编码处理。如图7a所示，本实施例视频图像编码处理方法包括：

步骤71、输入待编码的视频图像帧。

步骤72、以

为下采样系数，对视频图像帧中16×16大小的宏块进行下采样分解，得到4个8×8大小的块，分别标记为：块0、1、2和3；以

为下采样系数，对8×8大小的块3进行下采样分解，得到4个4×4大小的子块，分别标记为：子块30、31、32和33。

可根据视频图像帧的实际编码需求对预测编码类型为帧内预测编码的块再次进行下采样分解，得到多个子块，对多个子块中预测编码类型为帧内预测编码的子块再次进行下采样分解......以此类推，进行多级下采样分解并对分解得到的块或子块进行编码处理，该思想可称为分等级(Hierarchical)编码方法。

假设下采样系数为

可对宏块下采样分解后得到的预测编码类型为帧内预测编码的块再次进行下采样分解，可得到m²个子块。在m²个块进行分组，例如可根据下采样过程中抽取的、组成各子块像素之间的位置关系将m²个子块分为n组，每组由一个或多个子块组成，每组由一个或多个块组成，n为大于或等于3的整数。第一组包括至少一个第1子块，第二组包括至少一个第2子块，第三组包括至少一个第3子块......以此类推，直至完成m²个子块的分组处理。可选的，在对m²个子块进行分组过程中，可根据抽取像素的位置关系是否相邻的原则进行分组，如将与同一像素相邻的像素组成的不同子块划分为同一组等。

下面结合实例进行说明。图7b为本发明第七实施例提供的宏块下采样分解示意图。如图7b所示，本实施例相当于在图3c所示的基础上，将块3划分为4个4×4大小的子块，即子块30、31、32和33。将8×8大小的块3进行下采样分解得到4个4×4大小的子块的实现方法，与将16×16大小的宏块进行下采样分解为4个8×8大小的块的实现方法相同，具体详见步骤32的记载，在此不再赘述。

在子块30、31、32和33中，可根据宏块下采样分解过程中抽取像素的位置关系将子块分为多组，例如：子块33为一组，子块31和32为一组，子块30为一组。

在对各子块或块的下述编码处理过程中，子块33对预测编码类型为帧内预测编码，对子块30、31和32以及块0、1和2的预测编码类型为像素间预测编码。图中采用“I”和“P”分别表示相应块的预测编码类型为：帧内预测编码或像素间预测编码类型。因此本实施例中，子块33即为本发明实施例所述的“第1子块”，子块31和32即为本发明实施例所述的“第2子块”，子块30即为本发明实施例所述的“第3子块”。

在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

步骤73、对子块33进行帧内预测编码处理，得到子块33的重构图像值。

本步骤对子块33的帧内预测编码处理方法，与步骤33中对块3进行帧内预测编码处理的方法相似，在此不再赘述。

步骤74、以子块33的重构图像值为参考，分别对子块31和32进行预测编码处理，分别得到子块31和32的重构图像值。

本步骤对子块31和32的像素间预测编码及预测参考关系的确定，与步骤34中对块1和2的预测编码处理的方法相似，在此不再赘述。可选的，在对子块31或32进行预测编码处理过程中，可包括对子块33的重构图像值进行插值处理，插值后对应位置的像素值作为子块31或32的预测值，根据子块31或32的预测值及其预测残差构造子块31或32的重构图像值，其具体实现方式，与步骤34对块1和2的插值处理的方法相似，在此不再赘述。

步骤75、以子块31和/或子块32的重构图像值为参考，对子块30进行预测编码处理，得到子块30的重构图像值。

本步骤对子块30的像素间预测编码及预测参考关系的确定，与步骤35中对块0的预测编码处理的方法相似，在此不再赘述。可选的，在对子块30进行预测编码处理过程中，可包括对子块31和/或32的重构图像值进行插值处理，插值后对应位置的像素值作为子块30的预测值，根据子块30的预测值及其预测残差构造子块30的重构图像值，其具体实现方式，与步骤35对块0的插值处理的方法相似，在此不再赘述。

步骤76、对子块30、31、32和33的重构图像值进行合成处理，得到块3的重构图像值。

步骤77-步骤78、与步骤34-步骤35相同，在此不再赘述。

步骤79、将对子块30、31、32和33、以及块0、1和2的预测残差进行编码处理得到的各块的编码比特信息写入码流。

当本实施例应用在基于块的混合视频编码框架的场景中，对每个子块或每个块的预测编码处理都包括依次进行预测、变换、量化和熵编码等处理，根据上述步骤71-79可知，各子块及各块之间的形成级联式预测参考关系。由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测两种不同预测编码类型的块、块内部可以有帧内预测和像素间预测两种不同预测编码类型的子块，因此可在对块进行量化处理过程中进行优化设计，如为各子块或块分配QP值的基本原则为：根据参考关系确定QP值。在上述编码过程中，有如下参考关系：块0参考块1/2，块1/2参考块3，在块3中，子块30参考子块31/32，子块31/32参考子块33。与步骤362相似，即：被作为参考的块的QP值被赋予更小的QP值。

根据上述原则，如图7b所示的子块以及块之间的参考关系，可得子块以及块的QP值满足下式：

QP(子块33)≤QP(子块31/32)≤QP(子块30)≤QP(块1/2)≤QP(块0)

在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定子块以及块的QP值：

QP(块1/2)＝QP(块0)＝QP(Slice)

QP(子块31/32)＝QP(子块30)＝QP(Slice)-6

QP(子块33)＝QP(Slice)-10

其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可预先获取。

在确定子块30、31、32和33以及块0、1和2的QP值之后，根据子块或块的QP值对各自预测残差进行相应的量化处理。对不同子块或块进行相应的量化优化处理的方法，与本发明第三实施例的记载相似，在此不再赘述。

由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测两种不同预测编码类型的块、块内部可以有帧内预测和像素间预测两种不同预测编码类型的子块，因此，可对宏块各块进行的熵编码进行优化设计，其中，对语法元素CBP的熵编码方式进行相应的优化设计，可参见本发明第三实施例的记载，在此不再赘述。

视频编码标准中语法元素“cbp_block_flag”表示1个8x8块中的4个4x4子块是否含有非零系数。由于级联预测编码的引入，使得1个8×8大小的块内部可以有帧内和像素间两种不同预测编码类型的子块，不同预测编码类型的子块的预测残差经量化处理后的系数具有不同的分布规律，考虑到这一点，需要对语法元素“cbp_block_flag”的熵编码方式进行相应的设计，其设计方法与步骤363中对语法元素CBP的熵编码方式优化设计方法相似，在此不再赘述。

本实施例视频图像编码处理方法在实现本发明第三实施例技术效果的基础上，通过对块3再次下采样分解得到多个子块(即子块30、31、32和33)，对子块层以及块层等不同层分别建立各自相应的级联预测参考关系，相当于形成二个等级的级联式编码处理。在纹理细节较不丰富的视频图像的编码处理的应用场景中，本实施例能更充分的利用像素之间的相关性，从而提高预测精度及视频图像的编码压缩效率。

需要说明的是，虽然本实施例16×16大小的宏块进行二个等级的下采样分解为例进行说明，但可以理解，可根据视频图像编码的实际需要，如在纹理细节较不丰富的视频图像的编码处理的应用场景中，可在此基础上进行三个或三个以上等级的下采样分解，如：在4×4大小的子块33进行下采样分解，从而形成三个等级的级联式编码处理，其实现机理与本实施例相似，在此不再赘述。

图8为本发明第八实施例提供的视频图像解码处理方法流程图。本实施例为与本发明第七实施例提供的编码处理方法对应的解码端处理流程。如图8所示，本实施例视频图像解码处理方法包括：

步骤81、获取视频图像帧的宏块包含的子块30、31、32和33以及块0、1和2的编码比特信息的码流。

步骤82、分别对子块30、31、32和33以及块0、1和2的编码比特信息进行解码处理，得到各子块或块的残差解码系数。

对任一子块或块的编码比特信息的解码处理可包括：熵解码、反量化和反变换等处理，相当于步骤79的反处理过程。可选的，步骤82可包括步骤821-步骤823。

步骤821、对子块30、31、32和33以及块0、1和2的编码比特信息进行熵解码处理。

在熵解码处理过程中，可根据各块的残差解码系数不同的分布规律，对各块的编码比特信息进行相应的熵解码处理，采用帧内预测编码模式进行预测编码的块出现非零系数的概率，大于采用像素间预测编码模式进行预测编码的块出现非零系数的概率，如：子块33残差解码系数出现非零系数的概率，大于其他子块30、31和32或块0、1和2的残差解码系数出现非零系数的概率。其熵解码实现机理与步骤421-步骤423相似，在此不再赘述。

步骤822、对子块30、31、32和33以及块0、1和2的编码比特信息经熵解码处理后的系数，进行反量化处理。

由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的RD性能，各子块和各块的QP值分配原则是：根据参考关系确定QP值。可预先确定后续解码过程存在的参考关系，例如存在如下参考关系：块0参考块1/2，块1/2参考块3，在块3中，子块0参考子块31/32，子块31/32参考子块33。则被作为参考的块的QP值被赋予更小的QP值。

根据上述原则，可得块的QP值满足下式：

QP(子块33)≤QP(子块31/32)≤QP(子块30)≤QP(块1/2)≤QP(块0)

在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP值：

QP(块1/2)＝QP(块0)＝QP(Slice)

QP(子块31/32)＝QP(子块30)＝QP(Slice)-6

QP(子块33)＝QP(Slice)-10

其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可预先获取。

在确定各块的QP值之后，根据各块的QP值，对各块的编码比特信息经熵解码处理后的系数进行相应的反量化处理。

步骤823、对子块30、31、32和33以及块0、1和2经反量化处理后的系数，进行反变换处理，得到残差。

步骤83、对子块33进行帧内预测解码处理，并将预测值与子块33残差相加，得到子块33的解码图像值。

步骤84、以子块33的解码图像值为参考，对子块31和32分别进行预测解码处理，得到子块31和32的预测值，将子块31和32的预测值与其各自对应的残差相加，得到子块31和32的解码图像值。

步骤85、以子块31和/或32的解码图像值为参考，对子块30进行预测解码处理，得到子块30的预测值，将子块30的预测值与其残差相加，得到子块30的解码图像值。

步骤86、将各子块30、31、32和33的解码图像值进行上采样合成处理，得到块3的解码图像值。

步骤87-步骤89、与步骤44-步骤46相同，在此不再赘述。

本实施例视频图像编码处理方法在实现本发明第四实施例技术效果的基础上，编码端对块3再次下采样分解得到多个子块(即子块30、31、32和33)，解码端对子块层以及块层等不同层分别建立各自相应的级联预测参考关系，相当于形成二个等级的级联式解码处理。在纹理细节较不丰富的视频图像处理的应用场景中，本实施例可以实现充分利用像素相关性进行编码压缩后的视频图像的解码。如果编码端对宏块进行三个或三个以上等级的下采样分解，则解码端进行等三个或三个以上级的级联式解码处理的实现方式，与本实施例相似，在此不再赘述。

图9为本发明第九实施例提供的视频图像编码处理装置结构示意图。如图9所示，本实施例视频图像编码处理装置包括：下采样分解模块91、帧内预测编码模块92、第一像素间预测编码模块93和第二像素间预测编码模块94。

下采样分解模块91用于对视频图像帧的宏块进行下采样分解得到多个块，上述多个块至少包括：第1块、第2块和第3块。所述第1块中的像素至少包含该宏块中最右下角的像素。所述第2块中的最右下角的像素与所述第1块中的最右下角的像素在水平或垂直方向上。所述第3块中的最右下角的像素与所述第1块中的最右下角的像素在对角线方向上。

帧内预测编码模块92用于对第1块进行帧内预测编码处理，得到第1块的重构图像值。

第一像素间预测编码模块93用于以第1块的重构图像值为参考，对第2块进行预测编码处理，得到第2块的重构图像值。

第二像素间预测编码模块94用于以第2块的重构图像值为参考，对第3块进行预测编码处理。

在上述技术方案的基础上，为了提高预测准确性，可选的：

第一像素间预测编码模块93还可用于对第1块的重构图像值进行插值处理，如：对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预测值及其预测残差构造第2块的重构图像值。

第二像素间预测编码模块94还可用于对第2块的重构图像值进行插值处理，如对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预测值及其预测残差构造第3块的重构图像值。

本实施例视频图像编码处理装置对宏块进行下采样分解得到多个块，对多个块进行预测编码过程中将帧内预测编码技术与像素间预测编码技术相结合，像素间预测编码过程中形成了至少二级的级联式预测参考关系，因此可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。关于本实施例视频图像编码处理装置的实现机理，可参见上述有关视频图像编码处理方法实施例的记载，在此不再赘述。

图10为本发明第十实施例提供的视频图像解码处理装置结构示意图。如图10所示，本实施例视频图像解码处理装置包括：比特信息获取模块101、帧内预测解码模块102、第一像素间预测解码模块103、第二像素间预测解码模块104和解码图像生成模块105。

比特信息获取模块101用于获取视频图像帧的宏块的编码比特信息，上述宏块至少包括：第1块，第2块和第3块。

在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

帧内预测解码模块102用于对第1块的编码比特信息进行帧内预测解码处理，得到第1块的解码图像值。

第一像素间预测解码模块103用于以第1块的解码图像值为参考，对第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值。

第二像素间预测解码模块104用于以第2块的解码图像值为参考，对第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值。

解码图像生成模块105用于将宏块中各块的解码图像值进行上采样合成处理，得到宏块的解码图像值。

在上述技术方案的基础上，为了提高预测准确性，可选的：

第一像素间预测解码模块103还可用于对第1块的解码图像值进行插值处理，如：对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预测值及其残差解码系数构造第2块的解码图像值。

第二像素间预测解码模块104还可用于对第2块的解码图像值进行插值处理。如：对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预测值及其残差解码系数构造第3块的解码图像值。

本实施例视频图像解码处理装置对宏块进行下采样分解得到多个块进行预测解码过程中，将帧内预测解码技术与像素间预测解码技术相结合，像素间预测解码过程中形成了至少二级的级联式预测参考关系，因此有利于充分利用块之间的像素相关性以实现编码压缩后的视频图像的重构。关于本实施例视频图像解码处理装置的实现机理，可参见上述有关视频图像解码处理方法实施例的记载，在此不再赘述。

图11为本发明第十一实施例提供的视频图像编解码系统结构示意图。如图11所示，本实施例视频图像编解码系统包括：视频图像编码处理装置111和视频图像解码处理装置112。

视频图像编码处理装置111用于对视频图像帧的宏块进行下采样分解得到多个块，上述多个块至少包括：第1块、第2块和第3块；对第1块进行帧内预测编码处理，得到第1块的重构图像值；以第1块的重构图像值为参考，对第2块进行预测编码处理，得到第2块的重构图像值；以第2块的重构图像值为参考，对第3块进行预测编码处理。

视频图像解码处理装置112用于获取宏块的编码比特信息，上述宏块至少包括：上述第1块，上述第2块和上述第3块；对第1块的编码比特信息进行帧内预测解码处理，得到第1块的解码图像值；以第1块的解码图像值为参考，对第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；以第2块的解码图像值为参考，对第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将宏块中各块的解码图像值进行上采样合成处理，得到该宏块的解码图像值。

在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。

当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块的对角线方向上。

本发明实施例视频图像编解码系统中，对宏块进行下采样分解得到多个块，对多个块进行预测编码或解码过程中将帧内预测技术与像素间预测技术相结合，形成了至少二级的级联式预测参考关系，因此可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。关于本实施例视频图像编码处理装置细化结构可参见图9对应实施例的记载，视频图像解码处理装置细化结构可参见图10对应实施例的记载，其实现视频图像编解码的机理可参见图1-图8对应实施例的记载，在此不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (25)

1.一种视频图像编码处理方法，其特征在于，包括： 

对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块； 

对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值； 

以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值； 

以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理， 

所述对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值，包括： 

对所述第1块进行下采样分解得到多个子块，所述多个子块至少包括：第1子块、第2子块和第3子块； 

对所述第1子块进行帧内预测编码处理，得到所述第1子块的重构图像值； 

以所述第1子块的重构图像值为参考，对所述第2子块进行预测编码处理，得到所述第2子块的重构图像值； 

以所述第2子块的重构图像值为参考，对所述第3子块进行预测编码处理，得到所述第3子块的重构图像值； 

对所述多个子块中各子块的重构图像值进行上采样合成处理，得到所述第1块的重构图像值。 

2.根据权利要求1所述的视频图像编码处理方法，其特征在于， 

所述以第1块的重构图像值为参考，对所述第2块进行预测编码处理，包括：对所述第1块的重构图像值进行插值处理； 

所述以第2块的重构图像值为参考，对所述第3块进行预测编码处理，包括：对所述第2块的重构图像值进行插值处理。 

3.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述 第1块、第2块和第3块中的任一块进行预测编码处理，包括： 

对各块的预测残差进行变换处理； 

根据各块的量化参数值，对各块的预测残差经变换处理后的系数进行量化处理，所述第1块的量化参数值小于或等于所述第2块的量化参数值、且所述第2块的量化参数值小于或等于所述第3块的量化参数值； 

对各块经量化处理后的系数进行熵编码处理。 

4.根据权利要求1所述的视频图像编码处理方法，其特征在于，还包括： 

根据所述多个块中各块的预测残差系数的不同分布规律，对所述多个块中各块是否包含非零系数的指示信息进行熵编码处理，所述第1块包含非零系数的概率，大于所述第2块或第3块包含非零系数的概率。 

5.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值，包括： 

将所述第1块的像素划分成多个子块，对各子块进行帧内预测编码处理，得到各子块的重构图像值，对各子块的重构图像值进行合成处理，得到所述第1块的重构图像值。 

6.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述第1子块、第2子块和第3子块中的任一子块进行预测编码处理，包括： 

对各子块的预测残差进行变换处理； 

根据各子块的量化参数值，对各子块的预测残差经变换处理后的系数进行量化处理，所述第1子块的量化参数值小于或等于所述第2子块的量化参数值、且所述第2子块的量化参数值小于或等于所述第3子块的量化参数值； 

对各子块经量化处理后的系数进行熵编码处理。 

7.根据权利要求1所述的视频图像编码处理方法，其特征在于，还包括： 

根据各子块的预测残差经量化处理后的系数不同的分布规律，对各子块的预测残差经量化处理后的进行相应的熵编码处理，所述第1子块的出现非 零系数的概率，大于所述第2子块或第3子块出现非零系数的概率。 

8.根据权利要求1所述的视频图像编码处理方法，其特征在于，在对所述宏块进行下采样分解的过程中，还包括：对所述宏块的部分或全部像素进行抗混叠滤波处理。 

9.如权利要求1中所述的视频图像编码处理方法，其特征在于，所述第1块中的像素至少包含该宏块中右下角的像素；所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上；所述第3块中的右下角的像素与所述第1块中的右下角的像素处于所述宏块的对角线方向上。 

10.一种视频图像解码处理方法，其特征在于，包括： 

获取视频图像帧的宏块的编码比特信息，所述宏块至少包括：第1块，第2块和第3块； 

对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值； 

以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值； 

以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值； 

将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值，其中， 

所述第1块至少包括：第1子块、第2子块和第3子块；所述对第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值，包括： 

对所述第1子块进行帧内预测解码处理，得到所述第1子块的解码图像值； 

以所述第1子块的解码图像值为参考进行帧内预测解码处理，得到第2子块的解码图像值； 

以所述第2子块的解码图像值为参考进行帧内预测解码处理，得到第3子块的解码图像值； 

将各子块的解码图像值进行上采样合成处理，得到所述第1块的解码图像值。 

11.根据权利要求10所述的视频图像解码处理方法，其特征在于， 

所述以第1块的解码图像值为参考，对所述第2块进行预测解码处理，包括：对所述第1块的解码图像值进行插值处理； 

所述以第2块的解码图像值为参考，对所述第3块进行预测解码处理，包括：对所述第2块的解码图像值进行插值处理。 

12.根据权利要求10所述的视频图像解码处理方法，其特征在于，对所述第1块、第2块和第3块中的任一块进行预测解码处理，包括： 

对各块的编码比特信息进行熵解码处理； 

根据各块的量化参数值，对熵解码处理后的系数进行反量化处理，所述第1块的量化参数值小于或等于所述第2块的量化参数值、且所述第2块的量化参数值小于或等于所述第3块的量化参数值； 

对反量化处理后系数进行反变换处理。 

13.根据权利要求10所述的视频图像解码处理方法，其特征在于，还包括： 

根据各块的残差系数的不同分布规律，对各块是否包含非零系数的指示信息进行相应的熵解码处理，所述第1块出现非零系数的概率，大于所述第2块或第3块出现非零系数的概率。 

14.根据权利要求10所述的视频图像解码处理方法，其特征在于，所述第1块包括多个子块；对所述第1块的编码比特信息进行帧内预测解码处理，包括： 

对各子块的编码比特信息进行解码处理，得到各子块的解码图像值； 

对各子块的解码图像值进行合成处理，得到所述第1块的解码图像值。 

15.根据权利要求10所述的视频图像解码处理方法，其特征在于，对所述第1子块、第2子块和第3子块中的任一子块进行预测解码处理，包括： 

对各子块的编码比特信息进行熵解码处理； 

根据各子块的量化参数值，对熵解码处理后的系数进行反量化处理，所述第1子块的量化参数值小于或等于所述第2子块的量化参数值、且所述第2子块的量化参数值小于或等于所述第3子块的量化参数值； 

对反量化处理后系数进行反变换处理。 

16.根据权利要求10所述的视频图像解码处理方法，其特征在于，还包括： 

根据各子块的残差系数的不同分布规律，对各子块是否包含非零系数的指示信息进行相应的熵解码处理，所述第1子块出现非零系数的概率，大于所述第2子块或第3子块出现非零系数的概率。 

17.根据权利要求10所述的视频图像解码处理方法，其特征在于，所述第1块中的像素至少包含该宏块中右下角的像素；所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上；所述第3块中的右下角的像素与所述第1块中的右下角的像素处于所述宏块的对角线方向上。 

18.一种视频图像编码处理装置，其特征在于，包括： 

下采样分解模块，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块； 

帧内预测编码模块，用于对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值； 

第一像素间预测编码模块，用于以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值； 

第二像素间预测编码模块，用于以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理，其中， 

所述对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值，包括： 

对所述第1块进行下采样分解得到多个子块，所述多个子块至少包括：第1子块、第2子块和第3子块； 

对所述第1子块进行帧内预测编码处理，得到所述第1子块的重构图像值； 

以所述第1子块的重构图像值为参考，对所述第2子块进行预测编码处理，得到所述第2子块的重构图像值； 

以所述第2子块的重构图像值为参考，对所述第3子块进行预测编码处理，得到所述第3子块的重构图像值； 

对所述多个子块中各子块的重构图像值进行上采样合成处理，得到所述第1块的重构图像值。 

19.根据权利要求18所述的视频图像编码处理装置，其特征在于， 

所述第一像素间预测编码模块，还用于对所述第1块的重构图像值进行插值处理； 

所述第二像素间预测编码模块，还用于对所述第2块的重构图像值进行插值处理。 

20.根据权利要求18所述的视频图像编码处理装置，其特征在于，所述第1块中的像素至少包含该宏块中右下角的像素；所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上；所述第3块中的右下角的像素与所述第1块中的右下角的像素处于所述宏块的对角线方向上。 

21.一种视频图像解码处理装置，其特征在于，包括： 

比特信息获取模块，用于获取视频图像帧的宏块的编码比特信息，所述 宏块至少包括：第1块，第2块和第3块； 

帧内预测解码模块，用于对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值； 

第一像素间预测解码模块，用于以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值； 

第二像素间预测解码模块，用于以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值； 

解码图像生成模块，用于将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值，其中， 

所述第1块至少包括：第1子块、第2子块和第3子块；所述对第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值，包括： 

对所述第1子块进行帧内预测解码处理，得到所述第1子块的解码图像值； 

以所述第1子块的解码图像值为参考进行帧内预测解码处理，得到第2子块的解码图像值； 

以所述第2子块的解码图像值为参考进行帧内预测解码处理，得到第3子块的解码图像值； 

将各子块的解码图像值进行上采样合成处理，得到所述第1块的解码图像值。 

22.根据权利要求21所述的视频图像解码处理装置，其特征在于， 

所述第一像素间预测解码模块，还用于对所述第1块的解码图像值进行插值处理； 

所述第二像素间预测解码模块，还用于对所述第2块的解码图像值进行插值处理。 

23.根据权利要求21所述的视频图像解码处理装置，其特征在于，所述第1块中的像素至少包含该宏块中右下角的像素；所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上；所述第3块中的右下角的像素与所述第1块中的右下角的像素处于所述宏块的对角线方向上。 

24.一种视频图像编解码系统，其特征在于，包括： 

视频图像编码处理装置，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括：第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理； 

视频图像解码处理装置，用于获取所述宏块的编码比特信息，所述宏块至少包括：所述第1块，所述第2块和所述第3块；对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值；以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值，其中， 

所述对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值，包括： 

对所述第1块进行下采样分解得到多个子块，所述多个子块至少包括：第1子块、第2子块和第3子块； 

对所述第1子块进行帧内预测编码处理，得到所述第1子块的重构图像值； 

以所述第1子块的重构图像值为参考，对所述第2子块进行预测编码处 理，得到所述第2子块的重构图像值； 

以所述第2子块的重构图像值为参考，对所述第3子块进行预测编码处理，得到所述第3子块的重构图像值； 

对所述多个子块中各子块的重构图像值进行上采样合成处理，得到所述第1块的重构图像值。

25.如权利要求24中所述的视频图像编解码系统，其特征在于，所述第1块中的像素至少包含该宏块中右下角的像素；所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上；所述第3块中的右下角的像素与所述第1块中的最右下角的像素处于所述宏块的对角线方向上。 

Images