CN101179734B - 一种视频压缩的帧内预测方法和系统 - Google Patents

Abstract

本发明公开了一种视频压缩的帧内预测方法，该方法包括以下步骤：A.确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；B.根据补偿后的边界宏块的参考点信息进行帧内预测。通过本发明方法，使该边界宏块能够进行更多种预测方法，由于增加了预测方法，使得获得的使残差数据的绝对误差和的值最小的预测方法可能更佳，进而使压缩效果也得到提高。本发明还公开了一种视频压缩的帧内预测系统。

Description

一种视频压缩的帧内预测方法和系统

技术领域

本发明涉及图像处理技术，尤其涉及一种视频压缩的帧内预测方法和系统。

背景技术

目前，视频编码所采用的压缩技术基本上都是基于预测变换和熵编码的，预测效果的好坏将会直接影响到后续过程以及最后码流量的大小。目前主流的视频压缩标准有由活动图像专家组制定MPEG-4和由国际电联制定的H264等，在这些压缩技术中，编码图像一般分为三种类型：帧内预测帧(I帧)、前向预测帧(P帧)和双向预测帧(B帧)，其中，P帧和B帧统称为帧间预测帧。I帧利用了空间相关性，采用与由联合图像专家组制定的JPEG类似的方式对静止的图像进行编码。P帧利用了时间相关性，使用前面的帧作为参考帧进行预测。B帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将产生残差数据，对这些残差数据进行离散余弦(DCT)变换和量化，输出编码码流即完成视频压缩过程。

在进行压缩时，每一帧被分成若干个宏块，每一个宏块又包含多个亮度块和多个色度块，在对一个宏块进行预测编码时，可以采用时域或空域的预测。时域预测即在参考帧中搜索与之最匹配的宏块，空域预测即利用本帧内先前已预测、变换、编码并重建的图像象素作为参考点来进行预测。预测的目标是使得产生的残差数据的绝对误差和(SAD)值最小。SAD值描述预测的相关程度，SAD值越小表示被预测部分和预测后部分越相似。当进行的是帧间预测时，上述在参考帧中搜索与之最匹配的宏块的过程就被称为运动估计。

对于帧内预测而言，常用的预测方案有垂直预测、水平预测、平均值预测以及各种方向的角度预测等。如图1(a)至图1(d)所示，A至M表示已经预测、变换、编码并重建的象素，中间灰色的4×4矩阵部分表示当前等待预测的象素。图1(a)至图1(d)分别表示垂直预测，即以上方象素点作为参考来预测；水平预测，以左侧象素点为参考来预测；平均值预测，将所有可得到的象素的均值(或其他方式给出的均值)作为参考来预测；角度预测，根据角度值计算参考点和被预测点来进行预测，当然不局限于图中所示的这一种角度情况。多数情况下对图像的压缩都是按照从上到下，从左到右的顺序进行，因此，在阴影块的右上侧有已重建的象素点而右侧没有。通过分别使用上述多种预测方法，找到一种使SAD值最小的预测方法，并用该方法对控制数据和残差数据进行变换、编码，获得当前宏块的码流。

现有的帧内预测方法选取的参考点大多是选择图像左侧和上方的重建象素点，即多数使用垂直预测或水平预测。对于处于中间位置的宏块，直接选取周围已经重建好的宏块作为参考，通过多种不同的预测方法，找到一种使SAD值最小的预测方法；但是，对于位于边界的宏块，若相应位置的参考点缺少，则不能进行相关方向的预测。例如，若是位于顶端的宏块，则不能进行水平预测，只能选用其他方法来进行预测找到SAD值最小的方法。

这种对需要进行帧内预测的边界宏块缺少参考点的位置不作相应的补偿，而是和普通宏块一样进行帧内预测，会使得所述边界宏块的帧内预测方法的多样性受到限制，得到的帧内预测方法也不一定是最佳的，进而可能会使得压缩效果受到影响。

发明内容

本发明提供一种视频压缩的帧内预测方法和系统，以解决现有技术中存在的由于没有对需要进行帧内预测的边界宏块缺少参考点的位置进行补偿，而造成的预测方法的多样性受到限制，使压缩效果可能较差的问题。

本发明提供一种视频压缩的帧内预测方法，该方法包括以下步骤：

A.确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；

B.根据补偿后的边界宏块的参考点信息进行帧内预测。

所述需要进行帧内预测的帧的类型包括帧内预测帧或帧间预测帧。

步骤A中所述的进行补偿是：将已重建的图像象素点映射到所述边界宏块的缺少参考点的位置。

当所述帧的类型为帧间预测帧时，步骤A中所述需要进行帧内预测的帧是根据如下步骤确定：

A1.对需要进行帧内预测的帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大于预先设定值时，确定需要对该边界宏块进行帧内预测，其中：所述需要进行帧内预测的帧的类型为帧间预测帧；

A.并对该帧中的边界宏块缺少参考点的位置进行补偿；

B.根据补偿后的边界宏块的参考点信息进行帧内预测；

B1.对所述边界宏块进行帧间预测，选择步骤B中所述帧内预测后获得的残差数据的绝对误差和的值与步骤A1中所述帧间预测后获得的残差数据的绝对误差和的值中的最小值对应的预测方法进行预测。

所述需要进行帧内预测的帧的类型包括帧内预测帧或帧间预测帧。

步骤A中所述的进行补偿是：将已重建的图像象素点映射到所述边界宏块的缺少参考点的位置。

本发明还提供一种视频压缩的帧内预测系统，所述系统包括：

补偿单元，用于当所述需要进行帧内预测的帧的类型为帧间预测帧时，对该帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大于预先设定值时，则确定需要对该边界宏块进行帧内预测，并对该帧中的边界宏块缺少参考点的位置进行补偿；

帧内预测单元，用于根据补偿后的边界宏块的参考点信息进行帧内预测；

帧间预测单元，用于将所述边界宏块进行帧间预测，选择通过帧内预测单元后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据的绝对误差和的值中的最小值对应的预测方法进行预测。

所述需要进行帧内预测的帧的类型包括帧内预测帧或帧间预测帧。

本发明方法通过对需要进行帧内预测的边界宏块缺少参考点的位置进行补偿，使该边界宏块能够进行更多种预测方法，由于增加了预测方法，使得找到的使SAD值最小的预测方法可能更佳，进而使压缩效果也得到提高。

附图说明

图1(a)至图1(d)为现有技术视频压缩的帧内预测示意图；

图2为本发明视频压缩的帧内预测系统结构示意图；

图3为本发明实施例预测过程流程示意图；

图4(a)和图4(b)为本发明实施例帧内左侧补偿示意图；

图5(a)和图5(b)为本发明实施例帧内上侧补偿示意图；

图6(a)和图6(b)为本发明实施例帧内右侧补偿示意图。

具体实施方式

在现有方法中，由于没有对需要进行帧内预测的对边界宏块周围缺少参考点的位置进行补偿，使得该宏块在某些方向的帧内预测不能进行，限制了帧内预测方式，最后得到的帧内预测方法不一定是最好的，进而影响压缩效果。本发明对需要进行帧内预测的帧的边界宏块缺少参考点的位置进行补偿，并根据补偿后的参考点信息进行帧内预测，使所述边界宏块能够进行更多种帧内预测方法，找到一种使SAD值最小的方法，使压缩效果达到最佳。

下面结合说明书附图对本发明做进一步详细的描述。

如图2所示，本发明中视频压缩的帧内预测系统包括补偿单元11和帧内预测单元12。其中，补偿单元11用于确定需要进行帧内预测的帧，并对该帧中的边界宏块缺少参考点的位置进行补偿；帧内预测单元12用于根据补偿后的边界宏块的参考点信息进行帧内预测。

所述需要进行帧内预测的帧的类型包括帧内预测帧和帧间预测帧；所述帧内预测方法可以包括垂直预测、水平预测、平均值预测多种方向的角度预测等。

所述补偿单元，还用于当所述需要进行帧内预测的帧的类型为帧间预测帧时，对该帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大于预先设定值时，则确定需要对该边界宏块进行帧内预测。

当所述需要进行帧内预测的帧的类型为帧间预测帧时，所述系统还包括：帧间预测单元13用于将所述边界宏块进行帧间预测，选择通过帧内预测单元后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据的绝对误差和的值中的最小值对应的预测方法进行预测。

下面结合具体实施例详细说明本发明方法。如图3所示，为本发明实施例步骤流程示意图，本实施例利用图像的相关性，对需要进行帧内预测的边界宏块缺少参考点的位置选取已重建的图像象素点进行补偿，从而保证更多种有效的帧内预测方法的选取。在本实施例中，设定希望进行的有效的帧内预测方法包括：垂直预测、水平预测、平均值预测和45度角度预测。

步骤301：判断当前宏块所属帧的类型，确定是否需要进行帧内预测。

在本发明中所述的帧的类型可以包括帧内预测帧、前向预测帧和双向预测帧，其中，前向预测帧和双向预测帧可以统称为帧间预测帧。若当前宏块所属帧的类型为帧内预测帧时，该宏块可以进行的预测方式只能为帧内预测；若当前宏块所属帧的类型为帧间预测帧时，该宏块可以进行的预测方式可以为帧间预测或帧内预测与帧间预测同时使用。当对帧间预测帧进行帧间预测后获得的SAD值大于预先设定值时，则说明该帧间预测帧需要进行帧内预测。另外在不考虑压缩速度，只希望压缩效果尽可能好的情况下，可以同时进行帧内预测和帧间预测，获得两种方式的SAD值，选择最小的SAD值对应的预测方式进行预测。

步骤302：判断当前宏块是否为边界宏块。

由于编码图像长宽是已知的，且该编码图像划分的宏块个数也是已知的，每一个宏块在该编码图像中有一个唯一的编号，通过该编号就可以判断当前宏块是否为边界宏块。

若当前宏块不为边界宏块，且所属帧的类型为帧内预测帧时，则直接根据该宏块的参考点进行垂直预测、水平预测、平均值预测和45度角度预测，比较这四种预测后的SAD值，确定使SAD值最小的帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。

若当前宏块不为边界宏块，且所属帧的类型为帧间预测帧时，则使用帧间预测或帧内预测与帧间预测同时使用方法，预测后再进行变换、编码，完成视频压缩过程。

若当前宏块为边界宏块时，则根据该宏块所属的帧的类型和可能进行的预测方法来进行预测。

步骤303：对当前边界宏块缺少参考点的位置进行补偿并进行帧内预测。

若所述当前边界宏块所属帧的类型为帧内预测帧时，可以选取编码图像中任意已重建的图像象素点映射到所述宏块缺少参考点的位置进行补偿。但是在实际操作中，考虑到图像特征，一般是选取距离该缺少参考点位置较近的已重建的图像象素点进行补偿，如图4(a)。若该编码图像为背景图像时，对于缺少左侧参考点情况，也可以选取最后一个图像块的最后一列象素点作为补偿的参考点，如图4(b)。

例如，对于当前边界宏块位于图像顶端的情况，可以采用以下方法来补偿。如图5(a)所示，利用宏块左侧的一列已重建的象素点映射到当前边界宏块上方作为补偿的参考点。当进行垂直预测时，A’参考点用A点补偿，B’参考点用B点补偿，以此类推完成补偿后就可以进行垂直预测。当进行平均值预测时，图中I’参考点可以用A点补偿，需要用到D’右侧的点时，则统一由补偿后的D’代替。通过补偿后，可以进行本实施例中设定的四种帧内预测方法，确定出使SAD值最小的一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。

同样，也可以使用宏块左侧的一行已重建的象素点映射到当前边界宏块上方作为补偿的参考点。如图5(b)所示。

若所述当前边界宏块所属帧的类型为帧间预测帧，且希望压缩过程的速度较快时，采用以下方法。首先判断该边界宏块能否成功进行运动估计。所谓能否成功进行运动估计就是判断该边界宏块进行帧间预测后得到的SAD值是否低于预先设定的值。若低于，则为成功进行运动估计，再进行变换、编码，完成视频压缩过程；若不低于，则为运动估计失败，说明该宏块需要进行帧内预测。在对该属于帧间预测帧的边界宏块进行帧内预测时，可以按上述图5(a)或图5(b)所示的方法对该边界宏块进行补偿，补偿完成后再使用本实施例中设定的四种帧内预测方法，找到使SAD值最小的一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。

若所述当前边界宏块所属帧的类型为帧间预测帧，且在不考虑压缩速度，只希望压缩效果尽可能好时，采用以下方法。首先将该边界宏块进行帧内预测，可以按上述图5(a)或图5(b)所示的方法对该边界宏块进行补偿，补偿完成后再使用本实施例中设定的四种帧内预测方法，得到四个SAD值。再将该宏块进行帧间预测，得到一个SAD值。将通过帧间预测得到的SAD值与所述四个SAD值进行比较，确定出使SAD值最小的一种预测方法，并使用该方法进行预测后再进行变换、编码，完成视频压缩过程。

再例如对于当前边界宏块位于图像右侧的情况，可以采用以下方法来补偿。若所述当前边界宏块所属帧的类型为帧内预测帧时，可以使用宏块上侧的一列已重建的象素点映射到当前边界宏块右上方作为补偿的参考点，如图6(a)所示。当进行45度角度预测时，A’、B’、C’和D’参考点分别用A、B、C和D来表示。同样的，该宏块右侧缺少参考点的位置也可以用A、B、C和D来补偿。通过补偿后，可以进行本实施例中设定的四种帧内预测方法，找到使SAD值最小的一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。

同样，也可以使用宏块上侧的一行已重建的象素点映射到当前边界宏块右上方作为补偿的参考点，如图6(b)所示。

若所述当前边界宏块所属帧的类型为帧间预测帧，且希望压缩过程的速度较快时，采用以下方法。首先判断所述边界宏块能否成功进行运动估计，即该边界宏块进行帧间预测后得到的SAD值是否低于预先设定的值。若低于，则为成功进行运动估计，再进行变换、编码，完成视频压缩过程；若不低于，则为运动估计失败，则说明所述边界宏块需要进行帧内预测。在进行帧内预测时，可以按上述图6(a)或图6(b)所示的方法对所述边界宏块进行补偿，补偿完成后再使用本实施例中设定的四种帧内预测方法，找到使SAD值最小的一种帧内预测方法，并使用该方法进行帧内预测后再进行变换、编码，完成视频压缩过程。

若所述当前边界宏块所属帧的类型为帧间预测帧，且在不考虑压缩速度，只希望压缩效果尽可能的好时，采用以下方法。首先将该边界宏块进行进行帧内预测，按上述图6(a)或图6(b)中的补偿方法对该边界宏块进行补偿，补偿完成后再使用本实施例中设定的四种帧内预测方法，得到四个SAD值。然后再将该边界宏块进行帧间预测，得到一个SAD值。将通过帧间预测得到的SAD值与所述得到的四个SAD值进行比较，确定出使SAD值最小的一种预测方法，并使用该方法进行预测后再进行变换、编码，完成视频压缩过程。

通过本发明方法，针对需要进行帧内预测的边界宏块参考点较少，甚至缺少参考点的情况，对所述边界宏块缺少参考点的位置进行补偿，从而使得该边界宏块能够进行多种方式的帧内预测，有利于选取最佳的预测方法，提高压缩效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种视频压缩的帧内预测方法，其特征在于，该方法包括以下步骤：

A1.对需要进行帧内预测的帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大于预先设定值时，确定需要对该边界宏块进行帧内预测，其中：所述需要进行帧内预测的帧的类型为帧间预测帧；

A.并对该帧中的边界宏块缺少参考点的位置进行补偿；

B.根据补偿后的边界宏块的参考点信息进行帧内预测；

B 1.对所述边界宏块进行帧间预测，选择步骤B中所述帧内预测后获得的残差数据的绝对误差和的值与步骤A1中所述帧间预测后获得的残差数据的绝对误差和的值中的最小值对应的预测方法进行预测。

2.如权利要求1所述的方法，其特征在于，所述需要进行帧内预测的帧的类型包括帧内预测帧或帧间预测帧。

3.如权利要求1所述的方法，其特征在于，步骤A中所述的进行补偿是：将已重建的图像象素点映射到所述边界宏块的缺少参考点的位置。

4.一种视频压缩的帧内预测系统，其特征在于，所述系统包括：

补偿单元，用于当所述需要进行帧内预测的帧的类型为帧间预测帧时，对该帧的边界宏块进行帧间预测，当获得的残差数据的绝对误差和的值大于预先设定值时，则确定需要对该边界宏块进行帧内预测，并对该帧中的边界宏块缺少参考点的位置进行补偿；

帧内预测单元，用于根据补偿后的边界宏块的参考点信息进行帧内预测；

帧间预测单元，用于将所述边界宏块进行帧间预测，选择通过帧内预测单元后获得的残差数据的绝对误差和的值和所述帧间预测后的获得的残差数据的绝对误差和的值中的最小值对应的预测方法进行预测。

5.如权利要求4所述系统，其特征在于，所述需要进行帧内预测的帧的类型包括帧内预测帧或帧间预测帧。

Images