CN102300088A - 画面内预测模式最佳化方法与图像压缩方法以及装置 - Google Patents

Abstract

画面内预测模式最佳化方法与图像压缩方法以及装置。该画面内预测模式最佳化方法包括：自图像画面(image frame)一目标区块的参考区块中选择一个，作为一对照区块；以该对照区块所采用的预测模式为一对照模式；以及评比该对照模式下，该对照区块与该目标区块的预测效果。当上述评比结果显示该目标区块的预测效果较佳时，设定该对照模式为该目标区块的预测模式，以据以决定该目标区块的预测图样。反之，如果上述评比结果显示该对照区块预测效果较佳时，自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式且重复上述评比步骤。

Description

画面内预测模式最佳化方法与图像压缩方法以及装置

技术领域

本发明涉及一种图像压缩方法(Image Compression Methods)，特别涉及其中所采用的一种画面内预测模式最佳化方法(Intra Prediction ModeOptimization Method)。

背景技术

H.264为一种高度压缩的数字视频编码/解码标准。在编码/解码过程中，不仅考虑连续多个图像画面(image frame)之间的相关性(例如，运动估计补偿Motion Estimation Compensation)，更考虑单一图像画面各像素之间的空间相关性(例如，画面内预测编码Intra Prediction)。

此说明书主要着眼于上述画面内预测编码技术。

图1以方块图简单说明画面内预测编码于编码器内的应用。编码器接收原始的一图像画面102后，会将其交由一画面内预测编码模块104产生一预测画面106。减法装置108会提供图像画面102与预测画面106之间的差值，产生一误差画面110(通常称之为residual image)。误差画面110再经由数据压缩模块112压缩为压缩数据114。

画面内预测编码模块104会自H.264所提供的多种预测模式(IntraPrediction Modes)中选择一个编码该图像画面102，以期预测画面106近似原始的图像画面102。如此一来，误差画面110的数据会相当单纯，经过数据压缩模块112处理后，所产生的压缩数据114的数据量会相当低。

图2图解画面内预测编码的编码顺序。如图像画面200所示，H.264会以16x16像素为单位划分图像画面为多个巨区块(Macroblocks)。编码时，通常由图像画面最上面的一列的巨区块由左至右进行，待该列巨区块皆编码完毕后，再由下一列的巨区块由左至右进行，直至整个图像画面编码结束。正在编码处理的巨区块可称为目标巨区块。目标巨区块的编码，通常是基于紧邻该目标巨区块、且已经编码过的多个参考巨区块的编码结果而得。参阅图示，巨区块MBi，j为目标巨区块时，斜线部分的巨区块皆已编码过。紧邻该目标巨区块MBi，j、且已经编码过的巨区块MBi，j-1、MBi-1，j-1、MBi-1，j与MBi-1，j+1即是前述定义的参考巨区块。参考巨区块MBi，j-1、MBi-1，j-1、MBi-1，j与MBi-1，j+1会提供其编码后的数据作为目标巨区块MBi，j的编码依据。

在画面内预测编码过程中，不只可以巨区块的16x16像素尺寸为单位进行编码，更可被划分为更小尺寸的区块后再一一进行画面内预测编码。针对不同区块尺寸，H.264技术提供不同的预测模式供选择。例如，如果目标巨区块维持其16x16大小进行画面内预测编码，则可供选择的预测模式有4种；若目标巨区块被划分成4个8x8区块进行画面内预测编码，则各8x8区块有9种预测模式可选择；若目标巨区块被划分成16个4x4区块进行画面内预测编码，则各4x4区块对应的预测模式数量同样为9。

图3以8x8尺寸的区块为例，图解其9种预测模式。如图所示，正要进行画面内预测编码的目标区块为8x8大小，模式0、1与模式3...8以不同方向采纳周边已编码过的信息，以作为该目标区块的编码依据。模式2则是对紧邻该目标区块的已编码信息作一平均值运算，将结果作为该目标区块的编码依据。关于其他尺寸的区块(如16x16、4x4)的画面内模式编码，H.264有提供类似的预测模式供选择，此处不再赘述。

由于一图像画面可画分为多个16x16巨区块，一个巨区块又更可以8x8、或4x4的更小尺寸划分，且不同尺寸的区块的画面内预测编码分别有对应的多个预测模式须考虑，因此，画面内预测编码模块104需要经过很长时间的验证运算才能选择出最佳的画面内预测编码方案。如何快速地寻得最佳的画面内预测编码方案为本技术领域一项重要课题。

发明内容

本发明公开一种画面内预测模式最佳化(Intra Prediction ModeOptimization)方法与图像压缩装置，以及相关的图像编码(Image Encoding)技术。

所公开的画面内预测模式最佳化方法用于设定一图像画面上一目标区块的预测模式，以得到该目标区块的预测图样。在一种实施方式中，该方法包括：自该目标区块的多个参考区块中选择一个，作为一对照区块；以该对照区块所采用的预测模式为一对照模式；以及评比该对照模式下，该对照区块与该目标区块的预测效果。当上述评比结果显示该目标区块以该对照模块编码的预测效果佳于该对照区块时，设定该对照模式为该目标区块的预测模式，据以决定该目标区块的预测图样。反之，如果上述评比结果显示该目标区块以该对照模块编码的预测效果不如该对照区块，则自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式且重复上述评比步骤。

倘若这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式，则可分析该目标区块的原始图样的方向性，以设定该目标区块的预测模式，据以决定该目标区块的预测图样。

在另外一种实施方式中，倘若这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式，则可转而判断剩余未评估过的预测模式对该目标区块的预测效果，取最佳者为该目标区块的预测模式，据以决定该目标区块的预测图样。

此外，为了加速评比步骤，可将各目标区块所设定的预测模式的预测效果暂存下来，供后续其他区块的画面内预测模式最佳化的上述评比步骤使用。

以下列举数种实施方式与其图示帮助了解本发明内容。

附图说明

图1以方块图简单说明画面内预测编码于编码器内的应用；

图2图解画面内预测编码的编码顺序；

图3以8x8尺寸的区块为例，图解其9种预测模式；

图4显示一张图像画面上五个相同尺寸的区块Anxn、Bnxn、Cnxn、Dnxn以及Enxn；以及

图5以流程图讨论图4目标区块Enxn的画面内预测模式最佳化；以及

图6是显示根据本发明实施例所述的图像压缩方法中的操作流程图。

图7是显示根据本发明实施例所述的图像压缩装置。

图8是显示图7所示实施例的图像压缩装置的架构图。

【主要元件符号说明】

102、702～图像画面；    114、714～压缩数据；

106、706～预测画面；    108、708～减法装置；

110、710～误差画面；112、712～数据压缩模块；

104、704～画面内预测编码模块；

200～图像画面；

801～区块选择模块；803～存储装置；

805～画面内预测核心计算模块；

807～比较器；809～逻辑装置；

810～图像画面产生模块；

Anxn、Bnxn、Cnxn、Dnxn～参考区块；

Enxn～目标区块；

MBi，j～目标巨区块；以及

MBi-1，j-1、MBi-1，j、MBi-1，j+1、MBi，j-1～MBi，j的参考巨区块。

具体实施方式

图4显示一张图像画面上五个相同尺寸的区块Anxn、Bnxn、Cnxn、Dnxn以及Enxn。在画面内预测(Intra Prediction)编码中，此五个区块Anxn...Enxn皆被选定以nxn尺寸进行预测编码。n值可为16(巨区块未被细分为更小尺寸)、8(所属巨区块被画分为4个8x8区块)或4(所属巨区块被画分为16个4x4区块)。区块Enxn为正要进行画面内预测编码处理的目标区块。区块Anxn...Dnxn为紧邻该目标区块Enxn、且已经进行编码过(以斜线标底)的多个参考区块。目标区块Enxn以这些参考区块Anxn...Dnxn编完码的数据作为编码依据。为了快速判断出哪种预测模式最适合用来产生该目标区块Enxn的预测图样，本申请公开一种画面内预测模式最佳化技术，其中包括预测模式重复利用(reuse)、与动态评比等技巧。

图5以流程图讨论图4目标区块Enxn的画面内预测模式最佳化。步骤S502首先在目标区块Enxn的多个参考区块Anxn...Dnxn中选择一个作为对照区块，可以CBnxn作为标号。步骤S504以该对照区块CBnxn所采用的预测模式作为一对照模式，可以CM作为标号。步骤S506为一评比步骤，判断该目标区块Enxn若同样采用该对照模式CM产生预测图样，其预测效果与已采用该预测模式CM编码的该对照区块CBnxn的预测效果相比，何者较佳。如果评比步骤S506显示目标区块Enxn采用该对照模式CM所得的预测效果优于该对照区块CBnxn的预测效果，则可设定该对照模式CM为该目标区块Enxn的预测模式(步骤S508)，据以提供该目标区块Enxn的预测图样。反之，如果评比步骤S506显示目标区块Enxn采用该对照模式CM所得的预测效果并不如参考区块CBnxn，则可自参考区块Anxn...Dnxn中选择另外一个作为对照区块CBnxn，以另外得到对照模式CM且重复上述评比步骤。例如，如果评比步骤S506显示对照区块CBnxn的预测效果较优，则以步骤S510判断参考区块Anxn...Dnxn中是否还有未被用来作为对照区块CBnxn者。如果参考区块Anxn...Dnxn尚有未被用来作为对照区块CBnxn，则步骤S502、S504与S506会被重新执行，以新的对照区块CBnxn、新的对照模式CM进行另一次的评比步骤S506。

在图像平滑，画面单纯的例子中，参考区块Anxn...Dnxn中通常至少有一个的预测模式可通过步骤S506的评比，被设定为目标区块Enxn的预测模式。然而，如果图像较复杂、画面特征较多，则可能所有参考区块Anxn...Dnxn的预测模式都无法通过步骤S506的评比。此时，就需要采用其他方案寻求目标区块Enxn的最佳预测模式。例如，图5步骤S510所提供的判断，就是用来引导画面内预测模式最佳化流程进行其他的预测模式设定方案S512。

在一种实施方式中，预测模式设定方案S512转而评估剩余未测试过的预测模式(参考区块Anxn...Dnxn所未采用的预测模式)对该目标区块Enxn的预测效果，并取最佳者为该目标区块Enxn的预测模式，以据以提供该目标区块Enxn的预测图样。

在另外一种实施方式中，预测模式设定方案S512可分析该目标区块Enxn的原始图样的方向性，以设定该目标区块Enxn的预测模式，产生该目标区块Enxn的预测图样。所述方向性分析技术可为H.264编码/解码的画面内预测编码领域的任何一种方向检测(edge detection)技术。例如，以一方向检测滤波器(edge detection filter)判断目标区块Enxn可能适用的数组预测模式，再设定预测效果最佳者为该目标区块Enxn的预测模式。

此段讨论评比步骤S506所采用的技术。所述预测效果可采一绝对误差总和运算(SAD，sum of absolute difference)计算而得，其中量化预测图样与原始图样之间的误差。目标区块Enxn以对照模式CM编码而造成的SAD将与对照区块CBnxn的SAD比较，SAD较低者代表预测效果较好。或者，也可改采一绝对转换误差总和运算(SATD，sum of absolute transformeddifference)，以另一种方式量化预测图样与原始图样之间的误差，供评比步骤S506使用。目标区块Enxn以对照模式CM编码而造成的SATD将与对照区块CBnxn的SATD比较，SATD较低者代表预测效果较好。

本说明书更提供一种实施方式，其中，在步骤S508之前，目标区块Enxn于评比步骤S506所计算而得的预测效果可被暂存起来。如此一来，后续进行其他区块的画面内预测模式最佳化时，各参考区块的预测效果皆为已知，可大幅降低评比步骤的运算量。

总结图5所描述的画面内预测模式最佳化，其至少包括两种特征：于设定目标区块Enxn的预测模式时，优先考虑目标区块Enxn的多个参考区块Anxn...Dnxn的预测模式；在评比步骤S506中采用动态的评比标准。特别是该动态评比标准，目标区块Enxn以对照模式CM编码所得的预测效果是与对照区块CBnxn的预测效果比较，而非与一定值比较。动态设计的评比标准可使画面单纯的平滑图像的画面内预测编码不论是比特率、画面损失或是运算量都有杰出表现，即使是复杂多特征的画面也能以很好的效能编码。

图6是显示根据本发明实施例所述的图像压缩方法中的操作流程图，其利用图7所示的架构，并采用图5所示画面内预测模式最佳化技术。在图像压缩方法的流程中，步骤S602接收一图像画面702。接下来，画面内预测编码模块704接收图像画面702，并决定要处理的目标区块，且以图5所述画面内预测模式最佳化方法设定该目标区块的预测模式，据以形成该目标区块的预测图样；并在上述目标区块设定、画面内预测模式最佳化方法、与预测图样生成等步骤反复执行完整个图像画面后，将所有预测图样组成一预测画面706(步骤S604)。减法器708根据预测画面706与图像画面702的差值产生误差画面(residual image)710(步骤S606)。最后，数据压缩模块712压缩误差画面710而产生压缩数据714(步骤S608)。

图8是显示图7所示实施例的图像压缩装置的架构图。画面内预测编码模块704包括区块选择模块801、存储装置803、画面内预测核心计算模块805、比较器807以及逻辑装置809。区块选择模块801于接收到比较器807所输出的低逻辑电平信号时，选取参考区块Anxn...Dnxn其中一个作为对照区块CBnxn。存储装置803存储参考区块Anxn...Dnxn在不同区块大小下所使用的预测模式以及其所对应的预测效果。另外，存储装置803尚存储了图像画面702中相关的像素信息。画面内预测核心计算模块805判断目标区块Enxn采用目前对照模式CM产生预测图样的预测效果。在本发明实施例中，画面内预测核心计算模块805可采用绝对误差总和运算或绝对转换误差总和运算评比该对照模式CM下，目标区块Enxn与对照区块CBnxn的预测效果。另外，目标区块Enxn所设定的预测模式的预测效果可暂存于存储装置803以供后续处理使用。

比较器807比较目标区块Enxn采用对照模式CM所产生预测图样与对照区块CBnxn的预测效果，如果目标区块Enxn采用对照模式CM所得的预测效果优于对照区块CBnxn的预测效果，则比较器807输出一高逻辑电平信号，并通知画面内预测核心计算模块805设定该对照模式CM为该目标区块Enxn的预测模式，并据以产生目标区块Enxn的预测图样。如果目标区块Enxn采用对照模式CM所得的预测效果不如对照区块CBnxn的预测效果，则比较器807输出一低逻辑电平信号以通知区块选择模块801自参考区块Anxn...Dnxn中选择另外一个作为对照区块CBnxn，以另外得到对照模式CM，并由画面内预测核心计算模块805重新判断目标区块Enxn采用另一对照模式CM产生预测图样的预测效果。如果参考区块Anxn...Dnxn尚有未被用来作为对照区块CBnxn，而比较器807尚未输出代表目标区块Enxn采用对照模式CM所得的预测效果优于对照区块CBnxn的高逻辑电平信号时，区块选择模块801将继续自参考区块Anxn...Dnxn中选取尚未被选取的区块以作为对照区块CBnxn，以另外得到对照模式CM。

当所有参考区块Anxn...Dnxn皆已选取完毕，但仍未得到目标区块Enxn采用对照模式CM所得的预测效果优于对照区块CBnxn的结果时，画面内预测核心计算模块805评估剩余未测试过的预测模式(参考区块Anxn...Dnxn所未采用的预测模式)对该目标区块Enxn的预测效果，并取最佳者为该目标区块Enxn的预测模式，以据以提供该目标区块Enxn的预测图样。此时，画面内预测核心计算模块805输出高电平的致能信号。另外，上述各区块的预测图样可组合成一预测画面706。图像画面702可由图像画面产生模块810提供，经减法器708根据预测画面706与图像画面702的差值产生误差画面710后，输入至逻辑装置809。

逻辑装置809包括或逻辑门811以及与逻辑门813。当或逻辑门811接收到高电平的致能信号或由比较器807接收到高逻辑电平信号(第二比较信号)时，输出高逻辑电平信号至与逻辑门813。与逻辑门813接收误差画面710，并于接收到或逻辑门811所输出的高逻辑电平信号时，输出误差画面710至数据压缩模块712，数据压缩模块712即压缩误差画面710以产生压缩数据。

前述画面内预测模式最佳化与图像压缩技术也可以其他变形实现。例如，图6所示步骤间可穿插其他的技术以更改善画面内预测模式最佳化、或图像压缩的效能。此外，以下权利要求书的范围的解读应当包含本技术领域人员以通知的等效技术所作的各种变形。

Claims (19)

1.一种画面内预测模式最佳化方法，用以设定一图像画面上一目标区块的预测模式，以得到该目标区块的预测图样，包括：

自该目标区块的多个参考区块中选择一个，作为一对照区块；

以该对照区块所采用的预测模式为一对照模式；以及

评比该对照模式下，该对照区块与该目标区块的预测效果，其中：

在该目标区块预测效果较佳时设定该对照模式为该目标区块的预测模式，以据以形成该目标区块的预测图样；以及

在该对照区块预测效果较佳时自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式且重复上述评比步骤。

2.如权利要求1所述的画面内预测模式最佳化方法，还包括：

待这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，分析该目标区块的原始图样的方向性，以设定该目标区块的预测模式，据以形成该目标区块的预测图样。

3.如权利要求1所述的画面内预测模式最佳化方法，还包括：

待这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，判断剩余的预测模式对该目标区块的预测效果，取最佳者为该目标区块的预测模式，据以形成该目标区块的预测图样。

4.如权利要求1所述的画面内预测模式最佳化方法，其中上述评比步骤包括：

采用一绝对误差总和运算评比该对照模式下该目标区块与该对照区块的预测效果。

5.如权利要求1所述的画面内预测模式最佳化方法，其中上述评比步骤包括：

采用一绝对转换误差总和运算评比该对照模式下该目标区块与该对照区块的预测效果。

6.如权利要求1所述的画面内预测模式最佳化方法，还包括：

暂存该目标区块所设定的预测模式的预测效果，供后续其他区块的画面内预测模式最佳化的上述评比步骤使用。

7.一种图像压缩方法，包括：

接收一图像画面；

产生该图像画面的一预测画面；

以该图像画面与该预测画面的差值为一误差画面；以及

压缩该误差画面，以供还原该图像画面时使用；

其中，上述产生该预测画面的步骤一一设定该图像画面上各区块的预测模式，据以产生各区块的预测图样，组合成上述预测画面，

其中，设定该图像画面各区块的预测模式的步骤包括：

令所处理的区块为一目标区块，且自该目标区块的多个参考区块中选择一个，作为一对照区块；

以该对照区块所采用的预测模式为一对照模式；以及

评比该对照模式下，该对照区块与该目标区块的预测效果，其中：

在该目标区块预测效果较佳时设定该对照模式为该目标区块的预测模式，据以形成该目标区块的预测图样；以及

在该对照区块预测效果较佳时自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式且重复上述评比步骤。

8.如权利要求7所述的方法，其中，如果处理中的上述目标区块的这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，分析该目标区块的原始图样的方向性，以设定该目标区块的预测模式，据以产生该目标区块的预测图样。

9.如权利要求7所述的方法，其中，如果处理中的上述目标区块的这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，判断剩余的预测模式对该目标区块的预测效果，取最佳者为该目标区块的预测模式，据以产生该目标区块的预测图样。

10.一种图像压缩装置，包括：

一画面内预测编码模块，接收一图像画面，设定该图像画面上各区块的预测模式，据以产生各区块的预测图样，并组合各该区块的预测图样以产生一预测画面，其中，该画面内预测编码模块于设定该图像画面各区块的预测模式时，令所处理的区块为一目标区块，且自该目标区块的多个参考区块中选择一个，作为一对照区块，并以该对照区块所采用的预测模式为一对照模式，且评比该对照模式下，该对照区块与该目标区块的预测效果，其中该画面内预测编码模块于该目标区块预测效果较佳时设定该对照模式为该目标区块的预测模式，据以形成该目标区块的预测图样，并于该对照区块预测效果较佳时自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式且重复评比该对照区块与该目标区块的预测效果；

一减法器，根据该图像画面与该预测画面的差值产生一误差画面；以及

一数据压缩模块，压缩该误差画面，以产生供还原该图像画面时使用的压缩数据。

11.如权利要求10所述的图像压缩装置，其中，如果处理中的上述目标区块的这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，该画面内预测编码模块分析该目标区块的原始图样的方向性，以设定该目标区块的预测模式，据以产生该目标区块的预测图样。

12.如权利要求10所述的图像压缩装置，其中，如果处理中的上述目标区块的这些参考区块全数被选择为上述对照区块过、但仍无法设定该目标区块的预测模式时，该画面内预测编码模块判断剩余的预测模式对该目标区块的预测效果，取最佳者为该目标区块的预测模式，据以产生该目标区块的预测图样。

13.如权利要求10所述的图像压缩装置，其中该画面内预测编码模块包括：

一区块选择模块，根据一第一比较信号，选取这些参考区块中的一个作为该对照区块；

一存储装置，存储这些参考区块在不同区块大小下，所对应的该预测模式以及该预测效果；

一画面内预测核心计算模块，评比该对照模式下，该该目标区块的预测效果，并根据该对照模式形成该目标区块的预测图样，或于这些参考区块全数被选择为上述对照区块过，但仍无法设定该目标区块的预测模式时，判断剩余的预测模式对该目标区块的预测效果，并取最佳者为该目标区块的预测模式，据以形成该目标区块的预测图样，并输出一致能信号；

一比较器，耦接于该存储装置以及该画面内预测核心计算模块之间，比较该参考区块以及该目标区块的预测效果，并于该参考区块的预测效果较佳时输出该第一比较信号，在该目标区块的预测效果较佳时输出一第二比较信号；以及

一逻辑装置，耦接于该减法器并接收该误差画面，并于接收到该致能信号或该第二比较信号时输出该误差画面至该数据压缩模块。

14.如权利要求13所述的图像压缩装置，其中该致能信号为高逻辑电平信号，该第一比较信号为低逻辑电平信号，而该第二比较信号为高逻辑电平信号。

15.如权利要求14所述的图像压缩装置，其中该逻辑装置包括：

一或逻辑门，当接收该致能信号以及该第二比较信号中的一个时，输出高逻辑电平信号；以及

一与逻辑门，接收该误差画面，并于接收到该或逻辑门所输出的高逻辑电平信号时，输出该误差画面至该数据压缩模块。

16.如权利要求13所述的图像压缩装置，其中该区块选择模块于接收到该第一比较信号时，自这些参考区块中选择另外一个作为上述对照区块，以另外得到上述对照模式。

17.如权利要求13所述的图像压缩装置，其中该画面内预测核心计算模块采用一绝对误差总和运算评比该对照模式下该目标区块与该对照区块的预测效果。

18.如权利要求13所述的图像压缩装置，其中该画面内预测核心计算模块采用一绝对转换误差总和运算评比该对照模式下该目标区块与该对照区块的预测效果。

19.如权利要求13所述的图像压缩装置，其中该目标区块所设定的预测模式的预测效果暂存于该存储装置。

Images