CN101340581B - 一种基于m算法的帧内预测模式选择方法及其实现装置 - Google Patents

Abstract

本发明公开了一种基于M算法的帧内预测模式选择方法及其装置，该装置包括依次连接的帧内预测装置、块模式代价计算与块重构装置，其特征在于：还包括用于存储重构图像缓冲数据与管理相邻像素与路径信息的数据管理装置、路径代价计算与预测模式选择装置。本发明的帧内预测模式选择方法通过应用M算法，实现块帧内预测模式的多路径全局搜索，从而降低块帧内预测模式最佳模式搜索陷入局部极小值的可能性。

Description

一种基于M算法的帧内预测模式选择方法及其实现装置

技术领域

本发明属于数字视频处理领域，涉及一种帧内预测模式选择方法与实现装置，特别是一种基于M算法的帧内预测模式选择方法及其实现装置。

背景技术

随着音视频产业的不断发展，国际上对于音视频编解码技术的要求也越来越高。视频编码技术演进至今，已出现了以MPEG-4 AVC/H.264为代表的视频编码技术国际标准，而我国则推出了音视频编码标准AVS(AdvancedAudio-Video Coding Standard in Information Technology，信息技术先进音视频编码)。这些音视频编码标准能在保持视频主观质量的条件下，对信息量极大的视频信号进行高效压缩，极大降低存储空间和网络带宽要求。

作为视频编码的重要组成部分，帧内编码通过利用图像在空间上的自相关性，除去视频中的信息冗余。为了进一步的提高帧内编码效率，各类先进视频编码标准中进一步的使用了帧内预测技术。帧内预测技术利用相邻像素的相关性，通过当前像素块的左边和上边已编码重建的像素对待编码像素进行预测，并只对实际值与预测值的差值进行编码，从而降低了编码后的比特数，提高编码效率。

H.264与AVS的帧内预测的基本思路是从不同方向计算像素亮度梯度，并计算具有最小代价的方向作为最佳的预测方向。现有的帧内预测模式选择方法将帧内预测分为两类，一类为整宏块帧内预测，宏块内部各像素点预测值不直接相关，例如H.264的16×16亮度帧内预测；一类为块帧内预测，例如AVS的8×8亮度帧内预测，宏块被分为多个块并逐个进行预测，前块的预测结果影响后块的预测。整宏块预测模式的代价通过宏块的相邻像素进行整宏块预测计算得到。而块帧内预测需要从宏块内的第一个待预测块开始，依次计算每一个块代价最小的模式，重构当前块，更新重构数据缓冲并在下一个块上重复此步骤直至宏块内所有块的块帧内预测模式均选择完成，计算顺序如图1所示，最后利用各个块的块帧内预测模式代价计算此块帧内预测模式的总代价。在完成各种块帧内预测模式的总代价的计算后，将其与各个整宏块预测模式的代价做比较，代价最小的预测模式为最佳的帧内预测模式。

如图2所示，现有的块帧内预测模式选择装置由四部分组成，包括重构数据缓冲与相邻管理装置，帧内预测装置，块模式代价计算与块重构装置以及模式代价计算与模式选择装置。其中，重构数据缓冲与相邻管理装置记录之前的编码过程中重构的图像数据以及所选择的块预测模式，生成当前预测块(4×4块或8×8块)的相邻像素与相邻模式，并将前者传送至帧内预测装置，后者传送至块模式代价计算与块重构装置。帧内预测装置根据相邻像素信息，计算出当前块可用的各种预测模式下预测图像数据，并将其传送至块模式代价计算与块重构装置。

块模式代价计算与块重构装置根据待编码图像以及来自帧内预测装置的预测图像计算各个帧内预测模式代价，并分别按各个预测模式重构图像。将重构图像传送至重构数据缓冲与相邻管理装置，将块模式代价传送至模式代价计算与模式选择装置。

模式代价计算与模式选择装置在块级与宏块级两个层次上工作。在依次计算各个块的块帧内预测模式的过程中，首先将各个块的b个块帧内预测模式做比较，求出最小值并据此决定当前块最佳的块帧内预测模式。当各个块的块帧内预测模式均已确定后，利用各个块帧内预测模式代价计算块帧内预测模式的总代价。在完成各种块帧内预测模式的总代价的计算后，将其与各个整宏块预测模式的代价做比较，代价最小的预测模式为最佳的帧内预测模式。

在现有的方法与实现装置中，预测模式的最优化通过逐块搜索当前块的最佳预测模式实现。然而由于帧内预测依赖于已编码与重构的数据，因而其当前块预测的模式代价依赖于之前块的预测模式。这意味着现有的单路径搜索方式虽然在搜索过程中各块都选择了局部极小代价，但整体代价却不一定是全局最小值，导致了性能损失。

具有树状结构的编码是现代通信技术的重要组成，如卷积码等常用网格编码可看做树状编码外，诸如非线性带宽受限信道中信号接收也可以看成此类问题。因而树状编码的解码问题是现代通信的基础技术。

所谓的树指编码的每个节点都有b个分支延伸，每个分支代表某种特定波形或者某一类码元的集合。在数据传输过程中，传输数据控制穿过树的路径，选择各个分支并逐级深入树中。相应的，树状编码的解码器试图在信号受到噪声干扰的情况下恢复正确数据的过程就转化为在树中搜索最可能的路径问题。为了解决这个问题，度量(metric)被用做表示可能性的量，因此在树中搜索最可能的路径问题也就转变为寻找穿过树最小度量的路径的问题。

根据搜素策略的不同，就产生了各类解码算法。其中，维特比算法(ViterbiAlgorithm)采用了穷举搜索的策略，因此通常是理论上最佳的，然而由于其穷举搜索的特性，在复杂编码以及联合解码-信道均衡的场合下往往过于复杂而无法实现。因此还有各类启发式解码算法用于适应各位其他的应用场合，例如堆栈算法、M算法、T算法以及桶算法等。在实际应用中，各类算法又可根据是否排序，以及根据广度优先、深度优先以及度量优先分类。

而M算法(M-algorithm)，就是其中一种常用的基于排序的广度优先搜索算法：M算法在检查树时，总是保留M条长度相同的幸存路径，而M条幸存路径在树上向下一级延伸时，会产生Mb条路径。M算法计算这Mb条路径的度量，并对其进行排序，从中选出M条度量最小的延伸后路径作为下一级的幸存路径。此一过程自树根开始不断重复，从而路径不断延伸。由于实际应用中树的深度可能非常大，因此通常指定一个深度，当此M条路径达到指定深度时即认为搜索告一段落，此时M条路径中具有最小度量的路径即被认为是此深度中最佳的路径。显然，M算法相比维特比算法是一种次最佳的算法，但低复杂度且便于硬件实现的特点仍使其得到广泛应用。

本发明建立于现有的帧内预测模式选择方法与实现装置基础之上，通过应用M算法，实现块帧内预测模式的多路径全局搜索，从而降低块帧内预测模式最佳模式搜索陷入局部极小值的可能性。

发明内容

本发明解决的技术问题是，降低宏块内部块帧内预测搜索陷入局部极值的概率，本发明提供了一种实现块帧内预测模式的方法及其实现装置，采用多路径全局搜索手段，提高帧内预测模式选择方法选择到块预测代价的全局最小的概率，从而提高编码性能。

为实现以上的发明目的，本发明是通过以下技术方案实现：

一种基于M算法的帧内预测模式选择装置，包括依次连接的帧内预测装置2、块模式代价计算与块重构装置3，其特征在于：还包括用于存储重构图像缓冲数据与管理相邻像素与路径信息的数据管理装置1和路径代价计算与预测模式选择装置4；其中，数据管理装置1第一输入端与路径代价计算与预测模式选择装置4的输出端连接，接收块预测模式信息和源路径号，其第二输入端与块模式代价计算与块重构装置3的第三输出端相连，接收重构图像数据；其第一输出端输出相邻像素至帧内预测装置2的第一输入端，其第二输出端输出相邻预测模式信息至块模式代价计算与块重构装置3的第二输入端，第三输出端输出路径编号至路径代价计算与预测模式选择装置4的第三输入端；帧内预测装置2的第一输入端与数据管理装置1的第一输出端相连，接收图像的相邻像素；其第一输出端输出经过计算的预测图像数据至与块模式代价计算与块重构装置3的第一输入端；块模式代价计算与块重构装置3的第一输入端与帧内预测装置2的第一输出端相连，接收预测图像数据，其第二输入端与数据管理装置1的第二输出端相连，接收图像的相邻预测模式信号，其第三输入端接初始编码图像；块模式代价计算与块重构装置3的第一、第二输出端分别输出模式代价数据、块预测模式信号至路径代价计算与预测模式选择装置4的第一、第二输入端，其第三输出端输出重构图像至数据管理装置1的第二输入端；路径代价计算与预测模式选择装置4第一、第二输入端分别与块模式代价计算与块重构装置3的第一、第二输出端对应相连，分别接收模式代价数据和块预测模式信号，其第三输入端与数据管理装置1的第三输出端相连，接收路径编号数据；其第一输出端块预测模式与源路径号信息至数据管理装置1的第一输入端。

所述的帧内预测装置2与块模式代价计算与块重构装置3为多路并行连接。所述的数据管理装置1存储M条路径的相邻像素与相邻预测模式。数据管理装置1可采用寄存器交换结构、回溯结构或二者的混合结构实现。

所述的采用寄存器交换结构的数据管理装置1，包括依次连接的

相邻更新装置，采用寄存器组与选择器网络，用于存储及更新M条路径的图像数据及相邻块预测模式数据；相邻缓冲寄存器，具有M组寄存器，分别用于存储对应于M条路径的来自块模式代价计算与块重构装置3第三输出端的重构图像数据，以及来自路径代价计算与模式选择装置4第一输出端的块模式选择数据；当前路径选择装置，用于在当前路径信息中选择当前路径及其对应的路径数据；相邻像素与块预测模式选择装置，用于从当前路径中挑选出当前块相邻像素信息与相邻块预测模式信息。

所述的帧内预测装置2，块模式代价计算与块重构装置3为多路并行连接结构时，每一路帧内预测装置2及块模式代价计算与块重构装置3分别具有各自对应的当前路径选择装置与相邻像素及块预测模式选择装置。

所述的采用回溯结构的数据管理装置1，包括依次连接路径选择历史缓冲装置，回溯逻辑装置以及相邻缓冲RAM；其中，

相邻缓冲RAM，用于存储对应于M条路径的来自块模式代价计算与块重构装置3第三输出端的重构图像数据，以及来自路径代价计算与模式选择装置4第一输出端的块模式选择数据；

所述的路径选择历史缓冲装置用于存储和更新路径选择信息，并发送至回溯逻辑装置；所述的回溯逻辑装置，用于回溯当前块数据的相邻块数据，得到当前块的块相邻像素及块相邻预测模式。

所述的回溯逻辑装置，具有一个或多个回溯逻辑单元，用于一次或多次回溯访问相邻缓冲RAM得到当前块具有的一个或一个以上的相邻块信息。采用回溯结构的数据管理装置1可通过复用方式实现与多个帧内预测装置、块模式代价计算与块重构装置之间的数据传输。

所述的路径代价计算与模式选择装置4用于计算块内路径代价或整宏块代价计算。所述的路径代价计算与模式选择装置4，包括依次连接的排序装置、路径度量寄存器、最小路径度量选取装置；同时，路径号与块模式寄存器的输入端与排序装置的一输出端相连，其中所述的排序装置，用于对M条路径的所有延伸路径度量进行排序，所述的路径度量寄存器，具有M组包含若干个寄存单元的寄存器，分别用于存储M条路径的当前路径度量数据。所述的排序装置可采用冒泡排序算法、插入排序算法及归并排序算法对路径度量进行排序。排序装置可实现完全排序或部分排序，可采用比较网络或排序网络实现对数据进行排序。

一种基于M算法的帧内预测模式选择方法，其特征在于：包括以下步骤，

A、生成当前预测块对应于M条路径的相邻像素与相邻预测模式信号；

B、根据生成的相邻像素信息，计算出各种预测模式所对应的预测图像数据；

C、根据编码图像与生成的预测图像，按照各个不同预测模式进行重构图像数据；

D、根据相邻预测模式信息，以及编码图像与生成的预测图像，计算各个预测模式代价；

E、根据模式代价、块预测模式信号及路径编号，计算路径代价，选出M条路径代价最小的路径信息；

F、根据选出的M条具有最小度量的路径对应的重构图像数据、块预测模式以及源路径号数据更新各条路径相邻像素与块帧内预测模式信息；

G、重复以上A至F步骤，直至各条路径均已达到终点，即沿M条路径的计算都已对宏块内的所有块完成，此时选出M条路径中具有最小度量的路径，并得到该宏块的帧内预测总代价。

H、若还有对应于其他块大小的块帧内预测模式，则重复以上A至G过程直至所有的块帧内预测总代价均已得到，然后将得到的块帧内预测总代价与各宏块帧内预测模式代价相比较，选出具有最小代价的帧内预测模式，从而确定宏块的最佳帧内预测模式。

所述的E步骤包括以下步骤，

E1、保留对应于第n块运算开始时M个路径度量Г_n-1(s_n-1，0)～Г_n-1(s_n-1，M-1)，并将每条路径的代价与来自块模式代价计算装置所对应的b个分支度量λ相加；

E2、将所获得的bM个延伸后的路径度量排序，并得到M个最小路径度量Г_n(s_n，0)～Г_n(s_n，M-1)及对应的留存路径；

E3、各新留存路径的源路径号，延伸分支所对应的块帧内预测模式信号以及被选中分支所对应的块重构图像数据被传送至数据管理装置1中，并更新留存路径。

所述的步骤A中，采用回溯结构的数据管理装置1输出各种模式下当前块的相邻像素与模式信息步骤如下：

A1、从当前路径的当前块，利用来自路径选择历史缓冲的路径跳转信息沿搜索树回溯至当前块的相邻块，并计算出其在相邻缓冲RAM中的地址；

A2、按地址访问相邻缓冲RAM并得到当前块对应于一个或多个相邻块的块相邻像素与块相邻预测模式；

A3、相邻像素信息输出至帧内预测模块，相邻块预测模式输出至块模式代价计算与块重构模块；

A4、重复以上过程直至当前块的所有相邻块的相邻像素与相邻块预测模式均已被输出。

所述的步骤F中，采用回溯结构的数据管理装置更新路径的相邻像素与块帧内预测模式信息步骤如下：

F1、将块图像数据与块模式选择信息存入相邻缓冲RAM中，存储方式取决于相邻缓冲RAM数据组织方式；可供选择的一种方式是将对应块数据按当前的路径顺序依次存储；

F2、将路径选择信息存入路径选择历史缓冲中，具体存储方式取决于相邻缓冲RAM数据组织方式，可选择按当前的路径顺序依次存储。

所述的步骤A中，采用寄存器交换结构的数据管理装置1输出各种模式下当前块的相邻像素与模式信息步骤如下：

A5、根据当前操作的路径，在相邻缓冲寄存器中选择选择当前计算的路径的相邻像素信息与相邻块预测模式信息；

A6、从当前路径的相邻像素信息与相邻块预测模式信息中挑选出当前计算块的相邻像素信息与相邻块预测模式信息。

所述的步骤F中，采用寄存器交换结构的数据管理装置更新路径的相邻像素与块帧内预测模式信息步骤如下：

F3、根据各新留存路径的源路径号，将源路径号对应的路径数据存入各新留存路径对应的寄存器中，寄存器数据组织方式决定路径数据和路经度量的存储位置；

F4、将对应各个新留存路径延伸分支的重构图像数据与块模式选择信息装入各新留存路径对应的寄存器中，寄存器数据组织方式决定路径数据和路径度量的存储位置。

附图说明

图1是H.264 4×4块帧内预测模式的块计算顺序示意图；

图2是现有块帧内预测模式选择装置结构示意图；

图3是现有亮度块帧内预测模式选择方法计算示意图，AVS 8×8亮度块模式帧内预测；

图4是本发明的帧内预测模式选择方法计算示意图，AVS 8×8亮度块模式帧内预测，其中M＝2；

图5是本发明的串行路径帧内模式选择装置结构示意图；

图6是本发明的并行路径帧内模式选择装置结构示意图；

图7是本发明中采用寄存器交换结构的数据管理装置结构示意图；

图8是本发明中采用回溯结构的数据管理装置结构示意图；

图9是现有模式代价计算与模式选择装置中的路径级部分结构示意图；

图10是现有重构数据缓冲与相邻管理装置结构示意图；

图11是本发明中的数据管理装置中的路径管理装置结构示意图；

图12是现有块模式代价计算与模式选择装置结构示意图；

图13是本发明中路径代价计算与模式选择装置结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明在H.264实时编码器上应用所述帧内模式选择方法流程与实现装置结构。

如图3所示，若将自首块开始各块可能的块帧内预测模式视作网格节点，那么块帧内预测模式选择的历史可以看做穿过网格的路径，出发自节点的分支即为块预测模式代价，模式选择方法即为在树中搜索具有最小度量Г，即块帧内预测模式的总代价最小路径的操作。现有的块帧内预测模式选择方法在搜索过程的每一步中选出当前最佳路径的b条个延伸分支中，分支度量λ，即块帧内预测模式代价最小的路径。并将其附加于当前最佳路径做为下一步骤的初始最佳路径。其中b为节点分支数，即为某块所有可能的帧内预测模式数。例如对于H.264的4×4帧内预测模式，b＝9；对于AVS的8×8帧内预测模式，b＝5(参考图3)。可见每一步骤中都只保留了当前局部最佳的分支，并丢弃了其余所有的分支。此过程极易于陷入局部极小。

本发明建立于现有的帧内预测模式选择方法与实现装置基础之上，通过应用M算法，实现块帧内预测模式的多路径全局搜索，从而降低块帧内预测模式最佳模式搜索陷入局部极小值的可能性。如图4，与现有的块帧内预测模式选择方法在仅保留一条路径的做法不同，所述帧内预测模式选择方法在块n的模式选择中除了保留1条代价最小的路径s_n，0以外，还额外的保留M-1条代价次小的路径s_n，i，i∈[1，M-1]。在每一步骤中，延伸M条路径产生bM条路径，分别计算每条延伸后路径的代价并对其排序，选出具有最小代价的M条路径作为下一步的最佳路径。

如图5，所述帧内预测模式选择装置主要由4部分组成，包括数据管理装置，帧内预测装置，块模式代价计算与块重构装置以及路径代价计算与模式选择装置。其中，帧内预测装置与块模式代价计算与块重构装置与现有帧内预测模式选择装置相同如图5所示。考虑到所述帧内预测模式选择方法需要计算更多的路径，因此可以添加更多相同的帧内预测装置，块模式代价计算与块重构装置以并行计算多条路径的方式提高速度，其结构如图6所示。

数据管理装置同时管理M条预测路径，并根据来自路径代价计算与模式选择装置的路径选择信息，控制M条路径更新为M条最佳的延伸后路径。数据管理装置可采用寄存器交换结构，其装置结构如图7所示；也可采用回溯结构，如图8所示，或此二者的混合结构管理路径的存储与更新。数据管理装置生成当前预测块对应于M条路径的相邻像素与相邻预测模式，并将其传送至各个帧内预测装置与块模式代价计算与块重构装置。

如图7所示，寄存器交换结构数据管理装置由4个装置组成，包括相邻更新，相邻缓冲寄存器，当前路径选择，相邻像素与块预测模式选择。其中相邻更新装置与相邻缓冲寄存器结合。相邻缓冲寄存器存储M条路径的块图像数据/块模式选择的相邻信息。相邻更新装置接收图像数据与相邻块预测模式的初始化数据并初始化相邻缓冲寄存器中M条路径相关的相邻信息，接收来自块模式代价计算与块重构装置的更新块图像数据、来自路径代价计算与模式选择装置的块模式选择数据与路径选择数据并更新相邻缓冲寄存器中M条路径相关的相邻信息。当前路径选择从相邻缓冲寄存器中选出对应当前路径的数据，并将其传送至相邻像素/块预测模式选择装置中。相邻像素/块预测模式选择装置从当前路径数据中选出当前块对应的相邻像素信息与相邻块预测模式。相邻像素信息被发送至帧内预测模块，相邻块预测模式被发送至块模式代价计算与块重构模块。若具有多个帧内预测装置/块模式代价计算与块重构装置并行计算多条路径，则每个帧内预测装置/块模式代价计算与块重构装置可具有各自对应的当前路径选择装置与相邻像素与块预测模式选择装置，或者共用较少数量的当前路径选择装置与相邻像素与块预测模式选择装置。

如图8所示，回溯结构数据管理装置由3个装置组成，包括路径选择历史缓冲，回溯逻辑以及相邻缓冲RAM。其中相邻缓冲RAM存储M条路径的块图像数据/块模式选择的相邻信息，在工作开始时按照图像数据与相邻块预测模式的初始化数据初始化，接收来自块模式代价计算与块重构装置的更新块图像数据、来自路径代价计算与模式选择装置的块模式选择数据并存入RAM中。路径选择历史缓冲记录来自路径代价计算与模式选择装置的路径选择信息，供回溯逻辑使用。回溯逻辑从当前路径的当前块，利用来自路径选择历史缓冲的路径跳转信息沿搜索树回溯至当前块的相邻块，并计算出其在相邻缓冲RAM中的地址，按地址访问相邻缓冲RAM并得到当前块的块相邻像素/块相邻预测模式。相邻像素信息被发送至帧内预测模块，相邻块预测模式被发送至块模式代价计算与块重构模块。一般的，当前块具有超过1个以上的相邻块，可以通过多次回溯逐个访问的方式实现，亦可通过特定的相邻缓冲RAM数据组织方式减少回溯与相邻缓冲RAM访问次数。回溯结构数据管理装置适合但不限制于配合单个帧内预测装置与块模式代价计算与块重构装置以串行方式计算多条路径。若具有多个帧内预测装置/块模式代价计算与块重构装置则可通过时分等方式复用。回溯逻辑可以使用但不限于直接回溯，寄存器交换等结构。

路径代价计算与模式选择装置在路径级与宏块级两个层次上工作。在块级上，路径代价计算与模式选择装置保留对应于第n个块计算开始时待更新的M个源路径度量Г_n-1(s_n-1，0)～Г_n-1(s_n-1，M-1)，并将每条路径的代价与来自帧内预测装置和块模式代价计算装置所对应的b个分支度量λ相加，将所获得的bM个延伸后路径的度量排序，并得到M个更新的最小路径度量Г_n(s_n，0)～Г_n(s_n，M-1)，其对应延伸后路径被保留，其余延伸路径被丢弃。新的M留存路径延伸自当前块开始计算时不超过M条的源路径，余下的不超过M-1条源路径没有延伸路径留存而被丢弃，请参考图4，路径s_1，1在计算中被丢弃，留存路径s_2，0与s_2，1全部延伸自s_1，0，各新留存路径的源路径号，延伸分支所对应的块帧内预测模式以及被选中分支所对应的块重构图像数据被传送至数据管理装置中，并更新留存路径。当各条路径均已达到终点，即沿M条路径的计算都已对宏块内的所有块完成后，此时具有最小度量的路径被选出。其路径度量用于计算此块帧内预测模式总代价。此后路径代价计算与模式选择装置完成与模式代价计算与模式选择装置相同的工作：将各宏块帧内预测模式代价相比较，选出具有最小代价的帧内模式，从而确定宏块的最佳帧内预测模式。

路径代价计算与模式选择装置路径级部分见图9，由排序或部分排序装置、路径度量寄存器、最小路径度量选取以及路径号与块模式寄存器构成。路径度量寄存器存储M条路径的当前路径度量。来自块模式代价计算与块重构的一个或多个模式代价值与所对应路径的当前路径度量相加生成延伸路径度量值，并送入排序/部分排序装置。排序或部分排序装置将M条路径的全部bM个延伸路径度量值排序或部分排序，得到最小的M个最佳度量值。在应用排序装置的情况下此M个值为有序的，在应用部分排序装置的情况下此M个值可能为无序的。对应的，数据管理装置中的路径管理可但不限于按照路径度量有序或无序。排序或部分排序装置排序中选择的结果传送至路径号与块预测模式寄存器，从输入数据的源路径号与块预测模式中选择出与此M个最佳度量值相对应的源路径号与块预测模式，并传送至数据管理装置。最小路径度量选取装置待全部路径全部块计算完成后从M个最佳度量值中选出最小值用于此块预测模式的总开销计算，当采用排序装置实现时可以无需使用最小路径度量选取装置。排序或部分排序装置可采用但不限于冒泡排序、插入排序及归并排序等各类排序算法，可采用但不限于比较网络或排序网络或其他的排序实现方式。

所述H.264实时编码器采用基于差平方和(SSD)的率失真率优化(RDO)模式选择，代价为J＝SSD+λ·Rate，其中λ为拉格朗日系数。如图3所示，应用串行的路径计算结构，路径数M＝3。块预测模式为4×4帧内预测。如图5所示，数据管理装置同时管理3条预测路径，并根据来自路径代价计算与模式选择装置的路径选择信息，控制3条路径更新为3条最佳的延伸后路径。视不同情况，数据管理装置可以采用如图7所示的寄存器交换结构，以及如图8所示的回溯结构或二者的混合结构管理路径的存储与更新。数据管理装置生成当前预测块对应于M条路径的相邻像素，并将其传送至帧内预测装置，帧内预测装置根据相邻像素信息，计算出各种模式所对应的预测图像数据，并将其传送至块模式代价计算与块重构装置。

块模式代价计算与块重构装置根据编码图像与来自帧内预测装置的预测图像以及外来的帧间预测数据计算各个帧内与帧间预测模式代价，并分别按各个预测模式重构图像。将重构图像传送至数据管理装置，将块模式代价传送至模式代价计算与模式选择装置。

路径代价计算与模式选择装置在路径级与宏块级两个层次上工作。在块级上，路径代价计算与模式选择装置保留对应于第n块运算开始时3个路径度量Г_n-1(s_n-1，0)～Г_n-1(s_n-1，M-1)，并将每条路径的代价与来自块模式代价计算装置所对应的9个分支度量λ相加，将所获得的27个延伸后的路径度量排序，并得到3个最小路径度量Г_n(s_n，0)～Г_n(s_n，2)及对应的留存路径。各新留存路径的源路径号，延伸分支所对应的块帧内预测模式以及被选中分支所对应的块重构图像数据被传送至数据管理装置中，并更新留存路径。当各条路径均已达到终点，即沿3条路径的计算都已对宏块内的所有块完成后，此时具有最小度量的路径被选出。其路径度量用于计算此块帧内预测模式总代价，将各宏块帧内预测模式代价相比较，选出具有最小代价的帧内模式，从而确定宏块的最佳帧内预测模式。

如图10所示，为原设计的重构数据缓冲与相邻管理装置，相邻像素与相邻预测模式信息保存于384bit的寄存器中；相邻更新逻辑完成开始工作前相邻信息的初始化工作以及各块计算后更新相邻像素数据；相邻选择装置从寄存器中选出当前块的相邻像素数据以及相邻块预测模式。前者发送至帧内预测装置，后者发送至块模式代价计算与块重构装置。

如图11所示为所述的数据管理装置中的路径级管理装置，由于需要同时管理3条路径，因此其具有三组寄存器与相邻更新装置，存储的三条路径按其度量排序，即有对于n∈[0，15]，Г_n(s_n，0)≤Г_n(s_n，1)≤Г_n(s_n，2)。增加的交换结构根据来自路径代价计算与模式选择装置的路径选择信息控制路径更新。增加的路径选择装置从三条路径中选出当前处理的路径提供至相邻选择，并生成块相邻输出。当前路径选择信息表示步骤n中路径s_n，0/s_n，1/s_n，2分别延伸自路径s_n-1，0/s_n-1，1/s_n-1，2中哪一条，交换结构将对应的原始路径交换至延伸后路径的存储位置，并由更新逻辑完成路径延伸。路径代价计算与模式选择装置保证s_1，0/s_1，1/s_1，2一定是延伸自s_0，0，因此对路径s_0，1/s_0，2的初始化是不必要的。

如图13所示，所述路径代价计算与模式选择装置使用优化后的冒泡排序，在逐次计算当前块对应于各路径各模式的代价过程中完成排序操作。由于需要逐次各条路径，因此除了记录块预测模式以外还需记录源路径编号。所述源路径编号即当前路径是延伸自哪条路径，三个源路径编号组成路径选择信息。

由一个宏块处理开始，所述帧内预测模式选择方法具有以下全局流程：

1.首先完成初始化操作：由数据管理装置根据来自外部行缓冲的宏块相邻数据初始化路径s₀。由路径代价计算与模式选择装置初始化各路径度量，Г₀(s_0，0)初始化为0或宏块基本语法元素代价，Г₀(s_0，1)与Г₀(s_0，2)初始化为大于Г_n上界的正值。

 2.初始化完成后开始依图1所示顺序依次计算各个块的预测模式总代价，此步可细分为以下步骤：

A.由路径代价计算与模式选择装置初始化各源路径号为0，初始化s₀对应排序中间寄存器为0，其余排序中间寄存器为大于Г_n上界的正值。

B.除第一块仅需计算路径s₀的9种4×4块帧内预测模式外，其余块均需计算s₀/s₁/s₂各9种共27个4×4块帧内预测模式。计算顺序不对计算结果产生影响。

●数据管理装置依次输出3条路径9种模式下当前块的相邻像素与模式信息。具体来说，通过对当前路径选择装置设定当前路径，对相邻像素与块预测模式选择装置设定当前块，从相邻缓冲寄存器中选出恰当的相邻数据。

●帧内预测装置计算对应的预测值。

●块模式代价计算与块重构装置完成对应的块重构，并根据基于SSD的RDO准则计算代价。

●路径代价计算与模式选择装置对各个路径度量值进行排序。对于本实施例，将数据逐个输入则比较网络即可自动完成排序。

重复以上过程直至当前决的全部路径与模式均计算完毕。

C.数据管理装置完成路径更新。具体而言，根据来自路径代价计算与模式选择装置三条留存路径的源路径号完成路径交换，再根据每条路径对应的的源路径号与块预测模式选出之前由块模式代价计算与块重构装置产生的重构结果，更新各条路径的相邻像素与相邻预测信息。

以上步骤ABC重复直至全部16个4×4决均已计算完成。

3.数据管理装置中，s_16，0所对应的块帧内预测模式历史即为4×4块帧内预测的最佳模式，共包含16个块预测模式。数据管理装置中路径度量Г₁₆(s_16，0)为其代价。

4.执行原预测模式选择步骤的其余部分。具体而言，将4×4块帧内预测最佳模式代价其加上宏块的其余基本语法元素代价，若步骤1中已加入则略过，与16×16帧内预测的4种模式代价以及帧间预测的各模式代价做比较，并确定最佳的宏块预测模式。

以上过程仅针对此实施例，当各组件装置采用不同结构时，整体步骤不变但步骤细节可能出现变化。例如采用回溯结构重构数据管理装置时，输出各种模式下当前块的相邻像素与模式信息步骤如下：

1.回溯逻辑从当前路径的当前块，利用来自路径选择历史缓冲的路径跳转信息沿搜索树回溯至当前块的相邻块，并计算出其在相邻缓冲RAM中的地址。

2.按地址访问相邻缓冲RAM并得到当前块对应于一个或多个相邻块的块相邻像素与块相邻预测模式。

3.将相邻像素信息输出至帧内预测模块，相邻块预测模式输出至块模式代价计算与块重构模块。

重复以上过程直至当前块的所有相邻块的相邻像素与相邻块预测模式均已被输出。

采用回溯结构数据管理装置时，完成路径更新步骤如下：

1.将块图像数据与块模式选择信息存入相邻缓冲RAM，具体存储方式取决于相邻缓冲RAM数据组织方式，本专利可供选择的一种方式是将对应块数据按当前的路径顺序依次存储。

2.按路径选择信息存入路径选择历史缓冲中，具体存储方式取决于相邻缓冲寄存器数据组织方式，本专利可供选择的一种方式是将M条延伸路径的源路径号按当前的路径顺序依次存储。

当在路径代价计算与模式选择装置中采用不同于本实现例的排序或部分排序算法以及实现结构时，可能会对排序或部分排序操作的中间结果产生影响，可能会对排序/部分排序操作所需的时间与硬件开销产生影响，但不影响当前块计算完成后留存路径与其度量值的选择结果，若采用部分排序的情况下其顺序可能改变，因而不会对整体步骤产生影响，除了以下的情况：采用部分排序的情况下在全局流程步骤3中需要对留存的M个路径度量值进行比较以确定最小路径度量，此步骤在采用排序时不必要。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种基于M算法的帧内预测模式选择装置，包括依次连接的帧内预测装置(2)、块模式代价计算与块重构装置(3)，其特征在于：还包括用于存储重构图像缓冲数据与管理相邻像素与路径信息的数据管理装置(1)和路径代价计算与预测模式选择装置(4)；其中，

数据管理装置(1)第一输入端与路径代价计算与预测模式选择装置(4)的输出端连接，接收块预测模式信息和源路径号，其第二输入端与块模式代价计算与块重构装置(3)的第三输出端相连，接收重构图像数据；其第一输出端输出相邻像素至帧内预测装置(2)的第一输入端，其第二输出端输出相邻预测模式信息至块模式代价计算与块重构装置(3)的第二输入端，第三输出端输出路径编号至路径代价计算与预测模式选择装置(4)的第三输入端；

帧内预测装置(2)的第一输入端与数据管理装置(1)的第一输出端相连，接收图像的相邻像素；其第一输出端输出经过计算的预测图像数据至与块模式代价计算与块重构装置(3)的第一输入端；

块模式代价计算与块重构装置(3)的第一输入端与帧内预测装置(2)的第一输出端相连，接收预测图像数据，其第二输入端与数据管理装置(1)的第二输出端相连，接收图像的相邻预测模式信号，其第三输入端接初始编码图像；块模式代价计算与块重构装置(3)的第一、第二输出端分别输出模式代价数据、块预测模式信号至路径代价计算与预测模式选择装置(4)的第一、第二输入端，其第三输出端输出重构图像至数据管理装置(1)的第二输入端；

路径代价计算与预测模式选择装置(4)第一、第二输入端分别与块模式代价计算与块重构装置(3)的第一、第二输出端对应相连，分别接收模式代价数据和块预测模式信号，其第三输入端与数据管理装置(1)的第三输出端相连，接收路径编号数据；其第一输出端块预测模式与源路径号信息至数据管理装置(1)的第一输入端。

2.如权利要求1所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的帧内预测装置(2)与块模式代价计算与块重构装置(3)为多路并行连接。

3.如权利要求1所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的数据管理装置(1)存储M条路径的相邻像素与相邻预测模式。

4.如权利要求1所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的数据管理装置(1)可采用寄存器交换结构、回溯结构或二者的混合结构实现。

5.如权利要求4所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的采用寄存器交换结构的数据管理装置(1)，包括依次连接的

相邻更新装置，采用寄存器组与选择器网络，用于存储及更新M条路径的图像数据及相邻块预测模式数据；

相邻缓冲寄存器，具有M组寄存器，分别用于存储对应于M条路径的来自块模式代价计算与块重构装置(3)第三输出端的重构图像数据，以及来自路径代价计算与模式选择装置(4)第一输出端的块模式选择数据；

当前路径选择装置，用于在当前路径信息中选择当前路径及其对应的路径数据；

相邻像素与块预测模式选择装置，用于从当前路径中挑选出当前块相邻像素信息与相邻块预测模式信息。

6.如权利要求1或2所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的帧内预测装置(2)，块模式代价计算与块重构装置(3)为多路并行连接结构时，每一路帧内预测装置(2)及块模式代价计算与块重构装置(3)分别具有各自对应的当前路径选择装置与相邻像素及块预测模式选择装置。

7.如权利要求4所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的采用回溯结构的数据管理装置(1)，包括依次连接路径选择历史缓冲装置，回溯逻辑装置以及相邻缓冲RAM；其中，

相邻缓冲RAM，用于存储对应于M条路径的来自块模式代价计算与块重构装置(3)第三输出端的重构图像数据，以及来自路径代价计算与模式选择装置(4)第一输出端的块模式选择数据；

所述的路径选择历史缓冲装置用于存储和更新路径选择信息，并发送至回溯逻辑装置；

所述的回溯逻辑装置，用于回溯当前块数据的相邻块数据，得到当前块的块相邻像素及块相邻预测模式。

8.如权利要求7所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的回溯逻辑装置，具有一个或多个回溯逻辑单元，用于一次或多次回溯访问相邻缓冲RAM得到当前块具有的一个或一个以上的相邻块信息。

9.如权利要求7所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的采用回溯结构的数据管理装置(1)可通过复用方式实现与多个帧内预测装置、块模式代价计算与块重构装置之间的数据传输。

10.如权利要求1所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的路径代价计算与模式选择装置(4)用于计算块内路径代价或整宏块代价计算。

11.如权利要求1或10所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的路径代价计算与模式选择装置(4)，包括依次连接的排序装置、路径度量寄存器、最小路径度量选取装置；同时，路径号与块模式寄存器的输入端与排序装置的一输出端相连，其中

所述的排序装置，用于对M条路径的所有延伸路径度量进行排序，

所述的路径度量寄存器，具有M组包含若干个寄存单元的寄存器，分别用于存储M条路径的当前路径度量数据。

12.如权利要求11所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的排序装置可采用冒泡排序算法、插入排序算法及归并排序算法对路径度量进行排序。

13.如权利要求1所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的排序装置可实现完全排序或部分排序。

14.如权利要求12所述的一种基于M算法的帧内预测模式选择装置，其特征在于：所述的排序装置可采用比较网络或排序网络实现对数据进行排序。

15.一种基于M算法的帧内预测模式选择方法，其特征在于：包括以下步骤，

A、生成当前预测块对应于M条路径的相邻像素与相邻预测模式信号；

B、根据生成的相邻像素信息，计算出各种预测模式所对应的预测图像数据；

C、根据编码图像与生成的预测图像，按照各个不同预测模式进行重构图像数据；

D、根据相邻预测模式信息，以及编码图像与生成的预测图像，计算各个预测模式代价；

E、根据模式代价、块预测模式信号及路径编号，计算路径代价，选出M条路径代价最小的路径信息；

F、根据选出的M条具有最小度量的路径对应的重构图像数据、块预测模式以及源路径号数据更新各条路径相邻像素与块帧内预测模式信息；

G、重复以上A至F步骤，直至各条路径均已达到终点，即沿M条路径的计算都已对宏块内的所有块完成，此时选出M条路径中具有最小度量的路径，并得到该宏块的帧内预测总代价；

H、若还有对应于其他块大小的块帧内预测模式，则重复以上A至G过程直至所有的块帧内预测总代价均已得到，然后将得到的块帧内预测总代价与各宏块帧内预测模式代价相比较，选出具有最小代价的帧内预测模式，从而确定宏块的最佳帧内预测模式。

16.如权利要求15所述的一种基于M算法的帧内预测模式选择方法，其特征在于：所述的E步骤包括以下步骤，

E1、保留对应于第n块运算开始时M个路径度量Γ_n-1(s_n-1，0)～Γ_n-1(s_n-1，M-1)，并将每条路径的代价与来自块模式代价计算装置所对应的b个分支度量λ相加；

E2、将所获得的bM个延伸后的路径度量排序，并得到M个最小路径度量Γ_n(s_n，0)～Γ_n(s_n，M-1)及对应的留存路径；

E3、各新留存路径的源路径号，延伸分支所对应的块帧内预测模式信号以及被选中分支所对应的块重构图像数据被传送至数据管理装置(1)中，并更新留存路径。

17.如权利要求15所述的一种基于M算法的帧内预测模式选择方法，其特征在于：所述的步骤A中，采用回溯结构的数据管理装置(1)输出各种模式下当前块的相邻像素与模式信息步骤如下：

A1、从当前路径的当前块，利用来自路径选择历史缓冲的路径跳转信息沿搜索树回溯至当前块的相邻块，并计算出其在相邻缓冲RAM中的地址；

A2、按地址访问相邻缓冲RAM并得到当前块对应于一个或多个相邻块的块相邻像素与块相邻预测模式；

A3、相邻像素信息输出至帧内预测模块，相邻块预测模式输出至块模式代价计算与块重构模块；

A4、重复以上过程直至当前块的所有相邻块的相邻像素与相邻块预测模式均已被输出。

18.如权利要求15所述的一种基于M算法的帧内预测模式选择方法，其特征在于：所述的步骤F中，采用回溯结构的数据管理装置更新路径的相邻像素与块帧内预测模式信息步骤如下：

F1、将块图像数据与块模式选择信息存入相邻缓冲RAM中，存储方式取决于相邻缓冲RAM数据组织方式；可供选择的一种方式是将对应块数据按当前的路径顺序依次存储；

F2、将路径选择信息存入路径选择历史缓冲中，具体存储方式取决于相邻缓冲RAM数据组织方式，可选择按当前的路径顺序依次存储。

19.如权利要求15所述的一种基于M算法的帧内预测模式选择方法，其特征在于：所述的步骤A中，采用寄存器交换结构的数据管理装置(1)输出各种模式下当前块的相邻像素与模式信息步骤如下：

A5、根据当前操作的路径，在相邻缓冲寄存器中选择当前计算的路径的相邻像素信息与相邻块预测模式信息；

A6、从当前路径的相邻像素信息与相邻块预测模式信息中挑选出当前计算块的相邻像素信息与相邻块预测模式信息。

20.如权利要求15所述的一种基于M算法的帧内预测模式选择方法，其特征在于：所述的步骤F中，采用寄存器交换结构的数据管理装置(1)更新路径的相邻像素与块帧内预测模式信息步骤如下：

F3、根据各新留存路径的源路径号，将源路径号对应的路径数据存入各新留存路径对应的寄存器中，寄存器数据组织方式决定路径数据和路经度量的存储位置；

F4、将对应各个新留存路径延伸分支的重构图像数据与块模式选择信息装入各新留存路径对应的寄存器中，寄存器数据组织方式决定路径数据和路径度量的存储位置。

Images