CN104731519A - 快取存储器管理装置及应用该快取存储器管理装置的动态影像系统及方法 - Google Patents

Abstract

本发明提供一种应用于动态影像的信号处理系统，其中包含一信号处理模块、一快取存储器、一分析模块及一控制模块。该信号处理模块用以针对一动态影像数据进行一信号处理程序。该快取存储器用以暂存该信号处理程序于处理该动态影像数据时所需要的一参考数据。该分析模块用以产生相关于该信号处理程序及该快取存储器的一快取错失分析信息。该控制模块用以根据该快取错失分析信息决定该快取存储器的一索引内容分配方式。

Description

快取存储器管理装置及应用该快取存储器管理装置的动态影像系统及方法

技术领域

本发明与快取存储器(cache)的管理技术相关，并且尤其与以降低快取错失(cache-miss)为目标的管理技术相关。

背景技术

在计算机系统中，快取存储器被用以暂存处理器近期内刚使用过或将可能使用的少量数据。相较于容量较大的主存储器，快取存储器存取数据的速度较快，但硬件价格较高。一般而言，主存储器是利用动态随机存取记忆器(dynamicrandom access memory,DRAM)实现，而快取存储器是利用静态随机存取记忆器(static random access memory,SRAM)实现。在需要某一笔特定数据时，处理器会先至快取存储器中寻找，并且在无法寻得该笔数据的情况下，才转至主存储器中寻找。

快取存储器包含多个快取列(cache line)，用以储存自主存储器撷取来的数据内容。每一个快取列有各自的卷标(tag)、索引(index)和偏移量(offset)。各快取列所储存的数据原本在主存储器中的地址会被分散至卷标、索引和偏移量这三个字段中储存。图1以使用快取存储器储存视讯数据的情况为例，呈现上述三种字段的内容的实际范例。于此范例中，每一快取列内可储存一影像区块；各影像区块的地址包含该影像区块在所属画面中于水平、垂直两方向的起始位置坐标，各以二进制的十二个位表示为：x[11:0]、y[11:0]。此外，偏移量字段共包含五个位(x[4:0])，表示每一个快取列能储存某画面中位于同一水平线的32(=2⁵)个连续像素的影像数据。举例而言，若单一个像素的影像数据大小为八位，且偏移量字段包含五个位，则每一个快取列的容量为256(=8*32)位。

由图1可看出，水平起始位置的坐标x[11:0]被拆分为x[11:7]、x[6:5]、x[4:0]三个部分，分别存入卷标、索引和偏移量等三个字段中。x[11:7]代表坐标x[11:0]中的五个最高有效位，x[4:0]代表坐标x[11:0]中的五个最低有效位，x[6:5]则是代表坐标x[11:0]中的其余两个中间位。另一方面，垂直起始位置的坐标y[11:0]被拆分为y[11:6]、y[5:0]两个部分，分别存入卷标、索引这两个字段中。如图1所示，本范例中的卷标字段还储存了用以标示一影像区块所属画面的时间顺序的时间坐标，以二进制的六个位表示为t[5:0]。将卷标、索引和偏移量三个字段的内容组合起来，处理器便能得出该影像区块的完整地址信息。

快取存储器的大小通常相当有限，无法同时容纳一画面中的所有影像区块。以直接映像(direct map)快取存储器为例，只要是索引字段内容相同的影像区块，自主存储器被撷取至快取存储器时，就会被存入同一个快取列。就图1绘示的范例而言，索引字段共包含八个位，因此其内容有256(=2⁸)种可能性(00000000～11111111)，也表示此快取存储器共包含256个快取列。举例而言，即使两个影像区块A、B的地址的其它部分(x、y、t)不同，只要其地址的y[5:0]、x[6:5]等八个位为00101100，这两个影像区块A、B都会被设定为存入索引为00101100的快取列。实务上，若影像区块A先前已被储存在该快取列中，处理器将影像区块B写入时会覆盖掉影像区块A的数据。

同一快取列被用以储存影像区块A时和被用以储存影像区块B时，其标签字段的内容不同。在快取存储器中寻找一笔目标数据时，处理器首先根据索引找出相对应的快取列，并判断其正确性字段的内容是否表示该快取列的内容数据无误。随后，处理器必须判断其标签字段的内容是否亦与目标数据的地址相符。唯有在卷标和索引皆符合的情况下，才能称为快取命中(cache hit)，否则即为快取错失(cache miss)。若发生快取错失的情况，处理器必须改由主存储器撷取目标数据，并将该目标数据存入相对应的快取列中供后续使用。

在动态影像译码系统中，快取存储器时常被用来暂存移动补偿(motioncompensation)程序所需要的参考画面。移动补偿是一种被广泛应用在动态影像压缩领域的技术。待编码的画面被分割为多个大小相同(例如16像素*16像素)的影像区块。针对各个影像区块，编码器会从参考画面中找出一个最相似的参考区域，并判断一影像区块及其相对应的参考区域间的移动向量。除了移动向量外，编码器还会判断一影像区块及其相对应的参考区域间的影像内容差异，称为冗余量(residual)。经过编码后的影像区块以其移动向量和冗余量表示。相对应地，译码端的移动补偿程序必须根据移动向量、冗余量以及参考画面重建出各个影像区块的完整内容。

为了进一步提升压缩效果，近年来有许多移动补偿标准开始采用多张参考画面(multiple reference picture)移动补偿程序，也就是令编码器得以自多张参考画面(例如目前影像区块所属画面的前后各五张画面)中寻找最佳移动向量和冗余量。因此，将同一画面中的不同影像区块译码时，处理器可能需要分别将多张参考画面的内容自主存储器撷取至快取存储器。图2呈现一种多张参考画面的画面相对关系范例。第N、(N-1)、(N-2)张画面在动态影像中的时序相邻。假设第N张画面内的影像区块A1以第(N-1)张画面内的参考区块R1为基础被编码，而第N张画面内的影像区块A2以第(N-2)张画面内的参考区块R2为基础被编码。首先，在将影像区块A1译码的过程中，处理器会将参考区块R1撷取至快取存储器中。接着，在将影像区块A2译码的过程中，处理器会将参考区块R2撷取至快取存储器中。

由图2可看出，虽然时间坐标不同，但参考区块R1在第(N-1)张画面中的起始位置坐标与参考区块R2在第(N-2)张画面中的起始位置坐标完全相同。根据现行的快取存储器映像组态(例如图1呈现者)，参考区块R1、R2被设定为存入同样的快取列。在一个或多个快取列中储存着参考区块R1的情况下，无法自快取存储器搜寻到参考区块R2的处理器会判定出现快取错失的情况，因此会自主存储器将参考区块R2撷取至快取存储器，覆写原本储存在该一个或多个快取列中的参考区块R1。若随后第N张画面内的另一个影像区块(例如A3)同样是以第(N-1)张画面内的参考区块R1为基础被编码，快取错失的情况会再次发生，使得解码端处理器必须重新自主存储器将参考区块R1撷取至快取存储器，覆写参考区块R2。

如本发明所属技术领域中具有通常知识者所知，快取错失率愈高，系统的整体效能愈差。经仿真实验证明，若采用现行的快取存储器映像组态，在译码端进行多张参考画面移动补偿程序时，常常会出现快取错失率偏高的问题。

发明内容

为解决上述问题，本发明提出一种新的快取存储器管理概念，以及应用该快取存储器管理概念的信号处理系统、信号处理方法。藉由找出快取错失的根本原因(root cause)，并据此动态、适性地调整快取存储器的索引内容分配方式，根据本发明的管理装置、信号处理系统和信号处理方法能降低快取错失率。本发明的概念不仅可应用在采用多张参考画面移动补偿程序的译码端，亦可被广泛使用于多种需要以快取存储器暂存数据的信号处理系统、信号处理方法中。

根据本发明的一具体实施例为一种应用于动态影像的信号处理系统，其中包含一信号处理模块、一快取存储器、一分析模块及一控制模块。该信号处理模块用以针对一动态影像数据进行一信号处理程序。该快取存储器用以暂存该信号处理程序处理该动态影像数据时所需要的一参考数据。该分析模块用以产生有关该信号处理程序以及该快取存储器的一快取错失分析信息。该控制模块用以根据该快取错失分析信息决定该快取存储器的一索引内容分配方式。

根据本发明的另一具体实施例为一种信号处理方法。首先，一动态影像数据被施以一信号处理程序。该信号处理程序利用一快取存储器暂存处理该动态影像数据时所需要的一参考数据。接着，该信号处理方法执行一分析步骤，产生有关该信号处理程序及该快取存储器的一快取错失分析信息。随后，根据该快取错失分析信息，该快取存储器的一索引内容分配方式被决定。

根据本发明的另一具体实施例为一种快取存储器管理装置，其中包含一分析模块与一控制模块。一快取存储器用以暂存于处理一数据时所需要的一参考数据。该分析模块用以产生于处理该数据时与该快取存储器相关的一快取错失分析信息。该控制模块用以根据该快取错失分析信息决定该快取存储器的一索引内容分配方式。

关于本发明的优点与精神可以藉由以下发明详述及所附图式得到进一步的了解。

附图说明

图1以使用快取存储器储存视讯数据的情况为例，呈现卷标、索引和偏移量三种字段的内容的实际范例。

图2呈现一种多张参考画面的画面相对关系范例。

图3A为根据本发明的一实施例中的信号处理系统与快取存储器管理装置的功能方块图。

图3B呈现根据本发明的分析模块的一种详细实施范例。

图4A和图4B呈现一种改变卷标/索引内容分配方式的范例。

图5呈现根据本发明的分析模块的另一种详细实施范例。

图6A和图6B呈现另一种改变卷标/索引内容分配方式的范例。

图7为根据本发明的一实施例中的信号处理方法的流程图。

具体实施方式

合先叙明，以下所谓本发明用以指称该等实施例所呈现的发明概念，但其涵盖范畴并未受限于该等实施例本身。

根据本发明的一具体实施例为一种快取存储器管理装置，其所配合的一快取存储器用以暂存于处理一数据时所需要的一参考数据。该快取存储器管理装置中包含一分析模块与一控制模块。该分析模块用以产生于处理该数据时与该快取存储器相关的一快取错失分析信息。该控制模块用以根据该快取错失分析信息决定该快取存储器的一索引内容分配方式。此快取存储器管理装置的一应用范例的功能方块图绘示于图3A。

于图3A呈现的范例中，快取存储器管理装置36包含一分析模块361与一控制模块362，并用以管理包含于一信号处理系统300中的快取存储器34。除了快取存储器34之外，应用于动态影像的信号处理系统300还包含一信号处理模块32与一主存储器33。实务上，信号处理系统300和快取存储器管理装置36可被整合在各种电子设备(例如行动电话、计算机、电视、机上盒)中，亦可独立存在。

信号处理模块32用以针对一动态影像数据进行一信号处理程序，例如针对待译码的动态影像中的影像区块进行移动补偿程序。以下说明主要以该信号处理程序为一译码端于重建画面时进行的移动补偿程序为例，但本发明的范畴不以此为限。须说明的是，移动补偿程序本身的实施细节(例如如何根据移动向量、冗余量和参考画面重建完整影像区块)为本发明所属技术领域中具有通常知识者所知，于此不赘述。

在移动补偿程序中，快取存储器34用以暂存重建影像区块时所需要的相关参考画面(例如图2中的参考区块R1、R2)，也就是在编码端据以产生移动向量及冗余量的比对基础。当信号处理模块32在快取存储器34中无法寻得需要的参考画面，亦即出现所谓的快取错失(cache miss)时，才会转而前往主存储器33寻找该参考画面。一张完整的画面通常包含许多个影像区块。在重建一张画面的移动补偿程序中，必然会出现一些快取错失的情况。分析模块361用以产生有关该移动补偿程序与快取存储器34的一快取错失分析信息。随后，控制模块362将根据该快取错失分析信息决定快取存储器34的索引内容分配方式。

图3B进一步呈现分析模块361的一种详细实施范例。于此范例中，分析模块361利用计数器对移动补偿程序中发生的快取错失进行一统计程序。以信号处理模块32所执行的移动补偿程序为单张参考画面移动补偿程序的情况为例，可能出现的快取错失至少可分为水平错位错失和垂直错位错失两大类。在快取存储器34中寻找一笔目标数据时，信号处理模块32可首先根据索引找出相对应的快取列，并判断其正确性字段的内容是否表示该快取列的内容数据无误。随后，信号处理模块32必须判断其卷标字段的内容是否亦与目标数据的地址相符。若信号处理模块32发现索引相符但卷标不符，分析模块361可根据目标卷标内容(亦即欲寻找的目标影像区块对应于卷标字段的地址内容)与该快取列的实际标签内容间的差异判断这次的快取错失种类。举例而言，若两标签内容中对应于垂直坐标y的部份完全相同，但对应于水平坐标x的部份有差异，分析模块361可判定这次的快取错失为水平错位错失。相似地，若两标签内容中对应于水平坐标x的部份完全相同，但对应于垂直坐标y的部份有差异，分析模块361可判定这次的快取错失为垂直错位错失。

水平计数器361A用以累计在对一张或多张画面进行移动补偿程序的过程中，总共出现几次水平错位错失。垂直计数器361B则用以累计在同一段时间的移动补偿程序中，总共出现几次垂直错位错失。实务上，一快取错失可能同时兼有水平错位错失和垂直错位错失两种特性。分析模块361的设计者可自行决定要如何归类这种快取错失。举例而言，在水平错位程度高于垂直错位程度的情况下，可将这种快取错失归类为水平错位错失。或者，亦可根据水平错位、垂直错位的比例，在两个计数结果中分别计入一非整数值。在累积一段时间的计数结果后，分析模块361便可将信号处理程序中发生次数最多的是哪一种快取错失，做为快取错失分析信息提供给控制模块362。

假设快取存储器34原本的卷标/索引内容分配方式如图4A所示。若发生垂直错位错失的次数较多的情况，控制模块362可减少索引字段中包含的水平坐标位数(例如由两位的x[6:5]缩减为一位的x[5])，并增加索引字段中包含的垂直坐标位数(例如由六位的y[5:0]提高为七位的y[6:0])。图4B呈现改变后的一种卷标/索引内容分配方式范例。如图4B所示，标签字段的内容分配方式会相对应地改变，水平坐标由五位的x[11:7]被调整为六位的x[11:6]，而垂直坐标由六位的x[11:6]被调整为五位的x[11:7]。比较图4A和图4B可看出，在这个范例中，卷标字段内容的总位数、索引字段内容的总位数，以及影像区块地址的总位数都是不变的。相较于图4A呈现的卷标/索引内容分配方式，采用图4B提供的卷标/索引内容分配方式能让快取存储器34于同一时间容纳更多水平坐标相同但垂直坐标不同的参考数据，藉此降低发生垂直错位错失的机率。相对地，若水平错位错失的次数较多，控制模块362可减少索引字段中包含的垂直坐标位数，并增加索引字段中包含的水平坐标位数。于一实施例中，若发生次数最多的快取错失有别于先前一次的一快取错失分析分析信息所指出者，控制模块362便可相对应地改变快取存储器24的索引内容分配方式。

另一方面，若信号处理模块32所执行的移动补偿程序为多张参考画面移动补偿程序的情况，可能出现的快取错失至少可分为水平错位错失、垂直错位错失、时间错位错失三大类。所谓时间错位错失是指索引相符但卷标字段的时间坐标内容不符。如图5所示，在这个情况下，分析模块361可包含三个分别累计不同错失的计数器：水平计数器361A、垂直计数器361B、时间计数器361C。水平计数器361A用以累计在对一张或多张画面进行移动补偿程序的过程中，总共出现几次水平错位错失。垂直计数器361B用以累计在同一段时间的移动补偿程序中，总共出现几次垂直错位错失。时间计数器361C则用以累计在同一段时间的移动补偿程序中，总共出现几次垂直错位错失。假设快取存储器34的索引字段包含N位的水平位置信息、R位的垂直位置信息、P位的时间信息；N、R、P各自为一自然数。控制模块362可根据分析模块361提供的快取错失分析信息改变N、R、P中的至少两个数值，并且令N、R、P的总和不变。假设快取存储器34原本的卷标/索引内容分配方式如图6A所示。若时间错位错失的次数较多，控制模块362可减少卷标字段中包含的时间坐标位数，并于索引字段中增加时间坐标位数，藉此让快取存储器34于同一时间容纳更多时间坐标不同的参考数据。改变后的卷标/索引内容分配方式范例如图6B所示。在这个情况下，快取存储器34中可同时容纳两组时间坐标不同的参考数据。

于实际应用中，分析模块361和控制模块362可重复执行其分析、选择性调整快取存储器组态的工作。举例而言，每当信号处理模块32完成一张完整画面的信号处理程序后，分析模块361与控制模块362便再次评估是否改变快取存储器34的索引内容分配方式。

虽然以上实施例都是以直接映像快取存储器为例，本发明所属技术领域中具有通常知识者能理解，本发明的概念亦可被推广至M-向(M-way)快取存储器(M为大于一的正整数)。举例而言，根据本发明的控制模块可同时改变该M组快取存储器的卷标/索引内容分配方式。此外，本发明所属技术领域中具有通常知识者可理解，快取存储器管理装置36的应用范围不限于上述配合移动补偿程序的情况。

根据本发明的另一具体实施例为一种应用于动态影像的信号处理方法，其流程图绘示于图7。首先，步骤S71为选择一快取存储器的预设索引内容分配方式。步骤S72则是根据最新选择的索引内容分配方式设定该快取存储器。步骤S73为针对一动态影像数据进行一信号处理程序。该信号处理程序利用该快取存储器暂存于处理该动态影像数据时所需要的一参考数据。接着，步骤S74为产生有关该信号处理程序及该快取存储器的一快取错失分析信息。步骤S75为判断刚刚在步骤S73中接收处理的是否为最后一笔待处理的动态影像数据。若步骤S75的判断结果为是，则此流程结束。相对地，若步骤S75的判断结果为否，则步骤S76会被执行，也就是根据该快取错失分析信息决定快取存储器的索引内容分配方式。随后，步骤S72～步骤S75被重复执行。先前在介绍信号处理系统300和快取存储器管理装置36时描述的各种操作变化(例如改变快取存储器的索引内容分配方式的方式)亦可应用至图7中的信号处理方法，其细节不再赘述。

如上所述，本发明提出一种新的快取存储器管理概念，以及应用该快取存储器管理概念的信号处理系统、信号处理方法。藉由找出快取错失的根本原因，并据此动态、适性地调整快取存储器的索引内容分配方式，根据本发明管理装置、信号处理系统和信号处理方法能降低快取错失率。本发明的概念不仅可应用在采用多张参考画面移动补偿程序的译码端，亦可被广泛使用于多种需要以快取存储器暂存数据的信号处理系统、信号处理方法中。

藉由以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的专利范围的范畴内。

Claims (17)

1.一种应用于动态影像的信号处理系统，包含：

信号处理模块，用以针对动态影像数据进行信号处理程序；

快取存储器，用以暂存该信号处理程序于处理该动态影像数据时所需要的参考数据；

分析模块，用以产生有关该信号处理程序以及该快取存储器的快取错失分析信息；以及

控制模块，用以根据该快取错失分析信息决定该快取存储器的索引内容分配方式。

2.如权利要求1所述的信号处理系统，其特征在于，该信号处理程序包含译码端于重建画面时进行的画面移动补偿程序。

3.如权利要求2所述的信号处理系统，其特征在于，该画面移动补偿程序为多张参考画面移动补偿程序。

4.如权利要求3所述的信号处理系统，其特征在于，该分析模块针对于该信号处理程序中发生的多个快取错失进行统计程序，且该快取错失分析信息指出于该信号处理程序中发生次数最多的一种快取错失为水平错位错失、垂直错位错失或时间错位错失；若发生次数最多的该种快取错失有别于先前一次的快取错失分析分析信息所指出者，则该控制模块改变该快取存储器的该索引内容分配方式。

5.如权利要求4所述的信号处理系统，其特征在于，该快取存储器的索引包含有关于该动态影像数据的水平位置信息、垂直位置信息与时间信息；该水平位置信息包含N个位，该垂直位置信息包含R个位，该时间信息含P个位，N、R、P各自为自然数；改变该索引内容分配方式包含改变N、R、P中的至少两个数值。

6.如权利要求1所述的信号处理系统，其特征在于，该信号处理模块针对另一动态影像数据进行该信号处理程序后，该分析模块与该控制模块再次评估是否需改变该快取存储器的该索引内容分配方式。

7.如权利要求1所述的信号处理系统，其特征在于，该快取存储器为M-向快取存储器，M为正整数。

8.一种应用于动态影像的信号处理方法，包含：

(a)针对动态影像数据进行信号处理程序，其中该信号处理程序利用快取存储器暂存于处理该动态影像数据时所需要的参考数据；

(b)产生有关该信号处理程序以及该快取存储器的快取错失分析信息；以及

(c)根据该快取错失分析信息决定该快取存储器的索引内容分配方式。

9.如权利要求8所述的信号处理方法，其特征在于，该信号处理程序包含译码端于重建画面时进行的画面移动补偿程序。

10.如权利要求9所述的信号处理方法，其特征在于，该画面移动补偿程序为多张参考画面移动补偿程序。

11.如权利要求10所述的信号处理方法，其特征在于，步骤(b)包含：

针对于该信号处理程序中发生的多个快取错失进行统计程序，该快取错失分析信息指出于该信号处理程序中发生次数最多的一种快取错失为水平错位错失、垂直错位错失或时间错位错失；

且步骤(c)包含：

若发生次数最多的该种快取错失有别于先前一次的快取错失分析分析信息所指出者，改变该快取存储器的该索引内容分配方式。

12.如权利要求11所述的信号处理方法，其特征在于，该快取存储器的索引包含有关于该动态影像数据的水平位置信息、垂直位置信息与时间信息；该水平位置信息包含N个位，该垂直位置信息包含R个位，该时间信息含P个位，N、R、P各自为自然数；改变该索引内容分配方式包含改变N、R、P中的至少两个数值。

13.如权利要求8所述的信号处理方法，其特征在于，针对另一动态影像数据，步骤(a)～步骤(c)被重复执行，以动态适性调整该快取存储器的该索引内容分配方式。

14.如权利要求8所述的信号处理方法，其特征在于，该快取存储器为M-向快取存储器，M为正整数。

15.一种快取存储器管理装置，快取存储器用以暂存于处理数据时所需要的参考数据，该快取存储器管理装置包含：

分析模块，用以产生于处理该数据时与该快取存储器相关的快取错失分析信息；以及

控制模块，用以根据该快取错失分析信息决定该快取存储器的索引内容分配方式。

16.如权利要求15所述的快取存储器管理装置，其特征在于，该数据为动态影像数据，且该快取存储器所暂存的该参考数据是供译码端针对该动态影像数据进行画面移动补偿程序时使用。

17.如权利要求16所述的快取存储器管理装置，其特征在于，该分析模块针对于处理该数据时发生的多个快取错失进行统计程序，且该快取错失分析信息指出于处理该数据时发生次数最多的一种快取错失为水平错位错失、垂直错位错失或时间错位错失。