CN110660012A - 图像处理系统及其内存管理方法 - Google Patents

Abstract

本发明提供一种适用于存取一主要存储器的图像处理系统，其中包含一高速缓存、一图像处理电路，以及一存储器控制器。该存储器控制器包含一命中计算电路、一决定电路与一读取电路。响应于该图像处理电路针对一组目标图像数据发出的一数据需求，该命中计算电路计算该组目标图像数据于该高速缓存中的一快取命中率。该决定电路是用以根据该快取命中率产生一预先读取决定，指出是否应进行一预先读取程序。该读取电路是用以根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

Description

图像处理系统及其内存管理方法

技术领域

本发明与图像处理系统相关，并且尤其与提升图像处理系统中的存储器使用效率的技术相关。

背景技术

为了暂存供图像处理程序使用的数据，许多图像处理系统利用动态随机存取存储器(dynamic random access memory,DRAM)做为一主要存储器，并利用静态随机存取存储器(static random access memory,SRAM)做为一高速缓存(cache)。相较于主要存储器，高速缓存存取数据的速度较快，但硬件价格较高。因此，高速缓存仅用以暂存近期内刚使用过或是即将要使用的少量图像数据，而主要存储器是用以储存一个或多个视频帧(videoframe)的完整图像数据。

图1呈现一图像处理系统的局部功能方块图。在图像处理电路110需要一图像数据时，便对存储器控制器120发出数据需求，告知该图像数据的位置信息(例如该图像数据是位在哪一个视频帧中的哪一个坐标范围内)。存储器控制器120首先会据此到高速缓存130中寻找。在无法于高速缓存130寻得该图像数据的情况下，存储器控制器120会向主要存储器140发出读取请求，并自主要存储器140将该图像数据复制到高速缓存130，供图像处理电路110使用。能在高速缓存130中找到所需数据的情况称为快取命中(cache hit)，反之称为快取错失(cache miss)。

许多存储器控制器120会采用预先读取(pre-fetch)技术，亦即预测图像处理电路110接下来可能会需要哪些图像数据，并且预先将该等图像数据从主要存储器140复制到高速缓存130。图2A～图2E是用以说明何谓预先读取机制。在进行图像处理程序时，每一个视频帧会被分割为多个区块，做为图像处理的基本单位，例如图2A呈现的视频帧200内包含的区块001～003。假设图像处理电路110经过解析后已知在对区块001进行处理程序时需要图2B所示区域R1内的图像数据，并且，在采用预先读取机制的情况下，存储器控制器120会读取相邻于区域R1，且范围更大的图像数据，如图2C中的R1’的区域，预备给后续区块进行图像处理时所需的图像数据。然而，当存储器控制器120对区块002进行处理程序时，也采用一样的预先读取机制，除了图2D所示的区块002进行处理程序时需要的区域R2，存储器控制器120会读取图2E所示的比区域R2范围更大的区域R2’。如图所示，区域R1’与区域R2’两者具有重叠的区域，代表存储器控制器120要读取区域R2’的时候，会产生快取命中。相对来说，存储器控制器120此次要读取区域R2’真正需要从主要存储器140复制到高速缓存130的数据就相对减少，意味着连续读取(burst)数据的长度变短。过短的连续读取长度会对主要存储器存取的效率带来很大的影响，详述如下。

从存储器控制器120告知主要存储器140希望读取位在某一个特定地址的数据起算，到主要存储器140实际输出数据为止，中间的时间延迟量称为栏地址选通延迟(columnaddress strobe latency)，这是一个评估存储器效率的重要指标。以现有的动态随机存取存储器来说，主要存储器140包含多个存储区(memory bank)，且同一个时间点只能有一个存储区处于启动(active)状态。一般而言，栏地址选通延迟由两段延迟组成。如果储存所需数据的存储区原本处于未启动(inactive)状态，首先必须将该存储区切换为启动状态，此切换时间为第一段延迟。第二段延迟则是自处于启动状态的存储区将数据传递到主要存储器140的输出端所花费的时间。对同一个主要存储器140来说，第一段延迟是与需读取的数据量无关的一个定值，第二段延迟的长度是正比于需读取的数据量的一个不定值。

图3呈现两种读取行为各自的栏地址选通延迟示意图。假设第一段延迟的时间长度为T1，第二段延迟中读取每一笔数据的时间长度是T2。同样是在一个存储区中读取二十笔数据，单次完成读取的栏地址选通延迟是(T1+T2*20)，分成两次读取且需重新启动存储区的栏地址选通延迟则是(T1*2+T2*20)。由此可看出，在同一个存储区中单次连续读取多笔数据是效率较高的。此外，若需读取的数据分散在多个存储区中，也会令栏地址选通延迟大幅增长。

随着制程进步，新一代动态随机存取存储器的数据率(data rate)愈来愈高，也就是上述时间长度T2愈来愈短。然而第一段延迟T1的绝对时间长度并没有随着数据率的提高等比例地降低。由于第一段延迟T1在栏地址选通延迟中的比重不容忽视，善加规划对于主要存储器140的读取行为(例如尽量在同一个存储区中单次连续读取多笔数据)因此更为必要。

现行预先读取机制的缺点在于未将主要存储器140的使用效率纳入考虑；存储器控制器120可能会多次而零碎地至主要存储器140读取图像数据，导致主要存储器140的使用效率低落。

发明内容

为解决上述问题，本发明提出一种新的图像处理系统及其内存管理方法。

根据本发明的一实施例为一种适用于存取一主要存储器的图像处理系统，其中包含一高速缓存、一图像处理电路，以及一存储器控制器。该存储器控制器包含一命中计算电路、一决定电路与一读取电路。响应于该图像处理电路针对一组目标图像数据发出的一数据需求，该命中计算电路计算该组目标图像数据于该高速缓存中的一快取命中。该决定电路是用以根据该快取命中产生一预先读取决定，指出是否应进行一预先读取程序。该读取电路是用以根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

根据本发明的另一实施例为一种配合一图像处理系统的内存管理方法。该图像处理系统适用于存取一主要存储器，并且包含一高速缓存以及一图像处理电路。该内存管理方法包含：(a)响应于该图像处理电路针对一组目标图像数据发出的一数据需求，计算该组目标图像数据于该高速缓存中的一快取命中；(b)根据该快取命中产生一预先读取决定，指出是否应进行一预先读取程序；以及(c)根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

关于本发明的优点与精神可以藉由以下发明详述及所附图式得到进一步的了解。

附图说明

图1呈现一图像处理系统的局部功能方块图。

图2A～图2E是用以说明何谓预先读取机制。

图3呈现两种读取行为各自的栏地址选通延迟示意图。

图4为根据本发明的一实施例中的图像处理系统的功能方块图。

图5A与图5C呈现本发明提出的命中计算电路的两种详细实施例。图5B呈现根据本发明的地址表格与搜寻电路的一种实施方式示意图。

图6呈现根据本发明的另一存储器控制器的详细实施例。

图7为根据本发明的一实施例中的内存管理方法的流程图。

符号说明

110：图像处理电路 120：存储器控制器

130：高速缓存 140：主要存储器

200：视频帧 001～003：图像区块

R1、P、R1’：图像区域 400：图像处理系统

410：图像处理电路 420：存储器控制器

421：命中计算电路 421A：缓存器

421A1：地址表格 421B：复制电路

421C：转换电路 421D：搜寻电路

421D1：比对电路 421D2：与门

421E：统计电路 421F：记录电路

422：决定电路 423：读取电路

424：停止点决定电路 430：高速缓存

900：主要存储器 S701～S704：流程步骤

须说明的是，本发明的图式包含呈现多种彼此关联的功能性模块的功能方块图。该等图式并非细部电路图，且其中的连接线仅用以表示信号流。功能性元件及/或程序间的多种互动关系不一定要透过直接的电性连结始能达成。此外，个别元件的功能不一定要如图式中绘示的方式分配，且分布式的区块不一定要以分布式的电子元件实现。

具体实施方式

根据本发明的一实施例为一种图像处理系统，其功能方块图是绘示于图4。图像处理系统400包含一图像处理电路410、一存储器控制器420，以及一高速缓存430。图像处理系统400适用于存取一主要存储器900。于实际应用中，高速缓存430可以是一静态随机存取存储器(SRAM)，主要存储器900可以是一动态随机存取存储器(DRAM)，但不以此为限。如图4所示，存储器控制器420内包含一命中计算电路421、一决定电路422，以及一读取电路423。以下分述各电路的运作方式。

图像处理电路410负责执行一种或多种图像处理程序。举例而言，若图像处理系统400为一视频信号接收端，图像处理电路410可以包含移动补偿(motion compensation)电路，用以根据多组移动向量(motion vector)及残差(residual)依序重建多个图像区块。每当进行一图像处理程序时，图像处理电路410会针对该次图像处理程序所需要的图像数据(以下称一组目标图像数据)向存储器控制器420发出数据需求，告知该组目标图像数据的位置信息。

响应于图像处理电路410发出的数据需求，命中计算电路421负责计算该组目标图像数据于高速缓存430中的快取命中(hit)。在现行的高速缓存架构中，一高速缓存包含有多个快取列(cache line)，且每一个快取列各自包含以下多个字段：正确性、标签(tag)、索引(index)、偏移量(offset)，以及数据。当一批数据自主要存储器900被复制到高速缓存430，该批数据原本在主要存储器900中的地址会被拆成三个部分，分散至标签、索引和偏移量这三个字段中储存。换句话说，将标签、索引和偏移量三个字段的内容组合起来，便能得出该批数据的完整地址。实务上，命中计算电路421可根据该等字段的内容来计算快取命中率(hit rate)，详述如下。

假设该组目标图像数据分散在主要存储器900中的多个地址。若高速缓存430为一单集合高速缓存(single-set cache)，则命中计算电路421可分别根据该多个地址中的每一个地址来查询高速缓存430中的正确性字段、标签字段、索引字段，藉此判断该地址是否为快取命中，并能进一步计算该组目标图像数据整体的快取命中率。

若高速缓存430为一多集合高速缓存(multi-set cache)，且采用近期最少使用(least recently used,LRU)算法做为其数据置换策略，则命中计算电路421可被设计为令其查询动作不会触发高速缓存430的相关置换机制，或是不会因其查询动作实际上去更动高速缓存430的各字段内容，藉此避免干扰高速缓存430对于数据重要性的排序。

于另一实施例中，为了避免干扰高速缓存430对于数据重要性的排序，命中计算电路421被设计为透过一仿真机制来查询高速缓存430的地址相关字段的复制结果，而不是直接查询高速缓存430本身的地址相关字段。图5A呈现此类型命中计算电路421的一种详细实施例，其中包含一缓存器421A、一复制电路421B、一转换电路421C、一搜寻电路421D，以及一统计电路421E。缓存器421A中设有一地址表格421A1，用以仿真高速缓存430中的地址相关字段。更详细地说，复制电路421B会将高速缓存430中所有正确性字段、索引字段与标签字段的内容复制至地址表格421A1。每当高速缓存430中该等字段的内容有所改变，复制电路421B也会复制该改变，相对应地修改地址表格421A1，藉此保持地址表格421A1的内容与高速缓存430中该等字段的内容一致。转换电路421C是用以将图像处理电路410发出的数据需求转换为一组待查地址(两者之间有特定的映射关系)。随后，搜寻电路421D负责至地址表格421A1搜寻该组待查地址，据此产生一搜寻结果，指出该组待查地址所对应的图像数据是否储存在高速缓存430中。统计电路421E是用以对多组待查地址对应的多个搜寻结果进行统计，以产生一快取命中率。

图5B呈现地址表格421A1与搜寻电路421D的一种实施方式示意图。假设待查地址包含索引及标签两个部分。搜寻电路421D首先会利用待查地址中的索引来找出地址表格421A1中索引值相同的横列(例如图中索引值为10100的横列)。接着，比对电路421D1会将该横列的标签内容取出，与待查地址中的标签比对。如果比对电路421D1判定比对结果为相同，且该横列中的正确性字段显示该横列的内容为正确，则与门(AND gate)421D2的输出信号会指出此次查询结果为命中。

须说明的是，如果图像处理电路410发出的数据需求直接包含该组目标图像数据在主要存储器900中的地址，则图5A中的转换电路421C可被省略。

由以上说明可看出，搜寻电路421D的查询工作只是为了取得快取命中率，并非要实际上从高速缓存430读取数据。令搜寻电路421D查询地址表格421A1而非直接查询(读取)高速缓存430本身的标签字段与索引字段，能够避免干扰高速缓存430对于数据重要性的排序。须说明的是，由于不需要将高速缓存430中的其他字段也复制到缓存器421A，缓存器421A的容量不需要被设计得很大。

图5C呈现命中计算电路421的另一种详细实施例。在这个实施例中，复制电路421B被替换为一记录电路421F，用以在地址表格421A1中记录近期内存入高速缓存430的多笔图像数据的多个地址。举例而言，记录电路421F可以采用先进先出(first-in first out,FIFO)的形式记录最近的五百笔图像数据的地址。相较于图5A，图5C中的命中计算电路421运作较单纯，能够用较低的硬件成本实现。

如图4所示，决定电路422会根据命中计算电路421提供的快取命中率产生一预先读取决定，指出是否应进行一预先读取程序。随后，若预先读取决定指出要进行预先读取程序，读取电路423据此至主要存储器900执行该预先读取程序。于一实施例中，若该快取命中率显示图像处理电路410目前需要的目标图像数据已全部储存于高速缓存430中，决定电路422便令该预先读取决定为「不进行预先读取程序」。存储器控制器420便不会针对后续图像处理程序可能需要的数据到主要存储器900执行预先读取程序。相对地，若该快取命中率显示图像处理电路410目前需要的目标图像数据未全部储存于高速缓存430中，决定电路422便令该预先读取决定为「进行预先读取程序」。也就是说，当存储器控制器420依照决定电路422决定「进行预先读取程序」，则包含读取以下数据：(a)针对目标图像数据，将快取错失的数据自主要存储器900复制到高速缓存430，以及(b)自主要存储器900进行预先读取程序，读取与目标图像数据无直接相关的其他数据，以供下一笔图像数据进行图像处理时使用。

由上述细节可看出，以上实施例中是以快取命中率是否为100％来决定是否进行预先读取程序；然而，本发明的其他实施例的决定电路根据的快取命中率可能为100％之外的命中率，以产生一预先读取决定。

由以上说明可看出，存储器控制器420不是在每一次收到图像处理电路410发出的数据需求时，都会一并进行预先读取程序。于上述实施例中，存储器控制器420每次至主要存储器900读取图像数据时，读取的对象一定会同时包含目标图像数据中为快取错失的部分以及希望预先读取的图像数据。换句话说，存储器控制器420不会只为了目标图像数据中为快取错失的部分对主要存储器900执行读取程序，也不会只为了希望预先读取的图像数据对主要存储器900执行读取程序。这种做法的好处在于，平均而言，存储器控制器420每一次会连续读取较多笔数据。主要存储器900的使用效率因此能被有效提高。

如图6所示，于一实施例中，存储器控制器420进一步包含一停止点决定电路424。实务上，在得知目标图像数据中为快取错失的部分以及希望预先读取的图像数据范围之后，便能根据该等数据的地址判断出这些数据分布在主要存储器900中的哪些存储区。假设针对目标图像数据未被储存于该高速缓存的部分，读取电路423须至主要存储器900中的N个存储区读取图像数据(N为一正整数)。如果决定电路422输出的预先读取决定指出读取电路423应进行预先读取程序，停止点决定电路424便会决定该预先读取程序的一停止点，提供给读取电路423。举例而言，停止点决定电路424可将该停止点设定为令读取电路423只在该N个存储区中读取与预先读取程序相关的图像数据。也就是说，读取电路423不会为了预先读取程序相关的图像数据额外进行跨存储区的读取动作。这种做法的好处在于能避免因预先读取程序使栏地址选通延迟进一步增长。

本发明的范畴并不限于以某种特定组态或架构来实现图像处理系统400。本领域的技术人员可理解，有多种电路组态和元件可在不背离本发明精神的情况下实现本发明的概念。实务上，前述电路可利用多种控制和处理平台实现，包含固定式的和可程序化的逻辑电路，例如可程序化逻辑门阵列、针对特定应用的集成电路、微控制器、微处理器、数字信号处理器。此外，该等电路亦可被设计为透过执行存储器中所储存的处理器指令来完成其任务。

根据本发明的另一实施例为一种配合一图像处理系统的内存管理方法，其流程图是绘示于图7。该图像处理系统包含一主要存储器、一高速缓存以及一图像处理电路。步骤S701为判断是否收到该图像处理电路针对一组目标图像数据发出的一数据需求。若判断结果为否，则步骤S701会被重复执行。直到步骤S701的判断结果为是，步骤S702会被执行，也就是为计算该组目标图像数据于该高速缓存中的一快取命中率。随后，步骤S703为根据该快取命中率产生一预先读取决定，指出是否应进行一预先读取程序。接着，步骤S704为根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

本领域的技术人员可理解，先前在介绍图像处理系统400时描述的各种操作变化亦可应用至图7中的内存管理方法，其细节不再赘述。

藉由以上具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求书的范畴内。

Claims (10)

1.一种图像处理系统，适用于存取一主要存储器，包含：

一高速缓存；

一图像处理电路；以及

一存储器控制器，包含：

一命中计算电路，用以响应该图像处理电路针对一组目标图像数据发出的一数据需求，计算该组目标图像数据于该高速缓存中的一快取命中率；

一决定电路，用以根据该快取命中率产生一预先读取决定，指出是否应进行一预先读取程序；以及

一读取电路，用以根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

2.如权利要求1所述的图像处理系统，其特征在于，该决定电路根据该快取命中率显示该组目标图像数据已全部储存于该高速缓存中而产生不进行该预先读取程序的该预先读取决定；该决定电路根据该快取命中率显示该组目标图像数据未全部储存于该高速缓存中而产生进行该预先读取程序的该预先读取决定。

3.如权利要求1所述的图像处理系统，其特征在于，该高速缓存包含多个地址字段与多个数据字段，该命中计算电路包含：

一缓存器，用以暂存一地址表格；

一复制电路，用以将该多个地址字段的内容复制至该地址表格，并保持该地址表格的内容与该多个地址字段的内容一致；

一转换电路，用以将该图像处理电路发出的该数据需求转换为一组待查地址；

一搜寻电路，用以至该地址表格搜寻该组待查地址，据此产生一搜寻结果；以及

一统计电路，用以对该搜寻结果进行统计，以产生该快取命中率。

4.如权利要求1所述的图像处理系统，其特征在于，该高速缓存包含多个地址字段与多个数据字段，该命中计算电路包含：

一缓存器，用以暂存一地址表格；

一记录电路，用以在该地址表格中记录近期内存入该高速缓存的多笔图像数据的多个地址；

一转换电路，用以将该图像处理电路发出的该数据需求转换为一组待查地址；

一搜寻电路，用以至该地址表格搜寻该组待查地址，据此产生一搜寻结果；以及

一统计电路，用以对该搜寻结果进行统计，以产生该快取命中率。

5.如权利要求1所述的图像处理系统，其特征在于，该主要存储器包含多个存储区，且该读取电路需至该主要存储器中的N个存储区读取该组目标图像数据未被储存于该高速缓存的部分，N为一正整数；该存储器控制器进一步包含：

一停止点决定电路，用以决定该预先读取程序的一停止点，提供给该读取电路，其中该停止点设定被为：该读取电路只在该N个存储区中读取与该预先读取程序相关的图像数据。

6.一种配合一图像处理系统的内存管理方法，该图像处理系统适用于存取一主要存储器，该图像处理系统包含一高速缓存以及一图像处理电路，该内存管理方法包含：

(a)响应于该图像处理电路针对一组目标图像数据发出的一数据需求，计算该组目标图像数据于该高速缓存中的一快取命中率；

(b)根据该快取命中率产生一预先读取决定，指出是否应进行一预先读取程序；以及

(c)根据该预先读取决定，选择性地至该主要存储器执行该预先读取程序。

7.如权利要求6所述的内存管理方法，其特征在于，步骤(b)包含：

若该快取命中率显示该组目标图像数据已全部储存于该高速缓存中，令该预先读取决定为不进行该预先读取程序；以及

若该快取命中率显示该组目标图像数据未全部储存于该高速缓存中，令该预先读取决定为进行该预先读取程序。

8.如权利要求6所述的内存管理方法，其特征在于，该高速缓存包含多个地址字段与多个数据字段，步骤(a)包含：

建立一地址表格；

将该多个地址字段的内容复制至该地址表格，并保持该地址表格的内容与该多个地址字段的内容一致；

将该图像处理电路发出的该数据需求转换为一组待查地址；

至该地址表格搜寻该组待查地址，据此产生一搜寻结果；以及

对该搜寻结果进行统计，以产生该快取命中率。

9.如权利要求6所述的内存管理方法，其特征在于，该高速缓存包含多个地址字段与多个数据字段，步骤(a)包含：

建立一地址表格；

在该地址表格中记录近期内存入该高速缓存的多笔图像数据的多个地址；

将该图像处理电路发出的该数据需求转换为一组待查地址；

至该地址表格搜寻该组待查地址，据此产生一搜寻结果；以及

对该搜寻结果进行统计，以产生该快取命中率。

10.如权利要求6所述的内存管理方法，其特征在于，该主要存储器包含多个存储区；该内存管理方法进一步包含：

针对该组目标图像数据未被储存于该高速缓存的部分，至该主要存储器中的N个存储区读取图像数据，N为一正整数；以及

为步骤(c)决定该预先读取程序的一停止点，其中该停止点被设定为：只在该N个存储区中读取与该预先读取程序相关的图像数据。

Images