CN1232911C

CN1232911C - 可适应性存取指令与资料的方法与架构

Info

Publication number: CN1232911C
Application number: CN 02145719
Authority: CN
Inventors: 梁伯嵩
Original assignee: Sunplus Technology Co Ltd
Current assignee: Sunplus Technology Co Ltd
Priority date: 2002-10-09
Filing date: 2002-10-09
Publication date: 2005-12-21
Anticipated expiration: 2022-10-09
Also published as: CN1489054A

Abstract

一种可适应性存取指令与资料的方法与架构，其预设有复数种资料传输档次，而以一现有资料传输档次来存取一外部储存器装置的指令与资料，其中，每一资料传输档次对应有一外部储存装置与一快速存取装置介面上的连续资料传输长度，以依据一处理机核心所进行指令与资料存取的实际突发长度，而动态地调整现有的资料传输档次。

Description

可适应性存取指令与资料的方法与架构

技术领域

本发明涉及一种在电脑系统中指令与资料的存取方法与架构，尤其指一种可适应性存取指令与资料的方法与架构。

背景技术

在现今的电脑系统的处理机的架构中，由于处理机核心的处理速度大幅提高，而使储存器的存取成为效能的瓶颈，因此，快取(Cache)架构便成为一重要的改善方式。快取是将以固定长度的数个指令或数笔资料的长度为一单位来存取储存器，此一单位称为一快取丛(Cache Line)。此快取丛的大小则与储存器的存取单位有关。例如，在现今许多具有突发传输(BurstTransfer)的能力储存器中，其资料存取的进行可以只需给定一次位址与各项相关设定后，便可连续送出指定的突发长度(Burst Length)的资料串，因而减少在传送资料前的设定所花的初始化延迟(Initial Delay)时间。而在此种储存器中，快取丛的大小一般为相关于突发长度(Burst Length)的大小。

图1即显示一具有前述快取功能的处理机架构，其中，在处理机运作时，若所需的指令或资料所属的快取丛正好在快取模块11中时，处理机核心14就可以快速取得该指令，而无时间延迟，或是时间延迟极低。然而，若是所需的指令或是资料不在快取模块11中，则发生快取漏失(CacheMiss)，此时必须从外界储存器13读入所需的资料，此动作称作快取填回(Cache Refill)。由于整个快取丛皆需读入置于快取模块11中，会造成的相当高的系统延迟，称为快取漏失惩罚(Cache Miss Penalty)。

快取漏失惩罚常在处理机第一次执行存取到某一程序码段或资料段时连续出现，因而严重影响系统效能。为解决此一问题，预取(Prefetching)便成提高效率的重要技巧。如图2所示，是以预取模块12来预测处理机核心14接下来可能需要使用到的程序码区或资料区域，而预先将此区域读入预取模块12内。一旦处理机核心14发现无法从快取模块11中取得所需的指令或资料而发生快取漏失时，即可以在预取模块12搜寻。若所需的指令或资料已经被预先取入预取模块12，即可以从预取模块12中，将所需的快取丛读入快取模块11内，因而大幅减少快取漏失惩罚时所需的代价。但若所需的指令或资料亦不在预取模块12，则会发生预取漏失(Prefetch Miis)，而仍然必需至外界储存器13中取得所需的快取丛。亦有相当高的系统延迟，称为预取漏失惩罚(Prefetch Miis Penalty)。

前述的预取模块12在计算机组织中介于外部记忆储存装置13、快取储存器11与处理机核心14之间，传统的架构均直接延用快取储存器11的组态，而使用同于快取丛的资料长度，也就是动态储存器突发传输长度作为资料传输单位。然而，由于预取模块12与快取储存器11以及处理机核心14之间并非动态储存器的介面，因此并不需要以快取丛作为资料传输单位。以快取丛作为资料传输单位，反而会使得资料传输时迟滞而不灵活。

具体而言，在具有快取模块11与预取模块12的处理机架构中，模块间具有三个主要介面。第一介面15为外部介面，其衔接外部记忆储存装置13。第二介面16为预取模块12与快取模块11介面。第三介面17为快取模块11与处理器核心14介面，此介面17用以将快取模块中的指令与资料送入处理器。传统上，在第一、二介面15及16中，是使用相同于快取丛的资料长度作为资料传输单位，而第三介面17的资料存取，若与第一、二介面的存取相关时，也多需要等待快取丛的资料长度存取完成后，才能进行动作。然而，快取丛的资料长度并不一定是预取模块16与外部记忆储存装置13、快取储存器11与处理机核心14之间最佳的传输资料单位。因为快取丛的大小，跟快取模块11的储存器组织架构相关，在处理机执行过程中，快取丛的大小固定。然而，在处理机实际执行程序，在撷取指令和存取资料时，其行为模式不断的动态改变。以固定的快取丛的资料长度作为资料传输单位，难以对各种状况作最佳化，会在不同状况下发生不经济的资源浪费。

举例而言，以固定快取丛长度作为资料传输单位，可能会有下列不经济的浪费状况：

(1)各介面资料搬移上，虽已能得知将存取长串连续的资料，且资料长度长于目前的快取丛长度。但因快取丛资料长度固定，无法利用较长的突发长度设定，减少初始化延迟的次数，而造成时间浪费。

(2)各介面资料搬移上，虽已能得知将存取短的资料，且资料长度短于目前的快取丛长度。但因快取丛资料长度固定，仍需以快取丛资料长度存取资料，所以会附带读存到不需要的资料，造成资源浪费。

发明内容

本发明的主要目的在于提供一种可适应性存取指令与资料的方法与架构，其可依处理机架构实际运行的状况，调整各种存取介面所有取的指令或资料量，以达到指令与资料的存取的效能最佳化。

依据本发明的一特色，提出一种可适应性存取指令与资料的架构，其预设有复数种资料传输档次，而以一现有资料传输档次来存取指令与资料，该架构主要包括：

一第一模块，具有突发传输的能力，可连续收送出或接收指定的突发长度的资料串来进行存取资料；

一第二模块，可供存取资料，其中，前述每一资料传输档次对应有该第二模块与第一模块介面上的连续资料传输长度；以及

一适应性控制器，依据该第一模块所进行指令与资料存取的实际突发长度，而动态地调整现有的资料传输档次。

所述的架构中，该第二模块为一储存器装置，该第一模块具有：

一处理器核心，具有突发传输的能力，可连续收送出或接收指定的突发长度的资料串来进行存取资料；以及

一快速存取装置，储存有来自该第二模块的部份指令与资料，而提供一可供该处理机核心快速存取指令与资料的储存空间，其中，前述每一资料传输档次对应有该第二模块与该快速存取装置介面上的连续资料传输长度。

所述的架构中，该适应性控制器包括：

一突发长度计算逻辑，在启动资料传输指令后，计算处理器核心的一次连续资料量的长度，以求取该处理器核心在当时进行指令与资料存取的实际突发长度；及

一资料传输档次切换逻辑，记录实际发生的突发长度，据以调整现有的资料传输档次。

所述的架构中，于该资料传输档次切换逻辑所记录的实际发生的突发长度对应的资料传输档次中，如实际发生高于现有资料传输档次的档次的次数较实际发生现有资料传输档次的次数为多，且差值大于一第一阀值，则将资料传输档次增加，反之，如实际发生低于现有传输档次的档次的次数较实际发生现有传输档次的次数为多，且差值大于该第一阀值，则将资料传输档次降低。

所述的架构中，该资料传输档次切换逻辑具有对应于该复数个档次的复数个计数器，以二进制的方式记录该处理机核心所实际发生的突发长度。

所述的架构中，如高于或低于现有档次的所有档次的计数器值的总和大于现有档次的计数器值超过该第一阀值，则由该等高于或低于现有档次的所有档次中，选择具有最大计数器值的档次作为现有档次。

所述的架构中，如高于或低于现有档次的所有档次的计数器值的总和大于现有档次的计数器值超过该第一阀值，则选择该等高于或低于现有档次的所有档次，以判断最大计数器值与次大计数器值的差值是否超过一第二阀值，如是，以具有最大计数器值的档次作为现有档次，如否，以具有次大计数器值的档次作为现有档次。

所述的架构中，该快速存取装置由一快取模块与一预取模块所构成，而每一资料传输档次对应有该外部记忆装置与该预取模块介面上的连续资料传输长度，及该快取模块与预取模块介面上的连续资料传输长度。

所述的架构中，资料传输档次N对应连续资料传输长度2^N单位。

所述的架构中，该第一模块与第二模块通过总线传输资料。

本发明提供的一种可适应性存取指令与资料的方法，其在一第一模块中预设有复数种资料传输档次，而以一现有资料传输档次来存取一第二模块的指令与资料，该第一模块具有复数个对应于该等资料传输档次的计数器，以二进制的方式记录该第一模块所实际发生的突发长度，该方法主要包括步骤：

(A)指定一资料传输档次为现有的档次；

(B)依该第一模块的资料存取行为计算出实际的突发长度，并将此长度值记录于该等计数器中；

(C)判断高于或低于现有档次的所有档次的计数器值的总和是否大于现有档次的计数器值超过一第一阀值，如否，执行步骤(B)，如是，执行下一步骤；

(D)选择该等高于或低于现有档次的所有档次，以判断最大计数器值与次大计数器值的差值是否超过一第二阀值，如是，以具有最大计数器值的档次作为现有档次，如否，以具有次大计数器值的档次作为现有档次。

所述的方法步骤(D)中，若是比现有档次高以及档次低的的计数器值皆超过阀值，则选择其中较大的计数器值。

附图说明

为能更了解本发明的技术内容，特举一较佳具体实施例说明如下。

图1为显示一具有快取功能的公知处理机架构。

图2为显示一具有快取及预取功能的习知处理机架构。

图3为显示依据本发明的一实施例的可适应性存取指令与资料的架构。

图4为为以本发明的方法切换资料传输档次的流程。

图5为显示以计数器记录实际发生的突发长度值来统计资料传输档次出现的次数。

图6为显示依据本发明的另一实施例的可适应性存取指令与资料的架构。

具体实施方式

图3显示本发明的可适应性存取指令与资料的架构，其在电脑系统中的第一模块10与第二模块20间，以一适应性控制器33控制资料的传输，该第一模块10可为处理机、数字信号处理机、DMA主控装置、总线主控器、特殊化的运算模块、或其他影音处理模块等，该第二模块20则可为储存器、DMA从属装置、总线从属装置、HD/CD/DVD装置、或网络设备等。于本实施例中，该第一模块20为一处理机架构，其包括一处理机核心31及一快速存取装置32，该第二模块20则为一外部储存器装置34，例如为DRAM的储存器。该快速存取装置32储存有来自外部储存器装置34的部份指令与资料，而提供一可供处理机核心31快速存取指令与资料的储存空间，该快速存取装置32可为一快取(Cache)模块、或一快取(Cache)模块与一预取(Prefetch)模块、或一暂存储存器(Temporary memory)等，于本实施例中，该快速存取装置32由一快取模块321与一预取模块322所构成，该处理机核心31则具有突发传输(Burst Transfer)的能力，可以连续送出指定的突发长度(Burst Length)的资料串来进行存取资料。

该适应性控制器33是提供作为预取模块322与外部储存器装置34介面存取的资料量控制、预取模块332与快取模块331介面存取的资料量控制、及快取模块321与处理器核心31介面存取的资料量控制。此适应性控制器33由监控介面的资料传输状况，以选择最适合的资料传输档次，其中，于本发明的架构中，预设有复数种资料传输档次(Level)，每一资料传输档次对应有一在外部储存装置34与预取模块322介面、或快取模块321与预取模块322介面上的连续资料传输长度，例如，资料传输档次0-N分别对应连续资料传输长度2⁰-2^N单位。

该适应性控制器33具有一突发长度计算逻辑331及一资料传输档次切换逻辑332，其中，该突发长度计算逻辑331在启动资料传输指令后，计算处理器核心31的一次连续资料量的长度，而可得知处理器核心31在当时进行指令与资料存取的实际突发长度。由此，该资料传输档次切换逻辑332可累计实际发生的突发长度，而对现有的资料传输档次作最佳的调适。例如，若侦测处理器核心31目前的资料传输行为是属于长段资料的连续传输，亦即具有较长的突发长度，则将资料传输档次增加，使介面上的连续资料传输长度加长，而可以提高介面传输资料的效能；反之，若侦测处理器核心31目前的资料传输行为是零星分散或不规则式的传输，亦即具有较短的突发长度，则将资料传输档次降低，使介面上的连续资料传输长度缩短，而减少传输的指令与资料最后却被摒弃不用的机率，因提高正确率，亦可以提高介面传输的效率。

图4为该资料传输档次切换逻辑332的切换控制流程，其中，假设于处理机架构中预设有5种资料传输档次0-4，而该资料传输档次切换逻辑332提供有5个对应的计数器C⁰-C⁴，以二进制的方式记录处理机核心31实际发生的一次连续资料量的长度的值，分别统计与五种档次相同的连续传输长度出现的次数。于该流程中，首先，指定一资料传输档次为现有的档次(步骤S31)；然后，处理机核心31进行指令或资料的存取(步骤S32)；而突发长度计算逻辑331便依该处理机核心31的资料存取行为计算出实际的突发长度，并将此长度值记录于计数器C⁰-C⁴中(步骤S33)，例如，长度值为4时，将计数器C2加1，长度值为8时，将计数器C3加1，长度值为7时，将计数器C0、C1及C2加1，如图5的范例所示。

于步骤S34中，为判断高于(或低于)现有档次的所有档次的计数器值的总和是否大于现有档次的计数器值超过一阀值，如否，表示现有的档次尚可符合实际的资料存取长度，故继续执行步骤S32，如是，选择该等高于(或低于)现有档次的所有档次(若是比现有档次高以及档次低的的计数器值皆超过阀值，则两相比较以选择其中较大的)，以判断最大计数器值与次大计数器值的差值是否超过一阀值(步骤S35)，如是，以具有最大计数器值的档次作为现有档次(步骤S36)，如否，以具有次大计数器值的档次作为现有档次(步骤S37)。

前述步骤S34及S35均以其阀值的判断以作节制，来避免过于频繁的状态切换造成效能牺牲。此阀值可为一预设值或由一函数来决定。超越阀值的难易程度，与切换外部储存装置34的连续传输长度时所需的代价相关。若外部储存装置34的调整连续传输长度的代价偏高，则可以提升阀值的困难度。

举一实际范例来说，目前档次＝2，当执行一段时间，发现C3和C4计数器总合的值，超过目前档次的计数器C2的值，且差距大于阀值，则此时适应性控制器33可以将档次提高。此时再比较计数器C2与C4，若计数器C4大于C3，若差距亦超过阀值，表示档次4的传输远高于档次3，表示由预取模块332传输到快取模块331中，以连续传输16个指令或资料最为常见，且超过一定阀值比例，则可将此处连续传输资料的单位，设为16个指令或资料，以大幅提高效率，则直接设档次＝4；若计数器C4比C3大，但差距未超过阀值，则设档次＝3，将档次提高一个单位，此时连续传输资料的单位，设为8个指令或资料。

由以上的说明可知，本发明由适应性控制器来监测处理器核心进行指令与资料存取的实际突发长度，而可累计实际发生的突发长度，故可对现有的资料传输档次作最佳的调适，以达到指令与资料的撷取，预取与存取的效能最佳化。

前述本发明的实施例以适应性控制器33控制两模块间的一对一的通道的资料传输作为说明，然而，该适应性控制器33亦可用运用在总线上的资料传输的控制，如图6所示，在总线61上连接有处理机、储存器、I/O装置、DMA控制器及总线桥接器等模块，相似于前一实施例，该适应性控制器33可控制任两模块，以通过总线61进行资料传输。

应注意的是，上述诸多实施例仅是为了便于说明而举例而已，本发明所主张的权利范围自应以申请专利范围所述为准，而非仅限于上述实施例。

Claims

1.一种可适应性存取指令与资料的架构，其预设有复数种资料传输档次，而以一现有资料传输档次来存取指令与资料，该架构主要包括：

一第一模组，包括：

一处理器核心，具有突发传输的能力，可连续收送出或接收指定的突发长度的资料串来进行存取资料；

一快速存取装置，连接处理机核心，可提供一可供处理机核心快速存取指令与资料的记忆空间；

一第二模块，为一记忆体装置，其连接该第一模组，且其连接快速存取装置以将部分指令与资料储存至快速存取装置，而提供资料存取，其中，前述每一资料传输档次对应有该第二模块的介面与第一模块的介面上的连续资料传输长度；以及

一适应性控制器，包括：

一突发长度计算逻辑，连接处理机核心，可在启动资料传输指令后，计算处理器核心的一次连续资料量的长度，以求取该处理器核心在当时进行指令与资料存取的实际突发长度；及

一资料传输档次切换逻辑，其输入连接至该突发长度计算逻辑而输出连接至该快速取装置与该记忆体装置，以记录该第一模组所进行指令与资料存取的实际突发长度，并在实际发生高于现有资料传输档次的档次的次数较实际发生现有资料传输档次的次数为多，且差值大于一第一阀值时，将资料传输档次增加，在实际发生低于现有传输档次的档次的次数较实际发生现有传输档次的次数为多，且差值大于该第一阀值，将资料传输档次降低，如此，可动态地调整现有的资料传输档次并根据调整后的现有的资料传输档次在该第一模组与第二模组之间通过总线传输资料。

2.如权利要求1所述的架构，其特征在于，该资料传输档次切换逻辑具有对应于该复数个档次的复数个计数器，以二进制的方式记录该处理机核心所实际发生的突发长度。

3.如权利要求1所述的架构，其特征在于，如高于或低于现有档次的所有档次的计数器值的总和大于现有档次的计数器值加上该第一阀值，则由前述高于或低于现有档次的所有档次中，选择具有最大计数器值的档次作为现有档次。

4.如权利要求2所述的架构，其特征在于，如高于或低于现有档次的所有档次的计数器值的总和大于现有档次的计数器值加上该第一阀值，则选择前述高于或低于现有档次的所有档次，以判断最大计数器值与次大计数器值的差值是否超过一第二阀值，如是，以具有最大计数器值的档次作为现有档次，如否，以具有次大计数器值的档次作为现有档次。

5.如权利要求1所述的架构，其特征在于，该快速存取装置由一快取模块与一预取模块所构成，而每一资料传输档次对应有该外部记忆装置的介面与该预取模块的介面上的连续资料传输长度，及该快取模块的介面与预取模块的介面上的连续资料传输长度。

6.如权利要求1所述的架构，其特征在于，资料传输档次N对应连续资料传输长度2N单位。

7.如权利要求1所述的架构，其特征在于，该第一模块与第二模块通过总线传输资料。

8.一种可适应性存取指令与资料的方法，其在一第一模块中预设有复数种资料传输档次，而以一现有资料传输档次来存取一第二模块的指令与资料，该第一模块具有复数个对应于前述资料传输档次的计数器，以二进制的方式记录该第一模块所实际发生的突发长度，该方法主要包括步骤：

(A)指定一资料传输档次为现有的档次；

(B)依该第一模块的资料存取行为计算出实际的突发长度，并将此长度值记录于前述计数器中；

(D)选择前述高于或低于现有档次的所有档次，以判断最大计数器值与次大计数器值的差值是否超过一第二阀值，如是，以具有最大计数器值的档次作为现有档次，如否，以具有次大计数器值的档次作为现有档次；

(E)根据前述现有档次在该第一模组与第二模组之间传输资料，以完成连续资料传输长度的存取。

9.如权利要求8所述的方法，其特征在于，于步骤(D)中，若是比现有档次高以及档次低的的计数器值皆超过阀值，则选择其中较大的计数器值。