CN104461957A - 一种异构多核cpu共享片上高速缓存的方法及装置 - Google Patents

Abstract

提出一种异构多核CPU共享片上高速缓存的方法，分别对不同计算核心设定不同访存优先级，分别缓存来自不同计算核心的访存请求；对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；检查进入处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。还提出一种异构多核CPU共享片上高速缓存的装置。所述方法和装置能够同时兼顾多个异构计算核心访问特性、性能高、硬件实现简单、代价小。

Description

一种异构多核CPU共享片上高速缓存的方法及装置

技术领域

本发明涉及计算机微处理器技术领域，具体涉及一种异构多核CPU共享片上高速缓存的方法及装置。

背景技术

随着超大规模集成电路的飞速发展，单芯片上的可用晶体管资源越来越多，单个CPU芯片能够集成多个不同功能的计算核心，具有较为完善的功能。比如目前的一些嵌入式系统〔如手机、游戏机)对图形、图像、视频等多媒体处理器性能提出了较高的要求，同时也对非重载任务时的功耗提出了要求，这使得异构多核CPU有了广泛的使用空间。在集成了两种或两种以上不同处理单元的CPU芯片中，各个计算核心之间往往需要共享使用高速缓存、存储控制器等片上资源。然而，片上有限的高速缓存很难同时满足各个计算核心的访存需求，进而使得CPU性能都受到影响。此外，不同CPU计算核心的访存特性也存在较大差别，对片上高速缓存的特性也提出了不同的要求。性能高的计算核心的访存请求属于延迟敏感的，它要求其访存请求能够得到快速服务；而性能低的计算核心往往执行重要的系统管理任务，虽然访存请求延迟不敏感，但是也不能长时间阻塞。综上所述，片上高速缓存的共享使用方式在一定程度上影响了异构多核CPU的性能，使得不同核心的需求无法都得到很好满足。这已经成为一个亟待解决的技术问题。

发明内容

本发明要解决的技术问题是提供一种能够同时兼顾多个异构计算核心访问特性、性能高、硬件实现简单、代价小的共享片上高速缓存的方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：

一种异构多核CPU共享片上高速缓存的方法，其中，多核CPU包括多个不同计算核心，所述方法包括如下步骤：

1.分别对不同计算核心设定不同访存优先级，分别缓存来自不同计算核心的访存请求；

2.对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

3.检查进入处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

进一步地，所述步骤2中对所述访存请求进行仲裁的原则是：

如果上一次仲裁结果为较低优先级计算核心发出的访存请求被送入流水线，则本次选择来自较高优先级的计算核心所发出的访存请求进入处理流水线；如果较低优先级的计算核心处于重负载状态，则优先选择该计算核心所发出的访存请求进入处理流水线。

进一步地，所述步骤3具体为：

3.1检查进入流水线的访存请求的请求类型，当访存请求来自最高优先级的计算核心时，如果访存请求的操作类型为读操作则执行步骤3.2，为写操作则执行步骤3.3；当访存请求来自非最高优先级的计算核心时，如果访存请求的请求类型为读操作则执行步骤3.4，为写操作则执行步骤3.5；

3.2判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；如果为未命中，则访问外部存储器取回所述访存请求所要读取的数据，将取回的数据缓存到高速缓存中并返回给发出所述访存请求的计算核心，访存请求执行完毕；

3.3判断所述访存请求所写入的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址，访存请求执行完毕；

3.4判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入，访存请求执行完毕。

3.5判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中,访存请求执行完毕。

本发明还提供一种异构多核CPU共享片上高速缓存的装置，其中，多核CPU包括多个不同计算核心，所述装置包括：

多个访存请求存储单元，用于分别缓存来自多个具有不同优先级的计算核心所发出的访存请求；

仲裁器，用于对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

高速缓存流水线执行单元，用于检查进入所述处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

进一步，所述仲裁器具体用于：

如果上一次仲裁结果为较低优先级计算核心发出的访存请求被送入流水线，则本次选择来自较高优先级的计算核心所发出的访存请求进入处理流水线；如果较低优先级的计算核心处于重负载状态，则优先选择该计算核心所发出的访存请求进入处理流水线。

进一步，所述高速缓存流水线执行单元具体用于：

检查进入流水线的访存请求的请求类型，当访存请求来自最高优先级的计算核心时，如果访存请求的操作类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；如果为未命中，则访问外部存储器取回所述访存请求所要读取的数据，将取回的数据缓存到高速缓存中并返回给发出所述访存请求的计算核心；

为写操作则判断所述访存请求所写入的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址；

当访存请求来自非最高优先级的计算核心时，如果访存请求的请求类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入；

为写操作则判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中。

本发明的有益效果是：能够同时兼顾多个异构计算核心访问特性、性能高、硬件实现简单、代价小。

附图说明

图1为本发明提出的方法的基本流程示意图。

图2为本发明提出的访存请求处理流程示意图。

图3为本发明提出的仲裁处理流程示意图。

图4为本发明提出的对来自最高优先级计算核心的访存请求进行高速缓存处理的流程示意图。

图5为本发明提出的对来自非最高优先级计算核心的访存请求进行高速缓存处理的流程示意图。

具体实施方式

为了更清楚地说明本发明申请或现有技术中的技术方案，下面将对实施或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施，对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

实施例1：

如图1所示，本实施提出的方法的实施步骤如下：

1.分别对不同计算核心设定不同访存优先级，分别缓存来自不同计算核心的访存请求；

2.对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

3.检查进入处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

实施例2：

图2示出了本实施例中针对缓存的来自不同优先级的计算核心的的访存请求进行仲裁的流程图，仲裁获胜的访存请求进入处理流水线。

如图所示，来自不同优先级的计算核心的访存请求被放入对应优先级等级的队列，例如，可以将来自当前最高优先级的计算核心的访存请求均放入队列1中，所述队列1中的访存请求具有当前最高优先级，相应的，依据优先级从高到低的顺序，依次讲来自非最高优先级的计算核心所发出的访存请求放入队列2-n，所述队列2-n中的访存请求的优先级依次降低。

对队列中的访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线。对队列中的访存请求进行仲裁的原则在后续文字中描述。

检查进入处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

实施例3：

如图3所示，本实施例中仲裁流程依据上一次仲裁结果及当前非最高优先级队列的计算核心负载情况。

如果上一次仲裁的结果为当前非最高优先级的队列中的访存请求获胜，即来自某一非最高优先级的计算核心所发出的访存请求仲裁获胜并被送入了处理流水线，则在本次仲裁时，选择当前最高优先级的队列中的访存请求获胜，即选择来自当前最高优先级的计算核心所发出的访存请求，并将其送入处理流水线。

否则，根据优先级从高到低的顺序依次查看每一个队列中的第一个访存请求所来自的计算核心是否处于重负载状态，如果是则优先选择队列中的第一个来自所述重负载状态的计算核心所发出的访存请求，并送入处理流水线。如果没有处于重负载状态的计算核心，则优先选择来自当前最高优先级的计算核心所发出的访存请求，并将其送入处理流水线。

实施例4：

对来自当前最高优先级计算核心的访存请求和非最高优先级计算核心的访存请求的处理流程分别进行描述如下：

如图4所示，本实施例中来自最高优先级队列的访存请求的高速缓存处理流程按照高速缓存操作原则进行。

判断访存请求的操作类型，如果访存请求为读操作，则继续判断是否在高速缓存中命中，如果没有在高速缓存中命中则从外部内存中读取所述数据并将读取的数据返回给计算核心，如果在高速缓存中命中，则将读取的数据返回给计算核心；

如果访存请求的类型为写操作，则继续判断是否在高速缓存中命中，如果在高速缓存中命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未在高速缓存中命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址，访存请求执行完毕。

如图5所示，本实施例中来自非最高优先级队列的访存请求的高速缓存处理流程如下：

判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入。

判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中,访存请求执行完毕。

实施例5：

本发明还提供一种异构多核CPU共享片上高速缓存的装置，其中，多核CPU包括多个不同计算核心。所述装置使用专用集成电路实现，例如ASIC电路，可编程门阵列器件FPGA等。

所述装置包括：

多个访存请求存储单元，用于分别缓存来自多个具有不同优先级的计算核心所发出的访存请求；

仲裁器，用于对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

高速缓存流水线执行单元，用于检查进入所述处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

所述仲裁器具体用于：

如果上一次仲裁结果为较低优先级计算核心发出的访存请求被送入流水线，则本次选择来自较高优先级的计算核心所发出的访存请求进入处理流水线；如果较低优先级的计算核心处于重负载状态，则优先选择该计算核心所发出的访存请求进入处理流水线。

所述高速缓存流水线执行单元具体用于：

检查进入流水线的访存请求的请求类型，当访存请求来自最高优先级的计算核心时，如果访存请求的操作类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；如果为未命中，则访问外部存储器取回所述访存请求所要读取的数据，将取回的数据缓存到高速缓存中并返回给发出所述访存请求的计算核心；

为写操作则判断所述访存请求所写入的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址；

当访存请求来自非最高优先级的计算核心时，如果访存请求的请求类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入；

为写操作则判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (6)

1.一种异构多核CPU共享片上高速缓存的方法，其中，多核CPU包括多个不同计算核心，其特征在于，所述方法包括如下步骤：

S1.分别对不同计算核心设定不同访存优先级，分别缓存来自不同计算核心的访存请求；

S2.对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

S3.检查进入处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

2.如权利要去1所述的方法，其特征在于，所述步骤S2中对所述访存请求进行仲裁的原则是：

如果上一次仲裁结果为较低优先级计算核心发出的访存请求被送入流水线，则本次选择来自较高优先级的计算核心所发出的访存请求进入处理流水线；如果较低优先级的计算核心处于重负载状态，则优先选择该计算核心所发出的访存请求进入处理流水线。

3.如权利要求1或2所述的方法，其特征在于，所述步骤S3具体为：

S3.1检查进入流水线的访存请求的请求类型，当访存请求来自最高优先级的计算核心时，如果访存请求的操作类型为读操作则执行步骤S3.2，为写操作则执行步骤S3.3；当访存请求来自非最高优先级的计算核心时，如果访存请求的请求类型为读操作则执行步骤S3.4，为写操作则执行步骤S3.5；

S3.2判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；如果为未命中，则访问外部存储器取回所述访存请求所要读取的数据，将取回的数据缓存到高速缓存中并返回给发出所述访存请求的计算核心，访存请求执行完毕；

S3.3判断所述访存请求所写入的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址，访存请求执行完毕；

S3.4判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入，访存请求执行完毕；

S3.5判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中,访存请求执行完毕。

4.一种异构多核CPU共享片上高速缓存的装置，其中，多核CPU包括多个不同计算核心，其特征在于，包括：

多个访存请求存储单元，用于分别缓存来自多个具有不同优先级的计算核心所发出的访存请求；

仲裁器，用于对所述访存请求进行仲裁，仲裁获胜的访存请求进入处理流水线；

高速缓存流水线执行单元，用于检查进入所述处理流水线的所述访存请求的请求类型，在执行该访存请求时将该访存请求的读和/或写数据经过高速缓存，具体执行的高速缓存操作依据发出所述访存请求的所述计算核心的优先级。

5.如权利要求4所述的装置，其特征在于，所述仲裁器具体用于：

如果上一次仲裁结果为较低优先级计算核心发出的访存请求被送入流水线，则本次选择来自较高优先级的计算核心所发出的访存请求进入处理流水线；如果较低优先级的计算核心处于重负载状态，则优先选择该计算核心所发出的访存请求进入处理流水线。

6.如权利要求4或5所述的装置，其特征在于，所述高速缓存流水线执行单元具体用于：

检查进入流水线的访存请求的请求类型，当访存请求来自最高优先级的计算核心时，如果访存请求的操作类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；如果为未命中，则访问外部存储器取回所述访存请求所要读取的数据，将取回的数据缓存到高速缓存中并返回给发出所述访存请求的计算核心；

为写操作则判断所述访存请求所写入的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，并向内核发出作废或者更新数据的命令；如果未命中，则采用按写分配原则，将数据写入高速缓存中新分配的缓存块地址；

当访存请求来自非最高优先级的计算核心时，如果访存请求的请求类型为读操作，则判断所述访存请求所读取的数据是否在高速缓存中命中，如果命中，则将命中数据直接返回给发出所述访存请求的计算核心；否则访问外部存储器取回所述访存请求所要读取数据，将取回的数据直接返回给发出所述访存请求的计算核心；并且按照缓存分配原则，如果将从外部存储器取回的数据写入高速缓存中不需要进行高速缓存替换操作，则写入高速缓存中，否则不写入；

为写操作则判断所述访存请求所写的数据是否在高速缓存中命中，如果命中，则将所述数据写入高速缓存中，然后向其他内核发出作废或者更新数据的命令；如果未命中，按照缓存分配原则，如果将所述数据写入高速缓存中不需要进行高速缓存替换操作，则将数据写入高速缓存中新分配的缓存块地址；否则不写入，只将所述数据写入外部的存储器，不写入高速缓存中。