CN104809078A

CN104809078A - 基于退出退让机制的共享高速缓存硬件资源访问方法

Info

Publication number: CN104809078A
Application number: CN201510173175.7A
Authority: CN
Inventors: 苏东锋; 张立新; 姚涛; 冯煜晶
Original assignee: Suzhou Zhong Shenghongxin Information Technology Co Ltd
Current assignee: Hexin Technology (Suzhou) Co.,Ltd.
Priority date: 2015-04-14
Filing date: 2015-04-14
Publication date: 2015-07-29
Anticipated expiration: 2035-04-14
Also published as: CN104809078B

Abstract

本发明涉及计算机领域中共享高速缓存的硬件资源访问方法。当私有高速缓存中存在某个重要的访存请求时，该重要的访存请求将按照退出机制替换其他晚进入的访存请求，再通过退让机制将访存请求迁移至最先访问共享高速缓存的位置以达到优先访问共享高速缓存硬件资源的目的。本发明通过退出机制和退让机制的结合实现在某个私有高速缓存中重要访存请求优先访问共享高速缓存的硬件资源，解决访存请求访问共享高速缓存硬件资源的竞争以及由竞争引起的问题。

Description

基于退出退让机制的共享高速缓存硬件资源访问方法

技术领域

本发明涉及计算机技术领域，具体涉及一种中央处理器单元中共享高速缓存中硬件资源分配访问的方法。

背景技术

高速缓冲存储器（Cache）是存储器系统中最重要的部分之一。其是在计算机存储系统的层次结构中，介于中央处理器（CPU）和主存储器（Main memory）之间用于弥补处理器与存储器之间的速度差异。其特点是容量比较小但速度比主存高得多，接近于CPU的速度。

目前所有现代计算机都使用cache。而且大多数处理器都会额外增加一级cache，服务器级别的处理器中会采用三级cache结构，采用了L1 cache、L2 cache和L3 cache三个层次的cache结构，其访问速度依次递减，容量依次递增，我们称L3 cache为LLC（Last Level Cache）即最后一级的高速缓存。在多核处理器（CMP，Chip mulitiprocessors）中，不同处理器都有自己的私有的上一级高速缓存（二级缓存时为L1cache，三级缓存时为L1cache和/或L2cache）但是多个处理器通过共有的最后一级高速缓存LLC来实现数据共享。由于最后一级高速缓存LLC被各核共享（Share），LLC中的数据和硬件资源都是所有访存指令竞争的对象，所以一个核的活跃数据很有可能被其他核引发的缺失替换出共享Cache，导致系统性能下降。

现有技术中数据共享竞争控制可以通过指令或者软件来实现，如申请号为201410537569.1的中国发明专利中就公开了多核处理器共享缓存任务调度方法，提出了一种共享Cache驱动的任务调度方法，以提供合理的空间以提高多核处理器并发执行任务能力，提升处理器性能。通过将共享高速缓存划分为若干个共享高速缓存块，并将划分后共享高速缓存块划分给各个私有高速缓存。当私有缓存中的访存请求访问资源时，首先对比共享高速缓存和私有高速缓存中各自拥有的共享高速缓存块之和。如果共享高速缓存块之和满足该访存请求对共享高速缓存的资源要求则该访存请求可以访问否则等待。上述技术方案的问题在于只是划分了共享高速缓存提供给各个私有高速缓存实现一种硬件资源的分配调度，而没有解决硬件资源的竞争以及由竞争引起的问题，特别是当某个私有高速缓存中存在一个重要访存请求，如何能够相较于其他不重要的访存请求优先进入共享高速缓存中，优先访问共享高速缓存硬件资源的问题。

发明内容

为解决上述技术问题，本发明提供了一种多核处理器共享高速缓存硬件资源访问方法，其目的是，解决访存请求访问共享高速缓存硬件资源的竞争以及由竞争导致引起的问题，特别是当某个私有高速缓存中存在一个重要访存请求，如何能够相较于其他不重要的访存请求优先进入共享高速缓存中，以及优先访问共享高速缓存硬件资源的问题。

为达到上述目的，本发明的技术方案如下：

基于退出机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存，私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，通过以下步骤实现某个访存请求优先进入共享高速缓存中：

步骤1、访存请求进入，各个私有高速缓存中的各个访存请求按照时间顺序并行进入共享高速缓存中；

步骤2、访存请求退出，当某个访存请求优先级较高的队列未进入共享高速缓存中时，共享高速缓存将已进入共享高速缓存中但优先级较低的访存请求按照晚进入先退出的原则删除；

步骤3、优先级较高的访存请求进入，优先级较高的访存请求优先进入共享高速缓存中并且替换退出的访存请求的位置；

步骤4、数据状态更新；

步骤5、共享高速缓存向进入的优先级较高的访存请求所在私有高速缓存反馈信息。

当共享高速缓存中访存请求已经占满时，某个私有高速缓存中标记了某个访问共享高速缓存硬件资源优先级较高的访存请求时，将通过上述方法实现替换优先级较低并满足晚进入先退出原则的访存请求，从而使得在私有高速缓存中某个访问共享高速缓存硬件资源优先级较高的访存请求优先进入共享高速缓存中。

基于退让机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存, 私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，通过以下步骤实现访问优先级高的访存请求优先在共享高速缓存中实现硬件资源访问：

步骤1、访存请求进入共享缓存中，访问优先级高的访存请求和访问优先级低的访存请求按照时间顺序进入共享高速缓存中；

步骤2、访存请求退让步骤，当某个消息访问优先级高的访存请求按照进入共享高速缓存时间访问靠后时，按照早进入先退让的原则，将访问优先级最高的访存请求迁移至进入共享高速缓存最早的访存请求之前；

步骤3、数据状态更新；

步骤4、重复步骤2和步骤3；

步骤5、按照新的访存请求顺序访问共享高速缓存硬件资源。

进入共享高速缓存后访问共享高速缓存硬件资源优先级较低的访存请求和访问共享高速缓存硬件资源优先级较高的访存请求按照时间顺序排序。此时通过上述方法按照早进入先退让的原则使某个优先级较低的访存请求退让以实现优先级较高的访存请求第一个访问共享高速缓存的硬件资源。

进一步的，将本发明中基于退出机制的多核处理器的共享高速缓存进入分配方法和基于退让机制的多核处理器的共享高速缓存硬件资源访问分配方法结合得到如下技术方案。实现某个私有高速缓存中访问共享高速缓存硬件资源的优先级高的访存请求优先进入共享高速缓存中并优先访问共享高速缓存的硬件资源。

优选的，所述私有高速缓存数量为三个。

基于退出退让机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存, 私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，通过以下步骤实现某个私有高速缓存上的访存请求优先进入共享高速缓存中并实现硬件资源访问：

步骤4、数据状态更新；

步骤5、访存请求退让步骤，当优先级较高的访存请求按照进入共享高速缓存时间访问靠后时，按照早进入先退让的原则，将访问优先级最高的访存请求迁移至进入共享高速缓存最早的访存请求之前；

步骤6、数据状态更新；

步骤7、重复步骤5和步骤6；

步骤8、剩下的优先级相同的访存请求按照进入共享高速缓存的时间顺序排序；

步骤9、按照新的访存请求顺序访问共享高速缓存硬件资源。

进一步改进，某个私有高速缓存的队列在一段时间内始终没有进入共享高速缓存中，则按照晚进早退出的原则选取在其他私有高速缓存中已经进入共享高速缓存中的某一访存请求退出并删除，而长时间没有进入共有高速缓存的访存请求进入共享高速缓存。

优选的，一种基于退出退让机制的共享高速缓存硬件资源访问方法，将所述的方法应用于具有四个私有高速缓存中，将处理器的高速缓存分为四个独立运行的私有高速缓存和四个私有高速缓存共享的共享高速缓存,通过以下步骤实现访问优先级高的访存请求优先进入共享高速缓存中：

步骤1、访存请求优先级排序步骤，四个私有高速缓存中分别存在访存请求，将上述访存请求分别定义为访存请求A`、访存请求B`、访存请求C`和访存请求D`,上述若干个访存请求并行存储于不同的私有高速缓存中，并根据访存请求优先级排布规则将访问共享高速缓存硬件资源的优先级级别定义为访存请求A`优于访存请求B`等于访存请求C`不小于访存请求D`,访存请求按时间顺序进入共享缓存时间设定为访存请求D`早于访存请求C`早于访存请求B`早于访存请求A`；

步骤2、访存请求退出步骤，访存请求A`的优先级高于访存请求B`、访存请求C`和访存请求D`，而访存请求D`和访存请求C`相较于访存请求B`早进入共享高速缓存中，则进入优先级低的访存请求按照晚进入先替换的原则，访存请求B`将退出共享高速缓存并被删除，而访存请求A`将进入替换访存请求B`的位置进入下一步访存请求退让步骤中；

步骤3、访存请求退让步骤，共享高速缓存完成上一个步骤后对队列消息进行更新，访存请求A`优先级高于访存请求C`和访存请求D`，访存请求D`相较于访存请求C`早进入共享高速缓存中，则访存请求D`按照早进入先退出的原则，访存请求A`将迁移至访存请求D之前访问共享高速缓存的硬件资源；

步骤4、重复访存请求退让步骤，剩下的访存请求C`和访存请求D`将依据如下规则确定访问顺序，当访存请求C`的优先级级别高于访存请求D`的优先级级别时，则访存请求C`优先于访存请求D`访问共享高速缓存的硬件资源；当访存请求C`的优先级级别等于访存请求D`的优先级级别时，则按照进入时间排序访问共享高速缓存硬件资源。

一种应用基于退出机制的共享高速缓存硬件资源访问方法的装置；

一种应用基于退让机制的共享高速缓存硬件资源访问方法的装置；

一种应用基于退出退让机制的共享高速缓存硬件资源访问方法的装置。

本发明提供的一种基于退出退让机制的共享高速缓存硬件资源访问方法，其有益效果在于：在私有高速缓存中对访问共享高速缓存中的并行的访存请求进行访问共享高速缓存硬件资源的优先级的排序，访问优先级高的访存请求会实现：一、优先进入共享高速缓存中；二、在共享高速缓存中的访存请求排序中优先访问硬件资源。其中优先进入共享高速缓存是基于本发明中所描述的退出机制，而优先访问硬件资源是基于本发明中所描述的退让机制。退出机制和退让机制的结合实现在私有高速缓存中排定的高优先级的访问访存请求优先访问共享高速缓存的硬件资源。

附图说明

下面将结合附图对本发明创造进一步阐述

图1：为发明中实施例一中基于退出机制的访问共享高速缓存的流程图；

图2：为本发明实施例二中基于退让机制的访问共享高速缓存硬件资源的流程图；

图3：为本发明实施例三中基于退出退让机制的共享高速缓存硬件资源访问方法的流程图。

具体实施方式

下面将结合实施例和附图对本发明作进一步说明。

实施例一：基于退出机制的共享高速缓存硬件资源访问方法，如图1所示，

将多核处理器的高速缓存分为三个私有缓存和三个私有高速缓存共享的共享高速缓存,通过以下步骤实现某个访存请求优先进入共享高速缓存中：

步骤1、将分别存储在三个私有高速缓存上的访存请求分别定义为访存请求A、访存请求B和访存请求C，并且设定访存请求访问共享高速缓存优先级排序为访存请求A优先于访存请求B不小于访存请求C，访存请求按时间顺序访问共享高速缓存设定为访存请求C早于访存请求B早于访存请求A；

步骤2、访存请求进入，访存请求C和访存请求B进入共享高速缓存中而访存请求A未进入共享高速缓存中；

步骤3、访存请求退出，访存请求A优先级较高而未进入共享高速缓存中时，则共享高速缓存将已进入共享高速缓存中但优先级较低的访存请求按照晚进入先退出的原则删除，即访存请求C相对于访存请求A访问优先级低且访存请求B相对于访存请求C晚进入共享高速缓存中，因此共享高速缓存将访存请求C退出并删除；

步骤4、优先级较高的访存请求进入，优先级较高的访存请求A优先进入共享高速缓存中并且替换退出的访存请求B的位置；

步骤5、数据状态更新；

步骤6、共享高速缓存向访存请求Ａ所在的私有高速缓存反馈信息。

实施例一按照以下逻辑进行：

· 优先级比较规则M下，当三个私有高速缓存访存请求A、访存请求B和访存请求C在进入共享高速缓存发生资源竞争时，开始执行退出逻辑：

– 已经按时间顺序访存请求B和访存请求C已经进入共享高速缓存，当访问优先级更高的新的请求访存请求A到来时：

· 从队列已有项中选择替换访存请求B，访存请求B满足：

– <A，B> 符合M，即优先级访存请求A高于访存请求B；

– 按时间顺序访存请求B晚于访存请求C进入共享高速缓存中，即满足晚进入早退出原则（Last in First out，LIFO）。

· 若存在替换项访存请求B，则：

– 将访存请求B从共享高速缓存中退出，并删除；

– 共享高速缓存将信息反馈给任务私有高速缓存

– 同时，请求访存请求A进入请求队列

实施例二：基于退让机制的共享高速缓存硬件资源访问方法，如图2所示：

通过以下步骤实现访问优先级高的访存请求优先在共享高速缓存中实现硬件资源访问：

步骤2、访存请求进入共享缓存中，各个访存请求按时间顺序进入共享高速缓存中；

步骤3、访存请求退让步骤，比较进入共享高速缓存中的优先级排序，访存请求a的优先级排序最高，此时按照早进入先退让的原则，访存请求c先进入共享高速缓存中，则访存请求c退让，访存请求a迁移至访存请求c之前；

步骤4、数据状态更新；

步骤5、重复步骤3，步骤4，当访存请求b的优先级高于访存请求c，则访存请求c继续退让，否则按时间顺序排列；

步骤6、按照新的访存请求顺序访问共享高速缓存硬件资源。

实施例二按照以下退让逻辑进行：

· 优先级比较规则M下，当三个私有高速缓存请求队列访存请求a、访存请求b和访存请求c发生访问共享高速缓存硬件资源竞争时，开始执行退让逻辑：

· 若满足<b，a>符合M 且<c，a>符合M：

– 同时，请求访存请求a迁移至访存请求c之前

· 接下来

·若满足<c，b>符合M，即访存请求b的访问优先级高于访存请求c低

– 则访存请求b迁移至访存请求a后访存请求c前；

·若满足<c，b>不符合M，即访存请求b的访问优先级等于访存请求c的访问优先级

– 按照进入时间顺序排列访问顺序。

实施例三：基于退出退让机制的共享高速缓存硬件资源访问方法，如图3所示，

将所述的方法应用于具有四个私有高速缓存中，将处理器的高速缓存分为四个独立运行的私有高速缓存和四个私有高速缓存共享的共享高速缓存,其特征在于，通过以下步骤实现访问优先级高的访存请求优先进入共享高速缓存中：

步骤2、访存请求退出步骤，访存请求A`的优先级高于访存请求B`、访存请求C`和消息D`，而访存请求D`和访存请求C`相较于访存请求B`早进入共享高速缓存中，则进入优先级低的访存请求按照晚进入先替换的原则，访存请求B`将退出共享高速缓存并被删除，而访存请求A`将进入替换访存请求B`的位置进入下一步访存请求退让步骤中；

步骤3、访存请求退让步骤，共享高速缓存完成上一个步骤后对队列消息进行更新，访存请求A`优先级高于访存请求C`和访存请求D`，访存请求D`相较于访存请求C`早进入共享高速缓存中，则访存请求D`按照早进入先退出的原则，访存请求A`将迁移至访存请求D`之前访问共享高速缓存的硬件资源；

步骤4、重复访存请求退让步骤、剩下的访存请求C`和访存请求D`将依据如下规则确定访问顺序，当访存请求C`的优先级级别高于访存请求D`的优先级级别时，则访存请求C`优先于访存请求D`访问共享高速缓存的硬件资源；当访存请求C`的优先级级别等于访存请求D`的优先级级别时，则按照进入时间排序访问共享高速缓存硬件资源。

实施例三按照以下退出退让逻辑进行：

· 优先级比较规则M下，当四个私有高速缓存访存请求A`、访存请求B`、访存请求C`和访存请求D`在进入共享高速缓存发生资源竞争时，开始执行退出逻辑：

– 已经按时间顺序访存请求D`、访存请求C`和访存请求B`已经进入共享高速缓存，当访问优先级更高的新的请求访存请求A`到来时：

· 从队列已有项中选择替换访存请求B`，访存请求B`满足：

– <A`，B`> 符合M，即优先级访存请求A`高于访存请求B`；

– 按时间顺序访存请求B`晚于访存请求C`和访存请求A`进入共享高速缓存中，即满足晚进入早退出原则（Last in First out，LIFO）。

· 若存在替换项访存请求B`，则：

– 将访存请求B`从共享高速缓存中退出，并删除；

– 共享高速缓存将信息反馈给任务私有高速缓存

– 同时，请求访存请求A`进入请求队列;

· 当三个私有高速缓存请求队列访存请求D`、访存请求C`和访存请求A`按顺序进入共享高速缓存后，发生访问共享高速缓存硬件资源竞争时，开始执行退让逻辑：

· 若满足<D`，A`>符合M 且<C`，A`>符合M：

– 同时，请求访存请求A`迁移至访存请求D`之前

· 接下来

·若满足<D`，C`>符合M，即访存请求C`的访问优先级高于访存请求c低

– 则访存请求C`迁移至访存请求A`后访存请求D`前；

·若满足<D`，C1>不符合M，即访存请求C`的访问优先级等于访存请求D`的访问优先级

– 按照进入时间顺序排列访问顺序。

在实施例三的基础上，我们提出实施例四，当某个私有高速缓存中访存请求在一段时间之内始终没有进入共享高速缓存中时，我们认为此事处于资源不均衡状态，即某个私有高速缓存始终没有资源使用。则按照晚进早退出的原则选取在其他私有高速缓存中已经进入共享高速缓存中的某一访存请求退出并删除，而长时间没有进入共有高速缓存的访存请求进入共享高速缓存。

本发明提供的一种基于退出退让机制的共享高速缓存硬件资源访问方法，在私有高速缓存中对访问共享高速缓存中的并行的访存请求进行访问共享高速缓存硬件资源的优先级的排序，访问优先级高的访存请求会实现：一、优先进入共享高速缓存中；二、在共享高速缓存中的访存请求排序中优先访问硬件资源。其中优先进入共享高速缓存是基于本发明中所描述的退出机制，而优先访问硬件资源是基于本发明中所描述的退让机制。退出机制和退让机制的结合实现在私有高速缓存中排定的高优先级的访问访存请求优先访问共享高速缓存的硬件资源。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.基于退出机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存，私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，其特征在于，通过以下步骤实现某个访存请求优先进入共享高速缓存中：

步骤4、数据状态更新；

2.基于退让机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存, 私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，其特征在于，通过以下步骤实现访问优先级高的访存请求优先在共享高速缓存中实现硬件资源访问：

步骤3、数据状态更新；

步骤4、重复步骤2和步骤3；

步骤5、按照新的访存请求顺序访问共享高速缓存硬件资源。

3.如权利要求1或2所述的一种基于退出退让机制的共享高速缓存硬件资源访问方法，其特征在于，其特征在于所述私有高速缓存数量为三个。

4.基于退出退让机制的共享高速缓存硬件资源访问方法，将多核处理器的高速缓存分为多个独立运行的私有高速缓存和多个私有高速缓存共享的共享高速缓存, 私有高速缓存向共享高速缓存中发送访存请求，所述的访存请求根据访问共享高速缓存的优先级进行排序，其特征在于，通过以下步骤实现某个私有高速缓存上的访存请求优先进入共享高速缓存中并实现硬件资源访问：

步骤4、数据状态更新；

步骤6、数据状态更新；

步骤7、重复步骤5和步骤6；

步骤9、按照新的访存请求顺序访问共享高速缓存硬件资源。

5.根据权利要求4所述的一种基于退出退让机制的共享高速缓存硬件资源访问方法，其特征在于，某个私有高速缓存的队列在一段时间内始终没有进入共享高速缓存中，则按照晚进早退出的原则选取在其他私有高速缓存中已经进入共享高速缓存中的某一访存请求退出并删除，而长时间没有进入共有高速缓存的访存请求进入共享高速缓存。

6.根据权利要求4所述的一种基于退出退让机制的共享高速缓存硬件资源访问方法，将所述的方法应用于具有四个私有高速缓存中，将处理器的高速缓存分为四个独立运行的私有高速缓存和四个私有高速缓存共享的共享高速缓存,

将访存请求优先级排序，四个私有高速缓存中分别存在访存请求，将上述访存请求分别定义为访存请求A`、访存请求B`、访存请求C`和访存请求D`,上述若干个访存请求并行存储于不同的私有高速缓存中，并根据访存请求优先级排布规则将访问共享高速缓存硬件资源的优先级级别定义为访存请求A`优于访存请求B`等于访存请求C`不小于访存请求D`,访存请求按时间顺序进入共享缓存时间设定为访存请求D`早于访存请求C`早于访存请求B`早于访存请求A`，

其特征在于，通过以下步骤实现访问优先级高的访存请求优先进入共享高速缓存中：

步骤1、访存请求退出步骤，访存请求A`的优先级高于访存请求B`、访存请求C`和访存请求D`，而访存请求D`和访存请求C`相较于访存请求B`早进入共享高速缓存中，则进入优先级低的访存请求按照晚进入先替换的原则，访存请求B`将退出共享高速缓存并被删除，而访存请求A`将进入替换访存请求B`的位置进入下一步访存请求退让步骤中；

步骤2、访存请求退让步骤，共享高速缓存完成上一个步骤后对队列消息进行更新，访存请求A`优先级高于访存请求C`和访存请求D`，访存请求D`相较于访存请求C`早进入共享高速缓存中，则访存请求D`按照早进入先退出的原则，访存请求A`将迁移至访存请求D之前访问共享高速缓存的硬件资源；

步骤3、重复访存请求退让步骤，剩下的访存请求C`和访存请求D`将依据如下规则确定访问顺序，当访存请求C`的优先级级别高于访存请求D`的优先级级别时，则访存请求C`优先于访存请求D`访问共享高速缓存的硬件资源；当访存请求C`的优先级级别等于访存请求D`的优先级级别时，则按照进入时间排序访问共享高速缓存硬件资源。

7.一种应用权利要求1至6中任一所述方法的装置。