CN105242967A - 一种基于dvfs技术的多核系统内混合内存上数据迁移的方法 - Google Patents

Abstract

本发明提供一种基于DVFS技术的多核系统内混合内存上数据迁移的方法，当任一处理器核P_x的数据位于动态随机存取存储器中且所述处理器核P_x的工作条件满足第一迁移条件时，经时间ΔT₁后，将所述数据从所述动态随机存取存储器迁移至新型存储器中；当任一处理器核P_x的所述数据位于所述新型存储器中且所述处理器核P_x的工作条件满足第二迁移条件时，将所述数据从所述新型存储器迁移至所述动态随机存取存储器。由迁移临界时间值ΔT决定的混合内存上数据的迁移方法能够最大限度的降低数据频繁迁移所带来的能耗开销和性能开销，避免了短时间段内数据频繁在混合内存中的迁移，提高系统的稳定性和性能。

Description

一种基于DVFS技术的多核系统内混合内存上数据迁移的方法

技术领域

本发明涉及混合内存领域，尤其涉及一种基于DVFS技术的多核系统内混合内存上数据迁移的方法。

背景技术

动态电压频率调整(DynamicVoltageFrequencyScaling，DVFS)是一种芯片节能技术，即根据芯片所运行的应用程序对计算能力的不同需要，动态调节芯片的运行频率和电压，从而降低功耗。一般情况下，对同一块芯片，频率越高，需要的电压也越高。降低频率可以降低功耗，但是单纯的降低频率并不能节省功耗，因为对于一个给定的任务，F*t(频率与时间的乘积)是一个常量，只有在降低频率的同时降低电压，才能真正的的降低功耗。目前很多芯片都支持DVFS，因为能够节省大量功耗，DVFS技术已经得到了广泛的应用，特别是在便携式设备中。

随着内存(DRAM)容量越来越大，DRAM功耗占系统功耗的比重也越来越高，特别是在服务器领域。因此逐渐产生了混合式内存，它是由动态随机存取存储器(DRAM)和新型存储器(NCM)组成，如图1所示。在高负载时，系统将数据存储在DRAM中；在低负载时，将数据迁移至NCM中，这是因为低负载时混合内存的IO吞吐量下降，NCM能够满足系统的数据请求速率且不影响其性能。现有技术中，有一种基于DVFS技术的多核处理器系统的混合式内存上的数据迁移方法，核心思想是：(1)当某处理器核的工作电压小于或等于或/和工作频率小于或等于时(p、q均为大于1的实数，V_max和F_max为该处理器核的最高工作电压和工作频率)，该处理器核所需处理的数据应当从混合式内存中的DRAM区迁移至NCM中；(2)当某处理器核的工作电压大于或/和工作频率大于时，该处理器核所需处理的应用数据应当从混合式内存中的NCM区迁移到DRAM区中。这种技术方法有个明显的缺点，就是一旦系统工作条件满足(1)或者(2)，混合式内存中就会发生数据迁移。在某些应用场合下，系统会在不同的工作电压和频率之间频繁切换，这就会导致混合式内存中的数据会在NCM和DRAM中来回频繁转移，不仅不能够降低系统功耗，还会增加系统混合内存中数据迁移的功耗开销，整个系统性能和稳定性也会因为数据迁移而降低。

发明内容

鉴于上述问题，本申请记载了一种基于DVFS技术的多核系统内混合内存上数据迁移的方法，当任一处理器核P_x的数据位于动态随机存取存储器中且所述处理器核P_x的工作条件满足第一迁移条件时，经时间ΔT₁后，将所述数据从所述动态随机存取存储器迁移至新型存储器中；

当任一处理器核P_x的所述数据位于所述新型存储器中且所述处理器核P_x的工作条件满足第二迁移条件时，经时间后ΔT₂，将所述数据从所述新型存储器迁移至所述动态随机存取存储器；

其中，所述多核系统共有n个处理器核，n>0，P_x表示第x个处理器核，0＜x≤n，ΔT₁和ΔT₂为实数；当任一处理器核P_x满足第一迁移条件且经时间ΔT₁后，E₁+E₂≤E_DRAM-E_NCM，E₁代表所述数据从所述动态随机存取存储器迁移至所述新型存储器所需的能耗，E₂代表所述数据从所述新型存储器迁移至所述动态随机存取存储器所需的能耗，E_DRAM代表ΔT₁时间内所述数据在所述动态随机存取存储器中的运行能耗；E_NCM为ΔT₁时间内所述数据在所述新型存储器中的运行能耗。

较佳的，每个处理器核都有独立的工作电压和工作频率，所述第一迁移条件为任一处理器核P_x的工作电压为和/或工作频率为 $F_{work}<\frac{F_{max}}{q};$

其中，V_work代表所述处理器核P_x的工作电压，V_max代表所述多核处理器系统的最高工作电压，p为大于1的实数；F_work代表所述处理器核P_x的工作频率，F_max代表所述多核处理器系统的最高工作频率，q为大于1的实数。

较佳的，，所述第二迁移条件为所述处理器核P_x的工作电压V_work的范围为和/或工作频率F_work的范围为

较佳的，当所述数据位于所述新型存储器中且关闭所述处理器核P_x时，保持所述数据位于所述新型存储器中。

较佳的，在ΔT₁时间内，当所述处理器核P_x的工作电压V_work提升至和/或工作频率F_work提高至时，保持所述数据位于所述动态随机存取存储器中。

较佳的，所述混合内存包括易失性的所述动态随机存取存储器和非易失性的所述新型存储器。

较佳的，ΔT₂由所述数据在所述新型存储器中造成的系统性能开销以及所述数据在混合内存中进行迁移所造成的系统性能开销共同决定。

上述技术方案具有如下优点或有益效果：本发明提出了一种基于DVFS技术的多核处理器系统的混合内存数据迁移方法，设置一迁移临界时间值ΔT，当在某一时刻T当某处理器核的工作条件满足混合内存上数据进行迁移的条件时，在ΔT时间内，不进行混合内存内的数据迁移，所谓混合内存内的数据迁移即数据从混合内存中的NCM中迁移至DRAM中或数据从DRAM中迁移至NCM中。ΔT时间后，如果继续满足T时刻混合内存上数据进行的迁移条件，那么再进行混合内存中的数据迁移，否则不进行数据迁移。由迁移临界时间值ΔT决定的混合内存上数据迁移的方法能够最大限度的降低数据频繁迁移所带来的能耗开销和性能开销，避免了短时间段内数据频繁在混合内存中的迁移，提高系统的稳定性和性能。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为现有技术中混合式内存结构示意图；

图2为现有技术中多核处理器与混合内存结构示意图；

图3为本发明一种基于DVFS技术的多核系统内混合内存上数据迁移的方法的流程图；

图4为本发明一种基于DVFS技术的多核系统内混合内存上数据迁移的方法中客户应用程序结构示意图；

图5为本发明一种基于DVFS技术的多核系统内混合内存上数据迁移的方法的具体应用示意图。

具体实施方式

一种基于DVFS技术的多核系统内混合内存上数据迁移的方法，在多核系统中，每个处理器核都有独立的工作电压和工作频率，且处理器核中混合内存包括易失性的所述动态随机存取存储器和非易失性的所述新型存储器。当任一处理器核P_x的数据位于所述新型存储器中且该处理器核P_x的工作电压和/或工作频率降低并满足第一迁移条件时，且经过一段时间ΔT₁后，将数据从动态随机存储器迁移至新型存储器中。

具体来说，在这个过程中，处理器核P_x的工作电压和/或工作频率必须低于特定值，即所述第一迁移条件为：工作电压和/或工作频率且经时间ΔT₁后，E₁+E₂≤E_DRAM-E_NCM，此时，才需要将数据从动态随机存储器迁移至新型存储器中。

当处理器P_x所需处理的数据位于所述新型存储器中，所述处理器核P_x的工作电压和/或工作频率升高至特定范围(满足第二迁移条件)并经过时间ΔT₂后，将所述数据迁移至所述动态随机存取存储器中。其中，ΔT₂由所述数据在所述新型存储器中造成的系统性能开销以及所述数据在混合内存中进行迁移所造成的系统性能开销共同决定。

具体来说，在这个过程中，处理器P_x的工作电压和/或工作频率必须在必须升高至特定范围，即所述第二迁移条件为：工作电压V_work的范围为和/或工作频率F_work的范围为且经过时间ΔT₂后，此时，才需要将数据从新型存储器迁移至所述动态随机存储器。

其中，所述多核处理器系统共有n个处理器核，n>0，P_x表示第x个处理器核，0＜x≤n，V_work代表所述处理器核P_x的工作电压，V_max代表所述多核处理器系统的最高工作电压，p为大于1的实数；F_work代表所述处理器核P_x的工作频率，F_max代表所述多核处理器系统的最高工作频率，q为大于1的实数；ΔT₁为实数。E₁为所述数据从所述动态随机存取存储器迁移至所述新型存储器所需的迁移功耗；E₂为所述数据从所述新型存储器迁移至所述动态随机存取存储器所需的迁移功耗；E_DRAM为ΔT₁时间内所述数据在所述动态随机存取存储器中的运行能耗；E_NCM为ΔT₁时间内所述数据在所述新型存储器中的运行能耗。

其中，当所述数据位于动态随机存取存储器中，任一处理器核P_x的工作电压和/或工作频率提高，即工作电压为和/或工作频率为但是在ΔT₁时间内，此时E₁+E₂＞E_DRAM-E_NCM，处理器核P_x的工作电压V_work又提升至和/或工作频率F_work由提高至那么此时保持所述数据位于所述动态随机存取存储器中；

当所述数据位于所述新型存储器中且关闭所述处理器核P_x时，保持所述数据位于所述新型存储器中。

下面结合附图和具体实施例对本发明基于DVFS技术的多核系统内混合内存上数据迁移的方法进行详细说明。

实施例一

本发明基于DVFS技术的多核处理器系统，提出一种混合内存上数据进行迁移方法，假设系统中有n(n>0)个处理器核，分别为P₀，P₁，……，P_n-1，如图2所示，每个核都有独立的工作电压和工作频率。假设多核处理器的最高工作电压为V_max，最高工作频率为F_max。混合内存由传统的动态随机存取存储器(DRAM)和新型非易失性存储器构成。新型非易失性存储器可以是相变随机存取存储器(PCRAM)，磁随机存取存储器(MRAM)，铁电随机存取存储器(FeRAM)，可变电阻随机存取存储器(ReRAM)或闪存(Flash)等。本发明这种混合内存的迁移方法具体如图3所示：设置一迁移临界时间值ΔT，当在某一时刻T，当处理器核Px(0≤x≤n-1)的工作条件满足混合内存上数据进行迁移条件时，在ΔT时间内，不进行混合内存的数据迁移，ΔT时间后，如果继续满足T时刻混合内存上数据进行迁移条件，那么再进行混合内存中的数据迁移，否则不进行数据迁移。迁移临界时间值ΔT的确定是特定客户使用基于DVFS技术的多核处理器系统运行特定任务/应用程序过程中由混合内存所消耗的整体能耗和性能决定的。

假设处理器核Px所处理的应用数据存储在混合内存中的DRAM区，在T时刻，处理器核Px的工作电压和工作频率下降并且满足了混合内存上数据进行迁移条件，现有技术是直接进行数据迁移，从混合内存的DRAM区迁移至NCM中，假设数据迁移能耗为E1。若在T+ΔT时刻，处理器核P_x的工作电压和工作频率都上升并且满足了混合内存上数据进行迁移条件，根据现有技术也是直接进行数据迁移，又要从混合内存的NCM区迁移至DRAM区中，此时数据迁移能耗为E2。在ΔT时间范围内，处理器核P_x从NCM中执行应用程序和数据，ΔT时间内NCM的运行能耗为E_NCM。采取本发明这种混合内存上数据进行迁移方法，在ΔT时间后，由于不满足T时刻的数据迁移条件，那么混合内存中不发生数据迁移，处理器核P_x一直从DRAM中执行应用程序和数据，ΔT时间内DRAM的运行能耗为E_DRAM。如果ΔT时间很短，则迁移能耗占据主要能耗，显然E1+E2+E_NCM要大于E_DRAM。如果ΔT时间很长，那么长时间在DRAM中运行也会造成能耗的浪费，E1+E2+E_NCM就会小于E_DRAM，那么最佳的迁移临界时间ΔT就由下面公式确定：

E1+E2≤E_DRAM-E_NCM

同样，如果处理器核P_x所处理的应用数据存储在混合内存中的NCM区中，在T时刻，处理器核P_x的工作电压和工作频率上升并且满足了混合内存上数据进行迁移条件，现有技术是直接进行数据迁移，从混合内存的NCM区迁移至DRAM中。若在T+ΔT时刻，处理器核P_x的工作电压和工作频率都下降并且满足了混合内存上数据进行迁移条件，根据现有技术也是直接进行数据迁移，又要从混合内存的DRAM区迁移至NVM区中。在ΔT时间范围内，处理器核P_x从DRAM中执行应用程序和数据。采取本发明这种混合内存上数据进行迁移方法，在ΔT时间后，由于不满足T时刻的数据迁移条件，那么混合内存中不发生数据迁移，处理器核P_x一直从NCM中执行应用程序和数据。如果ΔT时间很小，短时间内数据来回迁移会造成影响系统性能的明显下降，或者说系统性能开销太大，这是因为数据在NCM和DRAM之间进行迁移时CPU是不能对其进行数据访问的。这里系统性能开销是由混合内存的频率、IO读写速度、容量等综合决定。如果ΔT时间很长，这段时间内内核电压或频率上升代表内核性能提升，如果长时间一直从NCM中访问数据，NCM的IO读写速度相比DRAM的IO读写速度要差得多，因此也会造成系统性能开销过大，而不能满足特定用户的特定应用程序对混合内存性能的需求。因此此时由读写NCM造成的系统性能开销和在混合内存上进行数据迁移所造成的系统性能开销总和决定了最佳的迁移临界时间ΔT。

可见，本发明这种由迁移临界时间值ΔT决定的混合内存上数据进行迁移方法能够最大限度的降低数据迁移带来的能耗开销和性能开销，避免了短时间段内数据频繁在混合内存中的迁移，提高系统的稳定性和性能。

本发明这种迁移临界时间值ΔT的确定既可以用软件的方式来实现，也可以用硬件的方式来实现，二者各有优缺点。用软件的方式实现较简单，成本也较低，程序员可以根据程序的具体实现动态的调节ΔT，从整个客户应用程序到子程序到内部实现的各个函数、模块等都可以调节ΔT的大小，以确定最佳的迁移临界时间，如图4所示。因为内核在不同的电压和频率下工作是由软件来实现调控的，程序员在设计程序时知道内核的工作条件和程序执行过程中对内存的性能需求，当程序在执行过程中，程序员可以根据不同的内核工作条件下决定哪些程序、子程序、函数及模块应当在NCM或者DRAM中执行，也就是决定ΔT的大小。但是，用软件实现的缺点就是需要程序员的参与，在程序中控制和设置ΔT的大小，增加了程序员的负担。用硬件实现的好处是无需程序员参与，硬件通过自学习统计和分析得出最佳的迁移临界时间，缺点是增加了硬件开销和成本，而且由硬件来确定最佳的迁移临界时间耗时较长，很难在应用程序执行过程中准确的调控ΔT的大小，也较软件实现困难的多。

实施例二

根据实施例一提出的基于DVFS技术的多核系统内混合内存上数据迁移的方法，本实施例对该方法进行具体说明。

假设在一段时间内某个处理器核的工作电压和工作频率随时间的变化曲线示意图如图4所示。图中虚线表示为满足迁移条件的工作电压和工作频率。当工作电压和工作频率在该虚线之上，那么就满足了背景技术中的条件(2)，那么应该将处理器核P_x所需处理的应用数据应当从混合式内存中的NCM区迁移到DRAM区中；当工作电压和工作频率在该虚线之下，那么就满足了背景技术中的条件(1)，那么应该将处理器核P_x所需处理的应用数据应当从混合式内存中的DRAM区迁移到NCM区中。根据现有技术，一旦满足迁移条件，那么就需要进行数据的迁移，那么在t1时间段内，处理器核Px所需处理的应用数据存储在DRAM区中，在t2时间段内，就需要迁移至NCM中，t3时间段内又要迁移至DRAM中，以此类推，这段时间内需要来回切换6次，数据迁移的能耗开销和性能开销增加了整个系统的负担，整个系统的稳定性也会受到影响。而应用本发明由迁移临界时间值ΔT决定的混合内存迁移方法能够有效的避免短时间内混合内存中频繁的数据迁移，假设ΔT大于t2和t5，而小于t1、t3、t4、t6和t7。那么在t2和t5时间段内均不发生数据的迁移，如图4所示，整个时间段内只发生了两次数据迁移，避免了短时间段内数据频繁在混合内存中的迁移，混合内存内的数据迁移能耗开销大大降低，整个系统性能和稳定性也更好。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (7)

1.一种基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，当任一处理器核P_x的数据位于动态随机存取存储器中且所述处理器核P_x的工作条件满足第一迁移条件时，经时间ΔT₁后，将所述数据从所述动态随机存取存储器迁移至新型存储器中；

当任一处理器核P_x的所述数据位于所述新型存储器中且所述处理器核P_x的工作条件满足第二迁移条件时，经时间后ΔT₂，将所述数据从所述新型存储器迁移至所述动态随机存取存储器；

其中，所述多核系统共有n个处理器核，n>0，P_x表示第x个处理器核，0＜x≤n，ΔT₁和ΔT₂为实数；当任一处理器核P_x满足第一迁移条件且经时间ΔT₁后，E₁+E₂≤E_DRAM-E_NCM，E₁代表所述数据从所述动态随机存取存储器迁移至所述新型存储器所需的能耗，E₂代表所述数据从所述新型存储器迁移至所述动态随机存取存储器所需的能耗，E_DRAM代表ΔT₁时间内所述数据在所述动态随机存取存储器中的运行能耗；E_NCM为ΔT₁时间内所述数据在所述新型存储器中的运行能耗。

2.根据权利要求1所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，每个处理器核都有独立的工作电压和工作频率，所述第一迁移条件为任一处理器核P_x的工作电压为 $V_{work}<\frac{V_{max}}{p}$ 和/或工作频率为 $F_{work}<\frac{F_{max}}{q};$

其中，V_work代表所述处理器核P_x的工作电压，V_max代表所述多核处理器系统的最高工作电压，p为大于1的实数；F_work代表所述处理器核P_x的工作频率，F_max代表所述多核处理器系统的最高工作频率，q为大于1的实数。

3.根据权利要求2所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，所述第二迁移条件为所述处理器核P_x的工作电压V_work的范围为和/或工作频率F_work的范围为

4.根据权利要求1所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，当所述数据位于所述新型存储器中且关闭所述处理器核P_x时，保持所述数据位于所述新型存储器中。

5.根据权利要求1所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，在ΔT₁时间内，当所述处理器核P_x的工作电压V_work提升至和/或工作频率F_work提高至时，保持所述数据位于所述动态随机存取存储器中。

6.根据权利要求1所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，所述混合内存包括易失性的所述动态随机存取存储器和非易失性的所述新型存储器。

7.根据权利要求1所述的基于DVFS技术的多核系统内混合内存上数据迁移的方法，其特征在于，ΔT₂由所述数据在所述新型存储器中造成的系统性能开销以及所述数据在所述混合内存中进行迁移所造成的系统性能开销共同决定。