CN109753246A - 面向混合异构内存的标签化数据与作业调度方法及系统 - Google Patents

Abstract

本发明公开了一种面向混合异构内存的标签化数据与作业调度方法及系统，所述方法包括：S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。本发明针对任务的类型及执行时的特点对数据添加科学合理的热度标签及类标签，以确定数据的优先级；将标签化的数据按照综合优先级提前存储在NVM之中，从而大幅减少数据从磁盘传入到内存的时间，极大的提高作业执行的效率。

Description

面向混合异构内存的标签化数据与作业调度方法及系统

技术领域

本发明涉及数据处理及作业调度技术领域，特别是涉及一种面向混合异构内存的标签化数据与作业调度方法及系统。

背景技术

企业迫切需要运用大数据分析获取有价值信息，因此大数据分析的效率对于决策和交互服务至关重要，这使得作业调度成为云数据中心大数据分析的首要问题。

现有技术中数据分析过程将数据从磁盘读取到内存，这是非常耗时的。因为与内存相比，磁盘的读取性能相当差。此外，由于DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)的可扩展性限制，这使得很难扩展内存中的计算能力，NVM(Non VolatileMemory，非易失性存储器)的出现使得内存计算成为可能。然而，由于NVM的写性能和使用寿命有限，独立使用它仍然是不切实际的，则由NVM、DRAM和磁盘组成的混合存储系统是物理机器(PM)的实用体系结构。

由于NVM的缺点，它不适合作为一般的内存设备使用，但是，对于大数据分析工作来说，数据集上的操作大多是读取的，很少需要写东西，这非常适合使用NVM，这促使用户使用NVM内存来改进大数据分析。

因此，针对上述技术问题，有必要提供一种面向混合异构内存的标签化数据与作业调度方法及系统。

发明内容

有鉴于此，本发明的目的在于提供一种面向混合异构内存的标签化数据与作业调度方法及系统。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种面向混合异构内存的标签化数据与作业调度方法，所述方法包括：

S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；

S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；

S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；

S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。

作为本发明的进一步改进，所述混合异构内存包括磁盘存储单元、DRAM存储单元及NVM存储单元，其中，高读取性能的存储单元为NVM存储单元。

作为本发明的进一步改进，所述步骤S2中的热度标签包括热度值，热度值为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数。

作为本发明的进一步改进，所述步骤S2中的热度标签包括热度值，热度值为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量，U(Di)为其元素以Di作为输入数据的子集。

作为本发明的进一步改进，所述步骤S2中的热度标签为热度值与热度趋势之和，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。

作为本发明的进一步改进，所述步骤S2中的类标签包括：

类0，正在运行的任务需要读取的数据；

类1，对于队列中交互式作业需要的数据；

类2，当前选中接下来要执行的队列中批处理作业需要的数据；

类3，之前交互式作业用过的数据；

类4，当前未选中接下来要执行的队列中批处理作业需要的数据；

类5，其他数据。

作为本发明的进一步改进，所述步骤S3后还包括：

根据作业过程实时更新数据的类标签，并在存储单元之间进行数据迁移。

作为本发明的进一步改进，更新数据的类标签具体包括：

类1→类0，当标签为类1的数据由等待进入执行队列时，更新标签为类0；

类2→类0，当标签为类2的数据由等待进入执行队列时，更新标签为类0；

类0→类5，当标签为类0的数据读取完成后，更新标签为类5；

类5→类4，当标签为类5的数据需要作为输入数据时，更新标签为类4；

类4→类2，当标签为类4的数据被选中后，更新标签为类2；

类3→类1，当标签为类3的数据需要作为新的交互式作业的输入数据时，更新标签为类1；

类0→类3，当标签为类0的数据完成交互式作业后，更新标签为类3；

类5→类1，当标签为类5的数据需要作为交互式作业的输入数据时，更新标签为类1。

作为本发明的进一步改进，所述步骤S3具体为：

根据数据的热度标签和类标签评价数据的综合优先级，并将热度标签大于或等于预设热度阈值和/或类标签为预设类别的数据存储于高读取性能的存储单元中。

本发明一实施例提供的技术方案如下：

一种面向混合异构内存的标签化数据与作业调度系统，所述系统包括：

本地调度器，与外部云端调度器相连，用于获取作业任务并进行调度；

混合异构内存，包括磁盘存储单元、DRAM存储单元及NVM存储单元，所述磁盘存储单元与NVM存储单元相连；

CPU，与DRAM存储单元及NVM存储单元相连，用于进行根据DRAM存储单元和/或NVM存储单元中存储的数据进行作业任务；

数据处理单元，与磁盘存储单元和NVM存储单元相连，用于按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；并根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中，供本地调度器调度。

本发明的有益效果是：

针对任务的类型及执行时的特点对数据添加科学合理的热度标签及类标签，以确定数据的优先级；

将标签化的数据按照综合优先级提前存储在NVM之中，从而大幅减少数据从磁盘传入到内存的时间，极大的提高作业执行的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明面向混合异构内存的标签化数据与作业调度方法的流程图；

图2为本发明面向混合异构内存的标签化数据与作业调度系统的模块示意图；

图3为本发明一具体实施例中类标签转换的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明公开了一种面向混合异构内存的标签化数据与作业调度方法，包括：

S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；

S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；

S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；

S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。

优选地，本发明中以磁盘(Disk)、DRAM、NVM三个存储单元为例进行说明。DRAM(Dynamic RandomAccess Memory)为动态随机存取存储器，最为常见的系统内存，DRAM只能将数据保持很短的时间，为了保持数据，DRAM使用电容存储，所以必须隔一段时间刷新一次，如果存储单元没有被刷新，存储的信息就会丢失；NVM(Non Volatile Memory)为非易失性存储器，是指当电流关掉后，所存储的数据不会消失的存储器，读写速度不匹配，读的速度大于写入的速度，并且写入寿命有限。

本发明基于包含DRAM、NVM和磁盘的混合异构内存的私有云数据中心，关注对象为联合作业和数据调度问题。一般来说，对于作业调度问题，控制器将作业分配给物理机器PM(Physical Machine)，本地调度器将确定作业的最终分配，考虑与场景联合调度问题，具体如图2所示。

考虑混合异构内存读写速度的差异性，最大化整个任务调度的效率，这使得数据调度变得非常重要，因为数据对象的位置会显著影响作业执行时间。根据实验，NVM的读取性能大约是磁盘的20倍，因此在进行作业执行的时候，它所需要的数据最好存放在NVM之中。因此，为了获得更好的性能，NVM和磁盘之间必须进行一些有规律且科学的数据替换。

以下从数据的概述、数据标签分类规则、数据的迁移规则三个方面进行详细说明。

一、数据的概述：

数据替换的关键是找出任务所需要的最有用的数据，并提前将其迁移至NVM中，当这个任务执行的时候就可以节约大量的数据调度时间，以实现整个任务执行效率的最大化。因此，根据数据特征把数据进行分类，引入了基于标签的数据的概念。在这里，数据的特征属性意味着占用NVM资源的综合优先级，例如，频繁交互作业需要的数据应该放在NVM中，而批处理作业使用的数据在使用过后就应该从NVM中删除。

首先，需要知道在NVM中应该存储什么样的数据。为了分析日常生活中常见的业务/服务，认为交互式作业应该在较短的时间内得到回复，如谷歌搜索、数据库查询、实时预测等。另一方面，批作业需要在更长的时间内完成，例如日志分析、模型训练。可见，交互式作业的数据存储在NVM中具有更高的优先级，尤其是对于短时间内到达频率较高的作业。此外，批处理作业所需要的数据是高度相关的，因为它们用于完成相同的工作，一旦选择了磁盘中的一些数据迁移到NVM中，数据传输总线将用于数据传输。

二、数据标签分类规则

数据传输总线同一时刻传输的带宽是有限的，因此数据迁移的优先级也至关重要。并且在磁盘和NVM中进行数据迁移也需要一定开销，减少数据迁移次数是很有必要的，这也是数据标签分类时候的重要考虑因素，只有定义的数据标签足够科学合理，才能实现整体效率的最大化。结合现实任务以及任务执行需要数据的特点，本发明把数据标签分类如下：

(1)热度(hotness)标签

对于联合调度问题，关键是在NVM中放置合适的数据。直观地说，被频繁读取的数据对象应该放在NVM中。因此，定义了一个标签热度来表示受欢迎程度。hotness的基本思想是记录在一段时间内以此数据对象作为输入数据的任务数量，也就意味着读取数据的频率。如果一些已经到达的作业将此数据作为输入，那么它的热度值就会增加。

本发明的一具体实施例中，热度标签为热度值，热度值可以量化为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数。

此外，交互式作业和批处理作业的增量应该有所不同，因为交互式作业的截止日期一般比批处理作业短得多。因此，把常数H分成两部分，H1和H2，H1为交互作业和批作业的公共增量，H2为交互作业的额外增量。

本发明的另一具体实施例中，热度标签为热度值，热度值可以量化为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量；当一组作业在某个时间到达系统时，U(Di)为其元素(若干作业)以Di作为输入数据的子集。

另一个应该意识到的问题是，无限地积累热度是不合理的，热度应该在一定时间内反映此数据块的情况。为了表达这个需求，应让它在每个时间片结束后减小。因此，在每个时间片的开始，热度的值减少1。对于热度相同的数据对象，也可能会有不同的情况。例如，一个数据在未来显示出重要性，这意味着它将在以下时间段以更高的频率读取。另一个数据在过去经常被读取，它需要一些时间让数据变冷。因此，需要另一个标签来区分热度趋势的情况，即热度趋势标签。

首先，将以周期T记录热度值，或者说采样热度值。然后可以得到当前采样值和最后采样值的差值，用△H表示差值，即热度的变化值。△H可以是正数也可以是负数。很容易理解，正的H意味着数据在未来很重要。到目前为止，使用hotness和△H(Di)这两个标签来量化优先级用于确定数据块是否应该存储在NVM中。

本发明的再一具体实施例中，热度标签为热度值与热度趋势之和，即hotness(Di)+△H，hotness(Di)可以为上述两个实施例中的热度值，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。

(2)类(class)标签

热度标签显示了数据对象本身的重要特性，但是，数据绑定到作业，热度不能反映当前主机作业状态。换句话说，数据的状态应紧密的与作业息息相关。对于热度和△H相同的数据对象，显然，在作业队列中等待作业而需要的数据对象存放在NVM中具有更高的优先级。因此，有必要定义一个新的标签来处理这种情况。在这里，将通过根据主机作业将数据分类为六类，从而引入新的类标签，分类过程中分别讨论交互式作业和批处理作业。

作业队列中的交互式作业因为只有一个任务，作业选择等于交互式作业的任务选择。但是，对于批处理作业则不同，因为每个批处理作业可能有多个任务，批量作业需要同时选择作业和任务。结合作业的状态，给出了数据标签类的分类，数据块分为六类，具体如下：

类0，正在运行的任务需要读取的数据；

类1，对于队列中交互式作业需要的数据；

类2，当前选中接下来要执行的队列中批处理作业需要的数据；

类3，之前交互式作业用过的数据；

类4，当前未选中接下来要执行的队列中批处理作业需要的数据；

类5，其他数据。

三、数据的迁移规则：

数据迁移是指一个数据块从一个节点传输部署到另一个节点上称为数据迁移，本发明中特指数据块在磁盘和NVM中的传输过程。

数据迁移的另一个重要问题是决定NVM中的哪些数据应该被即将到来的新数据替换，这是因为NVM总是被充分使用的。

根据类定义并结合图3所示，能够知道由正在运行的任务读取的数据被标记为类0，因为它有绝对的优先级，且在任务由等待队列进入执行队列的时候，就会发生类1或类2到类0转换的过程。对于队列中交互作业需要的数据，它将被标记类1。对于等待队列中批作业，选中的批作业需要的数据标记为类2，而对于未选中的批作业需要的数据，数据标记为4类。需要注意的是，一旦有新的批处理作业被选中，其相关数据将重新转移为2类。类3表示之前交互式之前用过的数据，而类5表示其他情况，因为NVM总是被百分百利用的。实际上，大部分类5的数据来自类0数据，是批处理作业完成之后转换而来的。对于标签为3类的数据，如果有新的交互式作业将其作为输入，它将被更新为类1。这意味着交互作业所需要的数据的类标签将在类1和类3之间转换。例如，假设数据D1具有默认为类5。如果某个批处理作业J2到达时，并且其中一个子任务A3以D1作为输入数据，这个事件将触发类标签更改为类4，因为J2首先被视为一个未选中的批处理作业。当J2被选中接下来执行的时候，D1的类标签就会变为类2。当主机任务计划占用计算槽时，它将进一步变为类0。在任务执行之后，标签返回到类5。

参图3所示，根据以上数据标签类的分类以及迁移规则，很自然的可以把数据的迁移总结为：

类1→类0，当标签为类1的数据由等待进入执行队列时，更新标签为类0；

类2→类0，当标签为类2的数据由等待进入执行队列时，更新标签为类0；

类0→类5，当标签为类0的数据读取完成后，更新标签为类5；

类5→类4，当标签为类5的数据需要作为输入数据时，更新标签为类4；

类4→类2，当标签为类4的数据被选中后，更新标签为类2；

类3→类1，当标签为类3的数据需要作为新的交互式作业的输入数据时，更新标签为类1；

类0→类3，当标签为类0的数据完成交互式作业后，更新标签为类3；

类5→类1，当标签为类5的数据需要作为交互式作业的输入数据时，更新标签为类1。

根据上述标签的规则和数据迁移的规则，根据数据的热度标签和类标签评价数据的综合优先级，并将热度标签大于或等于预设热度阈值和/或类标签为预设类别的数据存储于高读取性能的NVM中。

相应地，本发明还公开了一种面向混合异构内存的标签化数据与作业调度系统，包括：

本地调度器，与外部云端调度器相连，用于获取作业任务并进行调度；

混合异构内存，包括磁盘存储单元、DRAM存储单元及NVM存储单元，所述磁盘存储单元与NVM存储单元相连；

CPU，与DRAM存储单元及NVM存储单元相连，用于进行根据DRAM存储单元和/或NVM存储单元中存储的数据进行作业任务；

数据处理单元，与磁盘存储单元和NVM存储单元相连，用于按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；并根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中，供本地调度器调度。

应当理解的是，本发明的具体实施例中以磁盘、DRAM及NVM三个存储单元为例进行说明，在其他实施例中也可以采用其他类型的存储器，凡是利用上述数据标签化及数据迁移的技术方案均属于本发明所保护的范围。

上述实施例中基于NVM、DRAM和磁盘的混合存储系统，创造性的给数据加上科学而合理的标签，充分考虑现实情况的条件下，根据交互式作业和批处理作业的特点，把数据分为六类，并给出科学的数据迁移规则。

在现实中很多时候作业的到达是透明的，也就是知道接下来作业需要的数据，因此及时找出作业所需要的数据并提前将其迁移至NVM中，当这个任务执行的时候就可以节约大量的数据调度时间，以实现整体任务执行效率的最大化。

以上技术方案可以看出，本发明具有如下有益效果：

针对任务的类型及执行时的特点对数据添加科学合理的热度标签及类标签，以确定数据的优先级；

将标签化的数据按照综合优先级提前存储在NVM之中，从而大幅减少数据从磁盘传入到内存的时间，极大的提高作业执行的效率。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述方法包括：

S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；

S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；

S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；

S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。

2.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述混合异构内存包括磁盘存储单元、DRAM存储单元及NVM存储单元，其中，高读取性能的存储单元为NVM存储单元。

3.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S2中的热度标签包括热度值，热度值为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数。

4.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S2中的热度标签包括热度值，热度值为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量，U(Di)为其元素以Di作为输入数据的子集。

5.根据权利要求3或4所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S2中的热度标签为热度值与热度趋势之和，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。

6.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S2中的类标签包括：

类0，正在运行的任务需要读取的数据；

类1，对于队列中交互式作业需要的数据；

类2，当前选中接下来要执行的队列中批处理作业需要的数据；

类3，之前交互式作业用过的数据；

类4，当前未选中接下来要执行的队列中批处理作业需要的数据；

类5，其他数据。

7.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S3后还包括：

根据作业过程实时更新数据的类标签，并在存储单元之间进行数据迁移。

8.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，更新数据的类标签具体包括：

类1→类0，当标签为类1的数据由等待进入执行队列时，更新标签为类0；

类2→类0，当标签为类2的数据由等待进入执行队列时，更新标签为类0；

类0→类5，当标签为类0的数据读取完成后，更新标签为类5；

类5→类4，当标签为类5的数据需要作为输入数据时，更新标签为类4；

类4→类2，当标签为类4的数据被选中后，更新标签为类2；

类3→类1，当标签为类3的数据需要作为新的交互式作业的输入数据时，更新标签为类1；

类0→类3，当标签为类0的数据完成交互式作业后，更新标签为类3；

类5→类1，当标签为类5的数据需要作为交互式作业的输入数据时，更新标签为类1。

9.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S3具体为：

根据数据的热度标签和类标签评价数据的综合优先级，并将热度标签大于或等于预设热度阈值和/或类标签为预设类别的数据存储于高读取性能的存储单元中。

10.一种面向混合异构内存的标签化数据与作业调度系统，其特征在于，所述系统包括：

本地调度器，与外部云端调度器相连，用于获取作业任务并进行调度；

混合异构内存，包括磁盘存储单元、DRAM存储单元及NVM存储单元，所述磁盘存储单元与NVM存储单元相连；

CPU，与DRAM存储单元及NVM存储单元相连，用于进行根据DRAM存储单元和/或NVM存储单元中存储的数据进行作业任务；

数据处理单元，与磁盘存储单元和NVM存储单元相连，用于按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；并根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中，供本地调度器调度。