CN109284072B - 一种针对异构存储系统的自适应数据动态调度方法和系统 - Google Patents

Abstract

本发明公开了一种针对异构存储系统的自适应数据动态调度方法和系统，该系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；异构存储系统包括高带宽存储器和传统内存；存储管理器分别与数据调度器、参数调节器和性能采集器连接，存储管理器用于启动数据调度器、参数调节器和性能采集器，并向其发送控制指令和数据，控制其工作。本发明能够结合高带宽存储器的硬件特性，合理调度数据，周期性地启动参数调节器，根据性能指标对异构存储系统中的数据放置进行优化，从而同时发挥高带宽存储器高带宽和传统内存低延迟的优势，提高应用带宽，缩短大数据应用程序的运行时间。

Description

一种针对异构存储系统的自适应数据动态调度方法和系统

技术领域

本发明涉及数据异构存储技术领域，特别是涉及一种针对异构存储系统的自适应数据动态调度方法和系统。

背景技术

大数据产业的快速发展使得大数据应用程序的数据量和计算复杂度都有了明显提升，如何让大数据程序充分地利用高性能集群多核高并发的特性是当前的研究热点。系统带宽是提升性能最重要的因素，因此，需要让由高带宽存储器和传统内存构成的异构存储系统为上层应用提供更高的带宽。

目前已有的方法主要集中在利用经典缓存淘汰策略及其改进策略从上层存储中淘汰冷数据。现有的异构存储系统的数据调度主要采用以下几种策略：

最近最少使用策略

这种策略强调数据访问的时间局部性，认为最近访问过的数据再次被访问的概率比较大。这种策略有很大的弊端，在时间局部性不强的数据访问模式下高带宽存储器存储的击中率很低，在数据总量大于高带宽存储器存储的循环访问模式下，击中率下降至零，即不能为上层应用提供带宽增益；

自适应替换策略

相比传统的缓存淘汰策略，这种策略能够自适应地调整最近访问存储区和高频次访问存储区的大小，使其适应数据访问模式的变化。但这种策略有一个弊端，其对数据访问模式的适应是渐进的，具有一定的滞后性。但是，在实际生产中，数据访问模式的变化是频繁且随机的，因此自适应替换策略并不能最优化带宽性能。

存储层次感知任务调度策略

这种策略是为不同权值的任务分配不同的存储层，任务优先在分配的存储层中读写数据。这种策略有明显的弊端，首先，需要在计算层加入下层存储标签，难以得到广泛应用；另外，这种策略对数据块本身缺乏关注，同一个任务的对不同数据的访问热度存在区别，根据任务分配存储对高带宽存储器的利用率不高。

综上可以看出，现有的针对异构存储系统的数据调度方法存在不能充分发挥高带宽存储器在高并发和顺序访问下的带宽优势、不能快速适应数据访问模式的变化、对高带宽存储器利用率不高等不足，本领域亟需一种自适应地动态数据调度方法，从而充分发挥异构存储系统高带宽和低延迟的体系结构优势，提高大数据应用的执行性能。

发明内容

本发明的目的是提供一种针对异构存储系统的自适应数据动态调度方法和系统以克服现有的针对异构存储系统的数据调度方法存在不能充分发挥高带宽存储器在高并发和顺序访问下的带宽优势、不能快速适应数据访问模式的变化、对高带宽存储器利用率不高等不足。

为实现上述目的，本发明提供了一种针对异构存储系统的自适应数据动态调度系统，所述系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；

所述异构存储系统包括高带宽存储器和传统内存，所述异构存储器用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；

所述存储管理器分别与所述数据调度器、所述参数调节器和所述性能采集器连接，所述存储管理器用于检索所述存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；还用于循环启动所述数据调度器、所述参数调节器和所述性能采集器，并向所述数据调度器、所述参数调节器和所述性能采集器发送控制指令和数据，控制所述数据调度器、所述参数调节器和所述性能采集器的工作；

所述数据调度器用于根据所述数据块价值和所述高带宽存储器的存储状态生成数据调度信息；

所述参数调节器与所述性能采集器连接，所述性能采集器用于采集所述存储管理器中的各个阶段的性能指标，并将所述性能指标发送至所述参数调节器，所述参数调节器用于根据所述性能指标确定最优性能得分和最优参数，并将所述最优参数传送至所述存储管理器，所述存储管理器根据所述最优参数控制所述数据调度器实现数据动态调度。

本发明还提供了一种利用上述针对异构存储系统的自适应数据动态调度系统进行数据动态调度的方法，所述方法包括数据调度方法和参数调节方法；所述数据调度方法包括：

步骤1：获取异构存储系统中的数据块访问信息；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；

步骤2：检索存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；

步骤3：将所述时间戳信息加入所述存储管理器中的数据访问时间戳列表的尾部，确定设定时长内的访问记录为当前访问并发度，结合前次访问并发度计算所述预测并发度；并将所述预测并发度存入所述信息表单；

步骤4：根据所述信息表单中的与所述数据块编号对应的最后更新时间、所述访问时间和调节参数计算出所述数据块的再访问概率，并利用所述访问时间替换所述最后更新时间；

步骤5：根据所述预测并发度和所述数据块字节数计算SP因子，根据所述SP因子、所述再访问概率和平衡参数计算数据块价值，并将所述数据块价值存入所述信息表单；所述SP因子表征所述数据块存放在高带宽存储器的权重；

步骤6：根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息；

所述调节参数和所述平衡参数通过所述参数调节方法确定，所述参数调节方法包括：

步骤1：周期性启动参数调节器，所述参数调节器将待定参数依次发送至存储管理器，每组所述待定参数对应一个阶段，并初始化最优参数和最优性能得分；所述待定参数包括所述调节参数和所述平衡参数；

步骤2：启动性能采集器，性能采集器从所述存储管理器中采集各个阶段的性能指标，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率，并发送给所述参数调节器；

步骤3：依次遍历参数空间进行寻优，确定最优参数；

步骤4：将所述最优参数发送至所述存储管理器；

步骤5：关闭所述参数调节器和所述性能采集器。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的针对异构存储系统的自适应数据动态调度方法和系统，其中异构存储系统由高带宽存储器和传统内存构成，通过结合高带宽存储器在高并发和顺序访问下的带宽优势，克服了传统缓存淘汰策略对存储硬件特性缺乏关注的不足；同时，本发明能够根据性能指标选出最优参数，能够快速适应数据访问模式的变化，克服了自适应替换策略的滞后性；此外，相比存储层次感知任务调度方法，本发明通过调度数据块来实现存储管理，粒度更细，对高带宽存储器的利用更加充分。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的针对异构存储系统的自适应数据动态调度系统的结构示意图；

图2为本发明实施例提供的针对异构存储系统的自适应数据动态调度方法中数据调度方法的流程图；

图3为本发明实施例提供的针对异构存储系统的自适应数据动态调度方法中参数调节方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着存储器件的发展，一些新兴的存储工艺，例如三维堆叠(3D stacking)，已经开始被应用到最新的处理器产品中，从而对传统内存技术形成了有效补充。例如，英特尔Knight Landing(KNL)系列在芯片中加入了采用三维堆叠工艺的高带宽存储器，在高并发和顺序访问访问的情况下高带宽存储器的带宽要高于传统内存，但在离散访问的情况下，高带宽存储器的访问时延要高于传统内存。类似KNL这样的新型处理器实际上代表了存储器未来的体系结构，即由高带宽存储器和传统内存组成的异构存储系统。然而，如何针对大数据应用有效使用上述异构存储系统，充分发挥高带宽存储器的高带宽和传统内存的低延迟的优势，非常具有挑战性。

本发明针对由高带宽存储器和传统内存构成的异构存储系统提出了自适应地动态数据调度系统和方法，能够结合高带宽存储器的硬件特性，合理调度数据在异构存储系统中的放置，周期性地启动数据放置调节模块，根据性能指标对异构存储系统中的数据放置进行优化，从而同时发挥高带宽存储器高带宽和传统内存低延迟的优势，提高应用带宽，缩短大数据应用程序的运行时间。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本实施例提供的针对异构存储系统的自适应数据动态调度系统，包括异构存储系统1、存储管理器2、数据调度器3、参数调节器4和性能采集器5；

所述异构存储系统1包括高带宽存储器和传统内存，所述异构存储器1用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器2；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间。

所述存储管理器2分别与所述数据调度器3、所述参数调节器4和所述性能采集器5连接，所述存储管理器2用于检索所述存储管理器2中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；还用于循环启动所述数据调度器3、所述参数调节器4和所述性能采集器5，并向所述数据调度器4、所述参数调节器4和所述性能采集器5发送控制指令和数据，控制所述数据调度器3、所述参数调节器4和所述性能采集器5的工作。

所述数据调度器3用于根据数据块价值和所述高带宽存储器的存储状态生成数据调度信息。

所述参数调节器4与所述性能采集器5连接，所述性能采集器5用于采集所述存储管理器2中的各个阶段的性能指标，并将所述性能指标发送至所述参数调节器4，所述参数调节器4用于根据所述性能指标确定最优性能得分和最优参数，并将所述最优参数传送至所述存储管理器2，所述存储管理器2根据所述最优参数控制所述数据调度器3实现数据动态调度。其中，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率。其中，SP因子表征数据块存放在所述高带宽存储器的权重；所述SP因子击中比率表示一个阶段从所述高带宽存储器中访问的数据块的SP因子之和占该阶段总访问SP因子之和的比率；所述SP因子移入比率表示一个阶段从所述传统内存中移入所述高带宽存储器的数据块SP因子之和占该阶段总访问SP因子之和的比率；所述字节击中比率表示一个阶段从所述高带宽存储器中访问的字节数占该阶段总访问字节数的比率；所述字节移入比率表示一个阶段从所述传统内存移入所述高带宽存储器的字节数占该阶段总访问字节数的比率。

如图2和3所示，本实施例提供的针对异构存储系统的自适应数据动态调度方法，是利用上述针对异构存储系统的自适应数据动态调度系统进行数据动态调度，该方法包括数据调度方法和参数调节方法。其中，如图2所示，所述数据调度方法包括：

步骤1：获取异构存储系统中的数据块访问信息；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；

步骤2：检索存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；

步骤3：将所述时间戳信息加入所述存储管理器中的数据访问时间戳列表的尾部，确定设定时长内的访问记录为当前访问并发度，结合前次访问并发度计算所述预测并发度；并将所述预测并发度存入所述信息表单；

步骤4：根据所述信息表单中的与所述数据块编号对应的最后更新时间、所述访问时间和调节参数计算出所述数据块的再访问概率，并利用所述访问时间替换所述最后更新时间；

步骤5：根据所述预测并发度和所述数据块字节数计算SP因子，根据所述SP因子、所述再访问概率和平衡参数计算数据块价值，并将所述数据块价值存入所述信息表单；所述SP因子表征所述数据块存放在高带宽存储器的权重；

步骤6：根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息。

该步骤6具体包括：

步骤6-1：所述数据调度器中维护着所述高带宽存储器的存储列表和剩余字节量，确定被访问的数据块编号为待移入数据块编号，并更新待移入数据块价值和待移入数据块字节数；

步骤6-2：判断所述待移入数据块是否在所述高带宽存储器的存储列表中；如果是，跳到步骤6-9，否则，跳到步骤6-3；

步骤6-3：判断所述待移入数据块字节数是否大于剩余字节量加上待移出数据块字节量之和；如果是，跳到步骤6-4，否则，跳到步骤6-7；

步骤6-4：将所述高带宽存储器的存储列表按照数据块价值密度从低到高排序，判断所述待移入数据块价值是否大于待移出数据块价值加上数据块价值密度最低的数据块价值之和；如果是，跳到步骤6-5，否则跳到步骤6-6；

步骤6-5：将所述高带宽存储器的存储列表的头部数据块取出，并将所述头部数据块加入待移出数据块列表，并更新待移出数据块价值和待移出数据块字节量，跳到步骤6-3；

步骤6-6：将所述待移出数据块列表中的数据块编号重新加入所述高带宽存储器存储列表，跳到步骤6-9；

步骤6-7：将所述待移出数据块列表和所述待移入数据块发送至所述存储管理器；

步骤6-8：将所述待移入数据块编号加入所述高带宽存储器的存储列表中，并更新所述剩余字节量；

步骤6-9：清空所述待移出数据块列表、所述待移出数据块价值和所述待移出数据块字节量、所述待移入数据块编号、所述待移入数据块价值和所述待移入数据块字节数。

上述步骤中采用的信息表单采用的数据结构是Java中的表结构，其中信息对象以数据块编号为键，其典型的信息如下表：

表1存储管理器中的信息表单

Block ID	数据块编号
		Block Size	数据块字节数
Last Parallelism	上次访问并发度
		Predictive Parallelism	预测并发度
SP-factor	SP因子
		Re-access Probability	再访问概率
Last Update Time	再访问概率最近更新时间
		Block Value	数据块价值量

所述调节参数和所述平衡参数通过所述参数调节方法确定，如图3所示，所述参数调节方法包括：

步骤1：周期性启动参数调节器，所述参数调节器将待定参数依次发送至存储管理器，每组所述待定参数对应一个阶段，并初始化最优参数和最优性能得分；所述待定参数包括所述调节参数和所述平衡参数；

步骤2：启动性能采集器，性能采集器从所述存储管理器中采集各个阶段的性能指标，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率，并发送给所述参数调节器；

步骤3：依次遍历参数空间进行寻优，确定最优参数；

该步骤3具体包括：

步骤3-1：判断是否完成了参数空间的遍历，如果是，跳到所述参数调节方法中的步骤4，否则，跳到步骤3-2；

步骤3-2：从待定参数范围内中选择下一组待定参数，发送到所述存储管理器；

步骤3-3：根据所述性能指标计算性能得分；

步骤3-4：判断所述性能得分是否大于所述存储管理器内的最优性能得分，如果是，则利用所述性能得分对应的待定参数更新所述最优参数，利用所述性能得分更新所述最优性能得分，否则，不更新，并跳到步骤3-1。

步骤4：将所述最优参数发送至所述存储管理器；

步骤5：关闭所述参数调节器和所述性能采集器。

上述系统和方法中，所述预测并发度P_prediction的计算方式如下：

P_prediction＝P_now+(P_now-P_last)

其中，P_now表示数据当前访问并发度，P_last表示前次访问并发度。

所述再访问概率Pro(t)具有衰退性，随着时间推移指数减小，其计算公式如下：

其中，n表示所述数据块被访问的次数，t_i表示第i次的访问时间，a是调节参数，所述调节参数越大，则所述数据块的再访问概率越大，所述调节参数越小，则访问次数较多的数据块的再访问概率越大。并且，再访问概率具有递推性，根据上次更新时间和本次的再访问概率计算所述数据块在一段时间d中未被再次访问的再访问概率为：

Pro(t+d)＝Pro(t)e^-ad

根据上次更新时间和本次的再访问概率计算所述数据块在一段时间d中被再次访问的再访问概率为：

Pro(t+d)＝Pro(t)e^-ad+1

所述数据块价值的计算方式如下：

V_i＝λ×SP-factor_i+(1-λ)×Pro_i

其中，λ是平衡参数，用来调节所述SP因子和所述再访问概率在所述数据块价值中的权重；所述SP因子表示数据块放在高带宽存储器的权重，SP因子越大表示数据块越适合存入高带宽存储器，所述SP因子的计算方式如下：

其中，SizeLimit表示文件系统中对数据块字节数设定的上限，BlockSize_i表示所述数据块字节数，Parallelism_i表示所述预测并发度P_prediction，OptimalParallelism表示能使系统带宽性能达到最高的数据访问并发度；

所述数据调度器在处理一次移入请求时，需要将所述高带宽存储器的存储列表中的数据块按照价值密度进行排序，所述价值密度的计算公式如下：

所述调节参数和所述平衡参数的待定参数范围如下：

a∈(10^-10，0.1，0.2，0.3，0.4)

λ∈(0.35，0.4，0.45)

其中，a是调节参数，λ是平衡参数；

所述SP因子击中比率表示一个阶段从所述高带宽存储器中访问的数据块的SP因子之和占该阶段总访问SP因子之和的比率，其计算公式如下：

其中，n表示该阶段在所述高带宽存储器中访问的数据块数量，m表示该阶段在所述传统内存中访问的数据块数量；

所述SP因子移入比率表示一个阶段从所述传统内存中移入所述高带宽存储器的数据块SP因子之和占该阶段总访问SP因子之和的比率，其计算公式如下：

其中，k表示该阶段从传统内存移入高带宽存储器的数据块数量；

所述字节击中比率表示一个阶段从所述高带宽存储器中访问的字节数占该阶段总访问字节数的比率，其计算公式如下：

其中，n表示该阶段从高带宽存储器中访问的数据块的数量，m表示该阶段从传统内存中访问的数据块的数量；

所述字节移入比率表示一个阶段从所述传统内存移入所述高带宽存储器的字节数占该阶段总访问字节数的比率，其计算公式如下：

其中，k表示该阶段从传统内存移入高带宽存储器的数据块数量；

所述性能得分计算公式如下：

Score＝0.3×SPHR-0.24×SPIR+0.35×BHR-0.4×BIR

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种针对异构存储系统的自适应数据动态调度系统，其特征在于，所述系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；

所述异构存储系统包括高带宽存储器和传统内存，所述异构存储器用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；

所述存储管理器分别与所述数据调度器、所述参数调节器和所述性能采集器连接，所述存储管理器用于检索所述存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；还用于循环启动所述数据调度器、所述参数调节器和所述性能采集器，并向所述数据调度器、所述参数调节器和所述性能采集器发送控制指令和数据，控制所述数据调度器、所述参数调节器和所述性能采集器的工作；

所述数据调度器用于根据数据块价值和所述高带宽存储器的存储状态生成数据调度信息；

所述参数调节器与所述性能采集器连接，所述性能采集器用于采集所述存储管理器中的各个阶段的性能指标，并将所述性能指标发送至所述参数调节器，所述参数调节器用于根据所述性能指标确定最优性能得分和最优参数，并将所述最优参数传送至所述存储管理器，所述存储管理器根据所述最优参数控制所述数据调度器实现数据动态调度。

2.根据权利要求1所述的系统，其特征在于，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率；其中，SP因子表征数据块存放在所述高带宽存储器的权重；

所述SP因子击中比率表示一个阶段从所述高带宽存储器中访问的数据块的SP因子之和占该阶段总访问SP因子之和的比率；

所述SP因子移入比率表示一个阶段从所述传统内存中移入所述高带宽存储器的数据块SP因子之和占该阶段总访问SP因子之和的比率；

所述字节击中比率表示一个阶段从所述高带宽存储器中访问的字节数占该阶段总访问字节数的比率；

所述字节移入比率表示一个阶段从所述传统内存移入所述高带宽存储器的字节数占该阶段总访问字节数的比率。

3.一种针对异构存储系统的自适应数据动态调度方法，其特征在于，利用如权利要求1-2任一项所述的针对异构存储系统的自适应数据动态调度系统进行数据动态调度，所述方法包括数据调度方法和参数调节方法；所述数据调度方法包括：

步骤1：获取异构存储系统中的数据块访问信息；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；

步骤2：检索存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；

步骤3：将所述时间戳信息加入所述存储管理器中的数据访问时间戳列表的尾部，确定设定时长内的访问记录为当前访问并发度，结合前次访问并发度计算预测并发度；并将所述预测并发度存入所述信息表单；

步骤4：根据所述信息表单中的与所述数据块编号对应的最后更新时间、所述访问时间和调节参数计算出所述数据块的再访问概率，并利用所述访问时间替换所述最后更新时间；

步骤5：根据所述预测并发度和所述数据块字节数计算SP因子，根据所述SP因子、所述再访问概率和平衡参数计算数据块价值，并将所述数据块价值存入所述信息表单；所述SP因子表征所述数据块存放在高带宽存储器的权重；

步骤6：根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息；

所述调节参数和所述平衡参数通过所述参数调节方法确定，所述参数调节方法包括：

步骤1：周期性启动参数调节器，所述参数调节器将待定参数依次发送至存储管理器，每组所述待定参数对应一个阶段，并初始化最优参数和最优性能得分；所述待定参数包括所述调节参数和所述平衡参数；

步骤2：启动性能采集器，性能采集器从所述存储管理器中采集各个阶段的性能指标，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率，并发送给所述参数调节器；

步骤3：依次遍历参数空间进行寻优，确定最优参数；

步骤4：将所述最优参数发送至所述存储管理器；

步骤5：关闭所述参数调节器和所述性能采集器。

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息的具体包括：

步骤6-1：所述数据调度器中维护着所述高带宽存储器的存储列表和剩余字节量，确定被访问的数据块编号为待移入数据块编号，并更新待移入数据块价值和待移入数据块字节数；

步骤6-2：判断所述待移入数据块是否在所述高带宽存储器的存储列表中；如果是，跳到步骤6-9，否则，跳到步骤6-3；

步骤6-3：判断所述待移入数据块字节数是否大于剩余字节量加上待移出数据块字节量之和；如果是，跳到步骤6-4，否则，跳到步骤6-7；

步骤6-4：将所述高带宽存储器的存储列表按照数据块价值密度从低到高排序，判断所述待移入数据块价值是否大于待移出数据块价值加上数据块价值密度最低的数据块价值之和；如果是，跳到步骤6-5，否则跳到步骤6-6；

步骤6-5：将所述高带宽存储器的存储列表的头部数据块取出，并将所述头部数据块加入待移出数据块列表，并更新待移出数据块价值和待移出数据块字节量，跳到步骤6-3；

步骤6-6：将所述待移出数据块列表中的数据块编号重新加入所述高带宽存储器存储列表，跳到步骤6-9；

步骤6-7：将所述待移出数据块列表和所述待移入数据块发送至所述存储管理器；

步骤6-8：将所述待移入数据块编号加入所述高带宽存储器的存储列表中，并更新所述剩余字节量；

步骤6-9：清空所述待移出数据块列表、所述待移出数据块价值和所述待移出数据块字节量、所述待移入数据块编号、所述待移入数据块价值和所述待移入数据块字节数。

5.根据权利要求3所述的方法，其特征在于，所述依次遍历参数空间进行寻优，确定最优参数具体包括：

步骤3-1：判断是否完成了参数空间的遍历，如果是，跳到所述参数调节方法中的步骤4，否则，跳到步骤3-2；

步骤3-2：从待定参数范围内中选择下一组待定参数，发送到所述存储管理器；

步骤3-3：根据所述性能指标计算性能得分；

步骤3-4：判断所述性能得分是否大于所述存储管理器内的最优性能得分，如果是，则利用所述性能得分对应的待定参数更新所述最优参数，利用所述性能得分更新所述最优性能得分，否则，不更新，并跳到步骤3-1。

6.根据权利要求3所述的方法，其特征在于，所述预测并发度P_prediction的计算方式如下：

P_prediction＝P_now+(P_now-P_last)

其中，P_now表示数据当前访问并发度，P_last表示前次访问并发度。

7.根据权利要求6所述的方法，其特征在于，所述再访问概率Pro(t)具有衰退性，随着时间推移指数减小，其计算公式如下：

其中，n表示所述数据块被访问的次数，t_i表示第i次的访问时间，a是调节参数，所述调节参数越大，则所述数据块的再访问概率越大，所述调节参数越小，则访问次数较多的数据块的再访问概率越大，并且，再访问概率具有递推性，根据上次更新时间和本次的再访问概率计算所述数据块在一段时间d中未被再次访问的再访问概率为：

Pro(t+d)＝Pro(t)e^-ad

根据上次更新时间和本次的再访问概率计算所述数据块在一段时间d中被再次访问的再访问概率为：

Pro(t+d)＝Pro(t)e^-ad+1 。

8.根据权利要求7所述的方法，其特征在于，所述数据块价值的计算方式如下：

V_i＝λ×SP-factor_i+(1-λ)×Pro_i

其中，λ是平衡参数，用来调节所述SP因子和所述再访问概率在所述数据块价值中的权重；所述SP因子表示数据块放在高带宽存储器的权重，SP因子越大表示数据块越适合存入高带宽存储器，所述SP因子的计算方式如下：

其中，SizeLimit表示文件系统中对数据块字节数设定的上限，BlockSize_i表示所述数据块字节数，Parallelism_i表示所述预测并发度P_prediction，OptimalParallelism表示能使系统带宽性能达到最高的数据访问并发度。

9.根据权利要求8所述的方法，其特征在于，所述数据调度器在处理一次移入请求时，需要将所述高带宽存储器的存储列表中的数据块按照价值密度进行排序，所述价值密度的计算公式如下：

10.根据权利要求9所述的方法，其特征在于，所述调节参数和所述平衡参数的待定参数范围如下：

a∈(10^-10，0.1，0.2，0.3，0.4)

λ∈(0.35，0.4，0.45)

其中，a是调节参数，λ是平衡参数；

所述SP因子击中比率表示一个阶段从所述高带宽存储器中访问的数据块的SP因子之和占该阶段总访问SP因子之和的比率，其计算公式如下：

其中，n表示该阶段在所述高带宽存储器中访问的数据块数量，m表示该阶段在所述传统内存中访问的数据块数量；

所述SP因子移入比率表示一个阶段从所述传统内存中移入所述高带宽存储器的数据块SP因子之和占该阶段总访问SP因子之和的比率，其计算公式如下：

其中，k表示该阶段从传统内存移入高带宽存储器的数据块数量；

所述字节击中比率表示一个阶段从所述高带宽存储器中访问的字节数占该阶段总访问字节数的比率，其计算公式如下：

其中，n表示该阶段从高带宽存储器中访问的数据块的数量，m表示该阶段从传统内存中访问的数据块的数量；

所述字节移入比率表示一个阶段从所述传统内存移入所述高带宽存储器的字节数占该阶段总访问字节数的比率，其计算公式如下：

其中，k表示该阶段从传统内存移入高带宽存储器的数据块数量；

所述性能得分计算公式如下：

Score＝0.3×SPHR-0.24×SPIR+0.35×BHR-0.4×BIR。

Images