CN111858469B - 一种基于时间滑动窗口的自适应分级存储的方法 - Google Patents

Abstract

本发明公开了一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，在分布式文件存储系统中建立SSD‑HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行。本发明将全局监控和实时性监控结合，使用两种并行的迁移策略，完善文件的迁移调控机制，从而提供实时性更强的文件升级。同时，根据业务行为日志分析业务数据访问规律和设定的业务规则，利用机器学习算法预测业务数据访问行为，自动将预测结果所需的业务数据提前预读到缓存中。

Description

一种基于时间滑动窗口的自适应分级存储的方法

技术领域

本发明涉及数据分级存储技术方法，尤其涉及一种基于时间滑动窗口的自适应分级存储的方法，属于软件技术领域。

背景技术

随着网络技术的发展，数据呈现迅猛的增长态势，根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储系统成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。

分级存储系统中迁移策略是数据分级的关键，数据迁移策略将直接决定存储系统中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实时性的文件访问监控和分析，从而导致文件的迁移不及时，针对突发性频繁访问的文件无法及时进行迁移。

发明内容

为了解决文件的迁移不及时的问题，本发明提供了一种基于时间滑动窗口的自适应分级存储的方法。

本发明的所采用的技术方案如下：

一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，其特征在于：在分布式文件存储系统中建立SSD-HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行，实时迁移策略执行全局数据访问的监控，时间窗口迁移策略执行一小段时间内的数据访问监控。

所述实时迁移策略包括如下步骤：

S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；

S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；

S13：根据实时记录的存储池容量、IO队列长度等因素自动调整访问频率策略中的参数。

所述时间窗口迁移策略包括如下步骤：

S21：使用哈希表的方式将数据的文件句柄、文件类型、访问时间、操作类型、操作者ID等文件信息记录在内存中；

S22：当时间窗口滑动则删除过期数据；

S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。

所述时间窗口迁移策略步骤S23还包括如下子步骤：

S231：依次解析访问日志内容；

S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间插入到集合中；

S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进行文件的升级迁移；

S234：判断集合中最远一次访问时间是否超过时间窗口大小，若是，则覆盖记录；

S235：判断集合中最近一次访问时间是否超过时间窗口大小，若是，则删除记录；

S236：当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。

所述时间窗口迁移策略S23后还包括如下步骤：

S31：获取迁移完成后的各性能系统数据；

S32：根据CPU利用率、内存使用率、IO队列、存储设备容量等数据分析和调整时间窗口大小或时间窗口内的迁移策略参数。

在时间滑动窗口内，根据业务行为日志分析、业务数据访问规律和设定的业务规则，利用基于内容或知识的推荐算法对下一步可能会被访问的文件进行预测。

当预测到文件的访问后，系统根据预测结果，使用标准预读接口将数据缓存；每个存储节点仅使用一个后台线程定时定量地进行文件的缓存更新和缓存清除。

当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。

本发明达到的有益效果：

本发明将全局监控和实时性监控结合，使用两种并行的迁移策略，完善文件的迁移调控机制，从而提供实时性更强的文件升级。同时，根据业务行为日志分析业务数据访问规律和设定的业务规则，利用机器学习算法预测业务数据访问行为，自动将预测结果所需的业务数据提前预读到缓存中。

附图说明

结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：

图1为本发明中策略执行具体流程示意图；

图2为本发明中时间窗口内文件信息记录流程示意图；

图3为本发明中文件预取策略流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例：

如图1所示，系统中的两种迁移策略都是基于IO请求制定的，在实际的系统运行中，IO请求发生时根据访问的文件句柄信息和其所在的存储层级，实时统计该文件的访问次数信息，定时间隔T时间后增量遍历全局文件访问信息进行迁移决策，选出访问次数超过N的需要进行迁移的文件加入到文件待迁移队列中等待执行文件迁移，并且在迁移完成后根据系统监控的各层级、各节点的存储容量等信息判断是否需要调整迁移策略中的阈值T和N；在IO请求发生时更详细的操作信息，如请求发起者、请求的文件类型、操作类型、访问的文件内容大小等信息将异步写入到访问日志中，当日志持久化后，触发时间窗口迁移策略的执行，然后执行实时迁移策略步骤一致的分析及调控操作，不同的是，时间窗口迁移策略只针对在时间窗口内的文件访问信息进行分析，且增加了操作类型的分析，系统为每种操作类型设定权值，权值大小依次为：读取或下载整个文件、读取或下载文件某一部分内容，其中根据文件读取或下载某部分文件的权值随着内容大小不同而不同，在文件决策时，除了访问次数和访问间隔，还会根据文件的权值进行判断该文件是否需要迁移。

如图2所示，当有新的访问日志写入时发出信号，触发读取日志记录的操作，开始读取并分析访问信息，系统文件访问日志信息的解析步骤如下：

S1，读取访问日志内容；

S2，解析日志记录的内容；

S3，使用哈希函数将文件句柄作为键，访问时间的集合作为值，考虑到内存的使用量，初始集合大小设置为50；

S4，使用文件句柄进行哈希，得到哈希值作为键；

S5，判断哈希表中是否已有该文件的记录；

S6，若没有，则新建该文件的访问列表，并作为值插入到哈希表中；

S7，若已存在该文件的访问信息记录，则判断时间窗口内的访问次数超过设定的阈值，初始设定的阈值为20，即时间窗口内的访问次数超过20次则进行文件迁移。若未超过该阈值，则直接将访问信息插入到访问列表中；

S8，若超过阈值，则判断最远的一次文件访问时间是否过期，即最远一次访问时间是否处于该时间窗口内，初始时间窗口设置为60秒。若未过期，即该文件在时间窗口内的访问次数超过迁移阈值，则将文件插入到待迁移队列中，并删除其在哈希表中的记录；

S9，若已过期，则判断下一个访问时间是否过期，若未过期则覆盖记录，若已过期，则将文件插入到待迁移队列中，并删除其在哈希表中的记录。

在插入或更新哈希表的时候，如果遇到哈希冲突，则会检查存在哈希冲突的文件的最新一条访问信息是否过期，若已过期则会删除该记录，以保证不占用更多的内存；另外当内存使用率超过设定的阈值，则需要遍历哈希表，检查并删除过期记录。

如图3所示，根据系统中访问日志中的文件访问信息和用户制定的业务规则，系统利用机器学习算法，首先进行访问日志信息的特征抽取，然后生成训练集进行模型训练，使用该模型进行用户下一个可能访问的文件合集的预测，将预测到的文件加入到预读的文件队列中同时触发文件预读线程将文件预读到缓存中。同时监控文件预读的命中率，若命中率较低则调整算法参数进行预测调优，最终达到合适的缓存命中率。

本发明实例以分布式文件存储系统为背景，提出两种并行迁移策略的分级存储优化方法，其中包括了实时迁移策略和时间窗口迁移策略，以及通过制定业务规则，使用推荐算法实现文件的预读，本发明通过具体的实施步骤，给出了优化方法实施的具体案例并分析其改善效果，尽管以上发明实施案例已经示出和描述了本发明的实施例，可以理解的是上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于时间滑动窗口的自适应分级存储的方法，应用于分布式文件存储系统，其特征在于：在分布式文件存储系统中建立SSD-HDD的分层式存储结构，文件根据系统制定的迁移策略在存储结构中动态迁移，实现分级存储；其中，文件的迁移策略为全局实时迁移策略和时间窗口迁移策略并行；

所述文件的两种迁移策略都是基于IO请求制定的，在实际的系统运行中，IO请求发生时根据访问的文件句柄信息和所在的存储层级，实时统计该文件的访问次数信息，定时间隔T时间后增量遍历全局文件访问信息进行迁移决策，选出访问次数超过N的进行迁移的文件加入到文件待迁移队列中等待执行文件迁移，在迁移完成后根据系统监控的各层级、各节点的存储容量判断是否需要调整迁移策略中的阈值T和N；在IO请求发生时更详细的操作包括请求发起者、请求的文件类型、操作类型、访问的文件内容大小信息将异步写入到访问日志中，当日志持久化后，触发时间窗口迁移策略的执行，执行实时迁移策略步骤一致的分析及调控操作，不同的是时间窗口迁移策略只针对在时间窗口内的文件访问信息进行分析，增加了操作类型的分析，系统为每种操作类型设定权值，权值大小依次为：读取或下载整个文件、读取或下载文件某一部分内容，所述根据文件读取或下载某部分文件的权值随着内容大小不同而不同，在文件决策时，除了访问次数和访问间隔，根据文件的权值进行判断文件是否需要迁移；

所述时间窗口迁移策略中访问日志信息解析步骤如下：

I1：读取访问日志内容；

I2：解析日志记录的内容；

I3：使用哈希函数将文件句柄作为键，访问时间的集合作为值，考虑到内存的使用量，初始集合大小设置为50；

I4：使用文件句柄进行哈希，得到哈希值作为键；

I5：判断哈希表中是否已有该文件的记录；

若没有，则新建该文件的访问列表，作为值插入到哈希表中；

若已存在该文件的访问信息记录，则判断时间窗口内的访问次数超过设定的阈值，初始设定的阈值为20，即时间窗口内的访问次数超过20次则进行文件迁移；

若未超过该阈值，则直接将访问信息插入到访问列表中；

若超过阈值，则判断最远的一次文件访问时间是否过期，即最远一次访问时间是否处于该时间窗口内，初始时间窗口设置为60秒；

若未过期，即文件在时间窗口内的访问次数超过迁移阈值，则将文件插入到待迁移队列中，删除在哈希表中的记录；

若已过期，则判断下一个访问时间是否过期，若未过期则覆盖记录，若已过期，则将文件插入到待迁移队列中，删除在哈希表中的记录。

2.根据权利要求1所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述实时迁移策略包括如下步骤：

S11：在数据访问发生时，实时记录数据的访问次数和间隔时间；

S12：判断数据实时访问频率是否超过预设的阈值，若是，则加入到迁移队列中；

S13：根据实时记录的存储池容量和IO队列长度自动调整访问频率策略中的参数。

3.根据权利要求1所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述时间窗口迁移策略包括如下步骤：

S21：使用哈希表的方式将数据的文件信息记录在内存中；

S22：当时间窗口滑动则删除过期数据；

S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。

4.根据权利要求3所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述时间窗口迁移策略步骤S23还包括如下子步骤：

S231：依次解析访问日志内容；

S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间插入到集合中；

S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进行文件的升级迁移；

S234：判断集合中最远一次访问时间是否超过时间窗口大小，若是，则覆盖记录；

S235：判断集合中最近一次访问时间是否超过时间窗口大小，若是，则删除记录；

S236：当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。

5.根据权利要求3所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，所述时间窗口迁移策略S23后还包括如下步骤：

S31：获取迁移完成后的各性能系统数据；

S32：分析和调整时间窗口大小或时间窗口内的迁移策略参数。

6.根据权利要求3所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，在时间滑动窗口内，根据业务行为日志分析、业务数据访问规律和设定的业务规则，利用基于内容或知识的推荐算法对下一步可能会被访问的文件进行预测。

7.根据权利要求6所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，当预测到文件的访问后，系统根据预测结果，使用标准预读接口将数据缓存；每个存储节点仅使用一个后台线程定时定量地进行文件的缓存更新和缓存清除。

8.根据权利要求1所述的一种基于时间滑动窗口的自适应分级存储的方法，其特征在于，当系统收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。