CN107728952A - 一种预测式数据迁移方法及系统 - Google Patents

Abstract

本申请公开了一种预测式数据迁移方法及系统，包括：将不同时间段内的数据访问信息作为训练集，训练出预测模型；根据预测模型，预测出待访问频繁的数据并迁移到高速存储区。本申请通过提前预测可能出现的访问频繁的数据，将预测到的即将访问频繁的数据迁移到高速存储区，可以有效地减少数据成为访问量多的数据之后再迁移的开销，并且在数据成为访问量多的数据之前加入高速存储区还能提高数据的访问速度，同时减轻数据由于访问量过大造成的响应慢的情况。

Description

一种预测式数据迁移方法及系统

技术领域

本发明涉及存储技术领域，特别是涉及一种预测式数据迁移方法及系统。

背景技术

数据量的爆炸式增长以及数据类型的日益细化，让数据分级和冷热数据分治成为降低单位容量数据成本、提升数据存储效率和密度的有效方式。在企业的数据中心中，只有10％～15％的数据是被经常访问的，IOPS要求100k级别，剩余的则访问频率急剧下降，在10k甚至以下。

根据数据的访问需求，现有的方法会将读写频繁的数据放到缓存中或者高速存储区，例如SSD中，将读写不频繁的数据放到缓存或者低速存储区，例如HDD中。这种实现方式是为了使得对访问量多的数据尽快提供服务，对访问量少的数据无需提供过快的服务。

但是，这种以访问热度为统计量的方法在热度增长的初期不能很好的满足用户的需求，当热度增长到一定程度，才能触发数据的迁移。也许数据迁移后，原本热度很高的数据不再访问频繁了。经过一段时间的热度统计后，又要重新迁移。这种迁移方法不能很好的处理热度变化很快的情况，会导致迁移经常触发。

发明内容

有鉴于此，本发明的目的在于提供一种预测式数据迁移方法，可以有效减少迁移的开销，提高数据的访问速度。其具体方案如下：

一种预测式数据迁移方法，包括：

将不同时间段内的数据访问信息作为训练集，训练出预测模型；

根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区，具体包括：

根据所述预测模型，计算出数据访问热度；

根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在将预测到的热度高的数据迁移到高速存储区之后，还包括：

若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；

若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在降低所述预测模型的权重之后，还包括：

通过定时器定时确定所述预测模型的权重；

若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；

若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在将预测到的热度高的数据迁移到高速存储区之前，还包括：

判断高速存储区是否被占满；

若是，则将预测到的热度低的数据迁出所述高速存储区并迁移到低速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，将不同时间段内的数据访问信息作为训练集，训练出预测模型，具体包括：

使用机器学习的方法将不同时间段内的数据访问信息作为训练集，训练出预测模型。

本发明实施例还提供了一种预测式数据迁移系统，包括：

模型训练模块，用于将不同时间段内的数据访问信息作为训练集，训练出预测模型；

数据迁移模块，用于根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，所述数据迁移模块，具体包括：

计算单元，用于根据所述预测模型，计算出数据访问热度；

迁移单元，用于根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，还包括：

数据判断模块，用于若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，还包括：

权重确定模块，用于通过定时器定时确定所述预测模型的权重；若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。

本发明所提供的一种预测式数据迁移方法及系统，包括：将不同时间段内的数据访问信息作为训练集，训练出预测模型；根据预测模型，预测出待访问频繁的数据并迁移到高速存储区。本发明通过提前预测可能出现的访问频繁的数据，将预测到的即将访问频繁的数据迁移到高速存储区，可以有效地减少数据成为访问量多的数据之后再迁移的开销，并且在数据成为访问量多的数据之前加入高速存储区还能提高数据的访问速度，同时减轻数据由于访问量过大造成的响应慢的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的预测式数据迁移方法流程图；

图2为本发明实施例提供的预测式数据迁移方法的具体流程图；

图3为本发明实施例提供的预测式数据迁移系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种预测式数据迁移方法，如图1所示，包括以下步骤：

S101、将不同时间段内的数据访问信息作为训练集，训练出预测模型；

S102、根据预测模型，预测出待访问频繁的数据并迁移到高速存储区。

在本发明实施例提供的上述预测式数据迁移方法中，首先将不同时间段内的数据访问信息作为训练集，训练出预测模型；然后根据预测模型，预测出待访问频繁的数据并迁移到高速存储区，这样提前预测可能出现的访问频繁的数据，将预测到的估计出的一段时间内即将访问频繁的数据迁移到高速存储区，可以有效地减少数据成为访问量多的数据之后再迁移的开销，并且在数据成为访问量多的数据之前加入高速存储区还能提高数据的访问速度，同时减轻数据由于访问量过大造成的响应慢的情况。

需要说明的是，本发明实施例提供的上述预测式数据迁移方法主要应用于热度变化有规律的场景。

在具体实施时，在本发明实施例提供的上述预测式数据迁移方法中，如图2所示，步骤S102根据预测模型，预测出待访问频繁的数据并迁移到高速存储区，具体可以包括以下步骤：

S201、根据预测模型，计算出数据访问热度；

S202、根据计算出的数据访问热度，将预测到的热度高的数据迁移到高速存储区；预测到的热度高的数据为待访问频繁的数据。

本发明针对有访问规律的数据，提前进行热度计算，在数据即将成为热点数据前，将其加入到高速存储区，进而方便提高热点数据的访问速度，同时减轻热点数据由于访问量过大造成的响应慢的情况。

进一步地，在具体实施时，在本发明实施例提供的上述预测式数据迁移方法中，如图2所示，在执行步骤S202将预测到的热度高的数据迁移到高速存储区之后，还可以包括以下步骤：

S203、判断迁移到高速存储区的数据在设定时间内是不是访问频繁的数据；

若否，则执行步骤S204；若是，则执行步骤S205；

S204、标记为访问不频繁，并降低预测模型的权重；

S205、增加预测模型的权重。

也就是说，当迁移到高速存储区的数据在设定时间内是访问频繁的数据时，即预测值(计算出的数据访问热度)与实际热度相符合时，可以增加预测模型的权重，权重高的预测模型预测准确；当迁移到高速存储区的数据在设定时间内不是访问频繁的数据时，即预测值(计算出的数据访问热度)与实际热度相差较多时，可以降低预测模型的权重，调整预测模型。

进一步地，在具体实施时，在本发明实施例提供的上述预测式数据迁移方法中，为了使预测模型更加准确地预测数据的访问热度，训练集可以根据时间的，如图2所示，在执行步骤S204降低预测模型的权重之后，还可以包括以下步骤：

S206、通过定时器定时确定预测模型的权重；

S207、判断预测模型的权重是否低于设定阈值；

若是，则执行步骤S208；若否，则执行步骤S209；

S208、按照设定的百分比调整训练集，重新训练预测模型；

S209、预测模型准确。

在具体实施时，在本发明实施例提供的上述预测式数据迁移方法中，在执行步骤S202将预测到的热度高的数据迁移到高速存储区之前，还可以包括以下步骤：

首先，判断高速存储区是否被占满；

若是，则将预测到的热度低的数据迁出高速存储区并迁移到低速存储区。

也就是说，在预测的将要访问频繁的数据迁移到高速存储区之前，即预测到新的数据访问热度时，可以将高速存储区中将一定时间内访问不频繁的一些数据移出到低速存储区，将新的数据迁移到高速存储区，这样可以进一步提高热点数据的访问速度。

需要说明的是，当高速存储区的数据访问频繁时，加入缓存高速存储预留区，将真实的访问频繁的数据放到该缓存高速存储预留区，每次访问时都把访问数据位置换到该缓存高速存储预留区的头部，保证常访问数据不会被替换掉。

在具体实施时，在本发明实施例提供的上述预测式数据迁移方法中，将不同时间段内的数据访问信息作为训练集，训练出预测模型，具体包括：

使用机器学习的方法将不同时间段内的数据访问信息作为训练集，训练出预测模型。

需要说明的是，训练集训练可用任何使用的机器学习方法，在此不限制训练集的机器学习方法，任意能够高速训练出预测模型的方法都可用。

基于同一发明构思，本发明实施例还提供了一种预测式数据迁移系统，由于该系统解决问题的原理与前述一种预测式数据迁移方法相似，因此该系统的实施可以参见预测式数据迁移方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的预测式数据迁移系统，如图3所示，具体包括：

模型训练模块1，用于将不同时间段内的数据访问信息作为训练集，训练出预测模型；

数据迁移模块2，用于根据预测模型，预测出待访问频繁的数据并迁移到高速存储区。

在本发明实施例提供的上述预测式数据迁移系统中，可以有效地减少数据成为访问量多的数据之后再迁移的开销，并且在数据成为访问量多的数据之前加入高速存储区还能提高数据的访问速度，同时减轻数据由于访问量过大造成的响应慢的情况。

在具体实施时，在本发明实施例提供的上述预测式数据迁移系统中，如图3所示，数据迁移模块2，具体可以包括：

计算单元，用于根据预测模型，计算出数据访问热度；

迁移单元，用于根据计算出的数据访问热度，将预测到的热度高的数据迁移到高速存储区；预测到的热度高的数据为待访问频繁的数据。

在具体实施时，在本发明实施例提供的上述预测式数据迁移系统中，如图3所示，还可以包括：

数据判断模块3，用于若迁移到高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低预测模型的权重；若迁移到高速存储区的数据在设定时间内是访问频繁的数据，则增加预测模型的权重。

在具体实施时，在本发明实施例提供的上述预测式数据迁移系统中，如图3所示，还包括：

权重确定模块4，用于通过定时器定时确定预测模型的权重；若预测模型的权重低于设定阈值时，则按照设定的百分比调整训练集，重新训练预测模型；若预测模型的权重不低于设定阈值时，则预测模型准确。

本发明实施例提供的一种预测式数据迁移方法及系统，包括：将不同时间段内的数据访问信息作为训练集，训练出预测模型；根据预测模型，预测出待访问频繁的数据并迁移到高速存储区。本发明通过提前预测可能出现的访问频繁的数据，将预测到的即将访问频繁的数据迁移到高速存储区，可以有效地减少数据成为访问量多的数据之后再迁移的开销，并且在数据成为访问量多的数据之前加入高速存储区还能提高数据的访问速度，同时减轻数据由于访问量过大造成的响应慢的情况。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的预测式数据迁移方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种预测式数据迁移方法，其特征在于，包括：

将不同时间段内的数据访问信息作为训练集，训练出预测模型；

根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

2.根据权利要求1所述的预测式数据迁移方法，其特征在于，根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区，具体包括：

根据所述预测模型，计算出数据访问热度；

根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

3.根据权利要求2所述的预测式数据迁移方法，其特征在于，在将预测到的热度高的数据迁移到高速存储区之后，还包括：

若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；

若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

4.根据权利要求3所述的预测式数据迁移方法，其特征在于，在降低所述预测模型的权重之后，还包括：

通过定时器定时确定所述预测模型的权重；

若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；

若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。

5.根据权利要求4所述的预测式数据迁移方法，其特征在于，在将预测到的热度高的数据迁移到高速存储区之前，还包括：

判断高速存储区是否被占满；

若是，则将预测到的热度低的数据迁出所述高速存储区并迁移到低速存储区。

6.根据权利要求1-5任一项所述的预测式数据迁移方法，其特征在于，将不同时间段内的数据访问信息作为训练集，训练出预测模型，具体包括：

使用机器学习的方法将不同时间段内的数据访问信息作为训练集，训练出预测模型。

7.一种预测式数据迁移系统，其特征在于，包括：

模型训练模块，用于将不同时间段内的数据访问信息作为训练集，训练出预测模型；

数据迁移模块，用于根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

8.根据权利要求7所述的预测式数据迁移系统，其特征在于，所述数据迁移模块，具体包括：

计算单元，用于根据所述预测模型，计算出数据访问热度；

迁移单元，用于根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

9.根据权利要求8所述的预测式数据迁移系统，其特征在于，还包括：

数据判断模块，用于若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

10.根据权利要求9所述的预测式数据迁移系统，其特征在于，还包括：

权重确定模块，用于通过定时器定时确定所述预测模型的权重；若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。