CN109358821A - 一种成本驱动的云计算冷热数据存储优化方法 - Google Patents

Abstract

本发明公开了一种成本驱动的云计算冷热数据存储优化方法，获取云存储服务提供商提供的冷热存储服务的价格策略以及数据的初始温度；根据数据的初始温度以及在存储过程中的温度的变化动态改变数据在云存储中的存储位置；对于访问频繁的热数据将其存放在热存储，对于数据量大且访问次数少的冷数据将其存放在冷存储，并根据数据的温度变化进行数据转移；对于存储在热存储中逐渐变冷的数据通过将其迁移到冷存储以减少数据的存储成本；对于存储在冷存储中逐渐变热的数据通过将其迁移到热存储以减少数据的访问成本以及用户请求的响应时间。根据上传数据的温度变化动态改变数据在云存储的存储位置，为用户选择低成本、低延时的数据存储方案。

Description

一种成本驱动的云计算冷热数据存储优化方法

技术领域

本发明涉及云存储领域，具体涉及一种成本驱动的云计算冷热数据存储优化方法。该方法适用于上传数据到云存储以及在存储过程中温度不同和动态变化的状态下，云计算用户的存储成本的优化问题。

背景技术

数据管理中，数据温度用于表示数据访问的频率，通常称那些需要被计算节点频繁访问的在线类数据为热数据；而称访问频率较低不需要实时访问的数据为冷数据。热存储成本较高，但访问成本较低，适合存储频繁访问的热数据；相比之下，冷存储成本低，但访问成本更高，更适合存储不常访问的冷数据。

近年来，云计算发展迅速，云计算服务的提供商们分别提供了丰富的云计算服务。云存储作为云计算概念的一个延伸和发展出来的新兴网络存储技术，相比于自建存储服务器，其拥有着更智能化、存储效率更高、安全性高以及可扩展性等优势，而且目前大多数云计算服务的提供商们提供了数据的冷热存储服务。因此越来越多的互联网企业等开始使用云存储来代替以前的存储系统。

数据在其生命周期中数据温度会发生变化，因此，在数据存储过程中根据数据的访问频率变化进行冷热存储优化可以节省成本或者降低响应延迟率。目前有些云存储提供商推荐的做法是如果不知道数据的访问模式时先将数据存储在热存储，使用至少一个月，然后再来决定是否可以根据实际使用情况通过移动到冷存储来节省成本，但是数据的大小以及访问模式是不同的，冷热存储之间的迁移成本也是不能忽视的，在这种情况下，需要一种成本驱动的云计算冷热数据存储优化方法，能够根据数据的初始温度以及云存储成本模型推荐数据的云存储冷热存储类型，并在存储过程中根据数据的温度变化动态改变数据的冷热存储位置，优化云计算用户的存储成本。

发明内容

本发明所要解决的技术问题是提供一种成本驱动的云计算冷热数据存储优化方法，能够根据数据的初始温度以及温度变化确定数据的初始存储位置以及动态改变数据云存储中的冷热存储位置，以此来优化云存储用户的存储成本。

为实现上述目的，本发明采用如下技术方案：

一种成本驱动的云计算冷热数据存储优化方法，包括：

根据数据温度的需求与变化动态改变数据在云存储中的冷热存储位置步骤：对于访问频繁的热数据将其存放在热存储，对于数据量大且访问次数少的冷数据将其存放在冷存储；

根据数据的温度变化进行数据在冷热存储层间的转移步骤：对于存储在热存储中逐渐变冷的数据通过将其迁移到冷存储以减少数据的存储成本；对于存储在冷存储中逐渐变热的数据通过将其迁移到热存储以减少数据的访问成本以及用户请求的响应时间；

根据用户需求以及云存储服务提供商提供的价格策略进行分析，根据数据的初始温度决策数据的初始存放位置；根据存储过程中数据温度的变化决策存储过程中数据的最优存放位置。

进一步的，根据数据的初始温度决策数据的初始存放位置的具体步骤为：

首先，建立存储总成本计算模型，根据冷、热存储层的定价标准，将存储总成本计算分为数据存储成本、数据访问成本和数据迁移成本三个部分，并按照公式(1)计算：

C_total＝C_storage+C_access+C_transfer (1)

公式(1)中C_total代表总成本，C_storage代表存储成本，C_access代表数据访问成本，C_transfer代表数据在冷热存储间的迁移成本，C_storage、C_access、C_transfer分别按照公式(2)、(3)、(4)进行计算：

公式(2)、(3)、(4)中，Hot_storage代表存储在热层的存储单价，Cool_storage代表存储在冷层的存储单价，由云存储服务提供商提供，D_size代表数据大小，t代表存储时间，代表热存储层的读操作单价，代表热存储层的写操作单价，代表冷存储层的读操作单价、代表冷存储层的写操作单价，由云存储服务提供商提供，R，W分别代表读、写操作请求次数，b_c代表在冷存储层的数据检索单价，由云存储服务提供商提供；公式(3)中将数据访问成本分为数据的读操作成本C_read、写操作成本C_write、数据的检索成本C_retrieval和写入成本C_dwrite。

进一步的，根据数据大小、初始温度以及存储优化总成本计算模型分别计算数据存储在冷热存储的总成本，将成本低的作为数据最佳初始存储类型。

进一步的，所述根据存储过程中数据温度的变化决策存储过程中数据的最优存放位置的具体步骤如下：

数据当前在热存储继续存放在热存储的成本为：

将数据从热存储迁移到冷存储在冷存储存储的成本为：

计算盈亏平衡：C_total1＝C_total2 (7)

所以当访问请求减少而存储时间增加，使得公式(7)成立时，此时需要将数据从热存储迁移到冷存储，以节省云存储成本。

当前数据存储在冷存储时继续存放在冷存储的存储成本为：

将数据从冷存储迁移到热存储在热存储存储的存储成本为：

计算盈亏平衡：C_total3＝C_total4 (10)

所以当访问请求增加，使得公式(10)成立时，此时需要将数据从冷存储迁移到热存储，以降低请求响应时间，满足用户需求。

本发明所述的一种成本驱动的云计算冷热数据存储优化方法的有益效果是：

1、本发明解决了数据上传时初始存储位置的选择问题，即根据数据的初始温度以及云存储服务的冷热存储的价格策略进行分析，进行存储类型推荐，然后进行数据上传。

2、本发明通过根据数据温度的变化改变数据的冷热云存储位置，避免了数据长期存储热存储当数据温度降低造成的成本浪费和资源浪费或者是长期存储在冷存储当数据访问频率升高用户的访问请求不能及时响应的问题。

3、以成本最优化为目标，建立数据温度与数据冷热存储存放位置的关系，通过成本计算模型以及存储优化模型确定数据的最优存储位置，从而达到成本最优化。

根据数据冷热存储位置决策算法输出的数据最优存储位置，动态调整数据在云存储中的冷热存储位置，使其成本最优化。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明一种成本驱动的云计算冷热数据存储优化方法执行流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的最佳实施方式是联系具体的云存储服务提供商及其冷热存储类型的价格策略结合影响数据存储价格的数据特性以及数据的温度变化，利用本发明提供的数据模型选择数据存储在云存储最优放置位置。

实施中，需充分调研云存储服务提供商提供的冷热存储的价格策略，了解冷热存储迁移的收费政策，结合本发明的分析流程和方法，对数据进行分析，进而建立具体的数据模型，优化数据云存储成本。

本发明的基本思想为：借助对云存储服务提供商提供的价格策略、数据温度预测以及数据的大小特性的充分分析，进行数据冷热存储类型推荐以及在存储过程中根据数据温度变化优化数据云存储放置位置。

本发明实施例公开了一种成本驱动的云计算冷热数据存储优化方法，是根据数据温度的需求与变化动态改变数据在云存储中的冷热存储位置，对于访问较频繁的热数据将其存放在热存储，对于数据量较大且访问次数较少的冷数据将其存放在冷存储，并根据数据的温度变化进行数据在冷热存储层间的转移。对于存储在热存储中逐渐变冷的数据通过将其迁移到冷存储以减少数据的存储成本；对于存储在冷存储中逐渐变热的数据通过将其迁移到热存储以减少数据的访问成本以及用户请求的响应时间。

其具体过程为：对用户需求以及云存储服务提供商提供的价格策略进行分析，根据数据的初始温度以及存储过程中数据温度的变化，由数据冷热存储位置决策算法决策数据的初始存放位置以及存储过程中数据的最优存放位置。

如图1流程图所示，本发明实施例所述的一种成本驱动的云计算冷热数据存储优化方法执行流程图。参考图1，通过获取数据的温度，由数据冷热存储位置决策算法计算数据的最优存放位置，数据冷热存储位置决策算法以成本模型为依据，将模型中的使用到的各项云计算平台冷热存储的定价指标作为已知条件，在数据上传到云存储之前确定数据在云存储中的冷热存储存放位置，以及在数据存储过程中根据温度变化计算何时进行数据冷热存储位置转换。

所述数据冷热存储位置决策算法首先建立存储总成本计算模型，根据目前主流云计算平台微软Azure块Blob常规用途v2 LRS的冷、热存储层的定价模型与定价标准，将存储总成本计算分为数据存储成本、数据访问成本、数据迁移成本三个部分，并按照公式(1)计算：

C_total＝C_storage+C_access+C_transfer (1)

公式(1)中C_total代表总成本，C_storage代表存储成本，C_access代表数据访问成本，C_transfer代表数据在冷热存储间的迁移成本，C_storage、C_access、C_transfer分别按照公式(2)、(3)、(4)进行计算：

公式(2)、(3)、(4)中，Hot_storage代表存储在热层的存储单价，Cool_storage代表存储在冷层的存储单价，由云存储服务提供商提供，D_size代表数据大小，t代表存储时间，分别代表热存储层的读、写操作单价，分别代表冷存储层的读、写操作单价，由云存储服务提供商提供，R，W分别代表读、写操作请求次数，b_c代表在冷存储层的数据检索单价，由云存储服务提供商提供。其中，公式(3)中将数据访问成本分为数据的读、写操作成本C_read、C_write以及数据的检索、写入成本C_retrieval、C_dwrite，根据微软Azure块Rlob常规用途v2的冷热存储层迁移的定价规定可得到(4)。

所述数据冷热存储位置决策算法根据数据初始温度、大小以及存储优化总成本计算模型分别计算数据存储在冷热存储的总成本，将成本较低的存储类型作为数据最佳初始存储类型。

所述数据冷热存储位置决策算法根据(1)(2)(3)(4)模型建立数据存储位置优化模型，将数据存储过程中存储优化问题转换为计算数据分别存储在冷、热存储层的盈亏平衡点，当到达盈亏平衡点时更改数据在云存储的存储层，据存储位置优化模型计算如下：

一方面，数据当前在热存储继续存放在热存储的成本为：

将数据从热存储迁移到冷存储在冷存储存储的成本为：

计算盈亏平衡：C_total1＝C_total2 (7)

因为热存储的存储收费高于冷存储，而访问收费低于冷存储，所以当访问请求很少而存储时间较长达到盈亏平衡时，这时需要将数据从热存储迁移到冷存储，这样可以节省云存储成本。

另一方面，当前数据存储在冷存储时继续存放在冷存储的存储成本为：

将数据从冷存储迁移到热存储在热存储存储的存储成本为：

计算盈亏平衡：C_total3＝C_total4 (10)

因为冷存储的存储收费低于热存储，而访问收费高于热存储，所以当访问请求增加，达到一定的数量使得盈亏平衡，这时需要将数据从冷存储迁移到热存储，这样可以降低请求响应时间，满足用户需求。

所述数据冷热存储位置决策算法模块以成本最优化为目标，建立数据温度与数据冷热存储存放位置的关系，通过成本计算模型以及存储优化模型确定数据的最优存储位置，从而达到成本最优化。

本发明的有益效果

1、本发明解决了数据上传时初始存储位置的选择问题，即根据数据的初始温度以及云存储服务的冷热存储的价格策略进行分析，进行存储类型推荐，然后进行数据上传。

2、本发明通过根据数据温度的变化改变数据的冷热云存储位置，避免了数据长期存储热存储当数据温度降低造成的成本浪费和资源浪费或者是长期存储在冷存储当数据访问频率升高用户的访问请求不能及时响应的问题。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种成本驱动的云计算冷热数据存储优化方法，其特征是，包括：

根据数据温度的需求与变化动态改变数据在云存储中的冷热存储位置步骤：对于访问频繁的热数据将其存放在热存储，对于数据量大且访问次数少的冷数据将其存放在冷存储；

根据数据的温度变化进行数据在冷热存储层间的转移步骤：对于存储在热存储中逐渐变冷的数据通过将其迁移到冷存储以减少数据的存储成本；对于存储在冷存储中逐渐变热的数据通过将其迁移到热存储以减少数据的访问成本以及用户请求的响应时间；

根据用户需求以及云存储服务提供商提供的价格策略进行分析，根据数据的初始温度决策数据的初始存放位置；根据存储过程中数据温度的变化决策存储过程中数据的最优存放位置。

2.如权利要求1所述的方法，其特征是，根据数据的初始温度决策数据的初始存放位置的具体步骤为：

首先，建立存储总成本计算模型，根据冷、热存储层的定价标准，将存储总成本计算分为数据存储成本、数据访问成本和数据迁移成本三个部分，并按照公式(1)计算：

C_total＝C_storage+C_access+C_transfer (1)

公式(1)中C_total代表总成本，C_storage代表存储成本，C_access代表数据访问成本，C_transfer代表数据在冷热存储间的迁移成本，C_storage、C_access、C_transfer分别按照公式(2)、(3)、(4)进行计算：

公式(2)、(3)、(4)中，Hot_storage代表存储在热层的存储单价，Cool_storage代表存储在冷层的存储单价，由云存储服务提供商提供，D_size代表数据大小，t代表存储时间，代表热存储层的读操作单价，代表热存储层的写操作单价，代表冷存储层的读操作单价、代表冷存储层的写操作单价，由云存储服务提供商提供，R，W分别代表读、写操作请求次数，b_c代表在冷存储层的数据检索单价，由云存储服务提供商提供；公式(3)中将数据访问成本分为数据的读操作成本C_read、写操作成本C_write、数据的检索成本C_retrieval和写入成本C_dwrite。

3.如权利要求1所述的方法，其特征是，根据数据大小、初始温度以及存储优化总成本计算模型分别计算数据存储在冷热存储的总成本，将成本低的作为数据最佳初始存储类型。

4.如权利要求1所述的方法，其特征是，所述根据存储过程中数据温度的变化决策存储过程中数据的最优存放位置的具体步骤如下：

数据当前在热存储继续存放在热存储的成本为：

将数据从热存储迁移到冷存储在冷存储存储的成本为：

计算盈亏平衡：C_total1＝C_total2 (7)

所以当访问请求减少而存储时间增加，使得公式(7)成立时，此时需要将数据从热存储迁移到冷存储，以节省云存储成本。

5.如权利要求1所述的方法，其特征是，当前数据存储在冷存储时继续存放在冷存储的存储成本为：

将数据从冷存储迁移到热存储在热存储存储的存储成本为：

计算盈亏平衡：C_total3＝C_total4 (10)

所以当访问请求增加，使得公式(10)成立时，此时需要将数据从冷存储迁移到热存储，以降低请求响应时间，满足用户需求。