CN106603673A - 基于纠删码的细粒度云存储调度方法 - Google Patents

Abstract

本发明提供了一种基于纠删码的细粒度云存储调度方法，基于真实的云计算平台，通过对云存储系统中大量存储节点的负载信息进行分析，确定影响数据下载时延的性能指标；基于负载信息设计一种新的云存储调度算法，通过利用存储节点的负载信息反向指导代理节点的线程调度来优化现有云存储系统调度方案；通过多种不同的纠删码对海量文件进行编码存储。本发明利用开源项目OpenStack搭建了一个真实的云计算平台，并根据真实的用户请求数据在云平台上进行部署和验证，本发明中提出的调度策略最高能减少15％的平均时延，同时还能降低数据下载时延的波动，提高数据获取的稳定性，提供更好的用户体验。

Description

基于纠删码的细粒度云存储调度方法

技术领域

本发明涉及云存储技术领域，具体地，涉及一种基于纠删码的细粒度云存储调度方法。

背景技术

随着云计算技术的发展，云存储服务也受到越来越多行业的关注和使用。云存储是一个数据存储模型，数据被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器组成，通常情况下，这些物理环境由企业或公司进行管理。云存储系统拥有灵活、易维护、可扩展等特性，并提供数据存储的可靠性保证。用户可以在任何地点通过网络非常方便地访问云存储服务，完成数据存储和获取等操作。而且，相对于传统的存储服务，它具有成本低、便捷性好的优点。毫无疑问，云存储已经成为了当前最流行的在线数据存储方案。目前，国外最流行的云存储服务包括Dropbox、Google Driver、Microsoft One Driver、AppleiCloud，国内的有百度云盘、腾讯微云、华为云盘、360网盘等。

在云存储系统中，通常使用两种方式来提高数据容错和防灾备份能力，以及保证数据的可用性。一是通过简单的冗余备份，对原始数据进行多份拷贝并分别保存在多个不同的存储节点中。二是通过纠删码(Erasure Code)技术，将原始数据经过一定编码分成若干较小的数据块并保存在多个不同的存储节点中。对于一个(n,k)纠删码(n>k)，原始数据先被等分成k个大小相同的数据块，再将k个数据块经过一定编码生成n个数据块，并保存在n个不同的存储节点中，每次只需从n个数据块中任意获取k个数据块并进行解码即可恢复原始数据。对于任意(ni,ki)，只需满足MDS码(Maximum Distance Separable code,最大距离可分码)，即可使用纠删码对文件进行编码存储。目前，存储云基本都使用多种不同纠删码对文件进行编码存储，从而来保证数据的可靠性。如，Facebook数据仓库集群对频繁访问的数据简单地使用3份拷贝进行存储，而对一些较少访问的数据利用(14,10)纠删码进行保存。一些主流的开源云存储平台也开始支持纠删码技术并利用多种不同的纠删码进行数据存储，如OpenStack的Swift服务和HDFS-RAID。

相比于简单的对原始数据进行冗余备份，利用纠删码对数据进行编码存储能够更高效地利用存储空间，并能降低数据获取时延。云存储系统的一个重要设计准则就是实现数据的快速获取。据Amazon、Microsoft和Google等企业的相关报道，即使轻微的时延增加也会导致企业出现实质性的收益降低。由于纠删码能比较有效地降低时延，所以目前被广泛地运用在企业或一些开源的云平台中。对于使用(n,k)纠删码进行存储的文件，通常利用L个线程并行下载k个已编码的数据块(k<＝L<＝n)，只要任意k个数据块下载结束，通过对该k个数据块进行解码即可恢复原始数据。相对于下载整个原始数据，由于每个数据块小于原始数据，因此大大降低了数据获取时延。然而，线程调度策略会对数据获取时延产生影响，因此，目前最关键的问题是如何优化线程调度以降低数据获取时延？

本发明基于存储节点的负载信息提出了一种新的调度策略和调度方法，通过对大量存储节点的负载信息进行分析，包括内存利用率、磁盘利用率、CPU利用率、硬盘读写次数和收发的数据包等，找出可能影响时延的性能指标，根据这些指标设计更细粒度的调度策略，并实现对应的调度算法。利用多种不同的纠删码对大量文件进行编码存储，在用户请求到达满足不同分布的情况下进行测试，包括真实的用户请求数据和用户请求到达满足韦伯分布两种情况。最后，利用开源项目OpenStack搭建了一个真实的云计算平台进行测试。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于纠删码的细粒度云存储调度方法。

根据本发明提供的基于纠删码的细粒度云存储调度方法，包括如下步骤：

步骤1：对云存储系统中的存储节点的负载信息进行分析，确定影响数据下载时延的性能指标；

步骤2：根据步骤1的性能指标和负载信息制定基于纠删码的云存储调方法，即利用存储节点的负载信息反向指导代理节点进行线程调度；

步骤3：通过多种不同的纠删码对云存储系统中文件进行编码存储。

优选地，利用开源项目OpenStack搭建云计算平台，根据实际用户请求数据在云平台上进行部署和验证。

优选地，所述的步骤1中的云存储系统是指：一个数据存储模型，数据在逻辑层面被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器完成。

优选地，所述步骤1中的性能指标包括：内存利用率、CPU利用率、每秒收/发字节数、磁盘利用率、磁盘每秒读/写次数、RTT，即代理节点到存储节点之间的往返延时。

优选地，所述步骤2中的代理节点是指：用户与云存储系统进行直接交互的节点；代理节点根据用户的需求进行文件下载任务，对代理节点线程池中线程进行调度，与存储节点建立TCP连接进行数据获取，从存储节点中下载对应的文件后返回给用户。

优选地，所述步骤2中的存储节点是指：文件或数据在云平台中实际存储的物理节点。

优选地，所述步骤3中的通过多种不同的纠删码对海量文件进行编码是指：将原始文件数据进行编码后分成若干个大小相等的数据块并保存在多个不同的存储节点中；对于一个(n,k)纠删码是指将原始数据等分成k个大小相同的数据块，再将k个数据块经过编码后生成n个数据块并分别保存在n个不同的存储节点中，其中n>k；

更进一步地，每次只需从n个数据块中任意获取k个数据块并进行解码后即能够恢复原始数据。

优选地，所述步骤2中的基于纠删码的云存储调度算法包括如下步骤：

步骤2.1：同时接收多个用户请求文件；

步骤2.2：将请求文件的下载请求映射到对数据块的下载请求，每个请求文件通过(n,k)纠删码，将已编码的数据块保存到n个存储节点中，只需从n个存储节点中下载k个数据块即能够恢复原始数据，完成请求文件的下载；

步骤2.3：获取保存数据块的存储节点负载信息，并根据负载信息指导代理节点进行线程的调度；

步骤2.4：假设有足够多的线程能够同时下载所有请求文件对应的数据块，当下载所述数据块时，对应的存储节点负载信息会发生相应变化；

步骤2.5：更新存储节点的负载信息用于进行调度安排；

步骤2.6：选择负载最大的存储节点，并消耗代理节点中的一个线程用于数据块下载，选择最大的数据块进行下载；

步骤2.7：判断一个文件所需的k个数据块是否下载完毕，若下载完毕，则进行文件恢复并结束操作；若未下载完毕，则返回执行步骤2.5。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的基于纠删码的细粒度云存储调度方法通过对大量存储节点的负载信息进行分析，确定影响数据获取时延的性能指标，优化云存储系统现有调度策略，根据存储节点的负载信息反向指导代理节点进行线程调度，不仅能够有效地降低数据获取时延，还能保证不同用户的数据下载时延趋于一致。

2、本发明提供的基于纠删码的细粒度云存储调度方法利用OpenStack搭建真实的云计算平台，并通过多种不同的纠删码对大量文件进行编码存储，经基于真实的云存储平台和用户请求到达数据验证，本发明中的方法最高能减15％的平均时延，同时还能降低数据下载时延的波动，提高数据获取的稳定性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的云存储系统架构图；

图2为基于纠删码和负载信息的云存储调度方法的流程图；

图3为本发明和现有方案在(10,4)编码下的平均下载延时对比图；

图4为本发明和现有方案的在四种不同的纠删码下的下载延时对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的基于纠删码的细粒度云存储调度方法，包括如下步骤：

步骤1：对云存储系统中的大量存储节点的负载信息进行分析，确定影响数据下载时延的性能指标；

步骤2：根据步骤1的性能指标和负载信息制定基于纠删码的云存储调度算法，即利用存储节点的负载信息反向指导代理节点的线程调度来优化云存储系统调度；

步骤3：通过多种不同的纠删码对海量文件进行编码存储。

还包括步骤4：利用开源项目OpenStack搭建了一个真实的云计算平台，并根据真实的用户请求数据在云平台上进行部署和验证。

所述的步骤1中的云存储系统是指：一个数据存储模型，数据在逻辑层面被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器组成，通常情况下，这些物理环境由企业或公司进行管理。云存储系统拥有灵活、易维护、可扩展等特性，并提供数据存储的可靠性保证。用户可以在任何地点通过网络非常方便地访问云存储服务，完成数据存储和获取等操作。

所述步骤1中的性能指标包括：内存利用率、CPU利用率、每秒收/发字节数、磁盘利用率、磁盘每秒读/写次数、RTT即代理节点到存储节点之间的往返延时。

所述步骤2中的代理节点是指：用户直接交互的节点，根据用户的需求，如文件下载，从存储节点中下载对应的文件并返回给用户。

所述步骤2中的存储节点是指：文件或数据在云平台中存储的物理节点。

所述步骤3中的通过多种不同的纠删码对海量文件进行编码是指：将原始数据经过一定编码分成若干较小的数据块并保存在多个不同的存储节点中，对于一个(n,k)纠删码(n>k)，原始数据先被等分成k个大小相同的数据块，再将k个数据块经过编码转换生成n个数据块，并保存在n个不同的存储节点中，每次只需从n个数据块中任意获取k个数据块并进行解码即可恢复原始数据。

下面结合具体实施例对本发明中的技术方案做更加详细的描述。

本实施例首先利用开源项目OpenStack在上海交通大学搭建了一个多节点的云计算平台，每个节点配置一个千兆网卡，代理节点和所有存储节点都处于同一个局域网。在云平台中申请了12台虚拟机用于模拟文件的下载，10台用于普通的存储节点，1台用于性能监测节点，1台用于代理节点。在存储节点中我们保存了大量的文件数据，每个文件都通过纠删码进行编码。

根据统计，在一个云存储系统中，大部分文件都相对比较小，而这些小文件通常只占用很小一部分存储空间。根据统计结果，大概90％的文件小于4MB，99％的文件小于16MB，而小于4MB的文件大概占用10％的存储空间，小于16MB的文件大概占用20％的存储空间。对存储节点进行部署，在系统中保存了大量的数据文件。

本发明采取了多种不同的(n_i,k_i)纠删码进行对文件进行编码，下标i表示使用第i种纠删码，这里i＝1,2,3,4。具体地，利用四种不同纠删码对文件进行编码，分别为：(2,1)erasure code；(4,2)erasure code；(6,3)erasure code；(10,4)erasure code。

对于性能监测节点，它会定时采集各个存储节点的负载信息。将监测节点与存储节点的之间的交互频率定义为1s一次，因为负载信息的数据量非常小，因此可以认为，这些数据的传输基本不会对存储节点的性能产生影响，也就是说对结果不会产生干扰。

其次，在代理节点部署调度算法，并设置线程池大小L＝20。在用户请求分别符合两种到达的情况下，测试调度算法的性能。第一种情况是用户请求到达满足韦伯分布，第二种情况用户请求基于真实的用户请求到达数据。

最后，在相同的情况下，将本发明中的方法LOAD-ALGORITHM和现有方法SERPT-R和FCFS-R进行对比。

本发明根据云存储系统中存储节点的负载信息进行文件下载任务的调度，在使用纠删码进行文件存储的前提下，最高能减15％的平均时延，同时还能降低数据下载时延的波动，提高数据获取的稳定性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于纠删码的细粒度云存储调度方法，其特征在于，包括如下步骤：

步骤1：对云存储系统中的存储节点的负载信息进行分析，确定影响数据下载时延的性能指标；

步骤2：根据步骤1的性能指标和负载信息制定基于纠删码的云存储调方法，即利用存储节点的负载信息反向指导代理节点进行线程调度；

步骤3：通过多种不同的纠删码对云存储系统中文件进行编码存储。

2.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，利用开源项目OpenStack搭建云计算平台，根据实际用户请求数据在云平台上进行部署和验证。

3.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述的步骤1中的云存储系统是指：一个数据存储模型，数据在逻辑层面被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器完成。

4.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述步骤1中的性能指标包括：内存利用率、CPU利用率、每秒收/发字节数、磁盘利用率、磁盘每秒读/写次数、RTT，即代理节点到存储节点之间的往返延时。

5.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述步骤2中的代理节点是指：用户与云存储系统进行直接交互的节点；代理节点根据用户的需求进行文件下载任务，对代理节点线程池中线程进行调度，与存储节点建立TCP连接进行数据获取，从存储节点中下载对应的文件后返回给用户。

6.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述步骤2中的存储节点是指：文件或数据在云平台中实际存储的物理节点。

7.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述步骤3中的通过多种不同的纠删码对海量文件进行编码是指：将原始文件数据进行编码后分成若干个大小相等的数据块并保存在多个不同的存储节点中；对于一个(n,k)纠删码是指将原始数据等分成k个大小相同的数据块，再将k个数据块经过编码后生成n个数据块并分别保存在n个不同的存储节点中，其中n>k；

更进一步地，每次只需从n个数据块中任意获取k个数据块并进行解码后即能够恢复原始数据。

8.根据权利要求1所述的基于纠删码的细粒度云存储调度方法，其特征在于，所述步骤2中的基于纠删码的云存储调度算法包括如下步骤：

步骤2.1：同时接收多个用户请求文件；

步骤2.2：将请求文件的下载请求映射到对数据块的下载请求，每个请求文件通过(n,k)纠删码，将已编码的数据块保存到n个存储节点中，只需从n个存储节点中下载k个数据块即能够恢复原始数据，完成请求文件的下载；

步骤2.3：获取保存数据块的存储节点负载信息，并根据负载信息指导代理节点进行线程的调度；

步骤2.4：假设有足够多的线程能够同时下载所有请求文件对应的数据块，当下载所述数据块时，对应的存储节点负载信息会发生相应变化；

步骤2.5：更新存储节点的负载信息用于进行调度安排；

步骤2.6：选择负载最大的存储节点，并消耗代理节点中的一个线程用于数据块下载，选择最大的数据块进行下载；

步骤2.7：判断一个文件所需的k个数据块是否下载完毕，若下载完毕，则进行文件恢复并结束操作；若未下载完毕，则返回执行步骤2.5。