CN108462736B - 一种面向QoS的云存储数据副本存储方法 - Google Patents

Abstract

本发明从云存储数据副本的数目和分布出发，提出一种面向服务质量(QoS)的云存储数据副本存储方法，通过分析云存储系统中数据副本的数目、副本的热度、副本的服务质量、副本的生存时间四者之间的关系，确定了影响服务质量的IO请求到达率与副本数目之间的关系，通过MMk排队和临界值确定云存储系统中数据副本数目和分布，从而达到降低访问时间和提高QoS的目的。

Description

一种面向QoS的云存储数据副本存储方法

技术领域

本发明涉及云计算技术领域，具体涉及一种面向QoS的云存储数据副本存储方法。

背景技术

云存储系统需要为用户提供高效的、有服务质量保障的、可扩展的服务。目前云存储系统，如Goole的GFS、亚马逊的S3和微软的Azure等，其结构是将分散于不同地区的数据中心组织起来提供存储服务。

目前，越来越多的互联网应用采用云存储实现其数据存储。然而，对于数据密集型应用，如大规模视频点播，云存储服务质量成为限制其应用的瓶颈。由于用户数量多、数据访问量大、网络环境复杂等原因，为这些应用提供有服务质量保障的数据存取服务成为了云存储系统面临的严峻挑战。从用户终端来看，网络延迟使得云存储系统中数据访问的响应时间较大，用户终端接入点的低带宽使得用户对云存储系统的存取速度较低，云存储的访问开销远远大于用户本地磁盘的访问开销。

一般看来，云存储系统中的数据副本能够承担提高数据可靠性和服务质量的双重任务，用户在访问数据时会选择距离最近、访问速度最快的数据副本访问，数据副本有时也被看做是云存储系统的数据缓存。因此，设计合理的副本策略是云存储服务质量保障的有效手段。

发明内容

本发明针对现有技术中存在的技术问题，从云存储数据副本的数目和分布出发，提出一种面向服务质量(QoS)的云存储数据副本存储方法，通过分析云存储系统中数据副本的数目、副本的热度、副本的服务质量、副本的生存时间四者之间的关系，确定了影响服务质量的IO请求到达率与副本数目之间的关系，从而得出各种不同IO请求率下副本的处理方法。

本发明解决上述技术问题的技术方案如下：一种面向QoS的云存储数据副本存储方法，包括以下步骤：

步骤1，将不同类别的数据的元数据以循环队列的形式存储在一致性哈希表中，同时为所述元数据分配至少一个副本数据并存储在云存储系统中；

步骤2，根据目标数据的IO请求到达强度λ和服务质量QoS需求，得到系统稳定状态下，副本个数n的下限值n'；

步骤3，根据服务质量QoS需求和系统资源，确定副本个数n的上限值n*；

步骤4，根据所述副本个数n的下限值n'和上限值n*，确定云存储系统中目标数据的副本个数n。

本发明的有益效果是：本发明建立了副本的MMK排队模型，在模型中针对服务质量、数据热度、服务时间、数据请求频度进行了分析，并在考虑CPU资源和网络带宽的情况下通过临界值的方法给出了云存储中副本数目的确定方式。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，每个所述副本数据以文件为单位存储在云存储系统中的一个存储节点中。

进一步，在步骤1和步骤2之间还包括建立关于系统服务质量QoS、IO请求到达强度以及数据副本数目n的数学模型：

假设，系统中对于目标数据有n个副本；用户对目标数据的IO请求按泊松流到达，到达强度为λ；存储节点服务时间为负指数分布，平均服务率为μ，整个系统的平均服务率为nμ；这时，系统中的IO请求队列是一个M/M/k(H/w/v)队列；

根据状态转移生灭过程及系统状态平衡方程，建立IO请求平均响应时间W_q和平均完成时间W_s与IO请求到达强度λ和数据副本数目n的关系函数：

其中，P₀为状态0时的客户端IO请求概率，

表示系统配置1个副本时的IO请求到达概率，

表示系统配置n个副本时的IO请求到达概率，L_q为队列中IO请求的平均数，L_s系统中所有IO请求的平均数。

进一步，所述步骤2包括：获取用户IO请求的到达强度λ，根据所述的IO请求平均响应时间W_q和平均完成时间W_s与IO请求到达强度λ和副本数目n的关系函数，计算令系统的IO请求平均响应时间W_q最小的数据副本个数n的最小值n’。

进一步，所述步骤3包括：

建立系统IO请求与系统资源的数学模型：

f(n)＝mn+bL_s

其中，f(n)为系统中IO请求所消耗的资源，m为每个IO请求的内存耗费，b为每个IO请求的网络带宽消耗，L_s为系统中所有IO请求的平均数；

利用边界值分析，得到令系统资源f(n)取最小值的最大数据副本个数n*。

进一步，该方法还包括：采用脏数据预存的数据一致性方法减小数据迁移代价。

进一步，所述脏数据预存的数据一致性方法包括：

根据所述元数据的一致性哈希表，按照副本个数将所述元数据进行分组，建立多个Utime队列，每个所述Utime队列中存储副本个数相同的元数据；

所述Utime队列中的元数据按照IO请求的时间顺序进行排序，最近一次收到IO请求时间距离当前时间最近的元数据位于所述Utime队列的队首，用于记录副本数据的新旧程度；当有写入请求到达时，则将对应的元数据移动至队首；

所述Utime队列还包含一个SYN指针，所述SYN指针指向Utime队列中的一个元数据，所述Utime队列中所述SYN指针指向的元数据之下的元数据为已完成写回操作的元数据；每完成一个元数据的写回，SYN指针上移一位直至达到Utime队列顶部。

附图说明

图1为本发明实施例提供的一种面向QoS的云存储数据副本存储方法流程图；

图2为本发明实施例提供的副本数目生灭过程示意图；

图3为本发明缓存系统中元数据环示意图；

图4为本发明Utime队列的组织结构示意图。

具体实施方式

以下结合实例对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

云存储系统作为云计算的研究热点，目前的部署模式大多数为数据中心模式。通常将数据中心部署于区域级的骨干网络保证所有用户访问的平均响应时间。云存储中使用副本技术保证数据的安全性和可靠性。因此，云存储的副本策略也逐渐成为研究的热点。

目前云存储副本策略的研究大多数是从应用的角度出发。另外，也有从云存储内部改善存储质量的副本分类策略，还有从数据安全角度出发的副本策略。

同时，为了提高云存储的用户访问速度，目前的研究通常是提供缓存层。近几年逐渐从分布式系统结构出发设计缓存系统。研究大多数集中于云存储网关的研究。

但是，如果把云存储看成用户本地存储的补充，那云存储是目前存储器层次结构中的最底层。所以，为了提高用户的数据访问速度，我们可以从存储器的平均访问时间进行思考。我们认为优化副本的访问性能，可以从三个方面入手。

提高就近存储节点的命中率

越靠近用户的存储节点，用户的访问速度越快。如果用户访问云存储时，能够在就近的存储节点中完成数据的访问，这便能提高整个云存储系统的平均访问性能。

优化存储节点中的副本组合方式

但云存储的数据量是PB级的，云存储节点中有限的存储空间是不能放置PB数据的，如何放置副本是值得研究的。利用就近节点的有限存储空间，放置最多的用户热点数据，使得用户访问云存储时，副本的命中率最高。这种方式相当于缓存系统的缓存策略，从Cantin和Hill使用SPEC2000收集的数据来看，大部分缓存的策略(如LRU策略与随机策略)的效果几乎无多大差别。

降低副本在云存储中的迁移代价

数据在云存储中迁移是需要一定的传输时间。以Hadoop为例，默认64MB大小的数据块从一个节点传输到另外一个节点，假设两个存储节点在同一个局域网中，传输速率为10MB/S，则需要6.4秒的迁移开销。如果两个存储节点在广域网中且相隔较远，传输速率为1MB/S，则需要64秒的传输开销。所以，在大并发情况下，降低副本的迁移代价，对存储器平均访问时间的降低也会有很大的作用。

相对于Hadoop默认的副本策略，分布式的动态的副本策略能够提高云存储的服务质量，但也给副本策略带来了挑战。我们需要解决的主要问题是：动态确定云存储中的副本数目、确定副本放置位置、确定副本的生灭过程。

我们认为副本块在云存储节点中的生成和消亡，需要根据云存储系统中的数据热度、副本数目和用户期望的服务质量得出副本的生灭规则：由QoS来决定具体副本数目，当副本数目少于QoS需要的副本时，则增加副本数，反之则减少副本数。

为了保证云存储的服务质量，则必须确定用户IO请求在系统中的逗留时间。云存储在多副本情况下，具有所请求文件的节点即为云存储的“服务窗口”，云存储通过“服务窗口”对用户提供IO服务。

本发明结合目标数据的IO请求到达强度λ、服务质量QoS需求和系统资源，提出一种面向QoS的云存储数据副本存储方法，如图1所示，包括以下步骤：

步骤1，将不同类别的数据的元数据以循环队列的形式存储在一致性哈希表中，同时为所述元数据分配至少一个副本数据并存储在云存储系统中；每个所述副本数据以文件为单位存储在云存储系统中的一个存储节点中。

步骤2，根据目标数据的IO请求到达强度λ和服务质量QoS需求，得到系统稳定状态下，副本个数n的下限值n'；

步骤3，根据服务质量QoS需求和系统资源，确定副本个数n的上限值n*；

步骤4，根据所述副本个数n的下限值n'和上限值n*，确定云存储系统中目标数据的副本个数n。

为了使计算简化，假设每个存储节点对任一用户的IO请求的处理时间是相等的，即μ是恒定的。当系统中IO请求到达强度低于服务率(λ≤nμ)时，系统存在稳定分布，副本的生灭过程如图2所示。

图2中，状态k(0≤k≤n)表示系统中有k个存储节点处理用户IO请求，其他k-n个存储节点空闲。当k＞n时，系统中n个存储节点均在处理用户IO请求，其他k-n个用户在排队等待。当系统处于平衡时，可列出相应的平衡方程。

设

其中

表示系统配置1个副本时的IO请求到达概率，

表示系统配置n个副本时的IO请求到达概率。

对于状态0:

对于状态1:

对于状态n-1:

对于状态n:

对于状态n+r-1

因此：

当ρ＜1，可知：

其中，P_k为状态k时的客户端IO请求概率。

在等待队列中，某些IO请求必须等到第一个请求完成。设L_q为队列中请求的平均数。

代入公式(1).

系统中的IO请求包括队列中等待的请求数目和存储节点服务请求数量。设L_b为存储节点服务的IO请求平均数，设L_s系统中所有IO请求的平均数。

代入公式(1)

L_b＝ρ₁ (4)

L_s＝L_q+L_b

将L_q,L_b代入公式(3),(4).

设W_q为等待队列的平均等待时间，W_s为系统中的IO请求平均等待时间。根据利特尔法则可得：

根据公式(2)(6)(7)可知，系统中IO请求平均响应时间(W_q)和平均完成时间(W_s)取决于IO请求到达强度λ和副本数目n。当取得用户IO请求的到达强度后，可根据QoS(W_q,W_s)的需要修改副本数目n。该副本数存在一个临界值n'，当n≥n'时，系统中的数据IO完成时间均满足QoS的需求。

上述给出了服务质量、IO请求到达强度与副本数目的关系，从方程式(6)(7)可知，n存在临界值n'，当n≥n'时，云存储中的数据IO完成时间均满足QoS的需求，但过大的副本数目会使得系统缓存效率低下，而且太多的IO队列会使得一致性的维护需要占用过多的主机资源，如IO请求的完成需要耗费一定的CPU资源和网络带宽。因此，系统中需要确定合适的副本数目，既能满足QoS的需求，又能使系统的资源耗费最低。

设f(n)为系统中IO请求所消耗的资源，m为每个请求的内存耗费，b为每个请求的网络带宽消耗，因此：

f(n)＝mn+bL_s (8)

因为n是离散变量，利用边界值分析可以得到合适的变量n*满足如下公式:

代入公式(8)可得.

根据公式(2)(5)(10)，可以得到n*。例如：对于文件A的IO请求，它遵循泊松分布，其到达率是每分钟48次。每个IO请求在存储节点的处理时间遵循负指数分布，每分钟μ＝25次。假设每个IO请求的存储节点的网络带宽消耗为5个基点，一致性哈希表中每个IO请求的内存消耗为8字节。系统可使用方程(2)(5)(10)来获得合适的值。因此:

根据公式(2):

根据公式(5):

因此，L_s(n)的值如表1所示。上例中

属于区间(0.582,21.845]。因此此时副本数量为3。

Table 1不同的副本数目

n	L<sub>s</sub>(n)	(L<sub>s</sub>(n)-L<sub>s</sub>(n+1),L<sub>s</sub>(n)-L<sub>s</sub>(n-1))
			2	24.490	(21.845,+∞)
3	2.645	(0.582,21.845]
			4	2.063	(0.111,0.582]

对于数据的存储分为元数据和副本数据两个部分。元数据存储在一致性HASH表中，数据则以文件为单位分散存储在节点空间中。元数据位于Metadata Ring中，MR(Metadata Ring)使用一致性HASH算法实现，云存储系统中每个文件的元数据都存储在MR之中。每个文件的元数据对应MR上的一个节点，每个节点中存储六个部分的内容：

Key:一致性HASH算法中的key，具体为HDFS中文件路径。

Stat info:文件的属性，类似于stat结构体。

Location info:副本系统中文件副本的位置，该位置为三种类型：用户本机缓存中的位置、Hadoop中节点位置、副本系统中的位置。

Queue info:IO请求队列。用户对某个文件的IO请求，按照请求时间作为请求ID，存储于元数据之中直至请求返回。

Update list:文件更新列表。如果用户IO请求是对文件进行修改，那么将修改的内容按照时间顺序存储于元数据之中，以便写回操作调用。

IO requestpackage:IO请求包。一个IO请求包对应一次存储系统的访问操作，包含访问点的IP、发起请求的时间和更新操作的内容。IO请求包是Update list中的节点，也是Queue inf队列中的节点，该IO请求未完成时，存储与Queue info队列中，完成后却没有写回时，存储于Update list中。

图3中给出了三个文件File A、File B、File C。File C为小文件，因此File C的内容直接存储在MR之中；FILE B并没有进入节点的存储空间，但是其元数据信息仍然存储于MR之中；FILE A的副本文件FILE A1、FILE A2、FILE A3位于节点的存储空间中。

在数据一致性方面，为了减小数据迁移代价，尤其是大块文件传输时产生的迁移代价，本文中采用脏数据预存的数据一致性方法，减小大文件的一致性代价。

脏数据预存包含两个工作：Utime队列的维护，数据中心的主动写同步。具体做法是：在元数据的一致性HASH表之上，建立文件的Utime队列，如图4所示。Utime队列是记录副本新旧程度的队列，一个副本数就组织一个Utime队列，当有文件写入请求到达时，便将文件对应的元数据移动至队首。因此，当某个文件长时间未收到IO请求时，该文件的元数据将逐渐移动到队列尾部。同时，数据中心维护同步指针SYN，数据中心对队列尾部的文件进行写回，每完成一个文件的写回SYN指针上移一位直至达到Utime队列顶部。

以图4为例，元数据环中存在3个Utime队列，分别是副本数目从1到3的队列。每个队列是一个双端队列，且存在一个SYN指针，SYN指针之下的部分为数据中心已经完成写回操作的文件，如副本数目为3队列中的File 5和File 2。

由于Utime队列是一个动态的队列，尾部的副本会与云存储中其他副本进行同步，所以syn指针之后的副本已经完成同步。如果syn指针之后的副本中，有新数据写入时，那么该副本的元数据将移动至Utime队列的队首，从而需要重新同步。因此，当系统中需要为新调入的文件副本腾出存储空间时，直接将syn指针之后的文件删除即可，这便大大降低了数据同步的代价。

本发明建立了副本的MMK排队模型，在模型中针对服务质量、数据热度、服务时间、数据请求频度进行了分析，并在考虑CPU资源和网络带宽的情况下通过临界值的方法给出了云存储中副本数目的确定方式。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向QoS的云存储数据副本存储方法，其特征在于，包括以下步骤：

步骤1，将不同类别的数据的元数据以循环队列的形式存储在一致性哈希表中，同时为所述元数据分配至少一个副本数据并存储在云存储系统中；

步骤2，根据目标数据的IO请求到达强度λ和服务质量QoS需求，得到系统稳定状态下，副本个数n的下限值n′；

步骤3，根据服务质量QoS需求和系统资源，确定副本个数n的上限值n*；

步骤4，根据所述副本个数n的下限值n′和上限值n*，确定云存储系统中目标数据的副本个数n；

其中，在步骤1和步骤2之间还包括建立关于系统服务质量QoS、IO请求到达强度以及数据副本数目n的数学模型：

假设，系统中对于目标数据有n个副本；用户对目标数据的IO请求按泊松流到达，到达强度为λ；存储节点服务时间为负指数分布，平均服务率为μ，整个系统的平均服务率为nμ；这时，系统中的IO请求队列是一个M/M/k(H/w/v)队列；

根据状态转移生灭过程及系统状态平衡方程，建立IO请求平均响应时间W_q和平均完成时间W_s与IO请求到达强度λ和数据副本数目n的关系函数：

其中，P₀为状态0时的客户端IO请求概率，

表示系统配置1个副本时的IO请求到达概率，

表示系统配置n个副本时的IO请求到达概率，L_q为队列中IO请求的平均数，L_s系统中所有IO请求的平均数；

所述步骤3，包括：

建立系统IO请求与系统资源的数学模型：

f(n)＝mn+bL_s

其中，f(n)为系统中IO请求所消耗的资源，m为每个IO请求的内存耗费，b为每个IO请求的网络带宽消耗，L_s为系统中所有IO请求的平均数；

利用边界值分析，得到令系统资源f(n)取最小值的最大数据副本个数n*。

2.根据权利要求1所述一种面向QoS的云存储数据副本存储方法，其特征在于，每个所述副本数据以文件为单位存储在云存储系统中的一个存储节点中。

3.根据权利要求1所述一种面向QoS的云存储数据副本存储方法，其特征在于，所述步骤2包括：获取用户IO请求的到达强度λ，根据所述的IO请求平均响应时间W_q和平均完成时间W_s与IO请求到达强度λ和副本数目n的关系函数，计算令系统的IO请求平均响应时间W_q最小的数据副本个数n的最小值n’。

4.根据权利要求1所述一种面向QoS的云存储数据副本存储方法，其特征在于，该方法还包括：采用脏数据预存的数据一致性方法减小数据迁移代价。

5.根据权利要求4所述一种面向QoS的云存储数据副本存储方法，其特征在于，所述脏数据预存的数据一致性方法包括：

根据所述元数据的一致性哈希表，按照副本个数将所述元数据进行分组，建立多个Utime队列，每个所述Utime队列中存储副本个数相同的元数据；

所述Utime队列中的元数据按照IO请求的时间顺序进行排序，最近一次收到IO请求时间距离当前时间最近的元数据位于所述Utime队列的队首，用于记录副本数据的新旧程度；当有写入请求到达时，则将对应的元数据移动至队首；

所述Utime队列还包含一个SYN指针，所述SYN指针指向Utime队列中的一个元数据，所述Utime队列中所述SYN指针指向的元数据之下的元数据为已完成写回操作的元数据；每完成一个元数据的写回，SYN指针上移一位直至达到Utime队列顶部。

Images