CN109451008B

CN109451008B - 一种云平台下多租户的带宽保障框架和成本优化方法

Info

Publication number: CN109451008B
Application number: CN201811285579.5A
Authority: CN
Inventors: 柴云鹏; 周芳; 孙殿森; 王传雯; 鲍宁
Original assignee: Renmin University of China
Current assignee: Renmin University of China
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2021-05-28
Anticipated expiration: 2038-10-31
Also published as: CN109451008A

Abstract

本发明涉及一种云平台下多租户的带宽保障框架和成本优化方法，其步骤：由预先设置的缓存框架结构中的租户调度器tenant scheduler根据用户历史访问特征，决定用户组合方案；对读写两种操作分开管理用户缓存，实现最优缓存空间分配，并基于用户从底层存储获得带宽与更新缓存的带宽的等价关系控制用户得到的实际带宽，将用户得到的带宽上限严格限制在目标值以下；将存储系统的成本分为分布式存储的成本和SSD缓存的成本，通过调整用户缓存大小，使得用户的缓存成本与存储层成本总和最低，最小化系统成本。本发明合理分配用户缓存空间大小以最大化数据访问局部性能够带来的收益，降低系统内部成本。

Description

一种云平台下多租户的带宽保障框架和成本优化方法

技术领域

本发明涉及一种云存储技术领域，特别是关于一种云平台下多租户的带宽保障框架和成本优化方法。

背景技术

云计算：云计算是基于互联网的相关服务的增加、使用和交付模式。这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池，用户只需投入少量的管理工作就可以快速的使用这些资源。云计算的出现改变了人们对固有服务器的印象，降低了服务器的搭建和维护成本，使得用户可以按使用量进行付费。

资源隔离：资源隔离是指对用户使用的CPU、内存、网络、IO带宽等在内的系统资源进行统计、记录和控制的技术。这项技术使得云计算场景下同一个物理节点的多个用户不会互相干扰，避免了一个用户过度占用其他用户资源的情况。同时也便于服务提供者根据用户对资源的使用情况进行计费。目前使用较为广泛的资源隔离手段是linux内核提供的cgroup技术，目前流行的Docker、Pouch等容器技术都是建立在cgroup的资源隔离基础之上的。

容器：容器与虚拟机类似，是一个相对独立的运行环境，对应用程序及其关联性进行隔离，从而构建起一套能够随处运行的自容纳单元，但是不像虚拟机那样彻底。容器不需要安装主机操作系统，直接将容器层(如LXC)安装在主机操作系统之上，安装完容器层之后就可以分配实例了。总体而言，可以看作是更轻量级的虚拟机技术。

SLA:即Service Level Agreement，服务等级协议，其中定义了服务类型、服务质量和用户付款等内容。典型的SLA包括分配给用户的最小带宽和带宽极限，最小网络利用性能如99.9％有效工作时间，各类用户的流量优先权，惩罚规定等。按照SLA要求，服务商应当应用多种技术去监控和管理服务器以满足用户需求并产生对应的服务报告。

Cidon等提出了一个基于DRAM的KV缓存系统——Memshare，这个系统能保障各个用户有一个最低限的cache空间，剩下的cache空间用户由所有租户共享。Memshare可以在保证每个用户有一定的命中率保障，同时尽可能提高总命中率。Memshare实际是一种折中的方案，一方面能够保障每个用户有一定的缓存空间，另一方面尽可能提高系统的平均性能(提高平均命中率)。但是Memshare对这两个优化目标都没有任何保障，不能保证每个用户的命中率，对用户的延迟、访问带宽等SLA指标也无法保证；不能保证系统的总命中率，也不是针对最小化系统成本而设计。

Stefanovici等提出了一个软件定义的多租户缓存框架——Moirai，这是一个为用户提供可编程缓存的租户和工作负载感知系统。用户可以根据工作负载特性设置规则以优化缓存性能。Moirai系统主要是提供一种用户可编程的机制，定制缓存管理，但是并没有提出一种方法来保障用户得到的带宽或最小化系统成本。

如图1所示，在云计算场景下，一般都先将资源进行虚拟化，以便进行管理。每个物理节点上一般会有若干个容器(Docker)，每个容器配备一定的资源，然后通过云资源管理平台(如YARN,Kubernetes等)进行分配和管理。对于一个分布式存储系统，每个实例实际都是运行在容器中的。对于分布式存储系统整体来说，上面面临多个租户的访问时，会为每个租户提供一定的SLA保障，例如保障其访问带宽、延迟或尾延迟的指标。

一般而言，分布式存储系统中，由于需要通过高速网络互联、数据多份冗余来保障系统可靠性和数据安全性，因此为用户提供访问带宽的成本较高。如果在每个物理节点中配置多块高速设备作为Docker的缓存层(如图2所示)，则可以充分利用访问的局部性，减少对容器中分布式存储系统的访问。这样分布式存储系统在设计时不需要背负很大的访问带宽压力，因此物理机高速缓存可以降低分布式存储系统的成本，同时能加速数据访问。如果缓存大小和管理方法合适，可以降低系统整体的成本。

但是缓存层的加入会破坏存储系统原有的SLA保障机制，使得用户实际得到的带宽变得不可预期，例如在命中率高的时候得到比SLA更高的带宽，在命中率低的时候又达不到预期带宽。现有的工作无法在这种工作模式下保障用户的带宽。因此本发明提出了一个能保障用户带宽的缓存框架，在增加了缓存层之后可以保障用户获得的SLA指标不变，同时提出一个成本优化模型，通过调节分配给用户的缓存空间，尽可能的降低数据访问带来的系统成本。

发明内容

针对上述问题，本发明的目的是提供一种云平台下多租户的带宽保障框架和成本优化方法，其合理分配用户缓存空间大小以最大化数据访问局部性能够带来的收益，降低系统内部成本。

为实现上述目的，本发明采取以下技术方案：一种云平台下多租户的带宽保障框架和成本优化方法，其包括以下步骤：1)由预先设置的缓存框架结构中的租户调度器tenant scheduler根据用户历史访问特征，决定用户组合方案；2)对读写两种操作分开管理用户缓存，实现最优缓存空间分配，并基于用户从底层存储获得带宽与更新缓存的带宽的等价关系控制用户得到的实际带宽，将用户得到的带宽上限严格限制在目标值以下；3)将存储系统的成本分为分布式存储的成本和SSD缓存的成本，通过调整用户缓存大小，使得用户的缓存成本与存储层成本总和最低，最小化系统成本。

进一步，所述步骤1)中，缓存框架结构是在云存储之上加入一层cache缓存用户的部分数据，并在cache层内设置有租户调度器tenant scheduler、若干控制器throttler和若干高速设备。

进一步，所述缓存框架结构中：租户调度器tenant scheduler用于决定将哪几个容器放置在同一个物理节点，每个物理节点上运行若干个容器，这些容器共享若干高速设备作为缓存；物理节点上针对每个SSD设备运行一个控制器throttler，控制器throttler根据用户实时的访问情况和数据热度，获得用户的HRC曲线，再代入成本模型计算出最优化的缓存空间分配方案，并调整相关用户在这块SSD上获得的缓存空间大小。

进一步，所述步骤2)中，对于用户读操作：先尝试从读cache层中获得数据，如果缓存命中，则直接从SSD缓存中读取数据；如果缓存缺失，则尝试从写cache层或底层存储系统获取数据，并将数据写入读cache层中；如果没有可用空间，则根据用户指定的算法淘汰部分数据；被淘汰的数据直接丢弃不用写回底层存储。

进一步，所述步骤2)中，对于用户的写操作：无论缓存命中或不命中，都将数据写入到写缓存中，如果没有空闲的缓存空间，则根据指定算法淘汰部分缓存中的数据，写入底层存储。

进一步，所述步骤3)中，分布式存储的成本由系统构造和维护的总成本除以系统可以提供的带宽，来计算单位访问带宽的成本。

进一步，所述步骤3)中，SSD缓存的成本分为两个方面，一是SSD正常使用的消耗成本，二是由于SSD设备写入耐久性有限，写入过快时会带来更高的成本消耗；故对用户缓存成本的计算也从SSD正常使用和是否过量写入两个角度进行计算。

进一步，假定SSD缓存的成本是C_SSD，最大写入量为W_SSD，正常使用寿命为L_SSD，那么每次写操作应该支付的成本是P₀＝C_SSD/W_SSD；正常写速度上限Thr₀＝W_SSD/(S_SSD*L_SSD)；3.1)当用户的写入量少于等于正常写速度上限Thr₀，用户只需要支付设备正常使用的消耗成本，这部分成本与用户所占用的缓存大小有关；成本为：capacity_cost_i＝Thr₀*S_i*P₀；其中，capacity_cost_i表示设备正常使用的消耗成本；S_i表示用户i占用的缓存空间大小；3.2)当用户的写入量大于正常写速度上限Thr₀，用户除了支付设备正常使用的消耗成本capacity_cost_i，还应该支付过量写造成的设备损耗成本；3.3)根据上述两个步骤得到SSD缓存成本ssd_cost_w。

进一步，当用户的写入量较大时，假设用户带宽是W，占用的缓存空间为S，这部分的成本应该是是每个单位时间内每个单位容量超过额定值的写入量，乘以占据的空间S，再乘以单次写的代价，得到用户过量写入带来的成本：

式中，P(W,S)表示用户过量写入带来的成本。

进一步，SSD缓存成本ssd_cost_w为：

式中，N表示用户总数；S_i,w表示第i个用户占用的写(w)缓存的空间；P(BW_i,w,S_i,w)表示第i个用户由于过量写带来的惩罚成本；BW_i,w表示用户i的写带宽。

本发明由于采取以上技术方案，其具有以下优点：本发明针对云计算场景下多租户带宽保障问题，设计了一套能对用户带宽进行保障的缓存框架并且提出了成本优化模型，合理分配用户缓存空间大小以最大化数据访问局部性能够带来的收益，降低系统内部成本。

附图说明

图1是现有技术中云计算环境下的分布式存储系统为多租户提供SLA保障示意图；

图2是现有技术中在物理节点中增加面向容器的SSD高速缓存示意图；

图3a是加入缓存层前的SLA；

图3b是加入缓存层后的SLA；

图4是缓存框架结构图；

图5是用户读、写访问的数据流示意图；

图6是SSD成本示意图；

图7是本发明实施例中用户读写示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明提供一种云平台下多租户的带宽保障框架和成本优化方法，其包括以下步骤：

1)由预先设置的缓存框架结构中的租户调度器tenant scheduler根据用户历史访问特征，决定用户组合方案；历史访问特征包括带宽要求、访问局部性、空间要求等；

如图3a～图4所示，缓存框架结构是在云存储之上加入一层cache缓存用户的部分数据，并在cache层内设置有租户调度器tenant scheduler、若干控制器throttler和若干高速设备；

租户调度器tenant scheduler用于决定将哪几个容器放置在同一个物理节点，每个物理节点上运行若干个容器，这些容器共享若干高速设备(如SSD设备)作为缓存；

物理节点上针对每个SSD设备运行一个控制器throttler，控制器throttler根据用户实时的访问情况和数据热度，获得用户的HRC曲线，再代入成本模型计算出最优化的缓存空间分配方案，并相应调整相关用户在这块SSD上获得的缓存空间大小。其中，成本模型为：成本＝ssd_cost+storage_cost；ssd_cost表示SSD缓存成本，storage_cost表示SSD设备成本。

由于用户的数据被放在云存储系统之中，这是一个分布式的存储系统，例如Ceph、HDFS等等。云存储本身对用户提供一个SLA保障，为了降低云存储的访问压力，同时也是充分利用用户数据的局部性，本实施例中在云存储之上加入的cache层对用户而言是和云存储层是一体的，整体对用户提供一个SLA保障。

2)由于用户读写操作访问数据的差异性，对读写两种操作分开管理用户缓存，实现最优缓存空间分配，并基于用户从底层存储获得带宽与更新缓存的带宽的等价关系控制用户得到的实际带宽，将用户得到的带宽上限严格限制在目标值以下；

对于用户读操作：先尝试从读cache层中获得数据，如果缓存命中，则直接从SSD缓存中读取数据；如果缓存缺失，则尝试从写cache层或底层存储系统获取数据，并将数据写入读cache层中；如果没有可用空间，则根据指定算法淘汰部分数据。由于读cache中都是干净的数据块，被淘汰的数据直接丢弃即可，不用写回底层存储。指定算法为用户指定的cache淘汰算法、lru、lfu或其他的非bypass类型的cache淘汰算法。

对于用户的写操作：无论缓存命中或不命中，都将数据写入到写缓存中，如果没有空闲的缓存空间，则根据指定算法淘汰部分缓存中的数据，写入底层存储。

例如，如图5所示，在加入缓存层之后，用户的写操作和读操作如下：

对于用户的写操作：假设用户SLA中指定得到的写带宽是B。根据模型设计，用户所有写操作都必须写入缓存中，对应的带宽是数据流(6)。如果缓存不命中，则触发淘汰行为，将一部分数据写回到云存储上，这部分带宽是(7)。所以用户得到的实际带宽B＝(6)。

对于用户的读操作：假设SLA中指定得到的读带宽是A。如果用户请求的数据被缓存命中，那么从缓存中获得这部分数据，对应的带宽为数据流(5)；如果缓存不命中，则从SSD写缓存中请求最新的数据，这部分数据对应的带宽为(2)；如果SSD写缓存中没有用户请求的数据，那么从分布式存储Cloud Storage中获取数据，这部分数据对应带宽为(1)。所以用户读请求未命中的数据对应的带宽为(3),而(3)＝(1)+(2)。考虑到请求的时间局部性，用户请求不命中的部分应当更新到SSD读缓存，对应的带宽为(4),(4)＝(3)。

由此可知，通过控制用户对SSD Read Cache的读写总带宽，也就是(3)+(5)，可以控制用户得到的实际读带宽A，用户的实际写带宽可以通过限制(6)来实现。通过上述方法，可以将用户得到的带宽上限严格限制在目标值以下，只要用户的访问压力足够，就能保障用户实际带宽稳定在目标值。

3)将存储系统的成本分为分布式存储的成本和SSD缓存的成本，通过调整用户缓存大小，使得用户的缓存成本ssd_cost与存储层成本storage_cost总和最低，最小化系统成本；

其中，分布式存储的成本可以由系统构造和维护的总成本除以系统可以提供的带宽，来计算单位访问带宽的成本。

SSD缓存的成本分为两个方面，一是SSD正常使用的消耗成本，二是由于SSD设备写入耐久性一般比较有限，但写入过快时SSD的寿命会缩短，因此过快写入会带来更高的成本消耗。因此，对用户缓存成本的计算也从SSD正常使用和是否过量写入两个角度进行计算。

如图6所示，假定SSD缓存的成本是C_SSD，最大写入量为W_SSD，正常使用寿命为L_SSD，那么每次写操作应该支付的成本是P₀＝C_SSD/W_SSD。正常写速度上限Thr₀＝W_SSD/(S_SSD*L_SSD)，Thr₀表示每个单位时间内每个单位容量可以写入的字节数。S_SSD表示SSD的容量。

3.1)当用户的写入量少于等于正常写速度上限Thr₀，用户只需要支付设备正常使用的消耗成本。这部分成本与用户所占用的缓存大小有关。成本如下所示，其中S_i表示用户i占用的缓存空间大小：

capacity_cost_i＝Thr₀*S_i*P₀；

其中，capacity_cost_i表示设备正常使用的消耗成本；

3.2)当用户的写入量大于正常写速度上限Thr₀，用户除了支付设备正常使用的消耗成本capacity_cost_i，还应该支付过量写造成的设备损耗成本。

假设用户带宽是W，占用的缓存空间为S，这部分的成本应该是实际带宽超出正常写的部分，也就是每个单位时间内每个单位容量超过额定值的写入量，乘以占据的空间S，再乘以单次写的代价，得到用户过量写入带来的成本：

式中，P(W,S)表示用户过量写入带来的成本。

3.3)根据上述两个步骤得到SSD缓存成本ssd_cost_w为：

用户的读操作与写操作有一点细小的差别，写操作用户得到的带宽即为更新SSD的带宽，读操作用户缺失数据的带宽是更新SSD的带宽，所以用作读缓存的SSD设备成本storage_cost_r为：

式中，W_i,r表示用户i的读带宽；hrc_r表示读命中率与缓存空间大小的函数关系；S_i,r表示第i个用户的读缓存大小；BC_r表示云存储对单位带宽的收费。

用户的云存储层成本计算方法可以根据实际租赁模式进行调整，例如按带宽计费，或者按访问的数据量计费。以访问的数据量进行收费为例，因此用作写缓存的SSD成本为：

实施例：

例如有三个用户A、B、C，用户A读写带宽均要求10M/s，用户B读写带宽均要求20M/s，用户C读写带宽均要求20M/s，如图7所示。

(1)租户调度器决策

首先由租户调度器根据用户历史访问特征，包括带宽要求、访问局部性、空间要求等，决定用户组合方案，例如将用户A和用户B分配到节点1。

(2)配置用户限速方案

在节点1上根据用户的带宽要求对高速设备(如SSD)进行限速配置，每个用户的读写带宽是分别配置的，上限值可以不一样。

(3)控制器throttler根据成本模型计算cache空间最佳分配方案

在用户执行过程中，本发明会根据系统配置创建N个线程模拟不同缓存大小下的数据淘汰行为，从而生成用户的HRC曲线，HRC曲线反应了该用户在不同缓存空间下能达到的请求命中率。根据用户的HRC曲线，结合成本模型，可以合理规划用户的缓存空间大小以降低系统的整体访问成本。

(4)调整用户可用cache大小

根据本发明所提出的成本模型计算出的最优缓存空间分配方案，可以相应的调整用户的缓存空间大小，对于空间被减小的用户来说，按照指定算法(如LRU算法)进行数据淘汰；对于空间被增大的用户来说，只需要相应提高可用空间上限，等待用户新数据充满缓存即可。

上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims

1.一种云平台下多租户的带宽保障框架和成本优化方法，其特征在于包括以下步骤：

1)由预先设置的缓存框架结构中的租户调度器tenant scheduler根据用户历史访问特征，决定用户组合方案；

2)对读写两种操作分开管理用户缓存，实现最优缓存空间分配，并基于用户从底层存储获得带宽与更新缓存的带宽的等价关系控制用户得到的实际带宽，将用户得到的带宽上限严格限制在目标值以下；

3)将存储系统的成本分为分布式存储的成本和SSD缓存的成本，通过调整用户缓存大小，使得用户的缓存成本与存储层成本总和最低，最小化系统成本；

假定SSD缓存的成本是C_SSD，最大写入量为W_SSD，正常使用寿命为L_SSD，那么每次写操作应该支付的成本是P₀＝C_SSD/W_SSD；正常写速度上限Thr₀＝W_SSD/(S_SSD*L_SSD)；

3.1)当用户的写入量少于等于正常写速度上限Thr₀，用户只需要支付设备正常使用的消耗成本，这部分成本与用户所占用的缓存大小有关；成本为：

capacity_cost_i＝Thr₀*S_i*P₀；

其中，capacity_cost_i表示设备正常使用的消耗成本；S_i表示用户i占用的缓存空间大小；

3.2)当用户的写入量大于正常写速度上限Thr₀，用户除了支付设备正常使用的消耗成本capacity_cost_i，还应该支付过量写造成的设备损耗成本；

3.3)根据上述两个步骤得到SSD缓存成本ssd_cost_w；

当用户的写入量较大时，假设用户带宽是W，占用的缓存空间为S，这部分的成本应该是是每个单位时间内每个单位容量超过额定值的写入量，乘以占据的空间S，再乘以单次写的代价，得到用户过量写入带来的成本：

式中，P(W,S)表示用户过量写入带来的成本；

SSD缓存成本ssd_cost_w为：

2.如权利要求1所述方法，其特征在于：所述步骤1)中，缓存框架结构是在云存储之上加入一层cache缓存用户的部分数据，并在cache层内设置有租户调度器tenantscheduler、若干控制器throttler和若干高速设备。

3.如权利要求2所述方法，其特征在于：所述缓存框架结构中：

租户调度器tenant scheduler用于决定将哪几个容器放置在同一个物理节点，每个物理节点上运行若干个容器，这些容器共享若干高速设备作为缓存；

物理节点上针对每个SSD设备运行一个控制器throttler，控制器throttler根据用户实时的访问情况和数据热度，获得用户的HRC曲线，再代入成本模型计算出最优化的缓存空间分配方案，并调整相关用户在这块SSD上获得的缓存空间大小。

4.如权利要求1所述方法，其特征在于：所述步骤2)中，对于用户读操作：先尝试从读cache层中获得数据，如果缓存命中，则直接从SSD缓存中读取数据；如果缓存缺失，则尝试从写cache层或底层存储系统获取数据，并将数据写入读cache层中；如果没有可用空间，则根据用户指定的算法淘汰部分数据；被淘汰的数据直接丢弃不用写回底层存储。

5.如权利要求1或4所述方法，其特征在于：所述步骤2)中，对于用户的写操作：无论缓存命中或不命中，都将数据写入到写缓存中，如果没有空闲的缓存空间，则根据指定算法淘汰部分缓存中的数据，写入底层存储。

6.如权利要求1所述方法，其特征在于：所述步骤3)中，分布式存储的成本由系统构造和维护的总成本除以系统可以提供的带宽，来计算单位访问带宽的成本。

7.如权利要求1或6所述方法，其特征在于：所述步骤3)中，SSD缓存的成本分为两个方面，一是SSD正常使用的消耗成本，二是由于SSD设备写入耐久性有限，写入过快时会带来更高的成本消耗；故对用户缓存成本的计算也从SSD正常使用和是否过量写入两个角度进行计算。