CN105827523B - 一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关 - Google Patents

Abstract

本发明提供了一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关，其包括租户请求处理模块及流量管理模块；流量管理模块包括：第二监听模块，第二解析模块、带宽映射表及流量控制模块；其中，该流量控制模块可根据更新后的带宽映射表统计出租户的已分配带宽及未分配带宽，以动态的向租户请求处理模块发送每个租户的带宽分配指令。在本发明中，该虚拟网关可在租户所发起的访问请求所形成的数据流的传输过程中，动态调整每个租户在各个连接上所分配到的带宽，实现了对不同租户之间的带宽资源的有效隔离与动态调整，以实现对带宽资源的充分利用。

Description

一种在云存储环境中对多租户的带宽实现动态调整的虚拟 网关

技术领域

本发明涉及云计算技术领域，尤其涉及一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关。

背景技术

在云计算中，云存储主要为租户提供数据存储服务，租户可在网络接入点进行数据上传、数据下载及管理操作。目前，带宽资源是限制云存储的瓶颈之一，尤其是在多租户同时对某一个主机进行数据上传或者下载操作中，某个状态异常的租户可能会影响到其他租户所执行的在配置带宽环境中所执行的正常操作。

如图1所示的现有技术中的云存储系统架构图。该云存储系统包括反向代理集群10、逻辑处理集群20、元数据存储集群30和数据存储集群40。其中，反向代理集群10负责接收租户所发起的访问请求并进行负载均衡，以将自租户所发起的请求按照一定的分发规则发送到后端的逻辑处理集群20。

逻辑处理集群20中的逻辑服务器201及逻辑服务器202将自反向代理集群10接收的请求进行解析处理后，分别发送至元数据存储集群30和数据存储集群40。逻辑服务器201及逻辑服务器202具有系统资源使用的能力。元数据存储集群30可形成一个或者多个元数据服务器，即元数据服务器301及元数据服务器302；数据存储集群40包括一个或者多个数据服务器401和逻辑服务器402。代理集群10中可形成一个或者多个虚拟网关(gateway)，即图1中的虚拟网关101及虚拟网关102。

所有租户发起的访问请求以及管理员发起的后台操作，均发送到反向代理集群10中的一个或者多个虚拟网关(gateway)，并由反向代理集群10转发至逻辑处理集群20。传统的虚拟网关仅能够实现对不同租户由主机所分配的虚拟IP地址空间进行隔离，但是这种虚拟IP地址的隔离无法实现对每个租户的实时流量进行管控，因此当一个异常租户占用过多网络资源时，会影响到同一个云存储中的其他租户的正常网络访问请求。带宽是云存储系统的重要资源，每个租户所占的带宽直接影响到该租户的服务质量，租户共享同一个云存储服务以及云存储服务提供的存储和带宽。当一个异常租户可能过多占用带宽资源时，会影响使用同一个云存储系统中的其他租户的正常访问。

有鉴于此，有必要对现有技术中的虚拟网关予以改进，以解决上述问题。

发明内容

本发明的目的在于公开一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关，用以实现对不同租户之间的带宽实现有效隔离及动态调整，以提高对带宽资源的充分合理利用。

为实现上述目的，本发明提供了一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关，包括租户请求处理模块及流量管理模块；其中，

所述租户请求处理模块，用于接收租户发起的访问请求并执行解析及转发操作，并受控于流量管理模块；

所述流量管理模块包括：第二监听模块，第二解析模块、带宽映射表及流量控制模块；

第二监听模块，用于接收后台发送的设置租户带宽配额请求；

第二解析模块，对设置租户带宽配额请求进行解析以得到解析数据，并根据解析数据在带宽映射表中为租户配置带宽配额；

带宽映射表，存储租户的租户带宽配额及已使用的带宽，并由所述第二解析模块及流量控制模块通过至少一种逻辑对该带宽映射表共同执行更新配置；

流量控制模块，根据更新后的带宽映射表统计出租户的已分配带宽及未分配带宽，以动态的向租户请求处理模块发送每个租户的带宽分配指令。

作为本发明的进一步改进，解析数据包括由第二监听模块根据后台发送的租户带宽配额请求所解析得到的租户名及租户配额信息。

作为本发明的进一步改进，访问请求包括上传数据的请求、下载数据的请求及无请求体的请求。

作为本发明的进一步改进，流量管理模块以租户请求处理模块在对由租户所发起的访问请求所包含的数据流中的固定大小的数据包执行一次完整处理为周期，并由所述第二解析模块及流量控制模块通过至少一种逻辑对该带宽映射表共同执行更新配置。

作为本发明的进一步改进，数据包的大小为128KB。

作为本发明的进一步改进，逻辑包括：第二解析模块对租户带宽配额进行更新的第一更新逻辑、流量控制模块对已分配带宽进行更新的第二更新逻辑、流量控制模块根据租户名读取租户带宽配额及已分配带宽的读取逻辑。

作为本发明的进一步改进，租户请求处理模块包括：

第一监听模块，用于接收租户发起的访问请求；

第一解析模块，对租户发起的访问请求进行解析；

处理模块，响应解析后的访问请求并受控于流量管理模块。

与现有技术相比，本发明的有益效果是：在本发明中，可在租户所发起的访问请求所形成的数据流在传输过程中，动态调整每个租户在各个连接上所分配到的带宽，可在整体考虑带宽配额有余量的前提下为网速较快的租户动态的分配更高的带宽，同时也能够在带宽配额不足的情况下对各个租户进行带宽的合理分配，从而实现了对不同租户之间的带宽资源的有效隔离与动态调整，以实现对带宽资源的充分利用，改善了租户体验。

附图说明

图1为现有技术中的云存储架构图；

图2为本发明所示出的一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关的模块示意图；

图3为本发明所示出的一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关对多租户流量动态隔离方法的逻辑流程图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1所示，本发明所示出的一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关100(以下简称“虚拟网关100”)可部署在基于开源云计算平台或者非开源云计算平台的反向代理集群10中，并可在反向代理集群10中配置一个或者多个该虚拟网关100，逻辑处理集群20部署在反向代理集群10的后端并与之相通讯。

该虚拟网关100可为服务器上不同虚拟子网络或者虚拟应用，保护内网资源不被非法访问，阻止未经运行和授权的信息向租户输出，并可对不同租户初始化带宽配额并结合租户所在客户端的网路环境，对不同租户的带宽实现带宽资源的有效隔离与动态调整，以起到将带宽资源得到充分利用并改善了租户体验的目的。

在本实施方式所示出的该的虚拟网关100可以看作是能提供分组过滤和访问控制等安全防护功能的安全虚拟机，它是物理安全网关的虚拟化实现，可以是防火墙、入侵防御系统(Intrusion Prevention System，IPS)、统一威胁管理系统(Unified ThreatManagement，UTM)及防病毒虚拟网关。

虚拟网关开发为支持开放虚拟机格式(OVF))标准接口的虚拟器件，OVF是用于封装和分发在虚拟平台上运行的虚拟器件的开放标准，采用该标准开发的虚拟网关不再需要绑定到任何特定的管理程序或处理器架构，经过简单的转换即可支持不同的虚拟化平台。上述的待保护网络为处于同一个VMM上的由不同的虚拟机构成的网络，这些网络包括一个虚拟机或者多个虚拟机。

如图2所示，在本实施方式中，该虚拟网关100，包括租户请求处理模块50及流量管理模块60。

所述租户请求处理模块50，用于接收租户发起的访问请求并执行解析及转发操作，并受控于流量管理模块60；其中，该租户请求处理模块50包括：第一监听模块501，用于接收租户发起的访问请求；第一解析模块502，对租户发起的访问请求进行解析；处理模块503，响应解析后的访问请求并受控于流量管理模块60。

租户向第一监听模块501发送的访问请求为HTTP请求，该HTTP请求包括上传文件请求、下载文件请求及删除文件请求。其中，上传文件请求的内容为：租户经由该虚拟网关100与逻辑处理集群20连接，以接收数据；下载文件请求的内容为：从后端的逻辑处理集群20中读取文件，并将数据从租户与虚拟网关100所建立的连接时被租户的客户端所获取；删除文件请求的内容为：将租户请求转发给位于后端的逻辑处理集群20，由在元数据存储集群30和/或数据存储集群40中执行具体数据或者文件的删除操作。

需要说明的是，在本说明书中，如无特殊说明，“文件”与“数据”具有相同或者等同含义。

在本实施方式中，该流量管理模块60包括：第二监听模块601，第二解析模块602、带宽映射表603及流量控制模块604。

第二监听模块601，用于接收后台发送的设置租户带宽配额请求。为租户设置租户带宽配额的请求由位于后台的管理员通过HTTP POST请求的形式进行发送，并被该第二监听模块601所接收。

第二解析模块602，对设置租户带宽配额请求进行解析以得到解析数据，并根据解析数据在带宽映射表603中为租户配置租户带宽配额。具体的，该第二解析模块602所执行“解析”具体为：位于后台的管理员发送的后台操作请求通过HTTP形式的后台操作发送到虚拟网关100，并在请求的Body(请求体)中包含Json格式的待设置租户带宽配额，相关代码如下所示：

{

“Tenant”:${TenantName},

“RateLimit”:${RateLimit}

}

虚拟网关100中第二解析模块602只需要解析请求的Body中的信息，即可得到新设置的租户带宽配额。该租户带宽配额是后台的管理员对不同租户的带宽所执行的初始化设置过程中所形成的针对不同租户所设定的一个租户带宽配额。

带宽映射表603，存储租户的租户带宽配额及租户已使用的带宽，并由所述第二解析模块602及流量控制模块604通过至少一种逻辑对该带宽映射表603共同执行更新配置。带宽映射表603中所记录的每一条数据包括三个字段：1)租户名；2)带宽配额；3)已用带宽。

流量控制模块604，根据更新后的带宽映射表603统计出租户的已分配带宽及未分配带宽，以动态的向租户请求处理模块50发送每个租户的带宽分配指令。

具体的，该逻辑包括：第二解析模块602对租户的租户带宽配额进行更新的第一更新逻辑、流量控制模块604对已分配带宽进行更新的第二更新逻辑、流量控制模块604根据租户名读取租户带宽配额及已分配带宽的读取逻辑。

流量管理模块60以租户请求处理模块50在对由租户所发起的访问请求所包含的数据流中的固定大小的数据包执行一次完整处理为周期，并由所述第二解析模块602及流量控制模块604通过至少一种逻辑对该带宽映射表603共同执行更新配置。如图2所示，图2中的流量管理模块60中示出的共同执行更新配置前后两个阶段中该带宽映射表603的变化状态。

在图2中，管理员通过HTTP POST请求方式发起后台操作，经过第二监听模块601接收设置租户带宽配额请求，第二解析模块602接收该租户带宽配额请求，并对该租户带宽配额请求进行解析，以得到解析数据。在本本实施方式中，设置租户A、租户B和租户C的租户带宽配额均为100M。

在系统运行的过程中，由流量控制模块604控制为租户的各个客户端(client)分配连接带宽，并在带宽映射表603中存储各个租户的已分配带宽的实时数据。假设在某个时刻，租户A、租户B和租户C的已分配带宽分别为80M，90M和102M。在系统继续运行过程中，流量控制模块604继续控制并对各个租户的已分配带宽实现动态调整。其中，租户的已分配带宽有以下三种租户已用带宽的动态调整模式：

第一种动态调整模式：租户A的某个客户端处理完成，由流量控制模块604回收之前为该租户分配的带宽5M，因此租户A的已分配带宽从80M变为75M；

第二种动态调整模式：租户B有新的客户端接入并开始进行上传或下载操作，由流量控制模块604为新客户端的连接分配带宽5M，因此租户B的已分配带宽从90M变为95M；

第三种动态调整模式：租户C的已分配带宽(102M)已经超过管理员为其设置的租户带宽配额(100M)的上限，因此流量控制模块604会降低租户C所对应客户端的连接带宽，因此租户C的已分配带宽从102M变为100M。

需要说明的是，以上只是对租户已分配带宽的基本变化模式的实例性说明，而在实际过程中，由于不断的有客户端请求进入处理或处理完成，流量控制模块604所包含的逻辑会动态的执行上述三种基本动态调整模式，以实现对不同租户之间的带宽资源的有效隔离与动态调整，从而实现了对带宽资源的充分及合理利用或者调配。

接下来，对该虚拟网关100如何实现对不同租户的已用带宽进行实时动态调整的具体过程进行阐述。

参考附图3的右侧部分说明：

开始。

步骤p1-1：管理员以HTTP POST请求形式向虚拟网关100中的第二监听模块601发送设置租户带宽配额的请求，该HTTP POST请求中需要包含“租户信息”和“租户带宽配额”；

步骤p1-2：管理请求第二监听模块602接收到设置租户带宽配额请求；

步骤p1-3：管理请求第二解析模块602解析设置租户带宽配额请求，得到请求中所包含的“租户信息”和“租户带宽配额”。

步骤p1-4：第二解析模块602根据“租户信息”和“租户带宽配额”更新带宽映射表603(如果该已经设置过租户带宽配额，则用新值覆盖旧值)，完成设置。

结束。

参考附图3的左侧部分说明：

开始。

步骤p2-1：租户向虚拟网关100中的第一监听模块501发送HTTP请求，该HTTP请求需要包含租户信息(属于哪个租户)，需要对目标资源执行何种形式的操作(上传操作或者下载操作或者删除操作等等)。

步骤p2-2：第一监听模块501接收到租户从客户端所发出的访问请求。

步骤p2-3：第一解析模块502开始解析租户所发起的访问请求，要解析出以下信息：

判断这是属于哪个租户的请求，租户对哪个资源执行什么操作，即判断具体的请求类型：上传文件操作、下载文件操作或者删除文件操作等。

步骤p2-4：由第一解析模块502判断该租户向虚拟网关100所发起的访问请求的具体类型，并根据访问请求的具体类型分情况处理：如果是不需要进行数据传输的请求，如删除文件等，则由请求处理模块503直接处理请求(可能需要将访问请求转发给后端的逻辑服务集群20)，并完成处理，参步骤p2-5；否则，跳转执行步骤p2-6。

步骤p2-6：处理模块503处理第一个128KB的数据，并记录处理总时间Duration。如果处理的文件有可能不到128KB，则以实际处理的文件大小的时间为Duration。具体来说，对于上传文件操作而言，Duration代表虚拟网关100从读取客户端发起的请求中的请求体(body)的第一个字节开始，到读取完第128KB字节所需的总时间；对于下载文件操作而言，Duration代表虚拟网关100向客户端发送响应，从发送请求体(body)第一个字节开始，到发送完128KB字节所需的总时间。采用128KB字节的数据规格可以保证大文件及小文件可以以同样的优先级来占用带宽资源。

如果是上传文件的访问请求，则从租户和虚拟网关100的连接上接收128KB的数据；如果是下载文件的访问请求，则从后端的逻辑服务集群20下载，并向通过租户和虚拟网关100的连接向租户发送128KB字节的数据。

步骤p2-7：判断是否已经完成整个请求的处理：对于上传文件，判断租户是否向虚拟网关100发送完所有的数据；对于下载文件，判断虚拟网关100是否已经向租户发送完所有的数据。如果没有更多的数据，则完成请求的处理；否则，开始执行更新带宽控制配置。

在完成第一个128KB字节的数据传输后，如果还有数据需要传输，则开始第一次设置连接带宽(参步骤p1-5、步骤p1-6及步骤p1-7所示出的一个循环)。

其中，在本实施方式中，“一个连接的带宽设置”主要分为两次：在128KB数据传输完成后第一次设置，这是一次非常动态的过程，即根据128KB的数据的传输速率，估计租户到虚拟网关100之间的网络状况，在根据(租户剩余带宽，网络状况)这两个因素共同决定为租户分配的注释带宽：目的是在不超过租户带宽配额的前提下，只要租户的网络环境良好，就尽量为其分配更多的带宽资源。需要说明的是，在本实施方式中，每次执行一次128KB字节的数据传输之后，都需要对每个租户的带宽执行动态更新配置的操作，这种更新配置操作时基于前一个128KB字节数据的连接带宽而定的。

设租户的总带宽配额为RateLimit，租户已用的带宽为RateAssigned，则可以得到租户剩余未分配的带宽RateRemained＝RateLimit-RateAssigned。

通过第一个128KB字节数据处理总时间Duration，可以得到该连接的数据传输速率Rate＝128KB/Duration，通过Rate可以估计这条连接的网络状况。

若RateRemained>0，则设置该连接的限制带宽RateConnectionLimit为2*Rate，即由于租户还有未分配的剩余带宽，则为该连接分配尽量充足的带宽。若RateRemained<＝0，则设置该连接的限制带宽RateConnectionLimit为Rate，即由于该租户的剩余带宽不足，只按照该连接的实际流量分配带宽，并在之后的若干个128KB数据处理之后进行周期性动态调整。

更新带宽映射表，修改租户的已分配带宽信息。

接着处理之后的一个128KB大小的数据，并在每次处理128KB字节的数据之后，重新为特定租户已经分配的带宽动态的分配分配带宽，具体的规则是：

计算上一个128KB大小的数据传输速率Rate＝128KB/Duration。

如果剩余带宽RateRemained>0并且Rate>0.9*RateConnectionLimit，说明为该连接分配的带宽充分利用，则为该连接分配更多的带宽。当连接带宽利用充分且租户带宽有余量时，可为其分配更多的带宽，因此设置RateConnectionLimit＝RateConnectionLimit*1.1。此时，不适合选择不超过1.1的系数的原因是，已经通过第一个128KB字节的数据计算出一个比较合适的带宽连接，如果将该系数取值过大，则会造成带宽的浪费。

如果剩余带宽RateRemained>0并且Rate<0.9*RateConnectionLimit，则说明该连接的带宽未充分利用，但因该租户还有剩余带宽，故不调整该链接的带宽，设置RateConnectionLimit＝RateConnectionLimit。

如果剩余带宽RateRemained<0并且Rate>0.95*RateConnectionLimit，说明该连接已经充分利用为其分配的带宽。然而由于该租户的剩余可用带宽不足，故需要减少为连接分配的带宽，

并设置RateConnectionLimit＝RateConnectionLimit*0.9。

如果剩余带宽RateRemained<0并且Rate<0.7*RateConnectionLimit，则说明该连接为充分利用为其分配的带宽，实际浪费了部分带宽，故需要减少为连接分配的带宽，设置RateConnectionLimit＝RateConnectionLimit*0.7。

当连接非常充分利用且租户所分配的带宽超过配额时，需要减少为该租户分配的流量。此时，有两种选择，第一：尽量回收利用不充分的租户所分配的带宽，因此将这些利用不充分的租户所分配的带宽的系数RateConnectionLimit选定为0.7；第二：回收部分已经充分利用的租户所分配的带宽，因此将RateConnectionLimit选定为0.9。

更新带宽映射表，修改租户的已分配带宽信息。

步骤p2-10：处理模块503完成租户的访问请求处理。

步骤p2-11：租户请求处理模块判断是否需要回收该连接上的带宽，对于非上传下载请求以及传输数据量不足128KB的请求，实际上不需要回收连接上的带宽，而对于其他请求，均需要回收带宽。

步骤p1-8：流量控制模块604更新租户带宽使用量信息，并通过流量控制模块604与第二解析模块602通过至少一种逻辑对该带宽映射表603共同执行更新配置，回收为该连接分配的带宽。

结束。

在本实施方式中，通过本发明所示出的一种虚拟网关，可以在数据传输的过程中不断地调整为各个连接上分配的带宽，既考虑到了在带宽配额有剩余的情况下能够为网速快的租户的客户端分配尽可能多的带宽，又考虑到了在带宽配额不足的情况下合理分配带宽，照顾到所有的客户端。最终目标是在不超过该租户带宽配额的前提下，充分考虑租户的各个客户端的网络差异，动态调整为各个客户端分配的带宽，最终达到带宽利用最优化。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关(100)，其特征在于，包括租户请求处理模块(50)及流量管理模块(60)；其中，

所述租户请求处理模块(50)，用于接收租户发起的访问请求并执行解析及转发操作，并受控于流量管理模块(60)；

所述流量管理模块(60)包括：第二监听模块(601)，第二解析模块(602)、带宽映射表(603)及流量控制模块(604)；

第二监听模块(601)，用于接收后台发送的设置租户带宽配额请求；

第二解析模块(602)，对设置租户带宽配额请求进行解析以得到解析数据，并根据解析数据在带宽映射表(603)中为租户配置带宽配额；

带宽映射表(603)，存储租户的租户带宽配额及已使用的带宽，并由所述第二解析模块(602)及流量控制模块(604)通过至少一种逻辑对该带宽映射表(603)共同执行更新配置；

流量控制模块(604)，根据更新后的带宽映射表(603)统计出租户的已分配带宽及未分配带宽，以动态的向租户请求处理模块(50)发送每个租户的带宽分配指令；

所述访问请求包括上传数据的请求、下载数据的请求及无请求体的请求。

2.根据权利要求1所述的虚拟网关，其特征在于，所述解析数据包括由第二监听模块(601)根据后台发送的租户带宽配额请求所解析得到的租户名及租户配额信息。

3.根据权利要求2所述的虚拟网关，其特征在于，所述流量管理模块(60)以租户请求处理模块(50)在对由租户所发起的访问请求所包含的数据流中的固定大小的数据包执行一次完整处理为周期，并由所述第二解析模块(602)及流量控制模块(604)通过至少一种逻辑对该带宽映射表(603)共同执行更新配置。

4.根据权利要求3所述的虚拟网关，其特征在于，所述数据包的大小为128KB。

5.根据权利要求2所述的虚拟网关，其特征在于，所述逻辑包括：第二解析模块(602)对租户带宽配额进行更新的第一更新逻辑、流量控制模块(604)对已分配带宽进行更新的第二更新逻辑、流量控制模块(604)根据租户名读取租户带宽配额及已分配带宽的读取逻辑。

6.根据权利要求1所述的虚拟网关，其特征在于，所述租户请求处理模块(50)包括：

第一监听模块(501)，用于接收租户发起的访问请求；

第一解析模块(502)，对租户发起的访问请求进行解析；

处理模块(503)，响应解析后的访问请求并受控于流量管理模块(60)。