CN109039755B - 一种对象存储服务的带宽控制方法和装置 - Google Patents

Abstract

本发明实施例公开了一种对象存储服务的带宽控制方法和装置。该方法包括：对划分为多个数据段的对象存储的大文件，先根据该用户对应的用户带宽上限和第一数据段的数据流量，计算服务第一数据段的理论耗时；再记录服务第一数据段的实际耗时；若理论耗时超过实际耗时，则，在第一数据段的服务结束后，控制将服务挂起预设时间后再开始服务下一个数据段。这样，避免了由于对象存储系统中带宽资源有限但是用户需求的带宽较大导致的带宽抢占问题，以使得对象存储服务可以严格遵守带宽控制规律，从而能够缓解甚至避免出现带宽资源的抢占事件，保障了对象存储系统可以提供响应速度较快、性能较优的服务。

Description

一种对象存储服务的带宽控制方法和装置

技术领域

本发明涉及数据存储技术领域，特别是涉及一种对象存储服务的带宽控制方法和装置。

背景技术

随着互联网的发展，互联网数据量(即，非结构化数据)越来越多，产生的速度也越来越快。为了满足对例如互联网数据量的非结构化数据的存储，对象存储应运而生。对象存储，是一种新的网络存储架构，同时兼具存储区域网络(Storage Area Network，简称：SAN)的高速直接访问磁盘的特点，以及网络附属存储(Network Attached Storage，简称：NAS)的分布式共享的特点，具有较广的应用前景与应用价值。

该对象存储作为一种新兴的存储方式，适用于存储图片视频等非结构化数据，而且，该对象存储系统也具有块存储的高速与文件存储利于共享的特点。但是，对于该对象存储系统，可以创建并同时服务多个用户，那么，由于对象存储系统的总带宽资源有限，多个用户即存在抢占该对象存储系统的带宽资源的问题。

目前，亟待提出一种对对象存储系统的带宽的限制机制，以解决用户抢占对象存储系统的带宽资源，导致响应速度变慢，存储服务性能变差等问题。

发明内容

本发明所要解决的技术问题是，提供一种对象存储服务的带宽控制方法和装置，以使得对象存储服务可以严格遵守带宽控制规律，从而能够缓解甚至避免出现带宽资源的抢占事件，保障了对象存储系统可以提供响应速度较快、性能较优的服务。

第一方面，提供了一种对象存储服务的带宽控制方法，包括：

根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；

记录服务所述第一数据段的实际耗时；

若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段；

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段。

可选地，所述根据对象存储服务对应的用户带宽上限和第一数据段的数据流量计算服务所述第一数据段的理论耗时，包括：

用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。

可选地，所述预设时间为所述实际耗时和所述理论耗时的差值。

可选地，该方法还包括：

若所述理论耗时未超过所述实际耗时，则，在所述第一数据段的服务结束后，控制即刻开始服务所述第二数据段。

可选地，所述对象存储服务的各用户对应的用户带宽上限之和，小于等于所述对象存储服务的总带宽。

第二方面，还提供了一种对象存储服务的带宽控制装置，包括：

计算单元，用于根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；

记录单元，用于记录服务所述第一数据段的实际耗时；

第一控制单元，用于若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段；

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段。

可选地，所述计算单元，具体用于：

用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。

可选地，所述预设时间为所述实际耗时和所述理论耗时的差值。

可选地，该装置还包括：

第二控制单元，用于若所述理论耗时未超过所述实际耗时，则，在所述第一数据段的服务结束后，控制即刻开始服务第二数据段。

可选地，所述对象存储服务的各用户对应的用户带宽上限之和，小于等于所述对象存储服务的总带宽。

在本发明实施例中，可以将对象存储服务的大文件划分为不同的数据段，其中包括第一数据段和第二数据段这两个相邻的数据段，此时，对于某个请求服务的用户而言，可以先根据该用户对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；再记录服务所述第一数据段的实际耗时；若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务下一个数据段。这样，避免了由于对象存储系统中带宽资源有限但是用户需求的带宽较大导致的带宽抢占问题，以使得对象存储服务可以严格遵守带宽控制规律，从而能够缓解甚至避免出现带宽资源的抢占事件，保障了对象存储系统可以提供响应速度较快、性能较优的服务。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种对象存储服务的带宽控制方法的流程示意图；

图2为本发明实施例提供的一种对象存储服务的带宽控制方法的一示例的流程示意图；

图3为本发明实施例提供的一种对象存储服务的带宽控制装置的结构示意图。

具体实施方式

经过发明人的研究发现，对象存储系统中可以创建多个用户，每个用户具有自己的用户ID和秘钥，客户端通过用户ID和秘钥来访问对象存储系统中的数据。这样，当多个用户同时向对象存储网关发送请求时，不同用户请求将会产生带宽竞争，导致某些客户端响应较慢。

为了限制每个用户占用的服务带宽(即，限制每个用户访问或者下载对象存储内数据时，单位时间内产生的数据流量)，可以对用户待服务的大文件，先进行数据分段，即，为文件设置标记点将大文件进行分段，每段的大小由系统设定，在不拆分该大文件的同时将其虚拟的分成若干段；再对分段后的数据进行逐个服务，即，在服务过程中，单次连续服务一段的数据量，一段服务完成后再开始服务另外一段的数据量。

但是，对每个请求服务的用户通过数据分段的方式进行服务带宽的限制，仍然可能出现服务(例如下载)某个数据段时使用的带宽超过该分布式对象存储系统的服务带宽能力，不利于提高该分布式对象存储系统对多个用户提供优质、快速的服务。

基于此，本发明实施例提供了一种对象存储服务的带宽控制方法，可以通过将要服务，(例如：下载)的文件进行数据分段，在服务过程中，采用数据分段的方式进行服务，即每次客户端获取一个数据段的数据量，通过多次逐个获取各个数据段地数据，最后组合成所要服务的大文件；同时，为每个用户设定带宽上限，动态的按照两个相邻数据段之间的服务策略控制相邻数据段之间的服务，即，根据服务当前数据段的带宽状况，控制在两个相邻数据段之间是否需要等待时间，整体上使带宽控制在设定范围内。

下面结合附图，通过实施例来详细说明本发明实施例中一种对象存储服务的带宽控制方法和装置的具体实现方式。

参见图1，示出了本发明实施例提供的一种对象存储服务的带宽控制方法。该方法例如可以包括：

步骤101，根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时。

可以理解的是，用户带宽上限，是指在分布式对象存储系统中，为每个进行对象存储服务的用户分别创建并分配的使用带宽的最大允许值，该用户带宽上限可以记录在每个用户对应的属性列表中。例如：设定用户u1的带宽上限为N(MB/s)，将“带宽上限：N(MB/s)”保存在u1的属性列表L1中；设定用户u2的带宽上限为M(MB/s)，将“带宽上限：M(MB/s)”保存在u2的属性列表L2中。其中，带宽的单位为单位时间内产生的数据流量，具体可以是(MB/s)，即，每秒产生多少兆字节的数据流量。

可以理解的是，第一数据段，是指对象存储系统所服务的大文件中当前正在服务的数据段。那么，第一数据段的数据流量，可以在对该大文件进行数据分段的时候确定的。作为一种示例，可以根据预设的分段规则对大文件进行分段。例如，该分段规则为平均分段，那么，可以对该大文件进行平均分段，每一数据段的数据流量相同，此时，第一数据段的数据流量可以为：大文件总的数据流量除以数据段的数量；再例如，该分段规则为随机分段，那么，可以对该大文件进行随机分段，每一数据段的数据流量可以相同也可以不同，此时，需要分别记录各个数据段的数据流量。

具体实现时，首先，可以从用户对应的属性列表中获取对应的用户带宽上限，并且，确定该第一数据段的数据流量；然后，基于该用户带宽上限和该第一数据段的数据流量，计算服务该第一数据段的理论耗时。

在一些可能的实现方式中，步骤101中计算服务该第一数据段的理论耗时的方法，具体可以是：用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。例如，假设第一数据段的数据流量为S1(MB)，该用户带宽上限为N(MB/s)，那么，第一数据段的理论耗时T1＝S1/N。

步骤102，记录服务所述第一数据段的实际耗时。

可以理解的是，服务该第一数据段的实际耗时，是指从该次服务该第一数据段的起始时刻，到对该第一数据段服务的结束时刻之间，实际服务所经过的时间段。

具体实现时，可以在开始服务该第一数据段时，触发计时器开始计时，到结束对该第一数据的服务时，触发结束该计数器的计时，此时，利用结束计时时该计时器的读数减去开始计时时该计数器的读数，得到服务该第一数据段的实际耗时。

例如：在开始服务该第一数据段时，触发计时器从t1＝0开始计时，到结束对该第一数据的服务时，触发结束该计数器的计时，并读取该计数器所记录的数据t2，那么，服务该第一数据段的实际耗时T2＝t2-t1＝t2。

步骤103，若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段。

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段。

可以理解的是，当执行完步骤101和步骤102之后，可以判断该步骤101所得的理论耗时和步骤102所得的实际耗时的大小关系，如果该理论耗时超过实际耗时，则，表示服务该第一数据段所占用的实际带宽已经超过了设置的带宽上限，那么，可以在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务下一个数据段——第二数据段。

作为一个示例，控制挂起该服务请求的预设时间可以是：所述理论耗时和所述实际耗时的差值。即，当实际耗时T2≤理论耗时T1，可以确定预设时间T＝(T1-T2)，即，在t2时刻结束了对第一数据段的服务，然后停止服务该大文件，经过预设时间T之后，再开始服务该第一数据段之后的下一个数据段——第二数据段。可以理解的是，预设时间也可以按照其他参数计算的挂起时间，还可以是提前预设的固定的挂起时间，在此不做限定。

具体实现时，当执行完步骤101和步骤102之后，判断该步骤101所得的理论耗时和步骤102所得的实际耗时的大小关系，确定理论耗时未超过所述实际耗时，则，表示服务该第一数据段所占用的实际带宽在设置的带宽上限之内，那么，无需挂起该服务请求进行等待，可以在所述第一数据段的服务结束后，控制即刻开始服务下一个数据段——第二数据段。

需要说明的是，在对第二数据段以及之后的每个数据段服务时，均可以采用本发明实施例所提供的控制方法，去控制当前数据段服务完成之后到下一数据段开始服务之前，是否需要进行挂起等待。

作为一个实例，为了使本发明实施例提供的方法更加清楚，下面结合图2对一个按照顺序仅包括第一数据段、第二数据段和第三数据段的大文件，采用本发明实施例提供的控制方法进行服务的具体过程进行描述。如图2所示，为该示例对应的控制方法的流程示意图，该方法例如可以包括：

S1，获取用户带宽上限和第一数据段的数据流量；

S2，计算第一理论耗时T1；

S3，记录第一实际耗时T2；

S4，判断T1是否超过T2，如果是，则执行S5，否则，分别执行S6和S8；

S5，挂起(T1-T2)时间；

S6，获取第二数据段的数据流量；

S7，计算第二理论耗时T3；

S8，记录第二实际耗时T4；

S9，判断T3是否超过T4，如果是，则执行S10，否则，执行S11；

S10，挂起(T3-T4)时间；

S11，执行对第三数据段的服务。

如此，可以利用本发明实施例所提供的对象存储服务的带宽控制方法，对对象存储服务可以严格的按照带宽控制规律进行服务控制，避免了由于对象存储系统中带宽资源有限但是用户需求的带宽较大导致的带宽抢占问题，从而能够缓解甚至避免出现带宽资源的抢占事件，保障了对象存储系统可以提供响应速度较快、性能较优的服务。

此外，需要说明的是，该分布式对象存储中，用户是通过客户端发送的的服务请求信息请求对大文件的服务的，该服务请求信息中可以包含该用户的公钥与私钥(即，对象存储用户访问系统的凭证)，系统根据秘钥信息在系统的用户列表中查找到对应的用户，从而可以获取该用户的带宽上限信息。

需要说明的是，当多个用户同时向分布式对象存储系统发送服务请求信息时，该系统处理每个用户的服务请求都是独立的，即独立计算不同服务请求下服务每段数据段的耗时，用户之间互不影响。但是，为了确保同一时段访问的总带宽不超过该分布式对象存储系统所能提供的最大带宽服务能力，所述对象存储服务的各用户对应的用户带宽上限之和，可以小于等于所述对象存储服务的总带宽。

综上所述，本发明提供了一种在分布式对象存储下的服务带宽控制策略，该方法是从服务端的角度上，针对不同的用户进行带宽的限制，不仅提高了对象存储服务的带宽可控性，为不同用户针对性的设定不同的带宽上限，而且比从客户端设计带宽限制更加可靠(由于从客户端设计带宽限制可能被用户自行篡改)。

相应的，本发明实施例还提供了一种对象存储服务的带宽控制装置，参见图3，该装置具体可以包括：

计算单元301，用于根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；

记录单元302，用于记录服务所述第一数据段的实际耗时；

第一控制单元303，用于若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段；

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段。

可选地，所述计算单元301，具体用于：

用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。

可选地，所述预设时间为所述理论耗时和所述实际耗时的差值。

可选地，该装置还包括：

第二控制单元，用于若所述理论耗时未超过所述实际耗时，则，在所述第一数据段的服务结束后，控制即刻开始服务所述第二数据段。

可选地，所述对象存储服务的各用户对应的用户带宽上限之和，小于等于所述对象存储服务的总带宽。

上述描述为一种对象存储服务的带宽控制装置的相关描述，其中，具体实现方式以及达到的效果，可以参见图1所示的一种对象存储服务的带宽控制方法实施例的描述，这里不再赘述。

本发明实施例中提到的“第一数据段”、“第一实际耗时”等名称中的“第一”只是用来做名字标识，并不代表顺序上的第一。该规则同样适用于“第二”等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法和装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的优选实施方式，并非用于限定本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种对象存储服务的带宽控制方法，其特征在于，包括：

根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；

记录服务所述第一数据段的实际耗时；

若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段；

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段；

若所述理论耗时未超过所述实际耗时，则，在所述第一数据段的服务结束后，控制即刻开始服务所述第二数据段。

2.根据权利要求1所述的方法，其特征在于，所述根据对象存储服务对应的用户带宽上限和第一数据段的数据流量计算服务所述第一数据段的理论耗时，包括：

用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。

3.根据权利要求1所述的方法，其特征在于，所述预设时间为所述实际耗时和所述理论耗时的差值。

4.根据权利要求1～3任意一项所述的方法，其特征在于，

所述对象存储服务的各用户对应的用户带宽上限之和，小于等于所述对象存储服务的总带宽。

5.一种对象存储服务的带宽控制装置，其特征在于，包括：

计算单元，用于根据对象存储服务对应的用户带宽上限和第一数据段的数据流量，计算服务所述第一数据段的理论耗时；

记录单元，用于记录服务所述第一数据段的实际耗时；

第一控制单元，用于若所述理论耗时超过所述实际耗时，则，在所述第一数据段的服务结束后，控制将所述服务挂起预设时间后再开始服务第二数据段；

其中，所述第一数据段和所述第二数据段为所述对象存储服务的大文件中相邻的两个数据段；

第二控制单元，用于若所述理论耗时未超过所述实际耗时，则，在所述第一数据段的服务结束后，控制即刻开始服务所述第二数据段。

6.根据权利要求5所述的装置，其特征在于，所述计算单元，具体用于：

用所述第一数据段的数据流量除以所述用户带宽上限，将所得的商作为所述第一数据段的理论耗时。

7.根据权利要求5所述的装置，其特征在于，所述预设时间为所述实际耗时和所述理论耗时的差值。

8.根据权利要求5～7任意一项所述的装置，其特征在于，

所述对象存储服务的各用户对应的用户带宽上限之和，小于等于所述对象存储服务的总带宽。

Images