CN108897494A - 块存储系统中数据操作的处理方法以及相关装置 - Google Patents
块存储系统中数据操作的处理方法以及相关装置 Download PDFInfo
- Publication number
- CN108897494A CN108897494A CN201810621938.3A CN201810621938A CN108897494A CN 108897494 A CN108897494 A CN 108897494A CN 201810621938 A CN201810621938 A CN 201810621938A CN 108897494 A CN108897494 A CN 108897494A
- Authority
- CN
- China
- Prior art keywords
- volume
- bandwidth value
- data manipulation
- target
- target volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种块存储系统中数据操作的处理方法以及相关装置,用于当多个卷在同一时段进行数据操作时,能够保证块存储系统的高效性。本申请实施例方法包括:接收对目标卷设置带宽值的指令,所述指令携带有预设带宽值,所述预设带宽值用于指示在同一个时刻对所述目标卷进行数据操作所占用的带宽;实时记录对运行卷进行数据操作的带宽值,所述运行卷为正在进行数据操作的卷,所述运行卷包括所述目标卷,所述带宽值为对所述运行卷进行数据操作所占用的带宽;判断所述目标带宽值是否大于所述预设带宽值;若所述目标带宽值大于所述预设带宽值,则限制对所述目标卷进行数据操作。
Description
技术领域
本申请实施例涉及数据存储领域,尤其涉及块存储系统中数据操作的处理方法以及相关装置。
背景技术
块存储(block storage)指在一个独立磁盘冗余阵列(redundant arrays ofindependent disks,RAID)集中,一个控制器和一组磁盘驱动器提供固定大小的RAID块作为逻辑单元号(logical unit number,LUN)的卷。在块存储系统中卷有五类:1)简单卷:构成单个物理磁盘空间的卷,它可以由磁盘上的单个区域或同一磁盘上连接在一起的多个区域组成,可以在同一磁盘内扩展简单卷。2)跨区卷:简单卷也可以扩展到其他的物理磁盘,这样由多个物理磁盘的空间组成的卷就称为跨区卷。3)带区卷:以带区形式在连个后多个物理磁盘上存储数据的卷带区卷上的数据被交替、平均地分配给这些磁盘。4)镜像卷:在两个物理磁盘上复制数据的容错卷。5)RAID-5卷:具有数据和奇偶校验的容错卷,数据分布于三个或更多的物理磁盘。带宽配额管理器(bandwitch broker,BB)一般负责运营商网络内的QoS策略控制。它可以根据网络的带宽资源决定每一呼叫的接入控制,并为接受的呼叫进行带宽的分配与释放。
在块存储系统中,可以分别对至少两个卷进行数据操作。当某一卷的数据操作占用较多带宽值时,其他卷的数据操作所能占用的带宽值减少,直到该占用带宽较多的卷的数据操作完成后,系统释放带宽容量,其他卷的数据操作所能占用的带宽值才会提升。
在现有技术中,卷进行数据操作占用的带宽超过系统的处理能力时,会导致其他卷的数据操作所能占用的带宽值较低,以至于不足以支持卷进行正常的数据操作,使得块存储系统中部分卷的读写速率降低,影响用户体验。
发明内容
本申请实施例提供了一种块存储系统中数据操作的处理方法以及相关装置,用于当多个卷在同一时段进行数据操作时,能够保证块存储系统的高效性。
第一方面,本申请实施例提供了一种块存储系统中数据操作的处理方法,包括:
在多个用户可以在同一时段访问卷并对卷进行数据操作时,可能造成块存储系统的拥堵。此时,块存储系统中具有管理员身份的模块可以对卷的数据操作所占用的带宽值进行设置。于是,管理设备可以接收对目标卷设置带宽值的指令,该指令携带有预设带宽值,该预设带宽值用于指示在同一个时刻对该目标卷进行数据操作所占用的带宽,该带宽值可以表示卷的数据操作每秒读写数据流量的值;
当管理设备接收到设置带宽值的指令之后,管理设备可以实时记录访问该块存储系统的用户对运行卷进行数据操作所占用的带宽值,该运行卷为管理设备进行实时记录时正在进行数据操作的卷,该运行卷包括该目标卷,该带宽值为对该运行卷进行数据操作所占用的带宽,该实时记录指管理设备在每一小段时间内一直保持记录的状态,该一小段时间可以是0.001秒、0.0001秒或者更短的时间;
当管理设备实时记录访问该块存储系统的用户对运行卷进行数据操作所占用的带宽值之后,管理设备可以根据已经收集的数据判断该目标带宽值是否大于该预设带宽值;
若该目标带宽值大于该预设带宽值,则限制对该目标卷进行数据操作。
本申请实施例中,管理设备会实时监测卷的数据操作所占用的带宽值,并将该目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。之后,管理设备将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
根据第一方面,本申请实施例第一方面的第一种实施方式中,该设置带宽值的指令还包括目标卷的标识,该目标卷为对卷进行数据操作所占用的带宽值呈现增长趋势的卷。
本申请实施例中,明确了该设置带宽值的指令中不仅包括预设带宽值,还包括目标卷的标识,因此能够提高了方案的可行性。
根据第一方面,本申请实施例第一方面的第二种实施方式中,该判断所述目标带宽值是否大于所述预设带宽值之前,该方法包括:
根据该标识从该运行卷中查找该目标卷;
获取对该目标卷进行数据操作所占用的带宽值;
将对该目标卷进行数据操作所占用的带宽值与预设带宽值进行比较。
本申请实施例中,管理设备可以根据标识从运行卷中识别出目标卷,进而将目标卷的数据操作所占用的带宽值和预设带宽值进行比较,进而得出比较的结果,再根据比较的结果决定下一步操作,因此能够提高了方案的可行性。
根据第一方面的第一种实施方式,本申请实施例第一方面的第三种实施方式中,该判断该目标带宽值是否大于该预设带宽值之前,该实时记录对运行卷进行数据操作的带宽值之后,该方法还包括:
判断该运行卷是否为该目标卷;
若该运行卷是该目标卷,则为该目标卷标记该标识。
本申请实施例中,管理设备在判断目标卷进行数据操作所占用的带宽值是否大于预设带宽值之前,管理设备还需要先判断正在实时监测的运行卷是不是目标卷,若判断该运行卷为目标卷,则需要给该运行卷标记上目标卷的标识,以使得后续操作中管理设备可以快速地识别出目标卷的身份,从而进行下一步操作,因此能够提高了方案的可行性。
根据第一方面的第三种实施方式,本申请实施例第一方面的第四种实施方式中,该判断该运行卷是否为该目标卷包括:
获取对该运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值;
判断该平均值是否按照该多个时间段的时间顺序依次递增;
若该平均值按照该多个时间段的时间顺序依次递增,则确定该运行卷为该目标卷。
本申请实施例中,明确了根据平均值按时间顺序依次递增来确定目标卷,其中这个平均值为运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值,因此能够提高了方案的可行性。
根据第一方面,本申请实施例第一方面的第五种实施方式中,该方法还包括:
若该目标带宽值小于或者等于该预设带宽值,则允许对该目标卷进行数据操作。
本申请实施例中,列举了判断该目标带宽值是否大于该预设带宽值的另一判断结果,增加了另一种可能实现的方式,因此能够增加方案的实现灵活性。
根据第一方面、第一方面的第一种实施方式至第一方面的第五种实施方式中的任一种实施方式,本申请实施例第一方面的第六种实施方式中,该数据操作包括快照创建、数据拷贝或数据迁移。
本申请实施例中,列举了可以为数据操作的形式,并提供了三种数据操作的形式,于是拓宽了数据操作的具体方式,因此能够增加方案的实现灵活性。
根据第一方面、第一方面的第一种实施方式至第一方面的第六种实施方式中的任一种实施方式,本申请实施例第一方面的第七种实施方式中,该判断该运行卷是否为所述目标卷的判断结果还包括:
若该运行卷不是该目标卷,则该管理设备不给该运行卷标记该标识。
本申请实施例中,列举了判断该运行卷是否为所述目标卷的另一种判断结果,因此能够增加方案的实现灵活性。
第二方面,本申请实施例提供了一种管理设备,该管理设备执行如前述第一方面中的方法,该管理设备包括:
接收单元,用于接收对目标卷设置带宽值的指令,该指令携带有预设带宽值,该预设带宽值用于指示在同一个时刻对该目标卷进行数据操作所占用的带宽;
记录单元,用于实时记录对运行卷进行数据操作的带宽值,该运行卷为正在进行数据操作的卷,该运行卷包括该目标卷,该带宽值为对该运行卷进行数据操作所占用的带宽;
第一判断单元,用于判断该目标带宽值是否大于该预设带宽值;
限制单元,用于当该第一判断单元确定该目标带宽值大于该预设带宽值时,限制对该目标卷进行数据操作。
本申请实施例中,记录单元会实时监测卷的数据操作所占用的带宽值并将其记录下来,判断单元将确定该运行卷为目标卷,并将该目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。之后,限制单元将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
根据第二方面,本申请实施例第二方面的第一种实施方式中,该设置带宽值的指令还包括目标卷的标识,该目标卷为对卷进行数据操作所占用的带宽值呈现增长趋势的卷。
本申请实施例中,明确了该设置带宽值的指令中不仅包括预设带宽值,还包括目标卷的标识,因此能够提高了方案的可行性。
根据第二方面的第一种实施方式,本申请实施例第二方面的第二种实施方式中,该管理设备还包括:
查找单元,用于根据该标识从该运行卷中查找该目标卷;
获取单元,用于获取对该目标卷进行数据操作所占用的带宽值;
比较单元,用于将对该目标卷进行数据操作所占用的带宽值与预设带宽值进行比较。
本申请实施例中,查找单元可以根据标识从运行卷中识别出目标卷,之后,比较单元将目标卷的数据操作所占用的带宽值和预设带宽值进行比较,因此能够提高了方案的可行性。
根据第二方面的第二种实施方式,本申请实施例第二方面的第三种实施方式中,该管理设备还包括:
第二判断单元,用于判断该运行卷是否为该目标卷;
标记单元,用于当该第二判断单元确定该运行卷是该目标卷时,为该目标卷标记该标识。
本申请实施例中,管理设备在判断目标卷进行数据操作所占用的带宽值是否大于预设带宽值之前,第二判断单元要先判断正在实时监测的运行卷是不是目标卷,若判断该运行卷为目标卷,则标记单元给该运行卷标记上目标卷的标识,以使得后续操作中管理设备可以快速地识别出目标卷的身份,从而进行下一步操作,因此能够提高了方案的可行性。
根据第二方面的第三种实施方式,本申请实施例第二方面的第四种实施方式中,该第二判断单元包括:
获取子单元,用于获取对该运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值;
判断子单元,用于判断该平均值是否按照该多个时间段的时间顺序依次递增;
确定子单元,用于当该判断子单元确定该平均值是按照该多个时间段的时间顺序依次递增时,确定该运行卷为该目标卷。
本申请实施例中,明确了根据平均值按时间顺序依次递增来确定目标卷,其中这个平均值为运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值,因此能够提高了方案的可行性。
根据第二方面,本申请实施例第二方面的第五种实施方式中,该管理设备还包括:
允许单元,用于当该第一判断单元确定该目标带宽值小于或者等于该预设带宽值时,允许对该目标卷进行数据操作。
本申请实施例中,列举了该第一判断单元判断该目标带宽值是否大于该预设带宽值的另一判断结果,增加了另一种可能实现的方式,因此能够增加方案的实现灵活性。
根据第二方面、第二方面的第一种实施方式至第二方面的第五种实施方式中的任一种实施方式,本申请实施例第一方面的第六种实施方式中,该数据操作包括快照创建、数据拷贝或数据迁移。
本申请实施例中,列举了可以为数据操作的形式,并提供了三种数据操作的形式,于是拓宽了数据操作的具体方式,因此能够增加方案的实现灵活性。
第三方面,本申请实施例提供了一种计算机可读存储介质,该计算机存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令当被处理器执行时使该处理器执行如前述第一方面中任一项的方法。
第四方面,本申请实施例提供了一种计算机程序产品,其特征在于,当该计算机程序产品在计算机上运行时,使得计算机执行如前述第一方面中任一项的方法。
第五方面,本申请实施例提供了一种通信装置,该通信装置可以包括终端设备或者芯片等实体,该通信装置包括:处理器、存储器;该存储器用于存储指令;该处理器用于执行该存储器中的该指令,使得该通信装置执行如前述第一方面中任一项的方法。
第六方面,本申请实施例提供了一种芯片系统,该芯片系统包括处理器,用于支持网络设备实现上述方面中所涉及的功能,例如,例如发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,该芯片系统还包括存储器,该存储器,用于保存网络设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例中,管理设备可以接收对目标卷设置带宽值的指令,该指令携带有预设带宽值,该预设带宽值用于指示在同一个时刻对所述目标卷进行数据操作所占用的带宽,管理设备会实时监测卷的数据操作所占用的带宽值,并将目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。管理设备将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
附图说明
图1为本申请实施例提供的网络结构示意图;
图2为本申请实施例提供的块存储系统中数据操作的处理方法的一种流程示意图;
图3为本申请实施例提供的块存储系统中数据操作的处理方法的另一种流程示意图;
图4为本申请实施例中带宽配额管理器的一个实施例示意图。
具体实施方式
本申请实施例提供了一种块存储系统中数据操作的处理方法以及相关装置,用于当多个卷在同一时段进行数据操作时,能够保证块存储系统的高效性。
在传统的块存储系统中,采用可扩展的结构将所有的数据都集中存放在存储服务器中的卷里,以使得将分布在网络中的存储资源组织起来。
如图1所示,该块存储系统包括以下几类节点:卷、系统管理客户端或管理设备。其中,管理设备是整个系统的核心部分,可以对卷的数据操作的情况进行监控,并按照系统管理客户端的指令作出相应的决策。而卷则是整个系统的基础部分,用户客户端可以通过网络访问卷并对卷进行数据操作,此外,系统管理客户端可以根据带宽配额管理系对卷的数据操作的检测结果作出决策指令。
上述节点以及其他部件相互运作构成了一个相对完整的块存储系统。该块存储系统用多台存储服务器共同分担存储负荷,使之构成大容量的卷空间,并采用管理设备为用户客户端检索用户客户端对卷的数据操作的信息,同时,管理数据和系统资源,而卷向用户提供实际的数据储存服务。
本实施例中,该管理设备可以是证书管理系统,也可以是带宽配额管理器,还可以是块存储系统中其它具有管理权限的设备,具体此处不做限定。在本实施例以及后续实施例中,仅以带宽配额管理器为例进行说明。
本实施例提出的方法用以解决该问题,为便于理解,下面对本实施例中的具体流程进行描述,如图2所示,是本实施例提供的块存储系统中数据操作的处理方法,该方法中的带宽配额管理器执行如下步骤,包括:
201、接收对目标卷设置带宽值的指令;
本实施例中,在多个用户可以在同一时段访问卷并对卷进行数据操作时,可能造成块存储系统的拥堵,该数据操作可以是快照创建,也可以是数据拷贝,还可以是数据迁移,具体此处不做限定。本实施例中的目标卷可以为其数据操作所占用的带宽值连续增长的卷,也可以为数据操作具有其它特征的卷,或者也可以是指定的卷,具体此处不做限定。在本实施例以及后续实施例中,仅以目标卷为其数据操作所占用的带宽值连续增长的卷为例进行说明。此时,块存储系统中具有管理员身份的模块可以对卷的数据操作所占用的带宽值进行设置。于是,带宽配额管理器可以接收对目标卷设置带宽值的指令,该指令携带有预设带宽值,该预设带宽值用于指示在同一个时刻对该目标卷进行数据操作所占用的带宽,该带宽值可以表示卷的数据操作每秒读写数据流量的值。
202、实时记录对运行卷进行数据操作的带宽值;
本实施例中,当带宽配额管理器接收到设置带宽值的指令之后,带宽配额管理器可以实时记录访问该块存储系统的用户对运行卷进行数据操作所占用的带宽值,该运行卷为带宽配额管理器进行实时记录时正在进行数据操作的卷,该运行卷包括该目标卷,该带宽值为对该运行卷进行数据操作所占用的带宽,该实时记录指带宽配额管理器在一个时间段一直保持记录的状态,该一个时间段可以是0.001秒、0.0001秒或者更短的时间。
203、判断该目标带宽值是否大于预设带宽值;
本实施例中,当带宽配额管理器实时记录访问该块存储系统的用户对运行卷进行数据操作所占用的带宽值之后,带宽配额管理器可以根据已经收集的数据(即用户对每个运行卷在不同时刻进行数据操作所占用的带宽值)判断该目标带宽值是否大于该预设带宽值。
若该目标带宽值大于预设带宽值,则执行步骤204;
若该目标带宽值小于或者等于预设带宽值,执行其他操作205。
204、限制对该目标卷进行数据操作;
本实施例中,若该目标带宽值大于该预设带宽值,则限制对该目标卷进行数据操作。
205、执行其他操作。
本申请实施例中,带宽配额管理器会实时监测卷的数据操作所占用的带宽值,当运行卷的数据操作所占用的带宽值连续增长时,带宽配额管理器将确定该运行卷为目标卷,并将该目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。带宽配额管理器将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
上面对本实施例中的块存储系统中数据操作的处理方法进行了描述,下面对本实施例中的块存储系统中数据操作的处理方法的另一实施例进行介绍,如图3所示,本实施例中的块存储系统中数据操作的处理方法的另一实施例包括:
301、接收对目标卷设置带宽值的指令;
本实施例中,带宽配额管理器接收对目标卷设置带宽值的指令,该指令可以为块存储系统中的系统管理客户端发出的指令,也可以为块存储系统中具有管理员身份的其他服务器发出的指令,还可以为块存储系统中具有管理员身份的模块发出的指令,具体此处不做限定。在本实施例以及后续实施例中,仅以块存储系统中的系统管理客户端发出的指令为例进行说明。
本实施例中,该对目标卷设置带宽值的指令不仅携带有预设带宽值,还携带有目标卷的标识,该预设带宽值用于指示在同一个时刻对该目标卷进行数据操作所占用的带宽,该目标卷为对卷进行数据操作所占用的带宽值呈现增长趋势的卷。需要说明的是,该对目标卷设置带宽值的指令除了携带有预设带宽值和目标卷的标识以外,还可能携带证书管理系统所添加的许可文件,具体此处不做限定。在本实施例以及后续实施例中,仅以该对目标卷设置带宽值的指令携带有预设带宽值和目标卷的标识为例进行说明。需要注意的是,该目标卷的标识可以是序列号,如0001,可也以是字符串,如2018052901或czjbdurrdy,还可以是其他能够唯一标识该目标卷的身份的标识,具体此处不做限定。
302、实时记录对运行卷进行数据操作的带宽值;
本实施例中,带宽配额管理器将实时记录对运行卷进行数据操作的带宽值,该运行卷为正在进行数据操作的卷,该运行卷包括该目标卷,该带宽值为对该运行卷进行数据操作所占用的带宽。其中,该实时记录指带宽配额管理器对数据在其发生的实际时间内进行收集和处理的过程。该过程中带宽配额管理器对实数型数据点采用双精度表示,也可以对于整数型数据点采用四字节长整型,具体此处不做限定。数据采集点的间隔时间可以是毫秒级,可以是0.01毫秒内随机采集10次,也可以每0.001毫秒采集一次,具体此处不做限定。在本实施例以及后续实施例中,仅以每0.001毫秒采集一次为例进行说明。
303、判断该运行卷是否为该目标卷;
本实施例中,带宽配额管理器需要先获取对该运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值,然后,判断该平均值是否按照该多个时间段的时间顺序依次递增。如表1所示,带宽配额管理器每0.001毫秒设置一个采集点以采集实际带宽值,之后,系统计算出每两个采集点之间的时间段的带宽平均值。为了判断该平均值是依次递增或者是其他规律,带宽配额管理器将时间点靠后的平均值与时间点靠前的平均值作差,并记录计算结果的正负值。
表1
若该带宽配额管理器记录的计算结果的正负值为“正”,则可以确定该运行卷是该目标卷,则执行步骤304;
若该带宽配额管理器记录的计算结果的正负值为“负”或者“0”,则可以确定该运行卷不是该目标卷,则执行步骤302。
304、为该目标卷标记该标识;
本实施例中,若该带宽配额管理器记录的计算结果连续多个都为“正”,则带宽配额管理器可以确定该运行卷为目标卷,并且,为该目标卷标记该标识。
305、根据该标识从该运行卷中查找该目标卷;
本实施例中,带宽配额管理器在运行过程中,实时记录所有访问该卷的客户端的信息,该所有访问该卷的客户端的信息包括用户客户端对卷的数据操作所占用的带宽值,或者该用户客户端的IP地址,或者该用户客户端的账户号码,或者标识。带宽配额管理器从所有访问该卷的客户端的信息中查找出该标识,并确定携带该标识的运行卷为目标卷。
306、获取对该目标卷进行数据操作所占用的带宽值;
本实施例中,块存储系统中有多个卷,其中,每一个卷都可以被至少一个用户客户端访问。于是,对该目标卷进行数据操作所占用的带宽值可以由一个用户客户端的数据操作确定,也可以由多个用户客户端的数据操作确定,具体此处不做限定。在本实施例以及后续实施例中,仅以对该目标卷进行数据操作所占用的带宽值由5个用户客户端的数据操作确定为例进行说明。如表2所示,每个用户客户端进行数据操作所占用的带宽值的总和为实际带宽值。带宽配额管理器可以获取每个用户客户端进行数据操作所占用的的带宽值,然后针对每一个卷,对每个用户客户端进行数据操作所占用的的带宽值求和,以得到当前时刻对该目标卷进行数据操作所占用的带宽值。
表2
307、将对该目标卷进行数据操作所占用的带宽值与该预设带宽值进行比较;
本实施例中,如表3所示,带宽配额管理器将已确定的目标卷的最后一个时间采集点的实际带宽值与预设带宽值作差,并确定差值的正负情况。
表3
308、判断对该目标卷进行数据操作所占用的带宽值是否大于该预设带宽值;
本实施例中,带宽配额管理器根据步骤307中确定的差值的正负情况判断对该目标卷进行数据操作所占用的带宽值是否大于该预设带宽值。
若对该目标卷进行数据操作所占用的带宽值大于该预设带宽值,则执行步骤309;
若对该目标卷进行数据操作所占用的带宽值小于或者等于该预设带宽值,则执行步骤310。
309、若该目标带宽值大于该预设带宽值,则限制对该目标卷进行数据操作;
本实施例中,若该步骤307中确定的差值为“正”,则带宽配额管理器限制用户客户端在当前时刻对该目标卷的数据操作,以保证整个系统的带宽容量。
310、若该目标带宽值小于或者等于该预设带宽值,则允许对该目标卷进行数据操作。
本实施例中,若该步骤307中确定的差值为“负”或者为“0”,则带宽配额管理器允许用户客户端在当前时刻对该目标卷的数据操作。
本申请实施例中,带宽配额管理器会实时监测卷的数据操作所占用的带宽值,当运行卷的数据操作所占用的带宽值连续增长时,带宽配额管理器将确定该运行卷为目标卷,并将该目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。若该目标带宽值超过预设带宽值,则带宽配额管理器将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
上面对本实施例中的块存储系统中数据操作的处理方法进行了介绍,下面对本发明实施例中的带宽配额管理器400进行介绍,如图4所示,本实施例中带宽配额管理器400的一个实施例包括:
接收单元401,用于接收对目标卷设置带宽值的指令,该指令携带有预设带宽值,该预设带宽值用于指示在同一个时刻对该目标卷进行数据操作所占用的带宽;
记录单元402,用于实时记录对运行卷进行数据操作的带宽值,该运行卷为正在进行数据操作的卷,该运行卷包括该目标卷,该带宽值为对该运行卷进行数据操作所占用的带宽;
第一判断单元403,用于判断该目标带宽值是否大于该预设带宽值;
限制单元404,用于当该第一判断单元403确定该目标带宽值大于该预设带宽值时,限制对该目标卷进行数据操作。
本实施例中,该带宽配额管理器400包括:
查找单元405,用于根据该标识从该运行卷中查找该目标卷;
获取单元406,用于获取对该目标卷进行数据操作所占用的带宽值;
比较单元407,用于将对该目标卷进行数据操作所占用的带宽值与预设带宽值进行比较。
本实施例中,该带宽配额管理器400还包括:
第二判断单元408,用于判断该运行卷是否为该目标卷;
标记单元409,用于当该第二判断单元408确定该运行卷是该目标卷时,为该目标卷标记该标识。
本实施例中,该第二判断单元408包括:
获取子单元4081,用于获取对该运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值;
判断子单元4082,用于判断该平均值是否按照该多个时间段的时间顺序依次递增;
确定子单元4083,用于当该判断子单元4082确定该平均值是按照该多个时间段的时间顺序依次递增时,确定该运行卷为该目标卷。
本实施例中,该带宽配额管理器400还包括:
允许单元410,用于当该第一判断单元403确定该目标带宽值小于或者等于该预设带宽值时,允许对该目标卷进行数据操作。
本申请实施例中,记录单元会实时监测卷的数据操作所占用的带宽值并将其记录下来,当运行卷的数据操作所占用的带宽值连续增长时,判断单元将确定该运行卷为目标卷,并将该目标卷的目标带宽值与预设带宽值进行比较,以确定该目标带宽值超过预设带宽值。之后,限制单元将限制该目标卷的数据操作,以使得带宽可以支持其他运行卷的数据操作,于是至少两个卷能够在同一段时间进行数据操作,保证了块存储系统的高效性,从而提升了用户体验。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种块存储系统中数据操作的处理方法,其特征在于,包括:
接收对目标卷设置带宽值的指令,所述指令携带有预设带宽值,所述预设带宽值用于指示在同一个时刻对所述目标卷进行数据操作所占用的带宽;
实时记录对运行卷进行数据操作的带宽值,所述运行卷为正在进行数据操作的卷,所述运行卷包括所述目标卷,所述带宽值为对所述运行卷进行数据操作所占用的带宽;
判断所述目标带宽值是否大于所述预设带宽值;
若所述目标带宽值大于所述预设带宽值,则限制对所述目标卷进行数据操作。
2.根据权利要求1所述的方法,其特征在于,所述设置带宽值的指令还包括目标卷的标识,所述目标卷为对卷进行数据操作所占用的带宽值呈现增长趋势的卷。
3.根据权利要求1所述的方法,其特征在于,所述判断所述目标带宽值是否大于所述预设带宽值之前,所述方法包括:
根据所述标识从所述运行卷中查找所述目标卷;
获取对所述目标卷进行数据操作所占用的带宽值;
将对所述目标卷进行数据操作所占用的带宽值与预设带宽值进行比较。
4.根据权利要求2所述的方法,其特征在于,所述判断所述目标带宽值是否大于所述预设带宽值之前,所述实时记录对运行卷进行数据操作的带宽值之后,所述方法还包括:
判断所述运行卷是否为所述目标卷;
若所述运行卷是所述目标卷,则为所述目标卷标记所述标识。
5.根据权利要求4所述的方法,其特征在于,所述判断所述运行卷是否为所述目标卷包括:
获取对所述运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值;
判断所述平均值是否按照所述多个时间段的时间顺序依次递增;
若所述平均值按照所述多个时间段的时间顺序依次递增,则确定所述运行卷为所述目标卷。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述目标带宽值小于或者等于所述预设带宽值,则允许对所述目标卷进行数据操作。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述数据操作包括快照创建、数据拷贝或数据迁移。
8.一种管理设备,其特征在于,包括:
接收单元,用于接收对目标卷设置带宽值的指令,所述指令携带有预设带宽值,所述预设带宽值用于指示在同一个时刻对所述目标卷进行数据操作所占用的带宽;
记录单元,用于实时记录对运行卷进行数据操作的带宽值,所述运行卷为正在进行数据操作的卷,所述运行卷包括所述目标卷,所述带宽值为对所述运行卷进行数据操作所占用的带宽;
第一判断单元,用于判断所述目标带宽值是否大于所述预设带宽值;
限制单元,用于当所述第一判断单元确定所述目标带宽值大于所述预设带宽值时,限制对所述目标卷进行数据操作。
9.根据权利要求8所述的管理设备,其特征在于,所述管理设备还包括:
查找单元,用于根据所述标识从所述运行卷中查找所述目标卷;
获取单元,用于获取对所述目标卷进行数据操作所占用的带宽值;
比较单元,用于将对所述目标卷进行数据操作所占用的带宽值与预设带宽值进行比较。
10.根据权利要求9所述的管理设备,其特征在于,所述管理设备还包括:
第二判断单元,用于判断所述运行卷是否为所述目标卷;
标记单元,用于当所述第二判断单元确定所述运行卷是所述目标卷时,为所述目标卷标记所述标识。
11.根据权利要求10所述的管理设备,其特征在于,所述第二判断单元包括:
获取子单元,用于获取对所述运行卷进行的数据操作所占用的带宽值在连续多个时间段中每个时间段内的平均值;
判断子单元,用于判断所述平均值是否按照所述多个时间段的时间顺序依次递增;
确定子单元,用于当所述判断子单元确定所述平均值是按照所述多个时间段的时间顺序依次递增时,确定所述运行卷为所述目标卷。
12.根据权利要求8所述的管理设备,其特征在于,所述管理设备还包括:
允许单元,用于当所述第一判断单元确定所述目标带宽值小于或者等于所述预设带宽值时,允许对所述目标卷进行数据操作。
13.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至7中任一项所述的方法。
14.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得计算机执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621938.3A CN108897494B (zh) | 2018-06-15 | 2018-06-15 | 块存储系统中数据操作的处理方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621938.3A CN108897494B (zh) | 2018-06-15 | 2018-06-15 | 块存储系统中数据操作的处理方法以及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108897494A true CN108897494A (zh) | 2018-11-27 |
CN108897494B CN108897494B (zh) | 2022-02-18 |
Family
ID=64345700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810621938.3A Active CN108897494B (zh) | 2018-06-15 | 2018-06-15 | 块存储系统中数据操作的处理方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108897494B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142746A (zh) * | 2019-12-11 | 2020-05-12 | 上海众言网络科技有限公司 | 一种系统配额计算方法和装置 |
CN111435925A (zh) * | 2019-01-11 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 快照数据传输方法及装置 |
CN113326164A (zh) * | 2020-07-10 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 数据备份方法、装置、电子设备及计算机存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731373A (zh) * | 2012-10-15 | 2014-04-16 | 中兴通讯股份有限公司 | 带宽资源的调整方法、装置及系统 |
CN103856346A (zh) * | 2012-12-06 | 2014-06-11 | 深圳市腾讯计算机系统有限公司 | 节点调度方法、装置和系统 |
CN103929375A (zh) * | 2013-01-10 | 2014-07-16 | 腾讯科技(深圳)有限公司 | 带宽调配装置及方法 |
US20160293241A1 (en) * | 2015-04-01 | 2016-10-06 | International Business Machines Corporation | Nonvolatile memory interface for metadata shadowing |
CN106713456A (zh) * | 2016-12-22 | 2017-05-24 | 上海帝联信息科技股份有限公司 | 网络带宽统计方法及装置 |
CN106921512A (zh) * | 2015-12-28 | 2017-07-04 | 中移(苏州)软件技术有限公司 | 一种大数据集群租户带宽控制方法及装置 |
CN107704213A (zh) * | 2017-11-02 | 2018-02-16 | 郑州云海信息技术有限公司 | 一种存储阵列的自动化服务质量管理方法及装置 |
CN107800574A (zh) * | 2017-11-03 | 2018-03-13 | 郑州云海信息技术有限公司 | 存储qos调节方法、系统、设备及计算机可读存储器 |
-
2018
- 2018-06-15 CN CN201810621938.3A patent/CN108897494B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103731373A (zh) * | 2012-10-15 | 2014-04-16 | 中兴通讯股份有限公司 | 带宽资源的调整方法、装置及系统 |
CN103856346A (zh) * | 2012-12-06 | 2014-06-11 | 深圳市腾讯计算机系统有限公司 | 节点调度方法、装置和系统 |
CN103929375A (zh) * | 2013-01-10 | 2014-07-16 | 腾讯科技(深圳)有限公司 | 带宽调配装置及方法 |
US20160293241A1 (en) * | 2015-04-01 | 2016-10-06 | International Business Machines Corporation | Nonvolatile memory interface for metadata shadowing |
CN106921512A (zh) * | 2015-12-28 | 2017-07-04 | 中移(苏州)软件技术有限公司 | 一种大数据集群租户带宽控制方法及装置 |
CN106713456A (zh) * | 2016-12-22 | 2017-05-24 | 上海帝联信息科技股份有限公司 | 网络带宽统计方法及装置 |
CN107704213A (zh) * | 2017-11-02 | 2018-02-16 | 郑州云海信息技术有限公司 | 一种存储阵列的自动化服务质量管理方法及装置 |
CN107800574A (zh) * | 2017-11-03 | 2018-03-13 | 郑州云海信息技术有限公司 | 存储qos调节方法、系统、设备及计算机可读存储器 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435925A (zh) * | 2019-01-11 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 快照数据传输方法及装置 |
CN111435925B (zh) * | 2019-01-11 | 2023-09-26 | 阿里巴巴集团控股有限公司 | 快照数据传输方法及装置 |
CN111142746A (zh) * | 2019-12-11 | 2020-05-12 | 上海众言网络科技有限公司 | 一种系统配额计算方法和装置 |
CN113326164A (zh) * | 2020-07-10 | 2021-08-31 | 阿里巴巴集团控股有限公司 | 数据备份方法、装置、电子设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108897494B (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105302738B (zh) | 一种内存分配方法及装置 | |
US7478177B2 (en) | System and method for automatic reassignment of shared storage on blade replacement | |
CN110515539B (zh) | 基于云存储的云磁盘挂载方法、装置、设备和存储介质 | |
US8572330B2 (en) | Systems and methods for granular resource management in a storage network | |
US10855791B2 (en) | Clustered storage system path quiescence analysis | |
US20160203235A1 (en) | Striping of directed graphs and nodes with improved functionality | |
CN103763130B (zh) | 大规模集群的管理方法、装置和系统 | |
CN108897494A (zh) | 块存储系统中数据操作的处理方法以及相关装置 | |
US6269410B1 (en) | Method and apparatus for using system traces to characterize workloads in a data storage system | |
WO2011045831A1 (en) | Storage apparatus and its control method | |
US20060168156A1 (en) | Hierarchical system configuration method and integrated scheduling method to provide multimedia streaming service on two-level double cluster system | |
CN110515724A (zh) | 资源配置方法、装置、监视器及机器可读存储介质 | |
CN107506145B (zh) | 一种物理存储调度方法及云主机创建方法 | |
CN105224244B (zh) | 一种文件存储的方法和装置 | |
DE202016009110U1 (de) | System, Adapter, Vorrichtung und Server zum Ausgleichen von Speicherdatenverkehr in konvergierten Netzwerken | |
CN1602480A (zh) | 管理附装在数据网络上的存储器资源 | |
CN107154966A (zh) | 一种视频数据写入方法以及装置 | |
US20160050112A1 (en) | Distributed caching systems and methods | |
WO2015152751A1 (en) | Provisioning resources for datacenters | |
CN107948229B (zh) | 分布式存储的方法、装置及系统 | |
US8478952B1 (en) | Flexible optimized group-based backups | |
US20040225736A1 (en) | Method and apparatus for providing a dynamic quality of service for serving file/block I/O | |
US10949322B2 (en) | Collecting performance metrics of a device | |
CN106126123B (zh) | 一种宿主机卷分配的方法、装置及系统 | |
US20070094393A1 (en) | Intelligent logical unit provisioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |