CN102508619B - 存储系统服务质量控制方法、系统和存储系统 - Google Patents

存储系统服务质量控制方法、系统和存储系统 Download PDF

Info

Publication number
CN102508619B
CN102508619B CN201110370798.5A CN201110370798A CN102508619B CN 102508619 B CN102508619 B CN 102508619B CN 201110370798 A CN201110370798 A CN 201110370798A CN 102508619 B CN102508619 B CN 102508619B
Authority
CN
China
Prior art keywords
buffer memory
level
hard disk
information
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110370798.5A
Other languages
English (en)
Other versions
CN102508619A (zh
Inventor
崔文林
王齐耀
周明权
舒坦
王红雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN201110370798.5A priority Critical patent/CN102508619B/zh
Publication of CN102508619A publication Critical patent/CN102508619A/zh
Priority to EP12851880.0A priority patent/EP2713278B1/en
Priority to PCT/CN2012/083171 priority patent/WO2013075560A1/zh
Priority to US14/283,783 priority patent/US8909868B2/en
Application granted granted Critical
Publication of CN102508619B publication Critical patent/CN102508619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0873—Mapping of cache memory to specific storage devices or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/885—Monitoring specific for caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/28—Using a specific disk cache architecture
    • G06F2212/282—Partitioned cache

Abstract

本发明提供一种存储系统服务质量控制方法、系统和存储系统，其中，方法包括：统计存储系统中硬盘的处理能力信息，通过处理能力信息获得硬盘的处理能力的大小；根据硬盘的处理能力的大小将缓存划分为多个层级，各层级的缓存分别对应存储系统中的一个或多个硬盘，各层级的缓存的页面配额分别根据各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得；对于脏数据达到预设比例的层级的缓存，将层级的缓存内的数据写入所述层级的缓存对应的硬盘中。存储系统服务质量控制系统包括：统计模块、第一划分模块和写盘模块。存储系统包括主机、缓存和上述存储系统服务质量控制系统。本发明克服了cache内部页面资源抢占现象。

Description

存储系统服务质量控制方法、系统和存储系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种存储系统服务质量控制方法、系统和存储系统。
背景技术
缓存(cache)为存储系统为了提高性能而引入的组件，主要用于提高整个系统的输入输出(Input/Output；以下简称：I/O)性能，将一些临时数据存放在该内存中，从而加快了主机的I/O响应。对于主机的读操作来说，系统将读数据临时放入cache中，主机的读操作直接命中cache，从而节省了主机读盘的操作；对于主机的写操作来说，系统将主机的写数据直接缓存在cache中，从而节省了写盘的操作。为了尽量让读写操作顺利进行，cache会根据一定的策略，通过预读机制将主机下次可能读取的数据从硬盘上读入cache，增大读命中率，同时基于一定的合并策略将写入cache中的数据进行合并，减少写盘的时间。由此可以看出，对于读操作来说，通过优化预取算法或者增加cache大小可以提高读命中率，从而提高整个存储系统的读性能；但当cache增大到一定程度，读操作的性能的提高与cache大小的增加不成比例。服务质量(Quality of Service；以下简称：QoS)是网络与用户之间以及网络上互相通信的用户之间关于信息传输与共享的质的约定，其可以包括传输的带宽、传送的时延、数据的丢包率等，在网络中可以通过保证传输的带宽、降低传送的时延和丢包率以及时延抖动等措施来提高服务质量。
当前存储系统支持多种类型的硬盘混插，但是每种类型盘的转速和吞吐各不同，往往导致写盘时处理性能的差异，即使是同一种类型的盘，也会由于制造商或者老化的问题导致处理能力存在差异。在这种场景下，由于后端磁盘处理能力方面的差异，写入cache中的数据不能及时被释放，导致处理慢的盘所占用的页面资源越来越多，处理快的盘的处理速度由于无法分配到cache页面而受到影响，甚至导致整个系统的处理性能趋近于系统中最慢的盘，即出现短木板效应。
在现有技术中，通过cache分区技术来解决上述问题，如图1所示为现有技术中cache分区技术的应用场景示意图，现有技术中的cache分区技术根据主机侧的业务将cache资源划分为多个cache分区，每个cache分区针对一个或者多个主机，彼此之间相互独立，不互相影响。然而，现有技术中的各cache分区内部仍会出现页面资源抢占现象，导致此cache分区对应的业务的性能(如传送的时延、丢包率等)被后端最慢的盘所拖累，从而降低存储系统的服务质量。
发明内容
本发明实施例提供一种存储系统服务质量控制方法、系统和存储系统，克服现有技术中cache内部页面资源抢占现象，避免慢速盘对于高速盘性能的影响。
本发明实施例提供了一种存储系统服务质量控制方法，包括：
统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小；
根据所述硬盘的处理能力的大小将缓存划分为多个层级，各层级的缓存分别对应所述存储系统中的一个或多个硬盘，所述各层级的缓存的页面配额分别根据所述各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得；
对于脏数据达到预设比例的层级的缓存，将所述层级的缓存内的数据写入所述层级的缓存对应的硬盘中。
本发明实施例提供了一种存储系统服务质量控制系统，包括：
第一统计模块，用于统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小；
第一划分模块，用于根据所述硬盘的处理能力的大小将缓存划分为多个层级，各层级的缓存分别对应所述存储系统中的一个或多个硬盘，所述各层级的缓存的页面配额分别根据所述各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得；
写盘模块，用于对于脏数据达到预设比例的层级的缓存，将所述层级的缓存的数据写入所述层级的缓存对应的硬盘中。
本发明实施例提供了一种存储系统，包括主机、缓存和上述存储系统服务质量控制系统。
本发明实施例提供的存储系统服务质量控制方法、系统和存储系统，通过统计存储系统中硬盘的处理能力信息，根据硬盘的处理能力大小将cache划分为多个层级，当某个层级的cache中的脏数据达到预设比例时，将该层级的cache中的数据写入该层级的缓存对应的硬盘中；在本发明实施例中，由于将cache划分为多个层级，每个层级对应的硬盘的处理能力不同，处理能力弱的硬盘不能抢占处理能力强的硬盘对应的cache内部页面资源，因此处理能力强的硬盘对应的cache空间能够提前释放出来，在一定程度上克服了现有技术中cache内部页面资源抢占现象，避免了慢速盘对于高速盘性能的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中cache分区技术的应用场景示意图；
图2为本发明存储系统服务质量控制方法实施例一的流程图；
图3为本发明存储系统服务质量控制方法实施例一中的存储系统的网络架构示意图；
图4为本发明存储系统服务质量控制方法实施例二的流程图；
图5为本发明存储系统服务质量控制方法实施例二的应用场景示意图；
图6为本发明存储系统服务质量控制方法实施例三的流程图；
图7为本发明存储系统服务质量控制方法实施例三的应用场景示意图；
图8为本发明存储系统服务质量控制系统实施例一的结构示意图；
图9为本发明存储系统服务质量控制系统实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2为本发明存储系统服务质量控制方法实施例一的流程图，如图2所示，本实施例提供了一种存储系统服务质量控制方法，可以具体包括如下步骤：
步骤201，统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小。
图3为本发明存储系统服务质量控制方法实施例一中的存储系统的网络架构示意图，如图3所示，cache为一块很大的内存，设置在阵列系统中的前端(Front-End)设备与后端(Back-End)设备之间，通过cache对数据的缓存而实现主机与物理磁盘(Physical Disk)的数据读写，节省主机(Host)的读盘操作。本步骤为统计存储系统中硬盘的处理能力信息，此处的硬盘可以具体为上述图3中所示的物理磁盘，硬盘的类型可以包括但不限于固态硬盘(SolidState Disk；以下简称：SSD)、串行连接的SCSI(Serial Attached SCSI；以下简称：SAS)、串行高级技术附件(Serial Advanced Technology Attachment；以下简称：SATA)等，其中，SCSI为小型计算机系统接口(Small Computer SystemInterface)的缩写。本步骤具体为收集当前存储系统中所包含的硬盘的处理能力信息，硬盘的处理能力可以通过其类型、老化程度、性能等体现，则此处的处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小。
步骤202，根据所述硬盘的处理能力的大小将缓存划分为多个层级(tier)，各tier的缓存分别对应所述存储系统中的一个或多个硬盘，各tier的缓存的页面配额分别根据各tier的缓存对应的一个或多个硬盘的处理能力信息预先分配获得。
在获取硬盘的处理能力的大小后，根据硬盘的处理能力的大小，来对缓存(cache)的页面资源进行划分，具体为将cache划分为多个tier，各tier的缓存分别对应存储系统中的一个或多个硬盘。其中，各tier的缓存的页面配额分别根据各tier的缓存对应的一个或多个硬盘的处理能力信息来得到，在本实施例中，划分后的各tier与存储系统中的硬盘存在对应关系，即每个tier的缓存对应一个或多个硬盘，具体根据各硬盘的处理能力信息来确定tier与硬盘间的对应关系。例如，将处理速度较高的一个或多个高速盘与一个tier相对应，则该tier的缓存对应的硬盘为高速盘；将处理速度一般的一个或多个中速盘与另一个tier相对应，则该tier的缓存对应的硬盘为中速盘；而将处理速度较低的一个或多个低速盘与再一个tier相对应，则该tier的缓存对应的硬盘为低速盘。
步骤203，对于脏数据达到预设比例的层级的缓存，将所述层级的缓存内的数据写入所述各层级的缓存对应的硬盘中。
在通过步骤202将cache划分为多个tier后，本步骤为当缓存中的脏数据达到预设比例时，以划分后的各tier的缓存为单位，对于脏数据达到预设比例的层级的缓存，将该tier的缓存内的数据写入该tier的缓存对应的硬盘中。其中，脏数据是指缓存在cache中的已被修改但还未写到硬盘中的数据。本发明不同于现有技术中的以cache为单位的方式，从而使得各tier之间的数据存储过程相互独立，实现了根据硬盘的处理能力来划分cache，从而实现了对存储系统的QoS的有效控制。例如，当处理能力信息为硬盘的类型和数量时，假设存储系统中包含SSD、SAS、SATA三种类型的硬盘，其数量分别为4、2、6，则可以将cache划分为三个tier，每个tier的缓存分别对应一种类型的硬盘，三个tier上的页面配额按照2∶1∶3的比例来划分。在本实施例中，在将cache的页面资源划分为多个tier后，以划分后的各tier的缓存为单位，分别对各tier的缓存对应的硬盘的数据进行存储处理，即每个tier分别针对一类处理能力接近的硬盘，每个tier之间相互独立，不会相互影响，从而不会出现由于慢速盘拖累快速盘的现象。
本实施例提供了一种存储系统服务质量控制方法，通过统计存储系统中硬盘的处理能力信息，根据硬盘的处理能力大小将cache划分为多个层级，当某个层级的cache中的脏数据达到预设比例时，将该层级的cache中的数据写入该层级的缓存对应的硬盘中；在本发明实施例中，由于将cache划分为多个层级，每个层级对应的硬盘的处理能力不同，处理能力弱的硬盘不能抢占处理能力强的硬盘对应的cache内部页面资源，因此处理能力强的硬盘对应的cache空间能够提前释放出来，在一定程度上克服了现有技术中cache内部页面资源抢占现象，避免了慢速盘对于高速盘性能的影响。
图4为本发明存储系统服务质量控制方法实施例二的流程图，如图4所示，本实施例提供了一种存储系统服务质量控制方法，可以具体包括如下步骤：
步骤401，统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小。
图5为本发明存储系统服务质量控制方法实施例二的应用场景示意图，如图5所示，本实施例具体应用在没有cache分区机制下，根据硬盘的处理能力将整个cache资源划分为多个tier。本实施例的核心为图5中的QoS控制系统，该QoS控制系统可以部署在存储系统内部，也可以部署在存储系统外部进行带外管理。该QoS控制系统通过监控存储系统的业务流量等信息、硬盘的利用率等信息，从而对cache进行划分调整。在存储系统的初始化阶段，对存储系统中硬盘的处理能力信息进行统计，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小。本步骤为QoS控制系统统计存储系统中硬盘的类型和数量，此处的硬盘可以具体为上述图3中所示的物理磁盘，硬盘的类型可以包括但不限于SSD、SAS、SATA等。
步骤402，根据硬盘的处理能力的大小将缓存划分为多个tier。
在获取到存储系统中硬盘的处理能力的大小后，QoS控制系统根据硬盘的处理能力的大小将缓存划分为多个tier。当硬盘的处理能力的大小具体根据当前不同类型硬盘的数量的比例来获取得到时，在根据硬盘的处理能力的大小对cache的页面资源进行划分后，各tier的缓存的页面配额分别根据各tier的缓存对应的一个或多个硬盘的数量来得到。此处以将整个cache划分为三个tier为例进行说明，即tier0、tier1和tier2，分别对应硬盘中的高速盘、中速盘、低速盘，此处的高中低速盘是根据硬盘的类型得到的。例如，假设存储系统中包含SSD、SAS、SATA三种类型的硬盘，其数量分别为4、2、6，则可以将cache划分为三个tier，每个tier的缓存分别对应一种类型的硬盘，三个tier上的页面配额按照2∶1∶3的比例来划分。在本实施例中，在将cache的页面资源划分为多个tier后，以划分后的各tier为单位，分别将cache中各tier内的数据写入各tier的缓存对应的硬盘中，即每个tier分别针对一种或多种类型相似的硬盘。另外，硬盘的处理能力的大小可以具体根据硬盘的性能来获取得到，各硬盘的性能随着硬盘的老化等影响而发生变化，此处的硬盘的性能可以为硬盘在使用过程中由于插拔、机械故障、老化等因素导致的硬盘的当前性能。本实施例以此来对cache的划分，使得划分的tier可以与各硬盘的实际处理能力相关。
步骤403，定期收集存储系统的性能统计信息和资源使用信息。
在存储系统运行过程中，各硬盘的状态会发生变化，在本实施例中，为了提高存储系统的QoS，需要定期调整各tier的缓存的页面配额，从而与硬盘的状态变化相适应，本步骤为QoS控制系统定期收集存储系统的性能统计信息和资源使用信息，此处的性能统计信息包括但不限于硬盘的平均利用率和主机业务的流量，资源使用信息包括但不限于缓存中页面资源的使用信息、各tier的缓存的页面配额的使用信息和计算资源的使用信息。其中，硬盘的平均利用率为不同类型硬盘各自的平均利用率，主机业务的流量为主机业务在不同tier的缓存上产生的历史流量，缓存中页面资源的使用信息为cache中页面资源的使用情况，cache中各tier的缓存的页面配额的使用信息为不同tier上的页面资源的使用情况，计算资源的使用信息可以为CPU等计算资源的使用情况。在本实施例中，QoS控制系统可以按照预设的收集周期来定期收集上述信息。
步骤404，根据所述性能统计信息和所述资源使用信息对所述各tier的缓存的页面配额进行定期调整。
在收集到存储系统内部的性能统计信息和资源使用信息后，QoS控制系统对硬盘的平均利用率、主机业务的流量、cache中页面资源的使用信息、各tier的缓存的页面配额的使用信息和计算资源的使用信息进行分析，通过分析来决策是否对各tier的缓存的页面配额进行调整，并根据收集到的上述信息来进行具体调整。此处的各tier的缓存的页面配额为划分给各tier的缓存的页面资源在cache中整个页面资源中所占的比例。在存储系统的运行过程中，在不同的时刻，上述这些信息是不同的，因此，此处根据收集到的不同信息来对各tier的缓存的页面配额进行调整，以使得划分的各tier可以更加准确地适应当前的存储环境。在本实施例中，整个调整流程是一个负反馈过程，调整后的页面配额信息又会成为下一次调整的依据，根据定期收集的信息对页面配额进行不断调整，直至系统达到一个稳态，整个调整过程可以基于模糊控制等自适应智能算法进行分析和决策。
具体地，在本实施例中，在初始化阶段将cache划分为多个tier，在运行过程中对cache的划分进行调整，即对划分的tier的缓存的页面配额进行调整的过程中，划分后的各tier的缓存的页面配额大于预设的页面配额最小值，即划分后的每个tier内存均存在一个最小配额值，用于保底，避免某个tier出现资源饿死现象。
步骤405，统计所述各tier的缓存的使用信息。
在cache的写盘(destage)过程中，现有技术中的cache基本上都是通过预先设定的整个cache的高低水位标来控制cache执行写盘操作的，在现有的cache分区技术中对于cache分区也是按照高低水位标来控制cache写盘。此处的写盘操作具体为将cache中的数据写到物理硬盘中。在本实施例中，写盘操作以tier为单位进行，具体写盘操作的执行区别于现有技术中的按照高低水位标的控制方式，而是将高低水位标的控制方式分别应用在各tier的缓存中，即对各个tier的缓存分别进行写盘控制，具体的写盘策略根据各tier的高低水位标来确定。本步骤为QoS控制系统统计各tier的缓存的使用信息，此处的各tier的缓存的使用信息可以包括但不限于各tier的缓存的页面使用信息、各tier的缓存对应的硬盘的平均利用率和各tier的缓存的业务量。其中，各tier的缓存的页面使用信息为各tier的缓存的页面资源的使用情况，各tier的缓存对应的硬盘的平均利用率为各tier的缓存对应的所有硬盘的利用率的平均值，各tier的缓存的业务量为各tier的缓存上当前正在处理的业务量和保存的历史时间所处理的业务量。
步骤406，根据所述各tier的缓存的使用信息确定待执行写盘操作的写盘tier。
在获取到各tier的缓存的使用信息后，QoS控制系统根据各tier的缓存的页面使用信息、各tier的缓存对应的硬盘的平均利用率和各tier的缓存的业务量，来确定待执行写盘操作的写盘tier，即决策当前对哪个tier执行写盘操作写盘。
步骤407，统计待执行写盘操作的tier的缓存对应的硬盘当前可支持的业务并发数。
在决策出待执行写盘操作的tier后，QoS控制系统继续统计该待执行写盘操作的tier的缓存对应的硬盘当前可支持的业务并发数，通过该业务并发数来对该待执行写盘操作的tier进行写盘处理。
步骤408，当各层级的缓存中的脏数据达到预设比例时，以各tier的缓存为单位，根据所述各层级的缓存的页面配额，根据统计的所述业务并发数将所述待执行写盘操作的tier的缓存中的数据写入对应的硬盘中。
本实施例通过统计tier的缓存的页面使用情况并结合tier的缓存对应的硬盘的并发情况，来决定是否执行写盘操作以及执行写盘操作的数据量。当缓存中的脏数据达到预设比例时，以各tier的缓存为单位，根据所述各层级的缓存的页面配额，根据统计的业务并发数将待执行写盘操作的tier的缓存中的数据写入对应的硬盘中。其中，由于硬盘的处理能力不仅与硬盘的数量有关，还与业务的类型相关，则可以根据硬盘的处理能力来动态调整业务并发数，从而能够结合业务量和硬盘的性能、页面使用情况来更加准确地控制写盘，避免了现有技术中不停刷盘导致硬盘过于繁忙的缺陷，增加了硬盘的寿命。在本实施例中，在将cache的页面资源划分为多个tier的缓存对应后，以划分后的各tier的缓存为单位，分别将各tier的缓存内的数据写入各tier的缓存对应的硬盘中，即每个tier分别针对一类处理能力接近的硬盘，每个tier之间相互独立，不会相互影响，从而不会出现由于慢速盘拖累快速盘的现象。
进一步地，本实施例在基于tier对主机的业务进行处理时，通过基于tier的页面优先级的排队机制来实现，具体可以包括如下步骤：
步骤409，当接收到业务对应的业务资源请求时，所述业务资源请求中携带tier信息，判断tier信息所代表的tier的缓存的当前页面配额是否小于预设的配额阈值，如果是，则执行步骤410，否则执行步骤412。
当某个tier接收到某个业务对应的业务资源请求时，在该业务资源请求中携带tier信息，该tier信息用于表明该业务资源请求所请求的tier，QoS控制系统判断该tier的缓存的当前页面配额是否小于预设的配额阈值，该配额阈值为预先设定的表征tier的缓存的页面配额是否紧张的值。当该tier的缓存的当前页面配额小于该配额阈值时，表明该tier的缓存的页面配额紧张，则执行步骤410-411，否则执行步骤412。
步骤410，根据所述业务的业务优先级和所述tier的缓存对应的权重值计算所述业务资源请求的请求优先级。
当该tier的缓存的当前页面配额小于该配额阈值时，表明该tier的缓存的页面配额紧张，则需要对业务资源请求进行排队处理，QoS控制系统根据该业务的业务优先级和该tier的缓存对应的权重值来计算该业务资源请求的请求优先级，业务优先级可以由主机根据用户对业务的需求以及业务的性质来设定，tier的缓存对应的权重值可以由QoS控制系统来设定，根据各业务的业务优先级和其所属tier的缓存的权重值，便可以计算得到各业务资源请求的请求优先级。
步骤411，根据所述请求优先级对所述业务资源请求进行排队处理。
在tier的缓存的页面配额紧张时，QoS控制系统便根据请求优先级对该tier的缓存上的业务资源请求进行排队处理，将请求优先级高的业务资源请求排在前面进行优先处理，请求优先级低的业务资源请求则排在后面进行非优先处理。
步骤412，直接对业务资源请求进行处理。
在tier的缓存的页面配额不紧张时，QoS控制系统无需对业务资源请求进行排队处理，可以直接对业务资源请求进行处理，申请相应的页面配额。
需要指出的是，在本实施例中，上述步骤409-412与步骤408之间不存在严格的时序限制，步骤409-412可以在步骤408之前执行，或者同时执行，具体根据实际情况来调整。
本实施例提供了一种存储系统服务质量控制方法，通过统计存储系统中硬盘的处理能力信息，根据硬盘的处理能力信息将cache划分为多个tier，当cache中的脏数据达到预设比例时，以各tier的缓存为单位，根据各tier的缓存的页面配额，分别将cache中各tier内的数据写入各tier的缓存对应的硬盘中；本实施例基于存储系统中硬盘的处理能力来动态划分cache资源，将整个cache的页面资源逻辑划分为多个tier，并进行配额管理和申请控制，避免了慢速盘对于高速盘性能的影响；且各个tier的缓存的页面配额根据当前存储系统的性能统计信息和资源使用信息进行动态调整，保证了资源的合理利用；本实施例以tier为范围进行写盘，避免了现有技术中采用全局destage策略的滞后性所带来的cache页面释放不及时的问题；同时，本实施例克服了现有技术中cache内部页面资源抢占现象。
图6为本发明存储系统服务质量控制方法实施例三的流程图，如图6所示，本实施例提供了一种存储系统服务质量控制方法，可以具体包括如下步骤：
步骤601，根据主机业务的业务类型将缓存划分为多个缓存分区。
图7为本发明存储系统服务质量控制方法实施例三的应用场景示意图，如图7所示，本实施例具体应用在cache分区机制下，根据硬盘的处理能力分别将各cache分区的资源划分为多个tier。本步骤为根据主机业务的业务类型，将cache先划分为多个cache分区，此处以划分为cache分区一、cache分区二和cache分区三为例进行说明。
步骤602，统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小，本步骤可以类似上述步骤401，此处不再赘述。
步骤603，根据硬盘的处理能力的大小将各cache分区分别划分为多个tier。
在获取到存储系统中硬盘的处理能力的大小后，QoS控制系统根据硬盘的处理能力的大小将各cache分区划分为多个tier。当硬盘的处理能力的大小具体根据当前不同类型硬盘的数量的比例来获取得到时，根据硬盘的处理能力的大小对各cache分区的页面资源进行分别划分，具体将各cache分区分别划分为多个tier，此处以将各cache分区均划分为三个tier为例进行说明，即tier0、tier1和tier2，分别对应硬盘中的高速盘、中速盘、低速盘。在本实施例中，在将cache分区的页面资源划分为多个tier后，以划分后的各tier的缓存为单位，分别对各tier的缓存对应的硬盘的数据进行存储处理，即每个tier分别针对一种或多种类型相似的硬盘。
步骤604，定期收集存储系统内部的性能统计信息和资源使用信息，本步骤可以类似上述步骤403，此处不再赘述。
步骤605，根据性能统计信息和资源使用信息对各tier的缓存的页面配额进行定期调整，本步骤可以类似上述步骤404，此处不再赘述。
步骤606，统计各tier的缓存的使用信息，本步骤可以类似上述步骤405，此处不再赘述。
步骤607，根据各tier的缓存的使用信息确定待执行写盘操作的待写盘tier，本步骤可以类似上述步骤406，此处不再赘述。
步骤608，统计待写盘tier的缓存对应的硬盘当前可支持的业务并发数，本步骤可以类似上述步骤407，此处不再赘述。
步骤609，当各层级的缓存中的脏数据达到预设比例时，以各tier的缓存为单位，根据所述各层级的缓存的页面配额，根据统计的业务并发数将待执行写盘操作的tier的缓存中的数据写入对应的硬盘中，本步骤可以类似上述步骤408，此处不再赘述。
步骤610，当接收到业务对应的业务资源请求时，所述业务资源请求中携带tier信息，判断tier信息所代表的tier的缓存的当前页面配额是否小于预设的配额阈值，如果是，则执行步骤611，否则执行步骤613，本步骤可以类似上述步骤409，此处不再赘述。
步骤611，根据所述业务的业务优先级和所述tier的缓存对应的权重值计算所述业务资源请求的请求优先级，本步骤可以类似上述步骤410，此处不再赘述。
步骤612，根据所述请求优先级对所述业务资源请求进行排队处理，本步骤可以类似上述步骤411，此处不再赘述。
步骤613，直接对业务资源请求进行处理，本步骤可以类似上述步骤412，此处不再赘述。
本实施例提供了一种存储系统服务质量控制方法，通过统计存储系统中硬盘的处理能力信息，根据硬盘的处理能力大小将cache划分为多个层级，当某个层级的cache中的脏数据达到预设比例时，将该层级的cache中的数据写入该层级的缓存对应的硬盘中；在本发明实施例中，由于将cache划分为多个层级，每个层级对应的硬盘的处理能力不同，处理能力弱的硬盘不能抢占处理能力强的硬盘对应的cache内部页面资源，因此处理能力强的硬盘对应的cache空间能够提前释放出来，在一定程度上克服了现有技术中cache内部页面资源抢占现象，避免了慢速盘对于高速盘性能的影响；且各个tier的缓存的页面配额根据当前存储系统的性能统计信息和资源使用信息进行动态调整，保证了资源的合理利用；本实施例以tier为范围进行destage，避免了现有技术中采用全局destage策略的滞后性所带来的cache页面释放不及时的问题；同时，本实施例结合cache分区，在一个cache分区内部也逻辑划分为多个tier，解决了同一cache分区内部由于快慢盘导致的页面资源抢占的问题。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8为本发明存储系统服务质量控制系统实施例一的结构示意图，如图8所示，本实施例提供了一种存储系统服务质量控制系统，可以具体执行上述方法实施例一中的各个步骤，此处不再赘述。本实施例提供的存储系统服务质量控制系统可以具体包括第一统计模块801、第一划分模块802和写盘模块803。其中，第一统计模块801用于统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小。第一划分模块802用于根据硬盘的处理能力的大小将缓存划分为多个层级，各层级的缓存分别对应所述存储系统中的一个或多个硬盘，所述各层级的缓存的页面配额分别根据所述各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得。写盘模块803用于对于脏数据达到预设比例的层级的缓存，将所述层级的缓存的数据写入所述层级的缓存对应的硬盘中。
图9为本发明存储系统服务质量控制系统实施例二的结构示意图，如图9所示，本实施例提供了一种存储系统服务质量控制系统，可以具体执行上述方法实施例二或实施例三中的各个步骤，此处不再赘述。本实施例提供的存储系统服务质量控制系统在上述图8所示的基础之上，还包括第二划分模块901。第二划分模块901用于根据主机业务的业务类型将缓存划分为多个缓存分区。第一划分模块802具体用于根据硬盘的处理能力的大小将各所述缓存分区分别划分为多个层级。
进一步地，本实施例提供的存储系统服务质量控制系统还可以包括收集模块902和页面配额调整模块903。其中，收集模块902用于定期收集存储系统的性能统计信息和资源使用信息，所述性能统计信息包括硬盘的平均利用率和主机业务的流量，所述资源使用信息包括缓存中页面资源的使用信息、各层级的缓存的页面配额的使用信息和计算资源的使用信息。页面配额调整模块903用于根据所述性能统计信息和所述资源使用信息对所述各层级的缓存的页面配额进行定期调整。其中，调整后的所述各层级的缓存的页面配额大于预设的页面配额最小值。
进一步地，本实施例提供的存储系统服务质量控制系统还可以包括第二统计模块904、决策模块905和第三统计模块906。其中，第二统计模块904用于统计所述各层级的缓存的使用信息，所述各层级的缓存的使用信息包括所述各层级的缓存的页面使用信息、所述各层级的缓存对应的硬盘的平均利用率和所述各层级的缓存的业务量。决策模块905用于根据所述各层级的缓存的使用信息确定待执行写盘操作的层级。第三统计模块906用于统计所述层级的缓存对应的硬盘当前可支持的业务并发数。写盘模块803具体用于对于脏数据达到预设比例的层级的缓存，根据统计的所述业务并发数将所述待执行写盘操作的层级的缓存中的数据写入对应的硬盘中。
进一步地，本实施例提供的存储系统服务质量控制系统还可以包括计算模块907和请求控制模块908。其中，计算模块907用于当接收到业务对应的业务资源请求时，所述业务资源请求中携带层级信息，若所述层级信息所代表的层级的缓存的当前页面配额小于预设的配额阈值，则根据所述业务的业务优先级和所述层级的缓存对应的权重值计算所述业务资源请求的请求优先级。请求控制模块908用于根据所述请求优先级对所述业务资源请求进行排队处理。
在实际应用中，本实施例中的存储系统服务质量控制系统可以由系统性能数据监控模块、cache页面划分及配额调整模块、性能数据分析及决策模块和算法及规则支撑模块四个模块构成，上述各模块可以分别集成在这四个大模块中。系统性能数据监控模块主要负责收集整个存储系统内部的性能信息数据，包括但不限于：主机业务流量、硬盘平均利用率、cache页面使用情况、cache页面tier配额使用情况、CPU等计算资源使用情况等。算法及规则支撑模块主要负责提供包括模糊控制算法在内的各种自适应的人工智能算法以及静态规则，用于协助性能数据分析进行控制点和控制粒度的决策。性能数据分析及决策模块主要负责在自适应算法和静态规则的支撑下，对收集来的性能数据进行分析，从而生成QoS控制的控制点和控制粒度。cache页面划分及配额调整模块主要负责对于cache页面按照硬盘性能进行逻辑划分，并根据性能分析的结果来动态调整各个划分部分的页面配额。其中，第一统计模块801、收集模块902、第二统计模块904和第三统计模块906可以集成在系统性能数据监控模块中，第一划分模块802、第二划分模块901、页面配额调整模块903可以集成在cache页面划分及配额调整模块中，决策模块905、写盘模块803和请求控制模块908可以集成在性能数据分析及决策模块中，计算模块907可以集成在算法及规则支撑模块中。
本实施例提供了一种存储系统服务质量控制系统，通过统计存储系统中硬盘的处理能力信息，根据硬盘的处理能力大小将cache划分为多个层级，当某个层级的cache中的脏数据达到预设比例时，将该层级的cache中的数据写入该层级的缓存对应的硬盘中；在本发明实施例中，由于将cache划分为多个层级，每个层级对应的硬盘的处理能力不同，处理能力弱的硬盘不能抢占处理能力强的硬盘对应的cache内部页面资源，因此处理能力强的硬盘对应的cache空间能够提前释放出来，在一定程度上克服了现有技术中cache内部页面资源抢占现象，避免了慢速盘对于高速盘性能的影响；且各个tier的缓存的页面配额根据当前存储系统的性能统计信息和资源使用信息进行动态调整，保证了资源的合理利用；本实施例以tier为范围进行destage，避免了现有技术中采用全局destage策略的滞后性所带来的cache页面释放不及时的问题；同时，本实施例结合cache分区，在一个cache分区内部也逻辑划分为多个tier，解决了同一cache分区内部由于快慢盘导致的页面资源抢占的问题。
本实施例还提供了一种存储系统，可以具体包括主机、缓存和上述图8或图9所示的存储系统服务质量控制系统。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种存储系统服务质量控制方法，其特征在于，包括：
根据主机业务的业务类型将缓存划分为多个缓存分区；
统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小；
根据所述硬盘的处理能力的大小将各所述缓存分区划分为多个层级，各层级的缓存分别对应所述存储系统中的一个或多个硬盘，所述各层级的缓存的页面配额分别根据所述各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得，并且，定期调整所述各层级的缓存的页面配额；
对于脏数据达到预设比例的层级的缓存，将所述层级的缓存内的数据写入所述层级的缓存对应的硬盘中。
2.根据权利要求1所述的方法，其特征在于，所述定期调整所述各层级的缓存的页面配额包括：定期收集存储系统的性能统计信息和资源使用信息，所述性能统计信息包括硬盘的平均利用率和主机业务的流量，所述资源使用信息包括缓存中页面资源的使用信息、各层级的缓存的页面配额的使用信息和计算资源的使用信息；
根据所述性能统计信息和所述资源使用信息对所述各层级的缓存的页面配额进行定期调整，
其中，调整后的所述各层级的缓存的页面配额大于预设的页面配额最小值。
3.根据权利要求1所述的方法，其特征在于，还包括：
统计所述各层级的缓存的使用信息，所述各层级的缓存的使用信息包括所述各层级的缓存的页面使用信息、所述各层级的缓存对应的硬盘的平均利用率和所述各层级的缓存的业务量；
根据所述各层级的缓存的使用信息确定待执行写盘操作的层级的缓存；
统计所述待执行写盘操作的层级的缓存对应的硬盘当前可支持的业务并发数；
所述将所述层级的缓存内的数据写入所述层级的缓存对应的硬盘中具体为：
根据统计的所述业务并发数将所述待执行写盘操作的层级的缓存中的数据写入对应的硬盘中。
4.根据权利要求1所述的方法，其特征在于，还包括：
当接收到业务对应的业务资源请求时，所述业务资源请求中携带层级信息，若所述层级信息所代表的层级的缓存的当前页面配额小于预设的配额阈值，则根据所述业务的业务优先级和所述层级的缓存对应的权重值计算所述业务资源请求的请求优先级；
根据所述请求优先级对所述业务资源请求进行排队处理。
5.一种存储系统服务质量控制系统，其特征在于，包括：
第二划分模块，用于根据主机业务的业务类型将缓存划分为多个缓存分区；
第一统计模块，用于统计存储系统中硬盘的处理能力信息，所述处理能力信息至少包括所述硬盘的类型、数量和性能的其中一个，通过所述处理能力信息获得所述硬盘的处理能力的大小；
第一划分模块，用于根据所述硬盘的处理能力的大小将各所述缓存分区划分为多个层级，各层级的缓存分别对应所述存储系统中的一个或多个硬盘，所述各层级的缓存的页面配额分别根据所述各层级的缓存对应的一个或多个硬盘的处理能力信息预先分配获得；
写盘模块，用于对于脏数据达到预设比例的层级的缓存，将所述层级的缓存的数据写入所述层级的缓存对应的硬盘中；
所述控制系统还包括：
页面配额调整模块，用于定期调整所述各层级的缓存的页面配额。
6.根据权利要求5所述的系统，其特征在于，还包括：
收集模块，用于定期收集存储系统的性能统计信息和资源使用信息，所述性能统计信息包括硬盘的平均利用率和主机业务的流量，所述资源使用信息包括缓存中页面资源的使用信息、各层级的缓存的页面配额的使用信息和计算资源的使用信息；
所述页面配额调整模块，具体用于根据所述性能统计信息和所述资源使用信息对所述各层级的缓存的页面配额进行定期调整；
其中，调整后的所述各层级的缓存的页面配额大于预设的页面配额最小值。
7.根据权利要求5所述的系统，其特征在于，还包括：
第二统计模块，用于统计所述各层级的缓存的使用信息，所述各层级的缓存的使用信息包括所述各层级的缓存的页面使用信息、所述各层级的缓存对应的硬盘的平均利用率和所述各层级的缓存的业务量；
决策模块，用于根据所述各层级的缓存的使用信息确定待执行写盘操作的层级；
第三统计模块，用于统计所述待执行写盘操作的层级的缓存对应的硬盘当前可支持的业务并发数；
所述写盘模块具体用于对于脏数据达到预设比例的层级的缓存，根据统计的所述业务并发数将所述待执行写盘操作的层级的缓存中的数据写入对应的硬盘中。
8.根据权利要求5所述的系统，其特征在于，还包括：
计算模块，用于当接收到业务对应的业务资源请求时，所述业务资源请求中携带层级信息，若所述层级信息所代表的层级的缓存的当前页面配额小于预设的配额阈值，则根据所述业务的业务优先级和所述层级的缓存对应的权重值计算所述业务资源请求的请求优先级；
请求控制模块，用于根据所述请求优先级对所述业务资源请求进行排队处理。
9.一种存储系统，其特征在于，包括主机、缓存和权利要求5-8中任一项所述的存储系统服务质量控制系统。
CN201110370798.5A 2011-11-21 2011-11-21 存储系统服务质量控制方法、系统和存储系统 Active CN102508619B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110370798.5A CN102508619B (zh) 2011-11-21 2011-11-21 存储系统服务质量控制方法、系统和存储系统
EP12851880.0A EP2713278B1 (en) 2011-11-21 2012-10-19 Method and system for controlling quality of service of storage system, and storage system
PCT/CN2012/083171 WO2013075560A1 (zh) 2011-11-21 2012-10-19 存储系统服务质量控制方法、系统和存储系统
US14/283,783 US8909868B2 (en) 2011-11-21 2014-05-21 Quality of service control method for storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110370798.5A CN102508619B (zh) 2011-11-21 2011-11-21 存储系统服务质量控制方法、系统和存储系统

Publications (2)

Publication Number Publication Date
CN102508619A CN102508619A (zh) 2012-06-20
CN102508619B true CN102508619B (zh) 2014-09-17

Family

ID=46220714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110370798.5A Active CN102508619B (zh) 2011-11-21 2011-11-21 存储系统服务质量控制方法、系统和存储系统

Country Status (4)

Country Link
US (1) US8909868B2 (zh)
EP (1) EP2713278B1 (zh)
CN (1) CN102508619B (zh)
WO (1) WO2013075560A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508619B (zh) * 2011-11-21 2014-09-17 华为数字技术（成都）有限公司 存储系统服务质量控制方法、系统和存储系统
JP6131170B2 (ja) * 2013-10-29 2017-05-17 株式会社日立製作所 計算機システム、及びデータ配置制御方法
JP6273773B2 (ja) * 2013-10-30 2018-02-07 富士ゼロックス株式会社 情報処理装置、情報処理システムおよびプログラム
CN103577349B (zh) * 2013-11-06 2016-11-23 华为技术有限公司 在高速缓存中选择数据进行刷盘的方法和装置
CN104679589A (zh) * 2013-11-27 2015-06-03 中兴通讯股份有限公司 系统资源均衡调整方法及装置
US10459892B2 (en) 2014-04-23 2019-10-29 Qumulo, Inc. Filesystem hierarchical aggregate metrics
US9671959B2 (en) * 2014-12-02 2017-06-06 Western Digital Technologies, Inc. Tiered sub-unit throughputs in mass storage assemblies
US9946465B1 (en) * 2014-12-31 2018-04-17 EMC IP Holding Company LLC Adaptive learning techniques for determining expected service levels
US9836480B2 (en) 2015-01-12 2017-12-05 Qumulo, Inc. Filesystem capacity and performance metrics and visualizations
US11132336B2 (en) 2015-01-12 2021-09-28 Qumulo, Inc. Filesystem hierarchical capacity quantity and aggregate metrics
CN106484310B (zh) * 2015-08-31 2020-01-10 华为数字技术（成都）有限公司 一种存储阵列操作方法和装置
CN106502592A (zh) * 2016-10-26 2017-03-15 郑州云海信息技术有限公司 固态硬盘缓存块回收方法及系统
US10095729B2 (en) 2016-12-09 2018-10-09 Qumulo, Inc. Managing storage quotas in a shared storage system
CN107196866B (zh) * 2017-06-19 2020-09-01 阿里巴巴集团控股有限公司 一种流量控制方法和装置
US10073856B1 (en) 2018-04-30 2018-09-11 Qumulo, Inc. Continuous replication for secure distributed filesystems
US11360936B2 (en) 2018-06-08 2022-06-14 Qumulo, Inc. Managing per object snapshot coverage in filesystems
CN109271111A (zh) * 2018-09-26 2019-01-25 郑州云海信息技术有限公司 一种数据刷新方法、装置和计算机可读存储介质
US10621147B1 (en) 2018-12-19 2020-04-14 Qumulo, Inc. Replicating file system objects in distributed file systems
CN109669796B (zh) * 2018-12-20 2022-02-11 湖南快乐阳光互动娱乐传媒有限公司 一种磁盘故障的预测方法和装置
US10534758B1 (en) 2018-12-20 2020-01-14 Qumulo, Inc. File system cache tiers
US10474635B1 (en) * 2018-12-21 2019-11-12 Qumulo, Inc. Dynamic evaluation and selection of file system pre-fetch policy
US10614033B1 (en) 2019-01-30 2020-04-07 Qumulo, Inc. Client aware pre-fetch policy scoring system
US11151092B2 (en) 2019-01-30 2021-10-19 Qumulo, Inc. Data replication in distributed file systems
CN110362275B (zh) * 2019-07-10 2021-09-07 深圳大普微电子科技有限公司 提升固态硬盘服务质量的方法及固态硬盘
CN110620818B (zh) * 2019-09-18 2022-04-05 东软集团股份有限公司 一种实现节点分配的方法、装置及相关设备
US10725977B1 (en) 2019-10-21 2020-07-28 Qumulo, Inc. Managing file system state during replication jobs
CN111198786B (zh) * 2019-12-30 2023-08-22 深圳创新科技术有限公司 缓存磁盘支持热插拔的方法和装置
US10795796B1 (en) 2020-01-24 2020-10-06 Qumulo, Inc. Predictive performance analysis for file systems
US10860372B1 (en) 2020-01-24 2020-12-08 Qumulo, Inc. Managing throughput fairness and quality of service in file systems
US11151001B2 (en) 2020-01-28 2021-10-19 Qumulo, Inc. Recovery checkpoints for distributed file systems
US10860414B1 (en) 2020-01-31 2020-12-08 Qumulo, Inc. Change notification in distributed file systems
CN111352589B (zh) * 2020-02-24 2021-12-10 苏州浪潮智能科技有限公司 一种分布式存储的方法、装置、设备及可读介质
US10936551B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Aggregating alternate data stream metrics for file systems
US10936538B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Fair sampling of alternate data stream metrics for file systems
CN111555791B (zh) * 2020-03-31 2022-04-08 北京控制工程研究所 一种高可靠高频率的卫星无线数据采集系统及方法
US11775481B2 (en) 2020-09-30 2023-10-03 Qumulo, Inc. User interfaces for managing distributed file systems
CN112306901B (zh) * 2020-11-16 2022-07-29 新华三大数据技术有限公司 基于分层存储系统的刷盘方法、装置、电子设备及介质
US11157458B1 (en) 2021-01-28 2021-10-26 Qumulo, Inc. Replicating files in distributed file systems using object-based data storage
CN113031858B (zh) * 2021-02-10 2022-09-20 山东英信计算机技术有限公司 一种基于多双活存储的数据处理方法、系统及介质
US11461241B2 (en) 2021-03-03 2022-10-04 Qumulo, Inc. Storage tier management for file systems
US11132126B1 (en) 2021-03-16 2021-09-28 Qumulo, Inc. Backup services for distributed file systems in cloud computing environments
US11567660B2 (en) 2021-03-16 2023-01-31 Qumulo, Inc. Managing cloud storage for distributed file systems
US11669255B2 (en) 2021-06-30 2023-06-06 Qumulo, Inc. Distributed resource caching by reallocation of storage caching using tokens and agents with non-depleted cache allocations
CN115981548A (zh) * 2021-10-14 2023-04-18 华为技术有限公司 一种流控方法及装置
US11294604B1 (en) 2021-10-22 2022-04-05 Qumulo, Inc. Serverless disk drives based on cloud storage
US11354273B1 (en) 2021-11-18 2022-06-07 Qumulo, Inc. Managing usable storage space in distributed file systems
US11599508B1 (en) 2022-01-31 2023-03-07 Qumulo, Inc. Integrating distributed file systems with object stores
US11722150B1 (en) 2022-09-28 2023-08-08 Qumulo, Inc. Error resistant write-ahead log
US11729269B1 (en) 2022-10-26 2023-08-15 Qumulo, Inc. Bandwidth management in distributed file systems
CN115469817A (zh) * 2022-11-03 2022-12-13 广东睿江云计算股份有限公司 提升磁盘QoS的方法、装置、计算机设备及存储介质
US11921677B1 (en) 2023-11-07 2024-03-05 Qumulo, Inc. Sharing namespaces across file system clusters
US11934660B1 (en) 2023-11-07 2024-03-19 Qumulo, Inc. Tiered data storage with ephemeral and persistent tiers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135994A (zh) * 2007-09-07 2008-03-05 杭州华三通信技术有限公司 一种划分缓存空间的方法和装置以及缓存控制器
CN101609432A (zh) * 2009-07-13 2009-12-23 中国科学院计算技术研究所 共享缓存管理系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324621B2 (en) * 1998-06-10 2001-11-27 International Business Machines Corporation Data caching with a partially compressed cache
US7107403B2 (en) * 2003-09-30 2006-09-12 International Business Machines Corporation System and method for dynamically allocating cache space among different workload classes that can have different quality of service (QoS) requirements where the system and method may maintain a history of recently evicted pages for each class and may determine a future cache size for the class based on the history and the QoS requirements
JP4819369B2 (ja) * 2005-02-15 2011-11-24 株式会社日立製作所 ストレージシステム
JP4813843B2 (ja) * 2005-08-04 2011-11-09 株式会社日立製作所 ストレージ装置、ディスクキャッシュ制御方法及びディスクキャッシュの容量割当方法
JP2008181243A (ja) * 2007-01-23 2008-08-07 Hitachi Ltd ストレージシステムのキャッシュパーティション領域の設定を制御するデータベース管理システム
US8074028B2 (en) * 2007-03-12 2011-12-06 Citrix Systems, Inc. Systems and methods of providing a multi-tier cache
CN101373445B (zh) * 2008-09-09 2011-10-26 创新科存储技术（深圳）有限公司 一种内存调度方法及装置
CN102508619B (zh) * 2011-11-21 2014-09-17 华为数字技术（成都）有限公司 存储系统服务质量控制方法、系统和存储系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101135994A (zh) * 2007-09-07 2008-03-05 杭州华三通信技术有限公司 一种划分缓存空间的方法和装置以及缓存控制器
CN101609432A (zh) * 2009-07-13 2009-12-23 中国科学院计算技术研究所 共享缓存管理系统及方法

Also Published As

Publication number Publication date
EP2713278A4 (en) 2014-06-25
US20140258609A1 (en) 2014-09-11
EP2713278A1 (en) 2014-04-02
EP2713278B1 (en) 2016-09-21
CN102508619A (zh) 2012-06-20
US8909868B2 (en) 2014-12-09
WO2013075560A1 (zh) 2013-05-30

Similar Documents

Publication Publication Date Title
CN102508619B (zh) 存储系统服务质量控制方法、系统和存储系统
KR102362045B1 (ko) 멀티-티어 올-플래시 데이터센터의 자동 데이터 배치 관리자
US9785353B1 (en) Techniques for automated evaluation and movement of data between storage tiers for thin devices
US9450879B2 (en) Adaptive bandwidth throttling
CA2942665C (en) Coordinated admission control for network-accessible block storage
US7401198B2 (en) Maximizing storage system throughput by measuring system performance metrics
US20140351531A1 (en) Apparatus and method for managing storage of data blocks
US9021200B1 (en) Data storage system with predictive management of physical storage use by virtual disks
US9582433B2 (en) Disk array flushing method and disk array flushing apparatus
JP6260407B2 (ja) ストレージ管理装置、性能調整方法及び性能調整プログラム
EP2494436A1 (en) Allocating storage memory based on future use estimates
US10521124B1 (en) Application-specific workload-based I/O performance management
US20220326872A1 (en) Method for selecting a data block to be collected in gc and storage device thereof
US8904119B2 (en) Method and structures for performing a migration of a logical volume with a serial attached SCSI expander
CN105242955A (zh) 一种虚拟机磁盘输入输出调度方法及系统
CN103577349B (zh) 在高速缓存中选择数据进行刷盘的方法和装置
US20180300065A1 (en) Storage resource management employing end-to-end latency analytics
CN106569728B (zh) 多磁盘阵列raid共享写缓存的处理方法及装置
CN102779017A (zh) 一种固态盘中数据缓存区的控制方法
Ge et al. Chewanalyzer: Workload-aware data management across differentiated storage pools
CN110865768B (zh) 写缓存资源分配方法、装置、设备以及存储介质
CN109274729B (zh) 一种面向多租户的混合存储设备资源隔离的自适应方法
CN114925003A (zh) 控制nvmetm设备中的i/o q连接
CN116343849B (zh) 提升ssd混合读写性能的方法、装置、存储介质及设备
CN117891416B (zh) 基于scsi协议的取消映射操作优化方法、装置及可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Applicant before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD. TO: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220831

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.