CN102388381B - 用于分配共享存储资源的系统和方法 - Google Patents
用于分配共享存储资源的系统和方法 Download PDFInfo
- Publication number
- CN102388381B CN102388381B CN200980155140.3A CN200980155140A CN102388381B CN 102388381 B CN102388381 B CN 102388381B CN 200980155140 A CN200980155140 A CN 200980155140A CN 102388381 B CN102388381 B CN 102388381B
- Authority
- CN
- China
- Prior art keywords
- application
- port
- shared storage
- storage device
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000009826 distribution Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000036962 time dependent Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
公开了一种用于分配共享存储系统上的资源的系统和方法。该系统（10）可以包括共享存储设备（12）以及与多个I/O端口（16）相关联的多个端口调度器（14），所述多个I/O端口（16）与所述共享存储设备（12）通信。每个端口调度器（14）被配置为对利用相关联的端口的每个应用（18）实施并发等级和共享存储设备（12）的存储资源比例共享。该系统（10）还可以包括资源控制器（17），其被配置为既监视利用所述I/O端口（16）中的至少一个的应用（18）的性能特性并且调节端口调度器（14）对所述应用（18）中的至少一部分的并发等级和存储资源比例共享参数，以便改变共享存储设备（12）的资源的分配。
Description
背景技术
典型地，大规模共享存储系统向具有不同性能要求的多个应用或工作负荷级别提供数据。用于控制这样的存储系统中的资源分配的现有服务质量（Quality of Service, QoS）方法通常分为三个主要类别：（1）基于公平调度算法的I/O调度，（2）在磁盘的时间分片，以及（3）控制理论方法。现有资源分配技术的局限在于它们主要集中于公平性却没有考虑公平性和I/O效率之间的权衡。
当具有不同性能要求、优先级和工作负荷特性的多个应用共享存储器时，可能难以确保每个都接受到特定的性能要求。此外，如果共享的存储资源有限，则越高优先级的应用可能体验到越少的性能衰退。存储器管理员常常通过在应用之间对共享存储器进行静态划分来解决该问题。然而，此方法丢掉了使用共享存储器的许多好处，原因在于一个应用不能利用另一应用所留下的空闲资源。
因此，在共享存储分配的情况下出现了多种问题。第一，如何能够对共享存储设备的随时间变化的不同存储工作负荷进行处理以确保每个存储工作负荷至少达到其目标性能？第二，在当不可能满足所有目标性能时的时段期间，如何能够动态分配共享存储器以使得最高优先级的工作负荷受到的影响最小？以及第三，如何在共享存储设备具有多个独立端口，并且工作负荷可以使用任意随时间变化的端口组合来访问共享资源时实现以上情形？
因此，向在相关联的处理系统上执行的应用分配共享存储资源同时使得空闲资源最小化的有效技术已经被证明是难以达到（elusive）的。
附图说明
图1是依据本发明一个实施例的用于控制共享存储资源的分配的系统的示意性图示；
图2是依据本发明另一实施例的用于控制共享存储资源的分配的系统的示意性图示；
图3是描绘依据本发明又一实施例的控制共享存储资源的分配的方法的流程图。
具体实施方式
根据结合借助示例一起举例说明了本发明的特征的附图所进行的以下详细描述，本发明的特征和优势将是显而易见的。
在多个应用之间共享的存储系统中，利用所述存储系统的每个应用具有使用诸如延迟时间、吞吐量等之类的该应用感兴趣的度量所指定的性能目标。可以给每个应用赋予以优先级，其表示该应用在共享存储系统的客户之间的相对重要性。因此，假设可获得充足的资源，则共享存储系统的一个目标可能是向应用提供所需水平的性能，诸如I/O延迟时间或I/O吞吐量。在峰值负荷期间，当共享存储资源量可能不足以适应所有应用时，能够也可能向较高优先级应用分配资源同时限制分配到较低优先级应用的资源。
本发明提供了用于在对多种多样的应用I/O要求以及变化的工作负荷需求和特性进行处理时分配共享存储资源以满足应用和/或整体系统性能目标的有效机制。例如，可以阻止失控（runaway）应用急剧降低其它应用的性能。
典型地，许多共享存储系统具有多个I/O端口，应用通过这些I/O端口访问共享数据。在本发明的一个实施例中，利用资源控制器来调整在每个端口运行的独立端口调度器的参数。在系统上执行的每个应用可以使用I/O端口中的一个或多个来访问数据，并且可以通过每个端口发送或接收不同的数据量。所述资源控制器可以根据工作负荷条件、应用混合、工作负荷性能目标等来调整每个端口处的端口调度器的参数设置。也可以进行协调横跨多个端口的参数设置以达到单独的应用的整体性能目标。
如图1所示，提供了一种用于控制共享存储资源的分配的系统10。这样的系统可以包括共享存储设备12以及与多个I/O端口16相关联的多个端口调度器14，所述多个I/O端口16与所述共享存储设备12通信。在该系统内执行的一个或多个应用18能够利用一个或多个I/O端口16来访问所述共享存储设备。在一个实施例中，每个端口调度器被配置为对利用相关联的端口的每个应用实施并发等级和共享存储设备的存储资源比例共享。在另一实施例中，每个端口调度器被配置为对利用相关联的端口的每个应用实施并发等级。该系统还可以包括资源控制器17，其被配置为既监视利用I/O端口中的至少一个的应用的性能特性又调整端口调度器对一个或多个应用的并发等级和存储资源比例共享参数，以便在应用之间改变共享存储设备的资源的分配。应当注意，在其它实施例中，所述资源控制器可以被配置为监视并发等级而不是存储资源比例共享参数。
此外，在一个实施例中，所述资源控制器可以被配置为调整对I/O端口的资源分配以补偿随时间变化的工作负荷的特性。这样，当共享资源在多个I/O端口中的一部分处变得有限时，资源控制器能够确定存储资源的总可用共享，并且能够基于该总共享把共享存储资源重新分配给I/O端口。因此，所述资源控制器能够从较低数据业务量的端口释放未使用或者较少使用的共享存储资源，并且将这些资源重新分配给较高数据业务量的端口，以便提高系统的效率。应当注意，存储资源的总可用共享是可用于再分配的存储资源量。
可以追踪和调整各种性能参数以横跨在系统上执行的应用有效地分配共享存储资源。在一个实施例中，有用的参数可以包括并发等级和比例共享。比例共享可以被定义为对特定应用可用的所分配端口资源的比例。另一方面，并发等级可以被定义为有多少来自应用的I/O请求被同时允许在端口处进行着。这两个参数以资源控制器的等级进行设置和监视。另外，例如，可以从整个存储系统中向利用一个或多个端口的应用分配比保证给定该应用的优先级和/或所需性能特性的共享资源更多的共享资源。
预见到将从根据本发明各方面的共享存储分配技术获益的多种共享存储设备技术。非限制性示例包括共享存储阵列系统、网络附连存储系统、共享磁盘文件系统、直接附连存储系统、存储区域网络系统、独立冗余磁盘阵列（RAID）阵列系统等。
如已描述的，可以利用双层体系结构来分配共享存储资源。在较低层，在每个I/O端口处存在有端口调度器，其能够实施每个工作负荷的简单资源分配。所述工作负荷可以是能够与其余I/O区分开并且具有普通优先级（common priority）和性能目标的任何I/O流。例如，工作负荷可以被定义为起于指定应用、指定应用群组、来自指定主机计算机或在主机处的特定I/O适配器的I/O、或者简单地为标记有通用标签的I/O的I/O请求流。假设有足够的可用未完成（outstanding）I/O，这些端口调度器确保了应用工作负荷接收到通过该I/O端口所获得的总吞吐量的一定比例。此外，这些调度器还通过给定I/O端口将每个应用的并发等级限制为指定值，或者换句话说，根据工作负荷能够被同时处理的I/O总数受到限制。在一个实施例中，单个集中化端口调度器可以使用单个参数来实施在资源控制器处进行的资源分配。在另一实施例中，端口调度器可以采用多于一个参数。例如，可以使用确定应用对本地端口的相对共享的共享参数以及确定从本地端口引到共享系统的相对负荷的并发限度。因此，端口调度器可以调节或限制并发等级、比例共享、或者并发等级和比例共享二者。
所述端口调度器可以驻留在系统内的从那里可以在I/O端口级对共享存储分配进行调节的任何位置。例如，在一个实施例中，端口调度器可以位于共享存储设备上，或者在共享存储设备的固件内实现。在另一示例中，端口调度器可以位于应用服务器内。在又一示例中，端口调度器可以位于沿着应用服务器和共享存储设备之间的数据通信路径的任意位置。
在较高层，可以利用对系统中执行的应用的性能进行监视的资源控制器，并且所述资源控制器可以定期调整端口调度器的参数以试图满足一个或多个应用的性能要求。例如，在一个实施例中，应用可以要求用于I/O请求的指定吞吐量，并且资源控制器因此可以相应地调整在端口调度器处的资源分配。例如，考虑到系统具有两个工作负荷：具有0.03秒的严格I/O响应时间要求的在线事务处理（online transaction processing, OLTP）工作负荷，以及具有200MB/秒的长期吞吐量要求的备份应用。正常地，当OLTP工作负荷呈现低负荷时，资源控制器可以把端口处资源的70％给备份应用，这是因为其余30％足够给OLTP I/O请求0.03秒或更低的响应时间。然而，在其它时候，当OLTP工作负荷呈现请求突发时，资源控制器可以将针对OLTP的资源分配临时改变为90％以使得OLTP I/O请求能够在所要求的0.03秒中得到服务。由于备份工作负荷的200MB/秒要求是长期要求，所以对其的资源分配的临时减少将不会妨碍其要求。
应当注意，预见到可以在如本文所描述的系统中执行的众多类型的应用。应用的非限制性示例包括web使能的数据库应用、客户端服务器应用、备份应用、流视频应用等。
对共享存储资源分配所进行的调整也可能受到已经对特定应用所赋予的优先级的影响。例如，在一个实施例中，资源控制器被配置为基于多个应用中的每一个的所建立优先级来改变应用的并发等级以及存储资源比例共享。通过这样的优先级机制，可以基于应用执行的类型、执行应用时所耗费的资源、对应用执行所施加的时间约束等来给应用分配资源。在另一实施例中，所述资源控制器被配置为提高具有高应用优先级的应用的并发等级以及存储资源比例共享。通过此机制，可以相对于性能改变以及相对于与使用系统的其它应用相比的相对优先级来给高优先级应用分配额外的资源。
在又一实施例中，所述资源控制器被配置为降低具有低优先级的应用的并发等级以及存储资源比例共享。通过此机制，可以随着性能变化而从低优先级应用释放共享存储资源。在此情况下，所释放的资源可以被重新分配给较高优先级应用，或者它们可以被保留以用于未来的重新分配。在其它实施例中，所述资源控制器被配置为基于多个应用中的每一个的所建立优先级来改变应用的并发等级。
由于动态工作负荷特性、资源分配和性能之间的复杂交互作用，这样的控制常常是非微不足道的。大规模存储系统可以采用多个独立的比例共享端口调度器，原因在于它们典型地具有针对存储器客户的大量接口端口，即使客户可能通过许多端口来访问相同的共享资源。结果，单独的端口调度器仅能够为相关联的端口本地实施资源分配，而不能全局实施这样的资源分配。如果应用使用多个端口，或者独立的应用使用独立的端口并且因此使用独立的调度器，则每个单独的端口调度器的参数需要以协调的方式进行调整以便满足每个单独的应用的性能目标。
在一个实施例中，资源控制器设置共享参数以便以两个步骤来实施每个独立的应用的目标。首先，资源控制器基于应用最近的共享分配、其目标性能以及其实际性能来确定每个应用的“全局”或整体共享。此全局共享确定了每个应用横跨所有端口的整体资源分配。
在第二步骤，所述资源控制器将每个应用的全局共享分配与单独的本地端口相关联的端口控制器。此步骤在每个端口处为每个应用分配与该应用置于该端口上的总I/O负荷成比例的局部共享。可以实现称作“需求（demand）”的调度器变量来达到该目的。在一个特定实施例中，需求或D(i, j)可以是工作负荷i发送到端口j的I/O的分数（fraction）。在另一特定实施例中，需求可以是来自在端口j处当前待决的工作负荷i的I/O数。此外，令S(i)为资源控制器所计算的此工作负荷的全局“共享”。于是端口j处的工作负荷i的并发参数可以如等式（I）中设置：
concurrency(i, j)= D(i, j)* S(i) *MaxConcurrency （I）
端口j处的工作负荷i的共享参数与并发参数相结合，并且该共享参数如等式（II）中设置：
share(i, j) = D(i, j)* S(i) （II）
这里，MaxConcurrency指的是针对资源控制器的全局设置的配置参数，其确定了该资源控制器允许独立的端口调度器向共享存储设备发送的I/O请求的总数。
应当注意，除了所描述的能够由本方法所达到的那些好处之外还存在各种好处。例如，本方法即使在一些工作负荷仅使用端口的子集时也起作用，原因在于对未使用端口的需求为零，没有资源不在未使用端口处分配。所述方法此外在存在负荷的非均匀分布的情况下或者在负荷分布随时间变化的情况下起作用。其还在发送到端口之一的I/O请求比另一“更重”的情况下起作用，原因在于在该端口处待决的请求数目将增大，使得所测量的“需求”在那里增长，这导致了在该端口处的更高资源分配。
资源控制器的内部设计可以为至少两层设计。被称作AppController的第一层使用递归最小二乘（RLS）建模和优化来确定应用要求。在一个实施例中，AppController为1）试图构建资源分配和应用性能之间的关系的RLS建模器和2）使用此模型来确定应当在下一个控制间隔中为那个应用分配多少资源的控制器的组合。此分配依赖于该模型，而且还依赖于控制器的其它参数，诸如稳定性（即，资源分配因此不会过于振荡）或进取性（即，如果当前分配离达到目标所需的量太远，则你想要多快对其进行调整以匹配该目标）。与RLS建模和优化相关的其它细节在Padala等人的Automated Control of Multiple Virtualized Resources（HP实验室技术报告HPL-2008-123, 2008年10月6日）中予以描述，其通过引用结合于此。在每个控制间隔中，AppController基于应用的工作负荷需求的最近历史、分配给所述应用的资源以及所达到的性能来确定每个应用所期望的资源以便满足性能目标。被称作ArbiterController的第二层使用存储设备处可用的共享资源总量来在AppController请求之间进行仲裁。在一个实施例中，ArbiterController在可能的情况下准予所有的AppController请求。如果否，则以优化基于应用优先级及其要求的效用函数（utility function）的方式对共享进行划分。在另一实施例中，ArbiterController基于应用的优先级而在它们之间分配过量的共享存储资源。
应当注意，资源控制器可以驻留在系统内的可以监视应用性能并且可以向端口控制器传送共享存储分配变化的任何位置。例如，资源控制器可以位于与共享存储设备通信的服务器内。在另一实施例中，资源控制器可以位于共享存储设备上。在又一示例中，资源控制器可以位于沿着服务器和共享存储设备之间的数据通信路径的任意位置。
在本发明的另一实施例中，如图2所示，提供了用于控制共享存储资源分配的系统20。这样的系统可以包括共享存储设备24以及与多个I/O端口26相关联的多个端口调度器22，所述I/O端口26与共享存储设备通信。所述端口调度器被配置为向利用相关联的I/O端口26的应用28提供通过该I/O端口所获得的总吞吐量的比例和并发限制。此外，端口调度器在此实施例中位于共享存储设备上。在该系统上执行的一个或多个应用利用一个或多个I/O端口来访问所述共享存储设备。每个端口调度器被配置为对利用相关联的端口的每个应用实施并发等级以及共享存储设备的存储资源比例共享。所述系统还可以包括资源控制器27，其被配置为监视利用多个I/O端口的所有应用的性能特性并且定期调整总吞吐量的比例和并发限制以便满足利用所述多个I/O端口的应用的执行性能目标。此外，资源控制器在此实施例中位于与共享存储设备通信的服务器29上。
在其它实施例中，资源控制器27进一步被配置为对该系统上执行的应用28确定存储设备资源的整体共享并且向应用将通过其相接口的每个I/O端口26分配所述整体共享的一部分。在又一实施例中，所述资源控制器进一步被配置为基于应用的优先次序来定期调整总吞吐量的比例和并发限制，其中与具有较低优先级或没有优先级的应用相比，对于具有较高优先级的应用更频繁地定期调整总吞吐量的比例和并发限制。
此外提供了一种用于控制共享存储资源的分配的方法。在一个实施例中，如图3所示，这样的方法30可以包括：为与共享存储设备相接口的多个应用中的每一个建立优先级、并发等级以及存储资源比例共享32，由资源控制器对所述多个应用中的每一个实施并发等级和比例共享34，监视与所述多个应用的执行相关联的性能特性36，为所述多个应用的至少一部分计算并发等级、比例共享、或者并发等级与比例共享二者以改变对共享存储设备的资源分配38，并且使用资源控制器对所述多个应用中的至少一个应用应用改变后的并发等级、比例共享、或者并发等级与比例共享二者39。
在本发明的另一实施例中，如本文更全面地描述的，计算并发等级、比例共享、或者并发等级与比例共享二者可以进一步包括基于所述多个应用中的每一个的应用优先级来计算并发等级、比例共享或者并发等级与比例共享二者。在基于应用优先级计算并发等级、比例共享、或者并发等级与比例共享二者之后，与具有较低应用优先级的应用相比，可以对具有较高应用优先级的应用增加并发等级、比例共享、或者并发等级与比例共享二者。可替换地，与具有较高应用优先级的应用相比，可以降低具有较低应用优先级的应用的并发等级、比例共享、或者并发等级与比例共享二者。
虽然之前的示例在一个或多个特定应用中举例说明了本发明的原理，但是本领域的普通技术人员将会意识到，可以在没有发明的全体成员的演习的情况下并且在不背离本发明的原理和概念的情况下在实施方式的形式、用途和细节方面进行众多修改。因此，本发明并非意图受到限制，除了受下面所附阐述的权利要求的限制。
Claims (18)
1.一种用于控制共享存储资源的分配的系统，包括：
具有多个I/O端口的共享存储设备；
与所述多个I/O端口相关联的多个端口调度器，所述多个I/O端口与所述共享存储设备通信，每个端口调度器被配置为对利用相关联的端口的每个应用实施并发等级；和
资源控制器，被配置为监视多个应用的性能特性，其中所述多个应用利用所述多个端口中的至少一个；并且调整所述端口调度器对所述多个应用中的至少一部分应用的所述并发等级，以改变所述共享存储设备的资源的分配，其中从由吞吐量、带宽、延迟时间、及其组合所构成的组中选择所述性能特性。
2.如权利要求1所述的系统，其中所述资源控制器被配置为基于所述多个应用中的每一个应用所建立的优先级来改变应用的所述并发等级。
3.如权利要求2所述的系统，其中所述资源控制器被配置为提高具有高应用优先级的应用的并发等级。
4.如权利要求1所述的系统，其中每个端口调度器被配置为实施所述共享存储设备的存储资源比例共享，并且所述资源控制器被配置为调整所述端口调度器对所述多个应用中的至少一部分的存储资源比例共享，以响应于变化的工作负荷而改变所述共享存储设备的资源的分配。
5.如权利要求4所述的系统，其中所述资源控制器被配置为基于所述多个应用中的每一个应用所建立的优先级，来为应用改变并发等级和存储资源比例共享。
6.如权利要求4所述的系统，其中所述资源控制器被配置为调整所述端口调度器对所述多个应用中的至少一部分应用的并发等级，以响应于变化的工作负荷而改变所述共享存储设备的资源的分配。
7.如权利要求1所述的系统，其中所述多个端口调度器位于所述共享存储设备上。
8.如权利要求1所述的系统，其中所述资源控制器位于与所述共享存储设备通信的服务器上。
9.一种控制共享存储资源的分配的方法，包括：
计算总可用共享；
基于多个端口的每端口需求，将所述总可用共享划分为多个端口共享分配；
为与共享存储设备相接口的多个应用中的每一个应用建立优先级和并发等级；
使用被配置为监视所述多个应用中的每一个应用的资源控制器来在所述多个端口共享分配内实施所述并发等级；
监视与所述多个应用的执行相关联的性能特性，其中从由吞吐量、带宽、延迟时间、及其组合所构成的组中选择所述性能特性；
为所述多个应用中的至少一部分应用计算所述并发等级，以改变所述共享存储设备的资源的分配；和
使用所述资源控制器对所述多个应用中的至少一个应用施加改变后的并发等级。
10.如权利要求9所述的方法，还包括：
为与共享存储设备相接口的多个应用中的每一个应用建立存储资源比例共享；和
使用所述资源控制器在所述多个端口共享分配内实施所述存储资源比例共享。
11.如权利要求10所述的方法，还包括：
为所述多个应用中的至少一部分应用计算所述比例共享，以改变所述共享存储设备的资源的分配；和
使用所述资源控制器对所述多个应用中的至少一个应用施加改变后的比例共享。
12.如权利要求11所述的方法，其中计算所述并发等级、所述比例共享、或者所述并发等级与所述比例共享二者进一步包括基于所述多个应用中的每一个应用的应用优先级来计算所述并发等级、所述比例共享、或者所述并发等级与所述比例共享二者。
13.如权利要求9所述的方法，还包括基于所述多个应用中的每一个应用的应用优先级来计算所述并发等级。
14.一种用于控制共享存储资源的分配的系统，包括：
具有多个I/O端口的共享存储设备；
服务器上的应用；
与所述多个I/O端口相关联的多个端口调度器，所述多个I/O端口与所述共享存储设备通信，每个端口调度器被配置为向利用相关联的I/O端口的应用提供通过该I/O端口所获得的总吞吐量的比例和并发限制；和
与所述多个端口调度器通信的资源控制器，所述资源控制器被配置为监视利用所述多个I/O端口的所有应用的性能特性，并且定期调整总吞吐量的比例和并发限制，以便满足利用所述多个I/O端口的应用的执行性能目标，其中从由吞吐量、带宽、延迟时间、及其组合所构成的组中选择所述性能特性。
15.如权利要求14所述的系统，其中所述资源控制器还被配置为：
为所述系统上执行的应用确定存储设备资源的整体共享；和
向应用将通过其相接口的每个I/O端口分配所述整体共享的一部分。
16.如权利要求14所述的系统，其中所述共享存储设备为共享存储阵列。
17.如权利要求14所述的系统，其中所述多个端口调度器位于所述共享存储设备上。
18.如权利要求14所述的系统，其中所述资源控制器位于与所述共享存储设备通信的服务器上。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2009/031905 WO2010085256A1 (en) | 2009-01-23 | 2009-01-23 | System and methods for allocating shared storage resources |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102388381A CN102388381A (zh) | 2012-03-21 |
| CN102388381B true CN102388381B (zh) | 2015-02-25 |
Family
ID=42356137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980155140.3A Active CN102388381B (zh) | 2009-01-23 | 2009-01-23 | 用于分配共享存储资源的系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8918566B2 (zh) |
| EP (1) | EP2382554B1 (zh) |
| CN (1) | CN102388381B (zh) |
| WO (1) | WO2010085256A1 (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9158597B2 (en) * | 2011-07-08 | 2015-10-13 | Microsoft Technology Licensing, Llc | Controlling access to shared resource by issuing tickets to plurality of execution units |
| US8825915B2 (en) | 2012-03-12 | 2014-09-02 | International Business Machines Corporation | Input/output port rotation in a storage area network device |
| US9240960B2 (en) * | 2012-07-19 | 2016-01-19 | Broadcom Corporation | Port scheduling for a network device |
| CN104111800B (zh) | 2013-04-18 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种虚拟磁盘的io口调度方法及其调度装置 |
| US9665409B2 (en) | 2013-05-29 | 2017-05-30 | Citrix Systems, Inc. | Methods and apparatus facilitating access to storage among multiple computers |
| US9244939B2 (en) | 2013-06-27 | 2016-01-26 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Managing I/O operations in a shared file system |
| US9412075B2 (en) * | 2013-08-23 | 2016-08-09 | Vmware, Inc. | Automated scaling of multi-tier applications using reinforced learning |
| US9160679B2 (en) * | 2013-09-24 | 2015-10-13 | Broadcom Corporation | Port empty transition scheduling |
| KR101810536B1 (ko) * | 2014-05-15 | 2017-12-20 | 에스케이테크엑스 주식회사 | 라이브러리 업데이트 방법, 이를 위한 단말 및 시스템 |
| US9749208B2 (en) * | 2014-06-30 | 2017-08-29 | Microsoft Technology Licensing, Llc | Integrated global resource allocation and load balancing |
| US20160086270A1 (en) | 2014-09-24 | 2016-03-24 | International Business Machines Corporation | Dynamic storage bandwidth allocation |
| US9930133B2 (en) * | 2014-10-23 | 2018-03-27 | Netapp, Inc. | System and method for managing application performance |
| JP6451308B2 (ja) * | 2014-12-24 | 2019-01-16 | 富士通株式会社 | ストレージ装置およびストレージ装置制御プログラム |
| WO2016183028A2 (en) * | 2015-05-10 | 2016-11-17 | Apl Software Inc. | Methods and architecture for enhanced computer performance |
| US10082983B2 (en) | 2016-04-05 | 2018-09-25 | International Business Machines Corporation | Monitoring storage systems |
| CN107526532B (zh) * | 2016-06-21 | 2020-07-10 | 伊姆西Ip控股有限责任公司 | 调节存储设备的吞吐量的方法和装置 |
| CN107544917A (zh) * | 2016-06-24 | 2018-01-05 | 中兴通讯股份有限公司 | 一种存储资源共享方法和装置 |
| WO2018088992A1 (en) * | 2016-11-08 | 2018-05-17 | Hitachi, Ltd. | System, method of real-time processing under resource constraint at edge |
| US10977081B2 (en) * | 2019-02-20 | 2021-04-13 | International Business Machines Corporation | Context aware container management |
| US11438414B2 (en) | 2019-05-28 | 2022-09-06 | Micron Technology, Inc. | Inter operating system memory services over communication network connections |
| US11061819B2 (en) | 2019-05-28 | 2021-07-13 | Micron Technology, Inc. | Distributed computing based on memory as a service |
| US11256624B2 (en) | 2019-05-28 | 2022-02-22 | Micron Technology, Inc. | Intelligent content migration with borrowed memory |
| US11169930B2 (en) | 2019-05-28 | 2021-11-09 | Micron Technology, Inc. | Fine grain data migration to or from borrowed memory |
| US11334387B2 (en) | 2019-05-28 | 2022-05-17 | Micron Technology, Inc. | Throttle memory as a service based on connectivity bandwidth |
| US11100007B2 (en) | 2019-05-28 | 2021-08-24 | Micron Technology, Inc. | Memory management unit (MMU) for accessing borrowed memory |
| CN112685167A (zh) * | 2019-10-17 | 2021-04-20 | 伊姆西Ip控股有限责任公司 | 资源使用方法、电子设备和计算机程序产品 |
| US11645013B2 (en) | 2019-11-25 | 2023-05-09 | International Business Machines Corporation | Managing dispersed storage network background tasks |
| CN111510479B (zh) * | 2020-04-08 | 2021-09-24 | 天津大学 | 一种异构缓存系统的资源分配方法及装置 |
| WO2024098333A1 (zh) * | 2022-11-10 | 2024-05-16 | 华为技术有限公司 | 调整计算资源的方法、装置及智能驾驶设备 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001337790A (ja) | 2000-05-24 | 2001-12-07 | Hitachi Ltd | 記憶システム及びその階層管理制御方法 |
| JP2003242097A (ja) * | 2002-02-15 | 2003-08-29 | Hitachi Ltd | クロスコール機能を備えるディスク制御装置 |
| US7047337B2 (en) | 2003-04-24 | 2006-05-16 | International Business Machines Corporation | Concurrent access of shared resources utilizing tracking of request reception and completion order |
| EP1482412B1 (en) | 2003-05-30 | 2006-08-23 | Agilent Technologies Inc | Shared storage arbitration |
| US7362766B2 (en) | 2005-06-24 | 2008-04-22 | Hewlett-Packard Development Company, L.P. | System and method for dynamically controlling weights assigned to consumers competing for a shared resource |
| US8144719B2 (en) * | 2005-10-25 | 2012-03-27 | Broadbus Technologies, Inc. | Methods and system to manage data traffic |
| US7640231B2 (en) | 2005-11-16 | 2009-12-29 | International Business Machines Corporation | Approach based on self-evolving models for performance guarantees in a shared storage system |
| US8099565B2 (en) * | 2007-03-27 | 2012-01-17 | The Board Of Regents Of The University Of Texas System | Methods and devices for determining quality of services of storage systems |
| US8160085B2 (en) * | 2007-12-21 | 2012-04-17 | Juniper Networks, Inc. | System and method for dynamically allocating buffers based on priority levels |
| US7941578B2 (en) * | 2008-06-11 | 2011-05-10 | Hewlett-Packard Development Company, L.P. | Managing command request time-outs in QOS priority queues |
| US8392633B2 (en) * | 2008-06-25 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Scheduling requesters of a shared storage resource |
-
2009
- 2009-01-23 US US13/130,836 patent/US8918566B2/en active Active
- 2009-01-23 CN CN200980155140.3A patent/CN102388381B/zh active Active
- 2009-01-23 EP EP09839002.4A patent/EP2382554B1/en active Active
- 2009-01-23 WO PCT/US2009/031905 patent/WO2010085256A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| EP2382554B1 (en) | 2018-03-07 |
| US8918566B2 (en) | 2014-12-23 |
| EP2382554A1 (en) | 2011-11-02 |
| CN102388381A (zh) | 2012-03-21 |
| EP2382554A4 (en) | 2013-04-03 |
| US20110252166A1 (en) | 2011-10-13 |
| WO2010085256A1 (en) | 2010-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102388381B (zh) | 用于分配共享存储资源的系统和方法 | |
| EP2391961B1 (en) | System and method for integrating capacity planning and workload management | |
| EP3161632B1 (en) | Integrated global resource allocation and load balancing | |
| CN105656973B (zh) | 一种分布式节点组内任务调度方法及系统 | |
| US8997107B2 (en) | Elastic scaling for cloud-hosted batch applications | |
| CN102232282B (zh) | 一种实现数据中心资源负载均衡的方法及装置 | |
| JP4621087B2 (ja) | 複数のインスタンスアプリケーションに対し負荷分散装置を動作させるシステムおよび方法 | |
| KR100420419B1 (ko) | 계산 환경의 분할들의 그룹들을 관리하는 방법, 시스템 및 기록 매체 | |
| WO2017167025A1 (zh) | 一种实现任务调度的方法、装置及计算机存储介质 | |
| CN102902587B (zh) | 分布式任务调度方法、系统和装置 | |
| CN104881325A (zh) | 一种资源调度方法和资源调度系统 | |
| JPH07282013A (ja) | 分散処理システム | |
| JPH09167141A (ja) | 負荷分散制御方法 | |
| CN106233276A (zh) | 网络可访问块存储装置的协调准入控制 | |
| CN103812886B (zh) | 计算机集群资源分配系统和方法 | |
| CN104917839A (zh) | 一种用于云计算环境下的负载均衡方法 | |
| CN112559122A (zh) | 一种基于电力专用安防设备的虚拟化实例管控方法及系统 | |
| Tychalas et al. | SaMW: a probabilistic meta-heuristic algorithm for job scheduling in heterogeneous distributed systems powered by microservices | |
| KR20140125893A (ko) | 가상화된 매니코어 서버의 작업분배 시스템과 그 방법 및 기록매체 | |
| CN114138453B (zh) | 一种适合边缘计算环境的资源优化分配方法与系统 | |
| JP5997659B2 (ja) | 分散処理システムおよび分散処理方法 | |
| JPH08137811A (ja) | ネットワーク資源割当変更方法 | |
| JP6732693B2 (ja) | リソース割当制御システム、リソース割当制御方法、及びプログラム | |
| KR20170094899A (ko) | 컴퓨팅 리소스 관리 시스템 및 방법 | |
| JP6059259B2 (ja) | 計算機システム及び計算機リソースの割当方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Free format text: FORMER OWNER: UYSAL MUSTAFA Effective date: 20120428 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20120428 Address after: texas Applicant after: Hewlett-Packard Development Corp. Address before: American Texas Applicant before: Hewlett-Packard Development Corp. Co-applicant before: Padala Pradeep |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170120 Address after: American Texas Patentee after: HEWLETT PACKARD ENTERPRISE DEVELOPMENT LP Address before: texas Patentee before: Hewlett Packard Development Co. |