CN110022348B - 用于动态备份会话的系统和方法 - Google Patents

用于动态备份会话的系统和方法 Download PDF

Info

Publication number
CN110022348B
CN110022348B CN201910022954.5A CN201910022954A CN110022348B CN 110022348 B CN110022348 B CN 110022348B CN 201910022954 A CN201910022954 A CN 201910022954A CN 110022348 B CN110022348 B CN 110022348B
Authority
CN
China
Prior art keywords
storage
workload
gateway
client
coordinator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910022954.5A
Other languages
English (en)
Other versions
CN110022348A (zh
Inventor
S·肖普拉
G·库尔卡尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Publication of CN110022348A publication Critical patent/CN110022348A/zh
Application granted granted Critical
Publication of CN110022348B publication Critical patent/CN110022348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开的实施例涉及用于动态备份会话的系统和方法。用于经由存储网关提供存储访问的协调器包括持久性存储装置和处理器。持久性存储装置包括工作负载策略。处理器从客户端获得数据存储访问请求，标识由数据存储访问请求指示的工作负载类型，使用工作负载策略和所标识的工作负载类型来标识存储网关中用来服务存储访问请求的存储网关，以及分配所标识的存储网关，以向客户端提供存储访问。

Description

用于动态备份会话的系统和方法
技术领域
本公开涉及数据存储。
背景技术
计算设备生成、使用和存储数据。数据例如可以是与数据相关联的图像、文档、网页或元数据。数据可以存储在持久性存储装置上。可以从持久性存储装置中删除所存储的数据。
可以通过将其存储在第二计算设备上来备份存储在计算设备上的数据的备份。第二计算设备可以在地理上与计算设备分离。
发明内容
在一个方面，根据本发明的一个或多个实施例的用于经由存储网关提供存储访问的协调器包括持久性存储装置和处理器。持久性存储装置包括工作负载策略。处理器从客户端获得数据存储访问请求，标识由数据存储访问请求指示的工作负载类型，使用工作负载策略和所标识的工作负载类型来标识存储网关中用来服务存储访问请求的存储网关，以及分配所标识的存储网关以向客户端提供存储访问。
在一个方面，根据本发明的一个或多个实施例的操作用于经由存储网关提供存储访问的协调器的方法包括通过协调器从客户端获得数据存储访问请求。该方法包括通过协调器标识由数据存储访问请求指示的工作负载类型。该方法包括通过协调器使用工作负载策略和所标识的工作负载类型来标识存储网关中用来服务存储访问请求的存储网关。该方法包括通过协调器分配所标识的存储网关以向客户端提供存储访问。
在一个方面，根据本发明的一个或多个实施例的非暂时性计算机可读介质包括计算机可读程序代码，该计算机可读程序代码在由计算机处理器执行时使计算机处理器能够执行用于操作经由存储网关提供存储访问的协调器的方法。该方法包括通过协调器从客户端获得数据存储访问请求。该方法包括通过协调器标识由数据存储访问请求指示的工作负载类型。该方法包括通过协调器使用工作负载策略和所标识的工作负载类型来标识存储网关中用来服务存储访问请求的存储网关。该方法包括通过协调器分配所标识的存储网关以向客户端提供存储访问。
附图说明
将参考附图描述本发明的某些实施例。然而，附图仅通过示例的方式示出了本发明的某些方面或实施方式，并不意味着限制权利要求的范围。
图1A示出了根据本发明的一个或多个实施例的系统的图。
图1B示出了根据本发明的一个或多个实施例的示例协调器的图。
图1C示出了根据本发明的一个或多个实施例的示例存储网关的图。
图1D示出了根据本发明的一个或多个实施例的示例存储装置的图。
图1E示出了根据本发明的一个或多个实施例的第一示例拓扑的图。
图1F示出了根据本发明的一个或多个实施例的第二示例拓扑的图。
图2A示出了根据本发明的一个或多个实施例的综合存储网关操作指标的示例的图。
图2B示出了根据本发明的一个或多个实施例的并发会话的示例的图。
图2C示出了根据本发明的一个或多个实施例的存储连接特性的示例的图。
图2D示出了根据本发明的一个或多个实施例的示例工作负载策略的图。
图3示出了根据本发明的一个或多个实施例的系统关系的图。
图4A示出了根据本发明的一个或多个实施例的服务客户端的方法的流程图。
图4B示出了根据本发明的一个或多个实施例的标识存储网关的方法的流程图。
图4C示出了根据本发明的一个或多个实施例的标识存储网关集的方法的流程图。
图4D示出了根据本发明的一个或多个实施例的检查容量的方法的流程图。
图5示出了根据本发明的一个或多个实施例的访问存储装置的方法的流程图。
图6示出了根据本发明的一个或多个实施例的计算设备的图。
具体实施方式
下面将参照附图说明本发明的具体实施方式。在以下说明中，阐述了许多细节作为本发明的示例。本领域技术人员应理解，无需这些具体细节即可实践本发明的一种或多种实施方式，并且在不脱离本发明的范围的情况下可做出各种变化或修改。在本文中省略了本领域普通技术人员已知的某些细节，以避免使说明变得模糊。
在以下的附图说明中，在本发明的多种实施方式中参照某个附图说明的任何部件可以等同于参照任何其它附图说明的一个或多个以类似方式命名的部件。为了简洁起见，不会参照每个附图重复说明这些部件。因此，每个附图的部件的每种实施方式通过引用结合在此，并假定其可选地存在于具有一个或多个以类似方式命名的部件的每个其它附图中。此外，根据本发明的多种实施方式，对附图的部件的任何说明应理解为可选的实施方式，这种可选的实施方式可以是除了相对于任何其它附图中的以类似方式命名的相应部件说明的实施方式之外的实施方式，与这些实施方式结合实施，或者代替这些实施方式。
本发明的实施方式总体涉及用于管理数据的系统、装置和方法。更具体地说，所述系统、装置和方法可动态地修改存储网关的并发会话数和/或缓存器行为。动态修改存储网关可使存储网关能够在满足服务质量目标的同时向客户端提供数据管理服务。
在本发明的一种或多种实施方式中，存储网关通过利用多个存储装置向客户端提供数据管理服务。换言之，存储网关可将来自客户端的数据存储在多个存储装置中，以向客户端提供数据管理服务。
在本发明的一种或多种实施方式中，可基于客户端工作负载的类型、存储网关与存储装置之间的连接、和/或存储网关的可用计算资源来修改存储网关。
在本文中所用的计算资源指处理器计算周期、通信带宽、暂时存储输入-输出周期、持久性存储输入-输出周期、和/或暂时或持久性存储器的存储容量。例如可通过随机存取存储器实现暂时存储。用于持久性存储的存储器例如可由固态硬盘驱动器提供。处理器计算周期例如可由中央处理单元提供。通信带宽例如可由网络接口卡提供。
图1A示出了本发明的一种或多种实施方式的计算系统。所述系统可包括客户端(100)、管理客户端数据的存储网关(110)、将各个客户端(102、104)指定给各个存储网关(112、114)的协调器(120)、以及存储来自客户端(100)的数据的存储装置(130)。客户端(100)、存储网关(110)、协调器(120)和存储装置(130)可以可操作地彼此连接。所述连接例如可以是网络连接。每个系统组件将在下文中说明。
客户端(100)可以是计算设备。所述计算设备例如可以是移动电话、平板计算机、便携式计算机、台式计算机、服务器、或云资源。计算设备可包括一个或多个处理器、存储器(例如随机存取存储器) 和持久性存储装置(例如磁盘驱动器、固态驱动器等)。持久性存储装置可存储在由计算设备的处理器执行时使计算设备执行本申请中说明的功能和图5中所示的方法的计算机指令，例如计算机代码。在不脱离本发明的情况下，客户端(100)可以是其它类型的计算设备。
客户端(100)可被编程为经由存储网关(110)将数据存储在存储装置(130)中。通过将数据存储在存储装置中，客户端(100)可存储数据的备份副本和/或降低客户端的存储装置利用率。
在本发明的一种或多种实施方式中，客户端(100)经由存储网关(110)将相应客户端的全部或部分数据的副本存储在存储装置(130) 中。换言之，存储网关(110)可用于备份客户端的数据。
在本发明的一种或多种实施方式中，客户端(100)经由存储网关(110)将数据存储在存储装置(130)中。换言之，客户端(100) 不是将数据存储到本地存储装置中，而是可经由存储网关(110)将数据存储在存储装置(130)中，而不产生存储数据的本地副本。
在本发明的一种或多种实施方式中，每个客户端可指定为经由单个存储网关将数据存储在存储装置(130)中。每个客户端可从协调器(120)接收相应的指定结果。在指定之后，每个客户端可使用指定的存储网关继续向存储装置(130)存储数据。在本发明的一种或多种实施方式中，客户端可执行图5中所示的方法，以获得指定结果和利用所述指定结果向存储装置存储/从存储装置获取数据。
虽然客户端(102、104)被示为指定给单独的存储网关(110)，但是在不脱离本发明的情况下，也可将多个客户端指定给同一个存储网关。但是，将多个客户端指定给同一个云网关可能降低向指定给该存储网关的客户端提供的服务质量。例如，向存储装置存储数据或从存储装置提供数据的过程可能消耗存储网关的计算资源。如下文中所进一步详述，协调器可指定客户端由不同的存储网关服务，以保持由存储网关提供的服务质量。
如上所述，客户端(100)可经由存储网关(110)在存储装置中存储数据。存储网关(110)可以是计算设备。所述计算设备例如可以是移动电话、平板计算机、便携式计算机、台式计算机、服务器、分布式计算系统或云资源。计算设备可包括一个或多个处理器、存储器(例如随机存取存储器)和持久性存储装置(例如磁盘驱动器、固态驱动器等)。持久性存储装置可存储在由计算设备的处理器执行时使计算设备执行本申请中说明的功能的计算机指令，例如计算机代码。在不脱离本发明的情况下，存储网关(110)可以是其它类型的计算设备。
在本发明的一种或多种实施方式中，所述存储网关(110)可以是分布式计算设备。在本文中所用的分布式计算设备指由利用一个或多个独立和/或不同的计算设备的计算资源的逻辑设备提供的功能。例如，在本发明的一种或多种实施方式中，存储网关(110)可以是包括分布在多个独立和/或不同的计算设备上的组件的分布式设备。在这种情况中，在不脱离本发明的情况下，存储网关(110)的功能可由多个不同的计算设备执行。
存储网关(110)可管理客户端数据。存储网关(110)可通过从客户端(100)接收存储或获取数据的请求来管理客户端数据。存储网关(110)可响应于这些请求执行适当的动作来满足来自客户端的上述存储/访问请求。欲了解存储网关的更多细节，请参考图1C。
虽然存储网关(112、114)被示为可操作地连接至单独的存储装置集(132、134)，但是在不脱离本发明的情况下，多个存储网关可以可操作地连接至共享和单独的存储装置的任何组合。欲了解存储网关(110)与存储装置(130)的存储装置集(132、134)之间的连接的更多细节，请参考图1E-1F。
如上所述，存储网关(110)可通过将客户端数据存储在存储装置(130)中来管理客户端数据。存储装置(130)可以是计算设备。所述计算设备例如可以是移动电话、平板计算机、便携式计算机、台式计算机、服务器、分布式计算系统或云资源。计算设备可包括一个或多个处理器、存储器(例如随机存取存储器)和持久性存储装置(例如磁盘驱动器、固态驱动器等)。持久性存储装置可存储在由计算设备的处理器执行时使计算设备执行本申请中说明的功能的计算机指令，例如计算机代码。在不脱离本发明的情况下，存储装置(130) 可以是其它类型的计算设备。
在本发明的一种或多种实施方式中，存储装置(130)可以是分布式计算设备。在本文中所用的分布式计算设备指由利用一个或多个独立和/或不同的计算设备的计算资源的逻辑设备提供的功能。例如，在本发明的一种或多种实施方式中，存储装置(130)可以是包括分布在多个独立和/或不同的计算设备上的组件的分布式设备。在这种情况中，在不脱离本发明的情况下，存储装置(130)的功能可由多个不同的计算设备执行。
存储装置(130)可存储客户端数据或提供先前存储的客户端数据。存储装置(130)可响应于来自存储网关(110)的请求存储或提供客户端数据。存储装置(130)可响应于这些请求执行适当的动作来满足来自存储网关的上述存储/访问请求。欲了解存储装置(130)的更多细节，请参考图1F。
虽然存储装置集(132、134)被示为可操作地连接至单独的存储网关(112、114)，但是在不脱离本发明的情况下，多个存储装置集可以可操作地连接至存储网关的任何组合。换言之，存储装置集可为任意数量的存储网关提供存储服务。
如上所述，存储网关(110)可管理客户端。为了保持为客户端 (100)提供的服务质量，协调器(120)可将客户端指定给不同的存储网关(110)。协调器(120)可以是计算设备。所述计算设备例如可以是移动电话、平板计算机、便携式计算机、台式计算机、服务器、分布式计算系统或云资源。计算设备可包括一个或多个处理器、存储器(例如随机存取存储器)和持久性存储装置(例如磁盘驱动器、固态驱动器等)。持久性存储装置可存储在由计算设备的处理器执行时使计算设备执行本申请中说明的功能和图4A-4D中所示的方法的计算机指令，例如计算机代码。在不脱离本发明的情况下，协调器(120) 可以是其它类型的计算设备。
在本发明的一种或多种实施方式中，协调器(120)可以是分布式计算设备。例如，协调器(120)可以是包括分布在多个单独和/或不同的计算设备上的组件的分布式设备。在这种情况中，在不脱离本发明的情况下，协调器(120)的功能可由多个不同的计算设备执行。
协调器(120)可指定客户端由存储网关(110)服务。协调器(120) 可进行所述指定，以保持由存储网关(110)提供给客户端(100)的服务质量。协调器(120)可基于纳入了以下的一个或多个因素的一组规则来进行所述指定：(i)客户端的当前和/或未来工作负载，(ii) 存储网关(110)在向客户端(100)提供服务时使用的存储装置之间的连接特性，以及存储网关(110)的计算资源的可用性。在不脱离本发明的情况下，该组规则可考虑更多、不同或更少的因素。欲了解协调器(120)的更多细节，请参考图1B。
为了进一步解释系统组件的操作，图1B-1D示出了图1A的系统的各个组件的示意图。虽然这些示意图示出了系统组件的各个部分，但是在不脱离本发明的情况下，系统的每个组件可包括更多、更少或不同的部分。
图1B示出了本发明的一种或多种实施方式的示例性协调器 (140)。示例性协调器(140)可提供与图1A中所示的协调器相同的功能。如参照图1A所述，示例性协调器(140)可将客户端指定给存储网关以获得服务。为了提供上述功能，协调器可包括存储网关监视器(141)、规则引擎(142)、客户端管理器(143)和持久性存储装置(145)。下面说明示例性协调器(140)的每个组件。
在本发明的一种或多种实施方式中，存储网关监视器(141)获得存储网关的操作指标并综合上述指标。综合指标可存储在持久性存储装置(145)上。如下文中所进一步详述，规则引擎(142)可在协助客户端管理器(143)进行客户端指定时利用所述综合指标。
在本发明的一种或多种实施方式中，所述存储网关监视器(141) 可以电路的形式实现。例如，存储网关监视器(141)可实现为现场可编程门阵列、应用集成电路、数字信号处理器或模拟电路。在不脱离本发明的情况下，存储网关监视器(141)可实现为其它类型的电路。
在本发明的一种或多种实施方式中，存储网关监视器(141)可实现为存储在非暂时性计算机可读存储介质上的由处理器执行的计算机可读指令。该计算机可读指令可使处理器执行存储网关监视器(141)的上述功能。
规则引擎(142)可协助客户端管理器(143)将客户端指定给存储网关。如上所述，将客户端指定给存储网关可能降低由存储网关提供的服务质量。为了满足存储网关的服务质量要求，客户端管理器 (143)可请求规则引擎(142)确定将特定客户端指定给某个存储网关是否会对由云存储网关提供的服务质量产生不良影响。
在本发明的一种或多种实施方式中，规则引擎(142)基于一组规则进行确定。该组规则可基于以下一个或多个因素来规范确定操作： (i)特定客户端将施加给存储网关的工作负载的类型，(ii)施加的工作负载的模式，(iii)客户端与将由云网关用于存储客户端数据的存储装置之间的连接的特性，(iv)将由存储网关用于存储客户端数据的存储装置的特性，以及(v)存储网关的缓存器大小。该确定操作可针对客户端将施加给存储网关的将对存储网关提供的服务质量产生不良影响的工作负载的类型限定并发会话的数目。在本发明的一种或多种实施方式中，规则引擎(142)可基于较少的因素(例如示例性的工作负载策略(230))进行确定。欲了解工作负载策略的更多细节，请参考图2D。
在本发明的一种或多种实施方式中，客户端将施加的工作负载的类型限定客户端将经由存储网关存储的文件的类别。所述类别可以是以下的一种或多种：(a)数据库、(b)非结构化数据、以及(c) 文件系统备份。在不脱离本发明的情况下，可基于更多类别来进行分类。每个类别可能会向存储网关施加不同级别的工作负载。例如，由于数据库的更改频率，经由云网关将数据库存储在存储装置中的客户端可能会施加较高的工作负载。与此相反，存储文件系统的备份可能会向云网关施加较低的工作负载。因此，通过对不同类型的工作负载进行分类，规则引擎可提供云网关保持客户端服务质量的能力的准确估算结果。
在本发明的一种或多种实施方式中，施加的工作负载的模式限定由客户端存储的数据是与由客户端存储的相应数据同步维护还是与由客户端存储的相应数据异步维护。同步和异步模式可能会向存储网关施加不同的工作负载。例如，以同步模式操作的客户端可能频繁地向存储网关发送数据的变更内容。与此相反，异步模式可能不太频繁地向存储网关发送变更内容。因此，通过根据操作模式来分类客户端，规则引擎能够提供云网关保持客户端服务质量的能力的准确估算结果。
在本发明的一种或多种实施方式中，连接的特性可能限定客户端与由存储网关用于满足客户端存储需求的存储装置之间的带宽和/或延迟。通过根据客户端与存储装置之间的连接的特性来分类客户端，规则引擎能够确定存储网关是否能向客户端提供一定质量的服务。
在本发明的一种或多种实施方式中，存储装置的特性限定由存储装置利用的数据结构和/或空间节省机制的类型。由存储装置利用的数据结构和/或空间节省机制的类型可能控制可从存储装置获取存储数据的速率。例如，存储装置可利用重复数据删除来节省空间，但这样做的代价是增加从存储装置获取存储数据所需的时间。通过根据存储装置的特性来分类存储装置，规则引擎能够确定存储网关是否能向客户端提供一定质量的服务。为简单起见，可将利用不同类型的数据结构和/或空间节省机制的不同类型的存储装置分类为由字母表示的类别，例如A、B、C等。每个类别可代表存储网关为存储客户端数据所利用的存储装置用于存储或提供存储在其中的客户端数据的相对时间量。
在本发明的一种或多种实施方式中，缓存器大小特性限定存储网关可用的缓存器量。存储网关的缓存器大小可能影响存储网关向存储装置存储数据/从存储装置获取数据的能力。通过根据缓存器大小来分类存储网关，规则引擎能够确定存储网关是否能向客户端提供一定质量的服务。
为了进一步阐明规则引擎(142)的操作，提供了一组示例性规则，并将其应用于下文中的表1内的五个存储网关。在表1中，前七列表示规则引擎在确定最大数据流数目时所考虑的因素的示例和相应存储网关的标识符。第八列表示相应存储网关的规则引擎的确定，该规则引擎针对可向存储网关分配的相应客户端工作负载限定不会导致存储网关的服务质量降低的最大并发会话数，即，可指定给存储网关的客户端的数量。
表1由规则引擎(142)应用的一组示例性规则
Figure RE-GDA0001968740150000111
如表1的第1行所示，可向具有标识符CB1的存储网关同时指定最多20个客户端，以服务于数据库工作负载。换言之，可指定最多 20个想在CB1存储网关中存储数据库文件的客户端，而不会对存储网关向所指定的客户端提供的服务质量产生不良影响。
与此对比，如表1的第2行所示，可向具有标识符CB2的存储网关同时指定最多256个客户端，以服务于数据库工作负载。换言之，可指定最多256个想在CB2存储网关中存储数据库文件的客户端，而不会对存储网关向所指定的客户端提供的服务质量产生不良影响。CB2具有带宽较大的连接，因此能够支持较多并发会话，而不会降低提供的服务质量。
在CB3-CB5存储网关设备中能看到类似的差异。换言之，规则引擎限定不同的允许并发会话数。
在本发明的一种或多种实施方式中，规则引擎(142)可以电路的形式实现。例如，规则引擎(142)可实现为现场可编程门阵列、应用集成电路、数字信号处理器或模拟电路。在不脱离本发明的情况下，规则引擎(142)可实现为其它类型的电路。
在本发明的一种或多种实施方式中，规则引擎(142)可实现为存储在非暂时性计算机可读存储介质上的由处理器执行的计算机可读指令。该计算机可读指令可使处理器执行规则引擎(142)的上述功能。
如上所述，客户端管理器(143)可使用由规则引擎(142)给出的确定结果向存储网关指定客户端。当客户端试图经由存储网关存储数据时，客户端可首先利用存储请求通知客户端管理器(143)。作为响应，客户端管理器(143)可从规则引擎(142)请求获得关于可能的指定(例如将客户端指定给特定存储网关)的确定结果。响应于该请求，规则引擎(142)向客户端管理器(143)提供确定结果。如果确定结果表明可能的指定会降低由特定存储网关提供的服务质量，那么客户端管理器(143)可以不将该客户端分配给特定存储网关，并且可发送要求确定第二个可能的存储网关的另一个请求。客户端管理器(143)可继续执行上述过程，直到确定所述指定不会对存储网关提供的服务质量产生不良影响。客户端管理器(143)可将客户端指定给能够为客户端提供服务同时不会对存储网关提供的服务质量产生负面影响的存储网关。
在本发明的一种或多种实施方式中，客户端管理器(143)可以电路的形式实现。例如，客户端管理器(143)可实现为现场可编程门阵列、应用集成电路、数字信号处理器或模拟电路。在不脱离本发明的情况下，客户端管理器(143)可实现为其它类型的电路。
在本发明的一种或多种实施方式中，客户端管理器(143)可实现为存储在非暂时性计算机可读存储介质上的由处理器执行的计算机可读指令。该计算机可读指令可使处理器执行客户端管理器(143) 的上述功能。
如上所述，存储网关监视器(141)和规则引擎(142)可利用存储在持久性存储装置(145)中的数据结构。持久性存储装置(145) 可以是物理设备。物理设备例如可以是固态硬盘驱动器、磁盘驱动器、磁带驱动器或其它非暂时性存储介质。在本发明的一些实施方式中，持久性存储装置(145)可以是利用一个或多个其它设备的物理计算资源来提供数据存储功能的逻辑设备。例如，持久性存储装置(145) 可以是利用多个独立计算设备的磁盘驱动器的物理存储容量的逻辑存储装置。
持久性存储装置(145)可存储综合存储网关操作指标(146)和 /或工作负载策略(147)。在不脱离本发明的情况下，持久性存储装置(145)可存储更多、不同或更少的数据。
在本发明的一种或多种实施方式中，综合存储网关操作指标(146) 可以是存储在持久性存储装置(145)中的数据结构。该数据结构可包含由存储网关监视器(141)和/或示例性协调器(140)的其它组件收集的信息。综合存储网关操作指标(146)可由规则引擎(142)使用，以做出关于为特定客户端提供服务的可能的存储网关的确定。欲了解综合存储网关操作指标(146)的更多细节，请参考图2A。
在本发明的一种或多种实施方式中，工作负载策略(147)可以是存储在持久性存储装置(145)中的数据结构。该数据结构可包含由规则引擎(142)用于做出关于将客户端指定给可能的存储网关的确定的信息。欲了解工作负载策略(147)的更多细节，请参考图2D。
在由协调器指定后，存储网关可向指定给相应存储网关的客户端提供存储服务。所述存储服务包括存储客户端数据和提供先前存储的客户端数据。
图1C示出了本发明的一种或多种实施方式的示例性存储网关 (150)。为了提供上述存储服务并使协调器能够做出关于示例性存储网关(150)的确定，示例性存储网关(150)可包括存储管理器(151)、存储网关操作监视器(152)和持久性存储装置(153)。下面论述示例性存储网关(150)的每个组件。
在本发明的一种或多种实施方式中，存储管理器(151)满足来自客户端的数据存储/访问请求。为了满足请求，存储管理器(151) 可将数据存储在持久性存储装置(153)内的缓存器(154)中和/或可操作地连接至存储管理器的存储装置中。类似地，存储管理器(151) 可检索缓存器(154)和/或可操作地连接至存储管理器的存储装置中的数据。在本发明的一种或多种实施方式中，存储装置独立于示例性存储网关(150)，例如是另一个设备的一部分。
在本发明的一种或多种实施方式中，缓存器(154)可保存存储在存储装置中的一部分客户端数据的副本。在满足客户端的请求时，存储管理器(151)可优先检索存储在缓存器(154)中的客户端数据的副本，而不是检索存储在存储装置中的客户端数据的副本。
在本发明的一种或多种实施方式中，存储管理器(151)可以电路的形式实现。例如，存储管理器(151)可实现为现场可编程门阵列、应用集成电路、数字信号处理器或模拟电路。在不脱离本发明的情况下，存储管理器(151)可实现为其它类型的电路。
在本发明的一种或多种实施方式中，存储管理器(151)可实现为存储在非暂时性计算机可读存储介质上的由处理器执行的计算机可读指令。该计算机可读指令可使处理器执行存储管理器(151)的上述功能。
在本发明的一种或多种实施方式中，存储网关操作监视器(152) 将关于示例性存储网关(150)的操作的数据存储在持久性存储装置 (153)中，作为存储网关操作指标(155)。存储网关操作监视器(152) 可监视示例性存储网关(150)的操作，并按任何固定时间间隔的调度计划连续、周期性地更新存储网关操作指标(155)，和/或响应于来自协调器的请求更新存储网关操作指标(155)。在不脱离本发明的情况下，可使用不同的调度方案来执行更新。
在本发明的一种或多种实施方式中，存储网关操作监视器(152) 可以电路的形式实现。例如，存储网关操作监视器(152)可实现为现场可编程门阵列、应用集成电路、数字信号处理器或模拟电路。在不脱离本发明的情况下，存储网关操作监视器(152)可实现为其它类型的电路。
在本发明的一种或多种实施方式中，存储网关操作监视器(152) 可实现为存储在非暂时性计算机可读存储介质上的由处理器执行的计算机可读指令。该计算机可读指令可使处理器执行存储网关操作监视器(152)的上述功能。
持久性存储装置(153)可以是物理设备。物理设备例如可以是固态硬盘驱动器、磁盘驱动器、磁带驱动器或其它非暂时性存储介质。在本发明的一些实施方式中，持久性存储装置(153)可以是利用一个或多个其它设备的物理计算资源来提供数据存储功能的逻辑设备。例如，持久性存储装置(153)可以是利用多个独立计算设备的磁盘驱动器的物理存储容量的逻辑存储装置。
持久性存储装置(153)可存储缓存器(154)和/或存储网关的操作指标(155)。在不脱离本发明的情况下，持久性存储装置(153) 可存储更多、不同或更少的数据。
在本发明的一种或多种实施方式中，缓存器(154)是存储在持久性存储装置(153)中的数据结构。该数据结构可包括存储在存储装置中的客户端数据的副本。在一些情况下，客户端数据可首先存储在缓存器(154)中，而客户端数据的副本可随后存储在存储装置中。可删除缓存器中的一部分客户端数据，从而导致在缓存器(154)中仅保存存储在存储装置中的客户端数据的一部分的副本。
在本发明的一种或多种实施方式中，存储网关操作指标(155) 可以是存储在持久性存储装置(153)中的数据结构。该数据结构可包括由协调器用于做出关于可能将客户端指定给存储网关的确定的信息。协调器可将存储网关操作指标(155)与来自任何数量的其它示例性存储网关(150)的类似数据综合。欲了解综合存储网关操作指标的更多细节，请参考图2A-2C。
如上所述，为了满足客户端的存储/访问请求，存储网关可利用存储装置。存储装置可以是可操作地连接至存储网关的独立设备。每个存储网关可连接至任意数量的存储装置。图1E和1F示出了存储网关和存储拓扑的示例。
图1E示出了第一示例性存储拓扑的示意图。第一示例性存储拓扑包括可操作地连接至一组存储装置(171)的示例性存储网关(170)。示例性存储网关(170)通过相应的可操作连接(175、176、177)连接至该组存储装置中的存储装置(172、173、174)。
图1F示出了第二示例性存储拓扑的示意图。第二示例性存储拓扑包括可操作地连接至一组存储装置(180)的示例性存储网关(181)。示例性存储网关(180)通过相应的可操作连接(184、185)连接至该组存储装置(181)中的两个存储装置(182、183)。
如图1E和1F所示，不同的存储装置集可包括不同的存储装置和 /或相同的存储装置。例如，图1F的存储装置集(181)包括也由图 1E的存储装置集(171)使用的存储装置(182)。虽然所述存储装置集被示为包括有限数量的存储装置，但是在不脱离本发明的情况下，存储装置集可包括任意数量的存储装置。另外，虽然每个存储装置被示为通过单独的连接与相应的存储网关(170、180)连接，但是在不脱离本发明的情况下，相应的存储网关与存储装置集之间的连接可采取任何形式，可利用相同或不同的连接，并且可使用有线和/或无线通信技术的任何组合来实现。
如上所述，存储网关可利用存储装置为客户端提供数据存储/访问服务。每个相应的存储装置可提供不同级别或类似级别的客户端数据存储/访问服务。
图1D示出了本发明的一种或多种实施方式的示例性存储装置 (160)。示例性存储装置(160)可响应于来自存储网关的请求存储来自存储网关的数据或将存储的数据提供给存储网关。
在本发明的一种或多种实施方式中，示例性存储装置(160)包括持久性存储装置(161)。持久性存储装置(161)可以是物理设备。物理设备例如可以是固态硬盘驱动器、磁盘驱动器、磁带驱动器或其它非暂时性存储介质。在本发明的一些实施方式中，持久性存储装置 (161)可以是利用一个或多个其它设备的物理计算资源来提供数据存储功能的逻辑设备。例如，持久性存储装置(161)可以是利用多个独立计算设备的磁盘驱动器的物理存储容量的逻辑存储装置。
在本发明的一种或多种实施方式中，持久性存储装置(161)是数据存储装置(162)。数据存储装置(162)可以是用于存储客户端数据的数据结构。换言之，示例性存储装置(160)可将客户端数据存储在数据存储装置(162)中。
在本发明的一种或多种实施方式中，数据存储装置(162)可在存储之前对客户端数据进行重复数据删除处理。换言之，在将客户端数据存储在数据存储装置(162)中之前，数据存储装置(162)可参照存储在数据存储装置(162)中的数据对该客户端数据进行重复数据删除处理。
在本文中所用的重复数据删除存储指的是：通过在存储装置中首次存储数据时不在存储装置内的数据的存储位置附近存储相同文件或位模式的多个副本来尝试减少存储数据所需的存储空间量的存储方式。重复数据删除存储通过仅将待存储数据与存储在目标存储装置中的所有数据的一部分进行比较来平衡用于实现存储的物理设备的输入输出(I/O)限制与降低的存储空间需求的益处。
为了对数据进行重复数据删除处理，可将待存储数据细分为片段。所述片段可与待存储数据的一部分对应。可产生标识待存储数据的每个片段的指纹。可将产生的指纹与和已存储在存储装置中的数据的一部分相关联的预先存在的指纹的一部分进行比较。与存储在存储装置中的数据部分的指纹不匹配的待存储数据的任何片段可存储在存储装置中，而其它片段不存储在存储装置中。可产生并存储用于产生现在存储的数据的文件模板，以便从存储装置检索现在存储的数据。该模板可包括使得存储在存储装置中的待存储数据的所有片段以及已存储在目标存储装置中的所有数据片段具有与将从目标存储装置检索的待存储数据的片段的指纹匹配的指纹的信息。
在本文中所用的指纹可以是几乎唯一地标识片段的比特序列。在此所用的“几乎唯一地”意味着包括不同数据的两个片段的每个指纹之间存在冲突的概率与其它不可避免的致命错误原因的概率相比可忽略不计。在本发明的一种或多种实施方式中，所述概率是10^-20 以下。在本发明的一种或多种实施方式中，不可避免的致命错误可能是由自然力(例如龙卷风)引起的。换言之，标明不同数据的任何两个片段的指纹几乎总是不同的。
在本发明的一种或多种实施方式中，通过获取比特序列的哈希值来产生该比特序列的指纹。例如可使用安全哈希算法(SHA)1来产生哈希值。在不脱离本发明的情况下，也可使用其它哈希算法。
上述重复数据删除过程利用计算资源，包括处理周期、存储I/O 和/或网络通信带宽。多个客户端可能试图将数据存储在数据管理设备中，从而消耗所有可用的计算资源，导致由存储设备提供的服务质量降低，进而降低了由存储网关向客户端提供的服务质量。本发明的实施方式可通过主动地将客户端指定给存储网关来防止存储装置因超额订阅而降低其服务质量，从而提高存储服务的质量。
为了进一步阐明本发明的实施方式，图2A-2D中示出了由图1A 中所示的系统使用的数据结构的示意图。
图2A示出了本发明的一种或多种实施方式的示例性综合存储网关操作指标(200)。当将客户端指定给存储网关时，协调器可使用上述指标。
示例性综合存储网关操作指标(200)可包括与存储网关相关联的条目(201、205)。每个条目(201、205)可包含存储网关标识符 (202)、由存储网关标识符(202)标识的存储网关负责的多个并发会话(203)、以及客户端与由存储网关标识符(202)标识的存储网关用于向客户端提供存储服务的存储装置之间的存储连接特性(204)。
图2B示出了本发明的一种或多种实施方式的示例性并发会话 (210)。当将客户端指定给存储网关时，协调器可使用示例性并发会话(210)。
示例性并发会话(210)可包括与特定存储网关相关联的条目(211、 215)。每个条目(211、215)可包括标识由指定给特定存储网关的客户端施加至特定存储网关的工作负载的类型的工作负载类型标识符(212)以及限定正在执行由工作负载类型标识符标识的工作负载的会话的数目的会话数(213)。每个条目可限定不同的工作负载类型标识符以及正在执行该类型的工作负载的会话的数目。
图2C示出了本发明的一种或多种实施方式的示例性连接特性 (220)。当将客户端指定给存储网关时，协调器可使用示例性连接特性(220)。
示例性连接特性(220)可包括与特定存储网关相关联的条目(221、 225)。每个条目(221、225)可包括标识连接至特定存储网关的存储装置的存储装置标识符(222)、限定特定存储网关与由存储装置标识符(222)标识的存储装置之间的连接带宽的带宽(223)、以及限定特定存储网关与由存储装置标识符(222)标识的存储装置之间的连接延迟时间的延迟(224)。每个条目可限定不同的存储装置标识符以及所标识的存储装置与特定存储网关之间的相应连接的特性。
图2D示出了本发明的一种或多种实施方式的示例性工作负载策略(230)。当将客户端指定给存储网关时，协调器可使用示例性工作负载策略(230)。
示例工作负载策略(230)可包括与不同类型的工作负载相关联的条目(231、235)。每个条目(231、235)可包括标识与该条目相关联的工作负载的类型的工作负载类型标识符(232)、存储连接特性范围(233)、以及最大并发会话数(234)。最大并发会话数(234) 可限定下列各项的工作负载的最大会话数：(i)由工作负载类型标识符(232)限定的类型、以及(ii)具有在由存储连接特性范围(233) 限定的范围内的存储连接特性的存储网关。协调器可通过将工作负载和存储网关与存储装置之间的连接特性与某个条目进行匹配来利用工作负载策略。条目的最大并发会话数(234)可限定存储网关能够处理而不会导致提供的服务质量降低的最大并发会话数。
为了进一步阐明图1A的系统的组件之间的关系，图3示出了一个关系图。从图中能够看出，任意数量的客户端(300、305)可指定为由单个存储网关(310)服务，例如N对一关系。类似地，存储网关(310)可利用任意数量的存储装置(315、320)，例如一对N关系。类似地，协调器(330)可将客户端指定给任意数量的存储网关 (310、335)，例如一对N关系。类似地，协调器(330)可指定任意数量的客户端(300、305)，例如一对N关系。
如上所述，协调器(120，图1A)可将客户端指定给存储网关(110)。图4A-4D示出了本发明的一种或多种实施方式的用于进行指定的方法。
虽然图4A-4D中示出的每个方法作为独立的方法示出，但是在不脱离本发明的情况下，每个方法可顺序地或并行地执行(或者串行和并行执行的组合)。此外，本领域普通技术人员应理解，这些步骤中的一部分或全部可按不同顺序执行，可组合或省略，并且一部分或所有步骤可并行执行。
图4A示出了本发明的一种或多种实施方式的方法的流程图。根据本发明的一种或多种实施方式，图4A中所示的方法可用于为客户端提供服务。图4A中所示的方法例如可由协调器(120，图1A)执行。在不脱离本发明的情况下，图1A中所示的系统的其它组件可执行图4A的方法。
在步骤400中，从客户端获得存储装置访问请求。在本文中所用的存储装置访问请求指用于存储数据的请求或用于获取存储的数据的请求。
在本发明的一种或多种实施方式中，可在从客户端经由网络发送的消息中获得存储装置访问请求。在本发明的一种或多种实施方式中，存储装置访问请求可限定将在被指定为向客户端提供服务的存储网关上施加的工作负载的类型。工作负载可限定客户端将通过存储网关存储的数据结构的类型。
在步骤402中，根据存储装置访问请求所暗示的工作负载的类型，使用限定存储装置可用性的一组规则来确定将为发送存储装置访问请求的客户端提供服务的存储网关。
在本发明的一种或多种实施方式中，通过图4B中所示的方法确定存储网关。在不脱离本发明的情况下，可通过其它方法使用该组规则来确定存储网关。
在步骤404中，使用确定的存储网关为客户端提供服务。通过指定所确定的存储网关为客户端提供服务，可由所确定的存储网关为客户端提供服务。
在本发明的一种或多种实施方式中，所确定的存储网关通过将来自客户端的文件存储在存储装置中和/或从存储装置向客户端提供数据来为客户端服务。
该方法可在步骤404之后结束。
图4B示出了本发明的一种或多种实施方式的方法的流程图。根据本发明的一种或多种实施方式，可使用图4B中所示的方法确定存储网关。图4B中所示的方法例如可由协调器(120，图1A)执行。在不脱离本发明的情况下，图1A中所示的系统的其它组件可执行图 4B的方法。
在步骤410中，确定具有可用计算资源的一组存储网关。
在本发明的一种或多种实施方式中，通过图4C中所示的方法确定一组存储网关。在不脱离本发明的情况下，可使用其它方法确定一组存储网关。
在本发明的一种或多种实施方式中，可根据存储网关的计算资源的可用性来确定一组存储网关。
在步骤412中，确定步骤400的存储装置访问请求所暗示的工作负载类型。
在本发明的一种或多种实施方式中，存储装置访问请求限定将通过将客户端指定给存储网关而施加的工作负载的类型。
在步骤414中，选择所确定的一组存储网关中的一个存储网关。在本发明的一种或多种实施方式中，所述选择是随意的。
在步骤416中，确定所选存储网关是否具有可用于所确定的工作负载类型的可用容量。
在本发明的一种或多种实施方式中，使用图4D中所示的方法进行确定。在不脱离本发明的前提下，也可使用进行确定的其它方法。
若确定存储网关具有足够的容量，则该方法转至步骤418。若确定存储网关没有足够的容量，则该方法转至步骤420。
在步骤418中，将选定的存储网关用作图4A的步骤402中的确定的存储网关。该方法可在步骤418之后结束。
回到步骤416，如果选定的存储网关没有用于所确定的工作负载类型的可用容量，则该方法转至步骤420。
在步骤420中，从所确定的一组存储网关中移除所选存储网关。换言之，若所选存储网关没有可用容量来处理所确定的工作负载类型，则将所选存储网关从客户端的潜在服务提供者的考虑范围排除。
该方法可在步骤420之后返回至步骤414。
图4C示出了本发明的一种或多种实施方式的方法的流程图。根据本发明的一种或多种实施方式，可使用图4C中所示的方法确定一组存储网关。图4C中所示的方法例如可由协调器(120，图1A)执行。在不脱离本发明的情况下，图1A中所示的系统的其它组件可执行图4C的方法。
在步骤422中，轮询存储网关，以获得存储网关操作指标。
在步骤424中，使用获得的存储网关操作指标更新综合存储网关操作指标。
在步骤426中，估算满足存储装置访问请求所需的计算资源的可用性。
在本发明的一种或多种实施方式中，根据以下的一个或多个因素来估算所需的计算资源的可用性：(i)客户端的存储容量，(ii)客户端执行的功能，(iii)客户端的数据存储频率，以及(iv)客户端将使用存储网关存储的文件的类型。
在步骤428中，根据更新的综合存储网关操作指标将估算的计算资源可用性与至少一个存储网关进行匹配，使用匹配的至少一个存储网关作为所确定的一组存储网关。
该方法可在步骤428之后结束。
图4D示出了本发明的一种或多种实施方式的方法的流程图。根据本发明的一种或多种实施方式，图4D中所示的方法可用于确定存储网关是否具有为工作负载提供服务的容量。图4D中所示的方法例如可由协调器(120，图1A)执行。在不脱离本发明的情况下，图1A中所示的系统的其它组件可执行图4D的方法。
在步骤430中，获得与所确定的由存储装置访问请求暗示的工作负载类型相关联的工作负载策略。
在本发明的一种或多种实施方式中，所获得的工作负载策略的条目限定最大并发会话数。该条目将客户端的工作负载与存储网关的连接特性进行匹配。
在步骤432中，确定所选存储网关是否符合工作负载策略。所选存储网关可以是在图2B的步骤414中选择的存储网关。
在本发明的一种或多种实施方式中，通过将由综合存储网关操作指标限定的所选存储网关执行的当前并发会话的数目与由匹配的条目限定的最大并发会话数进行比较来进行确定。若当前并发会话数小于最大值，则确定所选存储网关符合工作负载策略。
如果所选存储网关符合工作负载策略，则该方法转至步骤434。若所选存储网关不符合工作负载策略，则该方法转至步骤434。
在步骤434中，确定所选存储网关具有可用于所确定的工作负载类型的可用容量。
该方法可在步骤434之后结束。
在步骤436中，确定所选存储网关没有可用于所确定的工作负载类型的可用容量。
该方法可在步骤436之后结束。
如上所述，协调器(120，图1A)可将客户端指定给存储网关(110，图1A)。图5示出了本发明的一种或多种实施方式的可由客户端执行以从存储网关获得服务的方法。本领域普通技术人员应理解，这些步骤中的一部分或全部可按不同顺序执行，可组合或省略，并且一部分或所有步骤可并行执行。
图5示出了本发明的一种或多种实施方式的方法的流程图。根据本发明的一种或多种实施方式，可使用图5中所示的方法从存储网关获得存储服务。图5中所示的方法例如可由客户端(100，图1A)执行。在不脱离本发明的情况下，图1A中所示的系统的其它组件可执行图5的方法。
在步骤500中，通过发送存储装置访问请求来请求访问存储装置。在本发明的一种或多种实施方式中，将该请求发送至协调器。在不脱离本发明的情况下，可将请求发送至图1A的系统的其它组件。在这种情况下，上述其它组件可将请求转发给协调器。
在本发明的一种或多种实施方式中，该请求指定客户端的标识符和/或客户端将在存储网关上施加的工作负载的类型。
在步骤502中，获得指定存储网关的存储网关指定结果。可从协调器获得存储网关指定结果。
在步骤504中，经由存储网关分配结果指定的存储网关向存储装置存储数据/从存储装置读取数据。
该方法可在步骤504之后结束。
可使用由数据管理设备的一个或多个处理器执行的指令来实现本发明的一种或多种实施方式。此外，这样的指令可与存储在一个或多个非暂时性计算机可读介质上的计算机可读指令对应。
图6示出了本发明的一种或多种实施方式的计算装置的示意图。计算设备(600)可包括一个或多个计算机处理器(602)、非持久性性存储装置(604)(例如易失性存储器，例如随机存取存储器(RAM)、高速缓冲存储器)、持久性存储装置(606)(例如硬盘、光驱(例如光盘(CD)驱动器)或数字通用盘(DVD)驱动器、闪存等)、通信接口(612)(例如蓝牙接口、红外线接口、网络接口、光接口等)、输入装置(610)、输出装置(608)、以及许多其它元件(未示出)和功能。这些组件中的每一个将在下文中说明。
在本发明的一种实施方式中，计算机处理器(602)可以是用于处理指令的集成电路。例如，计算机处理器可以是一个或多个核心、或者是处理器的微核心。计算机设备(600)还可包括一个或多个输入装置(610)，例如触摸屏、键盘、鼠标、麦克风、触摸板、电子笔、或任何其它类型的输入装置。此外，通信接口(612)可包括用于将计算设备(600)连接至网络(未示出)(例如局域网(LAN)、广域网(WAN)(例如因特网)、移动网络或任何其它类型的网络) 和/或另一个设备(例如另一个计算设备)的集成电路。
在本发明的一种实施方式中，计算设备(600)可包括一个或多个输出装置(608)，例如屏幕(例如液晶显示屏(LCD)、等离子显示屏、触摸屏、阴极射线管(CRT)监视器、投影仪或其它显示装置)、打印机、外部存储器、或任何其它输出装置。一个或多个输出装置可与输入装置相同或不同。输入和输出装置可通过本地或远程方式连接至计算机处理器(602)、非持久性存储装置(604)和持久性存储装置(606)。存在许多不同类型的计算设备，并且上述输入和输出装置可以采取其它形式。
本发明的一种或多种实施方式可解决在网络环境中由存储网关提供的服务质量降低的问题。由于存储网关运行的技术环境，会遇到上述问题。由于分布式存储装置的出现，客户端常常将数据存储在远程存储装置中，例如云存储装置。与传统内部存储装置不同的是，远程存储装置提供的服务质量除了取决于传统存储装置的固有性能限制之外，还取决于客户端与存储装置之间的连接的特性和客户端对存储网关施加的工作负载的类型。本发明的实施方式可在指定操作时考虑这些附加的服务质量限制特性，并限制并发会话的数目，以防止服务质量降低。因此，本发明的实施方式根据连接的特性和由客户端执行的工作负载的特性动态地限制并发会话的数目。在指定客户端时，本发明的实施方式可通过使用一组规则确定不会降低性能的最高会话并发性来提供上述益处。上述问题应理解为由本文公开的技术所解决的问题的一个示例，并且本发明不限于解决类似的问题。所公开的技术广泛适用于解决一系列问题。
本发明的一种或多种实施方式可实现下列一种或多种能力：i)通过根据每个会话的工作负载类型限制与客户端的并发会话的数目来保持存储网关提供的数据存储服务的质量，ii)降低因存储网关提供的存储服务质量差而导致从存储装置向客户端传送数据失败的可能性、以及(iii)通过自动选择用于存储数据的存储装置而无需用户干预或反馈来减轻用户的认知负担。
虽然本发明在上文中是参照有限数量的实施方式说明的，但是受益于本公开的本领域技术人员能理解，能够设计出不脱离本文中所公开的本发明的范围的其它实施方式。因此，本发明的范围仅由所附权利要求限定。

Claims (19)

1.一种用于经由多个存储网关向远程存储装置提供客户端存储访问的协调器，包括：
持久性存储装置，其包括工作负载策略；和
处理器，其被编程为：
从所述客户端获取指定工作负载的数据存储访问请求；
标识由所述数据存储访问请求指示的所述工作负载的类型，以获得标识的工作负载类型；
标识所述多个存储网关中用来服务所述数据存储访问请求的存储网关，其中基于以下内容来选择所标识的存储网关：
所述工作负载策略，
所标识的工作负载类型，
工作负载的模式，其中所述工作负载的模式对应于所述客户端与所述远程存储装置之间的数据存储的模式并且基于发起所述数据存储访问请求的客户端的类别，和
将被存储在所标识的存储网关中作为所述工作负载的部分的文件的类别；和
分配所标识的存储网关，以向所述客户端提供向所述远程存储装置的存储访问。
2.根据权利要求1所述的协调器，其中所述工作负载策略包括一组规则，其基于以下内容来指定所述多个存储网关中用来服务所述数据存储访问请求的每个存储网关的可用性：
所述工作负载的类型，和
由所述多个存储网关的相应存储网关所服务的所述工作负载的类型的多个并发会话。
3.根据权利要求2所述的协调器，其中所述工作负载的类型指定由所述存储装置使用的数据库类型。
4.根据权利要求1所述的协调器，其中标识所述多个存储网关中用来服务所述数据存储访问请求的存储网关包括：
选择所述多个存储网关中具有足以服务所述数据存储访问请求的可用计算资源的存储网关；
将所选择的存储网关的所标识的工作负载类型的并发会话数与所述工作负载策略做出比较；和
基于所述比较，做出如下确定：所述并发会话数超过由所述工作负载策略指定的所标识的类型的最大并发会话数，同时所述多个存储网关中的所选择的存储网关具有足以服务所述数据存储请求的可用计算资源。
5.根据权利要求4所述的协调器，其中标识所述多个存储网关中用来服务所述数据存储访问请求的存储网关还包括：
选择所述多个存储网关中具有足以服务所述数据存储访问请求的可用计算资源的第二存储网关；
将所选择的第二存储网关的所标识的工作负载类型的并发会话数与所述工作负载策略做出第二比较；
基于所述比较，做出如下第二确定：所述并发会话数少于由所述工作负载策略指定的所标识的类型的最大并发会话数，同时所述多个存储网关中的所选择的存储网关具有足以服务所述数据存储请求的可用计算资源；和
响应于所述第二确定，使用所述第二存储网关作为所标识的存储网关。
6.根据权利要求1所述的协调器，其中所述工作负载策略包括：
第一条目，其指定用于由所标识的存储网关服务所标识的工作负载类型的第一最大并发会话数；和
第二条目，其指定用于由所标识的存储网关服务第二工作负载类型的第二最大并发会话数。
7.根据权利要求6所述的协调器，其中所标识的工作负载类型包括第一数据库类型的数据库事务。
8.根据权利要求7所述的协调器，其中所述第二工作负载类型包括第二数据库类型的数据库事务。
9.根据权利要求6所述的协调器，其中所述第一最大并发会话数系基于所标识的存储网关与服务所标识的工作负载类型的存储装置之间的可用带宽。
10.根据权利要求6所述的协调器，其中所述第一最大并发会话数系基于所标识的存储网关与服务所标识的工作负载类型的存储装置之间的延迟。
11.根据权利要求6所述的协调器，其中所述第一最大并发会话数系基于所标识的存储装置的可用高速缓存。
12.根据权利要求1所述的协调器，其中所述处理器还被编程为：
在获得所述数据存储访问请求之前，基于多个连接来动态地修改所述工作负载策略，其中所述多个连接处于所标识的存储网关与存储来自客户端的数据的存储装置之间。
13.根据权利要求12所述的协调器，其中所述工作负载策略被动态地修改，以与所述多个连接的带宽的相应变化成比例地调节由所述工作负载策略指定的并发会话数。
14.根据权利要求12所述的协调器，其中所述工作负载策略被动态地修改，以与所述多个连接的延迟的相应变化成比例地调节由所述工作负载策略指定的并发会话数。
15.一种操作用于经由多个存储网关向远程存储装置提供客户端存储访问的协调器的方法，包括：
通过所述协调器，从所述客户端获得指定工作负载的数据存储访问请求；
通过所述协调器，标识由所述数据存储访问请求指示的所述工作负载的类型；
通过所述协调器，标识所述多个存储网关中用来服务所述数据存储访问请求的存储网关，其中基于以下内容来选择所标识的存储网关：
工作负载策略，
所标识的工作负载类型，
工作负载的模式，其中所述工作负载的模式对应于所述客户端与所述远程存储装置之间的数据存储的模式并且基于发起所述数据存储访问请求的客户端的类别，和
将被存储在所标识的存储网关中作为所述工作负载的部分的文件的类别；和
通过所述协调器，分配所标识的存储网关以向客户端提供向所述远程存储装置的存储访问。
16.根据权利要求15所述的方法，还包括：
在获得所述数据存储访问请求之前，基于多个连接来动态地修改所述工作负载策略，其中所述多个连接处于所标识的存储网关与存储来自客户端的数据的所述远程存储装置之间。
17.根据权利要求16所述的方法，其中所述工作负载策略被动态地修改，以与所述多个连接的带宽的相应变化成比例地调节由所述工作负载策略指定的并发会话数。
18.一种非暂时性计算机可读介质，包括计算机可读程序代码，所述计算机可读程序代码在由计算机处理器执行时使得所述计算机处理器能够执行用于操作经由多个存储网关向远程存储装置提供客户端存储访问的协调器的方法，所述方法包括：
通过所述协调器，从所述客户端获得指定工作负载的数据存储访问请求；
通过所述协调器，标识由所述数据存储访问请求指示的所述工作负载的类型；
通过所述协调器，标识所述多个存储网关中用来服务所述数据存储访问请求的存储网关，其中基于以下内容来选择所标识的存储网关：
工作负载策略，
所标识的工作负载类型，
工作负载的模式，其中所述工作负载的模式对应于所述客户端与所述远程存储装置之间的数据存储的模式并且基于发起所述数据存储访问请求的客户端的类别，和
将被存储在所标识的存储网关中作为所述工作负载的部分的文件的类别；和
通过所述协调器，分配所标识的存储网关以向客户端提供向所述远程存储装置的存储访问。
19.根据权利要求18所述的非暂时性计算机可读介质，其中所述方法还包括：
在获得所述数据存储访问请求之前，基于多个连接来动态地修改所述工作负载策略，其中所述多个连接处于所标识的存储网关与存储来自客户端的数据的所述远程存储装置之间。
CN201910022954.5A 2018-01-10 2019-01-10 用于动态备份会话的系统和方法 Active CN110022348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/866,546 2018-01-10
US15/866,546 US11082492B2 (en) 2018-01-10 2018-01-10 System and method for dynamic backup sessions

Publications (2)

Publication Number Publication Date
CN110022348A CN110022348A (zh) 2019-07-16
CN110022348B true CN110022348B (zh) 2022-03-01

Family

ID=65234399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022954.5A Active CN110022348B (zh) 2018-01-10 2019-01-10 用于动态备份会话的系统和方法

Country Status (3)

Country Link
US (1) US11082492B2 (zh)
EP (1) EP3511815A1 (zh)
CN (1) CN110022348B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902400A (zh) * 2010-07-21 2010-12-01 成都市华为赛门铁克科技有限公司 网关负载均衡方法、系统和客户端设备
CN103202002A (zh) * 2010-09-08 2013-07-10 思杰系统有限公司 用于自负载平衡访问网关的系统和方法
CN106462544A (zh) * 2014-03-31 2017-02-22 亚马逊科技公司 分布式存储系统中的会话管理

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3833409B2 (ja) * 1999-02-05 2006-10-11 株式会社日立製作所 通信プロキシ装置
US7389311B1 (en) 1999-07-15 2008-06-17 Commvault Systems, Inc. Modular backup and retrieval system
US8417678B2 (en) 2002-07-30 2013-04-09 Storediq, Inc. System, method and apparatus for enterprise policy management
CA2520498C (en) 2003-04-03 2012-09-25 Commvault Systems, Inc. System and method for dynamically performing storage operations in a computer network
US8412822B1 (en) 2004-01-27 2013-04-02 At&T Intellectual Property Ii, L.P. Optimized job scheduling and execution in a distributed computing grid
WO2006053084A2 (en) 2004-11-05 2006-05-18 Commvault Systems, Inc. Method and system of pooling storage devices
US7869393B2 (en) * 2005-06-07 2011-01-11 Nortel Networks Limited Providing a data function in an access gateway node
US7797406B2 (en) * 2006-07-27 2010-09-14 Cisco Technology, Inc. Applying quality of service to application messages in network elements based on roles and status
JP4680866B2 (ja) * 2006-10-31 2011-05-11 株式会社日立製作所 ゲートウェイ負荷分散機能を備えたパケット転送装置
US9342364B2 (en) 2008-04-09 2016-05-17 International Business Machines Corporation Workflow managed composite applications
US8761008B2 (en) * 2009-10-29 2014-06-24 The Boeing Company System, apparatus, and method for communication in a tactical network
US9191437B2 (en) 2009-12-09 2015-11-17 International Business Machines Corporation Optimizing data storage among a plurality of data storage repositories
US8918439B2 (en) 2010-06-17 2014-12-23 International Business Machines Corporation Data lifecycle management within a cloud computing environment
WO2012000059A1 (en) 2010-07-02 2012-01-05 Metacdn Pty Ltd Systems and methods for storing digital content
WO2012147123A1 (en) 2011-04-26 2012-11-01 Hitachi, Ltd. Storage apparatus and control method therefor
US8554918B1 (en) 2011-06-08 2013-10-08 Emc Corporation Data migration with load balancing and optimization
WO2012176307A1 (ja) 2011-06-23 2012-12-27 株式会社日立製作所 ストレージ管理システム及びストレージ管理方法
US10089148B1 (en) 2011-06-30 2018-10-02 EMC IP Holding Company LLC Method and apparatus for policy-based replication
US9465697B2 (en) 2011-09-21 2016-10-11 Netapp, Inc. Provision of backup functionalities in cloud computing systems
WO2013093994A1 (ja) 2011-12-19 2013-06-27 富士通株式会社 ストレージシステム、データリバランシングプログラム及びデータリバランシング方法
US9740435B2 (en) 2012-02-27 2017-08-22 Fujifilm North America Corporation Methods for managing content stored in cloud-based storages
US8832234B1 (en) 2012-03-29 2014-09-09 Amazon Technologies, Inc. Distributed data storage controller
US9513823B2 (en) 2012-04-30 2016-12-06 Hewlett Packard Enterprise Development Lp Data migration
US9021203B2 (en) 2012-05-07 2015-04-28 International Business Machines Corporation Enhancing tiering storage performance
WO2013172405A1 (ja) * 2012-05-17 2013-11-21 日本電気株式会社 ストレージシステムおよびデータアクセス方法
US9098525B1 (en) 2012-06-14 2015-08-04 Emc Corporation Concurrent access to data on shared storage through multiple access points
US9460099B2 (en) 2012-11-13 2016-10-04 Amazon Technologies, Inc. Dynamic selection of storage tiers
US9953075B1 (en) 2012-12-27 2018-04-24 EMC IP Holding Company LLC Data classification system for hybrid clouds
US9451013B1 (en) 2013-01-02 2016-09-20 Amazon Technologies, Inc. Providing instance availability information
US9367351B1 (en) * 2013-03-14 2016-06-14 Emc Corporation Profiling input/output behavioral characteristics in distributed infrastructure
US20140281301A1 (en) 2013-03-15 2014-09-18 Silicon Graphics International Corp. Elastic hierarchical data storage backend
US9292226B2 (en) 2013-06-24 2016-03-22 Steven Andrew Moyer Adaptive data management using volume types
US9280678B2 (en) 2013-12-02 2016-03-08 Fortinet, Inc. Secure cloud storage distribution and aggregation
US10061628B2 (en) 2014-03-13 2018-08-28 Open Text Sa Ulc System and method for data access and replication in a distributed environment utilizing data derived from data access within the distributed environment
CN103873339B (zh) * 2014-03-17 2017-10-17 新华三技术有限公司 一种虚拟网关路由器的分配方法和装置
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
US10324743B2 (en) 2014-08-27 2019-06-18 Red Hat Israel, Ltd. Announcing virtual machine migration
US9521089B2 (en) * 2014-08-30 2016-12-13 International Business Machines Corporation Multi-layer QoS management in a distributed computing environment
US9417968B2 (en) 2014-09-22 2016-08-16 Commvault Systems, Inc. Efficiently restoring execution of a backed up virtual machine based on coordination with virtual-machine-file-relocation operations
US9977704B1 (en) 2014-09-26 2018-05-22 EMC IP Holding Company LLC Automated backup and replication of virtual machine data centers
WO2016056156A1 (ja) * 2014-10-07 2016-04-14 日本電気株式会社 通信集約システム、制御装置、処理負荷制御方法及びプログラムを格納した非一時的なコンピュータ可読媒体
US10078556B2 (en) 2015-08-31 2018-09-18 Paypal, Inc. Data replication between databases with heterogenious data platforms
US10659532B2 (en) 2015-09-26 2020-05-19 Intel Corporation Technologies for reducing latency variation of stored data object requests
US20170168729A1 (en) * 2015-12-11 2017-06-15 Netapp, Inc. Methods and systems for managing resources of a networked storage environment
US10180912B1 (en) 2015-12-17 2019-01-15 Amazon Technologies, Inc. Techniques and systems for data segregation in redundancy coded data storage systems
US10313251B2 (en) 2016-02-01 2019-06-04 Netapp, Inc. Methods and systems for managing quality of service in a networked storage environment
US10282104B2 (en) 2016-06-01 2019-05-07 International Business Machines Corporation Dynamic optimization of raid read operations
CN109791505A (zh) 2016-10-05 2019-05-21 瑞典爱立信有限公司 控制在数据中心中的资源分配
US10929290B2 (en) 2016-12-31 2021-02-23 Intel Corporation Mechanism for providing reconfigurable data tiers in a rack scale environment
US10678579B2 (en) 2017-03-17 2020-06-09 Vmware, Inc. Policy based cross-cloud migration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902400A (zh) * 2010-07-21 2010-12-01 成都市华为赛门铁克科技有限公司 网关负载均衡方法、系统和客户端设备
CN103202002A (zh) * 2010-09-08 2013-07-10 思杰系统有限公司 用于自负载平衡访问网关的系统和方法
CN106462544A (zh) * 2014-03-31 2017-02-22 亚马逊科技公司 分布式存储系统中的会话管理

Also Published As

Publication number Publication date
CN110022348A (zh) 2019-07-16
EP3511815A1 (en) 2019-07-17
US20190215365A1 (en) 2019-07-11
US11082492B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
US10579272B2 (en) Workload aware storage platform
US10360199B2 (en) Partitioning and rebalancing data storage
CN110018786B (zh) 用于预测数据存储特性的系统和方法
US10834189B1 (en) System and method for managing workload in a pooled environment
US11330078B1 (en) Method and system for managing updates of a data manager
US11093350B2 (en) Method and system for an optimized backup data transfer mechanism
US11429311B1 (en) Method and system for managing requests in a distributed system
CN111475279B (zh) 用于备份的智能数据负载平衡的系统和方法
US10831610B2 (en) System and method for adaptive backup workflows in dynamic priority environment
CN110022348B (zh) 用于动态备份会话的系统和方法
US11561777B2 (en) System and method for intelligent update flow across inter and intra update dependencies
US10542087B1 (en) System and method for managing storage tier migration
US10671311B1 (en) System and method for dynamic data migration
US20220407931A1 (en) Method to provide sla based access to cloud data in backup servers with multi cloud storage
US11360862B2 (en) System and method for managing backup operations of storage devices in a backup storage system using cluster evaluations based on usage telemetry
US11119867B1 (en) System and method for backup storage selection
US10757188B1 (en) System and method for efficient data access for restores
US11816088B2 (en) Method and system for managing cross data source data access requests
US12026065B1 (en) System and method for a distribution of backup operations for network attached storage assets
US10509587B2 (en) System and method for high priority backup
US11714805B1 (en) Method and system for streaming data from portable storage devices
US11770310B2 (en) Method and system for performing data protection services using a subsystem level feedback mechanism
US11892915B2 (en) Method and system for performing data protection services using a grouped subsystem level feedback mechanism
US20230066249A1 (en) Method and system for deployment of prediction models using sketches generated through distributed data distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant