CN102135861B - 使用现行负载测量和分级在存储池中布局虚拟卷热点的方法 - Google Patents

使用现行负载测量和分级在存储池中布局虚拟卷热点的方法 Download PDF

Info

Publication number
CN102135861B
CN102135861B CN201010181751.XA CN201010181751A CN102135861B CN 102135861 B CN102135861 B CN 102135861B CN 201010181751 A CN201010181751 A CN 201010181751A CN 102135861 B CN102135861 B CN 102135861B
Authority
CN
China
Prior art keywords
storage pool
data element
focus
load
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010181751.XA
Other languages
English (en)
Other versions
CN102135861A (zh
Inventor
马丁·杰思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NetApp Inc
Original Assignee
Spinnaker Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spinnaker Networks Inc filed Critical Spinnaker Networks Inc
Publication of CN102135861A publication Critical patent/CN102135861A/zh
Application granted granted Critical
Publication of CN102135861B publication Critical patent/CN102135861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3485Performance evaluation by tracing or monitoring for I/O devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

使用现行负载测量和分级在存储池中布局虚拟卷热点的方法。本公开涉及一种通过动态存储分层(DST)机制在存储系统中的数据元布局方法,使得系统的效率得以提高。例如,所述DST机制可以采取数据元布局算法。可以将所述数据元(如,虚拟卷热点)放入存储池中,使得存储池的高效使用率最大化。可通过在LBA范围上动态地测量负载来检测热点。可基于现行的状况去测量所述存储池的性能。进一步地,当根据所测量的性能可对存储池划分等级时,可根据负载对所述热点划分等级。如果一个热点的负载降低,可将所述热点移到具有较低性能的存储池。如果一个热点的负载增加,可将所述热点移到具有较高性能的存储池。

Description

使用现行负载测量和分级在存储池中布局虚拟卷热点的方法
技术领域
本发明涉及采用数据存储系统的数据管理领域,以及尤其涉及使用现行负载测量和分级将虚拟卷热点布局在存储池中的方法。
背景技术
当前,在数据存储系统中提供数据管理的现有方法无法提供所需的性能等级。
因此,需要提供一种方法,用于在提供当前现有解决方案的上述参考缺点的数据存储系统中提供数据管理。
发明内容
相应地,本发明的一个实施例涉及一种通过动态存储分层(DST)机制在存储系统中提供数据元布局的方法,所述的方法包括:基于存储池的相应性能等级将所述存储系统中多个存储池组织成一层次;基于数据元的相应活动等级将多个数据元放入所述多个存储池中;监视所述多个数据元和存储系统的所述多个存储池;测定被包括在所述多个数据元中的第一数据元的负载;测定被包括在所述多个存储池中的第一存储池的负载范围,将所述第一数据元定位于所述第一存储池中,所述第一存储池具有第一性能等级;将所述第一数据元的负载与所述第一存储池的负载范围进行比较;当所述第一数据元的负载与所述第一存储池的负载范围的所述的比较指示所述第一数据元的负载大于所述第一存储池的负载范围的上限阈值时,为被包括在所述多个存储池中的第二存储池确定一负载范围,所述第二存储池具有第二性能等级,所述第二性能等级高于所述第一性能等级;将所述第一数据元的负载与所述第二存储池的负载范围进行比较;当所述第一数据元的负载与所述第二存储池的负载范围的所述的比较指示所述第一数据元的负载在所述第二存储池的负载范围内时,估算数据元移动条件以确定所述第一数据元是否存在移动障碍,其中所述估算的数据元移动条件包括下列至少一个:所述第二存储池的空余容量;相对于错合标准的预定等级的所述第一数据元和所述第一存储池之间的错合等级;所述存储系统上的总负载;所述存储系统的有效DST移动操作的次数;所述第一数据元的大小;和所述存储系统的策略限制;以及当所述数据元移动条件的估算指示所述第一数据元无移动障碍时,将所述第一数据元移动到所述第二存储池。
本发明进一步的实施例涉及一种计算机程序产品,包括信号承载介质,所述信号承载介质承载:计算机可使用代码,其被配置用以基于存储池的相应性能等级将所述存储系统中多个存储池组织成一层次;计算机可使用代码,其被被配置用以基于数据元的相应活动等级将多个数据元放入多个存储池中;计算机可使用代码,其被配置用以监视所述多个数据元和存储系统的所述多个存储池;计算机可使用代码,其被配置用以测定被包括在所述多个数据元中的第一数据元的负载;计算机可使用代码,其被配置用以测定被包括在所述多个存储池中的第一存储池的负载范围,将所述第一数据元定位于所述第一存储池中,所述第一存储池具有第一性能等级;计算机可使用代码,其被配置用以将所述第一数据元的负载与所述第一存储池的负载范围进行比较;计算机可使用代码,其被配置用以当所述第一数据元的负载与所述第一存储池的负载范围的所述的比较指示所述第一数据元的负载大于所述第一存储池的负载范围的上限阈值时,为被包括在所述多个存储池中的第二存储池确定一负载范围,所述第二存储池具有第二性能等级,所述第二性能等级高于所述第一性能等级;计算机可使用代码,其被配置用以将所述第一数据元的负载与所述第二存储池的负载范围进行比较;计算机可使用代码,其被配置用以当所述第一数据元的负载与所述第二存储池的负载范围的所述的比较指示所述第一数据元的负载在所述第二存储池的负载范围内时,估算数据元移动条件以确定所述第一数据元是否存在移动障碍,其中所述估算的数据元移动条件包括下列至少一个:所述第二存储池的空余容量;相对于错合标准的预定等级的所述第一数据元和所述第一存储池之间的错合等级;所述存储系统上的总负载;所述存储系统的有效DST移动操作的次数;所述第一数据元的大小;和所述存储系统的策略限制;以及计算机可使用代码,其被配置用以当上述数据元移动条件的估算指示所述第一数据元无移动障碍时,将所述的第一数据元移入所述第二存储池。
容易理解,上述的发明内容和下面的具体实施都仅仅是示范性和解释性的,并不是对本发明公开内容的强制限制。附图被结合且组成了本说明书的一部分,对本发明的实施例进行了说明,并和发明内容一起用来解释本发明的原理。
附图说明
通过参考附图,本发明的众多优点可以被本领域的技术人员更好地进行理解:
图1A和1B根据本发明进一步的实施例,描述了一个对通过动态存储分层(DST)机制(如,通过算法)在存储系统中数据元布局方法进行说明的流程图;和
图2是根据本发明的示范性实施例对系统(如,存储系统)进行的方框图说明,所述系统基于/包括在本发明数据元布局方法(如,诸如图1A和1B中的方法)进行实施。
具体实施方案
现在针对本发明先前优选实施例进行介绍,在附图中举例对其进行说明。
动态存储分层(DST)是基于存储系统中存储设备的不同特征将它们分组成多个层的概念,并将数据动态地重新定位于所述存储设备的平衡指定容量。这样的重新定位需要所述数据以允许DST机制将数据的特定元布局在它们的最优化层的方式进行分类。DST可应用于存储层的多个不同服务质量(QoS)属性。在本发明中,描述了存储系统的基于DST性能管理。
为了性能管理,本发明中所述DST机制的目的是鉴别出具有高活动等级的数据并将它放入高性能存储层(如,高性能存储池)中。相同重要的是,鉴别出低活动等级的数据(如,具有比所述高活动等级数据较低的活动等级的数据)并将它放入低性能存储层(如,低性能存储池)中,所述低性能存储池具有比所述高性能存储层更低等级的性能。将所述低活动等级数据放入所述低性能存储层以防止所述低活动等级数据占据所述高性能存储层中的存储容量。所述DST机制能够执行上述的数据鉴别和布局而不需要使用任意离线主数据。
进一步地,本发明的DST机制可促进高性能存储层使用率最大化,使得在高性能存储层中典型地更昂贵的存储设备(如,高性能存储设备)使用率最大化。但是,所述DST机制可以被配置用以实施防止所述高性能层的过载以及防止使它们有效性能低于所述低性能层。这样的过载可能发生在当所述高性能层中的存储设备饱和时(如,在所述高性能层中的存储设备的存储容量饱和)。
本发明的DST机制允许连续地将数据元放置并保存在它们合适的存储层中,以优化存储系统性能。先前解决方案已经不能提供本发明中DST机制的上述参考功能。一些先前解决方案是基于预测I/O行为具有高精度的理论假设上。但是,I/O具有高精度的预测已经被证明更加难于实践。其它先前解决方案会需要高度发达的统计计算能力。DST的有挑战性的一面在于,在一些例子中,将数据元移到第一存储层(如,高性能存储层)能够将所述存储层的性能等级改变达到使所述存储层的有效性能/性能等级会降低到第二存储层(如,高性能/较低性能存储层)的有效性能/性能等级之下。虽然基于现行的状况测量存储层性能允许在将所述数据移到所述第一存储层后检测这方面/问题,但这样问题在所述移动之前不容易被预测到。
在一个外部存储阵列中(如,在一个存储系统中),当在所述存储阵列中使用一个存储虚拟化管理器(SVM)时,每一个小型计算机接口(SCSI)逻辑单元(LU)会被映射为一个虚拟卷。用一个或多个所述存储阵列的存储层(如,存储池)从容量上对所述虚拟卷进行规定。例如,每一个存储池可以基本上对应一个存储层。一个存储池会包括一个或多个虚拟驱动器(如,廉价冗余磁盘阵列(RAID)卷)。当用所述一个或多个存储池对所述虚拟卷进行规定时,会为虚拟卷逻辑块地址(LBA)范围到虚拟驱动器LBA范围的每一个映射创建一个虚拟卷分段。因此,构成所述虚拟卷的虚拟卷分段集合可以形成所述虚拟卷的配置。
对于一个小型计算机接口(SCSI)逻辑单元(LU),测量为具有高活动等级的数据可以被鉴别为所述LU内的LBA范围。例如,和所述LU的其余相比较,与所述已鉴别的LBA范围相关的高活动等级数据可以具有显著的活动性,并可以被作为热点。一个LU可包含超过一个热点。所述数据的这个已测活动等级也可被作为在所述LBA范围上的负载。
一个热点可能被完全包含在一个虚拟卷分段内,或其可能跨度两个或多个虚拟卷分段。因此,实现DST目标的一种方式可以是将包含所述热点的虚拟卷分段移到一个较高性能存储池(如,到一个高性能存储层)。但是,虽然一个虚拟卷分段可能小于所述虚拟卷,其仍可能非常大,且所述热点可能仅仅占用将被移动的虚拟卷分段的较小百分比。本发明中DST机制可进一步允许动态改变所述虚拟卷配置(如,所述虚拟卷分段),使得所述热点随后可以被包含在一个或多个较小的不比所述热点大很多的虚拟卷分段中。本发明中DST机制可随后将这些包含所述热点的较小虚拟卷分段移到合适的存储池,基于在/通过本发明的DST机制实施的算法。
热点检测机制会将一个虚拟卷的LBA范围组织成相同大小的簇,为此所述存储系统可基于现行的状况来测量负载/活动。例如,会为每一个单独簇采集性能统计(如,负载测量)。簇可以被定义为所述虚拟卷总容量的百分比,或固定大小(如,一些兆字节(MBs))。所述存储系统会具有最小簇大小来限制需要跟踪的元数据/统计总数。但是,簇大小一般会显著小于所述虚拟卷分段。可通过一个简单簇或与所述虚拟卷其余相比(以及可能对DST管理下其它虚拟卷进行比较)具有高活动等级的邻近簇来鉴别热点。所述虚拟卷配置随后可被改变使得与所述热点对应的簇在一个或多个虚拟卷分段中,从而允许所述DST机制移动更小的簇。
所述存储系统的SVM可支持快照机制,其中可以为虚拟卷创建一个或多个时间点(PiT)拷贝。当基于虚拟卷的PiT拷贝(如,一PiT)被创建时,所述虚拟卷会被冻结,以及一PiT临时虚拟卷(PTVV)会被创建用来保存所述PiT创建后对所述虚拟卷所作出的所有改变。因此,所述虚拟卷的初始内容会在所述PiT被创建的时间被保存。这种类型的快照机制被作为写时分配(或写时重定向),替代更常见的写时复制快照机制。如果另一PiT(如,第二PiT)在所述第一PiT创建后被创建,所述第一PiT(如,当前PiT)的PTVV会被冻结,一新的PTVV(如,第二PiT的PTVV)会被创建。所述最新创建的PiT(如,第二PiT)会随后在被创建时成为活动的PiT。可配置所述系统使得所有写操作定向于所述活动PiT的PTVV。
所述虚拟卷LBA范围可以在概念上被划分为等长的块。所述块的大小可以是所述PiT粒度,其是所述虚拟卷的一个属性。为每一PiT创建一个包括到所述虚拟卷中每个块的入口的重新分配表(RT)并保存在所述PTVV的开端。当主机在所述PiT创建后写入一个块时,在所述活动PiT的RT中相应入口被标记为已分配,以及所述块在下一个可获得LBA被放入PTVV中。当一PiT被删除时,在所述被删除PiT的相应PTVV中的块被重新整合入先前PiT中,或如果不存在其它PiT时,随后整合入所述虚拟卷本身。当在一虚拟卷上收到一读I/O操作时,所述活动PiT的RT可总是指向所述块(如,有效块)的最近版本。所述有效块可在/可被定位在所述活动PiT本身的PTVV中,或可在/可被定位于较旧PiT的PTVV中,或可在/可被定位于所述初始卷中。
可以将一读热点定义为其I/O操作主要是读的热点。可以将一写热点定义为一个其I/O操作主要是写的热点。如果一热点是写热点,所述I/O活动会集中在所述活动(如,最新创建的)PiT的PTVV中。简单地通过在所述目标存储池中创建所述虚拟卷的新PiT,所述热点会被移动到一个目标存储池。所述写I/O活动会继续集中在所述活动PiT中,其在此处会被留在所述目标存储池中。如果所述热点冷下来(如,其活动等级下降),DST会简单地删除所述PiT,因而将被删除PiT的内容重新整合进最近先前创建的PiT/PTVV,从而再次激活上述最近先前创建的PiT/PTVV。
如果所述热点是读热点,在所述问题LBA范围会被分散给多个与所述虚拟卷有关的PiT时,事情会变得更加复杂。因此,在目标存储池中创建一个新PiT是没有用的。即使所述读热点被包含在单个PiT内,所述块LBA范围无望在所述PTVV(如,构成所述读热点的块会在散布在所述整个PTVV内)中持续。所述PTVV本身在一些情况中是非常大的,因此将整个PTVV移到所述目标存储池是不可行的。对于读热点而言,DST(如,所述DST机制)仍旧会像上述一样在所述目标存储池中创建一个新PiT,但是其同样会执行附加步骤,将组成所述读热点的LBA范围拷贝到所述目标池中的新PTVV。这会使得将对应于所述读热点的所有块放入所述目标存储池的PTVV中。因而,当在所述虚拟卷的热点上接收到读操作时,这些读操作会移到在所述目标存储池(如,较快存储池)的PTVV中。
关键是,避免在上述参考拷贝操作中对在所述新PTVV(如,目标PTVV)中任意主机被写块的重写。DST不能简单地将所述热点LBA范围内的所有块写入所述目标PTVV,因为这会在拷贝操作发生时对已被所述主机在同一LBA范围内写入的数据进行重写。从而,使用一个被称为PiT附加拷贝的操作将所述读热点移动到所述目标存储池,所述操作中在所述读热点LBA范围内的块仅当所述目标PTVV中已经不存在一个块时被从源拷贝到所述目标PTVV。因此,所述DST具有检测并将热点移动到其它存储池而不顾所述虚拟卷是否具有PiT和不顾所述热点是读热点还是写热点的机制。
在本发明的示范性实施例中,本发明的DST机制可实施DST布局算法,其使用试探法以确定将每一热点放入存储系统的哪一个存储池中。包含在这些试探中的第一试探会是最大化利用所述存储系统的高效存储池(如,较高性能的存储池)。所述第一试探可能基于下述假设,所述较高性能存储池可能包括所述系统中最贵/较贵的存储设备以及所述系统的用户将希望具有这些较高性能存储池的最大可能利用率。进一步地,这些较高性能(如,较快)存储池的较高利用率会显著地增加所述存储系统好像具备全部的性能。例如,通过实施/遵循上述第一个试探,看起来像所述存储系统的所有存储设备都是较贵类型的(如,属于包括在所述较高/最高性能存储池中的设备类型),而实际上它们不是。
在本发明的进一步实施例中,基于上述第一个试探,所述DST机制(如,DST布局算法)会将热点以存储池性能等级(如,从顶级往下/从最高性能到最低性能)下降顺序放入存储池中。例如,最高等级存储池(如,最高性能存储池)先被填入,第二高等级存储池第二被填入,第三高等级存储池第三被填入,等。进一步地,DST(如,所述DST布局算法)会试图保持下列条件:
条件1:对于每一个热点i和热点j,如果等级(存储池(热点i))<等级(存储池(热点j)),则负载(热点i)<负载(热点j)。
根据上述,如果保持条件1,当包含第一热点(如,热点i)的存储池的性能等级/水准比包含第二热点(如,热点i)的存储池的性能等级/水准低时,则所述第一热点(如,热点i)的负载将小于所述第二热点(如,热点j)的负载。因而,当条件1继续时,相比较那些具有较低活动等级/负载的热点,具有较高活动等级/负载的热点会被放入较高性能存储池中。
在本发明的示范性实施例中,每一个存储池会与一个上限负载阈值和一个下限负载阈值有关。存储池的上限负载阈值被定义为/可以等同于具有所述存储池中最高负载的热点的负载。存储池的上限负载阈值被定义为/可以等同于具有所述存储池中最低负载的热点的负载。例如:
定义1:如果存储池(热点i)=存储池(热点j)=SP,以及存在这样的i,对于SP中的每一个热点j,使得负载(热点i)<负载(热点j),其中i!=j,则下限阈值(SP)=负载(热点i)。
定义2:如果存储池(热点i)=存储池(热点j)=SP,以及存在这样的k,对于SP中的每一个热点j,使得负载(热点k)>负载(热点j),其中k!=j,则上限阈值(SP)=负载(热点k)。
在本发明的进一步实施例中,DST可试图去避免重叠存储池阈值。例如,所述DST可试图以保持下列条件的方式将热点放入存储池中:
条件2:如果等级(SPn)>等级(SPm),则,下限阈值(SPn)>上限阈值(SPm)。
如上所述,当所述系统具有第一存储池(SPn)和第二存储池(SPm)且所述第一存储池的性能等级高于所述第二存储池的性能等级时,条件2将会在所述第一存储池的下限阈值大于所述第二存储池的上限阈值时被保持。
在本发明的示范性实施例中,DST会连续搜索与所述热点当前存储池最超出范围外的相关的热点。一旦鉴别出一个一贯超出所述热点当前存储池范围外的热点,DST将去评估是否需要将所述热点移到所述热点适合的存储池中。在本发明的当前实施例中,在做出上述评估时要考虑多个因素。首先,DST可鉴别出一个预期目标池,其中被评估的热点的负载值落在所述预期目标池的上限和下限阈值范围内(或与上限或下限阈值相同)。进一步地,所述DST会将所述评估热点大小与所述预期目标池的存储容量进行比较,以确定所述预期目标池是否有充分的容量来接收所述被评估的热点。
在进一步的实施例中,DST可评估在热点和其当前存储池之间的不同。例如,DST可识别所述热点的负载并将所述符合与所述热点当前存储池的上限和下限阈值负载进行比较。这样的比较会提供一个判别,即所述热点和其当前存储池当前的不适合是多么“糟糕”。这样的不适合必须大于一个最小差异,使得DST去考虑移动所述热点。上述最小差异可以是一个预定或预设最小差异,所述系统用来确定是否移动被评估的热点。在评估是否有必要(可取)去将热点移到一个不同的存储池时,需要考虑的其它因素或条件/其它被本发明DST机制所作出的判别可能包括:确定在所述存储系统(如,整个存储系统)上的当前负载;确定所述存储系统的中央处理器(CPU)使用率;确定所述存储系统的带宽使用率;确定所述存储系统的后台运行操作的个数;确定多少个DST移动操作已经运行/激活;确定将被移动的热点的大小(如,由于较大热点可能花费更长时间去移动,如果两个被评估为可能要移动的热点具有类似负载,DST可以选择先移动这两个预期热点中最小的一个);确定是否存在可以阻止所述移动的策略限制(如,在所述存储池上的数据元指定配置的前期)。基于针对上述列出条件的评估,如果DST确定,因可能移动而被分析的热点不符合所述条件,则上述热点此时不应被移动,DST可以从与它们当前存储池不合适的预期热点的DST配置表中选择下一个元(如,下一个热点),并可以按照上述列出条件对所述下一个热点进行评估,以此类推。DST可以连续地更新与它们当前存储池不合适的预期热点表,并可以持续在周期性间隔中通过所述表来按照上述列出条件对热点进行评估/重新评估,以确定它们是否能够和/或应被移到不同存储池中。
在本发明的示范性实施例中,所述DST机制可以被这样配置,当DST先前已经移动了一个热点时,所述热点可能不会被再次移动直到所述热点的负载发生显著变化。为了避免超负载,将一个宽限时间周期加在已经被移动的热点上。例如,如果所述热点负载在所述宽限时间周期内没有发生显著变化,其将不适合被再次移动。进一步地,在所述宽限时间周期过期后,所述热点不适合被移送回其来自的存储池,除非所述热点负载自先前被移动后已经发生显著改变。
在本发明的进一步实施例中,当热点冷却(如,当所述热点的负载低于其存储池的下限阈值时),上述热点最终会被移动到一个较低等级的存储池或其甚至会被移动回包含其虚拟卷其余部分的存储池中(如,所述热点会被重新整合回其虚拟卷中)。这样将冷却后热点移出较高等级存储池会为新的具有较高负载的热点释放出在较高等级存储池中的容量。
在本发明的示范性实施例中,DST可选择一新热点,所述热点适合被放入第一存储池(SPn)。但是,所述第一存储池可能不具有充分的剩余容量来容纳所述新热点。在这样的情况中,DST会将其它热点从所述第一存储池(SPn)中移送到较低等级存储池中以为所述新热点释放容量。这可以是这种情况,如果DST能够发现所述第一存储池(SPn)中一个或多个热点,其具有比所述新热点较低的负载且组合容量等于或高于所述新热点所需。
如上所述,DST可以连续地监视存储池性能,以及,如果一个较高等级存储池的平均响应时间性能下降到很接近于下一个较低等级存储池(如,在所述下一个较低等级存储池的一些预设百分比之内)时,则所述较高等级池变得不够资格接收更多的热点直到将其它热点从所述较高等级存储池中移出。在本发明的当前实施例中,可能是这样的情况,所述较高等级存储池不够资格,但是在所述较高等级存储池中存在一个第一热点(如,热点i),其具有比即将被DST进行移动的第二热点(如,热点j)更低的负载。因而,将所述第二热点移到一个较低性能存储池会违背上述条件1。这时,在下列条件实现时首先将热点i移送到下一个较低性能存储池:a)移走所述第一热点(如,热点i)为第二热点(如,热点j)释放了较高性能存储池中的足够容量;以及b)在下一个较低性能存储池中对于所述第二热点存在足够空余容量。如果上述条件(如,条件a和b)都满足,可将所述第一热点移送到下一个较低性能存储池,以及随后将所述第二热点移动到较高等级存储池。如果上述条件(条件a和b)对于在较高性能存储池中的任意热点都不满足,则所述第二热点会被移送到下一个较低性能存储池,以及DST会记录和/或提供一个指示/通告,即违背了上述条件(条件a和b)。上述违背会在所述存储系统的配置发生变化时随后进行解决。
在本发明的进一步实施例中,如果DST检测到多个需要被移动的热点,其会选择并先移动具有最高绝对负载的热点。随后,如果DST确定其需要将其它热点移送到较低等级存储池以为所选热点(如,具有最高绝对负载的热点)释放出容量,上述这样的移动操作被认为整个布局所选热点(如较高/最高负载热点)操作的一部分。
在示范性实施例中,DST可以将整个虚拟卷移送到一个较低等级池用以为热点创建/释放在较高等级存储池中的容量。情况是这样的,如果在阵列或运行中不存在热点移动操作,在较低等级存储池中存在足够空余容量,以及在所述虚拟卷减去任意热点后的平均负载适合在所述较低等级池内(如,不需要将它们与任意邻近存储池重叠即可落在所述较低等级池的上限和下限阈值范围内)。
因此,本发明的DST机制可以为所述存储系统执行下列功能:通过测量在LBA范围上的负载来检测热点;基于现行的状况测量存储池的性能;基于所述热点相关负载对热点划分等级;根据存储池已测量的性能对存储池划分等级;从顶级往下将热点放入存储池中(如,首先放入较高性能存储池中);如果热点冷却,将所述热点移送到较低等级存储池。
进一步地,本发明的DST机制可以提供下列优点:提供DST时执行的算法/所述DST机制便于实施和立为标准;所述DST机制不消耗所述系统过多的CPU周期;最大化所述较高性能存储池的使用率;自动调节以改变所述系统的负载情况。
在图1A和1B中,根据本发明的一个示范性实施例,描述了一个对通过动态存储分层(DST)机制(如,通过算法)在存储系统(如,图2中的系统200)中数据元布局方法进行说明的流程图。方法100可以包括基于存储池的相应性能等级(如,平均响应时间性能)将所述存储系统中多个存储池组织成一层次102。所述方法100可进一步包括基于数据元的相应活动等级将多个数据元放入多个存储池104。所述方法100可进一步包括监视所述多个数据元和存储系统的多个存储池106。所述方法100可进一步包括测定被包括在所述多个数据元中的第一数据元的负载108。
在本发明的进一步实施例中,所述方法100可进一步包测定被包括在所述多个存储池中的第一存储池的负载范围,将所述第一数据元定位于所述第一存储池中,所述第一存储池具有第一性能等级110。所述方法100可进一步包括将所述第一数据元的负载与所述第一存储池的负载范围进行比较112。所述方法100可进一步包括当所述第一数据元的负载与所述第一存储池的负载范围的所述的比较指示所述第一数据元的负载大于所述第一存储池的负载范围的上限阈值(如,上限负载阈值)时,为被包括在所述多个存储池中的第二存储池确定一负载范围,所述第二存储池具有第二性能等级,所述第二性能等级高于所述第一性能等级114。所述方法100可进一步包括将所述第一数据元的负载与所述第二存储池的负载范围进行比较116。
在本发明的示范性实施例中,所述方法100可进一步包括当所述第一数据元的负载与所述第二存储池的负载范围的所述的比较指示所述第一数据元的负载在所述第二存储池的负载范围内,估算数据元移动条件以确定所述第一数据元是否存在移动障碍,其中所述估算的数据元移动条件包括下列至少一个:所述第二存储池的空余容量;相对于错合标准的预定等级(如,与一个认为要移动的数据元所需的预先建立/预设的最小差异相关)的所述第一数据元和所述第一存储池之间的错合等级(如,超出所述第一存储池的负载范围之外多远);所述存储系统上的总负载;所述存储系统的有效DST移动操作的次数;所述第一数据元的大小;和所述存储系统的策略限制118。所述方法100可进一步包括当上述数据元移动条件的估算指示所述第一数据元无移动障碍时,将所述的第一数据元移入所述第二存储池120。所述方法100可进一步包括当所述第一数据元已经被移送到所述第二存储池时以及当所述第一数据元的负载下降到所述第二存储池的负载范围的下限阈值之下且在所述第一存储池的负载范围内时,将所述第一数据元移送到所述第一存储池122。
在本发明的进一步实施例中,所述方法100可进一步包括当上述数据元移动条件的估算指示所述第二存储池的空余容量不足以允许所述第一数据元移入所述第二存储池时,将第二数据元的负载与所述第一数据元的负载进行比较,所述第二数据元驻留在所述第二存储池中124。所述方法100可进一步包括当所述第二数据元的负载小于所述第一数据元的负载以及当去除所述第二数据元会提供在所述第二存储池中足够的空余容量以接收所述第一数据元时,从所述第二存储池中重新移走所述第二数据元并将所述第一数据元移入所述第二存储池126。
应注意到,按照本说明书教导,计算机领域的技术人员可以看出,通过使用编写程序的常见通用数字计算机将容易实现根据本发明的上述实施例。基于本公开的教导,软件领域的技术人员可以看出,熟练程序员会轻松编制好合适的软件代码。
应所述理解,本发明可通过软件包的形式容易进行实现。这样的软件包可以是一计算机程序产品,其使用了一计算机可读存储介质,包括已存储的计算机代码,用来对计算机编程来执行本发明所公开的功能和步骤。所述计算机可读介质/计算机可读存储介质可包括,但不限于,任意类型的常见软盘,光盘,CD-ROM,磁盘,硬盘,磁光盘,ROM,RAM,EPROM,EEPROM,磁卡或光卡,以及任意其它可存储电子指令的合适媒体。
容易理解,上述公开方法中的步骤的指定顺序或层次是示例方法的例子。基于设计偏好,应当理解,所述方法中的步骤的指定顺序或层次可以重新排列,而仍在本公开的主题精神内。所附方法权利要求以样本顺序呈现了不同步骤的要素,并不必意味着仅限于所呈现的指定次序或层次。
应当相信,通过前述将理解本发明和许多其伴随的优点,同样应当相信,显然其组成的形式、结构和布置可以进行不同的变化,而不脱离本发明的范围和精神或不牺牲所有其实质性优点。这里,以前所述的形式只是示例说明,下列权利要求的目的是包含和包括此类变化。

Claims (10)

1.一种通过动态存储分层机制提供存储系统中数据元布局的方法,所述的方法包括:
基于所述存储系统中多个存储池的相应性能等级将所述多个存储池组织成一层次;
基于多个数据元的相应活动等级将所述多个数据元放入所述多个存储池;
监视所述存储系统的所述多个数据元和存储系统的所述多个存储池;
测定被包括在所述多个数据元中的一第一数据元的负载;
利用所述第一数据元的所述负载确定所述第一数据元与一第一存储池之间的错合等级;和
比较所述错合等级与一错合标准。
2.如权利要求1所述的方法,进一步包括:
测定被包括在所述多个存储池中的第一存储池的一负载范围,将所述第一数据元定位于所述第一存储池中,所述第一存储池具有第一性能等级。
3.如权利要求2所述的方法,进一步包括:
比较所述第一数据元的所述负载与所述第一存储池的所述负载范围。
4.如权利要求3所述的方法,进一步包括:
当所述第一数据元的负载与所述第一存储池的所述负载范围的所述比较指示所述第一数据元的所述负载大于所述第一存储池的所述负载范围的上限阈值时,测定被包括在所述多个存储池中的一第二存储池的一负载范围,所述第二存储池具有第二性能等级,所述第二性能等级高于所述第一性能等级。
5.如权利要求4所述的方法,进一步包括:
比较所述第一数据元的所述负载与所述第二存储池的所述负载范围。
6.如权利要求5所述的方法,进一步包括:
当所述第一数据元的所述负载与所述第二存储池的所述负载范围的所述比较指示所述第一数据元的所述负载在所述第二存储池的所述负载范围内时,估算数据元移动条件以决定所述第一数据元是否存在移动障碍,其中所述估算的数据元移动条件包括下列至少一个:所述第二存储池的空余容量;相对于所述错合标准的所述第一数据元与所述第一存储池之间的所述错合等级;所述存储系统上的总负载;所述存储系统的有效动态存储分层移动操作的次数;所述第一数据元的大小;和所述存储系统的策略限制。
7.如权利要求6所述的方法,进一步包括:
当所述数据元移动条件的所述估算指示所述第一数据元无移动障碍时,将所述的第一数据元移到所述第二存储池中。
8.如权利要求7所述的方法,进一步包括:
当所述第一数据元已经被移到所述第二存储池时以及当所述第一数据元的所述负载下降到所述第二存储池的所述负载范围的一下限阈值之下且在所述第一存储池的所述负载范围内时,将所述第一数据元移到所述第一存储池中。
9.如权利要求6所述的方法,进一步包括:
当所述数据元移动条件的所述估算指示所述第二存储池的所述空余容量不足以允许所述第一数据元被移到所述第二存储池时,比较一第二数据元的负载与所述第一数据元的所述负载,所述第二数据元驻留所述第二存储池中。
10.如权利要求9所述的方法,进一步包括:
当所述第二数据元的所述负载小于所述第一数据元的所述负载以及当所述第二数据元的逐出将提供所述第二存储池中足够的空余容量以接收所述第一数据元时,从所述第二存储池中除去所述第二数据元并将所述第一数据元移到所述第二存储池中。
CN201010181751.XA 2010-01-25 2010-05-25 使用现行负载测量和分级在存储池中布局虚拟卷热点的方法 Active CN102135861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/692,838 US8285959B2 (en) 2010-01-25 2010-01-25 Method for placement of virtual volume hot-spots in storage pools using ongoing load measurements and ranking
US12/692,838 2010-01-25

Publications (2)

Publication Number Publication Date
CN102135861A CN102135861A (zh) 2011-07-27
CN102135861B true CN102135861B (zh) 2016-01-20

Family

ID=43927642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010181751.XA Active CN102135861B (zh) 2010-01-25 2010-05-25 使用现行负载测量和分级在存储池中布局虚拟卷热点的方法

Country Status (6)

Country Link
US (1) US8285959B2 (zh)
EP (1) EP2348395A3 (zh)
JP (1) JP5629919B2 (zh)
KR (1) KR20110087192A (zh)
CN (1) CN102135861B (zh)
TW (1) TW201126330A (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010138628A1 (en) * 2009-05-28 2010-12-02 Marvell World Trade Ltd. Metadata management for virtual volumes
US8793290B1 (en) * 2010-02-24 2014-07-29 Toshiba Corporation Metadata management for pools of storage disks
US8321646B2 (en) * 2010-04-13 2012-11-27 Dot Hill Systems Corporation Method and apparatus for rebalancing storage components within a storage tier
US9626127B2 (en) * 2010-07-21 2017-04-18 Nxp Usa, Inc. Integrated circuit device, data storage array system and method therefor
US8554917B2 (en) * 2010-08-20 2013-10-08 International Business Machines Corporation Performance isolation for storage clouds
WO2012131753A1 (en) * 2011-03-25 2012-10-04 Hitachi, Ltd. Storage system and performance management method of storage system
US8694727B2 (en) 2011-08-01 2014-04-08 Hitachi, Ltd. First storage control apparatus and storage system management method
US9058120B2 (en) * 2011-11-09 2015-06-16 International Business Machines Corporation Setting optimal space allocation policy for creating dependent snapshots to enhance application write performance and reduce resource usage
CN103186350B (zh) * 2011-12-31 2016-03-30 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法
US9335948B1 (en) * 2012-03-27 2016-05-10 Emc Corporation Method and apparatus for enabling access to tiered shared storage using dynamic tier partitioning
US9195409B2 (en) * 2012-05-01 2015-11-24 Enmotus, Inc. Storage system with load balancing mechanism and method of operation thereof
US9460018B2 (en) * 2012-05-09 2016-10-04 Qualcomm Incorporated Method and apparatus for tracking extra data permissions in an instruction cache
US9665630B1 (en) * 2012-06-18 2017-05-30 EMC IP Holding Company LLC Techniques for providing storage hints for use in connection with data movement optimizations
US9690703B1 (en) * 2012-06-27 2017-06-27 Netapp, Inc. Systems and methods providing storage system write elasticity buffers
US9697111B2 (en) * 2012-08-02 2017-07-04 Samsung Electronics Co., Ltd. Method of managing dynamic memory reallocation and device performing the method
CN103678139B (zh) 2012-08-31 2017-09-29 国际商业机器公司 进行瘦供给的方法和装置
US9128745B2 (en) 2012-12-27 2015-09-08 International Business Machines Corporation Automatically managing the storage of a virtual machine
JP6065642B2 (ja) 2013-02-25 2017-01-25 富士通株式会社 ストレージ制御プログラム、ストレージ制御装置、ストレージシステム、及びストレージ制御方法
US9298372B2 (en) 2013-03-06 2016-03-29 Dell Products, L.P. System and method for managing storage system snapshots
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
JP6190898B2 (ja) 2013-10-28 2017-08-30 株式会社日立製作所 サーバに接続されるシステム及び仮想マシンが動作しているサーバに接続されたシステムによる方法
CN103577337B (zh) * 2013-11-05 2017-02-22 华为技术有限公司 存储系统的空间分配方法和设备
JP6299169B2 (ja) 2013-11-14 2018-03-28 富士通株式会社 ストレージ装置、ストレージ装置の制御方法、及びストレージ装置の制御プログラム
JP2015158711A (ja) 2014-02-21 2015-09-03 富士通株式会社 ストレージ制御装置、仮想ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム
WO2016045096A1 (zh) 2014-09-26 2016-03-31 华为技术有限公司 一种文件迁移方法、装置和存储设备
JP2016126619A (ja) * 2015-01-06 2016-07-11 富士通株式会社 データ配置装置、データ配置プログラム及びデータ配置方法
CN104834478B (zh) * 2015-03-25 2018-05-22 中国科学院计算技术研究所 一种基于异构混合存储设备的数据写入及读取方法
US9983802B2 (en) 2015-04-29 2018-05-29 International Business Machines Corporation Allocating storage extents in a storage system
US9678681B2 (en) * 2015-06-17 2017-06-13 International Business Machines Corporation Secured multi-tenancy data in cloud-based storage environments
US10579540B2 (en) * 2016-01-29 2020-03-03 Netapp, Inc. Raid data migration through stripe swapping
CN107918613B (zh) * 2016-10-08 2022-01-21 上海宝存信息科技有限公司 因应服务质量的固态硬盘访问方法以及使用该方法的装置
US10552059B2 (en) 2017-01-27 2020-02-04 International Business Machines Corporation Data migration with placement based on access patterns
CN107704213B (zh) * 2017-11-02 2021-08-31 郑州云海信息技术有限公司 一种存储阵列的自动化服务质量管理方法及装置
CN110858124B (zh) 2018-08-24 2021-06-01 华为技术有限公司 数据迁移方法及装置
CN110764953A (zh) * 2019-09-30 2020-02-07 浪潮电子信息产业股份有限公司 一种数据恢复方法、装置、设备及可读存储介质
CN111311450B (zh) * 2020-02-28 2024-03-29 重庆百事得大牛机器人有限公司 用于法律咨询服务的大数据管理平台及方法
CN112181009B (zh) * 2020-09-14 2022-07-05 科华恒盛股份有限公司 热点追踪控制方法、装置及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032224A (en) * 1996-12-03 2000-02-29 Emc Corporation Hierarchical performance system for managing a plurality of storage units with different access speeds

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216460A (ja) * 2002-01-21 2003-07-31 Hitachi Ltd 階層ストレージ装置及びその制御装置
JP2004021370A (ja) * 2002-06-13 2004-01-22 Hitachi Ltd ディスクアレイ制御装置
US6948032B2 (en) 2003-01-29 2005-09-20 Sun Microsystems, Inc. Method and apparatus for reducing the effects of hot spots in cache memories
JP4322031B2 (ja) * 2003-03-27 2009-08-26 株式会社日立製作所 記憶装置
US7747836B2 (en) 2005-03-08 2010-06-29 Netapp, Inc. Integrated storage virtualization and switch system
US7711916B2 (en) * 2005-05-11 2010-05-04 Oracle International Corporation Storing information on storage devices having different performance capabilities with a storage system
GB0514529D0 (en) * 2005-07-15 2005-08-24 Ibm Virtualisation engine and method, system, and computer program product for managing the storage of data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032224A (en) * 1996-12-03 2000-02-29 Emc Corporation Hierarchical performance system for managing a plurality of storage units with different access speeds

Also Published As

Publication number Publication date
US20110185120A1 (en) 2011-07-28
US8285959B2 (en) 2012-10-09
EP2348395A3 (en) 2012-05-02
TW201126330A (en) 2011-08-01
EP2348395A2 (en) 2011-07-27
CN102135861A (zh) 2011-07-27
JP2011154669A (ja) 2011-08-11
JP5629919B2 (ja) 2014-11-26
KR20110087192A (ko) 2011-08-02

Similar Documents

Publication Publication Date Title
CN102135861B (zh) 使用现行负载测量和分级在存储池中布局虚拟卷热点的方法
CN102576293B (zh) 固态存储设备和分层存储系统中的数据管理
CN103914516B (zh) 一种存储系统分层管理的方法与系统
KR101498673B1 (ko) 반도체 드라이브, 그것의 데이터 저장 방법, 그리고 그것을포함한 컴퓨팅 시스템
US8341350B2 (en) Analyzing sub-LUN granularity for dynamic storage tiering
US9665293B2 (en) Method for a storage device processing data and storage device
CN102156738B (zh) 数据块处理方法、数据块存储设备及系统
US20100138677A1 (en) Optimization of data distribution and power consumption in a data center
JP3541744B2 (ja) ストレージサブシステム及びその制御方法
TWI452462B (zh) 使用寫入配置快照之動態儲存層的方法和系統
US9274941B1 (en) Facilitating data migration between tiers
US20090193182A1 (en) Information storage device and control method thereof
US9542306B2 (en) Dynamic storage device provisioning
US9823875B2 (en) Transparent hybrid data storage
US8947817B1 (en) Storage system with media scratch pad
KR101166803B1 (ko) 비휘발성 메모리 및 휘발성 메모리를 포함하는 메모리 시스템 및 그 시스템을 이용한 처리 방법
KR101017067B1 (ko) 낸드 플래시 메모리를 위한 지역성 기반의 가비지 컬렉션기법
CN109947353B (zh) 存储管理方法、固态硬盘及可读存储介质
US20200210074A1 (en) Information processing apparatus and method for controlling information processing apparatus
JP2020046929A (ja) 情報処理装置及び情報処理プログラム
JP7197783B2 (ja) 情報処理システム、管理装置および管理プログラム
JP2018197933A (ja) ストレージ制御装置、情報処理システムおよびプログラム
US9367258B2 (en) Systems and methods for managing storage space in hybrid data storage systems
JP5412902B2 (ja) ストレージシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: AMERICA NETAPP INC.

Free format text: FORMER OWNER: INFINEON TECHNOLOGIES CORP.

Effective date: 20141125

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141125

Address after: Delaware, USA

Applicant after: SPINNAKER NETWORKS, INC.

Address before: Milpitas, California, USA

Applicant before: LSI Corp.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Delaware, USA

Patentee after: NETAPP, Inc.

Address before: Delaware, USA

Patentee before: SPINNAKER NETWORKS, INC.