CN106294000B - 使用数据分配优化来改进备份性能 - Google Patents

使用数据分配优化来改进备份性能 Download PDF

Info

Publication number
CN106294000B
CN106294000B CN201510994736.XA CN201510994736A CN106294000B CN 106294000 B CN106294000 B CN 106294000B CN 201510994736 A CN201510994736 A CN 201510994736A CN 106294000 B CN106294000 B CN 106294000B
Authority
CN
China
Prior art keywords
data
distribution
layer
volume
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510994736.XA
Other languages
English (en)
Other versions
CN106294000A (zh
Inventor
I.维摩尔
S.D.斯马尔唐
M.马沙克
A.董
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Inc
Original Assignee
EMC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC Inc filed Critical EMC Inc
Publication of CN106294000A publication Critical patent/CN106294000A/zh
Application granted granted Critical
Publication of CN106294000B publication Critical patent/CN106294000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1466—Management of the backup or restore process to make the backup process non-disruptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

本发明题为“使用数据分配优化来改进备份性能”。用于改进备份性能的系统包括接口、处理器和存储器。接口接收卷标识符来备份。处理器确定与卷标识符关联的卷的数据在多个存储层中的分配来改进备份处理、至少部分基于分配来移动数据以及备份卷的数据。存储器耦合于处理器并且配置成对处理器提供指令。

Description

使用数据分配优化来改进备份性能
背景技术
现代存储阵列将数据放置在与它的访问统计匹配的存储性能层中。对于任何指定数据的层级使用在大的时间间隔内层中数据的使用的监测而确定。频繁访问的数据被放置在较快层中，而很少访问的数据被放置在较低层中，从而优化对数据的访问时间。数据使用的监测由于典型地大的数据集大小和对数据使用频率的改变缓慢发生这一事实而在大的时间标度内进行：热数据持续一段时间是热的，并且后来数据通常变冷，自此都保持为冷的。然而，备份数据典型地具有不同的使用简档：完整备份典型地每周进行，从而覆写之前副本中的一个，其中增量备份在一周的每天发生。在完整备份期间，需要最佳系统性能来使备份适应曾经缩小的窗口以用于进行备份（例如，假定对现今的数据系统施加始终按照需求）。然而，在备份后，备份所需要的数据保持为冷的直到下一个备份（例如，完整或增量备份）。
附图说明
本发明的各种实施例在下列详细描述和附图中公开。
图1是图示用于改进备份性能的系统的实施例的图。
图2是图示用于改进备份性能的过程的实施例的流程图。
图3是图示用于确定分配的过程的实施例的流程图。
图4A是图示用于确定分配的过程的实施例的流程图。
图4B是图示用于基于成本函数确定分配的过程的实施例的流程图。
图5是图示用于基于成本函数确定第二分配的过程的实施例的流程图。
图6是图示用于基于成本函数确定分配的过程的实施例的流程图。
具体实施方式
本发明可以采用许多方式实现，包括作为：过程；设备；系统；物质组成；计算机可读存储介质上包含的计算机程序产品；和/或处理器，例如配置成执行存储在存储器（其耦合于处理器）上和/或由该存储器提供的指令的处理器。在该说明书中，这些实现或本发明可采取的任何其他形式可称为技术。一般，公开的过程的步骤的顺序可在本发明的范围内更改。除非另外规定，例如描述为配置成执行任务的处理器或存储器等部件可实现为暂时配置成在指定时间执行任务的通用部件或被制造来执行任务的特定部件。如本文使用的，术语‘处理器’指一个或多个装置、电路和/或处理核，其配置成处理例如计算机程序指令等数据。
本发明的一个或多个实施例的详细描述在下文连同图示本发明的原理的附图一起提供。本发明连同这样的实施例描述，但本发明不限于任何实施例。本发明的范围仅由权利要求限制并且本发明包含许多备选、修改和等同物。在下列描述中阐述许多特定细节以便提供对本发明的全面理解。为了示例目的提供这些细节，并且本发明可根据权利要求实践而没有这些具体细节中的一些或全部。为了清楚起见，在与本发明有关的技术领域中已知的技术材料未被详细描述使得不会不必要地掩盖本发明。
公开用于改进备份性能的系统。该系统包括接口、处理器和存储器。接口接收卷标识符来备份。处理器确定与卷标识符关联的卷的数据在多个存储层中的分配来改进备份处理。处理器至少部分基于分配来移动数据。处理器备份卷的数据。存储器耦合于处理器并且配置成对处理器提供指令。
在一些实施例中，至少部分基于访问频率将数据放置在存储性能层中-最常访问的文件被放置在最快访问的顶层中（例如，在具有固态存储器的层中-例如，闪存、随机存取存储器（RAM）、企业级闪存驱动（EFD）等），而偶尔访问的文件被放置在中等访问的中间层（例如，快速驱动、光纤通道驱动等）中，很少访问的文件被放置在低层（例如，具有慢驱动、串行高级技术附连（SATA）驱动、集成驱动电子（IDE）驱动、去重驱动）中，并且几乎从不访问的文件被放置在远程层（例如，异地存储、云存储等）中。在各种实施例中，存储系统包括存储器的许多层，每个层具有不同的访问特性。在一些实施例中，层最快到最慢地排列。
在一些实施例中，备份数据典型地具有不同的访问简档。例如，完整备份在访问所有数据中具有周期性尖峰，而增量备份在访问所有改变数据中具有不同的周期性尖峰。完整和增量备份需要在时间窗口中进行以便不影响系统性能。为了最快运行，要备份的所有数据仅在备份期间位于最快层中，并且然后就在备份之后返回如基于正常操作访问简档而指示的层。
在一些实施例中，确定卷的数据分配来改进备份处理。确定每个层的未被占用的区域。确定关于使任何指定数据移到与它的当前层不同的层的成本核算以及该移动对备份性能的影响。成本用于确定对于指定备份的分配。例如，对于完全备份，分配指示所有数据移到最高性能层。在一些实施例中，数据基于有多少将装入层（例如，在最高层中尽可能多，在下一个最高层中尽可能多等，直到尽可能多的数据被提升到较高层）而被放在一系列层中。在一些实施例中，在备份后，系统确定第二分配。例如，该第二分配使数据在移到较高层之前返回它来自的层（例如，系统回想每个数据的位点并且将数据返回它起源的层）。在一些实施例中，第二分配根据访问历史重新计算适合于指定数据的存储层。
在各种实施例中，分配至少部分基于下列中的一个或多个：改变数据的百分比、直到增量备份开始余下的时间、直到完整备份开始余下的时间、存储层的数量、存储层中的每个的性能信息、使数据在层之间移动的时间、使数据在层之间移动的系统负载、每个数据的当前层或用于确定分配的任何其他合适的参数。在一些实施例中，不知道要备份的卷的哪个数据已改变。在一些实施例中，在计算分配时的增量备份的时候，改变的块是未知的，因此至少部分基于如在之前的备份期间确定的之前的改变块百分比做出关于改变块的百分比的假设。在一些实施例中，分配成功-例如，将实际备份时间与对于没有移到分配的数据的估计备份时间比较-被反馈来改进成本函数和分配算法的性能。
图1是图示用于改进备份性能的系统的实施例的图。在示出的示例中，应用服务器100能够与存储系统112通信。在一些实施例中，应用服务器100运行请求访问存储在存储系统112中的数据的应用。存储系统112包括分层存储器114，其包括存储器的许多层，其中每个层具有不同的性能特性。分层存储器114包括第一层存储单元102、第二层存储单元104和第三层存储单元106。存储系统112包括备份存储单元108和存储器管理器110。备份存储单元108备份分层存储器114。在一些实施例中，备份存储单元108包括去重备份存储单元，其将要备份的数据分段并且在新的段与之前存储的段相同的情况下存储新的段集时存储对之前存储的段的引用。存储器管理器110跟踪数据位点-例如，每个数据的层位点-并且管理数据位点来优化性能，其包括在操作期间和备份期间的存储器访问性能。
图2是图示用于改进备份性能的过程的实施例的流程图。在一些实施例中，图2的过程由图1的存储系统112实现。在一些实施例中，图2的过程由图1的存储器管理器110实现。在示出的示例中，在200中接收卷标识符来备份。在202中，确定卷的数据在存储层中的分配以改进备份处理。在204中，至少部分基于分配来移动数据。在206中，卷的数据被备份。在208中，确定卷的数据在存储层中的第二分配来改进访问。在210中，数据至少部分基于第二分配来移动数据。
图3是图示用于确定分配的过程的实施例的流程图。在一些实施例中，图3的过程用于实现图2的202。在示出的示例中，在300中接收层信息。在302中，接收卷的数据改变信息。在各种实施例中，数据改变信息在备份之前已知为使用确定改变的块或数据的过程来测量，数据改变信息已知为至少部分基于之前确定的改变块或数据或任何其他合适的数据改变信息源而估计。在304中，接收备份时间。在306中，选择数据。在308中，至少部分基于成本函数来确定对所选数据的分配。在310中，确定是否存在更多数据。在存在更多数据的情况下，控制传到306。在没有更多数据的情况下，在312中提供分配。
图4A是图示用于确定分配的过程的实施例的流程图。在一些实施例中，图4A的过程用于实现图3的308。在示出的示例中，在400中基于可用时间来计算可能移动的数据量。例如，接着备份的时间量和可用于使数据在层之间移动的带宽用于确定可以从现有层移到较高层的数据量。在402中，确定较高层中的可用空间可以容纳的数据量部分。例如，较高层中来自当前数据的可用空间用于确定可能移动的可以装入较高层的数据量部分。在404中，基于层的速度差异和数据量部分来确定关于备份时间的效益。例如，基于可以移动的数据以及数据要移到的层，对备份时间确定时间中的差异。在406中，基于由于传输数据而失去的时间来确定成本。例如，确定移动数据的处理成本以及这对其他过程的影响。在408中，确定效益是否大于阈值。例如，阈值基于成本和/或客户选择来确定阈值并且将其与效益比较（例如，N（例如，200）分钟的效益大于M（例如，40）分钟的阈值，其至少部分基于L（例如，20）分钟的成本和在成本之上的K（例如，20）分钟（如由用户选择的）的最小效益）。在效益大于阈值的情况下，在410中指示数据到较高层的数据量部分的分配，并且过程结束。例如，要从较低层移到较高层的数据指示为分配。在效益不大于阈值的情况下，在412中指示数据保持在当前层中，并且过程结束。例如，数据的分配是相同的并且没有数据移动来改进备份性能。
在一些实施例中，成本函数和/或效益函数用于确定分配。例如，成本和/或效益函数指示处理的增加时间和/或减小时间对备份和/或其他过程的影响。在一些实施例中，确定分配包括下列中的一个或多个：确定多个存储层中的可用存储。在各种实施例中，确定分配至少部分基于下列中的一个或多个：在卷中改变的数据的百分比，直到备份余下的时间，存储层的数量、多个存储层中的每个的性能或任何其他输入信息。在一些实施例中，确定分配包括确定成本函数、确定效益函数或任何其他合适的函数。在一些实施例中，成本函数包括使数据在层与第二层之间移动的成本。在一些实施例中，使数据移动的成本至少部分基于下列中的一个或多个：移动时间（例如，移动数据的移动时间），系统负载，用于移动的带宽极限，或任何其他合适的因子。在一些实施例中，成本函数至少部分基于数据的当前存储层。在一些实施例中，效益和成本使用合适的权重和/或符号在一个方程中组合。在一些实施例中，成本函数包括效益量。
在一些实施例中，成本函数包括具有指派给每个的权重的因子，其中这些权重用随时间随着从之前的备份得到的认识而改变。在各种实施例中，因子包括自上次备份以来改变的数据的百分比、到下次备份的时间、存储层之间的带宽、每个层中的可用空间、用于在层之间传输数据的时间、备份时间中使数据移动到较快层的节省或任何其他合适的因子。
图4B是图示用于基于成本函数确定分配的过程的实施例的流程图。在一些实施例中，图4B 的过程用于实现图3的308。在示出的示例中，在450中确定用于使数据移到数据当前不在的每个层的成本。在452中，选择到与用于分配的最低成本关联的层的移动。
在一些实施例中，多个存储层包括较慢存储层和较快存储层（例如，到和/或从较慢存储层的访问时间和/或传输时间比较快层要慢）。在一些实施例中，分配指示将数据从较慢存储层移到较快存储层或将数据从较快存储层移到较慢存储层。
图5是图示用于基于成本函数确定第二分配的过程的实施例的流程图。在一些实施例中，图5的过程用于实现图2的208。在示出的示例中，在500中接收信息。在502中，接收访问信息。在504中，选择数据。在506中，至少部分基于成本函数确定对于所选数据的第二分配。在508中，确定是否存在更多数据。在存在更多数据的情况下，控制传到504。在没有更多数据的情况下，在512中提供第二分配。
图6是图示用于基于成本函数确定分配的过程的实施例的流程图。在一些实施例中，图6的过程用于实现图5的506。在示出的示例中，在600中确定用于使数据移到数据当前不在的每个层的访问成本。在602中，选择到与用于分配的最低成本关联的层的移动。
在一些实施例中，第二分配针对在备份卷的数据之后。在一些实施例中，数据根据在备份数据卷之后的第二分配而移动。在一些实施例中，第二分配至少部分基于优化对数据的访问。
尽管前面的实施例已经为了清楚理解的目的而相当详细地描述，本发明不限于提供的细节。存在实现本发明的许多备选方式。公开的实施例是说明性而非限制性的。

Claims (16)

1.一种用于改进备份性能的系统，其包括：
接口，用于：
接收卷标识符来备份；
处理器，用于：
确定与所述卷标识符关联的卷的数据在多个存储层中的用于备份的第一分配，包括：
确定具有存储所述数据的容量的多个存储层，
对于具有存储所述数据的容量的所述多个存储层中不同于当前存储层的每个存储层：
基于当前存储层和每个存储层之间的速度差异以及能够被移动的数据量来确定备份时间效益，能够被移动的所述数据量基于直到下一备份余下的时间量和可用于使数据在层之间移动的带宽来确定，以及
使用成本函数基于由于使所述数据在当前存储层和每个存储层之间移动而失去的时间来确定成本；
确定所述第一分配，其中所述第一分配和最高的备份时间效益与成本比率相关联；
至少部分基于所确定的第一分配来移动所述数据以改进备份处理；
备份所述卷的数据；
基于所述第一分配对所述卷的数据的成功来修改所述成本函数，以用于确定后续的第一分配；
确定第二分配用于对所述卷的数据的正常操作访问；
在基于所确定的第一分配移动所述数据和所述备份之后，基于所确定的第二分配移动所述数据以优化对所述数据的访问；以及
存储器，其耦合于所述处理器并且配置成对所述处理器提供指令。
2.如权利要求1所述的系统，其中确定所述第一分配包括确定多个存储层中的可用存储。
3.如权利要求1所述的系统，其中确定所述第一分配至少部分基于在所述卷中已改变的数据的百分比。
4.如权利要求1所述的系统，其中确定所述第一分配至少部分基于存储层的数量。
5.如权利要求1所述的系统，其中确定所述第一分配至少部分基于所述多个存储层中的每个的性能。
6.如权利要求1所述的系统，其中确定所述第一分配包括确定成本函数。
7.如权利要求6所述的系统，其中所述成本函数包括使数据在第一层与第二层之间移动的成本。
8.如权利要求7所述的系统，其中移动数据的成本至少部分基于移动时间。
9.如权利要求7所述的系统，其中移动数据的成本至少部分基于系统负载。
10.如权利要求7所述的系统，其中移动的成本至少部分基于针对移动的带宽极限。
11.如权利要求6所述的系统，其中所述成本函数至少部分基于所述数据的当前存储层。
12.如权利要求1所述的系统，其中所述多个存储层包括较慢存储层和较快存储层。
13.如权利要求12所述的系统，其中使数据从所述较慢存储层移到所述较快存储层。
14.如权利要求12所述的系统，其中使数据从所述较快存储层移到所述较慢存储层。
15.一种改进备份性能的方法，其包括：
接收卷标识符来备份；
使用处理器确定与所述卷标识符关联的卷的数据在多个存储层中的用于备份的第一分配，包括：
确定具有存储所述数据的容量的至少一个更高存储层，
对于具有存储所述数据的容量的多个存储层中不同于当前存储层的每个存储层：
基于当前存储层和每个存储层之间的速度差异以及能够被移动的数据量来确定备份时间效益，能够被移动的所述数据量基于直到下一备份余下的时间量和可用于使数据在层之间移动的带宽来确定，以及
使用成本函数基于由于使所述数据在当前存储层和每个存储层之间移动而失去的时间来确定成本；
确定所述第一分配，其中所述第一分配和最高的备份时间效益与成本比率相关联；
至少部分基于所确定的第一分配来移动所述数据以改进备份处理；
备份所述卷的数据；
基于所述第一分配对所述卷的数据的成功来修改所述成本函数，以用于确定后续的第一分配；
确定第二分配用于对所述卷的数据的正常操作访问；以及
在基于所确定的第一分配移动所述数据和所述备份之后，基于所确定的第二分配移动所述数据以优化对数据的访问。
16.一种其上存储有计算机指令的非暂时性计算机可读存储介质，所述计算机指令在被处理器执行时使所述处理器执行包括以下的操作：
接收卷标识符来备份；
使用处理器确定与所述卷标识符关联的卷的数据在多个存储层中的用于备份的第一分配，包括：
确定具有存储所述数据的容量的至少一个更高存储层，
对于具有存储所述数据的容量的多个存储层中不同于当前存储层的每个存储层：
基于当前存储层和每个存储层之间的速度差异以及能够被移动的数据量来确定备份时间效益，能够被移动的所述数据量基于直到下一备份余下的时间量和可用于使数据在层之间移动的带宽来确定，以及
使用成本函数基于由于使所述数据在当前存储层和每个存储层之间移动而失去的时间来确定成本；
确定所述第一分配，其中所述第一分配和最高的备份时间效益与成本比率相关联；
至少部分基于所确定的第一分配来移动所述数据以改进备份处理；
备份所述卷的数据；
基于所述第一分配对所述卷的数据的成功来修改所述成本函数，以用于确定后续的第一分配；
确定第二分配用于对所述卷的数据的正常操作访问；以及
在基于所确定的第一分配移动所述数据和所述备份之后，基于所确定的第二分配移动所述数据以优化对数据的访问。
CN201510994736.XA 2015-06-29 2015-12-28 使用数据分配优化来改进备份性能 Active CN106294000B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/754094 2015-06-29
US14/754,094 US10768848B2 (en) 2015-06-29 2015-06-29 Backup performance in storage tiers using data allocation optimization

Publications (2)

Publication Number Publication Date
CN106294000A CN106294000A (zh) 2017-01-04
CN106294000B true CN106294000B (zh) 2019-07-26

Family

ID=57602290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510994736.XA Active CN106294000B (zh) 2015-06-29 2015-12-28 使用数据分配优化来改进备份性能

Country Status (2)

Country Link
US (1) US10768848B2 (zh)
CN (1) CN106294000B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8769048B2 (en) 2008-06-18 2014-07-01 Commvault Systems, Inc. Data protection scheduling, such as providing a flexible backup window in a data protection system
EP3140734B1 (en) 2014-05-09 2020-04-08 Nutanix, Inc. Mechanism for providing external access to a secured networked virtualization environment
CA2957584A1 (en) * 2016-02-12 2017-08-12 Coho Data, Inc. Methods, systems, and devices for adaptive data resource assignment and placement in distributed data storage systems
US11579861B2 (en) 2016-02-12 2023-02-14 Nutanix, Inc. Virtualized file server smart data ingestion
US11218418B2 (en) 2016-05-20 2022-01-04 Nutanix, Inc. Scalable leadership election in a multi-processing computing environment
US10728090B2 (en) 2016-12-02 2020-07-28 Nutanix, Inc. Configuring network segmentation for a virtualization environment
US11568073B2 (en) 2016-12-02 2023-01-31 Nutanix, Inc. Handling permissions for virtualized file servers
US11562034B2 (en) 2016-12-02 2023-01-24 Nutanix, Inc. Transparent referrals for distributed file servers
US10824455B2 (en) 2016-12-02 2020-11-03 Nutanix, Inc. Virtualized server systems and methods including load balancing for virtualized file servers
US11294777B2 (en) 2016-12-05 2022-04-05 Nutanix, Inc. Disaster recovery for distributed file servers, including metadata fixers
US11281484B2 (en) 2016-12-06 2022-03-22 Nutanix, Inc. Virtualized server systems and methods including scaling of file system virtual machines
US11288239B2 (en) 2016-12-06 2022-03-29 Nutanix, Inc. Cloning virtualized file servers
US10754729B2 (en) * 2018-03-12 2020-08-25 Commvault Systems, Inc. Recovery point objective (RPO) driven backup scheduling in a data storage management system
US11086826B2 (en) 2018-04-30 2021-08-10 Nutanix, Inc. Virtualized server systems and methods including domain joining techniques
US11194680B2 (en) 2018-07-20 2021-12-07 Nutanix, Inc. Two node clusters recovery on a failure
US11770447B2 (en) 2018-10-31 2023-09-26 Nutanix, Inc. Managing high-availability file servers
US10860443B2 (en) 2018-12-10 2020-12-08 Commvault Systems, Inc. Evaluation and reporting of recovery readiness in a data storage management system
US11768809B2 (en) 2020-05-08 2023-09-26 Nutanix, Inc. Managing incremental snapshots for fast leader node bring-up
US11734124B2 (en) * 2021-01-15 2023-08-22 EMC IP Holding Company LLC Rule-based re-tiering of incremental backup data stored on a cloud-based object storage
US11669403B2 (en) * 2021-01-15 2023-06-06 EMC IP Holding Company LLC Intelligent re-tiering of incremental backup data stored on a cloud-based object storage
US11693580B2 (en) * 2021-06-03 2023-07-04 EMC IP Holding Company LLC Method to provide recommendations for cloud storage providers and storage classes based on backup server's usage patterns for lowering overall cloud costs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106151A (zh) * 2011-11-15 2013-05-15 Lsi公司 管理层之间有效数据迁移的设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229897B2 (en) * 2006-02-03 2012-07-24 International Business Machines Corporation Restoring a file to its proper storage tier in an information lifecycle management environment
US20070220219A1 (en) * 2006-03-16 2007-09-20 International Business Machines Corporation System and method for optimizing data in value-based storage system
US7730171B2 (en) * 2007-05-08 2010-06-01 Teradata Us, Inc. Decoupled logical and physical data storage within a database management system
US8380960B2 (en) * 2008-11-04 2013-02-19 Microsoft Corporation Data allocation and replication across distributed storage system
US8769049B2 (en) * 2009-04-24 2014-07-01 Microsoft Corporation Intelligent tiers of backup data
JP5241671B2 (ja) * 2009-10-05 2013-07-17 株式会社日立製作所 記憶装置のデータ移行制御方法
US9003157B1 (en) * 2010-06-30 2015-04-07 Emc Corporation Techniques for dynamic data storage configuration in accordance with an allocation policy
US8566553B1 (en) * 2010-06-30 2013-10-22 Emc Corporation Techniques for automated evaluation and movement of data between storage tiers
US20120095968A1 (en) * 2010-10-17 2012-04-19 Stephen Gold Storage tiers for different backup types
US20120117029A1 (en) * 2010-11-08 2012-05-10 Stephen Gold Backup policies for using different storage tiers
US8510528B2 (en) * 2010-12-29 2013-08-13 Teradata Us, Inc. Differential data storage based on predicted access frequency
US8554918B1 (en) * 2011-06-08 2013-10-08 Emc Corporation Data migration with load balancing and optimization
US8612284B1 (en) * 2011-11-09 2013-12-17 Parallels IP Holdings GmbH Quality of service differentiated cloud storage
US9021203B2 (en) * 2012-05-07 2015-04-28 International Business Machines Corporation Enhancing tiering storage performance
US9152507B1 (en) * 2014-09-05 2015-10-06 Storagecraft Technology Corporation Pruning unwanted file content from an image backup

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106151A (zh) * 2011-11-15 2013-05-15 Lsi公司 管理层之间有效数据迁移的设备

Also Published As

Publication number Publication date
CN106294000A (zh) 2017-01-04
US20160378616A1 (en) 2016-12-29
US10768848B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
CN106294000B (zh) 使用数据分配优化来改进备份性能
US9880780B2 (en) Enhanced multi-stream operations
CN103092526B (zh) 在存储设备间进行数据迁移的方法和装置
CN104272386A (zh) 通过分层存储系统内的数据迁移减少功耗
CN103562881A (zh) 数据存储池的碎片整理
CN109284068A (zh) 数据存储管理系统、方法及物件
US9229864B1 (en) Managing metadata synchronization for reducing host system latency in a storage system
JP2012524946A5 (zh)
CN109684074A (zh) 物理机资源分配方法及终端设备
CN106020714A (zh) 用于云存储的高速缓存操作和分层操作
CN109189323B (zh) 扩容方法及设备
CN103530388A (zh) 一种云存储系统中提升性能的数据处理方法
CN106716385A (zh) 以应用程序为中心分布式存储系统和方法
CN104063265A (zh) 一种虚拟资源的综合评估方法
CN103150245B (zh) 确定数据实体的访问特性的方法和存储控制器
US11132131B2 (en) Consistently enforcing I/O resource constraints for workloads on parallel-access storage devices
CN104407925A (zh) 一种动态的资源分配方法
EP3995971A1 (en) Access request processing method, apparatus, device, and storage medium
CN103440182A (zh) 自适应分配方法及装置、自适应副本一致性方法
CN107750355A (zh) 透明混合数据存储装置
CN110636388A (zh) 一种业务请求分配方法、系统、电子设备及存储介质
CN103905517A (zh) 一种数据存储方法及设备
CN108874502A (zh) 云计算集群的资源管理方法、装置及设备
CN106598501A (zh) 用于存储自动分层的数据迁移设备及方法
US20130246702A1 (en) Storage control device, storage control method, and recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant