CN102906709B - 重复删除系统中的空间预留的方法和系统 - Google Patents

重复删除系统中的空间预留的方法和系统 Download PDF

Info

Publication number
CN102906709B
CN102906709B CN201180025122.0A CN201180025122A CN102906709B CN 102906709 B CN102906709 B CN 102906709B CN 201180025122 A CN201180025122 A CN 201180025122A CN 102906709 B CN102906709 B CN 102906709B
Authority
CN
China
Prior art keywords
apolegamy
ratio
space
data
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180025122.0A
Other languages
English (en)
Other versions
CN102906709A (zh
Inventor
T·Z·陶布
E·德罗布钦科
S·H·阿吉拉夫
O·勒内曼
A·卡罗
D·N·海普内尔
A·K·埃克什坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN102906709A publication Critical patent/CN102906709A/zh
Application granted granted Critical
Publication of CN102906709B publication Critical patent/CN102906709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了用于在重复删除系统中进行空间预留的各种实施方式。基于至少一个存储容量阈值与当前被备份和复制数据之一物理消耗的已用存储空间，将计算的选配比确定为当前额定数据与物理数据的加权比。对计算存储环境中的最大额定估计空间进行计算。计算剩余空间，该剩余空间定义为所述最大额定估计空间减去计算存储环境中的当前额定空间。如果剩余空间等于或者小于用户配置的用于备份操作的预留空间，则数据复制操作被接受并且存储在计算存储环境中。

Description

重复删除系统中的空间预留的方法和系统
技术领域
本发明总体上涉及计算机，尤其涉及用于在可操作于计算存储环境中的重复删除(deduplication)系统中进行空间预留的装置、方法与计算机程序产品实施方式。
背景技术
重复删除系统可以表现(externalize)各种逻辑数据存储实体，例如文件、数据对象、备份图像、数据快照或虚拟带盒。常常需要把这种数据存储实体从其原始站点复制到远端站点。被复制的数据实体增强了数据的容错能力和可用性。越来越需要这种容错性和广泛的可用性。尽管几种现有的方法可以用于执行数据复制，具体而言是执行对重复删除后的数据实体的复制，但是这些方法有附带的限制，这些限制会不利地影响复制效率、系统性能和数据一致性，需要附加的开销或者以上所述的组合。
发明内容
重复数据删除是指减少和/或消除冗余数据。在一种重复数据删除处理中，分别减少或消除数据的重复副本，留下最少量的冗余副本或者数据的单个副本。利用重复删除处理提供了多种益处，例如所需存储容量的减小和网络带宽的增加。由于这些及其它益处，重复删除近年来已经作为计算存储系统中一种非常重要的技术领域脱颖而出。提供重复删除功能的挑战包括多个方面，例如有效地找出典型较大存储仓库中的重复数据模式，以及把以重复删除后存储有效的形式存储所述数据模式。
例如，在一种许多复制发送者与一个同时还充当备份目标的接收者通信的配置中，当前用于重复的复制解决方案面临备份功能或到来的复制哪个应当具有更高优先级的挑战。当前，这种挑战可能导致对可用存储空间的竞争状况，如将进一步描述的。鉴于本领域当前的情况，需要一种用于重复删除后数据的复制的机制，这种机制满足有效复制处理的全部要求，同时避免如上所述的某些配置中的现有方法的这些限制，由此改进用于重复删除后数据的复制的现有方法。
相应地，提供了用于便于在可操作于计算存储环境中的重复删除系统中的空间预留功能的各种实施方式。在一种这样的实施方式中，仅仅是作为例子，计算的选配比(factoring ratio)是作为当前额定数据与物理数据的加权比基于至少一个存储容量阈值与当前被备份数据和复制数据之一物理消耗的已用存储空间来确定的。对计算存储环境中的最大额定估计空间加以计算。计算定义为计算存储环境中最大额定估计空间减去当前额定空间的剩余空间。如果剩余空间等于或者小于用户配置的用于备份操作的预留空间，那么数据复制操作就被接受并且存储在计算存储环境中。
除了以上的示例性方法实施方式，还提供了其它的示例性系统和计算机产品实施方式并且这些实施方式都提供相关的优点。
附图说明
为了使本发明的优点更加容易理解，将参考在附图中例示的具体实施方式给出以上简单描述的本发明的更详细的描述。应当理解，这些附图绘出了本发明的实施方式，但不能因此就认为是对其范围的限制，本发明将通过附图的使用以附加的特性与细节进行描述和解释，附图中：
图1例示了其中可以实现本发明多方面的一种示例性计算环境；
图2例示了示例性数据复制与备份配置；
图3例示了贯穿以下描述和所请求保护主题所使用的多个定义；
图4例示了用于在重复删除系统中提供空间预留功能的示例性实施方式；
图5例示了依照前面在图4中绘出的示例性方法的用于对计算选配比加以计算的示例性方法；
图6例示了根据前面在图4中绘出的示例性方法的用于空间预留功能的处理流程的示例性方法；及
图7例示了在诸如图1所示的计算环境的计算环境中包括处理器设备的示例性计算设备。
具体实施方式
现在转向图1，绘出了计算环境中数据存储系统(例如，虚拟带系统)的示例性体系结构10。体系结构10为本地主机18和20提供存储服务，并且把数据复制到远端数据存储系统，如图所示。与存储设备14通信的本地存储系统服务器12经包括例如光纤通道交换机16的部件的网络连接到本地主机18和20。例如，光纤通道交换机16能够执行用于带设备的命令(例如，小型计算机系统接口(SCSI)命令)。本领域技术人员将认识到，体系结构10可以包括多种存储部件。例如，存储设备14可以包括传统的硬盘驱动器(HDD)设备，或者可以包括固态驱动器(SSD)设备。
本地存储系统服务器12经网络22连接到远端存储系统服务器24。远端服务器24与本地连接的盘存储设备26通信，并且经另一个网络和例如光纤通道交换机28的网络部件28与本地连接的主机30和32通信。网络22可以包括多种网络拓扑结构，例如广域网(WAN)、局域网(LAN)、存储区域网络(SAN)及其它配置。类似地，交换机16和28可以包括其它类型的网络设备。
如前面所描述过的，体系结构10为本地主机提供本地存储服务，并且向远端数据存储系统提供复制数据(如利用箭头34由数据复制功能所指示的)。就象将要描述的，本发明的各种实施方式及所请求保护的主题可以在例如体系结构10的体系结构上实现。例如，在一种实施方式中，盘存储设备14可以是重复删除后的存储系统的一部分，存储重复删除后的数据实体。然后，重复删除后的数据实体可以经历数据复制处理34，由此重复删除后的数据实体被复制到远端盘存储设备26上。这些处理将在下面进一步具体描述。
这种把以重复删除的形式驻留在重复删除存储系统中的数据实体复制到远端重复删除存储系统的处理在源系统与目的地系统上关于处理时间和存储要求都应当是有效的，而且应当有可能利用重复删除存储系统的特性来便于这种有效性。
把多个系统复制到单个灾难恢复(DR)系统上例如对于具有数据存储要求的机构是常见的，其中数据存储要求例如服从某些数据安全保存法的那些要求，或者维持来自许多小到中型站点的、具有不同保留期的数据实体复制所需的那些要求。但是，如前面所指出的，当多个发送方配置成与一个接收方通信时，可能会出现潜在的问题。尽管一个或两个复制发送方可以容易地得到控制，而且接收方可以相应地计划其容量，但是，多个复制发送方在同时执行复制操作时有可能造成接收方站点的混乱。这个问题在接收方还配置为备份目标时会加剧。
再次，如前面所提到的，然后出现哪个具有更高优先级的问题，是备份还是到来的复制？关于优先级的这个问题在传统的复制实现中总体上来说没有得到解决。相应地，利用任何传统的解决方案都对可用的存储空间带来了竞争状况的可能性。在这种情形下，复制和备份都将没有任何类型的优先级，而且它们将根据等于每个发送方(包括备份主机)能够产生的吞吐量的输入/输出(I/O)来消耗空间。
转向图2，例示了示例性的多对一复制环境50。在这里，多个发送方52与配置成为来自备份主机58的备份目标的接收方54通信。接收方54还与存储器56(如本领域技术人员将认识到的，在许多实现当中，存储器56可以包括一种或多种存储设备)通信。由于接收方必须提供到备份主机58的备份功能，但是还要方便到存储器56的数据复制，因此，如果不执行对存储器56的存储容量的实施措施，那么环境50就在复制与备份之间促成了竞争状况，使得存储器56不能优先执行备份或者复制中的任何一种具体操作，从而一旦复制完全填满了存储器56的空间，由接收方54为备份主机56提供的备份操作将不能执行，而且将会失败。
为了解决上述情形，所例示的实施方式提供了用于在重复删除系统中令备份优先于复制的机制，这种机制在运行复制与备份的同时动态地实施这种容量管理事务。每个系统可以具有其自己的、指定为具有本地所有关系的存储实体(例如，盒式磁带)和指定为具有外来所有关系的复制实体。由本地系统创建的本地实体既可以用于备份又可以用于复制到远端站点。位于远端站点的复制实体可以用于复制并可以用于恢复操作，其中位于远端站点的复制实体是作为从复制发送方系统进行复制的结果而创建的。
例如系统管理员的用户能够为备份操作预留额定空间。在一个示例性实施方式中，用户可以依据备份主机预留额定空间(例如，200MB的备份主机数据(额定)/10(重复删除率)＝20MB物理空间)。这种操作可以在线执行，而且可以在系统配置之后在系统运行的任何时间执行。缺省行为可以配置成不为备份预留任何空间。
因此，双方消费者(备份和复制)都可以使用存储器中的任何可用空间。当用户定义了(额定的)预留空间时，系统可以修改成根据当前已用的存储容量显示系统能够预留至多配置的空间量(例如，X空间)用于备份操作。在一个实施方式中，每次当预留空间要被用户修改时，系统就可以给出五个额定值。这些值可以包括，例如，(i)存储器的最大容量、(ii)复制已用空间、(iii)备份已用空间、(iv)存储器中的空闲空间及(v)当前的备份预留。
不管存储器的状态如何，用户都可以把预留的值修改成他选择的任何值，即使在备份已用空间超过该值的时候也可以。如果新的值大于最大存储器容量，那么用户可以得到通知，和/或修改可以不被允许。以这种方式，本发明的机制提升了在备份与复制操作同时执行的时候提供备份操作比复制行为优先的能力。
鉴于以上所述，以下描述提供了用于实施备份比复制具有容量管理优先性的示例性机制。作为一个初步的问题，系统可以配置成作为在DR站点计划的初始存储器的一部分，使备份操作比复制优先(例如，由于复制操作是整个备份操作的一部分，因此不是那么重要)。用户可以提供这种配置。作为之后的一个步骤，用户可以定义用于备份的预留空间，来适合他的备份需求。一旦配置完成而且系统在运行当中，用户现在就可以监视这种配置。
现在转向图3，通过术语和描述以表格的形式绘出了目前描述过的和在以下请求保护的主题中出现的多个示例性术语。首先，“额定数据”是要指备份主机所写的数据。术语“物理数据”是要指在重复删除和压缩操作之后的数据。术语“配置的选配比”是要指用于预期额定与物理数据之比的用户定义的系统属性，如将要进一步描述的。术语“当前的选配比”是要指实际的额定与物理数据之比。
继续所述术语，术语“计算的选配比”是要指由系统执行的一种计算，其基于容量阈值和已用空间动态地提供用于预期和当前额定与物理数据之比的权重。“低容量阈值”是要指如下值，在这个值之下计算的选配比定义为等于配置的选配比。“高容量阈值”是要指如下值，在这个值之上计算的选配比等于配置的选配比。“已用空间”是要指存储器中当前被备份或复制数据物理消耗的实际的空间量。最后，“复制带盒所使用的空间”是要指当前被源于复制中的数据实体(在这种情况下是带盒)所消耗的实际的空间量。
以下，图4、5和6例示了用于在重复删除系统中提供空间预留的示例性功能。图4例示了用于空间预留的示例性总体处理，而随后的图5例示了用于对计算的选配比加以计算的示例性方法，而且随后的图6例示了用于结合了前面在图4和5中所述示例功能的重复删除系统的配置与操作的处理流程。
首先转向图4，方法100开始(步骤102)，将计算的选配比确定为当前额定数据与物理数据的加权比(步骤104)。然后计算最大额定估计空间(步骤106)，其中，计算最大额定估计空间是通过用所述计算的选配比去乘最大物理空间来执行的，并且计算剩余空间(步骤108)，其中剩余空间定义为从步骤106中计算出的最大额定估计空间减去复制已用额定空间之后所剩余的存储空间量。
如果确定剩余空间小于或者等于由用户为备份操作所配置和预留的空间(步骤110)，则复制被接受并存储(步骤114)。相反，如果没有剩余空间可用，则向用户发送消息(步骤112)并且复制被拒绝。然后，方法100结束(步骤116)。
接下来转向图5，方法150开始(步骤152)，将当前的选配比计算为实际的额定与物理数据之比(步骤154)。在一个实施方式中，当前的选配比可以定义为已用额定数据除以已用空间。作为下一步，获得已用容量百分比值(步骤156)。在一个实施方式中，已用容量百分比可以定义为已用空间除以配置的物理空间，或者存储器中在所配置存储尺寸之外的物理数据的百分比。
在步骤158，如果确定已用容量百分比等于或者小于低容量阈值，则采用配置的(用户定义的)选配比作为计算的选配比(步骤160)。如果已用容量百分比大于或者等于高容量阈值(步骤162)，则当前的选配比(再次，实际的额定与物理数据之比)用作计算的选配比(步骤164)。
如果已用容量百分比既不等于或者小于低容量阈值，也不大于或等于高容量阈值，则针对当前的选配比计算当前的比率权重。在一个实施方式中，这个当前的比率权重可以定义为已用容量百分比减去低容量阈值，再除以(1-低容量阈值)。然后，这个当前比率权重用于在步骤168中对计算的选配比进行计算，在一个实施方式中计算的选配比定义为Fcalculated＝(Cpercentage＊Wratio)+((Fconfigured＊(1-Wratio)，其中Fcalculated是计算的选配比，Cpercentage是已用容量百分比，Wratio是当前的比率权重，而Fconfigured是配置的选配比，定义为用户配置的用于预期额定数据与物理数据之比的系统属性。然后，方法150结束(步骤170)。
现在转向图6，方法180开始(步骤182)，用户尝试修改用于备份操作的用户配置预留空间(例如，20TB的物理空间)(步骤184)。如果系统确定有足够的空间可用(步骤186)，则修改成功(步骤188)。但是，如果情况不是这样，而是用户请求较少的空间，但系统已经使用了比所请求预留空间多的备份(步骤190)，则修改成功，但是备份预留空间将已经被消耗(步骤192)。可选地，对于步骤186和190，如果没有空间可用，则修改失败，给予用户一个或多个告警(步骤194)。然后，用户监视所执行的配置(步骤196)。然后，方法180结束(步骤198)。
以下，图6提供了在图1中所绘计算机环境10的一部分的例子，其中可以实现上述实施方式的机制。但是，应当认识到，图6仅仅是示例性的，而不是要声明或暗示对其中可以实现各种实施方式的示例性方面的特定体系结构的任何限制。在不背离以下描述和所请求保护主题的范围与主旨的情况下，可以对图6中所绘的体系结构进行许多修改。
图6例示了可以用于实现本发明实施方式的示例性计算机环境的一部分200。计算机202包括处理器204和内存206(例如，随机存取存储器(RAM))。在一个实施方式中，存储系统服务器12(图1)可以包括与计算机202中所示那些相似的部件。计算机202操作性耦合到显示器219，其中显示器219在图形用户界面218上向用户呈现例如窗口的图像。计算机202可以耦合到其它设备，例如键盘216、鼠标设备220、打印机228等。当然，本领域技术人员将认识到，以上部件的任意组合或者任意数量的不同部件、外围设备及其它设备都可以与计算机202一起使用。
总的来说，计算机202在存储于内存206中的操作系统(OS)208(例如，z/OS、OS/2、LINUX、UNIX、WINDOWS、MAC OS)的控制下运行，并且与用户接口，来接受输入和命令并通过例如图形用户界面(GUI)模块232给出结果。在本发明的一个实施方式中，IS 208便于备份机制。尽管GUI模块232绘出为单独的模块，但是执行GUI功能的指令可以驻留或者分布在操作系统208、应用程序210中，或者利用专用的内存与处理器实现。OS 208包括复制模块240，该复制模块240可以适于执行在前面所述示例性实施方式中的各种处理与机制(例如以上提到的用于备份操作的物理空间的预留)。复制模块240可以在硬件、固件或者硬件与固件的组合中实现。在一个实施方式中，复制模块240可以体现为专用集成电路(ASIC)。如本领域技术人员将认识到的，和与处理器204、内存206及计算机202的其它部件关联的功能一起，与复制模块240关联的功能也可以包含在称为片上系统(SoC)的专门的ASIC中。另外，与复制模块(又或，计算机202的其它部件)关联的功能可以实现为现场可编程门阵列(FPGA)。
如图6中所出，计算机202包括编译器212，其允许把以例如COBOL、PL/1、C、C++、JAVA、ADA、BASIC、VISUAL BASIC的编程语言或者任何其它编程语言所写的应用程序210翻译成处理器204可读的代码。在完成之后，计算机程序210利用用编译器212生成的关系和逻辑访问并操纵存储在计算机202的内存206中的数据。计算机202还可选地包括外部数据通信设备230，例如用于例如经互联网或其它网络与其它计算机通信的调制解调器、卫星链路、以太网卡、无线链路或者其它设备。
数据存储设备222是直接存取存储设备(DASD)222，包括保持多个数据集的一个或多个主卷。DASD 222可以包括多个存储介质，例如硬盘驱动器(HDD)、带等。以类似于设备222的方式，数据存储设备236也可以包括多个存储介质。设备236可以指定为备份设备236，用于保持主要在设备222上存储的多个数据集的备份版本。如本领域技术人员将认识到的，设备222和236不需要位于同一台机器上。设备222可以位于地理上不同的区域，而且通过例如以太网的网络链路连接。设备222和236可以包括一个或多个卷，对于每个卷，有对应的卷目录表(VTOC)。
在一个实施方式中，实现操作系统208、计算机程序210和编译器212的指令有形地包含在计算机可读介质中，例如，数据存储设备220中，其中计算机可读介质可以包括一个或多个固定的或可拆卸的数据存储设备224，例如压缩驱动器、软盘、硬驱、DVD/CD-ROM、数字带、闪速存卡、固态驱动器等，这些一般性地表示为存储设备224。另外，操作系统208和计算机程序210还包括指令，所述指令在被计算机202读取并执行时使计算机202执行实现和/或使用本发明所必需的步骤。例如，计算机程序210可以包括用于实现栅格集管理器(gridset manager)、栅格管理器(grid manager)与前面描述过的仓库管理器的指令。计算机程序210和/或操作系统208指令还可以有形地包含在内存206中和/或通过数据通信设备230发送或者被其访问。由此，如在此所使用的，术语“制造品”、“程序存储设备”和“计算机程序产品”是要包含可以从任何计算机可读设备或介质访问和/或运行的计算机程序。
本发明的实施方式可以包括一个或多个相关的软件应用程序210，所述软件应用程序210包括例如用于管理分布式计算机系统的功能，其中的分布式计算机系统包括计算设备的网络，例如存储区域网络(SAN)。相应地，处理器204可以包括存储管理处理器(SMP)。程序210可以在单个计算机202中操作或者作为包括计算设备网络的分布式计算机系统的一部分操作。如本领域技术人员将理解的，所述网络可以包括经局域网和/或互联网连接(这些连接可以是公共的或者保密的，例如通过虚拟个人网络(VPN)连接)或者经光纤通道SAN或者其它已知的网络类型连接到一起的一台或多台计算机。(应当注意，光纤通道SAN一般只用于计算机与存储系统通信，而不用于计算机彼此之间通信。)
如本领域技术人员将认识到的，本发明的各方面可以体现为系统、方法或者计算机程序产品。相应地，本发明的各方面可以采取完全硬件实施方式、完全软件实施方式(包括固件、驻留软件、微代码等)或者结合软件与硬件方面的实施方式的形式，所有这些在这里总体上都可以称为“电路”、“模块”或者“系统”。此外，本发明的各方面可以采取包含在一种或多种计算机可读介质中的计算机程序产品的形式，在所述计算机可读介质上包含有计算机可读的程序代码。
可以使用一种或多种计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质可以是例如，但不限于，电、磁、光、电磁、红外或者半导体系统、装置、设备或者以上所述的任意合适组合。计算机可读存储介质的更具体例子(非穷尽列表)将包括以下：具有一条或多条电线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或者闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备，或者以上所述的任意合适组合。在本文档的背景下，计算机可读存储介质可以是可以包含或者存储由指令执行系统、装置或设备使用或者与其结合使用的程序的任何有形介质。
包含在计算机可读介质上的计算机代码可以利用任何适当的介质发送，包括但不限于无线、有线、光纤线缆、RF等，或者以上所述的任意合适组合。用于执行本发明各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来写，包括面向对象的编程语言，例如Java、Smalltalk、C++等，及传统的过程编程语言，例如“C”编程语言或者类似的编程语言。程序代码可以完全在用户的计算机上、部分地在用户的计算机上、作为独立的软件包、部分在用户的计算机上而且部分在远端计算机上或者完全在远端计算机或服务器上执行。在后一种情形下，远端计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部的计算机(例如，通过利用互联网服务提供商的互联网)。
本发明的各方面是参考根据本发明实施方式的方法、装置(系统)和计算机程序产品的流程图说明和/或框图来描述的。将理解，所述流程图说明和/或框图的每一块及所述流程图说明和/或框图中块的组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器，来产生一种机器，使得所述指令在经计算机或者其它可编程数据处理装置的处理器执行时产生用于实现在所述流程图和/或框图块中所指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中，所述指令可以指示计算机、其它可编程数据处理装置或者其它设备以特定的方式起作用，使得存储在计算机可读介质中的指令产生一种制造品，该物品包括实现在所述流程图和/或框图块中所指定的功能/动作的指令。所述计算机程序指令还可以加载到计算机、其它可编程数据处理装置或者其它设备上，使得一系列操作步骤在计算机、其它可编程装置或者其它设备上执行，以产生一种计算机实现的处理，使得在所述计算机或者其它可编程装置上执行的指令提供用于实现在所述流程图和/或框图块中所指定的功能/动作的处理。
上面图中的流程图和框图说明了根据本发明各种实施方式的系统、方法和计算机程序产品的可能实现的体系结构、功能性与操作。就此而言，流程图或框图中的每一块都可以代表代码的一个模块、片段或者部分，所述模块、片段或者部分包括用于实现指定逻辑功能的一条或多条可执行指令。还应当注意，在有些备选实现中，块中所指出的功能可以不按图中指示的次序发生。例如，依赖于所涉及的功能性，顺次示出的两个块事实上可以基本上同时执行，或者有时候这些块可以颠倒的次序执行。还要注意，框图和/或流程图说明中的每一块及框图和/或流程图说明中块的组合可以由执行指定功能或行为的基于硬件的专用系统或者专用硬件与计算机指令的组合来实现。
尽管已经具体说明了本发明的一种或多种实施方式，但是，本领域技术人员将认识到，在不背离如以下权利要求中所阐述的本发明范围的情况下，可以对那些实施方式进行修改与改写。

Claims (14)

1.一种用于在重复删除系统中进行空间预留的方法，包括：
将计算的选配比基于至少一个存储容量阈值以及当前由备份和复制数据之一物理消耗的已用存储空间，确定为当前的额定数据与当前的物理数据的加权比，其中所述额定数据为备份主机所写的数据，物理数据为重复删除系统中重复删除和压缩操作之后的数据；
通过用所述计算的选配比去乘最大物理空间对计算存储环境中的最大额定估计空间进行计算；及
计算剩余空间，该剩余空间定义为所述最大额定估计空间减去计算存储环境中的当前额定空间；
其中，如果所述剩余空间等于或者小于用户配置的用于备份操作的预留空间，则数据复制操作被接受并且存储在计算存储环境中。
2.如权利要求1所述的方法，其中，确定计算的选配比还包括将当前的选配比确定为实际的额定数据与实际的物理数据之比。
3.如权利要求2所述的方法，其中，确定计算的选配比还包括确定已用容量百分比，所述已用容量百分比定义为所述已用存储空间除以计算存储环境的配置存储尺寸。
4.如权利要求3所述的方法，其中，如果所述已用容量百分比低于或者等于低存储容量阈值，则配置的选配比用作所述计算的选配比。
5.如权利要求4所述的方法，其中，如果所述已用容量百分比大于或者等于高存储容量阈值，则所述当前的选配比用作所述计算的选配比。
6.如权利要求5所述的方法，其中，如果所述已用容量百分比既不低于也不等于低存储容量阈值，而且既不大于也不等于高存储容量阈值，则计算用于所述当前的选配比的当前比率权重。
7.如权利要求6所述的方法，其中，确定计算的选配比是根据下式执行的：
Fcalculated＝(Cpercentage*Wratio)+((Fconfigured*(1-Wratio)，
其中，Fcalculated是所述计算的选配比，Cpercentage是所述已用容量百分比，Wratio是所述当前比率权重，而Fconfigured是配置的选配比，该配置的选配比定义为用于预期额定数据与物理数据之比的用户配置的系统属性。
8.一种用于在重复删除系统中进行空间预留的系统，包括：
用于将计算的选配比基于至少一个存储容量阈值以及当前由备份和复制数据之一物理消耗的已用存储空间，确定为当前的额定数据与当前的物理数据的加权比的装置；
用于通过用所述计算的选配比去乘最大物理空间对计算存储环境中的最大额定估计空间进行计算的装置；及
用于计算剩余空间的装置，该剩余空间定义为所述最大额定估计空间减去计算存储环境中的当前额定空间；
其中，如果所述剩余空间等于或者小于用户配置的用于备份操作的预留空间，则数据复制操作被接受并且存储在计算存储环境中。
9.如权利要求8所述的系统，还包括：用于依照确定所述计算的选配比，将当前的选配比确定为实际的额定数据与物理数据之比的装置。
10.如权利要求9所述的系统，还包括：用于依照确定所述计算的选配比，确定已用容量百分比的装置，所述已用容量百分比定义为所述已用存储空间除以计算存储环境的配置存储尺寸。
11.如权利要求10所述的系统，其中，所述至少一个处理器设备还适于，如果所述已用容量百分比低于或者等于低存储容量阈值，则配置的选配比用作所述计算的选配比。
12.如权利要求11所述的系统，其中，如果所述已用容量百分比大于或者等于高存储容量阈值，则所述当前的选配比用作所述计算的选配比。
13.如权利要求12所述的系统，其中，如果所述已用容量百分比既不低于也不等于低存储容量阈值，而且既不大于也不等于高存储容量阈值，则计算用于所述当前的选配比的当前比率权重。
14.如权利要求13所述的系统，其中，依照确定所述计算的选配比，根据下式计算所述计算的选配比：
Fcalculated＝(Cpercentage*Wratio)+((Fconfigured*(1-Wratio)，
其中，Fcalculated是所述计算的选配比，Cpercentage是所述已用容量百分比，Wratio是所述当前比率权重，而Fconfigured是配置的选配比，该配置的选配比定义为用于预期额定数据与物理数据之比的用户配置的系统属性。
CN201180025122.0A 2010-05-21 2011-04-27 重复删除系统中的空间预留的方法和系统 Active CN102906709B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/785,277 2010-05-21
US12/785,277 US8423735B2 (en) 2010-05-21 2010-05-21 Space reservation in a deduplication system
PCT/EP2011/056605 WO2011144425A1 (en) 2010-05-21 2011-04-27 Space reservation in a deduplication system

Publications (2)

Publication Number Publication Date
CN102906709A CN102906709A (zh) 2013-01-30
CN102906709B true CN102906709B (zh) 2015-05-27

Family

ID=44246986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025122.0A Active CN102906709B (zh) 2010-05-21 2011-04-27 重复删除系统中的空间预留的方法和系统

Country Status (7)

Country Link
US (4) US8423735B2 (zh)
JP (1) JP5767698B2 (zh)
KR (1) KR20130026441A (zh)
CN (1) CN102906709B (zh)
DE (1) DE112011100819B4 (zh)
GB (1) GB2493588B (zh)
WO (1) WO2011144425A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI578283B (zh) 2009-02-20 2017-04-11 尼康股份有限公司 Carrying information machines, information acquisition systems, information retrieval servers, and information machines
US9092151B1 (en) * 2010-09-17 2015-07-28 Permabit Technology Corporation Managing deduplication of stored data
US9824091B2 (en) 2010-12-03 2017-11-21 Microsoft Technology Licensing, Llc File system backup using change journal
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
US8522068B2 (en) * 2011-05-02 2013-08-27 International Business Machines Corporation Coordinated disaster recovery production takeover operations
US8671308B2 (en) 2011-05-02 2014-03-11 International Business Machines Corporation Optimizing disaster recovery systems during takeover operations
US8595198B1 (en) * 2011-06-30 2013-11-26 Emc Corporation Compression forecasting for a deduplicating storage system
US8751463B1 (en) * 2011-06-30 2014-06-10 Emc Corporation Capacity forecasting for a deduplicating storage system
US9229818B2 (en) * 2011-07-20 2016-01-05 Microsoft Technology Licensing, Llc Adaptive retention for backup data
JP5923999B2 (ja) * 2012-01-30 2016-05-25 富士通株式会社 ストレージ管理方法およびストレージ管理装置
JP5561303B2 (ja) * 2012-03-30 2014-07-30 日本電気株式会社 データ複製システム、データ複製方法、及びそのプログラム
US9880771B2 (en) * 2012-06-19 2018-01-30 International Business Machines Corporation Packing deduplicated data into finite-sized containers
US9223840B2 (en) 2012-12-31 2015-12-29 Futurewei Technologies, Inc. Fast object fingerprints
US9501426B1 (en) 2013-02-08 2016-11-22 Workday, Inc. Dynamic two-tier data storage utilization
US9396131B1 (en) * 2013-02-08 2016-07-19 Workday, Inc. Dynamic three-tier data storage utilization
US10339112B1 (en) * 2013-04-25 2019-07-02 Veritas Technologies Llc Restoring data in deduplicated storage
CN103365977A (zh) * 2013-06-28 2013-10-23 北京奇艺世纪科技有限公司 非易失性存储介质上数据的存储处理方法和装置
US9722810B2 (en) * 2014-02-03 2017-08-01 International Business Machines Corporation Computer-based flow synchronization for efficient multicast forwarding for products and services
US10303570B2 (en) 2014-10-17 2019-05-28 Hitachi, Ltd. Method and apparatus for managing data recovery of distributed storage system
CN104536783B (zh) * 2014-12-23 2018-02-06 小米科技有限责任公司 预留空间设置方法及装置
US9749409B2 (en) * 2015-02-04 2017-08-29 International Business Machines Corporation Predictive data replication and acceleration
US9712617B2 (en) * 2015-07-06 2017-07-18 Infinidat Ltd. Flow control in remote replication
US10929020B2 (en) * 2017-02-28 2021-02-23 Kyocera Document Solutions Inc. Information processing device having control unit that controls communication unit to transmit data generated or processed by processing unit to predetermined storage device, and information processing system including the same
US10795867B2 (en) * 2017-11-06 2020-10-06 International Business Machines Corporation Determining available remote storages in a network to use to replicate a file based on a geographical requirement with respect to the file
CN109245292A (zh) * 2018-11-20 2019-01-18 北京千丁互联科技有限公司 智能对讲门口机的电源管理装置及方法
CN110308873B (zh) * 2019-06-24 2023-04-07 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
US11978009B2 (en) * 2021-09-27 2024-05-07 7-Eleven, Inc. Physical space assignment based on resource data and memory resource content

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877727A (zh) * 2005-06-10 2006-12-13 技嘉科技股份有限公司 硬盘数据备份方法
US7539710B1 (en) * 2008-04-11 2009-05-26 International Business Machines Corporation Method of and system for deduplicating backed up data in a client-server environment
US20090187611A1 (en) * 2008-01-23 2009-07-23 Hewlett-Packard Development Company, L.P. Prioritized replication paths
CN101604268A (zh) * 2009-07-13 2009-12-16 浪潮电子信息产业股份有限公司 一种监控目录变化事件过滤方法
US7676510B1 (en) * 2006-12-22 2010-03-09 Network Appliance, Inc. Space reservation monitoring in a fractionally reserved data storage system
US7720892B1 (en) * 2006-06-30 2010-05-18 Emc Corporation Bulk updates and tape synchronization

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862736B2 (en) 1998-02-06 2005-03-01 Microsoft Corporation Object manager for common information model
US6751674B1 (en) 1999-07-26 2004-06-15 Microsoft Corporation Method and system for replication in a hybrid network
JP3987295B2 (ja) * 2001-03-19 2007-10-03 株式会社東芝 処理最適化方法、コンピュータ、及び記憶装置
US6775700B2 (en) 2001-03-27 2004-08-10 Intel Corporation System and method for common information model object manager proxy interface and management
US20020174198A1 (en) 2001-05-16 2002-11-21 Imation Corp. Management of networked devices
US7065744B2 (en) 2002-01-14 2006-06-20 International Business Machines Corporation System and method for converting management models to specific console interfaces
US20030145086A1 (en) 2002-01-29 2003-07-31 O'reilly James Scalable network-attached storage system
JP2003316635A (ja) 2002-04-26 2003-11-07 Hitachi Ltd データのバックアップ方法及びそのプログラム
US7043732B2 (en) 2002-04-29 2006-05-09 Sun Microsystems, Inc. Method and apparatus for managing remote data replication using CIM providers in a distributed computer system
US7155501B2 (en) 2002-05-16 2006-12-26 Sun Microsystems, Inc. Method and apparatus for managing host-based data services using CIM providers
US20040025142A1 (en) 2002-08-05 2004-02-05 Sun Microsystems, Inc. Method and apparatus for managing objects in a CIM environment
WO2004091137A2 (en) 2003-04-04 2004-10-21 Computer Associates Think, Inc. Method and system for management and configuration of remote agents
US7756958B2 (en) 2003-09-20 2010-07-13 International Business Machines Corporation Intelligent discovery of network information from multiple information gathering agents
US7624116B2 (en) 2006-03-23 2009-11-24 Dell Products L.P. System and method for managing objects according to the common information model
US8103698B2 (en) 2007-02-28 2012-01-24 Jianwen Yin Methods, apparatus and media for system management of object oriented information models
US20080243769A1 (en) * 2007-03-30 2008-10-02 Symantec Corporation System and method for exporting data directly from deduplication storage to non-deduplication storage
US20090019082A1 (en) 2007-07-10 2009-01-15 Dell Products L.P. System and Method for Discovery of Common Information Model Object Managers
JP5026213B2 (ja) * 2007-09-28 2012-09-12 株式会社日立製作所 ストレージ装置及びデータ重複排除方法
US8326897B2 (en) * 2007-12-19 2012-12-04 International Business Machines Corporation Apparatus and method for managing data storage
US8087032B2 (en) 2008-03-31 2011-12-27 International Business Machines Corporation Automated recovery process initiation for data consumers of a common information model (CIM) managed component
US7966394B1 (en) 2008-04-24 2011-06-21 Hewlett-Packard Development Company, L.P. Information model registry and brokering in virtualized environments
WO2010019962A2 (en) * 2008-08-15 2010-02-18 Edsa Corporation A method for predicting power usage effectiveness and data center infrastructure efficiency within a real-time monitoring system
US8041794B2 (en) 2008-09-29 2011-10-18 Intel Corporation Platform discovery, asset inventory, configuration, and provisioning in a pre-boot environment using web services
WO2010097961A1 (en) * 2009-02-25 2010-09-02 Hitachi, Ltd. Storage apparatus and its control method
JP5406363B2 (ja) * 2009-10-27 2014-02-05 株式会社日立製作所 プール領域の一部の領域を動的にデータ格納領域として割り当てる記憶制御装置及び記憶制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877727A (zh) * 2005-06-10 2006-12-13 技嘉科技股份有限公司 硬盘数据备份方法
US7720892B1 (en) * 2006-06-30 2010-05-18 Emc Corporation Bulk updates and tape synchronization
US7676510B1 (en) * 2006-12-22 2010-03-09 Network Appliance, Inc. Space reservation monitoring in a fractionally reserved data storage system
US20090187611A1 (en) * 2008-01-23 2009-07-23 Hewlett-Packard Development Company, L.P. Prioritized replication paths
US7539710B1 (en) * 2008-04-11 2009-05-26 International Business Machines Corporation Method of and system for deduplicating backed up data in a client-server environment
CN101604268A (zh) * 2009-07-13 2009-12-16 浪潮电子信息产业股份有限公司 一种监控目录变化事件过滤方法

Also Published As

Publication number Publication date
US9201605B2 (en) 2015-12-01
US20120221818A1 (en) 2012-08-30
US20110289290A1 (en) 2011-11-24
US8423735B2 (en) 2013-04-16
GB2493588A (en) 2013-02-13
US9442665B2 (en) 2016-09-13
US20160054941A1 (en) 2016-02-25
DE112011100819T5 (de) 2013-01-03
CN102906709A (zh) 2013-01-30
DE112011100819B4 (de) 2018-07-26
JP2013530453A (ja) 2013-07-25
KR20130026441A (ko) 2013-03-13
US20140006735A1 (en) 2014-01-02
US8341367B2 (en) 2012-12-25
JP5767698B2 (ja) 2015-08-19
GB201208766D0 (en) 2012-07-04
WO2011144425A1 (en) 2011-11-24
GB2493588B (en) 2017-05-10

Similar Documents

Publication Publication Date Title
CN102906709B (zh) 重复删除系统中的空间预留的方法和系统
US10303561B2 (en) Point-in-time copy restore
US10209910B2 (en) Copy-redirect on write
EP3062226B1 (en) Data replication method and storage system
US11797403B2 (en) Maintaining a synchronous replication relationship between two or more storage systems
US8700570B1 (en) Online storage migration of replicated storage arrays
US9483367B1 (en) Data recovery in distributed storage environments
DE102021113808A1 (de) Handhabung von Replikationen zwischen verschiedenen Netzwerken
CN103765817A (zh) 从源服务器向目标服务器复制数据对象
US10402104B2 (en) Devices and methods for a data storage device
US11144405B2 (en) Optimizing database migration in high availability and disaster recovery computing environments
US9390034B1 (en) Unified SCSI target management for performing a delayed shutdown of a service daemon in a deduplication appliance
JP6289452B2 (ja) 多層構成アプリケーションの災害復旧のためのシステム及び方法
US20160246516A1 (en) Data Operation Method and Device
US20130290627A1 (en) Data migration
US20170269859A1 (en) Method and apparatus for storage system
US9015433B2 (en) Resiliency with a destination volume in a replication environment
CN116034347A (zh) 数据的逻辑损坏保护
US11099942B2 (en) Archival to cloud storage while performing remote backup of data
US8407301B1 (en) Systems and methods for creating incremental images of cluster volumes
CN111506450B (zh) 用于数据处理的方法、设备和计算机程序产品
US9384151B1 (en) Unified SCSI target management for managing a crashed service daemon in a deduplication appliance
CN111857560A (zh) 用于管理数据的方法、设备和计算机程序产品
US9223513B2 (en) Accessing data in a dual volume data storage system using virtual identifiers
US9378160B1 (en) Unified SCSI target management for shutting down and de-configuring a service daemon in a deduplication appliance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant