CN103765817A - 从源服务器向目标服务器复制数据对象 - Google Patents
从源服务器向目标服务器复制数据对象 Download PDFInfo
- Publication number
- CN103765817A CN103765817A CN201280041913.7A CN201280041913A CN103765817A CN 103765817 A CN103765817 A CN 103765817A CN 201280041913 A CN201280041913 A CN 201280041913A CN 103765817 A CN103765817 A CN 103765817A
- Authority
- CN
- China
- Prior art keywords
- destination server
- server
- source
- chunk
- entry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制对象。由在源服务器处的、将向目标服务器复制的对象构建源列表。查询目标服务器以获得在目标服务器处的对象的目标列表。构建复制列表,该复制列表指示在源列表上的、未在目标列表上包括的、将向目标服务器传送的对象。对于复制列表中的每个对象,向目标服务器发送用于尚未在目标存储装置处的对象的数据,并且向目标服务器发送关于对象的元数据,以使目标服务器在目标服务器复制数据库中的用于该对象的条目中包括元数据。向源服务器复制数据库添加用于该对象的条目。
Description
技术领域
本发明涉及一种用于从源服务器向目标服务器复制数据对象的计算机程序产品、系统和方法。
背景技术
数据复制被用来从一个服务器向另一服务器复制属于多个节点的数据,使得如果数据正在被备份到的主源服务器停用,则客户端可以从复制站点恢复他们的数据。存储管理服务器、诸如存储管理器(TSM)在一个或者多个存储池中存储数据对象并且使用数据库来跟踪关于存储的对象的元数据。(Tivoli是国际商业机器公司的全球商标)。存储管理服务器可以出于灾难恢复目的而向远程位置复制数据对象。用来向远程位置传送数据的方法中的一些方法包括从源站点向灾难恢复站点物理地传输包含数据的副本的带(tape)、电子传送数据(TSM导出/导入)或者使用源站点盘存储装置的硬件复制以创建数据的镜像。可用复制硬件设备包括使用去重复(deduplication)硬件来执行块级复制的虚拟带库(VTL)产品。
数据去重复是一种用于消除冗余数据以提高存储利用率的数据压缩技术。去重复减少所需存储容量,这是因为仅唯一数据单元(也被称为组块或者区段(extent))的一个副本被存储。基于盘的存储系统、诸如存储管理服务器和虚拟带库(VTL)可以实施去重复技术以检测冗余数据组块并且通过避免这样的组块的冗余存储来减少重复。
去重复系统通过将文件划分成一系列组块或者区段来进行操作。去重复系统确定是否已经存储了组块中的任何组块、然后继续仅存储那些非冗余组块。可以关于正被存储的文件中的组块或者已经存储于系统中的组块来检查冗余性。
在本领域中需要用于从一个服务器向另一服务器复制对象的改进的技术。
发明内容
提供了一种用于从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制数据对象的计算机程序产品、系统和方法。源列表由在源服务器处的、将向目标服务器复制的对象构建。查询目标服务器以获得在目标服务器处的对象的目标列表。构建复制列表,该复制列表指示在源列表上的、未被包括在目标列表上的、将向目标服务器传送的对象。对于在复制列表中的每个对象,向目标服务器发送用于尚未在目标存储装置处的对象的数据,并且向目标服务器发送关于该对象的元数据,以使目标服务器在目标服务器复制数据库中的用于该对象的条目中包括该元数据。向源服务器复制数据库添加用于该对象的条目。
在又一实施例中,从源服务器接收对于在目标服务器处的对象的目标列表的查询。向源服务器发送在目标服务器处的对象的目标列表。从源服务器接收用于在目标存储装置中存储的对象的数据。从源服务器接收用于针对待复制的对象而接收的数据的元数据。对于针对其接收到数据的每个对象,向目标服务器复制数据库添加条目,该条目包括针对该对象接收到的元数据。
附图说明
图1图示其中对实施例进行实施的计算环境。
图2图示对象信息的一个实施例。
图3图示源和目标复制数据库条目的一个实施例。
图4图示组块存储信息条目的一个实施例。
图5图示组块索引条目的一个实施例。
图6、图7a和图7b图示用于处理复制请求的操作的一个实施例。
图8图示用于使用去重复来复制对象的操作的一个实施例。
图9图示在网络计算实施例中的节点的实现方式。
图10图示云计算环境的一个实施例。
图11图示云计算环境的抽象模型层的一个实施例。
具体实施方式
所描述的实施例以通过避免传输已经在目标服务器中可用的数据来更优地利用传输带宽的方式,从源服务器向目标服务器复制数据对象。源服务器还发送关于具有已经在目标服务器处可用的数据或者组块的对象的元数据,以使目标服务器对于已经在目标服务器处可用的对象,向复制数据库添加条目并且保证数据和元数据的一致性。所描述的实施例允许用户提供复制准则,以允许在对象级选择和过滤待复制的对象。更多实施例还采用去重复以避免额外发送正在被复制的对象中已经在目标服务器上存储的组块。
图1图示具有源服务器4a和目标服务器4b的计算环境2的一个实施例,该源服务器和该目标服务器分别包括用于向目标存储装置8b复制用于源存储装置8a处的对象的数据的源复制管理器6a和目标复制管理器6b。任一服务器4a、4b设备可以作为源服务器和目标服务器工作。可以代表连接到源服务器4a的客户端节点执行复制以复制客户端节点所拥有的对象。源服务器4a和目标服务器4b维护如分别在对象信息10a和10b中定义的数据对象。分别在源存储装置8a和目标存储装置8b中维护用于数据对象的数据,其可以具有被称为组块12a、12b的、分离数据单元的形式。每个服务器4a、4b维护组块存储信息14a、14b,该组块存储信息指示在对象信息10a、10b中定义的数据对象的组块在存储装置8a、8b中所处的位置。对象信息10a、10b包括用于每个定义的数据对象的元数据或者条目,这些元数据或者条目包括向每个对象指配的数据的组块12a、12b的有序列表。
源服务器4a和目标服务器4b分别维护源复制数据库16a和目标复制数据库16b,其具有关于代表客户端节点向目标服务器4b复制的、在源服务器4a处的数据对象的信息。源服务器4a还维护和使用:具有在源服务器4a上的待复制的对象的源列表30,这些对象满足复制准则,诸如拥有客户端节点、在客户端节点处的文件空间和数据类型;具有在目标服务器4b上的、满足复制准则的对象的目标列表32;在目标服务器4b中的对象的目标清单34,包括用于唯一地标识对象的唯一标识符或者属性;以及在源列表30上的、未在目标列表32上的、将向目标服务器4b复制的文件的复制列表36。用来构建目标清单34的准则可以比复制准则更宽泛或者与复制准则相同。
去重复部件24提供去重复服务用于源服务器4a和目标4b服务器以保证在源服务器4a或者目标服务器4b发送对象数据时,不重新发送已经在接收服务器4a、4b中存在的重复组块。去重复部件24包括用于执行去重复操作的去重复管理器26和提供关于已经被指配给对象的组块12a、12b的信息的组块索引28,诸如去重复索引。去重复管理器26保证在源4a服务器与目标4b服务器之间传送数据对象时、在源8a存储装置和目标8b存储装置中仅维护每个组块的一个副本,尽管可以在针对管理一个存储装置8a、8b的服务器4a、4b定义的多个数据对象中包括该存储装置中的一个组块。去重复管理器26也可以维护对象信息10c,该对象信息具有关于向源4a服务器和目标4b服务器中的对象的组块指配的信息。
为了执行去重复,在数据对象中具有新的或者未改变的组块时,源复制管理器6a或者其它部件可以从数据库获得用于该组块的哈希,诸如组块存储信息14a、14b。在一个备选实施例中,源复制管理器6a可以计算该哈希。源复制管理器6a向去重复管理器26传递用于组块的被访问的哈希以确定组块索引28是否具有匹配哈希。如果否,则去重复管理器26向源复制管理器6a通知组块是新的,并且源复制管理器6a向目标服务器4b发送数据对象中的新的或者改变的组块的完全副本以在目标存储装置8b中存储。否则,如果组块索引28具有哈希的匹配副本,则源复制管理器6a无需传送该组块的完全副本。取而代之,源复制管理器6a可以传送用于该组块的摘要(digest)及其在对象中的位置。备选地,源复制管理器6a可以与去重复部件24交互以确定它是否需要向目标服务器4b发送组块。
在一个源侧去重复实施例中,源复制管理器6a与去重复管理器26通信以确定是否需要向目标服务器4b发送组块,从而向目标服务器4b仅发送如在目标存储装置8b中的组块索引28中尚未指示的新组块。在一个目标侧去重复实施例中,源服务器4a向目标服务器4b发送待复制的数据对象的所有组块,并且目标复制管理器6b请求去重复部件24确定哪些组块是需要在目标存储装置8a中存储的新组块。
可以在通过网络、诸如局域网(LAN)、存储区域网络(SAN)、广域网(WAN)等通信的分离计算机设备中实施源服务器4a、目标服务器4b和去重复部件24。在更多实施例中,可以在一个或者两个计算机系统上实施源服务器4a、目标服务器4b和/或去重复部件24。如果源服务器4a、目标服务器4b和/或去重复部件24在相同系统中,则它们可以通过总线或者经由存储器通信。
可以在本领域已知的一个或者多个存储设备、诸如互连的硬盘驱动(例如,配置为DASD、RAID、JBOD等)、固态存储设备(例如,EEPROM(电可擦除可编程只读存储器))、闪存、闪速盘、存储类存储器(SCM)、电子存储器、磁带介质、带盒等中配置源8a存储装置和目标8b存储装置。
源复制管理器6a、目标复制管理器6b和去重复管理器26可以在存储器中包括处理器所执行的软件程序。在一个备选实施例中,可以在硬件部件,诸如专用集成电路、例如专用集成电路(ASIC)、扩展卡等中实施程序6a、6b和26的一些部分或者全部。
虽然将源复制管理器6a、目标复制管理器6b和去重复管理器26示出为分离部件,但是在备选实现方式中,可以在单个计算机系统中的单个程序部件中或者在多于两个计算机设备中的多于两个程序部件中实施这些部件6a、6b和26所执行的功能。例如,可以在源服务器4a和目标服务器4b或者源复制管理器6a或者目标复制管理器6b部件的部分处分离地实施去重复部件24。在其中在每个服务器4a、4b中分离地实施去重复部件24的实施例中,每个服务器4a、4b可以具有它自己的去重复部件24并且维护对象信息10c和组块索引28。
源6a复制管理器和目标6b复制管理器可以由客户端节点用来恢复对象以作为恢复操作的一部分。
图2图示在对象信息10a、10b、10c中维护的用于一个对象的对象信息50的一个实施例。用于一个对象的对象信息50包括对象的标识符(ID)52和用于向对象52指配的数据的一个或者多个组块54a、54b….54n的标识信息。对象信息50可以维护对组块的引用的有序列表(C1….Cn),该列表指示组块在数据对象中出现的顺序1….n。对于每个组块(Ci),对象信息54i维护组块的摘要(di)和组块的长度(li)。以该方式,对象信息50提供对在数据对象中包括的组块的引用,诸如摘要和长度、但是并非实际数据。可以通过处理组块以生成用于该组块的唯一值来计算摘要(d)。例如,在一个实施例中,摘要可以包括密码摘要,诸如MD5(消息摘要算法5)或者SHA-1(安全哈希算法1),该密码摘要计算数据对象中的每个组块的密码哈希。
图3图示源16a复制数据库和目标16b复制数据库中的用于正从源服务器4a向目标服务器4b复制的每个对象的条目60的一个实施例。条目60包括对象标识符(ID)62;对象唯一属性64,该对象唯一属性提供对象的唯一标识符,诸如签名、哈希值或者唯一命名约定;服务器标识符(ID)66,该服务器标识符包括维护对象62的服务器4a、4b的标识符;复制服务器ID68,该复制服务器ID标识复制关系中的另一服务器4a、4b(例如,在源复制数据库16a中的条目60对于字段68具有目标服务器4b的标识符,并且在目标复制数据库16b中的条目60对于字段68具有源服务器4a的标识符);复制的对象ID70,该复制的对象ID标识向复制服务器68中的对象指配的标识符;服务器节点标识符(ID)72,该服务器节点标识符提供拥有对象60的客户端节点的源服务器4a标识符;文件空间ID74的源服务器4a标识符,该文件空间ID标识包括对象60的文件空间;复制服务器节点ID76,该复制服务器节点ID包括目标服务器4b、即复制服务器向拥有对象60的客户端节点指配的标识符;复制服务器文件空间ID78,该复制服务器文件空间ID包括目标服务器4b(复制服务器)向包括对象60的文件空间指配的标识符;以及数据类型ID80,该数据类型ID标识对象60的数据类型。
因此,在某些实施例中,每个服务器4a、4b分别指配它自己的用于节点72和76以及文件空间74和78的ID。
图4图示源服务器4a和目标服务器4b在它们各自的组块存储信息14a、14b中维护的、用于在它们所管理的相应存储装置8a、8b中被维护的每个组块12a、12b的组块存储信息条目81的一个实施例。组块存储条目信息81包括组块ID82;标识的组块在存储装置8a、8b中的存储位置84,诸如逻辑或者物理地址,该存储位置标识组块在存储装置8a、8b中存储于何处;以及引用计数86,该引用计数指示在源4a服务器或者目标4b服务器处引用组块的对象的数目。未在任何对象中被引用的、取消引用的组块12a、12b具有为零的引用计数86并且如果在存储装置8a、8b中需要空间则可以有资格删除该取消引用的组块。
图5图示去重复管理器26在用于在存储装置8a、8b中存储的每个组块12a、12b的组块索引28中维护的去重复索引条目90的一个实施例。索引条目90包括存储装置8a、8b中的组块的组块标识符(ID)92、根据组块ID92代表的组块计算的哈希值94和组块的长度96。在确定是否向目标服务器4b发送组块12a的副本时,源复制管理器14a可以向去重复部件24提供该组块的哈希和长度,并且去重复管理器26可以确定组块索引28中的一个条目90是否具有与用于源复制管理器6a发送的组块12a的那些值匹配的哈希值94和长度96以确定源复制管理器6a是否需要发送组块12a或者仅发送组块12a的标识符,例如摘要和长度。组块索引条目90还可以包括用于管理存储装置8a、8b中的组块12a、12b的附加信息。
以该方式,数据对象的子部件(这里被称为组块)与在其中包括它们的对象分离地存储。组块12a、12b可以包括轨道区段、数据块或者可以向对象指配的任何其它可定义的数据子单元。这些组块12a、12b可以具有固定或者可变长度。对象可以包括任何数据单元的分组,诸如文件、对象、数据库等。
图6图示源6a复制管理器和目标6b复制管理器执行的操作的一个实施例,这些操作用于向目标服务器4b复制在源服务器4a处的对象。控制始于源复制管理器6a接收(在块100)对基于一个或者多个准则复制对象的复制请求,该一个或者多个准则诸如是客户端节点拥有对象、在包括对象的客户端节点内的文件空间和对象的数据类型。响应于该请求,源复制管理器6a验证目标服务器4b配置(在块102)以确定目标服务器4b是否支持复制。如果(在块104)目标服务器4b未通过验证,则复制操作失败(在块106)。否则,如果目标服务器4b是复制兼容的,那么如果这是复制第一次在服务器4a、4b之间发生,则服务器4a、4b交换(在块108)唯一标识符。服务器4a、4b可以在复制数据库16a、16b中维护可用于复制的服务器的服务器唯一标识符。
管理员可以请求应当在源服务器4a与目标服务器4b之间执行同步以更新源16a复制数据库和目标16b复制数据库从而反映已经向目标服务器4b导入的对象是复制的,以便对于已经在目标服务器4b处的那些对象不执行冗余复制。如果(在块109)需要同步,则控制前进至块110以进行同步,否则如果未请求或者需要同步,则控制前进(在块130)至图7a以执行复制。
如果(在块109)需要同步,则源复制管理器6a查询目标服务器4b(在块110)以获得在目标服务器4b处的满足第一准则(例如,用于复制的客户端节点)的文件的目标清单34。在接收到(在块112)查询时,目标复制管理器6b向源服务器4a发送(在块114)在目标服务器4b处的满足第一准则的对象的清单34。响应于接收到(在块116)文件的目标清单34,源复制管理器6a确定(在块118)在源服务器4a处的、与来自目标服务器4b的目标清单34中列举的对象匹配的对象。可以比较在源4a服务器和目标4b服务器处的对象的唯一属性64(图3)以确定目标4b是否具有与源4a处的对象匹配的对象,诸如签名、唯一文件标识符、哈希值等。
源复制管理器6a向目标服务器4b发送(在块120)用于所确定的与清单36中列举的对象匹配的对象的元数据。源复制管理器6a对于确定的对象向源复制数据库16a添加(在块122)条目60(图3),该条目包括源复制管理器6a具有的可用信息。
响应于接收到(在块124)元数据,目标复制管理器6b针对与清单36中列举的对象匹配的对象、对于针对其接收到元数据的每个对象,向目标服务器复制数据库16b添加(在块126)条目60。以该方式,无需传送目标服务器4b已经具有的那些对象作为复制的一部分,并且同步更新目标复制数据库16b以将那些对象反映为被复制的。目标复制管理器6b向源复制管理器6a返回(在块128)添加的对象的对象ID以包括在源复制数据库16a中的用于对象的条目60中的复制的对象ID70。目标复制管理器6b也可以向复制管理器6a返回复制服务器节点ID76和复制服务器文件空间ID78以包括在源服务器复制数据库16a中的用于对象的条目中。
在执行用于添加条目的操作以同步源16a复制数据库和目标16b复制数据库以包括用于已经在源4a服务器和目标4b服务器二者上的、满足某个准则的所有对象的条目之后,控制前进(在块130)至图7a中的块150以开始复制。图6的同步操作允许客户同步复制数据库16a、16b以使目标服务器4b上存在的、在源服务器4a上具有匹配对象的对象表现为如同它们是被复制的一样。
图7a和图7b图示用于执行复制操作的源6a复制管理器和目标6b复制管理器执行的操作的一个实施例。在发起(在块150)复制后,源复制管理器6a构建(在块152)在源服务器4a处的、将向目标服务器4b复制的对象的源列表30,这些对象满足复制准则(例如,客户端节点、文件空间、数据类型),其中用来确定用于复制的文件的复制准则可以比用来确定目标服务器4b处的目标清单34的准则(例如,单独的客户端节点)更宽泛。源复制管理器6a查询(在块154)目标服务器4b以获得在目标服务器4b处的、满足第二准则的对象的目标列表32。响应于该查询,目标复制管理器6b向源服务器4a发送(在块158)在目标服务器4b处的、满足复制准则的对象的目标列表32。在接收到目标列表32时,源复制管理器6a构建(在块160)复制列表36,该复制列表指示在源列表30上的、未被包括在目标列表32上的、将向目标服务器4b传送的对象。
对于源列表30中的每个对象,源复制管理器6a执行(在块162至174)在块164至172处的操作以向目标服务器4b复制对象。块162至174的循环可以在处理源列表30中的所有对象之后结束并且前进至块184,或者可以在出现某个其它条件时结束。如果(在块164)对象在复制列表36上,则源复制管理器6a向目标复制管理器6b发送用于对象的数据。在一个实施例中,源复制管理器6a可以仅发送用于尚未在目标存储装置8b中的对象的数据或者组块12a。备选地,源复制管理器6a无论目标存储装置8b是否具有与在被复制的对象中的组块匹配的组块12b,都可以发送整个对象。在发送用于待复制的对象的数据(从块168)之后或者如果对象未在复制列表36上,这指示目标服务器4b已经具有该对象,则源复制管理器6a向目标服务器4b发送(在块170)关于对象的元数据,诸如在条目60(图3)中的信息。源复制管理器6a对于该对象向源复制数据库16a添加(在块172)条目60,其包括在图3中所示字段中的信息。
在接收到(在块176)元数据和数据时(如果在块168对于在复制列表36中的对象发送了任何数据),目标复制管理器6a在目标存储装置8a中存储(在块178)用于该对象的任何接收的数据(如果目标存储装置8b已经具有用于该对象的组块12b,则可能接收不到数据)并且对于针对其接收到元数据的对象,向目标服务器复制数据库16b添加(在块180)条目60,其包括在源4a服务器和目标4b服务器中的ID62、70、72、74、76和78以及在条目60(图3)中的其它信息。目标复制管理器6b还可以向源服务器4a返回(在块182)在目标服务器4b处的添加的对象的、复制的对象ID70、复制服务器节点ID76和复制服务器文件空间ID78以包括在源复制数据库16a中的用于该对象的条目中。
在对于用于复制的所有条目向源16a复制数据库和目标16b复制数据库添加条目之后,控制前进至(在块184)图7b中的块186,其中源复制管理器6a确定(在块186)在目标列表32上、但是未在源列表30上的待删除的对象或者在目标服务器4b处的如下对象,这些对象不是源服务器4a中经受复制的对象的一部分。源复制管理器6a与目标服务器4b通信(在块188)以使目标服务器4b删除所确定的用于从目标服务器4b删除的对象。响应于该通信,目标复制管理器6b从目标服务器复制数据库16b删除(在块190)用于待删除的对象的条目。取消引用(在块194)未被任何其它对象引用的、删除的对象中的任何组块12b。在删除对象时,递减用于对象中的组块12b的条目82(图4)中的引用计数86,并且将具有零引用计数的任何组块82指示为被取消引用并且适合在某点移除。
图8图示使用去重复来复制对象的源6a复制管理器和目标6b复制管理器执行的操作的一个实施例。在源复制管理器6a在图7a中的块168向目标服务器4b发送用于对象的数据时执行图8的操作。在发送对象时,源复制管理器6a调用去重复管理器26以确定(在块202)对象中的用于发送的组块、然后使用去重复(在块204)以确定对象中的未在目标存储装置8b中存储的组块12a的集合。去重复管理器26可以使用组块索引28以进行该确定。去重复管理器26或者源复制管理器6a向目标服务器4b发送(在块206)确定的组块集合以在目标存储装置8b中存储并且发送对象中的已经在目标存储装置8b中的组块12a的组块标识符、诸如摘要(di)和长度(li)的列表。在接收到(在块208)用于数据对象的组块时,目标复制管理器6b在目标存储装置8b中存储(块210)所接收的组块。目标复制管理器6b在目标服务器复制数据库16b中的用于对象的条目60中指示(在块212)指向对象中的、已经在目标存储装置中存储的如下组块的链接,对于这些组块提供了标识信息、例如摘要(di)和长度(li),并且指示指向被添加到目标存储装置8b的组块的链接。
在描述的实施例中,源复制管理器6a可以加密向目标服务器4b发送的数据,该数据在目标服务器4b处被解密。另外,对象级复制允许管理员/用户指定将复制什么数据对象并且提供仅增量复制尚未在目标服务器4b和存储装置8a处存储的待复制的那些对象组块。
在某些实施例中,在源4a服务器和目标4b服务器处提供分离硬件和操作系统以允许硬件和操作系统的独立性。另外,可以用异构硬件和操作系统来实施源4a服务器和目标4b服务器。
在某些实施例中,复制目标服务器4b可以在相对于源服务器4a的远程位置处提供热待机。如果源服务器4a失败,则客户端的操作、诸如备份和恢复可以被重定向到已经操作用于复制的目标服务器4b。
在更多实施例中,可以向单个目标服务器4b(例如,在中央数据中心处)复制多个源服务器4a(例如,在远程办公室处)。
更多实施例可以提供不同对象集合的逻辑分组,从而使得在目标服务器4b上的、不完整对象组对于客户端节点不可见,直至该组完整。在目标服务器4b上维护部分组以防止对象的重发。例如,可以在复制期间向目标服务器4b发送形成逻辑组的对象。在某些情形中,可能由于错误或者取消过程而未发送组中的对象中的一些对象。在该情形中,复制的对象在目标服务器处保持,并且目标服务器将不具有所有对象的组标记为不完整。在恢复期间不使这些不完整组可用于客户端节点。在以后的时间,在复制已经传送了遗漏文件之后,该组被标记为完成并且使该组可用于客户端节点。
利用描述的实施例,在源与目标之间的复制通过在对象级对已经在目标服务器4b处的对象进行检查、然后在发送对象时进行去重复以避免发送用于已经在目标服务器4b处可用的数据对象的组块来寻求最小化针对向目标服务器发送的对象传送的数据量。另外,利用描述的实施例,源复制管理器16a向目标复制管理器16b发送关于已经在目标服务器4b处存储的待复制的对象的元数据,以使目标复制管理器6b对于已经在目标服务器4b处的、待复制的对象向目标复制数据库16b添加条目。
云计算实施例
图1的计算环境可以是云计算服务交付模型的部分,该模型用于对共享的可配置计算资源(例如网络、网络带宽、服务器、处理、存储器、存储装置、应用、虚拟机和服务)池进行方便、按需的网络访问,能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放这些计算资源。关于图9-1描述云计算实现方式。这种云模型可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征如下:
按需自助式服务:云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入:能力可以通过标准机制在网络上可用和获取,这种标准机制促进了通过不同种类的瘦或厚源平台(例如移动电话、膝上型电脑和PDA)对云的使用。
资源池:提供者的计算资源被归入资源池以使用多租户(multi-tenant)模型来服务于多个消费者而按需将不同的实体和虚拟资源动态地分配和再分配。一般情况下,消费者不能控制或甚至并不知晓所提供的资源的确切位置,但可以在较高抽象程度上指定位置(例如国家、州或数据中心),因此具有位置无关性。
迅速弹性:能够迅速、有弹性地、在一些情况下自动地部署能力以实现快速扩展并且迅速释放来快速缩小。在消费者看来,用于部署的可用能力往往显得无限并且能在任意时候以任意数量获取。
测量的服务:云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户账户)的某种抽象程度的计量能力来自动地控制和优化资源效用。可以监测、控制和报告资源使用从而为利用的服务的提供者和消费者双方提供透明度。
服务模型如下:
软件即服务(SaaS):向消费者提供的能力是使用提供者在云基础架构上运行的应用。通过诸如网络浏览器的瘦源接口(例如基于网络的电子邮件)从各种源设备访问应用。除了有限的特定于用户的应用配置设置外,消费者既不管理也不控制包括网络、服务器、操作系统、存储装置、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS):向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用,这些应用利用提供者支持的程序设计语言和工具来创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储装置的底层云基础架构,但对其部署的应用具有控制权,对应用托管环境配置可能也具有控制权。
基础架构即服务(IaaS):向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储装置、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构,但是对操作系统、存储装置和其部署的应用具有控制权,对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下:
私有云:云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云:云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云:云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云:云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成,这些云依然是独特的实体,但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的,特点集中在无状态性、低耦合性、模块性和语意互操作性。在云计算的核心是包含互连节点网络的基础架构。
图9显示了云计算节点300的一个实施例,该云计算节点可以包括源服务器4a、目标服务器4b和去重复24部件的实现方式,其中可以在节点300中的一个或者多个节点中实施部件。云计算节点300仅仅是适合的云计算节点的一个示例,不应对这里描述的本发明实施例的功能或使用范围带来任何限制。总之,云计算节点300能够被实现和/或执行以上所述的任何功能。
云计算节点300具有计算机系统/服务器302,其可与众多其它通用或专用计算系统环境或配置一起操作。众所周知,可以适于与计算机系统/服务器302一起使用的计算系统、环境和/或配置的示例包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任意系统或者设备的分布式云计算环境等。
计算机系统/服务器302可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括执行特定的任务或者实现特定抽象数据类型的例程、程序、目标程序、组件、逻辑、数据结构等。计算机系统/服务器302可以在通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实施。在分布式云计算环境中,程序模块可以位于包括存储设备的本地和远程计算系统存储介质二者上。
如图9所示,云计算节点300中的计算机系统/服务器302以通用计算设备的形式表现。计算机系统/服务器302的组件可以包括但不限于一个或者多个处理器或者处理单元306、系统存储器308和连接不同系统组件(包括系统存储器308到处理器304)的总线308。
总线308表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MAC)总线、增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器302典型地包括多种计算机系统可读介质。这些介质可以是能够被计算机系统/服务器302可访问的任意可获得的介质,包括易失性和非易失性介质、可移动的和不可移动的介质。
系统存储器308可以包括易失性存储器形式的一个或者多个计算机系统可读介质、例如随机存取存储器(RAM)310和/或高速缓存存储器312。计算机系统/服务器302可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统313可以用于读写不可移动的、非易失性磁介质(未显示,通常称为“硬盘驱动器”)。尽管未示出,但是可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器以及对可移动非易失性光盘(例如CD-ROM、DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线308相连。如以下将进一步描绘和描述的那样,存储器306可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块316的程序/实用工具314可以存储在系统存储器306中,这样的程序模块包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据。操作系统、一个或者多个应用程序、其它程序模块和程序数据中的每项或者其某个组合可能包括网络环境的实现。程序模块316通常执行如这里描述的本发明实施例的功能和/或方法。
计算机系统/服务器302也可以与一个或多个外部设备318(例如键盘、指向设备、显示器320等)通信;还可与一个或者多个使得用户能与该计算机系统/服务器302交互的设备通信;和/或与使得该计算机系统/服务器302能与一个或多个其它计算设备进行通信的任何设备(例如网卡、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。备选地,计算机系统/服务器302可以通过网络适配器324与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络、例如因特网)通信。如图所示,网络适配器324通过总线308与计算机系统/服务器302的其它模块通信。应当明白,尽管图中未示出,其它硬件和/或软件模块可以与计算机系统/服务器302结合使用。示例包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
现在参考图10,其中显示了示例性的云计算环境350。如图所示,云计算环境350包括云消费者使用的本地计算设备可以与其通信的一个或者多个云计算节点300,本地计算设备例如可以是个人数字助理(PDA)或蜂窝电话354A、台式电脑354B、膝上型电脑354C和/或汽车计算机系统354N。节点300可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者其组合的一个或者多个网络中将云计算节点300进行物理或虚拟分组。这允许云计算环境350赋予基础架构即服务(IaaS)、平台即服务(PaaS)和/或软件即服务(SaaS),消费者无需为这些服务在本地计算设备上维护资源就能请求云计算环境350提供的。应当理解,图10显示的各类计算设备354A-N仅仅是示意性的,并且计算节点300以及云计算环境350可以与任意类型网络和/或网络可寻址连接上的任意类型的计算设备(例如使用网络浏览器)通信。
另外,图10示出单个云。然而某些云实施例可以提供部署模型,该部署模型除了具有客户/生产数据的云织之外还包括分离的“备份”或者“数据保护”云。提供分离和不同的附加云作为数据保护云以便从数据保护云分离无论任何主要云模型(提供、共同体、混合等)可以防止单个故障点并且在分离的备份云中提供客户数据的更大程度的保护。
现在参考图11,其中显示了云计算环境350(图12)提供的一组功能抽象化层。先应当理解,图11所示组件、层以及功能都仅仅是示意性的,并且本发明的实施例不限于此。如图所示,提供下列层和对应功能:
硬件和软件层360包括硬件和软件组件。硬件组件的示例包括:主机、例如系统;基于RISC(精简指令集计算机)体系结构的服务器、例如IBM系统;IBM系统;IBM系统;存储装置;网络和网络组件。软件组件的示例包括:网络应用服务器软件、例如IBM应用服务器软件;以及数据库软件、例如IBM数据库软件。(IBM、zSeries、pSeries、xSeries、BladeCenter、WebSphere以及DB2是国际商业机器公司在全世界各地的注册商标)。
虚拟化层362提供抽象化层,该层可以提供下列虚拟实体的示例:虚拟服务器;虚拟存储;虚拟网络(包括虚拟私有网络);虚拟应用和操作系统;以及虚拟源。
在一个示例中,管理层364可以提供下述功能。资源供应功能提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取。计量和定价功能在云计算环境内对资源的使用进行成本跟踪并且为这些资源的消耗提供帐单和发票。在一个示例中,该资源可以包括应用软件许可。安全功能为云的消费者和任务提供身份认证以及为数据和其它资源提供保护。用户门户功能为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能提供云计算资源分配和管理,从而满足必需的服务水平。服务水平协议(SLA)计划和履行功能为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层366提供云计算环境可能实现的功能的示例。在该层中可提供的工作负载或功能的示例包括:地图绘制与导航;软件开发及生命周期管理;虚拟教室的教学提供;数据分析处理;交易处理;以及比如以上关于图1-8描述的复制服务。
描述的操作可以使用标准编程和/或工程技术来实现为方法、装置或计算机程序产品以产生软件、固件、硬件或者其任何组合。因此,实施例的方面可以采用以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。此外,实施例的方面还可以采用在一个或多个计算机可读介质中实现的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的示例(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文的上下文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读介质中,这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作,从而,存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令提供实现流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。
术语“一实施例”、“实施例”、“各实施例”、“该实施例”、“这些实施例”、“一个或者多个实施例”、“一些实施例”和“一个实施例”除非另有指明则意味着“本发明的一个或者多个(但是并非所有)实施例”。
术语“包括”、“具有”及其变化除非另有指明则意味着“包括但不限于”。
项目的枚举列举除非另有指明则不意味着项目中的任何或者所有项目互斥。
术语“一”和“该”除非另有指明则意味着“一个或者多个”。
相互通信的设备除非另有指明则无需相互连续通信。此外,相互通信的设备可以直接或者通过一个或者多个中介间接通信。
有若干部件相互通信的一个实施例的描述不意味着需要所有这样的部件。恰好相反,描述多种可选部件以举例说明本发明的广泛多种可能实施例。
另外,虽然可以按照依次顺序描述过程步骤、方法步骤、算法等,但是这样的过程、方法和算法可以被配置用于按照备选顺序工作。换而言之,可以被描述的任何步骤序列或者顺序未必指示要求按照该顺序执行这些步骤。可以按照任何其它实用顺序执行这里描述的过程的步骤。另外,可以同时执行一些步骤。
在这里描述了单个设备或者物品时,将容易地想到可以使用多于一个设备/物品(无论它们是否协作)来取代单个设备/物品。相似地,在这里描述了多于一个设备或者物品(无论它们是否相互协作)时,将容易地想到可以使用单个设备/物品取代多于一个设备或者物品或者可以使用不同数目的设备/物品取代所示数目的设备或者程序。设备的功能和/或特征可以备选地由未显式地描述为具有这样的功能/特征的一个或者多个其它设备体现。因此,本发明的其它实施例无需包括设备本身。
图6、图7a、图7b和图8的所示操作示出按照某个顺序出现的某些事件。在备选实施例中,可以按照不同顺序执行、修改或者删除某些操作。另外,步骤可以被添加到以上描述的逻辑而仍然符合描述的实施例。另外,这里描述的操作可以依次出现或者可以并行地处理某些操作。另外,操作可以由单个处理单元或者由分布式处理单元执行。
已经出于示例和描述的目的而呈现了本发明的各种实施例的前文描述。不旨在于穷举或者限制本发明为公开的精确形式。许多修改和变化按照以上教导是可能的。旨在于本发明的范围不受该具体描述的限制而实际上由所附权利要求限制。以上说明书、示例和数据提供本发明的组成的制造和使用的完整描述。由于可以实现本发明的许多实施例而未脱离本发明的精神实质和范围,所以本发明存在于所附权利要求中。
Claims (36)
1.一种用于从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制对象的计算机程序产品,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有在其中体现的计算机可读程序代码,所述计算机可读程序代码执行以使所述源服务器执行操作,所述操作包括:
构建在所述源服务器处的、将向所述目标服务器复制的对象的源列表;
查询所述目标服务器以获得在所述目标服务器处的对象的目标列表;
构建复制列表,所述复制列表指示在所述源列表上的、未在所述目标列表上包括的、将向所述目标服务器传送的对象;
对于在所述复制列表中的每个对象,执行:
向所述目标服务器发送用于尚未在所述目标存储装置处的所述对象的数据;
向所述目标服务器发送关于所述对象的元数据以使所述目标服务器在目标服务器复制数据库中的、用于所述对象的条目中包括所述元数据;
向源服务器复制数据库添加用于所述对象的条目。
2.根据权利要求1所述的计算机程序产品,其中所述操作还包括:
对于在所述复制列表中的每个对象,在所述源服务器复制数据库中的、用于所述对象的所述条目中包括在所述源服务器处的所述对象的标识符和在所述目标服务器处的所述对象的标识符。
3.根据权利要求1所述的计算机程序产品,其中所述操作还包括:
对于在所述源列表和所述目标列表二者上的每个对象,执行:
向所述目标服务器发送用于所述对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的、用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目。
4.根据权利要求1所述的计算机程序产品,其中每个对象由组块组成,其中对于在所述复制列表上的每个对象执行的所述操作还包括:
确定所述对象中的组块;以及
确定所述对象中的、未在所述目标存储装置处存储的第一组块集合,其中向所述目标服务器发送用于所述数据对象的所述数据包括向所述目标服务器发送所确定的组块集合以在所述目标存储装置中存储;以及
确定所述对象中的、当前在所述目标存储装置处存储的第二组块集合;以及
向所述目标服务器发送在所述第二组块集合中的组块的组块标识符。
5.根据权利要求1所述的计算机程序产品,其中所述操作还包括:
向所述目标服务器查询在所述目标服务器处的、满足第一准则的对象的清单;
从所述目标服务器接收所述对象的所述清单;
确定在所述源服务器中的、与来自所述目标服务器的所述清单中列举的对象匹配的对象;
向所述目标服务器发送用于所确定的与所述清单中列举的对象匹配的对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目,其中所构建的源列表包括在所述源服务器处的、满足第二准则的待复制的对象。
6.根据权利要求5所述的计算机程序产品,其中所述第一准则包括始发待复制的所述对象的客户端节点,并且其中所述第二准则包括在所述客户端节点处的对象的数据类型和文件空间中的至少一项。
7.根据权利要求1所述的计算机程序产品,其中所述操作还包括:
确定在所述目标列表上的、但是未在所述源列表上的待删除的对象;以及
与所述目标服务器通信,以使所述目标服务器从所述目标服务器和目标存储装置删除所确定的待删除的对象。
8.根据权利要求1所述的计算机程序产品,其中所述源服务器和所述目标服务器提供如下各项中的至少一项:分离的和独立操作的硬件和操作系统;使所述目标服务器针对所述源服务器提供热待机模式;以及异质硬件和操作系统。
9.一种用于从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制对象的计算机程序产品,所述计算机程序产品包括计算机可读存储介质,所述计算机可读存储介质具有在其中体现的计算机可读程序代码,所述计算机可读程序代码执行以使所述目标服务器执行操作,所述操作包括:
从所述源服务器接收对于在所述目标服务器处的对象的目标列表的查询;
向所述源服务器发送在所述目标服务器处的所述对象的所述目标列表;
从所述源服务器接收用于将在所述目标存储装置中存储的对象的数据;
从所述源服务器接收用于针对待复制的所述对象接收的所述数据的元数据;以及
对于针对其接收到数据的每个对象,向目标服务器复制数据库添加条目,所述条目包括针对所述对象接收的所述元数据。
10.根据权利要求9所述的计算机程序产品,其中所述操作还包括:
对于在所述目标服务器复制数据库中的、用于每个对象的所述条目包括:在所述源服务器处的所述对象的标识符和在所述目标服务器处的所述对象的标识符。
11.根据权利要求9所述的计算机程序产品,其中所述操作还包括:
对于已经在所述目标存储装置中存储的、待复制的每个对象从所述源服务器接收元数据;以及
向所述目标服务器复制数据库添加用于已经在所述目标存储装置中存储的、待复制的每个对象的条目,所述条目包括所接收的用于所述对象的元数据。
12.根据权利要求9所述的计算机程序产品,其中每个对象由组块组成,其中接收用于至少一个对象的所述数据包括:仅从所述源服务器接收用于所述对象的、尚未在所述目标存储装置中存储的那些组块,其中所述操作还包括:
从所述源服务器接收所述对象中的、当前在所述目标存储装置中存储的组块的列表;以及
对于每个如下对象,针对该对象从所述目标服务器接收到少于所述对象中的所有组块的组块,在所述目标服务器复制数据库中的、用于所述对象的所述条目中指示指向所述组块的列表中的、已经在所述目标存储装置中存储的所述组块的链接。
13.根据权利要求9所述的计算机程序产品,其中所述操作还包括:
从所述源服务器接收对于在所述目标服务器处的、满足第一准则的对象的清单的查询;
向所述源服务器发送在所述目标服务器处的、满足所述第一准则的所述对象的所述清单;
接收用于在所述源服务器处的、与所述清单中列举的对象匹配的对象的元数据;以及
针对与所述清单中列举的对象匹配的所述对象、对于针对其接收到元数据的每个对象,向所述目标服务器复制数据库添加条目,其中所述条目包括用于所述对象的所述元数据,其中所述目标列表包括在所述目标服务器处的、满足第二准则的对象。
14.根据权利要求9所述的计算机程序产品,其中多个源服务器被复制到所述目标服务器。
15.根据权利要求9所述的计算机程序产品,其中所述操作还包括:
维护在所述目标存储装置中存储的对象的组;以及
响应于确定已经在所述目标服务器处接收到所述对象的组中的并非所有对象,而将所述对象的组指示为不完整,其中在恢复操作期间不使被指示为不完整的所述对象的组可用于客户端节点。
16.根据权利要求15所述的计算机程序产品,其中所述操作还包括:
接收用于被指示为不完整的所述对象的组的对象;以及
响应于已经接收到所述对象的组中的所有对象,而将所述对象的组指示为完整,其中在恢复操作期间使被指示为完整的所述组中的对象可用于所述客户端节点。
17.一种用于从源存储装置向目标服务器所管理的目标存储装置复制对象的系统,所述系统包括:
处理器;以及
具有代码的计算机可读存储介质,所述代码由所述处理器执行以执行操作,所述操作包括:
构建在所述源存储装置处的、将向所述目标服务器复制的对象的源列表;
查询所述目标服务器以获得在所述目标服务器处的对象的目标列表;
构建复制列表,所述复制列表指示在所述源列表上的、未在所述目标列表上包括的、将向所述目标服务器传送的对象;对于在所述复制列表中的每个对象,执行:
向所述目标服务器发送用于尚未在所述目标存储装置处的所述对象的数据;
向所述目标服务器发送关于所述对象的元数据,以使所述目标服务器在目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;
向源服务器复制数据库添加用于所述对象的条目。
18.根据权利要求17所述的系统,其中所述操作还包括:
对于在所述源列表和所述目标列表二者上的每个对象,执行:
向所述目标服务器发送用于所述对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目。
19.根据权利要求17所述的系统,其中每个对象由组块组成,其中对于所述复制列表上的每个对象执行的所述操作还包括:
确定所述对象中的组块;以及
确定所述对象中的、未在所述目标存储装置处存储的第一组块集合,其中向所述目标服务器发送用于所述数据对象的所述数据包括:向所述目标服务器发送所确定的组块集合以在所述目标存储装置中存储;以及
确定所述对象中的、当前在所述目标存储装置处存储的第二组块集合;以及
向所述目标服务器发送在所述第二组块集合中的组块的组块标识符。
20.根据权利要求17所述的系统,其中所述操作还包括:
向所述目标服务器查询在所述目标服务器处的、满足第一准则的对象的清单;
从所述目标服务器接收所述对象的所述清单;
确定在所述源服务器中的、与来自所述目标服务器的所述清单中列举的对象匹配的对象;
向所述目标服务器发送用于所确定的与所述清单中列举的对象匹配的对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目,其中所构建的源列表包括在所述源服务器处的、满足第二准则的待复制的对象。
21.根据权利要求17所述的系统,其中所述操作还包括:
确定在所述目标列表上的、但是未在所述源列表上的待删除的对象;以及
与所述目标服务器通信,以使所述目标服务器从所述目标服务器和目标存储装置删除所确定的待删除的对象。
22.一种用于从源服务器所管理的源存储装置向目标存储装置复制对象的系统,所述系统包括:
处理器;以及
具有代码的计算机可读存储介质,所述代码由所述处理器执行以执行操作,所述操作包括:
从所述源服务器接收对于在所述目标服务器处的对象的目标列表的查询;
向所述源服务器发送在所述目标服务器处的所述对象的所述目标列表;
从所述源服务器接收用于将在所述目标存储装置中存储的对象的数据;
从所述源服务器接收用于针对待复制的所述对象接收的所述数据的元数据;以及
对于针对其接收到数据的每个对象向目标服务器复制数据库添加条目,所述条目包括针对所述对象接收的所述元数据。
23.根据权利要求22所述的系统,其中所述操作还包括:
对于已经在所述目标存储装置中存储的待复制的每个对象,从所述源服务器接收元数据;以及
向所述目标服务器复制数据库添加用于已经在所述目标存储装置中存储的待复制的每个对象的条目,所述条目包括所接收的用于所述对象的元数据。
24.根据权利要求22所述的系统,其中每个对象由组块组成,其中接收用于至少一个对象的所述数据包括:仅从所述源服务器接收用于所述对象的、尚未在所述目标存储装置中存储的那些组块,其中所述操作还包括:
从所述源服务器接收所述对象中的、当前在所述目标存储装置中存储的组块的列表;以及
对于每个如下对象,针对该对象从所述目标服务器接收到少于所述对象中的所有组块的组块,在所述目标服务器复制数据库中的用于所述对象的所述条目中指示指向所述组块列表中的、已经在所述目标存储装置中存储的所述组块的链接。
25.根据权利要求22所述的系统,其中所述操作还包括:
从所述源服务器接收对于在所述目标服务器处的、满足第一准则的对象的清单的查询;
向所述源服务器发送在所述目标服务器处的、满足所述第一准则的所述对象的所述清单;
接收用于在所述源服务器处的、与所述清单中列举的对象匹配的对象的元数据;以及
针对与所述清单中列举的对象匹配的所述对象、对于针对其接收到元数据的每个对象,向所述目标服务器复制数据库添加条目,其中所述条目包括用于所述对象的所述元数据,其中所述目标列表包括在所述目标服务器处的、满足第二准则的对象。
26.根据权利要求22所述的系统,其中所述操作还包括:
维护在所述目标存储装置中存储的对象的组;以及
响应于确定已经在所述目标服务器处接收到所述对象的组中的并非所有对象,而将所述对象的组指示为不完整,其中在恢复操作期间不使被指示为不完整的所述对象的组可用于客户端节点。
27.一种用于从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制对象的方法,包括:
构建在所述源服务器处的、将向所述目标服务器复制的对象的源列表;
查询所述目标服务器以获得在所述目标服务器处的对象的目标列表;
构建复制列表,所述复制列表指示在所述源列表上的、未在所述目标列表上包括的、将向所述目标服务器传送的对象;
对于在所述复制列表中的每个对象,执行:
向所述目标服务器发送用于尚未在所述目标存储装置处的所述对象的数据;
向所述目标服务器发送关于所述对象的元数据,以使所述目标服务器在目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;
向源服务器复制数据库添加用于所述对象的条目。
28.根据权利要求27所述的方法,还包括:
对于在所述源列表和所述目标列表二者上的每个对象,执行:
向所述目标服务器发送用于所述对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目。
29.根据权利要求27所述的方法,其中每个对象由组块组成,其中对于在所述复制列表上的每个对象执行的所述操作还包括:
确定所述对象中的组块;以及
确定所述对象中的、未在所述目标存储装置处存储的第一组块集合,其中向所述目标服务器发送用于所述数据对象的所述数据包括:向所述目标服务器发送所确定的组块集合以在所述目标存储装置中存储;以及
确定所述对象中的、当前在所述目标存储装置处存储的第二组块集合;以及
向所述目标服务器发送在所述第二组块集合中的组块的组块标识符。
30.根据权利要求27所述的方法,还包括:
向所述目标服务器查询在所述目标服务器处的、满足第一准则的对象的清单;
从所述目标服务器接收所述对象的所述清单;
确定在所述源服务器中的、与来自所述目标服务器的所述清单中列举的对象匹配的对象;
向所述目标服务器发送用于所确定的与所述清单中列举的对象匹配的对象的元数据,以使所述目标服务器在所述目标服务器复制数据库中的用于所述对象的条目中包括所述元数据;以及
向所述源服务器复制数据库添加用于所述对象的条目,其中所构建的源列表包括在所述源服务器处的、满足第二准则的待复制的对象。
31.根据权利要求27所述的方法,还包括:
确定在所述目标列表上的、但是未在所述源列表上的待删除的对象;以及
与所述目标服务器通信以使所述目标服务器从所述目标服务器和目标存储装置删除所确定的待删除的对象。
32.一种用于从源服务器所管理的源存储装置向目标服务器所管理的目标存储装置复制对象的方法,包括:
从所述源服务器接收对于在所述目标服务器处的对象的目标列表的查询;
向所述源服务器发送在所述目标服务器处的所述对象的所述目标列表;
从所述源服务器接收用于将在所述目标存储装置中存储的对象的数据;
从所述源服务器接收用于针对待复制的所述对象接收的所述数据的元数据;以及
对于针对其接收到数据的每个对象,向目标服务器复制数据库添加条目,所述条目包括针对所述对象接收的所述元数据。
33.根据权利要求32所述的方法,还包括:
对于已经在所述目标存储装置中存储的待复制的每个对象,从所述源服务器接收元数据;以及
向所述目标服务器复制数据库添加用于已经在所述目标存储装置中存储的待复制的每个对象的条目,所述条目包括所接收的用于所述对象的元数据。
34.根据权利要求32所述的方法,其中每个对象由组块组成,其中接收用于至少一个对象的所述数据包括:仅从所述源服务器接收用于所述对象的、尚未在所述目标存储装置中存储的那些组块,所述方法还包括:
从所述源服务器接收所述对象中的、当前在所述目标存储装置中存储的组块的列表;以及
对于每个如下对象,针对该对象从所述目标服务器接收到少于所述对象中的所有组块的组块,在所述目标服务器复制数据库中的用于所述对象的所述条目中指示指向所述组块列表中的、已经在所述目标存储装置中存储的所述组块的链接。
35.根据权利要求32所述的方法,还包括:
从所述源服务器接收对于在所述目标服务器处的、满足第一准则的对象的清单的查询;
向所述源服务器发送在所述目标服务器处的、满足所述第一准则的所述对象的所述清单;
接收用于在所述源服务器处的、与所述清单中列举的对象匹配的对象的元数据;以及
针对与所述清单中列举的对象匹配的所述对象、对于针对其接收到元数据的每个对象,向所述目标服务器复制数据库添加条目,其中所述条目包括用于所述对象的所述元数据,其中所述目标列表包括在所述目标服务器处的、满足第二准则的对象。
36.根据权利要求32所述的方法,还包括:
维护在所述目标存储装置中存储的对象的组;以及
响应于确定已经在所述目标服务器处接收到所述对象的组中的并非所有对象,而将所述对象的组指示为不完整,其中在恢复操作期间不使被指示为不完整的所述对象的组可用于客户端节点。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/221,670 US9910904B2 (en) | 2011-08-30 | 2011-08-30 | Replication of data objects from a source server to a target server |
US13/221,670 | 2011-08-30 | ||
PCT/CA2012/050593 WO2013029173A1 (en) | 2011-08-30 | 2012-08-28 | Replication of data objects from a source server to a target server |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103765817A true CN103765817A (zh) | 2014-04-30 |
CN103765817B CN103765817B (zh) | 2017-01-25 |
Family
ID=47745090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280041913.7A Active CN103765817B (zh) | 2011-08-30 | 2012-08-28 | 从源服务器向目标服务器复制数据对象的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (4) | US9910904B2 (zh) |
JP (2) | JP5671656B2 (zh) |
CN (1) | CN103765817B (zh) |
DE (1) | DE112012002762T5 (zh) |
GB (1) | GB2509023A (zh) |
WO (1) | WO2013029173A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107111636A (zh) * | 2014-12-19 | 2017-08-29 | 亚马逊技术有限公司 | 用于顺序传输优化存储装置的卷级冗余编码技术 |
WO2018072450A1 (en) * | 2016-10-17 | 2018-04-26 | Huawei Technologies Co., Ltd. | Method for elastic geographical database replication |
CN111566626A (zh) * | 2018-01-09 | 2020-08-21 | 国际商业机器公司 | 并发复制垃圾收集的复制和转发 |
CN112384905A (zh) * | 2018-06-25 | 2021-02-19 | 微软技术许可有限责任公司 | 针对内容复制的浅高速缓冲存储器 |
Families Citing this family (182)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378216B2 (en) * | 2009-09-29 | 2016-06-28 | Oracle America, Inc. | Filesystem replication using a minimal filesystem metadata changelog |
US8983915B2 (en) | 2011-08-01 | 2015-03-17 | Actifio, Inc. | Successive data fingerprinting for copy accuracy assurance |
US8589640B2 (en) | 2011-10-14 | 2013-11-19 | Pure Storage, Inc. | Method for maintaining multiple fingerprint tables in a deduplicating storage system |
US9910904B2 (en) | 2011-08-30 | 2018-03-06 | International Business Machines Corporation | Replication of data objects from a source server to a target server |
US8868505B1 (en) * | 2012-03-20 | 2014-10-21 | Emc Corporation | Systems and methods for protecting data in a network host environment |
US9258262B2 (en) * | 2012-04-30 | 2016-02-09 | Racemi, Inc. | Mailbox-based communications system for management communications spanning multiple data centers and firewalls |
TW201401074A (zh) * | 2012-06-26 | 2014-01-01 | Quanta Comp Inc | 軟體跨雲部署機制及系統 |
US9417796B2 (en) | 2012-06-29 | 2016-08-16 | M-Files Oy | Method, a server, a system and a computer program product for copying data from a source server to a target server |
US10037370B2 (en) * | 2012-06-29 | 2018-07-31 | M-Files Oy | Method, a server, a system and a computer program product for copying data from a source server to a target server |
US9563628B1 (en) * | 2012-12-11 | 2017-02-07 | EMC IP Holding Company LLC | Method and system for deletion handling for incremental file migration |
US8930311B1 (en) * | 2012-12-14 | 2015-01-06 | Netapp, Inc. | Push-based piggyback system for source-driven logical replication in a storage environment |
US11023487B2 (en) | 2013-03-04 | 2021-06-01 | Sap Se | Data replication for cloud based in-memory databases |
US9251008B2 (en) * | 2013-03-14 | 2016-02-02 | International Business Machines Corporation | Client object replication between a first backup server and a second backup server |
JP6083268B2 (ja) * | 2013-03-14 | 2017-02-22 | 日本電気株式会社 | レプリケーションシステム |
US9805105B1 (en) * | 2013-03-15 | 2017-10-31 | EMC IP Holding Company LLC | Automatically creating multiple replication sessions in response to a single replication command entered by a user |
TW201437940A (zh) * | 2013-03-30 | 2014-10-01 | Ibm | 提供一交易處理伺服器有效率之資料複製的方法、支援伺服器與電腦程式產品 |
US8849764B1 (en) | 2013-06-13 | 2014-09-30 | DataGravity, Inc. | System and method of data intelligent storage |
US10102079B2 (en) | 2013-06-13 | 2018-10-16 | Hytrust, Inc. | Triggering discovery points based on change |
US9213706B2 (en) | 2013-06-13 | 2015-12-15 | DataGravity, Inc. | Live restore for a data intelligent storage system |
US10089192B2 (en) | 2013-06-13 | 2018-10-02 | Hytrust, Inc. | Live restore for a data intelligent storage system |
US9639448B2 (en) * | 2013-06-27 | 2017-05-02 | Sap Se | Multi-version systems for zero downtime upgrades |
US9569455B1 (en) * | 2013-06-28 | 2017-02-14 | EMC IP Holding Company LLC | Deduplicating container files |
US9461969B2 (en) | 2013-10-01 | 2016-10-04 | Racemi, Inc. | Migration of complex applications within a hybrid cloud environment |
CN103595782A (zh) * | 2013-11-11 | 2014-02-19 | 中安消技术有限公司 | 一种分布式存储系统及其下载文件的方法 |
CN104657396B (zh) * | 2013-11-25 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 数据迁移方法及装置 |
WO2015084397A1 (en) * | 2013-12-06 | 2015-06-11 | Hewlett-Packard Development Company, L.P. | Replicating metadata associated with a file |
US20150227543A1 (en) * | 2014-02-11 | 2015-08-13 | Atlantis Computing, Inc. | Method and apparatus for replication of files and file systems using a deduplication key space |
US11016941B2 (en) | 2014-02-28 | 2021-05-25 | Red Hat, Inc. | Delayed asynchronous file replication in a distributed file system |
US10025808B2 (en) | 2014-03-19 | 2018-07-17 | Red Hat, Inc. | Compacting change logs using file content location identifiers |
US9986029B2 (en) | 2014-03-19 | 2018-05-29 | Red Hat, Inc. | File replication using file content location identifiers |
US9965505B2 (en) | 2014-03-19 | 2018-05-08 | Red Hat, Inc. | Identifying files in change logs using file content location identifiers |
US10656864B2 (en) * | 2014-03-20 | 2020-05-19 | Pure Storage, Inc. | Data replication within a flash storage array |
US9606870B1 (en) | 2014-03-31 | 2017-03-28 | EMC IP Holding Company LLC | Data reduction techniques in a flash-based key/value cluster storage |
WO2015152935A1 (en) * | 2014-04-04 | 2015-10-08 | Hewlett-Packard Development Company, L.P. | Storing and retrieving ciphertext in data storage |
WO2015167603A1 (en) | 2014-04-29 | 2015-11-05 | Hewlett-Packard Development Company, L.P. | Maintaining files in a retained file system |
US9792187B2 (en) | 2014-05-06 | 2017-10-17 | Actifio, Inc. | Facilitating test failover using a thin provisioned virtual machine created from a snapshot |
US11068363B1 (en) | 2014-06-04 | 2021-07-20 | Pure Storage, Inc. | Proactively rebuilding data in a storage cluster |
US11652884B2 (en) | 2014-06-04 | 2023-05-16 | Pure Storage, Inc. | Customized hash algorithms |
US9003144B1 (en) | 2014-06-04 | 2015-04-07 | Pure Storage, Inc. | Mechanism for persisting messages in a storage system |
US9218244B1 (en) | 2014-06-04 | 2015-12-22 | Pure Storage, Inc. | Rebuilding data across storage nodes |
US9836234B2 (en) | 2014-06-04 | 2017-12-05 | Pure Storage, Inc. | Storage cluster |
US10574754B1 (en) | 2014-06-04 | 2020-02-25 | Pure Storage, Inc. | Multi-chassis array with multi-level load balancing |
US9367243B1 (en) | 2014-06-04 | 2016-06-14 | Pure Storage, Inc. | Scalable non-uniform storage sizes |
US11960371B2 (en) | 2014-06-04 | 2024-04-16 | Pure Storage, Inc. | Message persistence in a zoned system |
US9396243B1 (en) * | 2014-06-27 | 2016-07-19 | Emc Corporation | Hash-based replication using short hash handle and identity bit |
US9021297B1 (en) | 2014-07-02 | 2015-04-28 | Pure Storage, Inc. | Redundant, fault-tolerant, distributed remote procedure call cache in a storage system |
US8868825B1 (en) | 2014-07-02 | 2014-10-21 | Pure Storage, Inc. | Nonrepeating identifiers in an address space of a non-volatile solid-state storage |
US9836245B2 (en) | 2014-07-02 | 2017-12-05 | Pure Storage, Inc. | Non-volatile RAM and flash memory in a non-volatile solid-state storage |
US11886308B2 (en) | 2014-07-02 | 2024-01-30 | Pure Storage, Inc. | Dual class of service for unified file and object messaging |
US11604598B2 (en) | 2014-07-02 | 2023-03-14 | Pure Storage, Inc. | Storage cluster with zoned drives |
US9811677B2 (en) | 2014-07-03 | 2017-11-07 | Pure Storage, Inc. | Secure data replication in a storage grid |
US9747229B1 (en) | 2014-07-03 | 2017-08-29 | Pure Storage, Inc. | Self-describing data format for DMA in a non-volatile solid-state storage |
CN105279020A (zh) * | 2014-07-03 | 2016-01-27 | 北京联嘉众赢网络技术有限公司 | 一种任务调度方法及系统 |
US10853311B1 (en) | 2014-07-03 | 2020-12-01 | Pure Storage, Inc. | Administration through files in a storage system |
US10983859B2 (en) | 2014-08-07 | 2021-04-20 | Pure Storage, Inc. | Adjustable error correction based on memory health in a storage unit |
US9483346B2 (en) | 2014-08-07 | 2016-11-01 | Pure Storage, Inc. | Data rebuild on feedback from a queue in a non-volatile solid-state storage |
US9082512B1 (en) | 2014-08-07 | 2015-07-14 | Pure Storage, Inc. | Die-level monitoring in a storage cluster |
US9495255B2 (en) | 2014-08-07 | 2016-11-15 | Pure Storage, Inc. | Error recovery in a storage cluster |
US10079711B1 (en) | 2014-08-20 | 2018-09-18 | Pure Storage, Inc. | Virtual file server with preserved MAC address |
CN105447033B (zh) | 2014-08-28 | 2019-06-11 | 国际商业机器公司 | 在复制初始化中生成初始副本的方法和装置 |
US9753955B2 (en) * | 2014-09-16 | 2017-09-05 | Commvault Systems, Inc. | Fast deduplication data verification |
US10025843B1 (en) | 2014-09-24 | 2018-07-17 | EMC IP Holding Company LLC | Adjusting consistency groups during asynchronous replication |
US20160100004A1 (en) * | 2014-10-06 | 2016-04-07 | International Business Machines Corporation | Data replication across servers |
JP6037469B2 (ja) | 2014-11-19 | 2016-12-07 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 情報管理システム、情報管理方法およびプログラム |
US20160150012A1 (en) | 2014-11-25 | 2016-05-26 | Nimble Storage, Inc. | Content-based replication of data between storage units |
US9672264B2 (en) * | 2015-01-26 | 2017-06-06 | Netapp, Inc. | Method and system for backup verification |
US10063665B2 (en) * | 2015-02-18 | 2018-08-28 | Actmobile Networks, Inc. | System and method to eliminate duplicate byte patterns in network streams |
US9940234B2 (en) | 2015-03-26 | 2018-04-10 | Pure Storage, Inc. | Aggressive data deduplication using lazy garbage collection |
US10178169B2 (en) | 2015-04-09 | 2019-01-08 | Pure Storage, Inc. | Point to point based backend communication layer for storage processing |
US9672125B2 (en) | 2015-04-10 | 2017-06-06 | Pure Storage, Inc. | Ability to partition an array into two or more logical arrays with independently running software |
US9639274B2 (en) | 2015-04-14 | 2017-05-02 | Commvault Systems, Inc. | Efficient deduplication database validation |
WO2016185573A1 (ja) * | 2015-05-20 | 2016-11-24 | 株式会社日立製作所 | 重複排除ストレージにおけるボリュームバックアップ・リストア方法 |
US9665534B2 (en) * | 2015-05-27 | 2017-05-30 | Red Hat Israel, Ltd. | Memory deduplication support for remote direct memory access (RDMA) |
US9300737B1 (en) * | 2015-06-02 | 2016-03-29 | Mylio, LLC | Object replication using object device links and flags |
US10846275B2 (en) | 2015-06-26 | 2020-11-24 | Pure Storage, Inc. | Key management in a storage device |
US10983732B2 (en) | 2015-07-13 | 2021-04-20 | Pure Storage, Inc. | Method and system for accessing a file |
US10725708B2 (en) | 2015-07-31 | 2020-07-28 | International Business Machines Corporation | Replication of versions of an object from a source storage to a target storage |
US10255287B2 (en) * | 2015-07-31 | 2019-04-09 | Hiveio Inc. | Method and apparatus for on-disk deduplication metadata for a deduplication file system |
US10108355B2 (en) | 2015-09-01 | 2018-10-23 | Pure Storage, Inc. | Erase block state detection |
US11341136B2 (en) | 2015-09-04 | 2022-05-24 | Pure Storage, Inc. | Dynamically resizable structures for approximate membership queries |
US9768953B2 (en) | 2015-09-30 | 2017-09-19 | Pure Storage, Inc. | Resharing of a split secret |
US10853266B2 (en) | 2015-09-30 | 2020-12-01 | Pure Storage, Inc. | Hardware assisted data lookup methods |
US10762069B2 (en) | 2015-09-30 | 2020-09-01 | Pure Storage, Inc. | Mechanism for a system where data and metadata are located closely together |
US9843453B2 (en) | 2015-10-23 | 2017-12-12 | Pure Storage, Inc. | Authorizing I/O commands with I/O tokens |
US20170123676A1 (en) * | 2015-11-04 | 2017-05-04 | HGST Netherlands B.V. | Reference Block Aggregating into a Reference Set for Deduplication in Memory Management |
EP3173985A1 (en) * | 2015-11-25 | 2017-05-31 | Thomson Licensing | Method and apparatus for generating a combined calendar |
US9430163B1 (en) | 2015-12-15 | 2016-08-30 | International Business Machines Corporation | Implementing synchronization for remote disk mirroring |
US10007457B2 (en) | 2015-12-22 | 2018-06-26 | Pure Storage, Inc. | Distributed transactions with token-associated execution |
US10152527B1 (en) | 2015-12-28 | 2018-12-11 | EMC IP Holding Company LLC | Increment resynchronization in hash-based replication |
US10310951B1 (en) | 2016-03-22 | 2019-06-04 | EMC IP Holding Company LLC | Storage system asynchronous data replication cycle trigger with empty cycle detection |
US10324635B1 (en) | 2016-03-22 | 2019-06-18 | EMC IP Holding Company LLC | Adaptive compression for data replication in a storage system |
US10095428B1 (en) | 2016-03-30 | 2018-10-09 | EMC IP Holding Company LLC | Live migration of a tree of replicas in a storage system |
US9959063B1 (en) | 2016-03-30 | 2018-05-01 | EMC IP Holding Company LLC | Parallel migration of multiple consistency groups in a storage system |
US10565058B1 (en) | 2016-03-30 | 2020-02-18 | EMC IP Holding Company LLC | Adaptive hash-based data replication in a storage system |
US9959073B1 (en) | 2016-03-30 | 2018-05-01 | EMC IP Holding Company LLC | Detection of host connectivity for data migration in a storage system |
US10261690B1 (en) | 2016-05-03 | 2019-04-16 | Pure Storage, Inc. | Systems and methods for operating a storage system |
CN105871678B (zh) * | 2016-06-02 | 2019-09-24 | 郭立峰 | 远程管理私有网络内终端设备的方法 |
US10747734B2 (en) | 2016-06-22 | 2020-08-18 | International Business Machines Corporation | Data deduplication within distributed computing components |
US11861188B2 (en) | 2016-07-19 | 2024-01-02 | Pure Storage, Inc. | System having modular accelerators |
US10768819B2 (en) | 2016-07-22 | 2020-09-08 | Pure Storage, Inc. | Hardware support for non-disruptive upgrades |
US9672905B1 (en) | 2016-07-22 | 2017-06-06 | Pure Storage, Inc. | Optimize data protection layouts based on distributed flash wear leveling |
US11604690B2 (en) | 2016-07-24 | 2023-03-14 | Pure Storage, Inc. | Online failure span determination |
US10366004B2 (en) | 2016-07-26 | 2019-07-30 | Pure Storage, Inc. | Storage system with elective garbage collection to reduce flash contention |
US11734169B2 (en) | 2016-07-26 | 2023-08-22 | Pure Storage, Inc. | Optimizing spool and memory space management |
US11886334B2 (en) | 2016-07-26 | 2024-01-30 | Pure Storage, Inc. | Optimizing spool and memory space management |
US10203903B2 (en) | 2016-07-26 | 2019-02-12 | Pure Storage, Inc. | Geometry based, space aware shelf/writegroup evacuation |
US11797212B2 (en) | 2016-07-26 | 2023-10-24 | Pure Storage, Inc. | Data migration for zoned drives |
US11422719B2 (en) | 2016-09-15 | 2022-08-23 | Pure Storage, Inc. | Distributed file deletion and truncation |
US10356171B1 (en) * | 2016-09-16 | 2019-07-16 | Plesk International Gmbh | Mail server migration with message synchronization |
US9747039B1 (en) | 2016-10-04 | 2017-08-29 | Pure Storage, Inc. | Reservations over multiple paths on NVMe over fabrics |
US10541895B2 (en) * | 2016-10-13 | 2020-01-21 | General Electric Company | Apparatus and method for determining key performance indicators |
US11550481B2 (en) | 2016-12-19 | 2023-01-10 | Pure Storage, Inc. | Efficiently writing data in a zoned drive storage system |
US10747402B2 (en) * | 2016-12-20 | 2020-08-18 | Sap Se | Replication filters for data replication system |
JP6540677B2 (ja) * | 2016-12-22 | 2019-07-10 | 日本電気株式会社 | ストレージ装置、ストレージ装置のバックアップ方法、ストレージ装置のバックアップシステム及びストレージ装置の制御プログラム |
US11307998B2 (en) | 2017-01-09 | 2022-04-19 | Pure Storage, Inc. | Storage efficiency of encrypted host system data |
US9747158B1 (en) | 2017-01-13 | 2017-08-29 | Pure Storage, Inc. | Intelligent refresh of 3D NAND |
US11955187B2 (en) | 2017-01-13 | 2024-04-09 | Pure Storage, Inc. | Refresh of differing capacity NAND |
US11223528B2 (en) * | 2017-01-27 | 2022-01-11 | Box. Inc. | Management of cloud-based shared content using predictive cost modeling |
US10909097B2 (en) | 2017-02-05 | 2021-02-02 | Veritas Technologies Llc | Method and system for dependency analysis of workloads for orchestration |
US11310137B2 (en) | 2017-02-05 | 2022-04-19 | Veritas Technologies Llc | System and method to propagate information across a connected set of entities irrespective of the specific entity type |
GB201704973D0 (en) * | 2017-03-28 | 2017-05-10 | Gb Gas Holdings Ltd | Data replication system |
US10528488B1 (en) | 2017-03-30 | 2020-01-07 | Pure Storage, Inc. | Efficient name coding |
US11016667B1 (en) | 2017-04-05 | 2021-05-25 | Pure Storage, Inc. | Efficient mapping for LUNs in storage memory with holes in address space |
US10282127B2 (en) | 2017-04-20 | 2019-05-07 | Western Digital Technologies, Inc. | Managing data in a storage system |
US10141050B1 (en) | 2017-04-27 | 2018-11-27 | Pure Storage, Inc. | Page writes for triple level cell flash memory |
US10516645B1 (en) | 2017-04-27 | 2019-12-24 | Pure Storage, Inc. | Address resolution broadcasting in a networked device |
US10809928B2 (en) | 2017-06-02 | 2020-10-20 | Western Digital Technologies, Inc. | Efficient data deduplication leveraging sequential chunks or auxiliary databases |
US11782625B2 (en) | 2017-06-11 | 2023-10-10 | Pure Storage, Inc. | Heterogeneity supportive resiliency groups |
US10425473B1 (en) | 2017-07-03 | 2019-09-24 | Pure Storage, Inc. | Stateful connection reset in a storage cluster with a stateless load balancer |
US11403260B2 (en) * | 2017-07-18 | 2022-08-02 | Vmware, Inc. | Hash-based data transfer in distributed deduplication storage systems |
US10503608B2 (en) | 2017-07-24 | 2019-12-10 | Western Digital Technologies, Inc. | Efficient management of reference blocks used in data deduplication |
US10402266B1 (en) | 2017-07-31 | 2019-09-03 | Pure Storage, Inc. | Redundant array of independent disks in a direct-mapped flash storage system |
CN110249321B (zh) * | 2017-09-29 | 2023-11-17 | 甲骨文国际公司 | 用于从分布式数据源中捕获变更数据以供异构目标使用的系统和方法 |
US10496330B1 (en) | 2017-10-31 | 2019-12-03 | Pure Storage, Inc. | Using flash storage devices with different sized erase blocks |
US10545687B1 (en) | 2017-10-31 | 2020-01-28 | Pure Storage, Inc. | Data rebuild when changing erase block sizes during drive replacement |
US10860475B1 (en) | 2017-11-17 | 2020-12-08 | Pure Storage, Inc. | Hybrid flash translation layer |
US10976948B1 (en) | 2018-01-31 | 2021-04-13 | Pure Storage, Inc. | Cluster expansion mechanism |
US10467527B1 (en) | 2018-01-31 | 2019-11-05 | Pure Storage, Inc. | Method and apparatus for artificial intelligence acceleration |
US11036596B1 (en) | 2018-02-18 | 2021-06-15 | Pure Storage, Inc. | System for delaying acknowledgements on open NAND locations until durability has been confirmed |
JP7306665B2 (ja) * | 2018-03-01 | 2023-07-11 | Necソリューションイノベータ株式会社 | ストレージ装置、データ移行方法、プログラム |
CN110389856B (zh) * | 2018-04-20 | 2023-07-11 | 伊姆西Ip控股有限责任公司 | 用于迁移数据的方法、设备和计算机可读介质 |
US11385792B2 (en) | 2018-04-27 | 2022-07-12 | Pure Storage, Inc. | High availability controller pair transitioning |
US11645261B2 (en) | 2018-04-27 | 2023-05-09 | Oracle International Corporation | System and method for heterogeneous database replication from a remote server |
US11868309B2 (en) | 2018-09-06 | 2024-01-09 | Pure Storage, Inc. | Queue management for data relocation |
US11500570B2 (en) | 2018-09-06 | 2022-11-15 | Pure Storage, Inc. | Efficient relocation of data utilizing different programming modes |
US11354058B2 (en) | 2018-09-06 | 2022-06-07 | Pure Storage, Inc. | Local relocation of data stored at a storage device of a storage system |
US20200134052A1 (en) * | 2018-10-26 | 2020-04-30 | EMC IP Holding Company LLC | Decentralized distribution using an overlay network |
US11556699B2 (en) * | 2019-02-04 | 2023-01-17 | Citrix Systems, Inc. | Data migration across SaaS applications |
US11809382B2 (en) | 2019-04-01 | 2023-11-07 | Nutanix, Inc. | System and method for supporting versioned objects |
US11226905B2 (en) | 2019-04-01 | 2022-01-18 | Nutanix, Inc. | System and method for mapping objects to regions |
US11099986B2 (en) | 2019-04-12 | 2021-08-24 | Pure Storage, Inc. | Efficient transfer of memory contents |
US11853575B1 (en) * | 2019-06-08 | 2023-12-26 | Veritas Technologies Llc | Method and system for data consistency across failure and recovery of infrastructure |
US11074002B2 (en) | 2019-06-20 | 2021-07-27 | Western Digital Technologies, Inc. | Object storage system with meta object replication |
US11079960B2 (en) * | 2019-06-20 | 2021-08-03 | Western Digital Technologies, Inc. | Object storage system with priority meta object replication |
US11281394B2 (en) | 2019-06-24 | 2022-03-22 | Pure Storage, Inc. | Replication across partitioning schemes in a distributed storage system |
US11294871B2 (en) | 2019-07-19 | 2022-04-05 | Commvault Systems, Inc. | Deduplication system without reference counting |
US11893126B2 (en) | 2019-10-14 | 2024-02-06 | Pure Storage, Inc. | Data deletion for a multi-tenant environment |
US11704334B2 (en) | 2019-12-06 | 2023-07-18 | Nutanix, Inc. | System and method for hyperconvergence at the datacenter |
US11416144B2 (en) | 2019-12-12 | 2022-08-16 | Pure Storage, Inc. | Dynamic use of segment or zone power loss protection in a flash device |
US11704192B2 (en) | 2019-12-12 | 2023-07-18 | Pure Storage, Inc. | Budgeting open blocks based on power loss protection |
US11847331B2 (en) | 2019-12-12 | 2023-12-19 | Pure Storage, Inc. | Budgeting open blocks of a storage unit based on power loss prevention |
US11609777B2 (en) | 2020-02-19 | 2023-03-21 | Nutanix, Inc. | System and method for multi-cluster storage |
US11531604B2 (en) | 2020-02-28 | 2022-12-20 | Veritas Technologies Llc | Methods and systems for data resynchronization in a replication environment |
US11429640B2 (en) | 2020-02-28 | 2022-08-30 | Veritas Technologies Llc | Methods and systems for data resynchronization in a replication environment |
US11188432B2 (en) | 2020-02-28 | 2021-11-30 | Pure Storage, Inc. | Data resiliency by partially deallocating data blocks of a storage device |
US11928030B2 (en) | 2020-03-31 | 2024-03-12 | Veritas Technologies Llc | Optimize backup from universal share |
US11474986B2 (en) | 2020-04-24 | 2022-10-18 | Pure Storage, Inc. | Utilizing machine learning to streamline telemetry processing of storage media |
US20210334284A1 (en) | 2020-04-28 | 2021-10-28 | Nutanix, Inc. | System and method of querying objects on demand |
US11487787B2 (en) * | 2020-05-29 | 2022-11-01 | Nutanix, Inc. | System and method for near-synchronous replication for object store |
US11669543B2 (en) * | 2020-06-11 | 2023-06-06 | EMC IP Holding Company LLC | Object-level replication including bulk-mode replication in a data storage system |
US11900164B2 (en) | 2020-11-24 | 2024-02-13 | Nutanix, Inc. | Intelligent query planning for metric gateway |
US11822370B2 (en) | 2020-11-26 | 2023-11-21 | Nutanix, Inc. | Concurrent multiprotocol access to an object storage system |
US11487455B2 (en) | 2020-12-17 | 2022-11-01 | Pure Storage, Inc. | Dynamic block allocation to optimize storage system performance |
US11847324B2 (en) | 2020-12-31 | 2023-12-19 | Pure Storage, Inc. | Optimizing resiliency groups for data regions of a storage system |
US11614880B2 (en) | 2020-12-31 | 2023-03-28 | Pure Storage, Inc. | Storage system with selectable write paths |
US11507597B2 (en) | 2021-03-31 | 2022-11-22 | Pure Storage, Inc. | Data replication to meet a recovery point objective |
CN113138722B (zh) * | 2021-04-30 | 2024-01-12 | 北京百度网讯科技有限公司 | 用于分布式块存储系统的复制快照方法、系统和介质 |
US11829343B2 (en) | 2021-06-30 | 2023-11-28 | Syntio Ltd. | Generating a business object |
JP2023026232A (ja) | 2021-08-13 | 2023-02-24 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
US11899572B2 (en) | 2021-09-09 | 2024-02-13 | Nutanix, Inc. | Systems and methods for transparent swap-space virtualization |
TWI802035B (zh) * | 2021-10-06 | 2023-05-11 | 神雲科技股份有限公司 | 伺服器資料備援控制方法 |
US11748374B2 (en) * | 2021-11-30 | 2023-09-05 | Snowflake Inc. | Replication group objects configuration in a network-based database system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5170480A (en) * | 1989-09-25 | 1992-12-08 | International Business Machines Corporation | Concurrently applying redo records to backup database in a log sequence using single queue server per queue at a time |
CN1525337A (zh) * | 2003-02-27 | 2004-09-01 | ������������ʽ���� | 包括存储系统的数据处理系统 |
CN101101563A (zh) * | 2007-07-23 | 2008-01-09 | 清华大学 | 基于海量数据分级存储系统的迁移管理方法 |
EP1933236A1 (en) * | 2006-12-12 | 2008-06-18 | Ixiar Technologies | Branch Office and remote server smart archiving based on mirroring and replication software |
CN101414949A (zh) * | 2008-11-28 | 2009-04-22 | 阿里巴巴集团控股有限公司 | 一种链式数据传输方法、节点及系统 |
US7636704B2 (en) * | 2005-08-26 | 2009-12-22 | Emc Corporation | Methods and apparatus for scheduling an action on a computer |
CN102063500A (zh) * | 2011-01-04 | 2011-05-18 | 北京凯铭风尚网络技术有限公司 | 一种数据迁移的方法及装置 |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6412017B1 (en) * | 1996-07-01 | 2002-06-25 | Microsoft Corporation | Urgent replication facility |
JPH11249874A (ja) | 1998-02-27 | 1999-09-17 | Toshiba Corp | コンピュータシステム、同システムにおける同期処理方法および記録媒体 |
US6466980B1 (en) * | 1999-06-17 | 2002-10-15 | International Business Machines Corporation | System and method for capacity shaping in an internet environment |
US6463454B1 (en) * | 1999-06-17 | 2002-10-08 | International Business Machines Corporation | System and method for integrated load distribution and resource management on internet environment |
US6978282B1 (en) | 2001-09-04 | 2005-12-20 | Emc Corporation | Information replication system having automated replication storage |
JP2003087491A (ja) | 2001-09-14 | 2003-03-20 | Ricoh Co Ltd | 画像形成システム |
EP1468547B1 (en) | 2002-01-02 | 2013-06-26 | Grape Technology Group, Inc. | Communication assistance system and method |
US7043732B2 (en) | 2002-04-29 | 2006-05-09 | Sun Microsystems, Inc. | Method and apparatus for managing remote data replication using CIM providers in a distributed computer system |
US7426559B2 (en) | 2002-05-09 | 2008-09-16 | International Business Machines Corporation | Method for sequential coordination of external database application events with asynchronous internal database events |
US20040153473A1 (en) | 2002-11-21 | 2004-08-05 | Norman Hutchinson | Method and system for synchronizing data in peer to peer networking environments |
US7769722B1 (en) * | 2006-12-08 | 2010-08-03 | Emc Corporation | Replication and restoration of multiple data storage object types in a data network |
US7398285B2 (en) | 2003-07-30 | 2008-07-08 | International Business Machines Corporation | Apparatus and system for asynchronous replication of a hierarchically-indexed data store |
US7203712B2 (en) * | 2004-02-26 | 2007-04-10 | International Business Machines Corporation | Algorithm to find LOB value in a relational table after key columns have been modified |
JP2005267157A (ja) | 2004-03-18 | 2005-09-29 | Equos Research Co Ltd | 情報同期装置及び情報処理装置 |
US7246258B2 (en) | 2004-04-28 | 2007-07-17 | Lenovo (Singapore) Pte. Ltd. | Minimizing resynchronization time after backup system failures in an appliance-based business continuance architecture |
US7275142B1 (en) * | 2004-07-26 | 2007-09-25 | Veritas Operating Corporation | Storage layout and data replication |
US7502961B2 (en) * | 2004-09-09 | 2009-03-10 | Microsoft Corporation | Method, system, and apparatus for providing alert synthesis in a data protection system |
US20060161449A1 (en) | 2005-01-15 | 2006-07-20 | Mckinney Sam A | Automated real estate data replication |
US20070027935A1 (en) | 2005-07-28 | 2007-02-01 | Haselton William R | Backing up source files in their native file formats to a target storage |
US7320059B1 (en) * | 2005-08-26 | 2008-01-15 | Emc Corporation | Methods and apparatus for deleting content from a storage system |
US7350041B1 (en) * | 2005-08-26 | 2008-03-25 | Emc Corporation | Methods and apparatus for managing the storage of content |
US20070055835A1 (en) | 2005-09-06 | 2007-03-08 | Reldata, Inc. | Incremental replication using snapshots |
US7904425B2 (en) | 2005-12-13 | 2011-03-08 | International Business Machines Corporation | Generating backup sets to a specific point in time |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US7739239B1 (en) * | 2005-12-29 | 2010-06-15 | Amazon Technologies, Inc. | Distributed storage system with support for distinct storage classes |
US7788456B1 (en) | 2006-02-16 | 2010-08-31 | Network Appliance, Inc. | Use of data images to allow release of unneeded data storage |
JP4574675B2 (ja) | 2006-08-24 | 2010-11-04 | デュアキシズ株式会社 | 通信管理システム |
US8706833B1 (en) | 2006-12-08 | 2014-04-22 | Emc Corporation | Data storage server having common replication architecture for multiple storage object types |
US8782047B2 (en) | 2009-10-30 | 2014-07-15 | Hitachi Data Systems Corporation | Fixed content storage within a partitioned content platform using namespaces |
JP4930031B2 (ja) | 2006-12-13 | 2012-05-09 | 富士通株式会社 | 制御装置及び制御システム |
US20090063587A1 (en) * | 2007-07-12 | 2009-03-05 | Jakob Holger | Method and system for function-specific time-configurable replication of data manipulating functions |
US8352431B1 (en) | 2007-10-31 | 2013-01-08 | Emc Corporation | Fine-grain policy-based snapshots |
US7769714B2 (en) | 2007-11-06 | 2010-08-03 | Oracle International Corporation | Automatic error correction for replication and instantaneous instantiation |
SE533007C2 (sv) | 2008-10-24 | 2010-06-08 | Ilt Productions Ab | Distribuerad datalagring |
US8306947B2 (en) | 2008-10-30 | 2012-11-06 | Hewlett-Packard Development Company, L.P. | Replication of operations on objects distributed in a storage system |
US9542409B2 (en) | 2008-11-26 | 2017-01-10 | Red Hat, Inc. | Deduplicated file system |
JP4502063B2 (ja) | 2008-12-15 | 2010-07-14 | 株式会社日立製作所 | データウェアハウスシステムとそこで用いられる問合せ処理方法及びそのためのデータ収集方法と装置及び課金システム |
US9239767B2 (en) * | 2008-12-22 | 2016-01-19 | Rpx Clearinghouse Llc | Selective database replication |
US8898267B2 (en) | 2009-01-19 | 2014-11-25 | Netapp, Inc. | Modifying information lifecycle management rules in a distributed system |
US8286030B1 (en) | 2009-02-09 | 2012-10-09 | American Megatrends, Inc. | Information lifecycle management assisted asynchronous replication |
JP5339432B2 (ja) | 2009-02-25 | 2013-11-13 | 日本電気株式会社 | ストレージシステム |
US8671072B1 (en) * | 2009-09-14 | 2014-03-11 | Netapp, Inc. | System and method for hijacking inodes based on replication operations received in an arbitrary order |
US9378216B2 (en) * | 2009-09-29 | 2016-06-28 | Oracle America, Inc. | Filesystem replication using a minimal filesystem metadata changelog |
US8744997B2 (en) * | 2010-02-09 | 2014-06-03 | Google Inc. | Pruning of blob replicas |
US8239390B2 (en) * | 2010-02-26 | 2012-08-07 | International Business Machines Corporation | Filtered remote journal |
WO2011136773A1 (en) | 2010-04-29 | 2011-11-03 | Hewlett-Packard Development Company, L.P. | Multi-jurisdiction retention scheduling for record management |
US10296428B2 (en) | 2010-05-17 | 2019-05-21 | Veritas Technologies Llc | Continuous replication in a distributed computer system environment |
US8799222B2 (en) * | 2010-12-17 | 2014-08-05 | Symantec Corporation | Host based software block level replication using metadata indicating changed data objects at source and secondary nodes |
US8538926B2 (en) * | 2011-03-08 | 2013-09-17 | Rackspace Us, Inc. | Massively scalable object storage system for storing object replicas |
US8918362B2 (en) * | 2011-05-23 | 2014-12-23 | Microsoft Corporation | Replication processes in a distributed storage environment |
US9910904B2 (en) | 2011-08-30 | 2018-03-06 | International Business Machines Corporation | Replication of data objects from a source server to a target server |
US8838529B2 (en) | 2011-08-30 | 2014-09-16 | International Business Machines Corporation | Applying replication rules to determine whether to replicate objects |
US9659080B1 (en) | 2013-04-29 | 2017-05-23 | Google Inc. | Categorization for constraint-based placement of object replicas in a distributed storage system |
US10157014B1 (en) | 2013-12-16 | 2018-12-18 | EMC IP Holding Company LLC | Maintaining backup snapshots on deduplicated storage using continuous replication |
-
2011
- 2011-08-30 US US13/221,670 patent/US9910904B2/en active Active
-
2012
- 2012-04-25 US US13/456,136 patent/US9904717B2/en active Active
- 2012-08-28 WO PCT/CA2012/050593 patent/WO2013029173A1/en active Application Filing
- 2012-08-28 JP JP2014523155A patent/JP5671656B2/ja active Active
- 2012-08-28 DE DE112012002762.0T patent/DE112012002762T5/de active Pending
- 2012-08-28 CN CN201280041913.7A patent/CN103765817B/zh active Active
- 2012-08-28 GB GB1405324.3A patent/GB2509023A/en not_active Withdrawn
-
2014
- 2014-09-19 JP JP2014190852A patent/JP5972327B2/ja active Active
-
2017
- 2017-12-04 US US15/831,272 patent/US10664492B2/en active Active
- 2017-12-05 US US15/831,393 patent/US10664493B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5170480A (en) * | 1989-09-25 | 1992-12-08 | International Business Machines Corporation | Concurrently applying redo records to backup database in a log sequence using single queue server per queue at a time |
CN1525337A (zh) * | 2003-02-27 | 2004-09-01 | ������������ʽ���� | 包括存储系统的数据处理系统 |
US7636704B2 (en) * | 2005-08-26 | 2009-12-22 | Emc Corporation | Methods and apparatus for scheduling an action on a computer |
EP1933236A1 (en) * | 2006-12-12 | 2008-06-18 | Ixiar Technologies | Branch Office and remote server smart archiving based on mirroring and replication software |
CN101101563A (zh) * | 2007-07-23 | 2008-01-09 | 清华大学 | 基于海量数据分级存储系统的迁移管理方法 |
CN101414949A (zh) * | 2008-11-28 | 2009-04-22 | 阿里巴巴集团控股有限公司 | 一种链式数据传输方法、节点及系统 |
CN102063500A (zh) * | 2011-01-04 | 2011-05-18 | 北京凯铭风尚网络技术有限公司 | 一种数据迁移的方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107111636A (zh) * | 2014-12-19 | 2017-08-29 | 亚马逊技术有限公司 | 用于顺序传输优化存储装置的卷级冗余编码技术 |
CN107111636B (zh) * | 2014-12-19 | 2021-08-13 | 亚马逊技术有限公司 | 用于顺序传输优化存储装置的卷级冗余编码技术 |
WO2018072450A1 (en) * | 2016-10-17 | 2018-04-26 | Huawei Technologies Co., Ltd. | Method for elastic geographical database replication |
CN109804365A (zh) * | 2016-10-17 | 2019-05-24 | 华为技术有限公司 | 弹性地理数据库复制方法 |
CN111566626A (zh) * | 2018-01-09 | 2020-08-21 | 国际商业机器公司 | 并发复制垃圾收集的复制和转发 |
CN111566626B (zh) * | 2018-01-09 | 2023-10-31 | 国际商业机器公司 | 并发复制垃圾收集的复制和转发 |
CN112384905A (zh) * | 2018-06-25 | 2021-02-19 | 微软技术许可有限责任公司 | 针对内容复制的浅高速缓冲存储器 |
Also Published As
Publication number | Publication date |
---|---|
GB2509023A (en) | 2014-06-18 |
JP2014522044A (ja) | 2014-08-28 |
US20180101587A1 (en) | 2018-04-12 |
GB201405324D0 (en) | 2014-05-07 |
US9904717B2 (en) | 2018-02-27 |
CN103765817B (zh) | 2017-01-25 |
DE112012002762T5 (de) | 2014-04-10 |
US10664492B2 (en) | 2020-05-26 |
JP5671656B2 (ja) | 2015-02-18 |
US20130054523A1 (en) | 2013-02-28 |
JP5972327B2 (ja) | 2016-08-17 |
WO2013029173A1 (en) | 2013-03-07 |
US20130054524A1 (en) | 2013-02-28 |
US10664493B2 (en) | 2020-05-26 |
US20180101588A1 (en) | 2018-04-12 |
JP2015015047A (ja) | 2015-01-22 |
US9910904B2 (en) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103765817A (zh) | 从源服务器向目标服务器复制数据对象 | |
US11093139B1 (en) | Durably storing data within a virtual storage system | |
US11526408B2 (en) | Data recovery in a virtual storage system | |
US20220083245A1 (en) | Declarative provisioning of storage | |
US20180357271A1 (en) | Object loss reporting in a data storage system | |
US9110603B2 (en) | Identifying modified chunks in a data set for storage | |
US20190250849A1 (en) | Enhanced soft fence of devices | |
US8838529B2 (en) | Applying replication rules to determine whether to replicate objects | |
JP2022122993A (ja) | データセット及び他の管理オブジェクトをクラウドベースのストレージシステムに同期複製すること | |
CN103748545B (zh) | 数据存储系统和数据存储控制方法 | |
US9087010B2 (en) | Data selection for movement from a source to a target | |
CN103226518B (zh) | 一种在存储管理系统中进行卷扩展的方法和装置 | |
WO2021011050A1 (en) | Virtual storage system architecture | |
CN103916455A (zh) | 用于数据复制的方法和系统 | |
CN103959264A (zh) | 在存储云中使用去重复来管理不可变冗余文件 | |
CN103297496A (zh) | 用于云计算系统的增强存储配额管理的方法和系统 | |
US11366593B2 (en) | Point-in-time backups via a storage controller to an object storage cloud | |
CN108351821A (zh) | 数据恢复方法及存储设备 | |
US11176003B2 (en) | Restoration of data when point in time copy operations are performed during asynchronous copy | |
US11099942B2 (en) | Archival to cloud storage while performing remote backup of data | |
WO2023070025A1 (en) | Declarative provisioning of storage | |
US11687416B2 (en) | Data backup optimization | |
WO2022007547A1 (en) | Metadata based data replication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |