CN106407040B - 一种远程数据复制方法及系统 - Google Patents

一种远程数据复制方法及系统 Download PDF

Info

Publication number
CN106407040B
CN106407040B CN201610801665.1A CN201610801665A CN106407040B CN 106407040 B CN106407040 B CN 106407040B CN 201610801665 A CN201610801665 A CN 201610801665A CN 106407040 B CN106407040 B CN 106407040B
Authority
CN
China
Prior art keywords
array
data
calamity
address
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610801665.1A
Other languages
English (en)
Other versions
CN106407040A (zh
Inventor
欧阳戟
严华兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610801665.1A priority Critical patent/CN106407040B/zh
Publication of CN106407040A publication Critical patent/CN106407040A/zh
Priority to PCT/CN2017/081347 priority patent/WO2018040591A1/zh
Priority to US16/263,818 priority patent/US10795788B2/en
Application granted granted Critical
Publication of CN106407040B publication Critical patent/CN106407040B/zh
Priority to US16/990,541 priority patent/US11550675B2/en
Priority to US16/990,607 priority patent/US11461202B2/en
Priority to US18/069,639 priority patent/US20230117542A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069—Management of state, configuration or failover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066—Optimisation of the communication load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9017—Indexing; Data structures therefor; Storage structures using directory or table look-up
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms

Abstract

一种远程数据复制方法及存储系统。生产阵列向灾备阵列发送数据复制请求，所述数据复制请求包括源对象的标识以及所述源对象对应的数据块，所述源对象包括用于承载文件或者目录的数据容器，所述数据块保存在所述生产阵列的硬盘的物理空间中。所述灾备阵列接收所述数据复制请求，确定所述灾备阵列没有包括与所述源对象的标识相同的对象时，创建目标对象，所述目标对象与所述灾备阵列的硬盘的一段或几段物理空间对应，所述目标对象的标识和所述源对象的标识相同，所述灾备阵列将所述数据块写入所述物理空间中，目标物理地址与源物理地址不同。可以减轻生产阵列和灾备阵列之间的带宽负担。

Description

一种远程数据复制方法及系统
技术领域
本发明实施例涉及存储技术领域，特别是一种远程数据复制方法及系统。
背景技术
数据容灾，又称为远程数据复制技术,是指建立一个异地的数据系统，该系统是本地数据的一个可用复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。
典型的数据容灾系统包括生产中心和灾备中心。在生产中心，部署有主机、存储阵列，用于正常的业务运行；在灾备中心，部署有主机、存储阵列，用于在生产中心发生灾难后，接管其业务。在某些应用场景下，生产中心和灾备中心的存储阵列均包含文件系统。生产中心的业务产生的数据写入生产阵列后，可以经容灾链路复制到灾备中心，写入灾备阵列。在现有技术中，远程数据复制是基于块语义的。也就是说，复制的时候可以不用考虑数据块上层的文件，直接将生产阵列的硬盘中所有的数据复制到灾备阵列中。这些数据不仅包括了业务数据，还包括描述业务数据的元数据，例如业务数据的属性以及业务数据在硬盘中的物理布局等。这就会导致容灾链路的负担较重。
发明内容
本实施例提供了一种远程数据复制方法和存储系统，能够减轻生产阵列和灾备阵列之间的容灾链路的负担。
第一方面，提供了一种远程数据复制方法。在该方法中，生产阵列向灾备阵列发送数据复制请求。所述数据复制请求包括源对象的标识以及所述源对象对应的数据块，所述源对象包括用于承载文件或者目录的数据容器，所述数据块保存在所述生产阵列的硬盘的物理空间中，所述数据块保存在所述生产阵列的物理空间中的地址为源物理地址。所述灾备阵列接收所述数据复制请求，确定所述灾备阵列没有包括与所述源对象的标识相同的对象时，创建目标对象。所述目标对象与所述灾备阵列的硬盘的一段或几段物理空间对应，所述目标对象的标识和所述源对象的标识相同。所述灾备阵列将所述数据块写入所述物理空间中，所述数据块保存在所述物理空间中的地址为目标物理地址，所述目标物理地址与所述源物理地址不同。
利用本实施例第一方面提供的远程数据复制方法，生产阵列将源对象的标识以及源对象对应的数据块发送给灾备阵列。若灾备阵列确定没有包括与源对象的标识相同的对象时，创建目标对象，将所述源对象对应的数据块写入所述目标对象中。所谓写入所述目标对象是指将所述数据块写入与所述目标对象对应的物理空间中。与现有技术不同的是，本实施例中所述数据块保存灾备阵列中的物理地址与所述数据块保存在生产阵列中的物理地址不相同。因此，灾备阵列在存储所述数据块时相对比较灵活，生产阵列不需要将描述数据块保存在生产阵列中的物理地址，以及描述数据块在生产阵列中的物理地址与对象的标识之间的对应关系的数据复制到灾备阵列，节省了生产阵列与灾备阵列之间的带宽开销。
另外，第一方面还可以有其他实现方式。例如，目标对象的标识与源对象的标识不相同，所述灾备阵列为所述目标对象分配标识之后，保存目标对象的标识与源对象的标识之间的对应关系，然后将所述对应关系发送给所述生产阵列。采用这种方式，灾备阵列在创建目标对象时可以更加灵活，不要求目标对象的标识与源对象的标识相同。
在第一方面的一种具体实现中，所述数据复制请求还包括所述数据块的逻辑地址，所述逻辑地址为所述数据块位于源对象内的位置；所述数据块保存在所述目标对象内的位置与所述数据块位于源对象内的位置相同。
在上述具体实现中，所述灾备阵列保存所述逻辑地址与所述目标物理地址的对应关系，以及所述目标对象的标识与所述目标物理地址的对应关系，所述逻辑地址与所述目标物理地址的对应关系不同于所述逻辑地址与所述源物理地址的对应关系，并且所述目标对象的标识与所述目标物理地址的对应关系不同于所述源对象的标识与所述源物理地址的对应关系。正是由于逻辑地址与目标物理地址的对应关系不同于所述逻辑地址与所述源物理地址的对应关系，并且所述目标对象的标识与所述目标物理地址的对应关系不同于所述源对象的标识与所述源物理地址的对应关系，所以灾备阵列可以相对灵活地在硬盘中布局所述目标对象。生产阵列也避免了将描述这些对应关系的数据发送给灾备阵列，减轻了链路负担。
在上述任一种具体实现中，所述生产阵列向所述灾备阵列发送增量数据复制请求，所述增量数据复制请求包括增量数据以及所述增量数据的地址信息，所述增量数据是用于对所述数据块进行更新的数据块，所述增量数据的地址信息包括所述源对象的标识以及所述逻辑地址。当生产阵列对源对象中的数据块有更新时，也需要将用于更新所述数据块的增量数据发送给灾备阵列，以实现灾备阵列对目标对象的同步更新。
在上面的具体实现中，所述灾备阵列接收所述增量数据复制请求，根据所述增量数据的地址信息中的所述源对象的标识，确定所述增量数据对应的对象是所述目标对象；根据所述增量数据的地址信息中的逻辑地址确定所述增量数据待写入的目标对象内的位置，将所述增量数据写入所述目标对象的所述逻辑地址中。由此，灾备阵列实现了对目标对象的更新。并且，生产阵列在将增量数据发送给灾备阵列时也不需要将描述所述增量数据在硬盘上如何布局的元数据发送给灾备阵列，而是由灾备阵列在将所述增量数据写入时重新生成布局元数据。因此，节省了生产阵列端与灾备阵列端之间的带宽开销。
本实施例第二方面还提供了一种存储系统，包括生产阵列和灾备阵列，分别用于执行第一方面的远程数据复制方法。
本实施例第三方面还提供了一种存储设备，包括控制器和硬盘，源文件系统和目标文件系统构建于所述硬盘上，其中源文件系统包括源对象，所述源对象包括用于承载文件或者目录的数据容器，所述源对象对应的数据块保存在源文件系统对应的物理空间中，所述源对象对应的数据块保存在物理空间中的地址为源物理地址。所述控制器用于确定目标文件系统中没有包括与所述源对象的标识相同的对象时，创建目标对象。为所述目标在目标文件系统对应的物理空间中分配物理空间。所述目标对象的标识与所述源对象的标识相同。所述控制器将所述数据块写入为所述目标对象分配的物理空间中，所述数据块保存在为所述目标对象分配的物理空间中的地址为目标物理地址，所述目标物理地址与所述源物理地址不同。
另外，第三方面还可以有其他实现方式。例如，目标对象的标识与源对象的标识不相同，所述控制器为所述目标对象分配标识之后，保存目标对象的标识与源对象的标识之间的对应关系。
在第三方面的一种具体实现中，所述控制器具体用于根据所述数据块位于源对象中的逻辑地址将所述数据块写入为所述目标对象分配的物理空间中，所述数据块保存在所述目标对象内的位置与所述数据块位于源对象内的位置相同。
本实施例第四方面还提供了一种数据备份方法，用于第三方面提供的存储设备中。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的系统架构示意图；
图2是本发明实施例提供的生产阵列的结构图；
图3是本发明实施例提供的灾备阵列的结构图；
图4是本发明实施例提供的远程数据复制方法的流程示意图。
具体实施方式
本发明实施例提出了一种远程数据复制方法及系统，能够减轻生产阵列和灾备阵列之间的容灾链路的负担。
图1为本发明实施例提供的远程数据复制方法的系统架构示意图，如图1所示，生产中心包括生产主机、连接设备和生产阵列20；灾备中心的系统架构与生产中心类似，包括灾备主机、连接设备和灾备阵列30。在本发明实施例中，灾备中心可以不止一个。其中，生产中心与灾备中心可以通过IP(Internet Protocol)或者FC(Fiber Chanel)或者其他协议进行数据传输。生产中心和灾备中心之间可以有一个控制中心，所述控制中心可以部署在生产中心侧，也可以部署在灾备中心侧，还可以部署在生产中心和灾备中心之间的第三方设备中。所述控制中心用于当生产阵列20发生故障时，向灾备阵列30发出信号让其接替生产阵列20处理主机业务。
生产主机和灾备主机均可以是任何计算设备，如服务器、台式计算机等等。在主机内部，安装有操作系统以及其他应用程序。
连接设备可以是存储设备和主机之间的任何接口，如光纤交换机，或者其他现当前技术已知有的交换机。
生产阵列20和灾备阵列30均可以是存储设备，如独立硬盘冗余阵列(RedundantArrays of Inexpensive Disks，RAID)、硬盘簇(Just a Bunch Of Disks,JBOD)、直接存取存储器(Direct Access Storage Device，DASD)的一个或多个互连的硬盘驱动器，诸如磁带库、一个或多个存储单元的磁带存储设备。
本实施例中的生产阵列20和灾备阵列30均是具有文件系统的存储设备，也就是说，存储介质中保存的数据是以文件为单位进行管理和访问的。文件系统是一种存储和组织数据的方法，它使得对数据的访问和查找变得容易，文件系统使用文件和树形目录的抽象逻辑概念代替了硬盘等物理设备使用的数据块的概念。生产阵列20在使用文件系统来保存数据后，用户不必关心数据实际保存在硬盘的地址为多少的数据块上，只需要记住这个文件的所属目录和文件名。同样的，在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理(分配和释放)功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。需要说明的是，虽然存储在生产阵列20中的数据是以文件的形式呈现给用户的，然而文件在硬盘31中存储的单位仍然是数据块。因此，一个文件可以包含多个数据块。另外，本实施例引入了“对象”的概念，对象是用于存储文件或者目录的容器。每个对象在文件系统内具有唯一的标识(例如，ID)。
生产阵列20和灾备阵列30的硬件结构是相同的。图2是本发明实施例生产阵列20的结构示意图，图3是本发明实施例灾备阵列30的结构示意图。
如图2所示，生产阵列20包括控制器21和若干个硬盘31。控制器21可以包括任何计算设备，如服务器、台式计算机等等。在控制器内部，安装有文件系统以及其他应用程序。控制器21用于执行和对象相关的各种操作，例如创建文件、创建目录、读文件操作、写文件操作、发送数据复制请求等等。生产阵列20包含的若干个硬盘31用于提供存储空间保存文件。
控制器21主要包括处理器(processor)118、缓存(cache)120、存储器(memory)122、通信总线(简称总线)126以及通信接口(Communication Interface)128。处理器118、缓存120、存储器122以及通信接口128通过通信总线126完成相互间的通信。
通信接口128，用于与生产主机、灾备阵列以及硬盘31通信。
存储器122，用于存放程序124，存储器122可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个硬盘存储器。可以理解的是，存储器122可以为随机存储器(Random-Access Memory，RAM)、磁碟、硬盘、光盘、固态硬盘(SolidState Disk，SSD)或者非易失性存储器等各种可以存储程序代码的非短暂性的(non-transitory)机器可读介质。
程序124可以包括程序代码，所述程序代码包括上面描述的文件系统以及其他程序代码。
缓存120(Cache)用于缓存从生产主机接收的数据或从硬盘中读取的数据。缓存120可以是RAM、ROM、闪存(Flash memory)或固态硬盘(Solid State Disk，SSD)等各种可以存储数据的非短暂性的(non-transitory)机器可读介质，在此不做限定。
另外，存储器122和缓存120可以合设或者分开设置，本发明实施例对此不做限定。
处理器118可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
如图3所示，灾备阵列30包括控制器41和若干个硬盘51。控制器41可以包括任何计算设备，如服务器、台式计算机等等。在控制器41内部，安装有文件系统以及其他应用程序。控制器41用于执行和对象相关的各种操作，例如创建文件、创建目录、读文件操作、写文件操作等等。灾备阵列30包含的若干个硬盘51用于提供存储空间保存文件。
控制器41主要包括处理器(processor)218、缓存(cache)220、存储器(memory)222、通信总线(简称总线)226以及通信接口(Communication Interface)228。处理器218、缓存220、存储器222以及通信接口228通过通信总线226完成相互间的通信。
通信接口228，用于与生产阵列、灾备主机以及硬盘51通信。
存储器222，用于存放程序224，存储器222可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个硬盘存储器。可以理解的是，存储器222可以为随机存储器(Random-Access Memory，RAM)、磁碟、硬盘、光盘、固态硬盘(SolidState Disk，SSD)或者非易失性存储器等各种可以存储程序代码的非短暂性的(non-transitory)机器可读介质。
程序224可以包括程序代码，所述程序代码包括上面描述的文件系统以及其他程序代码。
缓存220(Cache)用于缓存从生产阵列接收的数据或从硬盘中读取的数据。缓存220可以是RAM、ROM、闪存(Flash memory)或固态硬盘(Solid State Disk，SSD)等各种可以存储数据的非短暂性的(non-transitory)机器可读介质，在此不做限定。
另外，存储器222和缓存220可以合设或者分开设置，本发明实施例对此不做限定。
处理器218可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
下面结合图1、图2和图3，描述本发明实施例一种远程数据复制方法。该方法应用在图1所示的异步远程复制的场景中，由生产阵列20和灾备阵列30执行。如图3所述，所述方法可以包括以下步骤：
步骤1：生产阵列20向灾备阵列30发送数据复制请求。所述数据复制请求包括对象的ID，以及所述对象对应的数据块。
对象是指用于承载文件或者目录的数据容器。对象在生产阵列20的硬盘31上面对应一段或几段物理空间。可以理解的是，将对象对应的数据块写入该对象实际上是将所述数据块写入所述物理空间。而对于外部设备而言，所述物理空间是不可见的，只能看到所述数据块位于一个数据容器中。在本实施例中，将数据块写入的所述物理空间的地址称为物理地址。需要说明的是，本实施例中的物理地址并不一定是数据块位于硬盘中的实际地址，只要是对外部设备屏蔽，反映物理空间的地址都称之为物理地址。与物理地址相对应的，数据块还具有逻辑地址。所述逻辑地址是指外部设备可以访问的，反映数据块在所述对象内的位置的地址。对象的元数据可以包括所述对象ID、所述对象对应的数据块的逻辑地址、所述数据块的物理地址、所述对象ID与物理地址的对应关系以及所述逻辑地址与物理地址的对应关系。在实际应用中，如果一个对象较大，那么该对象也可能对应硬盘31上面的几段物理空间。
由于生产阵列20和灾备阵列30都保存有对象，为了区分两端保存的对象，在本实施例中，将生产阵列20中的对象称为源对象，将灾备阵列30的对象称为目标对象。同样的，源对象的逻辑地址称为源逻辑地址，源对象的物理地址称为源物理地址，目标对象的逻辑地址称为目标逻辑地址，目标对象的物理地址称为目标物理地址。
另外，本实施例中所描述的远程数据复制是指异步远程复制。生产阵列20周期性地向灾备阵列30发送数据复制请求，远程复制的周期可以控制中心设置。例如，在控制中心中设置一个计时器(timer)。当预定时间达到时，控制中心给生产阵列20发送指令，指示生产阵列20执行数据复制任务。
在步骤1中，生产阵列20向灾备阵列30发送的数据复制请求可以包括对象的ID，以及所述对象对应的数据块。在某些实施方式中，所述数据复制请求还可以包括数据块的逻辑地址。需要说明的是，生产阵列20并不需要将所述数据块的布局元数据发送给灾备阵列30。所谓数据块的布局元数据是指所述数据块的源物理地址、源对象的ID与源物理地址的对应关系以及源逻辑地址与源物理地址的对应关系。这意味着灾备阵列30接收所述数据块之后，并不需要按照与生产阵列30相同的布局方式来存储所述数据块。所述数据块存储在灾备阵列30的目标物理地址与所述数据块存储在生产阵列20的源物理地址不相同。
具体的，步骤1可以由生产阵列20中的处理器118来执行。
在步骤2中，灾备阵列30接收所述数据复制请求。灾备阵列30可以根据所述数据复制请求中携带的对象的ID判断其本地是否存在于与源对象的ID相同的对象。若存在ID相同的对象，那么所述数据复制请求是一个增量数据复制请求，接下来执行步骤6。所述增量数据复制请求用于更新所述对象。若判断的结果是不存在ID相同的对象，那么灾备阵列30就需要所述数据复制请求中创建一个目标对象，如步骤3所示。
在步骤3中，灾备阵列30创建所述目标对象。所述目标对象的ID与所述源对象的ID可以相同，也可以不相同。若ID相同，那么无论对生产阵列20还是灾备阵列30而言都相对更容易查找到与源对象相对应的目标对象，或者与目标对象相对应的源对象。若ID不同，那么灾备阵列30在设定目标对象的ID之后，还需要保存源对象的ID与目标对象的ID之间的对应关系，并且将所述对应关系通知生产阵列20。采用这种方式，虽然查找起来相对复杂一点，但是灾备阵列30在创建目标对象时更为灵活。所以两者各有优势。另外，如前面对对象的描述可知，目标对象是逻辑上用于承载文件或者目录的数据容器，在灾备阵列30的硬盘上对应一段或几段物理空间。所述物理空间是创建所述目标对象时，为其分配的。
在步骤4中，灾备阵列30将所述数据复制请求中携带的数据块写入所述物理空间中。所述数据块保存在所述物理空间中的地址为目标物理地址，目标物理地址与源物理地址不同。
具体的，生产阵列20向灾备阵列30发送的所述数据复制请求中还可以包括所述数据块的逻辑地址。所述逻辑地址对于生产阵列20和灾备阵列30而言都是适用的。这意味着，所述数据块位于源对象的位置与所述数据块位于目标对象的位置相同。因此，灾备阵列30在将所述数据块写入所述物理空间时可以根据所述数据块的逻辑地址写入所述物理空间。可以理解的是，所述数据块实际占用的物理空间可以是为所述目标对象分配的物理空间的一部分，也可以是全部。
在步骤5中，灾备阵列30在将所述数据块写入物理空间之后，生成并保存所述数据块的布局元数据。所述布局元数据包括目标对象的ID与目标物理地址的对应关系，以及逻辑地址与所述目标物理地址的对应关系。由于目标物理地址与源物理地址不同，那么相应的，灾备阵列端的布局元数据和生产阵列端的布局元数据也不相同。
在执行步骤5之后，灾备阵列30可以向生产阵列20发送一个响应请求，以指示所述数据复制请求执行成功。至此，本实施例实现了将生产阵列中的对象以及所述对象对应的数据块复制到灾备阵列中。由于所述数据块存储在灾备阵列30中的目标物理地址与所述数据块存储在生产阵列20中的源物理地址不相同，生产阵列20并不需要指示灾备阵列30存储所述数据块的物理地址，因此生产阵列20也不需要将布局元数据发给灾备阵列30，节省了生产阵列与灾备阵列之间的带宽开销。
具体的，步骤2-步骤5可以由灾备阵列30中的处理器218来执行。
下面介绍增量数据复制请求的处理。
在步骤2中，如果灾备阵列30判断出所述目标对象已经存在，那么步骤2中的数据复制请求就是一个增量数据复制请求。另外，在步骤5之后，在步骤6中(即创建所述目标对象之后)灾备阵列30也可能接收增量数据复制请求。所述增量数据复制请求用于对目标对象中的数据块进行更新。
具体的，在完成一次复制任务之后生产阵列20可能会接收来自生产主机的增量数据，用于源对象对应的数据块进行更新。为了保持两端的数据的一致性，生产阵列20需要将所述增量数据发送给灾备阵列30。所述增量数据复制请求包括所述增量数据、源对象的标识(例如，ID)以及逻辑地址。与数据复制请求类似，增量数据复制请求也是周期性发送的，其周期可以和远程复制的周期相同。
在实际应用中，生产阵列20在接收增量数据之后，可以保存为增量日志。所述增量日志可以描述为“源对象的ID+逻辑地址”。当复制任务触发时，生产阵列20根据所述增量日志读取所述增量数据，并将所述增量数据与所述逻辑地址发送给灾备阵列30。当生产阵列20中保存有多条增量日志时，生产阵列20可以将一个远程复制周期内的多条增量日志，一次性地或者分别发送给灾备阵列30，以实现灾备阵列端和生产阵列端数据的一致性。
例如，在步骤6中，生产阵列20向灾备阵列30发送增量数据复制请求，灾备阵列30接收所述增量数据复制请求之后，根据源对象的ID查找待更新的目标对象。示例性的，目标对象的ID可以和源对象的ID相同，这种情况下，灾备阵列30可以直接根据所述源对象的ID查找到目标对象。另外，在其他实施方式中，目标对象的ID可以和源对象的ID不相同，那么灾备阵列30就需要根据所述源对象的ID和本地保存的目标对象的ID与源对象的ID之间的对应关系，查找到目标对象。
在步骤7中，灾备阵列30根据所述增量数据复制请求中携带的逻辑地址确定所述目标对象内待更新的数据块的位置，将所述增量数据复制请求中携带的数据块写入该位置。灾备阵列30在将所述增量数据写入为所述目标对象对应的物理空间之后，生成并保存目标物理地址与所述逻辑地址之间的对应关系，以及所述目标物理地址与所述目标对象的ID之间的对应关系。
具体的，步骤6-步骤7可以由灾备阵列30中的处理器218来执行。
通过步骤6和步骤7，灾备阵列30完成了对目标对象的更新。并且，生产阵列20在将增量数据发送给灾备阵列30时也不需要将描述所述增量数据在硬盘上如何布局的元数据发送给灾备阵列30，而是由灾备阵列30在将所述增量数据写入时重新生成布局元数据。因此，节省了生产阵列端与灾备阵列端之间的带宽开销。
在实际应用中，生产阵列20可能删除某个文件或者某个目录，或者截断某个文件，从而导致该文件或者目录所在的对象被删除，或者该对象的部分数据被删除，使对象实际占用的物理空间变小。这种场景下，生产阵列20也需要将删除文件或者目录、或截断文件的信息同步至灾备阵列30。
示例性的，生产阵列20接收删除、截断指令之后，根据删除、截断指令中的逻辑地址将该逻辑地址的数据块释放，并且保存删除日志。所述删除日志可以描述为“源对象的ID+逻辑地址”。当复制任务触发时，生产阵列20根据所述删除日志读取对应位置的数据，若该位置对应的数据块被释放，则读取不到有效数据，在这种情况下，生产阵列将数据内容替换为某种特殊标记(如标记为全0)，该标记的含义代表对应的逻辑地址的数据块需要被释放，并将所述含有特殊标记的数据、所述逻辑地址以及源对象的ID发送给灾备阵列30。
灾备阵列30检测到接收的数据中含有特殊标记，根据源对象的ID确定待修改的目标对象，将所述目标对象的逻辑地址的数据块释放，从而实现删除对象、或删除对象的部分数据，即达到在目标文件系统中删除文件或目录，截断文件的效果。
另外，本实施例还可以用于阵列内部源文件系统与目标文件系统之间的数据复制。在具体实现上，可以由阵列内部的控制器(参见图2所示的结构图)执行。
例如，当源文件系统中的一个对象需要备份到目标文件系统时，控制器判断目标文件系统中是否有与源对象ID相同的目标对象，若没有则创建一个目标对象，所述目标对象的ID与源对象的ID相同，所述目标对象对应硬盘上的一段或几段物理空间。与图4所示的实施例不同之处在于，阵列内的备份，源对象和目标对象所对应的物理空间都位于该阵列内。而图4所示的实施例由于阵列间的数据复制，源对象对应的物理空间位于生产阵列中，目标对象对应的物理空间位于灾备阵列中。在目标对象创建完成之后，控制器再将所述源对象对应的数据块写入目标对象对应的物理空间中。
示例性的，控制器可以根据所述数据块位于所述源对象的逻辑地址将所述数据块写入目标对象对应的物理空间中，以保证所述数据块在目标对象中保存的位置与源对象中保存的位置一致。
其余的步骤，例如当源对象对应的数据有更新时，增量数据也需要备份给目标对象。具体的实施方式与图4所示的实施例类似，这里不再赘述。
在某些基于文件语义的数据备份技术中，源文件系统将接收的数据记录到日志中。日志中按顺序记录所有的文件语义写操作和写数据，如创建文件、删除文件、移动文件、对文件写入数据、修改文件属性、创建目录、删除目录等。文件语义写操作具有顺序依赖性，例如，创建文件前，该文件所属的目录必须先存在，所以必须先创建目录，再创建文件。由于顺序依赖性的存在，使得备份时必须按照一系列的规则进行，从而使得基于文件语义的数据备份技术实现起来比较复杂。或者，周期性地对源文件系统创建快照，通过对比前后快照的差异，推导出两次快照之间源文件系统发生哪些文件语义写操作和写数据。然后，后台任务获取该记录，以文件语义写操作的形式发送给目标文件系统。目标文件系统按照类似于应用程序在灾备阵列的文件系统上重新执行的方式执行该写操作。这种方式导致灾备阵列在执行文件语义复制时，需要对每个文件执行相应的操作(例如open操作或者close操作)，导致很多额外的开销，使得备份效率较低。而本发明实施例在实现时，不用考虑写操作之间的顺序依赖性。只需要将对象对应的数据块由源文件系统备份到目标文件系统，数据块之间没有依赖关系，不用考虑备份数据块的先后顺序，降低了方案复杂度。并且，在备份时，可以直接执行对对象的读取和写入，不需要执行额外的操作(例如open操作或者close操作)，降低了系统开销，提高了备份效率。
另外，在基于块语义的备份中，文件系统必须构建于卷上。卷提供的是块(block)语义的访问接口和地址空间，该语义只有读一段地址和写一段地址，没有复杂的文件操作。所以，基于块语义的备份，本质上是利用卷的复制方法实现。该方法周期性地对生产阵列中的源卷创建快照，比较前后快照之间哪些数据块发生了变化。然后，获取发生变化的数据块以及数据块的地址，发送给目标文件系统。目标文件系统将数据块写入相同地址的目标卷中。然而，基于块语义的备份，必须依赖于文件系统构建于卷上的基础架构，若不是基于这种架构则无法采用该技术。本发明实施例摆脱了文件系统需要构建于卷上的依赖，无论文件系统构建于何种物理空间之上，都可以实现文件的备份。
需要说明的是，上述两段话中的源文件系统和目标文件系统可以是指一个阵列内的两个文件系统，也可以分别是两个阵列中的文件系统。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制。

Claims (6)

1.一种远程数据复制方法，其特征在于，包括：
生产阵列向灾备阵列发送数据复制请求，所述数据复制请求包括源对象的标识以及所述源对象对应的数据块，所述源对象包括用于承载文件或者目录的数据容器，所述数据块保存在所述生产阵列的硬盘的物理空间中，所述数据块保存在所述生产阵列的物理空间中的地址为源物理地址，所述数据复制请求还包括所述数据块的逻辑地址，所述逻辑地址为所述数据块位于源对象内的位置；
所述灾备阵列接收所述数据复制请求，确定所述灾备阵列没有包括与所述源对象的标识相同的对象时，创建目标对象，所述目标对象与所述灾备阵列的硬盘的一段或几段物理空间对应，所述目标对象的标识和所述源对象的标识相同，所述灾备阵列将所述数据块写入所述物理空间中，所述数据块保存在所述物理空间中的地址为目标物理地址，所述目标物理地址与所述源物理地址不同，所述数据块保存在所述目标对象内的位置与所述数据块位于源对象内的位置相同；
所述方法还包括：
所述灾备阵列保存所述逻辑地址与所述目标物理地址的对应关系，以及所述目标对象的标识与所述目标物理地址的对应关系，所述逻辑地址与所述目标物理地址的对应关系不同于所述逻辑地址与所述源物理地址的对应关系，并且所述目标对象的标识与所述目标物理地址的对应关系不同于所述源对象的标识与所述源物理地址的对应关系。
2.根据权利要求1所述的方法，其特征在于，还包括：
所述生产阵列向所述灾备阵列发送增量数据复制请求，所述增量数据复制请求包括增量数据以及所述增量数据的地址信息，所述增量数据是用于对所述数据块进行更新的数据块，所述增量数据的地址信息包括所述源对象的标识以及所述逻辑地址。
3.根据权利要求2所述的方法，其特征在于，还包括：
所述灾备阵列接收所述增量数据复制请求，根据所述增量数据的地址信息中的所述源对象的标识，确定所述增量数据对应的对象是所述目标对象；根据所述增量数据的地址信息中的逻辑地址确定所述增量数据待写入的目标对象内的位置，将所述增量数据写入所述目标对象的所述逻辑地址中。
4.一种存储系统，其特征在于，包括生产阵列和灾备阵列；
所述生产阵列，用于向所述灾备阵列发送数据复制请求，所述数据复制请求包括源对象的标识以及所述源对象对应的数据块，所述源对象包括用于承载文件或者目录的数据容器，所述数据块保存在所述生产阵列的硬盘的物理空间中，所述数据块保存在所述生产阵列的物理空间中的地址为源物理地址，所述数据复制请求还包括所述数据块的逻辑地址，所述逻辑地址为所述数据块位于源对象内的位置；
所述灾备阵列，用于接收所述数据复制请求，确定所述灾备阵列没有包括与所述源对象的标识相同的对象时，创建目标对象，所述目标对象与所述灾备阵列的硬盘的一段或几段物理空间对应，所述目标对象的标识和所述源对象的标识相同，将所述数据块写入所述物理空间中，所述数据块保存在所述物理空间中的地址为目标物理地址，所述目标物理地址与所述源物理地址不同，所述数据块保存在所述目标对象内的位置与所述数据块位于源对象内的位置相同；
所述灾备阵列，还用于保存所述逻辑地址与所述目标物理地址的对应关系，以及所述目标对象的标识与所述目标物理地址的对应关系，所述逻辑地址与所述目标物理地址的对应关系不同于所述逻辑地址与所述源物理地址的对应关系，并且所述目标对象的标识与所述目标物理地址的对应关系不同于所述源对象的标识与所述源物理地址的对应关系。
5.根据权利要求4所述的存储系统，其特征在于，
所述生产阵列，还用于向所述灾备阵列发送增量数据复制请求，所述增量数据复制请求包括增量数据以及所述增量数据的地址信息，所述增量数据是用于对所述数据块进行更新的数据块，所述增量数据的地址信息包括所述源对象的标识以及所述逻辑地址。
6.根据权利要求5所述的存储系统，其特征在于，
所述灾备阵列，还用于接收所述增量数据复制请求，根据所述增量数据的地址信息中的所述源对象的标识，确定所述增量数据对应的对象是所述目标对象；根据所述增量数据的地址信息中的逻辑地址确定所述增量数据待写入的目标对象内的位置，将所述增量数据写入所述目标对象的所述逻辑地址中。
CN201610801665.1A 2016-09-05 2016-09-05 一种远程数据复制方法及系统 Active CN106407040B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610801665.1A CN106407040B (zh) 2016-09-05 2016-09-05 一种远程数据复制方法及系统
PCT/CN2017/081347 WO2018040591A1 (zh) 2016-09-05 2017-04-21 一种远程数据复制方法及系统
US16/263,818 US10795788B2 (en) 2016-09-05 2019-01-31 Remote data replication method and system
US16/990,541 US11550675B2 (en) 2016-09-05 2020-08-11 Remote data replication method and system
US16/990,607 US11461202B2 (en) 2016-09-05 2020-08-11 Remote data replication method and system
US18/069,639 US20230117542A1 (en) 2016-09-05 2022-12-21 Remote Data Replication Method and System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610801665.1A CN106407040B (zh) 2016-09-05 2016-09-05 一种远程数据复制方法及系统

Publications (2)

Publication Number Publication Date
CN106407040A CN106407040A (zh) 2017-02-15
CN106407040B true CN106407040B (zh) 2019-05-24

Family

ID=57998535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610801665.1A Active CN106407040B (zh) 2016-09-05 2016-09-05 一种远程数据复制方法及系统

Country Status (3)

Country Link
US (4) US10795788B2 (zh)
CN (1) CN106407040B (zh)
WO (1) WO2018040591A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459892B2 (en) 2014-04-23 2019-10-29 Qumulo, Inc. Filesystem hierarchical aggregate metrics
US11132336B2 (en) 2015-01-12 2021-09-28 Qumulo, Inc. Filesystem hierarchical capacity quantity and aggregate metrics
US9836480B2 (en) 2015-01-12 2017-12-05 Qumulo, Inc. Filesystem capacity and performance metrics and visualizations
CN106407040B (zh) * 2016-09-05 2019-05-24 华为技术有限公司 一种远程数据复制方法及系统
US10095729B2 (en) 2016-12-09 2018-10-09 Qumulo, Inc. Managing storage quotas in a shared storage system
WO2019095227A1 (zh) 2017-11-15 2019-05-23 Oppo广东移动通信有限公司 数据复制传输的控制方法、用户设备、主节点及辅助节点
CN110389713B (zh) * 2018-04-20 2023-06-27 伊姆西Ip控股有限责任公司 数据同步方法、设备和计算机可读介质
US11360936B2 (en) 2018-06-08 2022-06-14 Qumulo, Inc. Managing per object snapshot coverage in filesystems
US10776038B2 (en) * 2018-11-26 2020-09-15 Bank Of America Corporation Systems and methods for defining replication of data
US10534758B1 (en) 2018-12-20 2020-01-14 Qumulo, Inc. File system cache tiers
US11151092B2 (en) 2019-01-30 2021-10-19 Qumulo, Inc. Data replication in distributed file systems
CN110297729B (zh) * 2019-07-02 2023-03-28 四川效率源信息安全技术股份有限公司 一种基于区间块来恢复apfs中被损坏数据及被删除数据的方法
TWI711288B (zh) * 2019-08-27 2020-11-21 中華電信股份有限公司 異地備份方法
CN112583868B (zh) * 2019-09-27 2023-04-07 浙江宇视科技有限公司 云存储数据的备份方法、装置、设备和介质
US10725977B1 (en) 2019-10-21 2020-07-28 Qumulo, Inc. Managing file system state during replication jobs
US10860372B1 (en) 2020-01-24 2020-12-08 Qumulo, Inc. Managing throughput fairness and quality of service in file systems
US10795796B1 (en) 2020-01-24 2020-10-06 Qumulo, Inc. Predictive performance analysis for file systems
US11151001B2 (en) 2020-01-28 2021-10-19 Qumulo, Inc. Recovery checkpoints for distributed file systems
US10936551B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Aggregating alternate data stream metrics for file systems
US10936538B1 (en) 2020-03-30 2021-03-02 Qumulo, Inc. Fair sampling of alternate data stream metrics for file systems
US11775481B2 (en) 2020-09-30 2023-10-03 Qumulo, Inc. User interfaces for managing distributed file systems
CN112667153A (zh) * 2020-12-22 2021-04-16 军事科学院系统工程研究院网络信息研究所 一种基于分布式raid切片的多站点容灾备份方法
US11157458B1 (en) 2021-01-28 2021-10-26 Qumulo, Inc. Replicating files in distributed file systems using object-based data storage
US11461241B2 (en) 2021-03-03 2022-10-04 Qumulo, Inc. Storage tier management for file systems
US11132126B1 (en) 2021-03-16 2021-09-28 Qumulo, Inc. Backup services for distributed file systems in cloud computing environments
US11567660B2 (en) 2021-03-16 2023-01-31 Qumulo, Inc. Managing cloud storage for distributed file systems
US11669255B2 (en) 2021-06-30 2023-06-06 Qumulo, Inc. Distributed resource caching by reallocation of storage caching using tokens and agents with non-depleted cache allocations
US11294604B1 (en) 2021-10-22 2022-04-05 Qumulo, Inc. Serverless disk drives based on cloud storage
US11354273B1 (en) 2021-11-18 2022-06-07 Qumulo, Inc. Managing usable storage space in distributed file systems
US11599508B1 (en) 2022-01-31 2023-03-07 Qumulo, Inc. Integrating distributed file systems with object stores
US11722150B1 (en) 2022-09-28 2023-08-08 Qumulo, Inc. Error resistant write-ahead log
US11729269B1 (en) 2022-10-26 2023-08-15 Qumulo, Inc. Bandwidth management in distributed file systems
US11934660B1 (en) 2023-11-07 2024-03-19 Qumulo, Inc. Tiered data storage with ephemeral and persistent tiers
US11921677B1 (en) 2023-11-07 2024-03-05 Qumulo, Inc. Sharing namespaces across file system clusters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0950954A1 (en) * 1998-04-09 1999-10-20 Sun Microsystems, Inc. Method and apparatus for transparent server failover for highly available objects
CN1578949A (zh) * 2001-11-09 2005-02-09 无锡永中科技有限公司 数据对象导向的储存系统
CN102722405A (zh) * 2012-06-06 2012-10-10 新浪网技术(中国)有限公司 高并发、多线程应用中的计数方法及系统
CN103500129A (zh) * 2013-10-16 2014-01-08 华为技术有限公司 一种备份对象的发送、备份方法、生产端、灾备端及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643795B1 (en) * 2000-03-30 2003-11-04 Hewlett-Packard Development Company, L.P. Controller-based bi-directional remote copy system with storage site failover capability
US6662198B2 (en) * 2001-08-30 2003-12-09 Zoteca Inc. Method and system for asynchronous transmission, backup, distribution of data and file sharing
US7266654B2 (en) * 2003-03-18 2007-09-04 Hitachi, Ltd. Storage system, server apparatus, and method for creating a plurality of snapshots
US7694086B1 (en) 2003-06-30 2010-04-06 Symantec Operating Corporation Method and system for incremental backup of data volumes
JP4225378B2 (ja) * 2003-12-17 2009-02-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 複製装置、複製方法、複製プログラム、ブロック識別情報取得プログラム、及び記録媒体
US7966293B1 (en) * 2004-03-09 2011-06-21 Netapp, Inc. System and method for indexing a backup using persistent consistency point images
JP4519563B2 (ja) * 2004-08-04 2010-08-04 株式会社日立製作所 記憶システム及びデータ処理システム
JP4550541B2 (ja) 2004-10-06 2010-09-22 株式会社日立製作所 ストレージシステム
JP4376750B2 (ja) * 2004-10-14 2009-12-02 株式会社日立製作所 計算機システム
JP2006139477A (ja) 2004-11-11 2006-06-01 Hitachi Ltd 計算機システム、管理方法及びストレージネットワークシステム
US7213116B2 (en) * 2005-03-24 2007-05-01 Hitachi, Ltd. Method and apparatus for mirroring objects between storage systems
US7320059B1 (en) * 2005-08-26 2008-01-15 Emc Corporation Methods and apparatus for deleting content from a storage system
US8495010B2 (en) * 2005-11-04 2013-07-23 Oracle America, Inc. Method and system for adaptive metadata replication
US20080243878A1 (en) 2007-03-29 2008-10-02 Symantec Corporation Removal
US7861049B2 (en) * 2007-11-19 2010-12-28 Hitachi, Ltd. Methods and apparatus for archiving digital data
JP2009123175A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd ストレージシステム並びにストレージ装置及びデータ更新方法
US9495382B2 (en) * 2008-12-10 2016-11-15 Commvault Systems, Inc. Systems and methods for performing discrete data replication
US8655848B1 (en) * 2009-04-30 2014-02-18 Netapp, Inc. Unordered idempotent logical replication operations
US8321380B1 (en) * 2009-04-30 2012-11-27 Netapp, Inc. Unordered idempotent replication operations
WO2011014167A1 (en) * 2009-07-29 2011-02-03 Hewlett-Packard Development Company, L.P. Making a physical copy of data at a remote storage device
WO2012143965A1 (en) * 2011-04-18 2012-10-26 Hitachi, Ltd. Plurality of coupled storage subsystems and method for setting port access limitation in a storage subsystem when migrating a logical volume
CN103793291B (zh) * 2012-11-01 2017-04-19 华为技术有限公司 分布式数据复制方法和装置
US8904133B1 (en) * 2012-12-03 2014-12-02 Hitachi, Ltd. Storage apparatus and storage apparatus migration method
CN103649901A (zh) * 2013-07-26 2014-03-19 华为技术有限公司 数据发送方法、数据接收方法和存储设备
US9779153B2 (en) * 2014-03-03 2017-10-03 Netapp, Inc. Data transfer between storage systems using data fingerprints
US10713379B2 (en) * 2014-04-21 2020-07-14 David Lane Smith Distributed storage system for long term data storage
US10069914B1 (en) * 2014-04-21 2018-09-04 David Lane Smith Distributed storage system for long term data storage
US10108352B2 (en) 2015-03-03 2018-10-23 International Business Machines Corporation Incremental replication of a source data set
US9880770B2 (en) * 2015-09-02 2018-01-30 SK Hynix Inc. Supporting invalidation commands for non-volatile memory
US10042719B1 (en) * 2015-09-22 2018-08-07 EMC IP Holding Company LLC Optimizing application data backup in SMB
US10042711B1 (en) * 2015-12-18 2018-08-07 EMC IP Holding Company LLC Distributed data protection techniques with cloning
US9870367B2 (en) * 2016-01-04 2018-01-16 Acronis International Gmbh System and method of using data blocks to optimize file storage
US9841921B2 (en) 2016-04-27 2017-12-12 Pure Storage, Inc. Migrating data in a storage array that includes a plurality of storage devices
CN106407040B (zh) * 2016-09-05 2019-05-24 华为技术有限公司 一种远程数据复制方法及系统
US10620843B2 (en) * 2017-07-26 2020-04-14 Netapp, Inc. Methods for managing distributed snapshot for low latency storage and devices thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0950954A1 (en) * 1998-04-09 1999-10-20 Sun Microsystems, Inc. Method and apparatus for transparent server failover for highly available objects
CN1578949A (zh) * 2001-11-09 2005-02-09 无锡永中科技有限公司 数据对象导向的储存系统
CN102722405A (zh) * 2012-06-06 2012-10-10 新浪网技术(中国)有限公司 高并发、多线程应用中的计数方法及系统
CN103500129A (zh) * 2013-10-16 2014-01-08 华为技术有限公司 一种备份对象的发送、备份方法、生产端、灾备端及系统

Also Published As

Publication number Publication date
US11461202B2 (en) 2022-10-04
WO2018040591A1 (zh) 2018-03-08
US11550675B2 (en) 2023-01-10
US20200371884A1 (en) 2020-11-26
US20190163591A1 (en) 2019-05-30
US20200371883A1 (en) 2020-11-26
CN106407040A (zh) 2017-02-15
US20230117542A1 (en) 2023-04-20
US10795788B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
CN106407040B (zh) 一种远程数据复制方法及系统
US11954002B1 (en) Automatically provisioning mediation services for a storage system
US10789020B2 (en) Recovering data within a unified storage element
US9697092B2 (en) File-based cluster-to-cluster replication recovery
CN106547859B (zh) 一种多租户数据存储系统下的数据文件的存储方法及装置
US20220217049A1 (en) Path Management For Container Clusters That Access Persistent Storage
US10169165B2 (en) Restoring data
US20150254320A1 (en) Using colocation hints to facilitate accessing a distributed data storage system
CN103780638A (zh) 数据同步方法及系统
CN109313538A (zh) 内联去重
CN105339903A (zh) 恢复文件系统对象
US11314639B2 (en) Protecting against data loss during garbage collection
CN109313595A (zh) 跨平台复制
WO2018076633A1 (zh) 一种远程数据复制方法、存储设备及存储系统
US10503426B2 (en) Efficient space allocation in gathered-write backend change volumes
CN111435286B (zh) 一种数据存储方法、装置和系统
US20230229363A1 (en) Tiering Valid Data after a Disaster Recovery Operation
CN116389233A (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
CN114780043A (zh) 基于多层缓存的数据处理方法及装置、电子设备
CN107357677A (zh) 一种GlusterFS基于纠删码的数据冗余存储方法
CN114281267B (zh) 分布式存储系统间的数据迁移方法和装置
CN109697021A (zh) 一种磁盘快照的数据处理方法及装置
CN116601609A (zh) 将数据存储在计算机存储中

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant