CN106537353B - 一种数据复制方法、装置以及系统 - Google Patents

一种数据复制方法、装置以及系统 Download PDF

Info

Publication number
CN106537353B
CN106537353B CN201480080641.0A CN201480080641A CN106537353B CN 106537353 B CN106537353 B CN 106537353B CN 201480080641 A CN201480080641 A CN 201480080641A CN 106537353 B CN106537353 B CN 106537353B
Authority
CN
China
Prior art keywords
data
master file
variance data
volume
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480080641.0A
Other languages
English (en)
Other versions
CN106537353A (zh
Inventor
王秀武
欧阳戟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106537353A publication Critical patent/CN106537353A/zh
Application granted granted Critical
Publication of CN106537353B publication Critical patent/CN106537353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066—Optimisation of the communication load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Abstract

实施例公开了一种数据复制方法、装置以及系统。其中，数据复制的方法包括：获得主卷区别于从卷的差异数据对应的差异数据信息，差异数据信息包括差异数据位于主卷上的存储地址和差异数据的差异数据判断值(201)，差异数据判断值包括差异数据的数据量或差异数据的差异数据量与主卷跟从卷之间的复制带宽之比；确定差异数据判断值不小于预设的阈值，根据差异数据位于主卷上的存储地址将差异数据从主卷复制到从卷(202)；确定差异数据判断值小于预设的阈值，对主卷进行快照，并根据快照将差异数据复制到从卷(203)。实施例提出了一种数据复制方法和装置，能够降低频繁启动快照对于主存储阵列和系统主机的性能影响。

Description

一种数据复制方法、装置以及系统
技术领域
本发明涉及存储技术领域，具体涉及数据复制方法、装置以及系统。
背景技术
现有存储系统中包括：作为数据实际产生方的系统主机，对系统主机产生的数据进行存储和控制的主存储阵列，对主存储阵列的数据进行存储备份的从存储阵列。其中，主存储阵列包括：作为数据存储设备的主存储池和对主存储池中存储的数据进行控制的主数据存储控制器。主存储池包括：用来接收并存储系统主机发送数据的主卷和用来存储主卷的快照数据的主卷快照卷。从存储阵列包括：作为数据存储设备的从存储池和对从存储池中存储的数据进行控制的从数据存储控制器。从存储池包括：用来接收并存储主卷备份数据的从卷和用来存储从卷的快照数据的从卷快照卷。在数据生产过程中，系统主机产生的数据将会发送到主卷中，通过数据复制技术，将系统主机发送到主卷的数据不断备份到从卷中，使得从卷与主卷的数据保持一致，以达到当系统主机的数据损坏时的灾难备份作用。
现有技术中，数据复制是基于快照技术实现的。快照技术的处理过程是：主数据存储控制器周期性地对主卷进行快照，并通过快照将系统主机发送给主机的数据从主存储池的主卷复制到从卷。现有技术中如果需要对主卷中数据进行修改，则需要进行对主卷进行写时复制(Copy On Write，简称“COW”)快照或者分割镜像(Split Mirror)快照，快照启用过程中系统主机和主存储阵列的性能受到较大影响，同时在快照复制过程中系统主机发送到主卷的数据无法备份到从卷，增大了灾难时的数据丢失量。
发明内容
针对上述现有技术而提出本发明，利用本发明可以解决现有技术方案中频繁启动快照对系统主机和主存储阵列的性能影响严重的问题，以及现有快照复制过程中，系统主机发送到主卷的数据无法同步到从卷，从而导致灾难发生时数据丢失量较大的问题。
本发明实施例的第一方面提供了一种数据复制方法，包括：
获得主卷区别于从卷的差异数据对应的差异数据信息，所述差异数据信息包括所述差异数据位于主卷上的存储地址和所述差异数据的差异数据判断值，所述差异数据判断值包括所述差异数据的数据量或所述差异数据的差异数据量与所述主卷跟所述从卷之间的复制带宽之比；
确定所述差异数据判断值不小于预设的阈值，根据所述差异数据位于所述主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷；
确定所述差异数据判断值小于所述预设的阈值，对所述主卷进行快照，并根据所述快照将所述差异数据复制到所述从卷。
结合第一方面，在第一方面的第一种实现方式中，所述根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷具体包括：每轮差异数据的复制根据数据复制指针从所述主卷起始地址到所述主卷结束地址的顺序进行，并根据所述差异数据位于主卷上的存储地址，将所述差异数据从所述主卷复制到所述从卷，所述数据复制指针用于指向当前正在复制的差异数据的地址；
在所述根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷的过程中，所述主卷接收到系统主机下发的数据，如果所述数据在所述主卷的存储地址处于所述数据复制指针当前指示的地址之后，则在本轮复制中将所述数据从所述主卷复制到所述从卷，如果所述数据在所述主卷的存储地址处于所述数据复制指针当前指示的地址之前，在本轮复制中不会复制所述数据。
本发明实施例的第二方面提供了一种主数据存储控制器，包括：
处理器，存储器，通信接口和总线，其中，所述处理器、所述存储器和所述通信接口通过所述总线通信；
所述通信接口用于与主存储池以及从存储池通信，所述主存储池包括主卷，所述从存储池包括从卷；
所述存储器用于存放程序；
当所述主数据存储控制器运行时，所述处理器用于执行所述存储器存储的所述程序，以执行本发明实施例第一方面提供的数据复制方法或本发明实施例第一方面的第一种实现方式提供的数据复制方法。
本发明实施例的第三方面提供了一种数据复制控制装置，包括：
差异数据信息获取模块，用于获得主卷区别于从卷的差异数据对应的差异数据信息，所述差异数据信息包括所述差异数据位于主卷上的存储地址和所述差异数据的差异数据判断值，所述差异数据判断值包括所述差异数据的数据量或所述差异数据的差异数据量与所述主卷跟所述从卷之间的复制带宽之比；
数据复制模块，用于确定所述差异数据判断值不小于预设阈值时，根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷；
快照复制模块，用于确定当所述差异数据判断值小于预设的阈值时，对所述主卷进行快照，并通过所述快照将所述差异数据复制到所述从卷。
本发明实施例的第四方面提供了一种数据复制系统，包括：如本发明实施例的第二方面提供的主数据存储控制器、主存储池、从存储池，所述主存储池包括主卷，所述从存储池包括从卷。
通过以上提供的实施例，主卷区别于从卷的差异数据从主卷复制到从卷的过程中，直到差异数据判断值降低至小于阈值之前都并未对主卷进行快照，相对于现有的频繁对主卷进行快照的技术方案，明显地降低了频繁启用快照对于系统主机和主存储阵列的性能影响，同时本发明实施例在直接复制差异数据过程中，能够复制主机发送到主卷的数据至从卷，减少了灾难时的数据丢失量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作以简单地介绍，显而易见的，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所应用的数据复制系统架构示意图；
图2为本发明实施例所应用的数据复制方法流程示意图；
图3a与图3b为本发明实施例所应用的另一数据复制方法流程示意图；
图4为本发明实施例所应用的设备实施例一的组成结构示意图；
图5为本发明实施例所应用的装置实施例二的组成结构示意图；
图6为本发明实施例所应用的系统实施例的组成结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据复制方法、装置和系统。如图1所示，数据复制系统包含系统主机，主存储阵列，从存储阵列。其中，系统主机与主存储阵列建立通信连接，主存储阵列与从存储阵列建立通信连接，系统主机发送给主存储阵列的数据存储于主存储池内的主卷，主卷中数据的备份复制数据存储于从存储池的从卷，主存储池和从存储池还分别设有主卷快照卷和从卷快照卷，分别用于存储主卷和从卷的快照数据。主存储阵列中还包括对主存储池中存储的数据进行控制的主数据存储控制器，从存储阵列中还包括对从存储池中存储的数据进行控制的从数据存储控制器。
具体的，系统主机发送至主存储阵列的数据将会被存储在主卷上，主数据存储控制器将记录上述数据在主卷上的存储地址、上述数据的数据量等上述数据在主卷上的存储信息。同时，主数据存储控制器执行预设的数据复制策略，并根据主数据存储控制器中记录的上述数据在主卷的存储数据，将上述数据从主存储池复制到从卷，复制过程中由于启动主卷快照形成的快照数据存储在主卷快照卷中。从数据存储控制器将记录从主存储池复制至从卷的数据在从卷上的存储信息，从卷接收主存储池复制至从卷的数据的过程中，启动从卷快照形成的快照数据存储在从卷快照卷中。
基于上述内容，本发明的实施例提供一种数据复制方法、装置以及系统。
方法实施例一
本发明方法实施例一提供一种数据复制方法，流程图如图2所示，包括：
步骤201：获得主卷区别于从卷的差异数据对应的差异数据信息，差异数据信息包括差异数据位于主卷上的存储地址和差异数据的差异数据判断值，差异数据判断值包括差异数据的数据量或差异数据的差异数据量与主卷跟从卷之间的复制带宽之比；
其中，主数据存储控制器根据其记录的系统主机发送至主卷的数据信息以及主卷复制至从卷的数据信息，获得主卷区别于从卷的差异数据的差异数据信息。上述差异数据信息包括差异数据位于主卷上的存储地址和差异数据的差异数据判断值。上述差异数据判断值包括差异数据的数据量，同时如果主数据存储控制器记录了主卷跟从卷之间的复制带宽，结合上述差异数据的数据量，可得出差异数据从主卷复制到从卷所需要的时间，即上述差异数据的数据量与主卷跟从卷之间的复制带宽之比，该比值也能够作为差异数据判断值，上述复制带宽为主卷与从卷之间进行数据复制时使用的通信带宽。
步骤202：确定差异数据判断值不小于预设的阈值，根据差异数据位于主卷上的存储地址将差异数据从主卷复制到从卷。
其中，预设的阈值指的是步骤201中的差异数据判断值所对应的阈值，即如果步骤201中选择差异数据的数据量作为差异数据判断值，则上述预设的阈值为一个数据量，如果步骤201中选择差异数据的差异数据量与主卷跟从卷之间的复制带宽之比作为差异数据判断值时，则上述预设的阈值为一个比值。当主数据存储控制器确定上述差异数据判断值大于等于上述预设的阈值后，根据差异数据位于主卷上的存储地址，将差异数据从主卷复制到从卷。复制过程中，主数据存储控制器记录从主卷复制至从卷的差异数据的差异数据信息，同时如果复制过程中系统主机有数据发送至主卷，主数据存储控制器也将记录系统主机发送至主卷的数据所对应的数据信息，该数据信息包括复制过程中系统主机发送至主卷的数据对应的数据量和系统主机发送至主卷的数据在主卷上的存储位置，使得主数据存储控制器能够在复制过程中更新主卷区别于从卷的差异数据的差异数据信息。
步骤203：确定所述差异数据判断值小于预设的阈值，对所述主卷进行快照，并根据所述快照将所述差异数据复制到所述从卷。
其中，主数据存储控制器确定上述差异数据判断值小于上述预设的阈值后，对上述主卷进行快照，上述快照可以为写时复制快照或分割镜像快照，根据快照将差异数据复制到从卷。
其中对主卷进行写时复制快照的过程为：写时复制快照建立时，在主卷快照卷中建立一个映射表和一个资源卷，映射表中记录的指针指向主卷的数据块，其中在映射表中记录的指针中包括指向差异数据的指针。写时复制快照存在期间，如果系统主机发送数据至主卷，则将主卷中分配给上述数据的存储空间中所存储的原主卷数据复制至资源卷，之后将上述数据存储至主卷中被分配的存储空间中，并且映射表中记录的指向主卷上存储的原主卷数据的指针改为指向复制至资源卷上存储的原主卷数据。写时复制快照存在期间，映射表中记录的指向差异数据的指针无论复制过程中是否有数据存储至主卷上存储差异数据的存储空间中，都能保证指向写时复制快照建立时指向的差异数据，并通过映射表中记录的指向差异数据的指针将差异数据复制到从卷，当写时复制快照建立时的差异数据全部从主卷复制至从卷时，取消写时复制快照。
其中对主卷进行分割镜像快照为：分割镜像快照建立时，将主卷数据复制至主卷快照卷中，则主卷区别于从卷的差异数据转换成了主卷快照卷区别于从卷的差异数据，并将主卷快照卷区别于从卷的差异数据从主卷快照卷复制至从卷。分割镜像快照存在期间，如果系统主机发送数据至主卷，则将上述数据直接存储在主卷中，当分割镜像快照建立时的差异数据全部从主卷快照卷复制至从卷时，取消分割镜像快照。
本方法实施例中，当差异数据判断值大于等于预设的阈值时，主数据存储控制器直接将差异数据从主卷复制到从卷中，大幅减少了主卷快照的启动次数，降低了频繁启用快照对于系统主机和主存储阵列的性能影响。
方法实施例二
本发明方法实施例二中，在本发明方法实施例一的基础上，在确定差异数据判断值和预设的阈值之间的大小关系之前，即步骤202中的确定差异数据判断值大于等于预设的阈值或步骤203中的确定差异数据判断值小于预设的阈值之前，对从卷进行快照，上述快照可以为写时复制快照或分割镜像快照。在主卷快照启动时的差异数据全部复制到从卷后，即步骤203中根据快照将差异数据复制到从卷后，取消从卷快照。
本方法实施例中，差异数据从主卷复制到从卷之前对从卷进行快照，直到主卷快照启动时的差异数据全部复制到从卷后取消从卷快照，保证了从卷在接收差异数据的过程中，从卷上的数据可以随时回滚至从卷快照启动时刻的状态。
方法实施例三
本发明方法实施例三中，在方法实施例一的基础上，进一步的，在方法实施例一中的步骤202中的根据差异数据位于主卷上的存储地址将差异数据从主卷复制到从卷具体包括：每轮差异数据的复制根据数据复制指针从指向主卷起始地址到指向主卷结束地址的顺序进行，如图3a中，数据复制指针从A1到A5的顺序运行并指向当前正在复制的差异数据的地址，并根据差异数据位于主卷上的存储地址，将差异数据从主卷复制到从卷。
差异数据从主卷复制到从卷期间，同时系统主机有数据发送到主卷中，如果系统主机发送的数据在主卷的存储地址处于当前数据复制指针指向的地址之后，如图3a所示，系统主机发送的数据存储于主卷中A4位置，而当前数据复制指针指向A3位置，则本轮复制将会复制上述系统主机发送的数据；如果系统主机发送的数据在主卷的存储地址处于当前数据复制指针指向的地址之前，如图3b所示，系统主机发送的数据存储于主卷中A2位置，而当前数据复制指针指向A3位置，则本轮复制不会复制上述系统主机发送的数据，上述系统主机发送的数据存储在A2后，并且将在下一轮差异数据复制过程中被复制到从卷中。
本发明设备实施例一提供一种主数据存储控制器，如图4所示，主数据存储控制器至少包括：处理器401，存储器402，通信接口403和总线404，其中，处理器401、存储器402和通信接口403通过总线404通信。
存储器402用于存放程序。具体的，程序中可以包括程序代码，所述程序代码包括计算机执行指令。所述存储器402可以为高速RAM存储器，也可以为非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器401用于执行存储器402存储的执行指令，可能为单核或多核中央处理单元(Central Processing Unit，CPU)，或者为特定集成电路(Application SpecificIntegrated Circuit，ASIC)，或者为被配置成实施本发明实施例的一个或多个集成电路。
通信接口403用于与主存储池以及从存储池通信，主存储池包括主卷，从存储池包括从卷。
当控制器运行时，处理器401运行程序，以执行上述方法实施例一、方法实施例二和方法实施例三中之任一。
与上述本发明方法实施例对应，本发明装置实施例二提供了一种数据复制控制装置，如图5所示，所述装置500包括：
差异数据信息获取模块501，用于获得主卷区别于从卷的差异数据对应的差异数据信息，差异数据信息包括差异数据位于主卷上的存储地址和差异数据的差异数据判断值，差异数据判断值包括差异数据的数据量或差异数据的差异数据量与主卷跟从卷之间的复制带宽之比；
数据复制模块502，用于确定差异数据判断值不小于预设阈值时，根据差异数据位于主卷上的存储地址将差异数据从主卷复制到从卷；
快照复制模块503，用于确定当差异数据判断值小于预设的阈值时，对主卷进行快照，并通过快照将差异数据复制到从卷。
本发明还提供了一种数据复制系统的实施例，该系统600包括：如前述装置实施例中提供的主数据存储控制器601、主存储池602、从存储池603，主存储池602包括主卷6021，从存储池603包括从卷6031。主数据存储控制器601与主存储池602之间建立通信，主存储池602与从存储池603之间建立通信。
本发明实施例还提供一种计算机可读介质，包含计算机执行指令，所述计算机执行指令用于控制器执行本发明任一方法实施例所述的方法。
需要说明的是：对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(Disk)和碟(Disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种数据复制方法，其特征在于，包括：
获得主卷区别于从卷的差异数据对应的差异数据信息，其中，所述差异数据信息包括所述差异数据位于主卷上的存储地址和所述差异数据的差异数据判断值，所述差异数据判断值包括所述差异数据的数据量或所述差异数据的差异数据量与所述主卷跟所述从卷之间的复制带宽之比；
确定所述差异数据判断值不小于预设的阈值，根据所述差异数据位于所述主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷；
其中，在将所述差异数据从所述主卷复制到所述从卷时，更新所述差异数据信息，其中，通过记录从主卷复制至从卷的差异数据的差异数据信息，及主机发送至主卷的数据所对应的数据信息更新所述差异数据信息；
确定所述差异数据判断值小于所述预设的阈值，对所述主卷进行快照，并根据所述快照将所述差异数据复制到所述从卷。
2.根据权利要求1所述的数据复制方法，其特征在于，包括：
所述根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷具体包括：每轮差异数据的复制根据数据复制指针从所述主卷起始地址到所述主卷结束地址的顺序进行，并根据所述差异数据位于主卷上的存储地址，将所述差异数据从所述主卷复制到所述从卷，所述数据复制指针用于指向当前正在复制的差异数据的地址；
在所述根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷的过程中，所述主卷接收到系统主机发送的数据，如果所述数据在所述主卷的存储地址处于所述数据复制指针当前指示的地址之后，则在本轮复制中将所述数据从所述主卷复制到所述从卷，如果所述数据在所述主卷的存储地址处于所述数据复制指针当前指示的地址之前，在本轮复制中不会复制所述数据。
3.一种主数据存储控制器，其特征在于，所述主数据存储控制器包括：
处理器，存储器，通信接口和总线，其中，所述处理器、所述存储器和所述通信接口通过所述总线通信；
所述通信接口用于与主存储池以及从存储池通信，所述主存储池包括主卷，所述从存储池包括从卷；
所述存储器用于存放程序；
当所述主数据存储控制器运行时，所述处理器用于执行所述存储器存储的所述程序，以执行所述权利要求1-2任一所述的方法。
4.一种数据复制控制装置，其特征在于，包括：
差异数据信息获取模块，用于获得主卷区别于从卷的差异数据对应的差异数据信息，其中，所述差异数据信息包括所述差异数据位于主卷上的存储地址和所述差异数据的差异数据判断值，所述差异数据判断值包括所述差异数据的数据量或所述差异数据的差异数据量与所述主卷跟所述从卷之间的复制带宽之比；
数据复制模块，用于确定所述差异数据判断值不小于预设阈值时，根据所述差异数据位于主卷上的存储地址将所述差异数据从所述主卷复制到所述从卷；
其中，在将所述差异数据从所述主卷复制到所述从卷时，更新所述差异数据信息，其中，通过记录从主卷复制至从卷的差异数据的差异数据信息，及主机发送至主卷的数据所对应的数据信息更新所述差异数据信息；
快照复制模块，用于确定当所述差异数据判断值小于预设的阈值时，对所述主卷进行快照，并通过所述快照将所述差异数据复制到所述从卷。
5.一种数据复制系统，其特征在于，所述系统包括：如权利要求3所述的主数据存储控制器、主存储池、从存储池，所述主存储池包括主卷，所述从存储池包括从卷。
CN201480080641.0A 2014-07-15 2014-07-15 一种数据复制方法、装置以及系统 Active CN106537353B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/082229 WO2016008094A1 (zh) 2014-07-15 2014-07-15 一种数据复制方法、装置以及系统

Publications (2)

Publication Number Publication Date
CN106537353A CN106537353A (zh) 2017-03-22
CN106537353B true CN106537353B (zh) 2019-10-18

Family

ID=55077798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480080641.0A Active CN106537353B (zh) 2014-07-15 2014-07-15 一种数据复制方法、装置以及系统

Country Status (5)

Country Link
US (3) US11093335B2 (zh)
EP (1) EP3163447B1 (zh)
JP (1) JP6455898B2 (zh)
CN (1) CN106537353B (zh)
WO (1) WO2016008094A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733514B (zh) * 2018-05-24 2022-07-08 郑州云海信息技术有限公司 一种异构存储间快照实现的方法、系统及设备
CN111435925B (zh) * 2019-01-11 2023-09-26 阿里巴巴集团控股有限公司 快照数据传输方法及装置
CN110704239B (zh) * 2019-09-03 2022-05-27 杭州宏杉科技股份有限公司 数据复制方法、装置、电子设备
US11005924B1 (en) * 2020-04-01 2021-05-11 Netapp, Inc. Disparity of quality of service (QoS) settings of volumes across a cluster
US11140219B1 (en) 2020-04-07 2021-10-05 Netapp, Inc. Quality of service (QoS) setting recommendations for volumes across a cluster
US11436251B2 (en) * 2020-10-02 2022-09-06 EMC IP Holding Company LLC Data size based replication
US11693563B2 (en) 2021-04-22 2023-07-04 Netapp, Inc. Automated tuning of a quality of service setting for a distributed storage system based on internal monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241623A (ja) * 2006-03-08 2007-09-20 Nikon Corp 電子機器およびデータ転送プログラム
CN101266565A (zh) * 2008-04-18 2008-09-17 华为技术有限公司 一种数据备份的方法和装置
US8250033B1 (en) * 2008-09-29 2012-08-21 Emc Corporation Replication of a data set using differential snapshots
CN103617096A (zh) * 2013-11-04 2014-03-05 华为技术有限公司 一种存储数据的复制方法、设备及系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835953A (en) * 1994-10-13 1998-11-10 Vinca Corporation Backup system that takes a snapshot of the locations in a mass storage device that has been identified for updating prior to updating
JP2002259062A (ja) * 2001-02-28 2002-09-13 Hitachi Ltd 記憶装置システム及び記憶装置システムにおけるデータの複写方法
US6983352B2 (en) * 2003-06-19 2006-01-03 International Business Machines Corporation System and method for point in time backups
US7231502B2 (en) * 2004-02-04 2007-06-12 Falcon Stor Software, Inc. Method and system for storing data
JP4790283B2 (ja) 2005-02-22 2011-10-12 株式会社日立製作所 ストレージサブシステム及びストレージシステム
JP2005275494A (ja) * 2004-03-23 2005-10-06 Hitachi Ltd ストレージシステム及びストレージシステムのリモートコピー方法
CN100359476C (zh) * 2004-06-03 2008-01-02 华为技术有限公司 一种快照备份的方法
JP4733431B2 (ja) * 2005-06-01 2011-07-27 株式会社日立製作所 リモートコピーの初期コピーシステムおよび初期コピー方法ならびに記憶装置
JP4993913B2 (ja) * 2006-01-13 2012-08-08 株式会社日立製作所 記憶制御装置及びそのデータ管理方法
JP2007334913A (ja) * 2007-08-16 2007-12-27 Hitachi Ltd 記憶装置システム及び記憶装置システムにおけるデータの複写方法
JP2009157471A (ja) 2007-12-25 2009-07-16 Hitachi Ltd ファイル共有システム及びファイル共有システムの設定方法
CN101241456B (zh) * 2008-02-28 2011-07-06 成都市华为赛门铁克科技有限公司 一种数据保护方法和装置
JP5244430B2 (ja) * 2008-03-21 2013-07-24 株式会社日立製作所 ストレージ装置及びその制御方法
JP2011034164A (ja) 2009-07-30 2011-02-17 Hitachi Ltd リモートコピーシステム及びリモートコピー制御方法
US8812436B2 (en) * 2010-05-04 2014-08-19 Symantec Corporation Schedule based data lifecycle management
JP5188538B2 (ja) * 2010-05-27 2013-04-24 株式会社日立製作所 計算機システム及びリストア方法
US9298563B2 (en) * 2010-06-01 2016-03-29 Hewlett Packard Enterprise Development Lp Changing a number of disk agents to backup objects to a storage device
US8386850B2 (en) * 2010-09-29 2013-02-26 Sepaton, Inc. System health monitor
US8561074B2 (en) * 2010-11-19 2013-10-15 Hewlett-Packard Development Company, L.P. Enhanced backup job scheduling
US8495019B2 (en) * 2011-03-08 2013-07-23 Ca, Inc. System and method for providing assured recovery and replication
WO2012176307A1 (ja) * 2011-06-23 2012-12-27 株式会社日立製作所 ストレージ管理システム及びストレージ管理方法
JP5977011B2 (ja) * 2011-09-29 2016-08-24 富士通株式会社 ストレージ装置、制御装置およびストレージ装置制御方法
US20130085995A1 (en) * 2011-09-29 2013-04-04 International Business Machines Corporation Managing back up operations for data
US8706962B2 (en) * 2012-01-27 2014-04-22 International Business Machines Corporation Multi-tier storage system configuration adviser
US9558783B2 (en) * 2012-05-21 2017-01-31 Hewlett Packard Enterprises Development LP System and method for displaying tape drive utilization and performance data
CN103970585B (zh) * 2013-01-31 2017-10-27 新华三技术有限公司 创建虚拟机的方法及装置
US11238009B1 (en) 2013-03-13 2022-02-01 Veritas Technologies Llc Techniques for automated policy analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241623A (ja) * 2006-03-08 2007-09-20 Nikon Corp 電子機器およびデータ転送プログラム
CN101266565A (zh) * 2008-04-18 2008-09-17 华为技术有限公司 一种数据备份的方法和装置
US8250033B1 (en) * 2008-09-29 2012-08-21 Emc Corporation Replication of a data set using differential snapshots
CN103617096A (zh) * 2013-11-04 2014-03-05 华为技术有限公司 一种存储数据的复制方法、设备及系统

Also Published As

Publication number Publication date
US11093335B2 (en) 2021-08-17
JP6455898B2 (ja) 2019-01-23
US20170132085A1 (en) 2017-05-11
JP2017521786A (ja) 2017-08-03
EP3163447A4 (en) 2017-05-24
EP3163447A1 (en) 2017-05-03
CN106537353A (zh) 2017-03-22
EP3163447B1 (en) 2019-11-06
US20210349784A1 (en) 2021-11-11
WO2016008094A1 (zh) 2016-01-21
US11734119B2 (en) 2023-08-22
US20220100609A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN106537353B (zh) 一种数据复制方法、装置以及系统
AU2015410318B2 (en) Data write method, apparatus, and system
EP3185125B1 (en) Data backup method, system, node and computer storage media
CN104993940A (zh) 一种减少主备节点故障切换过程中数据丢失的方法和装置
CN108932338A (zh) 数据更新方法、装置、设备和介质
CN111880956B (zh) 一种数据同步方法和装置
US20210320977A1 (en) Method and apparatus for implementing data consistency, server, and terminal
CN107329859B (zh) 一种数据保护方法及存储设备
CN106775472A (zh) 一种控制器缓存方法、存储控制器及多控制器存储系统
CN110780816A (zh) 一种数据同步方法、装置及介质
US8595430B2 (en) Managing a virtual tape library domain and providing ownership of scratch erased volumes to VTL nodes
CN105988901A (zh) 数据复制方法及存储系统
CN109298977A (zh) 一种虚拟机业务快速恢复方法、系统、装置及存储介质
CN107391312B (zh) 数据云备份方法及系统
CN107621994B (zh) 一种数据快照创建的方法及装置
CN112988880B (zh) 数据同步方法、装置、电子设备及计算机存储介质
CN102629223A (zh) 一种数据修复方法及装置
US8560789B2 (en) Disk apparatus, data replicating method onto disk apparatus and program recording medium
US20180217906A1 (en) Method For Optimizing Reconstruction Of Data For A Hybrid Object Storage Device
CN107404511B (zh) 集群中服务器的替换方法及设备
CN112527561B (zh) 基于物联网云存储的数据备份方法及装置
CN111506254B (zh) 分布式存储系统及其管理方法、装置
CN108664353A (zh) 数据恢复的方法、装置及副本管理服务器
CN107526656B (zh) 一种云复原方法及装置
CN112395263B (zh) 一种osd的数据恢复方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant