CN111124268B - 数据复制方法、装置、系统及电子设备 - Google Patents

Abstract

本发明实施例提供一种数据复制方法、装置、系统及电子设备，其中，方法包括：获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；执行所述第二复制任务。本发明实施例的方案，能够在跨区域带宽有限的条件下，通过对复制任务进行合并处理，实现文件数据的快速复制。

Description

数据复制方法、装置、系统及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据复制方法、装置、系统及电子设备。

背景技术

随着互联网的持续发展，很多企业产生的数据已经超过单个集群的存储上限，或单个集群无法满足数据处理的需求，这时候需要将这些数据按照业务单元拆分并存储在多个集群中。业务单元之间往往有依赖关系，因此需要经常跨集群异地读取数据。随着业务数量越来越多，跨集群异地读取数据的业务数量也会越来越多，导致带宽资源的浪费愈加严重。为节约带宽资源，业界普遍采取的方式是将每一个集群上存储的业务数据在其他集群中保留一个副本，这样其他集群中的业务在需要非本集群产生的业务数据时就可以在集群内直接读取到这些数据。这需要将用户每次上传的数据在各个集群之前进行复制，该数据复制过程也称跨区域复制。

用户在云存储服务开通跨区域复制后，上传文件到对象存储服务(ObjectStorage Service，OSS)的一个Bucket(存储空间)，并且要求OSS帮助用户自动将数据复制到另一个Bucket。数据复制的目标Bucket通常是位于另外一个区域(Region)。通常这种数据复制可以帮助用户做灾备。

现有技术中，OSS将文件数据从一个Bucket复制到另一个Bucket的复制过程如下：用户每次上传文件都会生成一个复制任务，OSS将复制任务根据对应的文件名，hash到不同的处理节点(worker)上执行。每个worker负责执行所收到的复制任务，并将同一个文件的复制任务串行执行，从而将复制任务对应的文件数据复制到远端集群。但是，上述复制过程存在如下缺陷：

每次上传文件都会产生一个复制任务，同一个文件在短时间内被多次上传会导致复制任务数目急剧增长，增加了复制资源的承载压力；复制任务必须串行执行，否则会产生数据一致性的问题；不同客户的复制任务并没有隔离，会互相影响，难以保障给予用户的恢复点目标(RecoveryPoint Objective，RPO)承诺；集群之间的指定复制带宽出现问题时，用户的数据复制延迟会出现不可控的延长。

发明内容

本发明提供了一种数据复制方法、装置、系统及电子设备，能够在跨区域带宽有限的条件下，通过对复制任务进行合并处理，实现文件数据的快速复制。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种数据复制方法，包括：

获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；

对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；

执行所述第二复制任务。

第二方面，提供了一种数据复制装置，包括：

任务获取模块，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；

任务合并模块，用于对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；

任务执行模块，用于执行所述第二复制任务。

第三方面，提供了一种数据复制系统，包括：调度器、处理节点和资源管理器；

所述调度器，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；通过从所述资源管理器获取的复制资源，将所述第二复制任务分发到所述复制资源对应的所述处理节点，以执行所述第二复制任务，所述复制资源为所述资源管理器根据所述第一存储空间的复制优先级进行分配。

第四方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行所述的数据复制方法。

本发明提供了一种数据复制方法、装置、系统及电子设备，通过在获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务后，对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；然后以第二复制任务作为最终的复制任务予以执行。本方案通过对第一复制任务进行合并，减少了最终待执行的复制任务的任务数量，提高了复制任务的执行效率，降低了对复制资源的使用量，实现文件数据的快速复制。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的数据复制系统结构图；

图2为本发明实施例的数据复制方法流程图一；

图3为本发明实施例的数据复制方法流程图二；

图4为本发明实施例的数据复制方法流程图三；

图5为本发明实施例的数据复制方法流程图四；

图6为本发明实施例的数据复制方法流程图五；

图7为本发明实施例的数据复制方法流程图六；

图8为本发明实施例的资源调整方法流程；

图9为本发明实施例的限制写入速度方法流程；

图10为本发明实施例的数据复制装置结构图一；

图11为本发明实施例的数据复制装置结构图二；

图12为本发明实施例的数据复制装置结构图三；

图13为本发明实施例的数据复制装置结构图四；

图14为本发明实施例的数据复制装置结构图五；

图15为本发明实施例的电子设备的结构示意。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例改善了现有技术在文件数据复制过程中，当用户集中性多次上传文件，且每次上传操作都会产生一个复制任务时所导致的复制任务数量急剧增加，从而造成文件数据的复制速度下降，无法保证RPO承诺的缺陷，其核心思想是，在获取到用户从第一存储空间向第二存储空间复制数据的多个复制任务后，先对这些复制任务进行合并，从而减少任务数量，然后以合并后的复制任务作为最终要执行的复制任务。由于在执行复制任务过程中，一个复制任务对应的待传输的文件数据是通过一次数据传输过程(包括传输配置、数据通道连接、数据打包和传输数据等过程)从第一存储空间向第二存储空间传输，因此合并后的复制任务可以减少文件数据的传输次数，提高传输效率。

另外，在合并复制任务时，针对同一文件的多个版本对应的多个第一复制任务，可以该文件最新版本对应的第一复制任务作为合并后的第二复制任务，从而减少需要传输的文件数据；针对不同文件对应的多个第一复制任务，可将全部第一复制任务的任务内容聚合作为合并后的第二复制任务的任务内容，通过减少数据传输的次数来提高数据文件的传输速度。

基于上述数据复制的方案思想，图1为本发明实施例提供的数据复制系统结构示意图。如图1所示，该系统包括调度器110(可为多个，图中以示出的1个调度器为例，且对其内部结构进行详细标注)、处理节点120(可为多个，图中以示出的2个处理节点为例)和资源管理器130，每个调度器110可以对应一个用户的从第一存储空间向第二存储空间复制数据的同步边，即每个调度器110分别专属于一个用户从指定的第一存储空间向第二存储的所有复制任务的调度和执行。处理节点120上承载执行复制任务的资源(主要包括带宽资源)。资源管理器130用于管理处理节点120的工作状态和其上的复制资源，并分配给调度器110使用。具体地：

调度器110，用于获取相应用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；通过从资源管理器130获取的复制资源，将第二复制任务分发到复制资源对应的处理节点120，以执行第二复制任务，该复制资源为资源管理器130根据第一存储空间的复制优先级进行分配。

其中，调度器110在对m个第一复制任务进行合并得到n个第二复制任务时，可以将复制任按对应的同一文件的多个版本进行合并，也可以将不同文件对应的复制任务的内容进行聚合完成任务合并。这两种方式都可以有效减少复制任务的数量，从而提高文件数据的复制效率。

下面通过多个实施例来进一步说明本申请的技术方案。

实施例一

基于上述数据复制的方案思想，如图2所示，其为本发明实施例示出的数据复制方法流程图一，该方法的执行主体可以为部署在图1中的调度器110。如图2所示，该数据复制方法包括如下步骤：

S210，获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务。

本方案在调度器部署方面，针对每个用户从指定的一个原存储空间(第一存储空间)向目标存储空间(第二存储空间)复制数据的同步边分别设置一个调度器，且这些调度器专属对相应的同步边上的复制任务进行调度。比如，A用户在源端设置有一个存储空间，在远端设置有一个存储空间，这两个存储空间之间的一个方向的数据同步关系被称为一个同步边。源端和远端为不同的两个集群。当然，源端和远端上也可能设置有其他用户的存储空间，并形成相应的同步边，每个同步边上的复制任务也会通过对应的专属调度器对其上的复制任务进行调度。

用户每次向第一存储空间上传文件后，调度器都会获取针对当次操作产生的一个复制任务，即第一复制任务，该第一复制任务用于将当次用户操作产生的更新后的文件数据同步复制到第二存储空间。

S220，对m个第一复制任务进行合并，得到n个第二复制任务，n小于m。

本实施例中，调度器在获取到第一任务后，不是直接逐一执行这些第一复制任务，而是对批量获取的m个第一复制任务进行合并处理。

针对同一用户从第一存储空间到第二存储空间复制数据的第一复制任务中，由于待复制的文件数据均对应同一个用户，且每个第一复制任务对应的同步边相同，因此在执行这些复制任务之前，可以对这些第一复制任务进行合并，从而减少复制任务的数量。其中，合并后的复制任务称为第二复制任务，且合并后的第二复制任务的数量n小于合并前第一复制任务的数量m。

由于在执行复制任务过程中，一个复制任务对应的待传输的文件数据是通过一次数据传输过程(包括传输配置、数据通道连接、数据打包和传输数据等过程)从指定的第一存储空间向第二存储空间传输，因此，通过执行合并后的第二复制任务可以减少文件数据的传输次数，提高传输效率。

S230，执行第二复制任务。

通过执行第二复制任务，可将第二复制任务对应的待同步的文件数据从第一存储空间复制到第二存储空间。

本发明实施例提供的数据复制方法，通过在获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务后，对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；然后以第二复制任务作为最终的复制任务予以执行。本方案通过对第一复制任务进行合并，减少了最终待执行的复制任务的任务数量，提高了复制任务的执行效率，降低了对复制资源的使用量，实现文件数据的快速复制。

实施例二

本实施例与图2所示方法的区别在于，本实施例采用了对m个第一复制任务进行合并，得到n个第二复制任务的两个优选实施方案。

首先，如图3所示，为本发明实施例的数据复制方法流程图二。如图所示，在步骤S210之后，执行如下步骤：

S221，针对同一文件的多个版本对应的多个第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的第二复制任务。

在实际应用场景中，用户可能会针对同一文件在短时间内执行多次上传以对文件执行更新操作。当用户上传更新文件不久后，又马上针对同一文件进行了更新上传，此时，系统当前存储的文件为在后上传操作对应的新版本文件，之前在先上传操作对应的旧版本文件已经不存在。如果仍按传统方式逐一执行基于这两次文件上传操作所产生的第一复制任务，那么很明显，在先产生的第一复制任已经没有了执行意义，因为相应版本的文件数据已经被在后上传操作对应的新版本的文件数据覆盖了。

鉴于这种情况的出现可能比较大，本实施例在批量获取到多个第一任务后，可以先判断这些第一任务中，是否存在针对同一文件的多个版本对应的多个第一复制任务。如果存在，则从多个文件版本对应的第一任务中提取出最新文件版本对应的第一复制任务作为合并后的第二复制任务，从而减少不必要的文件数据被从第一存储空间复制到第二存储空间，减少对复制资源的浪费，同时还可以提高文件数据的传输效率。

其次，如图4所示，为本发明实施例的数据复制方法流程图三。如图所示，在步骤S210之后，执行如下步骤：

S222，针对不同文件对应的多个第一复制任务，将全部第一复制任务的任务内容聚合作为合并后的第二复制任务的任务内容。

在实际应用场景中，用户可能会针对不同文件在短时间内执行多次上传以对文件执行更新操作，且相应产生的第一复制任务的任务文件相对较小。此时，调度器可以针对这些第一复制任务，将其任务内容聚合作为合并后的第二复制任务的任务内容，从而减少复制任务的数量，在后续执行第二复制任务时，一次性执行多个所属不同文件的文件数据的同步复制过程。

在上述步骤S221和S222之后，可继续执行步骤S230的内容。

该实施例在图2所示实施例基础上，进一步地，针对同一文件的多个版本对应的多个第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的第二复制任务，从而通过减少待复制的文件数据的方式，减少需要执行的复制任务的数量，提高文件数据的复制速度；针对不同文件对应的多个第一复制任务，将全部第一复制任务的任务内容聚合作为合并后的第二复制任务的任务内容，从而通过聚合复制任务的任务内容的方式，减少需要执行的复制任务的数量，提高文件数据的复制速度。

实施例三

如图5所示，为本发明实施例的数据复制方法流程图四。本实施例与图2所示方法的区别在于，本实施例采用了获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务的一个优选实施方案。如图5所示，在本实施例的最开始，执行如下步骤：

S510，获取用户向第一存储空间上传文件时所形成的多个日志记录，该日志记录中记录有该日志记录所对应的文件版本。

用户每次向第一存储空间上传文件时，都会在OSS里留下一条日志记录(binlog)，且binlog里记录有当前日志记录对应的文件版本。

S520，对日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较。

其中，所谓的当前已复制完成的同一文件指当前位于第二存储空间的对应同一文件的最新文件版本。

S530，如果第一文件版本晚于第二文件版本，则基于相应的日志记录形成文件对应的一个第一复制任务；否则，丢弃相应的日志记录。

调度器在基于日志记录生成第一复制任务时，会对binlog中记录的文件版本，即第一文件版本与当前文件系统中的已复制完成的位于第二存储空间的同一文件的当前版本，即第二文件版本做比较。如果第一文件版本晚于第二文件版本，则确定基于相应的日志记录形成文件对应的一个第一复制任务。如果第一文件版本不晚于第二文件版本，则表明采用第一文件版本对应的日志记录生成第一复制任务的这个事件已经过期，相应的第一复制任务如果形成也判定为过期任务。对于过期事件可直接丢弃该事件涉及的日志记录，不再执行基于该日志记录形成第一复制任务的处理过程，并将该日志记录直接丢弃。

由此看来，最终生成的第一复制任务均是基于比第二存储空间中同一文件的已存在版本更新的文件版本对应的日志记录所生成，从而保证第一复制任务对应的待复制的文件数据均是较新版本的文件数据。

在步骤S530之后，可继续执行步骤S220～S230的内容。

进一步地，为了方便掌握已执行的日志记录的情况，可以针对每个日志记录预先设置标识号，如日志ID，且该标识号按日志记录产生的时间顺序递增。相应的，如图6所示，在执行第二复制任务之后还包括：

S610，记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行数据复制方法的调度器被异常重启后，使调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成第一复制任务。

其中，已被处理的日志记录包括：基于该日志记录形成的第一复制任务已被执行，或者已判断基于该日志记录生成第一复制任务的这个事件已判定为过期事件，相应的日志记录已被丢弃。

每当调度器执行完一批第二复制任务后，便更新已被处理的日志记录的标识号进度，该标识号进度以前的所有小于相应的日志ID的日志记录默认为被全部执行完成。当调度器因为宕机等原因需要重新启动时，可以从该标识号进度开始重新基于后续标识号对应的日志记录形成第一复制任务。由于日志记录中记录有文件的版本，因此本方案中的调度器不必遵循日志记录的串行顺序去生成和执行复制任务。基于日志记录中预设的标识号，在根据日志记录形成第一复制任务时，即使日志记录的标识号在一定程度上存在乱序也不会对最终的复制过程造成影响，不会出现数据的不一致性问题。

该实施例在图2所示实施例基础上，进一步地，通过获取用户向第一存储空间上传文件时所形成的多个日志记录，该日志记录中记录有该日志记录所对应的文件版本；对日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；如果第一文件版本晚于第二文件版本，则基于相应的日志记录形成文件对应的一个第一复制任务；否则，丢弃相应的日志记录，从而保证第一复制任务对应的待复制的文件数据均是较新版本的文件数据。

另外，通过记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行数据复制方法的调度器被异常重启后，使调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成第一复制任务。在根据日志记录形成第一复制任务时，由于日志记录中记录有文件的版本，因此本方案中的调度器不必遵循日志记录的串行顺序去生成和执行复制任务。基于日志记录中预设的标识号，在根据日志记录形成第一复制任务时，即使日志记录的标识号在一定程度上存在乱序也不会对最终的复制过程造成影响，不会出现数据的不一致性问题。

实施例四

如图7所示，为本发明实施例的数据复制方法流程图六。本实施例与图2所示方法的区别在于，本实施例采用了执行第二复制任务的一个优选实施方案。如图7所示，在本实施例的步骤S220之后，执行如下步骤：

S710，通过从资源管理器获取的复制资源，将第二复制任务分发到复制资源对应的处理节点，以执行第二复制任务，复制资源为资源管理器根据第一存储空间的复制优先级进行分配。

具体地，在用户开启OSS，并启动存储空间同步复制功能后，OSS自动设置对应的原存储空间的复制优先级。通过资源管理器为当前原Bucket启动单独的处理相应复制任务的调度器。复制优先级可以由产品经理根据用户的数据量做调整，高优先级的Bucket有权利占用更多带宽做复制，资源管理器根据每个原Bucket的复制优先级分配相应的资源(主要是处理节点上的带宽量)下发至调度器，供调度器分配复制任务所用。

当调度器完成复制任务合并，生成第二复制任务后，可以通过资源管理器根据第一存储空间的复制优先级分配的复制资源，将第二复制任务分发到这些复制资源对应的处理节点，以执行第二复制任务。

进一步地，在调度器利用预先分配的复制资源执行第二复制任务的过程中，还可以向资源管理器灵活的额外获取和释放复制资源。如图8所示，在执行图7所示方法的过程中，还可以执行如下方法步骤：

S810，监测复制资源的使用情况。

其中，用于表征复制资源的使用情况的数据主要包括：复制资源的带宽使用率，复制资源对应的处理节点的内存、CPU、响应时间等指标参数。

S820，如果复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给第一存储空间使用的额外复制资源，并获取相应复制资源。

其中，第一阈值可以为描述复制资源使用情况的一个综合评价值，大于该第一阈值可认为，当前复制资源较为紧张。比如，复制资源的带宽使用率已经高于预设带宽使用率(如80％)，处理节点的内存、CPU、响应时间等指标参数也大于预设的资源紧张时对应的指标参数阈值。

当复制资源的使用率大于第一阈值时，调度器可向资源管理器申请增加分配给第一存储空间使用的额外复制资源，以缓解当前复制资源紧张的情况。比如，调度器可以临时向OSS申请调高第一存储空间的复制优先级，从而从资源管理器获取额外的复制资源。

S830，如果复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给第一存储空间使用的部分复制资源，并释放相应复制资源。

其中，第二阈值可以为描述复制资源使用情况的一个综合评价值，小于该第二阈值可认为，当前复制资源整体较为空闲。比如，复制资源的带宽使用率已经低于预设带宽使用率(如30％)，处理节点的内存、CPU、响应时间等指标参数也小于预设的资源空闲时对应的指标参数阈值。

当复制资源的使用率小于第二阈值时，调度器可向资源管理器申请释放分配给第一存储空间使用的部分复制资源，以使资源管理器将这部分释放的复制资源分配给其他调度器以缓解这些调度器对应的第一存储空间使用的复制资源紧张的情况。比如，调度器可以临时向OSS申请调低第一存储空间的复制优先级，从而请求资源管理器释放当前调度器可支配的部分复制资源。

另外，用于执行第二复制任务的各处理节点可以定时将本处理节点上的复制资源状况和复制任务运行状况上报到资源管理器。资源管理器会对各处理节点进行综合能力打分，并在后续向调度器分配复制资源时优先将分值较高的处理节点及其上的复制资源分配给调度器，以保证第二复制任务能够在“优质”的处理节点上执行。

该实施例在图2所示实施例基础上，进一步地，通过从资源管理器获取的复制资源，将第二复制任务分发到复制资源对应的处理节点，以执行第二复制任务，复制资源为资源管理器根据第一存储空间的复制优先级进行分配，从而根据第一存储空间的复制优先级对复制资源在调度器之间进行合理分配。

另外，通过监测复制资源的使用情况；如果复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给所述第一存储空间使用的额外复制资源，并获取相应复制资源；如果复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给第一存储空间使用的部分复制资源，并释放相应复制资源，从而使调度器可以参与整体复制资源的调配，保证第二复制能够顺利和快速的被执行。

实施例五

如图9所示，为本发明实施例的数据复制方法流程图八。本实施例与图5所示方法的区别在于，本实施例在图5所示方法的基础上，增加了对用户向第一存储空间上传文件的写入速度进行限速的拓展实施方案。如图9所示，在执行图5所示方法步骤的构成中，还可执行如下步骤：

S910，监测用户向第一存储空间上传文件时的写入速度。

S920，如果用户向第一存储空间上传文件时的写入速度大于从第一存储空间向第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对用户向第一存储空间上传文件的写入速度进行限速。

其中，上述预设复制速度为基于预先承诺给用户的恢复点目标对应的带宽得到。

具体的，用户在开启存储空间复制功能时会预先提供所需要的RPO。调度器在保证该RPO的情况下，申请复制资源，并向复制资对应的处理节点分发复制任务予以执行。同时，调度器也会基于承诺的RPO为用户设置一个从第一存储空间向第二存储空间复制数据的预设复制速度，即预设带宽量。

在用户向第一存储空间上传文件时，监测用户的写入速度。如果该写入速度大于从第一存储空间向第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对用户向第一存储空间上传文件的写入速度进行限速操作。

例如，调度器在执行数据复制过程中，可以统计出一段时间T内用户新写入到第一存储空间的数据量D，如果发现D/T大于预设带宽量，则认为用户存在过量的写入。此时，反馈到OSS的前端，对用户的写入速度进行限速。

该实施例在图5所示实施例基础上，进一步地，通过监测用户向第一存储空间上传文件时的写入速度；如果该写入速度大于从第一存储空间向第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对用户向第一存储空间上传文件的写入速度进行限速，从而在复制速度跟不上写入速度时，会及时反馈到写入端做限速。用户可以放心往OSS写文件，而不需要担心数据写入数据过快而来不及复制到远端集群。另外，本方案中，用户只需要购买自己能接受的最低写入速度，同时设置所需要的最大RPO即可，而不需要购买大量冗余带宽。

实施例六

如图10所示，为本发明实施例的数据复制装置结构图一，该数据复制装置可设置在图1所示的数据复制系统中，用于执行如图2所示的方法步骤，其包括：

任务获取模块101，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；

任务合并模块102，用于对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；

任务执行模块103，用于执行第二复制任务。

进一步地，上述任务合并模块102可具体用于，针对同一文件的多个版本对应的多个第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的第二复制任务。

进一步地，上述任务合并模块102可具体用于，针对不同文件对应的多个所述第一复制任务，将全部所述第一复制任务的任务内容聚合作为合并后的所述第二复制任务的任务内容。

进一步地，如图11所示，上述数据复制装置中，任务获取模块101可包括：

日志获取单元111，用于获取用户向第一存储空间上传文件时所形成的多个日志记录，日志记录中记录有该日志记录所对应的文件版本；

版本比较单元112，用于对日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；

任务获取单元113，用于如果第一文件版本晚于第二文件版本，则基于相应的日志记录形成文件对应的一个第一复制任务；否则，丢弃相应的所述日志记录。

进一步地，如图12所示，在图11所示的数据复制装置中还可包括：

日志记录模块121，用于记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行数据复制方法的调度器被异常重启后，使调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成第一复制任务。

进一步地，上述任务执行模块103可具体用于，

通过从资源管理器获取的复制资源，将第二复制任务分发到复制资源对应的处理节点，以执行第二复制任务，复制资源为资源管理器根据第一存储空间的复制优先级进行分配。

进一步地，如图13所示，在图10所示的数据复制装置中还可包括：

资源监测模块131，用于监测复制资源的使用情况；

资源申请模块132，用于如果复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给第一存储空间使用的额外复制资源，并获取相应复制资源；

资源释放模块133，用于如果复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给第一存储空间使用的部分复制资源，并释放相应复制资源。

进一步地，如图14所示，在图11所示的数据复制装置中还可包括：

写入速度监控模块141，用于监测用户向第一存储空间上传文件时的写入速度；

限速控制模块142，用于如果用户向第一存储空间上传文件时的写入速度大于从第一存储空间向第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对用户向第一存储空间上传文件的写入速度进行限速；

其中，预设复制速度为基于预先承诺给用户的恢复点目标对应的带宽得到。

本发明实施例提供的数据复制装置，通过在获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务后，对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；然后以第二复制任务作为最终的复制任务予以执行。本方案通过对第一复制任务进行合并，减少了最终待执行的复制任务的任务数量，提高了复制任务的执行效率，降低了对复制资源的使用量，实现文件数据的快速复制。

进一步地，针对同一文件的多个版本对应的多个第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的第二复制任务，从而通过减少待复制的文件数据的方式，减少需要执行的复制任务的数量，提高文件数据的复制速度；针对不同文件对应的多个第一复制任务，将全部第一复制任务的任务内容聚合作为合并后的第二复制任务的任务内容，从而通过聚合复制任务的任务内容的方式，减少需要执行的复制任务的数量，提高文件数据的复制速度。

进一步地，通过获取用户向原存储空间上传文件时所形成的多个日志记录，该日志记录中记录有该日志记录所对应的文件版本；对日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；如果第一文件版本晚于第二文件版本，则基于相应的日志记录形成文件对应的一个第一复制任务；否则，丢弃相应的日志记录，从而保证第一复制任务对应的待复制的文件数据均是较新版本的文件数据。

另外，通过记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行数据复制方法的调度器被异常重启后，使调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成第一复制任务。在根据日志记录形成第一复制任务时，由于日志记录中记录有文件的版本，因此本方案中的调度器不必遵循日志记录的串行顺序去生成和执行复制任务。基于日志记录中预设的标识号，在根据日志记录形成第一复制任务时，即使日志记录的标识号在一定程度上存在乱序也不会对最终的复制过程造成影响，不会出现数据的不一致性问题。

进一步地，通过从资源管理器获取的复制资源，将第二复制任务分发到复制资源对应的处理节点，以执行第二复制任务，复制资源为资源管理器根据第一存储空间的复制优先级进行分配，从而根据第一存储空间的复制优先级对复制资源在调度器之间进行合理分配。

另外，通过监测复制资源的使用情况；如果复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给所述第一存储空间使用的额外复制资源，并获取相应复制资源；如果复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给第一存储空间使用的部分复制资源，并释放相应复制资源，从而使调度器可以参与整体复制资源的调配，保证第二复制能够顺利和快速的被执行。

进一步地，通过监测用户向第一存储空间上传文件时的写入速度；如果该写入速度大于从第一存储空间向第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对用户向第一存储空间上传文件的写入速度进行限速，从而在复制速度跟不上写入速度时，会及时反馈到写入端做限速。用户可以放心往OSS写文件，而不需要担心数据写入数据过快而来不及复制到远端集群。另外，本方案中，用户只需要购买自己能接受的最低写入速度，同时设置所需要的最大RPO即可，而不需要购买大量冗余带宽。

实施例七

本实施例提供了一种数据复制系统，包括：调度器、处理节点和资源管理器；

调度器，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；对m个第一复制任务进行合并，得到n个第二复制任务，n小于m；通过从资源管理器获取的复制资源，将第二复制任务分发到复制资源对应的处理节点，以执行第二复制任务，复制资源为资源管理器根据第一存储空间的复制优先级进行分配。

在实际应用场景中，上述调度器可以为多个，每个调度器对应一个用户的从第一存储空间向第二存储空间复制数据的同步边，即每个调度器分别专属于一个用户从指定的第一存储空间向第二存储的所有复制任务的调度和执行。其中，从第一空间指向第二空间的数据复制方向称为一个同步边。调度器可以具体为实施例六中所述的任一种数据复制装置，可用于相应的执行图2至图9所示的任一种数据复制方法。

实施例八

前面实施例描述了数据复制装置的整体架构，该装置的功能可借助一种电子设备实现完成，如图15所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器151和处理器152。

存储器151，用于存储程序。

除上述程序之外，存储器151还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器151可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器152，耦合至存储器151，用于执行存储器151中的程序，所述程序运行时执行如图2至图9中任意一种数据复制方法。

上述的具体处理操作已经在前面实施例中进行了详细说明，在此不再赘述。

进一步，如图15所示，电子设备还可以包括：通信组件153、电源组件154、音频组件155、显示器156等其它组件。图15中仅示意性给出部分组件，并不意味着电子设备只包括图15所示组件。

通信组件153被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件153经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件153还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件154，为电子设备的各种组件提供电力。电源组件154可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件155被配置为输出和/或输入音频信号。例如，音频组件155包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器151或经由通信组件153发送。在一些实施例中，音频组件155还包括一个扬声器，用于输出音频信号。

显示器156包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (15)

1.一种数据复制方法，包括：

获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；

对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；

执行所述第二复制任务，

所述获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务包括：

获取所述用户向所述第一存储空间上传文件时所形成的多个日志记录，所述日志记录中记录有该日志记录所对应的文件版本；

对所述日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；

如果所述第一文件版本晚于所述第二文件版本，则基于相应的所述日志记录形成所述文件对应的一个所述第一复制任务；否则，丢弃相应的所述日志记录，

其中，每个所述日志记录设置有标识号，且该标识号按日志记录产生的时间顺序递增，所述方法还包括：

记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行所述数据复制方法的调度器被异常重启后，使所述调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成所述第一复制任务。

2.根据权利要求1所述的方法，其中，对所述m个第一复制任务进行合并，得到n个第二复制任务包括：

针对同一文件的多个版本对应的多个所述第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的所述第二复制任务。

3.根据权利要求1所述的方法，其中，对所述m个第一复制任务进行合并，得到n个第二复制任务包括：

针对不同文件对应的多个所述第一复制任务，将全部所述第一复制任务的任务内容聚合作为合并后的所述第二复制任务的任务内容。

4.根据权利要求1所述的方法，其中，所述执行所述第二复制任务包括：

通过从资源管理器获取的复制资源，将所述第二复制任务分发到所述复制资源对应的处理节点，以执行所述第二复制任务，所述复制资源为所述资源管理器根据所述第一存储空间的复制优先级进行分配。

5.根据权利要求4所述的方法，其中，所述方法还包括：

监测所述复制资源的使用情况；

如果所述复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给所述第一存储空间使用的额外复制资源，并获取相应复制资源；

如果所述复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给所述第一存储空间使用的部分复制资源，并释放相应复制资源。

6.根据权利要求1所述的方法，其中，所述方法还包括：

监测用户向所述第一存储空间上传文件时的写入速度；

如果用户向所述第一存储空间上传文件时的写入速度大于从所述第一存储空间向所述第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对所述用户向所述第一存储空间上传文件的写入速度进行限速；

其中，所述预设复制速度为基于预先承诺给用户的恢复点目标对应的带宽得到。

7.一种数据复制装置，包括：

任务获取模块，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；

任务合并模块，用于对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；

任务执行模块，用于执行所述第二复制任务，

所述任务获取模块包括：

日志获取单元，用于获取所述用户向所述第一存储空间上传文件时所形成的多个日志记录，所述日志记录中记录有该日志记录所对应的文件版本；

版本比较单元，用于对所述日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；

任务获取单元，用于如果所述第一文件版本晚于所述第二文件版本，则基于相应的所述日志记录形成所述文件对应的一个所述第一复制任务；否则，丢弃相应的所述日志记录，

其中，每个所述日志记录设置有标识号，且该标识号按日志记录产生的时间顺序递增，所述装置还包括：

日志记录模块，用于记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行所述数据复制方法的调度器被异常重启后，使所述调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成所述第一复制任务。

8.根据权利要求7所述的装置，其中，所述任务合并模块具体用于，

针对同一文件的多个版本对应的多个所述第一复制任务，以该文件最新版本对应的第一复制任务作为合并后的所述第二复制任务。

9.根据权利要求7所述的装置，其中，所述任务合并模块具体用于，

针对不同文件对应的多个所述第一复制任务，将全部所述第一复制任务的任务内容聚合作为合并后的所述第二复制任务的任务内容。

10.根据权利要求7所述的装置，其中，所述任务执行模块具体用于，

通过从资源管理器获取的复制资源，将所述第二复制任务分发到所述复制资源对应的处理节点，以执行所述第二复制任务，所述复制资源为所述资源管理器根据所述第一存储空间的复制优先级进行分配。

11.根据权利要求10所述的装置，其中，所述装置还包括：

资源监测模块，用于监测所述复制资源的使用情况；

资源申请模块，用于如果所述复制资源的使用率大于第一阈值，则向资源管理器申请增加分配给所述第一存储空间使用的额外复制资源，并获取相应复制资源；

资源释放模块，用于如果所述复制资源的使用率小于第二阈值，则向资源管理器申请释放分配给所述第一存储空间使用的部分复制资源，并释放相应复制资源。

12.根据权利要求7所述的装置，其中，所述装置还包括：

写入速度监控模块，用于监测用户向所述第一存储空间上传文件时的写入速度；

限速控制模块，用于如果用户向所述第一存储空间上传文件时的写入速度大于从所述第一存储空间向所述第二存储空间复制数据的预设复制速度，且持续时间超过预定时长，则对所述用户向所述第一存储空间上传文件的写入速度进行限速；

其中，所述预设复制速度为基于预先承诺给用户的恢复点目标对应的带宽得到。

13.一种数据复制系统，包括：调度器、处理节点和资源管理器；

所述调度器，用于获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务；对所述m个第一复制任务进行合并，得到n个第二复制任务，所述n小于所述m；通过从所述资源管理器获取的复制资源，将所述第二复制任务分发到所述复制资源对应的所述处理节点，以执行所述第二复制任务，所述复制资源为所述资源管理器根据所述第一存储空间的复制优先级进行分配，

所述获取用户从第一存储空间向第二存储空间复制数据的m个第一复制任务包括：获取所述用户向所述第一存储空间上传文件时所形成的多个日志记录，所述日志记录中记录有该日志记录所对应的文件版本；

对所述日志记录中记录的第一文件版本与当前已复制完成的同一文件的第二文件版本进行比较；

如果所述第一文件版本晚于所述第二文件版本，则基于相应的所述日志记录形成所述文件对应的一个所述第一复制任务；否则，丢弃相应的所述日志记录，

其中，每个所述日志记录设置有标识号，且该标识号按日志记录产生的时间顺序递增，所述系统还包括：

记录已被处理的日志记录的标识号进度，该标识号进度以前的标识号对应的日志记录已全部被处理；该标识号进度用于当执行所述数据复制方法的调度器被异常重启后，使所述调度器从该标识号进度开始重新基于后续标识号对应的日志记录形成所述第一复制任务。

14.根据权利要求13所述的系统，其中，所述调度器为多个，每个所述调度器对应一个用户的从第一存储空间向第二存储空间复制数据的同步边。

15.一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行权利要求1-6中任意一项权利要求所述的数据复制方法。

Images