CN107291724A - 集群数据复制方法、优先级确定方法及装置 - Google Patents

集群数据复制方法、优先级确定方法及装置 Download PDF

Info

Publication number
CN107291724A
CN107291724A CN201610195827.1A CN201610195827A CN107291724A CN 107291724 A CN107291724 A CN 107291724A CN 201610195827 A CN201610195827 A CN 201610195827A CN 107291724 A CN107291724 A CN 107291724A
Authority
CN
China
Prior art keywords
replication task
priority
data
task
replication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610195827.1A
Other languages
English (en)
Inventor
史英杰
何乐
黄俨
张�杰
张辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610195827.1A priority Critical patent/CN107291724A/zh
Priority to TW106105766A priority patent/TW201737108A/zh
Priority to PCT/CN2017/077500 priority patent/WO2017167070A1/zh
Publication of CN107291724A publication Critical patent/CN107291724A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了集群数据复制方法和装置。集群数据复制方法包括：确定需要跨集群复制数据的至少一个复制任务；计算至少一个复制任务中各复制任务的优先级；根据各复制任务的优先级，执行各复制任务。本申请可以在跨域带宽有限的条件下，对待复制数据进行合理调度，实现数据的快速复制。

Description

集群数据复制方法、优先级确定方法及装置
技术领域
本申请涉及通信技术，尤其涉及一种集群数据复制方法、优先级确定方法及装置。
背景技术
集群大大提高了单机的存储极限和处理极限。但随着互联网特别是移动互联网的持续发展，很多公司产生的数据已经达到PB甚至EB级别，并且每天新增加的数据数量也在迅速增长。当这些数据超过单个集群的存储上线，或单个集群无法满足数据处理的需求时，就需要将这些数据按照业务单元分拆并存储在多个集群中。
业务单元之间往往有依赖关系，业务A的数据存储在第一集群中，若同在第一集群中的业务B需要访问业务A的数据，则可以从第一集群内直接读取数据；若位于第二集群的业务C需要访问业务A的数据，则需要跨集群异地读取数据。若第二集群中存在多个业务需要访问业务A的数据，那么需要多次跨集群异地读取同一份数据，这会浪费集群之间的带宽资源。特别是随着业务数量越来越多，跨集群异地读取同一份数据的业务数量也会越来越多，导致带宽资源的浪费更加严重。
为节约带宽资源，业界普遍采取的方式是将业务A的数据在其它集群中保留一个副本，这样其它集群中的业务在需要业务A的数据时就可以在集群内直接读取数据。这需要将数据在各个集群之间进行复制。现有技术一般采用离线复制方式，即停止各集群的数据库操作，一次性将数据全部从一个集群复制到另一个集群，这种方式需要大量带宽资源。但是，跨域带宽是有限且很宝贵的，并且随着业务数量不断增长，需要复制的数据也会逐渐增多，所以在跨域带宽有限的条件下，离线复制方法显然已经无法满足需求，因此急需一种新的数据复制方法。
发明内容
本申请提供一种集群数据复制方法及装置，用以在跨域带宽有限的条件下，对待复制数据进行合理调度，实现数据的快速复制。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种集群数据复制方法，包括：
确定需要跨集群复制数据的至少一个复制任务；
计算所述至少一个复制任务中各复制任务的优先级；
根据所述各复制任务的优先级，执行所述各复制任务。
第二方面，提供了一种集群数据复制装置，包括：
确定模块，用于确定需要跨集群复制数据的至少一个复制任务；
计算模块，用于计算所述至少一个复制任务中各复制任务的优先级；
执行模块，用于根据所述各复制任务的优先级，执行所述各复制任务。
第三方面，提供一种优先级确定方法，包括：
获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；
根据所述至少一个因素，计算所述复制任务的优先级。
第四方面，提供一种优先级确定装置，包括：
信息获取模块，用于获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；
优先级计算模块，用于根据所述至少一个因素，计算所述复制任务的优先级。
在本申请中，在确定需要跨集群复制数据的复制任务之后，计算各复制任务的优先级，然后根据各复制任务的优先级，执行各复制任务。由此可见，本申请在跨域带宽有限的条件下，按照复制任务的优先级对复制任务进行调度，优先调度优先级较高的复制任务，能够对复制任务进行合理调度，有利于实现数据的快速复制。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请一实施例提供的集群系统的结构示意图；
图2为本申请另一实施例提供集群数据复制方法的流程示意图；
图3为本申请又一实施例提供的复制系统的架构示意图；
图4为本申请又一实施例提供的对复制任务进行打包处理的流程示意图；
图5为本申请又一实施例提供的集群数据复制装置的结构示意图；
图6为本申请又一实施例提供的优先级确定方法的流程示意图；
图7为本申请又一实施例提供的优先级确定装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1为本申请实施例一提供的集群系统的结构示意图。如图1所示，该集群系统仅象征性的示意出3个集群，分别为集群A、集群B和集群C，实际上集群系统可以包含任意数量的集群。
结合图1所示集群系统说明一下跨集群数据复制的过程。
假设集群A中存在一业务a，集群B中存在一业务b，集群C中存在一业务c，业务a产生数据，而且业务b和业务c需要业务a产生的数据，故需要将业务a产生的数据从集群A复制到集群B和集群C中。当然，若集群A中还包括业务d，且业务b和业务c也需要业务d产生的数据，则也需要将业务d产生的数据从集群A复制到集群B和集群C中。当然，若业务a需要业务b和业务c产生的数据，则也需要将业务b和c产生的数据从集群B和C分别复制到集群A中。
由于集群之间的带宽资源有限，而且随着业务数量不断增长，需要复制的数据也会逐渐增多，所以如果采用离线复制方式，需要一次性将所有数据从一个集群复制到另一个集群，这需要大量带宽资源，在集群之间的带宽资源有限的情况下，该方法不再适用，需要部分的进行数据复制，这就涉及到待复制数据之间的调度问题，如果能够合理的调度待复制数据，那么将有利于提高复制效率。
针对上述问题，本申请提供一种解决方案，其主要思想在于，在确定需要跨集群复制数据的复制任务之后，计算复制任务的优先级，然后根据复制任务的优先级，执行复制任务。本申请在跨域带宽有限的条件下，按照复制任务的优先级对复制任务进行调度，优先调度优先级较高的复制任务，能够对复制任务进行合理调度，有利于实现数据的快速复制。
下面结合附图对本申请技术方案进行详细说明。
图2为本申请另一实施例提供的集群数据复制方法的流程示意图。如图2所示，该方法包括：
201、确定需要跨集群复制数据的至少一个复制任务。
202、计算至少一个复制任务中各复制任务的优先级。
203、根据各复制任务的优先级，执行各复制任务。
本实施例提供一种集群数据复制方法，可由集群数据复制装置(后续简称为复制装置)执行，用以合理调度复制任务，实现跨集群复制数据，提高数据复制效率。
在具体实现上，复制装置可以部署于集群系统中，例如部署于集群系统中的某个集群，例如可以是产生数据的集群(简称为源集群)，或需要复制数据的集群(简称为目的集群)内，或者也可以是独立于集群系统但能够与集群系统进行通信的设备。
具体的，复制装置首先需要确定需要跨集群复制数据的至少一个复制任务。复制任务是指需要将数据从一个集群复制到其它集群的任务。
其中，复制装置可以采用但不限于以下几种方式确定复制任务：
第一种方式：定期轮询数据版本管理服务器，在发现有数据的版本发生变化时，确定有需要对所述版本发生变化的数据进行跨集群复制的复制任务。第一种方式也可称为扫描(Scan)触发方式。
在第一种方式中，需要通过数据版本管理服务器管理整个集群系统中各数据的版本信息。例如，复制装置可以启动一线程定期轮询数据版本管理服务器，当发现有数据的版本发生变化时，确定有需要对版本发生变化的数据进行跨集群复制的复制任务。
第二种方式：获取控制服务器根据收到的复制任务通知消息所下发的复制任务，该复制任务通知消息是第一业务在产生新版本数据时主动上报给控制服务器的。第二种方式也可称为事件(Event)触发方式。
在第二种方式中，需要部署控制服务器。基于此，一种实施本实施例方法的系统架构如图3所示，该系统包括控制服务器31和至少一个受控服务器32，复制装置位于受控服务器32中实现，但不限于此。
在部署实现上，该系统架构可以运行在集群系统中的某个集群上，例如可以是源集群或目的集群，或者也可以运行于集群系统之外。
具体的，控制服务器31负责集群中复制任务的分发管理，监控受控服务器32以及其上运行的复制装置的状态，此外，控制服务器31还负责同外界进行通信，例如接收复制任务通知消息，查询系统状态等。控制服务器31和受控服务器32之间依靠心跳消息进行通信，受控服务器32向控制服务器31汇报运行状态，包括CPU、内存使用量，以及复制装置的运行状态等。控制服务器31将需要启动或停止的复制装置的信息发给受控服务器32。例如，运维人员通过管控接口，向控制服务器31发送启动或停止某复制装置的消息。当控制服务器31接到一个启动或停止某复制装置的消息时，随机选定某个受控服务器32，在该受控服务器32的心跳消息中加上启动或停止某复制装置的消息，受控服务器32接到心跳消息后，就会启动或停止相应的复制装置以执行或结束执行复制任务。
其中，控制服务器31可以采用消息订阅方式，即集群中产生数据的业务(简称为第一业务)在产生新版本数据时，主动向控制服务器发送复制任务通知消息，以通知控制服务器31有复制任务。一般来说，复制任务通知消息携带有需要跨集群复制的数据的信息、该数据所在的源集群的信息以及需要复制该数据的目的集群的信息等。控制服务器31根据复制任务通知消息向复制装置下发复制任务。
第三种方式：接收控制服务器在接收到复制任务通知消息时下发的复制任务，该复制任务通知消息是需要数据的业务(简称为第二业务)在确定该数据在第二业务所在集群中的版本与该数据所在源集群中的版本不一致时上报给控制服务器的。第三种方式也可称为需求(On-demand)触发方式。
在第三种方式中，需要部署控制服务器。该方式也可以采用图3所示的系统架构实现。关于图3所示系统的描述参见上述实施例。
具体的，当第二业务的用户希望在第二业务所在集群(例如集群C)提交的作业需要用到位于其他集群(例如集群A)中的业务产生的数据时，第二业务会判断所需数据在第二业务所在集群(例如集群C)中的版本与该数据所在源集群(例如集群A)中的版本是否一致，例如第二业务可以到数据版本管理服务器查询以获取源集群中的版本，将第二业务所在集群中的版本与查询到的源集群中的版本进行比较，如果判断结果为不一致，则第二业务会向控制服务器31发送一个复制任务通知消息，控制服务器31根据复制任务通知消息向复制装置下发复制任务。
上述三种方式可以单独使用，也可以结合使用。
通过上述任意方式，复制装置可以确定需要跨集群复制数据的复制任务。由于业务数量不断增长，所以需要跨集群复制数据的复制任务也在逐渐增多，但是集群之间的带宽有限，这就需要对复制任务进行合理调度，以便更高效、快速的完成各复制任务。针对该问题，复制装置计算各复制任务的优先级，根据各复制任务的优先级，对各复制任务进行调度执行。这样可以保证高优先级的复制任务优先得到处理，能够对复制任务进行合理调度，有利于实现数据的快速复制。
在一可选实施方式中，上述步骤202，即计算各复制任务的优先级的一种实施方式包括：
根据各复制任务的触发方式、各复制任务需要复制的数据的产生时间、以及各复制任务对应的源业务的重要度中的至少一个因素，计算各复制任务的优先级。
上述复制任务的触发方式主要是指上述确定复制任务的三种方式，例如扫描触发方式、事件触发方式和需求触发方式。不同触发方式的复制任务具有不同的优先级。例如，可以设置需求触发方式触发的复制任务的优先级最高，事件触发方式触发的复制任务的优先级次之，扫描触发方式触发的复制任务的优先级最低，但不限于此。
上述复制任务对应的源业务是指产生复制任务需要复制的数据的业务。举例说明，假设集群A中的业务a产生数据，需要将该数据从集群A复制到集群B和C中，则复制任务需要复制的数据即为业务a产生的数据，业务a即为复制任务对应的源业务。一般来说，不同业务的重要度并不相同，重要度越高的业务产生的数据的重要度相对也会较高，所以用于复制重要度较高的业务产生的数据的复制任务的优先级就越高。
上述复制任务需要复制的数据的产生时间主要用于表示复制任务需要复制的数据的新鲜程度，一般来说，数据产生时间越晚，数据越新，则用于复制新鲜程度较高的数据的复制任务的优先级就越高。
在一具体实施方式中，可以采用上述三个因素中的一个因素，确定各复制任务的优先级。例如，仅根据各复制任务的触发方式，确定各复制任务的优先级。又例如，仅根据各复制任务对应的源业务的重要度，确定各复制任务的优先级。又例如，仅根据各复制任务需要复制的数据的产生时间，确定各复制任务的优先级。
在另一具体实施方式中，可以结合使用上述三个因素中的任意两个因素，确定各复制任务的优先级。具体可以根据每个因素计算出一个优先级取值，然后对两个优先级取值进行加权平均，获得复制任务的最终优先级。其中，可以预先为不同因素配置不同的权重。
例如，可以结合各复制任务对应的源业务的重要度以及各复制任务的触发方式，则假设根据复制任务对应的源业务的重要度，确定复制任务的优先级取值为P1，根据复制任务的触发方式，确定复制任务的优先级取值为P2，预先为源业务的重要度和触发方式确定的权重分别为w1和w2，则复制任务的最终优先级为：w1*P1+w2*P2。
当然，也可以结合复制任务的触发方式和复制任务需要复制的数据的产生时间，也可以结合复制任务对应的源业务的重要度和复制任务需要复制的数据的产生时间，具体计算方式同上，不再赘述。
在又一具体实施方式中，可以同时结合各复制任务的触发方式、各复制任务需要复制的数据的产生时间以及各复制任务对应的源业务的重要度，计算各复制任务的优先级。
具体的，复制装置可以根据各复制任务的触发方式，确定各复制任务的第一优先级取值；根据各复制任务对应的源业务的重要度，确定各复制任务的第二优先级取值；根据各复制任务需要复制的数据的产生时间，确定各复制任务的第三优先级取值；根据各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成各复制任务的优先级。
可选的，复制装置可以预先为复制任务对应的源业务的重要度、复制任务的触发方式以及复制任务需要复制的数据的产生时间三个因素配置权重，例如分别为w1、w2、w3。基于此，复制装置可以根据对应因素的权重，对各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值进行加权平均，以生成各复制任务的优先级。例如，复制任务的优先级＝w1*第一优先级取值+w2*第二优先级取值+w3*第三优先级取值。
可选的，复制装置也可以按照由高位到低位的顺序，将各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成各复制任务的优先级。
例如，预先定义触发方式对应的优先级取值的范围为[0,2]，其中需求触发方式对应的优先级取值为0，事件触发方式对应的优先级取值为1，扫描触发方式对应的优先级取值为2。基于此，若复制任务的触发方式为需求触发方式，则可以确定该复制任务的第一优先级取值为0，若复制任务的触发方式为事件触发方式，则可以确定该复制任务的第一优先级取值为1，若复制任务的触发方式为扫描触发方式，则可以确定该复制任务的第一优先级取值为2。为便于后续描述，将第一优先级取值记为Pt。
例如，预先定义源业务的重要度对应的优先级取值的范围为[0,9]，具体可以根据源业务的重要度进行设定，一般来说，源业务的重要度越高，对应的优先级取值越低。其中，复制任务的第二优先级取值为0-9中任一数值。为便于后续描述，将第一优先级取值记为Pp。
又例如，预先定义需要复制的数据的产生时间对应的优先级取值的范围为[0,9]。可选的，复制装置可以根据公式(1)，确定各复制任务的第三优先级取值。
Pd＝9*t/T (1)
在上述公式(1)中，t表示各复制任务需要复制的数据的产生时间；T表示各复制任务需要复制的数据的生命周期，且0<t<T；Pd表示各复制任务的第三优先级取值。值得说明的是，不同复制任务需要复制的数据的生命周期可能相同，也可能不同。生命周期的长短，一般可由业务需求、重要程度等因素决定。
基于上述，复制装置可以将上述优先级取值组成三位数字，其中，百位，十位，个位依次为Pt，Pp，Pd，该三位数字即为复制任务的优先级，其取值范围为[000，299]，该三位数字越小，表示对应复制任务的优先级越高。
在计算出各复制任务的优先级之后，复制任务之间就具有了可比性，因此复制装置可以根据各复制任务的优先级，为各复制任务申请带宽资源，然后基于所申请到的带宽资源，执行各复制任务。其中，高优先级的复制任务，会优先申请到带宽资源，所以会优先被执行，有利于提高跨域数据的复制效率。
具体的，复制装置可以维护一个多优先级队列，例如300个队列，然后按照复制任务的优先级，将复制任务加入相应优先级队列中。复制装置按照优先级由高到低的顺序依次轮询各优先级队列，并为轮询到的复制任务申请带宽资源。结合图3所示系统架构，控制服务器31还负责整个复制系统带宽的分配。复制装置可以向控制服务器发送带宽申请请求，控制服务器31通过心跳消息携带分配给复制任务的带宽数以及申请带宽资源的复制任务的优先级下发给复制装置。复制装置接收控制服务器31下发的心跳消息，从中获取申请到的带宽数。
值得的说明的是，当有多个复制任务同时申请带宽资源时，控制服务器31会根据优先级的高低进行分配。对于高优先级的复制任务，不仅可以获得额定带宽内的配额，当带宽资源分配完时，控制服务器31还对高优先级的复制任务的申请通过超卖进行满足。
进一步，复制装置可以不断轮询优先级队列，将若干复制任务打包成一个复制作业，并以复制作业为单位，向控制服务器31申请带宽资源，并。其中，一个复制作业中执行多个复制任务可以有效地提高效率；但一个复制作业中包含的复制任务太多，则会导致复制作业执行时间过长，无法满足实时性要求较高的复制任务的需求。基于此，需要对每个复制作业的大小进行限制。例如，可以限制复制作业包含的文件总数，或文件总大小，或者也可以同时限制复制作业包含的文件总数和文件总大小。为便于描述，将用于限制复制作业的大小的条件称为作业提交限制。作业提交限制可以包括以下至少一个：文件总个数上限值，文件总大小上限值。文件总个数上限值和文件总大小上限值的取值可以根据应用需求适应性设置，本实施例不限定其具体取值。
基于上述作业提交限制，复制装置打包申请带宽资源的过程包括：根据各复制任务的优先级以及预设的作业提交限制，对各复制任务进行打包处理，以形成至少一个复制作业；然后，根据各复制作业所包含的复制任务的优先级，确定各复制作业的优先级；根据各复制作业的优先级，为各复制作业所包含的复制任务申请带宽资源。
进一步，复制装置可以采用以下方式对复制任务进行打包处理：
复制装置按照优先级由高到低的顺序，依次获取复制任务作为当前复制任务；判断当前复制任务是否达到作业提交限制，例如判断当前复制任务包含的文件总个数是否达到文件总个数上限值，并判断当前复制任务包含的文件的总大小是否达到文件总大小上限值，若判断结果中存在一个为是的情况，则确定当前复制任务达到作业提交限制，这说明当前复制任务太大或文件数太多，不需要与其他复制任务打包，可以直接将当前复制任务作为一个复制作业；若判断结果均为否，这说明当前复制任务符合打包要求，则继续获取其他未达到作业提交限制的复制任务，直到未达到作业提交限制的多个复制任务的总和达到作业提交限制为止，将未达到作业提交限制的多个复制任务打包，以生成一个复制作业。
结合多优先级队列，复制装置对复制任务进行打包处理的过程如图4所示，包括以下步骤：
401、判断是否当前优先级队列中读取复制任务，若是，即读取到复制任务，则执行步骤402；若否，即未读取到复制任务，则执行步骤408；
402、判断读取到的复制任务是否达到作业提交限制，若判断结果为是，则执行步骤403；若判断结果为否，则执行步骤404；
可以执行以下至少一种判断操作：
判断读取到的复制任务包含的文件总个数是否达到文件总个数上限值；
判断读取到的复制任务包含的文件总大小是否达到文件总大小上限值；
若至少一个判断操作的判断结果均为否，确定读取到的复制任务未达到作业提交限制；若至少一个判断操作的判断结果均为是，则确定读取到的复制任务达到作业提交限制；
403、将读取到的复制任务放入当前优先级队列中，并将读取指针加1，返回执行步骤401；
404、将读取到的复制任务加入当前作业队列中，并执行步骤405；
405、判断当前作业队列中复制任务的总和是否达到作业提交限制，若判断结果为是，执行步骤406；若判断结果为否，执行步骤407；
具体执行以下至少一个判断操作：
可以执行以下至少一种判断操作：
判断当前作业队列中所有复制任务包含的文件总个数是否达到文件总个数上限值；
判断当前作业队列中所有复制任务包含文件总大小是否达到文件总大小上限值；
若至少一个判断操作的判断结果均为否，确定当前作业队列中复制任务的总和未达到作业提交限制；若至少一个判断操作的判断结果均为是，则确定当前作业队列中复制任务的总和达到作业提交限制；
406、将当前作业队列中的复制任务打包为复制任务，并确定该复制作业的优先级，为该复制作业申请带宽资源，并提交该复制作业以启动复制，并执行步骤411。
407、将读取指针加1，返回执行步骤401；
408、判断当前作业队列是否为空，若判断结果为否，则执行步骤409；若判断结果为是，则执行步骤411。
409、判断等待次数是否超过预设次数上限值，若判断结果为否，则执行步骤410；若判断结果为是，则执行步骤411；
410、将等待次数+1，并在等待300ms，返回执行步骤407。
411、结束此次操作。
由上述可见，本实施例通过将若干个复制任务打包成一个复制作业提交执行，既有利于提高执行效率，又可以满足复制任务的及时性要求。
图5为本申请又一实施例提供的集群数据复制装置的结构示意图。如图5所示，该装置包括：确定模块51、计算模块52和执行模块53。
确定模块51，用于确定需要跨集群复制数据的至少一个复制任务。
计算模块52，用于计算至少一个复制任务中各复制任务的优先级。
执行模块53，用于根据各复制任务的优先级，执行各复制任务。
在一可选实施方式中，确定模块51具体用于执行以下至少一种操作：
定期轮询数据版本管理服务器，在发现有数据的版本发生变化时，确定有需要对版本发生变化的数据进行跨集群复制的复制任务；
接收控制服务器在接收到复制任务通知消息时下发的复制任务；
其中，复制任务通知消息是第一业务在产生新版本数据时上报给控制服务器的，或者是需要数据的第二业务在确定数据在第二业务所在集群中的版本与数据所在源集群中的版本不一致时上报给控制服务器的。
在一可选实施方式中，计算模块52具体用于：
根据各复制任务的触发方式、各复制任务需要复制的数据的产生时间、以及各复制任务对应的源业务的重要度中的至少一个因素，计算各复制任务的优先级；
其中，复制任务对应的源业务是指产生复制任务需要复制的数据的业务。
可选的，计算模块52进一步具体用于：
根据各复制任务的触发方式，确定各复制任务的第一优先级取值；
根据各复制任务对应的源业务的重要度，确定各复制任务的第二优先级取值；
根据各复制任务需要复制的数据的产生时间，确定各复制任务的第三优先级取值；
根据各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成各复制任务的优先级。
更进一步，计算模块52在根据各复制任务需要复制的数据的产生时间，确定各复制任务的第三优先级取值时，具体用于：根据公式(1)，确定各复制任务的第三优先级取值。关于公式(1)的描述具体参见前述实施例，在此不再赘述。
更进一步，计算模块52在根据各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成各复制任务的优先级时，具体用于：
按照由高位到低位的顺序，将各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成各复制任务的优先级。
在一可选实施方式中，执行模块53具体用于：
根据各复制任务的优先级，为各复制任务申请带宽资源；
基于所申请到的带宽资源，执行各复制任务。
进一步，执行模块53在根据各复制任务的优先级，为各复制任务申请带宽资源时，具体用于：
根据各复制任务的优先级以及预先设置的作业提交限制，对各复制任务进行打包处理，以形成至少一个复制作业；
根据至少一个复制作业中各复制作业所包含的复制任务的优先级，确定各复制作业的优先级；
根据各复制作业的优先级，为各复制作业所包含的复制任务申请带宽资源。
更进一步，执行模块53在根据各复制任务的优先级以及预先设置的作业提交限制，对各复制任务进行打包处理，以形成至少一个复制作业时，具体用于：
按照优先级由高到低的顺序，依次获取复制任务作为当前复制任务；
若当前复制任务未达到作业提交限制，则继续获取其它未达到作业提交限制的复制任务，直到未达到作业提交限制的多个复制任务的总和达到作业提交限制为止，将未达到作业提交限制的多个复制任务打包，以生成一个复制作业；
若当前复制任务达到作业提交限制，则直接将当前复制任务作为一个复制作业。
可选的，上述作业提交限制包括以下至少一个：
文件总个数上限值；
文件总大小上限值。
本实施例提供的集群数据复制装置，在确定需要跨集群复制数据的复制任务之后，计算各复制任务的优先级，然后根据各复制任务的优先级，执行各复制任务。由此可见，本申请在跨域带宽有限的条件下，按照复制任务的优先级对复制任务进行调度，优先调度优先级较高的复制任务，能够对复制任务进行合理调度，有利于实现数据的快速复制。
除上述技术方案之外，本申请还针对跨集群复制任务提供了一种优先级确定方法，用以确定跨集群复制任务的优先级。其中，优先级确定方法的流程如图6所示，包括：
601、获取需要跨集群复制数据的复制任务的触发方式、复制任务需要复制的数据的产生时间、以及复制任务对应的源业务的重要度中的至少一个因素，复制任务对应的源业务是指产生该复制任务需要复制的数据的业务。
602、根据上述至少一个因素，计算复制任务的优先级。
上述复制任务的触发方式主要是指上述确定复制任务的三种方式，例如扫描触发方式、事件触发方式和需求触发方式。不同触发方式的复制任务具有不同的优先级。例如，可以设置需求触发方式触发的复制任务的优先级最高，事件触发方式触发的复制任务的优先级次之，扫描触发方式触发的复制任务的优先级最低，但不限于此。
上述复制任务对应的源业务是指产生复制任务需要复制的数据的业务。举例说明，假设集群A中的业务a产生数据，需要将该数据从集群A复制到集群B和C中，则复制任务需要复制的数据即为业务a产生的数据，业务a即为复制任务对应的源业务。一般来说，不同业务的重要度并不相同，重要度越高的业务产生的数据的重要度相对也会较高，所以用于复制重要度较高的业务产生的数据的复制任务的优先级就越高。
上述复制任务需要复制的数据的产生时间主要用于表示复制任务需要复制的数据的新鲜程度，一般来说，数据产生时间越晚，数据越新，则用于复制新鲜程度较高的数据的复制任务的优先级就越高。
在一具体实施方式中，可以采用上述三个因素中的一个因素，确定各复制任务的优先级。例如，仅根据各复制任务的触发方式，确定各复制任务的优先级。又例如，仅根据各复制任务对应的源业务的重要度，确定各复制任务的优先级。又例如，仅根据各复制任务需要复制的数据的产生时间，确定各复制任务的优先级。
在另一具体实施方式中，可以结合使用上述三个因素中的任意两个因素，确定各复制任务的优先级。具体可以根据每个因素计算出一个优先级取值，然后对两个优先级取值进行加权平均，获得复制任务的最终优先级。其中，可以预先为不同因素配置不同的权重。
例如，可以结合各复制任务对应的源业务的重要度以及各复制任务的触发方式，则假设根据复制任务对应的源业务的重要度，确定复制任务的优先级取值为P1，根据复制任务的触发方式，确定复制任务的优先级取值为P2，预先为源业务的重要度和触发方式确定的权重分别为w1和w2，则复制任务的最终优先级为：w1*P1+w2*P2。
当然，也可以结合复制任务的触发方式和复制任务需要复制的数据的产生时间，也可以结合复制任务对应的源业务的重要度和复制任务需要复制的数据的产生时间，具体计算方式同上，不再赘述。
在又一具体实施方式中，可以同时结合各复制任务的触发方式、各复制任务需要复制的数据的产生时间以及各复制任务对应的源业务的重要度，计算复制任务的优先级。
具体的，复制装置可以根据各复制任务的触发方式，确定各复制任务的第一优先级取值；根据复制任务对应的源业务的重要度，确定复制任务的第二优先级取值；根据复制任务需要复制的数据的产生时间，确定复制任务的第三优先级取值；根据复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成复制任务的优先级。
可选的，复制装置可以预先为复制任务对应的源业务的重要度、复制任务的触发方式以及复制任务需要复制的数据的产生时间三个因素配置权重，例如分别为w1、w2、w3。基于此，复制装置可以根据对应因素的权重，对复制任务的第一优先级取值、第二优先级取值以及第三优先级取值进行加权平均，以生成复制任务的优先级。例如，复制任务的优先级＝w1*第一优先级取值+w2*第二优先级取值+w3*第三优先级取值。
可选的，复制装置也可以按照由高位到低位的顺序，将各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成复制任务的优先级。
例如，预先定义触发方式对应的优先级取值的范围为[0,2]，其中需求触发方式对应的优先级取值为0，事件触发方式对应的优先级取值为1，扫描触发方式对应的优先级取值为2。基于此，若复制任务的触发方式为需求触发方式，则可以确定该复制任务的第一优先级取值为0，若复制任务的触发方式为事件触发方式，则可以确定该复制任务的第一优先级取值为1，若复制任务的触发方式为扫描触发方式，则可以确定该复制任务的第一优先级取值为2。为便于后续描述，将第一优先级取值记为Pt。
例如，预先定义源业务的重要度对应的优先级取值的范围为[0,9]，具体可以根据源业务的重要度进行设定，一般来说，源业务的重要度越高，对应的优先级取值越低。其中，复制任务的第二优先级取值为0-9中任一数值。为便于后续描述，将第一优先级取值记为Pp。
又例如，预先定义需要复制的数据的产生时间对应的优先级取值的范围为[0,9]。可选的，复制装置可以根据公式(1)，确定各复制任务的第三优先级取值。关于公式(1)可参见前面描述，在此不再赘述。
基于上述，复制装置可以将上述优先级取值组成三位数字，其中，百位，十位，个位依次为Pt，Pp，Pd，该三位数字即为复制任务的优先级，其取值范围为[000，299]，该三位数字越小，表示对应复制任务的优先级越高。
本实施例可以计算出跨集群的复制任务的优先级，为后续基于复制任务的优先级的复制任务处理过程(例如复制任务调度过程)提供条件。
图7为本申请又一实施例提供的优先级确定装置的结构示意图。如图7所示，该装置包括：信息获取模块71和优先级计算模块72。
信息获取模块71，用于获取需要跨集群复制数据的复制任务的触发方式、复制任务需要复制的数据的产生时间、以及复制任务对应的源业务的重要度中的至少一个因素，复制任务对应的源业务是指产生该复制任务需要复制的数据的业务。
优先级计算模块72，用于根据信息获取模块71获取的至少一个因素，计算复制任务的优先级。
上述复制任务的触发方式主要是指上述确定复制任务的三种方式，例如扫描触发方式、事件触发方式和需求触发方式。不同触发方式的复制任务具有不同的优先级。例如，可以设置需求触发方式触发的复制任务的优先级最高，事件触发方式触发的复制任务的优先级次之，扫描触发方式触发的复制任务的优先级最低，但不限于此。
上述复制任务对应的源业务是指产生复制任务需要复制的数据的业务。举例说明，假设集群A中的业务a产生数据，需要将该数据从集群A复制到集群B和C中，则复制任务需要复制的数据即为业务a产生的数据，业务a即为复制任务对应的源业务。一般来说，不同业务的重要度并不相同，重要度越高的业务产生的数据的重要度相对也会较高，所以用于复制重要度较高的业务产生的数据的复制任务的优先级就越高。
上述复制任务需要复制的数据的产生时间主要用于表示复制任务需要复制的数据的新鲜程度，一般来说，数据产生时间越晚，数据越新，则用于复制新鲜程度较高的数据的复制任务的优先级就越高。
在一具体实施方式中，信息获取模块71可以获取上述三个因素中的一个因素，优先级计算模块72具体根据信息获取模块71获取的因素确定复制任务的优先级。例如，优先级计算模块72仅根据复制任务的触发方式，确定复制任务的优先级。又例如，优先级计算模块72仅根据复制任务对应的源业务的重要度，确定复制任务的优先级。又例如，优先级计算模块72仅根据复制任务需要复制的数据的产生时间，确定复制任务的优先级。
在另一具体实施方式中，信息获取模块71可以获取上述三个因素中的任意两个因素，优先级计算模块72具体根据信息获取模块71获取的两个因素确定各复制任务的优先级。优先级计算模块72具体可以根据每个因素计算出一个优先级取值，然后对两个优先级取值进行加权平均，获得复制任务的最终优先级。其中，可以预先为不同因素配置不同的权重。
例如，优先级计算模块72可以结合复制任务对应的源业务的重要度以及复制任务的触发方式，则假设根据复制任务对应的源业务的重要度，确定复制任务的优先级取值为P1，根据复制任务的触发方式，确定复制任务的优先级取值为P2，预先为源业务的重要度和触发方式确定的权重分别为w1和w2，则复制任务的最终优先级为：w1*P1+w2*P2。
当然，也可以结合复制任务的触发方式和复制任务需要复制的数据的产生时间，也可以结合复制任务对应的源业务的重要度和复制任务需要复制的数据的产生时间，具体计算方式同上，不再赘述。
在又一具体实施方式中，信息获取模块71可以获取上述三个因素，优先级计算模块72可以同时结合复制任务的触发方式、复制任务需要复制的数据的产生时间以及复制任务对应的源业务的重要度，计算复制任务的优先级。
具体的，优先级计算模块72可以根据复制任务的触发方式，确定复制任务的第一优先级取值；根据复制任务对应的源业务的重要度，确定复制任务的第二优先级取值；根据复制任务需要复制的数据的产生时间，确定复制任务的第三优先级取值；根据复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成复制任务的优先级。
可选的，可以预先为复制任务对应的源业务的重要度、复制任务的触发方式以及复制任务需要复制的数据的产生时间三个因素配置权重，例如分别为w1、w2、w3。基于此，优先级计算模块72可以根据对应因素的权重，对复制任务的第一优先级取值、第二优先级取值以及第三优先级取值进行加权平均，以生成复制任务的优先级。例如，复制任务的优先级＝w1*第一优先级取值+w2*第二优先级取值+w3*第三优先级取值。
可选的，优先级计算模块72也可以按照由高位到低位的顺序，将复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成复制任务的优先级。
例如，预先定义触发方式对应的优先级取值的范围为[0,2]，其中需求触发方式对应的优先级取值为0，事件触发方式对应的优先级取值为1，扫描触发方式对应的优先级取值为2。基于此，若复制任务的触发方式为需求触发方式，则可以确定该复制任务的第一优先级取值为0，若复制任务的触发方式为事件触发方式，则可以确定该复制任务的第一优先级取值为1，若复制任务的触发方式为扫描触发方式，则可以确定该复制任务的第一优先级取值为2。为便于后续描述，将第一优先级取值记为Pt。
例如，预先定义源业务的重要度对应的优先级取值的范围为[0,9]，具体可以根据源业务的重要度进行设定，一般来说，源业务的重要度越高，对应的优先级取值越低。其中，复制任务的第二优先级取值为0-9中任一数值。为便于后续描述，将第一优先级取值记为Pp。
又例如，预先定义需要复制的数据的产生时间对应的优先级取值的范围为[0,9]。可选的，复制装置可以根据公式(1)，确定各复制任务的第三优先级取值。关于公式(1)可参见前面描述，在此不再赘述。
基于上述，优先级计算模块72可以将上述优先级取值组成三位数字，其中，百位，十位，个位依次为Pt，Pp，Pd，该三位数字即为复制任务的优先级，其取值范围为[000，299]，该三位数字越小，表示对应复制任务的优先级越高。
本实施例提供的优先级确定装置，可以计算出跨集群的复制任务的优先级，为后续基于复制任务的优先级的复制任务处理过程(例如复制任务调度过程)提供条件。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (22)

1.一种集群数据复制方法，其特征在于，包括：
确定需要跨集群复制数据的至少一个复制任务；
计算所述至少一个复制任务中各复制任务的优先级；
根据所述各复制任务的优先级，执行所述各复制任务。
2.根据权利要求1所述的方法，其特征在于，所述确定需要跨集群复制数据的至少一个复制任务，包括以下至少一种操作：
定期轮询数据版本管理服务器，在发现有数据的版本发生变化时，确定有需要对所述版本发生变化的数据进行跨集群复制的复制任务；
获取控制服务器根据收到的复制任务通知消息所下发的复制任务；
其中，所述复制任务通知消息是第一业务在产生新版本数据时上报给所述控制服务器的，或者是需要数据的第二业务在确定所述数据在所述第二业务所在集群中的版本与所述数据所在源集群中的版本不一致时上报给所述控制服务器的。
3.根据权利要求1所述的方法，其特征在于，所述计算所述至少一个复制任务中各复制任务的优先级，包括：
根据所述各复制任务的触发方式、所述各复制任务需要复制的数据的产生时间、以及所述各复制任务对应的源业务的重要度中的至少一个因素，计算所述各复制任务的优先级；
其中，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务。
4.根据权利要求3所述的方法，其特征在于，所述根据所述各复制任务的触发方式、所述各复制任务需要复制的数据的产生时间、以及所述各复制任务对应的源业务的重要度，计算所述各复制任务的优先级，包括：
根据所述各复制任务的触发方式，确定所述各复制任务的第一优先级取值；
根据所述各复制任务对应的源业务的重要度，确定所述各复制任务的第二优先级取值；
根据所述各复制任务需要复制的数据的产生时间，确定所述各复制任务的第三优先级取值；
根据所述各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成所述各复制任务的优先级。
5.根据权利要求4所述的方法，其特征在于，所述根据所述各复制任务需要复制的数据的产生时间，确定所述各复制任务的第三优先级取值，包括：
根据公式Pd＝9*t/T，确定所述各复制任务的第三优先级取值；
其中，t表示所述各复制任务需要复制的数据的产生时间；
T表示所述各复制任务需要复制的数据的生命周期，且0<t<T；
Pd表示所述各复制任务的第三优先级取值。
6.根据权利要求4所述的方法，其特征在于，所述根据所述各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成所述各复制任务的优先级，包括：
按照由高位到低位的顺序，将所述各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成所述各复制任务的优先级。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述各复制任务的优先级，执行所述各复制任务，包括：
根据所述各复制任务的优先级，为所述各复制任务申请带宽资源；
基于所申请到的带宽资源，执行所述各复制任务。
8.根据权利要求7所述的方法，其特征在于，所述根据所述各复制任务的优先级，为所述各复制任务申请带宽资源，包括：
根据所述各复制任务的优先级以及预先设置的作业提交限制，对所述各复制任务进行打包处理，以形成至少一个复制作业；
根据所述至少一个复制作业中各复制作业所包含的复制任务的优先级，确定所述各复制作业的优先级；
根据所述各复制作业的优先级，为所述各复制作业所包含的复制任务申请带宽资源。
9.根据权利要求8所述的方法，其特征在于，所述根据所述各复制任务的优先级以及预先设置的作业提交限制，对所述各复制任务进行打包处理，以形成至少一个复制作业，包括：
按照优先级由高到低的顺序，依次获取复制任务作为当前复制任务；
若当前复制任务未达到所述作业提交限制，则继续获取其它未达到所述作业提交限制的复制任务，直到未达到所述作业提交限制的多个复制任务的总和达到所述作业提交限制为止，将所述未达到所述作业提交限制的多个复制任务打包，以生成一个复制作业；
若当前复制任务达到所述作业提交限制，则直接将所述当前复制任务作为一个复制作业。
10.根据权利要求8所述的方法，其特征在于，所述作业提交限制包括以下至少一个：
文件总个数上限值；
文件总大小上限值。
11.一种集群数据复制装置，其特征在于，包括：
确定模块，用于确定需要跨集群复制数据的至少一个复制任务；
计算模块，用于计算所述至少一个复制任务中各复制任务的优先级；
执行模块，用于根据所述各复制任务的优先级，执行所述各复制任务。
12.根据权利要求11所述的装置，其特征在于，所述确定模块具体用于执行以下至少一种操作：
定期轮询数据版本管理服务器，在发现有数据的版本发生变化时，确定有需要对所述版本发生变化的数据进行跨集群复制的复制任务；
获取控制服务器根据收到的复制任务通知消息所下发的复制任务；
其中，所述复制任务通知消息是第一业务在产生新版本数据时上报给所述控制服务器的，或者是需要数据的第二业务在确定所述数据在所述第二业务所在集群中的版本与所述数据所在源集群中的版本不一致时上报给所述控制服务器的。
13.根据权利要求11所述的装置，其特征在于，所述计算模块具体用于：
根据所述各复制任务的触发方式、所述各复制任务需要复制的数据的产生时间、以及所述各复制任务对应的源业务的重要度中的至少一个因素，计算所述各复制任务的优先级；
其中，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务。
14.根据权利要求13所述的装置，其特征在于，所述计算模块具体用于：
根据所述各复制任务的触发方式，确定所述各复制任务的第一优先级取值；
根据所述各复制任务对应的源业务的重要度，确定所述各复制任务的第二优先级取值；
根据所述各复制任务需要复制的数据的产生时间，确定所述各复制任务的第三优先级取值；
根据所述各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值，生成所述各复制任务的优先级。
15.根据权利要求14所述的装置，其特征在于，所述计算模块具体用于：
根据公式Pd＝9*t/T，确定所述各复制任务的第三优先级取值；
其中，t表示所述各复制任务需要复制的数据的产生时间；
T表示所述各复制任务需要复制的数据的生命周期，且0<t<T；
Pd表示所述各复制任务的第三优先级取值。
16.根据权利要求14所述的装置，其特征在于，所述计算模块具体用于：
按照由高位到低位的顺序，将所述各复制任务的第一优先级取值、第二优先级取值以及第三优先级取值拼接在一起，以生成所述各复制任务的优先级。
17.根据权利要求11-16任一项所述的装置，其特征在于，所述执行模块具体用于：
根据所述各复制任务的优先级，为所述各复制任务申请带宽资源；
基于所申请到的带宽资源，执行所述各复制任务。
18.根据权利要求17所述的装置，其特征在于，所述执行模块具体用于：
根据所述各复制任务的优先级以及预先设置的作业提交限制，对所述各复制任务进行打包处理，以形成至少一个复制作业；
根据所述至少一个复制作业中各复制作业所包含的复制任务的优先级，确定所述各复制作业的优先级；
根据所述各复制作业的优先级，为所述各复制作业所包含的复制任务申请带宽资源。
19.根据权利要求18所述的装置，其特征在于，所述执行模块具体用于：
按照优先级由高到低的顺序，依次获取复制任务作为当前复制任务；
若当前复制任务未达到所述作业提交限制，则继续获取其它未达到所述作业提交限制的复制任务，直到未达到所述作业提交限制的多个复制任务的总和达到所述作业提交限制为止，将所述未达到所述作业提交限制的多个复制任务打包，以生成一个复制作业；
若当前复制任务达到所述作业提交限制，则直接将所述当前复制任务作为一个复制作业。
20.根据权利要求18所述的装置，其特征在于，所述作业提交限制包括以下至少一个：
文件总个数上限值；
文件总大小上限值。
21.一种优先级确定方法，其特征在于，包括：
获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；
根据所述至少一个因素，计算所述复制任务的优先级。
22.一种优先级确定装置，其特征在于，包括：
信息获取模块，用于获取需要跨集群复制数据的复制任务的触发方式、所述复制任务需要复制的数据的产生时间、以及所述复制任务对应的源业务的重要度中的至少一个因素，所述复制任务对应的源业务是指产生所述复制任务需要复制的数据的业务；
优先级计算模块，用于根据所述至少一个因素，计算所述复制任务的优先级。
CN201610195827.1A 2016-03-30 2016-03-30 集群数据复制方法、优先级确定方法及装置 Pending CN107291724A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610195827.1A CN107291724A (zh) 2016-03-30 2016-03-30 集群数据复制方法、优先级确定方法及装置
TW106105766A TW201737108A (zh) 2016-03-30 2017-02-21 集群資料複製方法、優先順序確定方法及裝置
PCT/CN2017/077500 WO2017167070A1 (zh) 2016-03-30 2017-03-21 集群数据复制方法、优先级确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610195827.1A CN107291724A (zh) 2016-03-30 2016-03-30 集群数据复制方法、优先级确定方法及装置

Publications (1)

Publication Number Publication Date
CN107291724A true CN107291724A (zh) 2017-10-24

Family

ID=59962567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610195827.1A Pending CN107291724A (zh) 2016-03-30 2016-03-30 集群数据复制方法、优先级确定方法及装置

Country Status (3)

Country Link
CN (1) CN107291724A (zh)
TW (1) TW201737108A (zh)
WO (1) WO2017167070A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298522A (zh) * 2018-03-22 2019-10-01 阿里巴巴集团控股有限公司 工作项的管理方法及装置
CN111124268A (zh) * 2018-10-31 2020-05-08 阿里巴巴集团控股有限公司 数据复制方法、装置、系统及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760482A (zh) * 2020-06-22 2021-12-07 北京沃东天骏信息技术有限公司 一种任务处理方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722402A (zh) * 2012-05-28 2012-10-10 上海微频莱机电科技有限公司 一种非抢占式实时调度多任务的处理系统及方法
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
US20140201762A1 (en) * 2013-01-15 2014-07-17 Lg Cns Co., Ltd. Event handling system and method
CN104778080A (zh) * 2014-01-14 2015-07-15 中兴通讯股份有限公司 基于协处理器的作业调度处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812799B2 (en) * 2009-12-11 2014-08-19 International Business Machines Corporation Cluster families for cluster selection and cooperative replication
US20130138615A1 (en) * 2011-11-29 2013-05-30 International Business Machines Corporation Synchronizing updates across cluster filesystems
CN103533514B (zh) * 2012-07-06 2017-08-11 中兴通讯股份有限公司 一种集群业务优先级的实现方法和系统
CN104572305A (zh) * 2015-01-26 2015-04-29 赞奇科技发展有限公司 均衡负载的集群渲染任务调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722402A (zh) * 2012-05-28 2012-10-10 上海微频莱机电科技有限公司 一种非抢占式实时调度多任务的处理系统及方法
CN103207814A (zh) * 2012-12-27 2013-07-17 北京仿真中心 一种去中心化的跨集群资源管理与任务调度系统与调度方法
US20140201762A1 (en) * 2013-01-15 2014-07-17 Lg Cns Co., Ltd. Event handling system and method
CN104778080A (zh) * 2014-01-14 2015-07-15 中兴通讯股份有限公司 基于协处理器的作业调度处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许曰滨等: "第2章作业管理2.5.2优先级", 《计算机操作系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298522A (zh) * 2018-03-22 2019-10-01 阿里巴巴集团控股有限公司 工作项的管理方法及装置
CN111124268A (zh) * 2018-10-31 2020-05-08 阿里巴巴集团控股有限公司 数据复制方法、装置、系统及电子设备
CN111124268B (zh) * 2018-10-31 2023-05-09 阿里巴巴集团控股有限公司 数据复制方法、装置、系统及电子设备

Also Published As

Publication number Publication date
TW201737108A (zh) 2017-10-16
WO2017167070A1 (zh) 2017-10-05

Similar Documents

Publication Publication Date Title
CN110941446B (zh) 基于多环境离线任务的版本发布方法及装置
CN103765379B (zh) 基于云的构建服务
CN102629219B (zh) 并行计算框架中的Reduce端自适应负载均衡方法
CN108322345A (zh) 一种故障修复数据包的发布方法及服务器
CN106330576A (zh) 容器化微服务自动伸缩及迁移调度的方法、系统和设备
CN107291547A (zh) 一种任务调度处理方法、装置及系统
US20220129408A1 (en) Data actor and data processing method thereof
CN107291724A (zh) 集群数据复制方法、优先级确定方法及装置
CN107463418A (zh) 一种服务器中间件的配置文件生成方法及装置
CN110597634B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN108241350A (zh) 一种智能动态制造执行方法及相关设备
CN106940631A (zh) 一种基于控制器的并行打印系统
CN106874109A (zh) 一种分布式作业分发处理方法及系统
CN110704438A (zh) 一种区块链中布隆过滤器的生成方法及装置
WO2012173897A2 (en) Presentation software automation services
CN111460038A (zh) 一种数据准实时同步方法及装置
CN116048825A (zh) 容器集群构建方法及系统
CN109242680B (zh) 一种区块链共识动态调整的方法
CN107273196A (zh) 生物信息学高性能计算作业调度及系统管理套件
CN116881012A (zh) 一种容器应用垂直扩容方法、装置、设备及可读存储介质
US11522966B2 (en) Methods, devices and systems for non-disruptive upgrades to a replicated state machine in a distributed computing environment
CN109684274A (zh) 文件归档方法、设备及计算机可读存储介质
Li et al. Rpbg: Intelligent orchestration strategy of heterogeneous docker cluster based on graph theory
CN108279983A (zh) 一种接口返回结果的处理方法及装置
Elgedawy GEMINI: a hybrid byzantine fault tolerant protocol for reliable composite web services orchestrated delivery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024