CN104182283B - 一种任务同步方法 - Google Patents

一种任务同步方法 Download PDF

Info

Publication number
CN104182283B
CN104182283B CN201410418045.0A CN201410418045A CN104182283B CN 104182283 B CN104182283 B CN 104182283B CN 201410418045 A CN201410418045 A CN 201410418045A CN 104182283 B CN104182283 B CN 104182283B
Authority
CN
China
Prior art keywords
task
information
effective
centralized storage
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410418045.0A
Other languages
English (en)
Other versions
CN104182283A (zh
Inventor
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Shangke Information Technology Co Ltd
Priority to CN201410418045.0A priority Critical patent/CN104182283B/zh
Publication of CN104182283A publication Critical patent/CN104182283A/zh
Application granted granted Critical
Publication of CN104182283B publication Critical patent/CN104182283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本申请公开了一种任务同步方法，该方法中利用一集中存储设备存储分布式系统中各实例的任务执行信息，每个实例通过周期性地从该集中存储设备中获取其他实例的任务执行信息，可以及时掌握各实例的步骤执行状态，从而可以实现任务在各实例间的同步执行。采用本发明，可以避免新增实例时对原有实例正常运行的影响，且易于实现。

Description

一种任务同步方法
技术领域
本发明涉及分布式应用技术，特别是涉及一种分布式应用系统中的任务同步方法。
背景技术
目前，对于步骤运算数据量非常大且有时间要求的业务应用，通常使用分布式系统实现。具体而言，对于一个业务应用，如果有若干步骤需要在指定时间内完成且需要计算的数据量非常大，该业务应用的执行将需要由分布在多台机器上的多个实例共同完成。该类业务应用中的各步骤通常需要按照先后顺序执行，即一个步骤必须在前一步骤的所有执行实例完成后才能开始执行。
在实际应用中，每个实例执行某个步骤的计算任务很难在同一时间完成。例如，当分布在N台服务器上的M个实例共同执行步骤P1时，假设给每个实例分配同样多的计算任务(如10万条数据)，因为服务器本身配置的原因或网络IO的原因，造成实例1计算10万条记录需要10分钟，而实例2完成10万条记录可能需要11分钟，并且实际上也存在计算数据条数不能绝对平均的分配给M个实例的情况；再假设如果给每个实例设置一个完成任务的时间点，比如凌晨3点整完成P1步骤中的任务，也可能因为同样的原因，存在部分实例无法在指定时间内完成的情况(这种情况在实际的分布式系统运行中出现的概率较高)。
基于以上原因，为了确保各步骤按照先后顺序执行，需要实现在各个实例之间多个任务步骤的同步。各个实例需要在等待其他实例都完成了相同步骤的任务后才能开始下个步骤的任务。例如：当执行步骤P1时，从实例1到实例M，在分别完成所分配任务后需要各自等待，直到最后一个完成P1步骤任务的实例执行完成后(也就意味着P1步骤任务已经全部完成)，各个实例在判断到P1步骤全部完成后自己开始执行P2步骤的任务，同P1一样，当全部实例都完成各自的P2步骤任务后，再开始执行下一个步骤P3，依次类推，从而实现每个任务步骤执行的同步。
目前，在分布式应用场景下，每个实例完成一项任务步骤工作后，是通过广播的方式通知其他实例本实例的步骤执行状态信息，从而实现了将每个实例的任务执行情况信息同步到全部实例。
上述采用广播方式实现的实例间任务同步的方法，需要每个实例知道其他实例的存在，才可以将信息广播给其他实例中。对于正在线上运行的系统，当动态增加了新实例时，需要老的实例重新配置才能知道该新实例的存在，因此，新实例的增加可能会引起老实例的线上重启。
另外，广播方式需要每个实例开发通讯的接口，接收其他实例传播来的任务执行信息，要从应用开发实现上确保通讯的及时性和可用性，技术实现有一定的复杂度。一旦信息在传播过程中丢失，会造成整个任务同步机制受影响，计划业务将无法执行，存在有较大风险。
由此可见，现有的采用广播方式实现的任务同步方法存在新增实例时影响原有实例的正常运行以及通讯技术要求高、实现复杂度高等问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种任务同步方法，该方法应用于分布式应用系统中，可避免新增实例时对原有实例正常运行的影响，且易于实现。
为了达到上述目的，本发明提出的技术方案为：
一种任务同步方法，该方法应用于分布式系统中，包括：
当执行业务应用任务的每个实例启动后，将本实例的实例信息记录在系统的集中存储设备中；
对于当前执行所述任务的每个实例，在每个预设的更新周期到达时，根据本周期从所述集中存储设备中获取的所述任务的任务执行信息以及当前执行所述任务的有效实例，确定出当前未被所有所述有效实例完成的步骤中执行序号最小的步骤，并在本实例未执行所确定出的步骤时，启动本实例执行该步骤，在所述集中存储设备中所述任务的任务执行信息中记录相应的步骤执行信息，所述步骤执行信息包括用于指示本实例已执行所述步骤的信息以及用于指示本实例执行所述步骤的状态为执行中的信息；
对于每个所述实例，当该实例执行完所述任务的一个步骤时，将所述集中存储设备的所述任务执行信息中所记录的该实例执行所述步骤的状态修改为执行完成。
综上所述，本发明提出的任务同步方法，利用一集中存储设备存储分布式系统中各实例的任务执行信息，这样，每个实例通过周期性地从该集中存储设备中获取其他实例的任务执行信息，可以及时掌握各实例的步骤执行状态，从而可以实现任务在各实例间的同步执行。同时，本发明在新增实例时对原有实例正常运行没有影响，且不需要大幅度地增加通讯接口的开销、应用成本较低、易于实现。
附图说明
图1为本发明实施例一的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是：在分布式系统中引入一集中存储设备，用于存储分布式系统中各实例的任务执行信息，每个实例启动后在执行每一步骤时以及步骤执行完毕时都需要修改其在集中存储设备中的任务执行信息，并且每个实例需要周期性地从该集中存储设备中获取其他实例的任务执行信息，以实现任务中各步骤执行的同步。如此，既可避免新增实例时对原有实例正常运行的影响，又不需要大幅度增加通讯接口的开销，应用成本较低、易于实现。
图1为本发明实施例一的流程示意图，如图1所示，该实施例主要包括：
步骤101、当执行业务应用任务的每个实例启动后，将本实例的实例信息记录在系统的集中存储设备中。
本步骤中，用于实现实例在集中存储设备的注册，这样，集中存储设备中将保存执行任务的所有实例。当在任务执行过程中，新增新的实例时，直接在集中存储设备中记录该实例的实例信息即可，由于实例启动后会周期性的到集中存储设备中获取当前所执行任务的实例信息以及任务执行信息，因此，可以确保之前已启动的实例可以及时获知新增实例的相关信息，而不需要再进行新增实例的通知以及对已启动的实例进行重启。
所述实例信息可以包括实例的编号、实例的名称等信息。较佳地，还可以包括实例的更新时间，所述更新时间为进行记录所述实例信息的时刻，以供此后进行实例有效性的判断。
步骤102、对于当前执行所述任务的每个实例，在每个预设的更新周期到达时，根据本周期从所述集中存储设备中获取的所述任务的任务执行信息以及当前执行所述任务的有效实例，确定出当前未被所有所述有效实例完成的步骤中执行序号最小的步骤，并在本实例未执行所确定出的步骤时，启动本实例执行该步骤，在所述集中存储设备中所述任务的任务执行信息中记录相应的步骤执行信息，所述步骤执行信息包括用于指示本实例已执行所述步骤的信息以及用于指示本实例执行所述步骤的状态为执行中的信息。
本步骤中，每个实例启动后，需要周期性地去集中存储设备中获取当前所执行任务的实例信息以及任务的任务执行信息，基于这些信息，可以确定出当前任务的执行情况，即当前执行任务的有效实例有哪些，以及当前任务执行到哪一步了，进而可以基于此确定当前是否需要启动新的步骤的执行，还是需要等待其他实例执行完成本实例最近已执行完成的步骤，从而可以实现任务的同步。
这里，实例在启动执行每个步骤时都要在集中存储设备中记录该状态信息，以使其他实例可以及时获知该步骤已被本实例正在执行，实现实例间步骤执行状态的共享。
在实际应用中，所述更新周期的长度越短，所获取信息的实时性越高，但是也会存在监控开销过大的情况，具体可由本领域技术人员根据实际需要在信息实时性和处理开销之间进行平衡，设置合适的更新周期。
较佳地，为了便于对实例有效性的识别，每个实例在其更新周期到达时，可以在所述集中存储设备中将本实例的更新时间记录为当前时刻，这样可以基于实例的更新时间判断该实例是否已经退出任务的执行成为无效实例。
较佳地，可以采用下述方法，确定出当前执行所述任务的有效实例：
将所述集中存储设备中当前记录的执行所述任务的实例中，选择出所有满足：tnow-t0≤tupdate≤tnow的实例作为当前执行所述任务的有效实例，其中，tupdate为所述集中存储设备中记录的实例的更新时间，tnow为当前时间，t0为预设的有效时间间隔，所述t0大于所述更新周期的间隔。
较佳地，可以采用下述方法确定出当前未被所有所述有效实例完成的步骤中执行序号最小的步骤：
步骤x1、从所述任务的步骤序列中取出第一个当前未被检查的步骤，所述步骤序列中的步骤按照执行序号的升序排列。
采用本步骤，可以从所述任务的步骤序列中取出一个当前未被检查且执行序号最小的步骤，作为步骤x2中进行检查的对象。
步骤x2、根据所述任务的任务执行信息，检查当前所取出的步骤是否已被所述有效实例完成，如果是，则执行步骤x1，否则，将当前所取出的步骤确定为：当前未被所有所述有效实例完成的步骤中执行序号最小的步骤。
这里需要说明的是，当前未被所有所述有效实例完成的步骤将包括所有有效实例都没有执行的步骤。
步骤103、对于每个所述实例，当该实例执行完所述任务的一个步骤时，将所述集中存储设备的所述任务执行信息中所记录的该实例执行所述步骤的状态修改为执行完成。
本步骤用于在每个实例执行完成一步骤时，将该执行完成的状态信息记录在集中存储设备(即记录在任务执行信息中)，以供其他实例及时获知该信息，进而可以据此判断是否执行下一步骤或是等待其他实例的执行完成，从而可以实现分布式系统的任务同步。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种任务同步方法，该方法应用于分布式系统中，所述分布式系统中，一个业务应用的执行由分布在不同机器上的多个实例共同完成，其特征在于，包括：
当执行业务应用任务的每个实例启动后，将本实例的实例信息记录在系统的集中存储设备中；
对于当前执行所述任务的每个实例，在每个预设的更新周期到达时，根据本周期从所述集中存储设备中获取的所述任务的任务执行信息以及当前执行所述任务的有效实例，确定出当前未被所有所述有效实例完成的步骤中执行序号最小的步骤，并在本实例未执行所确定出的步骤时，启动本实例执行该步骤，在所述集中存储设备中所述任务的任务执行信息中记录相应的步骤执行信息，所述步骤执行信息包括用于指示本实例已执行所述步骤的信息以及用于指示本实例执行所述步骤的状态为执行中的信息；
对于每个所述实例，当该实例执行完所述任务的一个步骤时，将所述集中存储设备的所述任务执行信息中所记录的该实例执行所述步骤的状态修改为执行完成。
2.根据权利要求1所述的方法，其特征在于，所述实例信息包括实例的编号、实例的名称和实例的更新时间，所述更新时间为进行记录所述实例信息的时刻。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：对于当前执行所述任务的每个实例，在每个预设的更新周期到达时，在所述集中存储设备中将本实例的更新时间记录为当前时刻。
4.根据权利要求1所述的方法，其特征在于，所述当前执行所述任务的有效实例的确定方法包括：
将所述集中存储设备中当前记录的执行所述任务的实例中，选择出所有满足：tnow-t0≤tupdate≤tnow的实例作为当前执行所述任务的有效实例，其中，tupdate为所述集中存储设备中记录的实例的更新时间，tnow为当前时间，t0为预设的有效时间间隔，所述t0大于所述更新周期的间隔。
5.根据权利要求1所述的方法，其特征在于，所述确定出当前未被所有所述有效实例完成的步骤中执行序号最小的步骤包括：
x1、从所述任务的步骤序列中取出第一个当前未被检查的步骤，所述步骤序列中的步骤按照执行序号的升序排列；
x2、根据所述任务的任务执行信息，检查当前所取出的步骤是否已被所述有效实例完成，如果是，则执行步骤x1，否则，将当前所取出的步骤确定为：当前未被所有所述有效实例完成的步骤中执行序号最小的步骤。
CN201410418045.0A 2014-08-22 2014-08-22 一种任务同步方法 Active CN104182283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410418045.0A CN104182283B (zh) 2014-08-22 2014-08-22 一种任务同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410418045.0A CN104182283B (zh) 2014-08-22 2014-08-22 一种任务同步方法

Publications (2)

Publication Number Publication Date
CN104182283A CN104182283A (zh) 2014-12-03
CN104182283B true CN104182283B (zh) 2018-07-10

Family

ID=51963358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410418045.0A Active CN104182283B (zh) 2014-08-22 2014-08-22 一种任务同步方法

Country Status (1)

Country Link
CN (1) CN104182283B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106547635B (zh) * 2015-09-18 2020-10-09 阿里巴巴集团控股有限公司 一种作业的操作重试方法和装置
CN108984333B (zh) * 2017-05-31 2021-03-30 北京京东尚科信息技术有限公司 用于大数据实时计算的方法及装置
CN109508239A (zh) * 2017-09-15 2019-03-22 北京国双科技有限公司 进程的控制方法及装置
CN109901918B (zh) * 2017-12-08 2024-04-05 北京京东尚科信息技术有限公司 一种处理超时任务的方法和装置
CN110161972B (zh) * 2018-02-11 2021-05-11 上银科技股份有限公司 多机同步协同控制方法及系统
CN109120678B (zh) * 2018-07-26 2021-05-14 北京百度网讯科技有限公司 用于分布式存储系统的服务托管的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN202565304U (zh) * 2012-05-21 2012-11-28 成都因纳伟盛科技股份有限公司 分布式计算任务调度及执行系统
CN103581225A (zh) * 2012-07-25 2014-02-12 中国银联股份有限公司 分布式系统中的节点处理任务的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN202565304U (zh) * 2012-05-21 2012-11-28 成都因纳伟盛科技股份有限公司 分布式计算任务调度及执行系统
CN103581225A (zh) * 2012-07-25 2014-02-12 中国银联股份有限公司 分布式系统中的节点处理任务的方法

Also Published As

Publication number Publication date
CN104182283A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
CN104182283B (zh) 一种任务同步方法
CN106850746B (zh) 服务平滑升级的方法及装置
CN110290189A (zh) 一种容器集群管理方法、装置及系统
CN107526659A (zh) 用于失效备援的方法和设备
CN103516802A (zh) 一种实现跨异构虚拟交换机无缝迁移的方法和装置
CN109949160A (zh) 一种区块链的分片方法及装置
CN106558305B (zh) 语音数据处理方法及装置
CN106302596A (zh) 一种服务发现的方法和装置
US10979496B2 (en) IoT partition management and load balancing
CN108319617A (zh) 确定数据库主从差异的方法、装置及切换控制方法、装置
CN107919977A (zh) 一种基于Paxos协议的分布式一致性系统的在线扩容、在线缩容的方法和装置
CN111090587A (zh) 投产点服务测试方法、装置、设备及存储介质
CN104793981B (zh) 一种虚拟机集群的在线快照管理方法及装置
CN110825466B (zh) 一种程序卡顿的处理方法以及卡顿处理装置
CN105450737B (zh) 一种数据处理方法、装置和系统
CN106131134B (zh) 一种消息内容合并去重方法及系统
CN110290228A (zh) 一种互联网协议ip地址分配方法及装置
CN109684033A (zh) 云平台裸机管理方法、存储介质、电子设备及系统
CN109412940B (zh) 路由器管理方法及路由器管理系统
US20200236010A1 (en) Provisioning/deprovisioning physical hosts based on a dynamically created manifest file for clusters in a hyperconverged infrastructure
CN111338767B (zh) PostgreSQL主从数据库自动切换系统及方法
CN105791350B (zh) 项目数据处理方法和系统
CN104935450B (zh) 一种访问会话管理方法及其装置
CN106372165A (zh) 一种基于totem协议的集群的leader选取方法及装置
CN109218465A (zh) 一种服务器结点序列号上报方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant