CN104866378A - 一种协调执行任务的系统及方法 - Google Patents
一种协调执行任务的系统及方法 Download PDFInfo
- Publication number
- CN104866378A CN104866378A CN201510288431.7A CN201510288431A CN104866378A CN 104866378 A CN104866378 A CN 104866378A CN 201510288431 A CN201510288431 A CN 201510288431A CN 104866378 A CN104866378 A CN 104866378A
- Authority
- CN
- China
- Prior art keywords
- task
- processing node
- task processing
- node
- executing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种协调执行任务的系统及方法，协调执行任务系统由控制节点及任务处理节点组成，其中，控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点，管理任务处理节点基于确定任务的任务处理节点数量，分别为执行子任务的多个执行任务处理节点分配子任务，所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。本发明不存在单节点风险，防止了任务处理延迟，可以根据需要对任务处理节点动态扩容。
Description
技术领域
本发明涉及计算机领域，特别涉及一种协调执行任务的系统及方法。
背景技术
随着计算机技术的发展，可以将大规模的业务拆分为多个小的子业务，分别由计算机网络中的多个计算机分别执行后，再汇总得到业务结果。这时，就需要计算机网络中的计算机之间互相协调。
在申请日为2013年12月12日，申请号为201310681028.1，名称为“一种面向实时云平台的故障检测与容错方法及系统”的专利申请中，就提出了一种当任务为对云平台的故障检测与纠错时的处理方案。具体地说，该专利申请的解决方案涉及一种面向实时云平台的故障检测与容错方法及系统，包括：发送命令，提交任务，并将分配给工作节点的任务存储在相应路径下的客户端；用于监控各工作节点的运行状态，根据工作节点上传的心跳信息进行节点级故障检测与容错，执行故障节点中任务的迁移的全局状态监控模块；用于存储全局状态监控模块和各个工作节点的工作状态及心跳信息的全局状态存储模块；用于执行任务，运行守护进程来守护工作进程，并执行程序级故障检测与容错的工作节点；本发明中使整个集群的状态信息全部存储在Zookeeper系统中，实现节点的无状态架构，节点故障不会造成状态丢失，具有完善的故障检测与容错机制，实现多级容错，保障实时业务的不间断运行。
可以看出，上述方案主要是解决了实时的故障检测和容错的方法，它的实现包括4个角色：客户端、全局状态监控模块、全局状态存储模块及工作节点，任务是由客户端分配并分发到全局状态存储模块，然后工作节点定时去取分配给自己的任务进行处理。采用这种方案协调执行任务，存在着缺点：由于客户端在协调执行任务过程中是核心，所以存在单节点的风险，客户端出了问题所有任务都会出现延迟处理，并且上述方案也没有给出如何动态扩容的方法，例如在任务数突然剧增、大量任务面临延迟时如何动态的增加节点处理。
发明内容
有鉴于此，本发明实施例提供一种协调执行任务的系统，该系统能够在多节点协调执行任务过程中，防止任务处理延迟，且能够动态扩容。
本发明实施例还提供一种协调执行任务的方法，该方法能够在多节点协调执行任务过程中，防止任务处理延迟，且能够动态扩容。
根据上述目的，本发明是这样实现的：
一种协调执行任务的系统，包括：控制节点及任务节点，其中，
控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；
多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点，管理任务处理节点，用于基于确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的子任务；所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。
所述控制节点，还用于确定执行任务的任务处理节点中的工作线程数量。
所述任务处理节点采用全局唯一标识进行标识。
所述动态选取是根据所设置的选取规则进行选取的。
所述任务处理节点，还用于启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。
一种协调执行任务的方法，该方法包括：
控制节点基于zookeeper配置任务的执行策略；
控制节点根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量。
所述控制节点确定执行任务的任务处理节点中的工作线程数量，子任务的划分数量与工作线程数量相同，一个任务处理节点具有多个工作线程。
一种协调执行任务的方法，包括：
A、多个任务处理节点中的其中一个任务处理节点注册到zookeeper上；
B、基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点时，当该任务处理节点选取为管理任务处理节点时，基于从控制节点获取的确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的从任务节点所获取的子任务；
当该任务处理节点为执行任务处理节点时，根据管理任务处理节点的分配执行子任务。
所述动态选取是根据所设置的选取规则进行选取的；
所述任务处理节点启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。
所述步骤B定时重复执行，直到所有任务都处理完。
由上述方案可以看出，本发明实施例提供的协调执行任务系统由控制节点及任务处理节点组成，其中，控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点(leader)和执行任务处理节点，管理任务处理节点基于确定任务的任务处理节点数量，分别为执行子任务的多个执行任务处理节点分配子任务，所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。由于管理任务处理节点是基于zookeeper动态选取产生，管理任务处理节点并不像背景技术的客户端是一个固定节点，所以不存在单节点风险，防止了任务处理延迟，由于本发明实施例的控制节点是根据任务量依据执行策略分配任务处理节点数量及分配执行的多个子任务，所以可以根据需要对任务处理节点动态扩容。
附图说明
图1为本发明实施例提供的协调执行任务的系统结构示意图；
图2为本发明实施例提供的协调执行任务的方法一流程图；
图3为本发明实施例提供的协调执行任务的方法二流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明作进一步详细说明。
背景技术的方案无法保证所有的任务能及时地被执行，在有些对稳定性和实时性要求非常高的计算机网络中会存在隐患。因此，本发明实施例为了多节点协调执行任务过程中，防止任务处理延迟，且能够动态扩容，基于zookeeper技术设置计算机网络。zookeeper技术是一个分布式的，开放源码的分布式应用程序协调服务，其是一个针对分布式计算机网络的可靠协调机制，可以为分布式计算机网络提供的功能为：配置维护、名字服务、分布式同步及组服务等，其可以在分布式计算机网络中动态选取管理任务处理节点后，由当前所选举出的管理任务处理节点为其他作为执行业务处理节点的业务处理节点分配子业务并指示其进行对应子业务的执行。
因此，本发明实施例提供的协调执行任务系统由控制节点及任务处理节点组成，其中，控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点(leader)和执行任务处理节点，管理任务处理节点基于确定任务的任务处理节点数量，分别为执行子任务的多个执行任务处理节点分配子任务，所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。由于管理任务处理节点是基于zookeeper动态选取产生，管理任务处理节点并不像背景技术的客户端是一个固定节点，所以不存在单节点风险，防止了任务处理延迟，由于本发明实施例的控制节点是根据任务量依据执行策略分配任务处理节点数量及分配执行的多个子任务，所以可以根据需要对任务处理节点动态扩容。
图1为本发明实施例提供的协调执行任务的系统结构示意图，包括：控制节点及任务节点，其中，
控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；
多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点，管理任务处理节点基于确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的子任务，所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。
具体地说，控制节点负责配置任务的执行策略，例如，将任务切割成多少个子任务，确定执行任务的任务处理节点数量，控制节点还可以动态的控制任务处理节点当前处理的子任务，比如，可以手动停止、恢复某个子任务，或手动停止、恢复执行某个子任务的任务处理节点。在这里，将任务切割成多少个子任务采用的是该任务需要启动多少工作线程来处理任务等。
多个任务处理节点是一组线程构成的多个任务处理节点，每个任务处理节点都设置有一个唯一的全局标识，一般以IP$UUID的形式出现。一个任务划分的多个子任务可以有多个任务处理节点执行，子任务与任务处理节点之间并不是一对一的关系，每个子任务由一个工作线程处理，而每个任务处理节点可以有多个工作线程。这多个任务处理节点可以在同一基于JAVA的虚拟计算机网络(JVM)中，也克服分布在不同的JVM中。每个执行任务处理节点包括一个心跳线程，用于确定管理任务处理节点的状态及子任务的分配，每个执行任务处理节点还包括一组工作线程，用于查询并处理对应的子任务。
控制节点，还用于确定执行任务的任务处理节点中的线程数量，这样就可以确定任务划分的子任务，在完成后，基于zookeeper上设置完成。
在该系统中，基于zookeeper动态选取产生管理任务处理节点的选取策略可以预先设置，比如设置为注册早的任务处理节点作为管理任务处理节点。所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务为：启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。这个过程会定时重复，这样，控制节点就可以动态的增加或减少执行任务的任务处理节点，或者当其中执行子任务的任务处理节点宕机后，由当前的管理任务处理节点将该子任务再分配给其他的执行任务处理节点执行。
图2为本发明实施例提供的协调执行任务的方法一流程图，其具体步骤为：
步骤201、控制节点基于zookeeper配置任务的执行策略；
步骤202、控制节点根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量。
在该方法中，控制节点确定执行任务的任务处理节点中的工作线程数量，子任务的划分数量与工作线程数量相同，一个任务处理节点具有多个工作线程，这样，就可以得到任务处理节点数量。
图3为本发明实施例提供的协调执行任务的方法二流程图，其他具体步骤为：
步骤301、多个任务处理节点中的其中一个任务处理节点注册到zookeeper上；
步骤302、基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点时，当该任务处理节点选取为管理任务处理节点时，基于从控制节点获取的确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的从任务节点所获取的子任务；
步骤303、当该任务处理节点为执行任务处理节点时，根据管理任务处理节点的分配执行子任务。
在该方法中，所述任务处理节点采用全局唯一标识进行标识。
在该方法中，所述任务处理节点启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。
在该方法中，所述动态选取是根据所设置的选取规则进行选取的，比如采用先注册制选取。
在该方法中，步骤302和步骤303定时重复执行，直到所有任务都处理完。
从本发明实施例可以看出，本发明能够使得批量任务或者不断变化的任务，能够被动态的分配到多个JVM中的任务处理节点中并行执行。所有的任务能够被不重复且不遗漏地快速处理。
以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种协调执行任务的系统，其特征在于，包括：控制节点及任务节点，其中，
控制节点，用于配置任务的执行策略，根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量；
多个任务处理节点中的每一个任务处理节点注册到zookeeper上，基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点，管理任务处理节点，用于基于确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的子任务；所述多个执行任务处理节点根据管理任务处理节点的分配执行子任务。
2.如权利要求1所述的系统，其特征在于，所述控制节点，还用于确定执行任务的任务处理节点中的工作线程数量。
3.如权利要求1所述的系统，其特征在于，所述任务处理节点采用全局唯一标识进行标识。
4.如权利要求1所述的系统，其特征在于，所述动态选取是根据所设置的选取规则进行选取的。
5.如权利要求1所述的系统，其特征在于，所述任务处理节点，还用于启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。
6.一种协调执行任务的方法，其特征在于，该方法包括：
控制节点基于zookeeper配置任务的执行策略；
控制节点根据任务的执行策略将任务划分为多个子任务及确定执行任务的任务处理节点数量。
7.如权利要求6所述的方法，其特征在于，所述控制节点确定执行任务的任务处理节点中的工作线程数量，子任务的划分数量与工作线程数量相同，一个任务处理节点具有多个工作线程。
8.一种协调执行任务的方法，其特征在于，包括：
A、多个任务处理节点中的其中一个任务处理节点注册到zookeeper上；
B、基于zookeeper动态选取产生管理任务处理节点和执行任务处理节点时，当该任务处理节点选取为管理任务处理节点时，基于从控制节点获取的确定任务的任务处理节点数量，分别为多个执行任务处理节点分配对应的从任务节点所获取的子任务；
当该任务处理节点为执行任务处理节点时，根据管理任务处理节点的分配执行子任务。
9.如权利要求8所述的方法，其特征在于，所述动态选取是根据所设置的选取规则进行选取的；
所述任务处理节点启动工作线程抓取和执行对应的子任务，并启动心跳线程定时更新管理任务处理节点的状态。
10.如权利要求8所述的方法，其特征在于，所述步骤B定时重复执行，直到所有任务都处理完。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510288431.7A CN104866378A (zh) | 2015-05-29 | 2015-05-29 | 一种协调执行任务的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510288431.7A CN104866378A (zh) | 2015-05-29 | 2015-05-29 | 一种协调执行任务的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104866378A true CN104866378A (zh) | 2015-08-26 |
Family
ID=53912227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510288431.7A Pending CN104866378A (zh) | 2015-05-29 | 2015-05-29 | 一种协调执行任务的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104866378A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447097A (zh) * | 2015-11-10 | 2016-03-30 | 北京北信源软件股份有限公司 | 数据采集方法及系统 |
| CN106250254A (zh) * | 2016-07-21 | 2016-12-21 | 腾讯科技（深圳）有限公司 | 一种任务处理方法及系统 |
| CN106534259A (zh) * | 2016-09-30 | 2017-03-22 | 山东大学 | 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 |
| CN106681824A (zh) * | 2015-11-10 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 用于分布式系统的调度方法、装置及电子设备 |
| CN106776650A (zh) * | 2015-11-24 | 2017-05-31 | 北大方正集团有限公司 | 数据抓取方法和装置 |
| CN106909451A (zh) * | 2017-02-28 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种分布式任务调度系统及方法 |
| CN107493199A (zh) * | 2017-08-31 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种分布式集群管理方法及系统 |
| CN108132833A (zh) * | 2017-12-08 | 2018-06-08 | 广州视源电子科技股份有限公司 | 一种基于zookeeper技术的分布式定时任务调度方法和装置 |
| CN108268314A (zh) * | 2016-12-31 | 2018-07-10 | 北京亿阳信通科技有限公司 | 一种多线程任务并发处理的方法 |
| CN108932157A (zh) * | 2017-05-22 | 2018-12-04 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法、系统、电子设备和可读介质 |
| CN110333941A (zh) * | 2019-06-28 | 2019-10-15 | 苏宁消费金融有限公司 | 一种基于sql的大数据实时计算平台及方法 |
| CN112631800A (zh) * | 2020-12-22 | 2021-04-09 | 平安普惠企业管理有限公司 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
| CN117639928A (zh) * | 2023-12-04 | 2024-03-01 | 电子科技大学 | 大气光通信收发光轴失配的在线检测与校正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090013327A1 (en) * | 2007-07-02 | 2009-01-08 | International Business Machines Corporation | Customer information control system workload management based upon target processors requesting work from routers |
| CN103118130A (zh) * | 2013-02-25 | 2013-05-22 | 汉柏科技有限公司 | 一种用于分布式服务的集群管理方法和系统 |
| US20130139162A1 (en) * | 2004-11-08 | 2013-05-30 | Adaptive Computing Enterprises, Inc. | System and method of providing system jobs within a compute environment |
| CN103312809A (zh) * | 2013-06-24 | 2013-09-18 | 北京汉柏科技有限公司 | 云平台中服务的分布式管理方法 |
| CN104598425A (zh) * | 2013-10-31 | 2015-05-06 | 中国石油天然气集团公司 | 一种通用多机并行计算方法及系统 |
-
2015
- 2015-05-29 CN CN201510288431.7A patent/CN104866378A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130139162A1 (en) * | 2004-11-08 | 2013-05-30 | Adaptive Computing Enterprises, Inc. | System and method of providing system jobs within a compute environment |
| US20090013327A1 (en) * | 2007-07-02 | 2009-01-08 | International Business Machines Corporation | Customer information control system workload management based upon target processors requesting work from routers |
| CN103118130A (zh) * | 2013-02-25 | 2013-05-22 | 汉柏科技有限公司 | 一种用于分布式服务的集群管理方法和系统 |
| CN103312809A (zh) * | 2013-06-24 | 2013-09-18 | 北京汉柏科技有限公司 | 云平台中服务的分布式管理方法 |
| CN104598425A (zh) * | 2013-10-31 | 2015-05-06 | 中国石油天然气集团公司 | 一种通用多机并行计算方法及系统 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447097A (zh) * | 2015-11-10 | 2016-03-30 | 北京北信源软件股份有限公司 | 数据采集方法及系统 |
| CN106681824A (zh) * | 2015-11-10 | 2017-05-17 | 阿里巴巴集团控股有限公司 | 用于分布式系统的调度方法、装置及电子设备 |
| CN106776650A (zh) * | 2015-11-24 | 2017-05-31 | 北大方正集团有限公司 | 数据抓取方法和装置 |
| CN106250254A (zh) * | 2016-07-21 | 2016-12-21 | 腾讯科技（深圳）有限公司 | 一种任务处理方法及系统 |
| CN106250254B (zh) * | 2016-07-21 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 一种任务处理方法及系统 |
| CN106534259A (zh) * | 2016-09-30 | 2017-03-22 | 山东大学 | 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 |
| CN106534259B (zh) * | 2016-09-30 | 2019-08-13 | 山东大学 | 基于Docker的Web数据采集方法、Web服务器及Web数据采集系统 |
| CN108268314A (zh) * | 2016-12-31 | 2018-07-10 | 北京亿阳信通科技有限公司 | 一种多线程任务并发处理的方法 |
| CN106909451A (zh) * | 2017-02-28 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种分布式任务调度系统及方法 |
| CN108932157A (zh) * | 2017-05-22 | 2018-12-04 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法、系统、电子设备和可读介质 |
| CN107493199A (zh) * | 2017-08-31 | 2017-12-19 | 郑州云海信息技术有限公司 | 一种分布式集群管理方法及系统 |
| CN108132833A (zh) * | 2017-12-08 | 2018-06-08 | 广州视源电子科技股份有限公司 | 一种基于zookeeper技术的分布式定时任务调度方法和装置 |
| CN110333941A (zh) * | 2019-06-28 | 2019-10-15 | 苏宁消费金融有限公司 | 一种基于sql的大数据实时计算平台及方法 |
| CN110333941B (zh) * | 2019-06-28 | 2021-08-24 | 苏宁消费金融有限公司 | 一种基于sql的大数据实时计算方法 |
| CN112631800A (zh) * | 2020-12-22 | 2021-04-09 | 平安普惠企业管理有限公司 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
| CN117639928A (zh) * | 2023-12-04 | 2024-03-01 | 电子科技大学 | 大气光通信收发光轴失配的在线检测与校正方法 |
| CN117639928B (zh) * | 2023-12-04 | 2024-05-14 | 电子科技大学 | 大气光通信收发光轴失配的在线检测与校正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104866378A (zh) | 一种协调执行任务的系统及方法 | |
| Botelho et al. | On the design of practical fault-tolerant SDN controllers | |
| Xu et al. | Survivable virtual infrastructure mapping in virtualized data centers | |
| US11474874B2 (en) | Systems and methods for auto-scaling a big data system | |
| CN103078941B (zh) | 一种分布式计算系统的任务调度方法 | |
| CN112214330A (zh) | 集群中主节点的部署方法、装置及计算机可读存储介质 | |
| CN108737168B (zh) | 一种基于容器的微服务架构应用自动构建方法 | |
| Das et al. | VFT: A virtualization and fault tolerance approach for cloud computing | |
| Essa et al. | Mobile agent based new framework for improving big data analysis | |
| US20160050123A1 (en) | Fault tolerant federation of computing clusters | |
| CN103369054B (zh) | 一种采集任务管理方法及系统 | |
| Xu et al. | Enhancing survivability in virtualized data centers: A service-aware approach | |
| CN104503845A (zh) | 一种任务分发方法和系统 | |
| US11169495B2 (en) | Methods for provisioning an industrial internet-of-things control framework of dynamic multi-cloud events and devices thereof | |
| EP3442201B1 (en) | Cloud platform construction method and cloud platform | |
| CN110958311A (zh) | 一种基于yarn的共享集群弹性伸缩系统及方法 | |
| US20190004844A1 (en) | Cloud platform construction method and cloud platform | |
| US20100262871A1 (en) | Method for implementing highly available data parallel operations on a computational grid | |
| Sattler et al. | Towards Elastic Stream Processing: Patterns and Infrastructure. | |
| CN111209301A (zh) | 基于依赖树拆分提高运算性能的方法及系统 | |
| CN112559143A (zh) | 任务调度方法、系统及计算设备 | |
| CN106452899B (zh) | 一种分布式数据挖掘系统及方法 | |
| CN105187487A (zh) | 一种面向云存储的复制状态机模块化框架设计方法 | |
| CN109725916B (zh) | 流处理的拓扑结构更新系统和方法 | |
| CN115421891A (zh) | 一种任务分发方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160602 Address after: 200433, room 1945, 1243 Siping Road, Shanghai, Yangpu District Applicant after: Shanghai Jingdong Yuan Yuan letter Information Technology Co., Ltd. Address before: 100080 Beijing city Haidian District xingshikou Road No. 65 building 11C Creative Park West West west Shan East 1-4 layer 1-4 layer Applicant before: Beijing Jingdong Shangke Information Technology Co., Ltd. Applicant before: Beijing Jingdong Century Commerce Co., Ltd. |
|
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150826 |
|
| RJ01 | Rejection of invention patent application after publication |