CN106874109A - 一种分布式作业分发处理方法及系统 - Google Patents

一种分布式作业分发处理方法及系统 Download PDF

Info

Publication number
CN106874109A
CN106874109A CN201611247877.6A CN201611247877A CN106874109A CN 106874109 A CN106874109 A CN 106874109A CN 201611247877 A CN201611247877 A CN 201611247877A CN 106874109 A CN106874109 A CN 106874109A
Authority
CN
China
Prior art keywords
task
node
treatment
particular type
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611247877.6A
Other languages
English (en)
Inventor
黄映挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longshine Science And Technology Co Ltd
Original Assignee
Longshine Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longshine Science And Technology Co Ltd filed Critical Longshine Science And Technology Co Ltd
Priority to CN201611247877.6A priority Critical patent/CN106874109A/zh
Publication of CN106874109A publication Critical patent/CN106874109A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2445—Data retrieval commands; View definitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24549—Run-time optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供一种分布式作业分发处理方法及系统，所述方法包括：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；将所述任务分发至多个任务节点；若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。所述系统执行上述方法。本发明实施例提供的分布式作业分发处理方法及系统，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。

Description

一种分布式作业分发处理方法及系统
技术领域
本发明实施例涉及分布式作业技术领域，具体涉及一种分布式作业分发处理方法及系统。
背景技术
随着信息技术的发展，各种设备在使用过程中产生了大量的交互作业，作业需要在众多的不同网络设备之间进行传送，因此，对于作业的分发处理显得尤为重要。
现有的作业分发处理方法，需要在作业分发以前，都要通过复杂的算法，实现对作业如何分发、以及分发到哪里、进行逻辑计算，且计算过程繁琐，应用开发者需要关注底层分布式处理，例如：在不同数据源之间进行作业的分布式导入导出、大量邮件的群发等简单任务的分布式分发处理，无需对分片后的任务处理的结果进行二次或多次计算，也不需要进行归类操作。
因此，如何简化此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、并提高工作效率成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种分布式作业分发处理方法及系统。
一方面，本发明实施例提供一种分布式作业分发处理方法，包括：
生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；
将所述任务分发至多个任务节点；
若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
另一方面，本发明实施例提供一种执行上述方法的系统，所述系统包括客户端、控制节点、任务节点和集群状态管理器，其中：
所述客户端，连接所述控制节点，用于向所述控制节点发送作业分发请求；
所述控制节点，连接所述任务节点和所述集群状态管理器，用于接收所述客户端发送的作业分发请求；
用于生成针对特定类型作业的多个任务、向所述任务节点发送所述任务，监控所述任务处理的结果状态、接收所述集群状态管理器发送的所述任务处理的结果状态、判定所述任务处理是否执行完成；
所述任务节点，连接所述集群状态管理器，用于执行任务的任务，并向所述集群状态管理器发送所述任务的执行状态通知；
所述集群状态管理器，用于集群资源的协调、交互和共享，向所述控制节点发送所述任务处理的结果状态。
本发明实施例提供的分布式作业分发处理方法及系统，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例分布式作业分发处理方法的流程示意图；
图2为本发明另一实施例分布式作业分发处理方法的流程示意图；
图3为本发明实施例分布式作业分发处理系统的结构示意图；
图4为本发明实施例分布式作业分发处理系统的功能示意图；
图5为本发明实施例提供的系统实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例分布式作业分发处理方法的流程示意图，如图1所示，本实施例提供的一种分布式作业分发处理方法，包括以下步骤：
S1：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业。
具体的，系统生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业。需要说明的是：特定类型作业可以是不需要进行归类操作的作业，可以直接从数据库的表中抽取得到，并调用索引构建程序为每一条抽取数据记录构建反向索引。索引构建工作可以包括分词、词义扩展、索引构建、索引写入等操作。特定类型作业可以是在不同数据源之间进行作业的分布式导入导出，大量邮件的群发等应用。数据源可以是关系型数据库、操作作业存储(Operational Data Store以下简称“ODS”)、文件系统等。任务可以理解为对特定类型作业切分出来的，通过对任务分别进行任务分发，从而实现对特定类型作业的分布式分发处理。
S2：将所述任务分发至多个任务节点。
具体的，系统将所述任务分发至多个任务节点。需要说明的是：系统的控制节点可以根据任务调度规则将任务分发至多个任务节点，任务调度规则可以根据实际情况自主设置，任务调度规则可以是最大并发执行规则，即：任务节点的个数小于等于预设最大并发执行数，对任务调度规则不作具体地限定，也可以不采用任务调度规则，通过人工操作把任务分发至多个任务节点。每个任务节点同时分发处理一个任务，当处理完成一个任务时，再依次完成对特定类型作业的每一个任务的处理，直到分发处理完成所有特定类型作业。多个任务节点可以组成一个任务节点集群。每个任务节点在处理完成任务以后，将任务处理的结果通知集群状态管理器，集群状态管理器可以是Zoo keeper。任务处理的结果可以是成功、失败等，但不作具体的限定。
S3：若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
具体的，系统若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。需要说明的是：系统的控制节点通过监听集群状态管理器中任务处理的结果状态，获知由集群状态管理器反馈回控制节点的任务处理的结果状态，如果结果状态都为成功，就获知由多个任务节点完成了对特定类型作业的分发。
本发明实施例提供的分布式作业分发处理方法，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。
在上述实施例的基础上，所述生成针对特定类型作业的多个任务，包括：
根据所述特定类型作业的总数S和每个所述任务的预设数值M，生成N个所述任务，其中N＝S/M。
具体的，系统根据所述特定类型作业的总数S和每个所述任务的预设数值M，生成N个所述任务，其中N＝S/M。需要说明的是：预设数值M可以根据实际情况自主设置，从而能够控制任务的个数N，例如：特定类型作业的总数S为10000条数据，预设数值M为1000条(每个任务包含的数据条数)，则任务的个数N＝10000/1000＝10个。
本发明实施例提供的分布式作业分发处理方法，通过预设数值M，能够控制生成任务的个数，更加自主灵活地实现对特定类型作业的分发。
在上述实施例的基础上，所述任务节点的个数小于等于预设最大并发执行数。
具体的，系统控制所述任务节点的个数小于等于预设最大并发执行数。需要说明的是：预设最大并发执行数可以根据实际情况自主设置，例如：预设最大并发执行数设置为5，则表明同时进行作业分发任务的节点个数不超过5个。
本发明实施例提供的分布式作业分发处理方法，通过预设最大并发执行数，能够控制任务节点的个数，更加自主灵活地实现对特定类型作业的分发。
在上述实施例的基础上，所述方法还包括：
若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X不为零，则重新执行所述任务处理，其中，所述重新执行的次数小于等于预设最大失败重试次数X。
具体的，系统若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X不为零，则重新执行所述任务处理，其中，所述重新执行的次数小于等于预设最大失败重试次数X。需要说明的是：预设最大失败重试次数X可以根据实际情况自主设置，如果系统的控制节点判断获知任务处理的结果状态为失败，并且预设最大失败重试次数X不为零，则通知该任务节点重新执行该作业分发任务，重新执行的最多不超过X次。例如：X设置为2次，当控制节点判断获知任务处理的结果状态为失败，该任务节点重新执行该作业分发任务，如果本次执行的作业分发任务的结果状态为成功，则结束重新执行，如果本次执行的作业分发任务的结果状态还是为失败，则再次重新执行该作业分发任务，直到执行完成第二次，如果该任务处理的结果状态还是为失败，剔除该任务节点。
本发明实施例提供的分布式作业分发处理方法，通过预设最大失败重试次数，能够灵活地对结果状态为失败的处理任务进行处理，进一步灵活地实现对特定类型作业的分发。
在上述实施例的基础上，所述方法还包括：
若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X为零，则剔除所述任务节点。
具体的，系统若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X为零，则剔除所述任务节点。需要说明的是：如果系统的控制节点判断获知任务处理的结果状态为失败，并且预设最大失败重试次数X为零，直接剔除该任务节点。
本发明实施例提供的分布式作业分发处理方法，通过预设最大失败重试次数，能够灵活地对结果状态为失败的处理任务进行处理，进一步灵活地实现对特定类型作业的分发。
图2为本发明另一实施例分布式作业分发处理方法的流程示意图，如图2所示，控制节点(控制节点集群包含多个控制节点，每个控制节点处理一个特定类型作业对应的任务)将获得的特定类型作业通过作业程序生成多个任务；
通过任务调度规则将多个任务分发至多个任务节点，并通过每个任务节点中的任务处理程序进行任务的处理，和任务的分发；
集群状态管理器接收每个任务节点发送的任务处理执行状态通知，得到每个任务节点的任务处理的结果状态，并向控制节点发送每个任务节点的任务处理的结果状态。
控制节点若判断获知所有的任务处理的结果状态都为成功，则表明任务节点已经完成了特定类型作业的分发。
本发明实施例提供的分布式作业分发处理方法，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。
以简化过的全文检索应用的索引构建过程作为示例：从mysql数据库的表里获取作业，并调用索引构建程序为每一条记录构建反向索引的伪代码如下：
1、定义任务的存储对象(Model)
2、作业分片逻辑
3、任务计算逻辑
4、作业结束后的处理逻辑
图3为本发明实施例分布式作业分发处理系统的结构示意图，如图3所示，本实施例提供了一种分布式作业分发处理系统，所述系统包括客户端1、控制节点2、任务节点3和集群状态管理器4，其中：
所述客户端1连接所述控制节点2，用于向所述控制节点2发送作业分发请求，由于控制节点2接收的作业量一般较小，对通信及作业传输的性能要求不高，因此，可以通过通信协议HTTP Restful、作业格式采用JSON来实现。所述控制节点2连接所述任务节点3和所述集群状态管理器4，用于接收所述客户端1发送的作业分发请求；用于生成针对特定类型作业的多个任务、向所述任务节点3发送所述任务，监控所述任务处理的结果状态、接收所述集群状态管理器4发送的所述任务处理的结果状态、判定所述任务处理是否执行完成；所述任务节点3，连接所述集群状态管理器4，用于执行任务的任务，并向所述集群状态管理器4发送所述任务的执行状态通知，采用的通信及作业协议是基于Zoo keeper的内部协议；所述集群状态管理器4，用于集群资源的协调、交互和共享，向所述控制节点2发送所述任务处理的结果状态。
本发明实施例提供的分布式作业分发处理系统，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。
在上述实施例的基础上，所述系统动态调整所述控制节点2和/或所述任务节点3的数量。控制节点2和任务节点3的数量可以是多个，并且支持负载均衡及动态扩容(缩容)，可以根据实际使用的效果，自动实现对控制节点2和/或任务节点3数量的增减。
本发明实施例提供的分布式作业分发处理系统，通过动态调整控制节点和/或任务节点的数量，进一步优化了本地存储资源和网络资源的占有率，更加有效地分发特定类型的作业。
在上述实施例的基础上，所述集群状态管理器4为Zoo keeper。简化了系统的实现，整个系统尽量保持轻量级，不需要任何第三方系统。
本发明实施例提供的分布式作业分发处理系统，通过将集群状态管理器选定为Zoo keeper，有效地实现对很多任务处理结果的管理，保证了对特定类型作业的有效分发。
在上述实施例的基础上，所述客户端1和所述控制节点2之间、所述控制节点2和所述任务节点3之间通过通信协议HTTP Restful相连接，所用的作业格式为JSON，所述任务节点3和所述集群状态管理器4采用的通信作业协议是基于Zoo keeper的内部协议。请参照上述实施例，此处不再赘述。
本发明实施例提供的分布式作业分发处理系统，通过设置通信协议为Zookeeper、设置作业格式为JSON，使得对特定类型作业的有效分发能够顺利进行。
图4为本发明实施例分布式作业分发处理系统的功能示意图，如图4所示，
客户端1：向控制节点2发送作业分发请求，控制节点2从客户端1获得特定类型作业。
控制节点2：生成针对特定类型作业的多个任务，并将任务分发至多个任务节点3。还通过监听任务处理的结果状态，获得任务处理的结果状态，如果判断获知所有任务处理的结果状态为成功，就说明任务节点3已经完成了特定类型作业的分发。
任务节点3：处理任务，并接受控制节点2的调度，还要向集群状态管理器4发送任务处理的执行状态通知。
集群状态管理器4：接收任务节点3发送的任务处理的执行状态通知，获得任务处理的结果状态，还接收控制节点2的监听指令，向控制节点2反馈任务处理的结果状态。
本发明实施例提供的分布式作业分发处理系统，无需对分片后的任务处理的结果进行二次或多次计算，因此，简化了此类作业的分布式开发工作，使应用开发者无需关注底层分布式处理、提高了工作效率。
本实施例提供的分布式作业分发处理系统具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图5为本发明实施例提供的系统实体结构示意图，如图5所示，所述系统包括：处理器(processor)501、存储器(memory)502和总线503；
其中，所述处理器501、存储器502通过总线503完成相互间的通信；
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；将所述任务分发至多个任务节点；若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；将所述任务分发至多个任务节点；若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；将所述任务分发至多个任务节点；若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (9)

1.一种分布式作业分发处理方法，其特征在于，包括：
生成针对特定类型作业的多个任务，其中，所述特定类型作业是已确定无需进行归类操作的作业；
将所述任务分发至多个任务节点；
若判断获知反馈回的所有任务处理的结果状态为成功，则完成对所述特定类型作业的分发。
2.根据权利要求1所述的方法，其特征在于，所述生成针对特定类型作业的多个任务，包括：
根据所述特定类型作业的总数S和每个所述任务的预设数值M，生成N个所述任务，其中N＝S/M。
3.根据权利要求1所述的方法，其特征在于，所述任务节点的个数小于等于预设最大并发执行数。
4.根据权利要求1或2或3所述的方法，其特征在于，所述方法还包括：
若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X不为零，则重新执行所述任务处理，其中，所述重新执行的次数小于等于预设最大失败重试次数X。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若判断获知反馈回的所述任务处理的结果状态为失败，且预设最大失败重试次数X为零，则剔除所述任务节点。
6.一种执行如权利要求1至5任一所述方法的系统，其特征在于，所述系统包括客户端、控制节点、任务节点和集群状态管理器，其中：
所述客户端，连接所述控制节点，用于向所述控制节点发送作业分发请求；
所述控制节点，连接所述任务节点和所述集群状态管理器，用于接收所述客户端发送的作业分发请求；
用于生成针对特定类型作业的多个任务、向所述任务节点发送所述任务，监控所述任务处理的结果状态、接收所述集群状态管理器发送的所述任务处理的结果状态、判定所述任务处理是否执行完成；
所述任务节点，连接所述集群状态管理器，用于执行任务的任务，并向所述集群状态管理器发送所述任务处理的结果状态；
所述集群状态管理器，用于集群资源的协调、交互和共享，向所述控制节点发送所述任务处理的结果状态。
7.根据权利要求6所述的系统，其特征在于，所述系统动态调整所述控制节点和/或所述任务节点的数量。
8.根据权利要求6所述的系统，其特征在于，所述集群状态管理器为Zoo keeper。
9.根据权利要求6所述的系统，其特征在于，所述客户端和所述控制节点之间、所述控制节点和所述任务节点之间通过通信协议HTTP Restful相连接，所用的作业格式为JSON，所述任务节点和所述集群状态管理器采用的通信作业协议是基于Zoo keeper的内部协议。
CN201611247877.6A 2016-12-29 2016-12-29 一种分布式作业分发处理方法及系统 Pending CN106874109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611247877.6A CN106874109A (zh) 2016-12-29 2016-12-29 一种分布式作业分发处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611247877.6A CN106874109A (zh) 2016-12-29 2016-12-29 一种分布式作业分发处理方法及系统

Publications (1)

Publication Number Publication Date
CN106874109A true CN106874109A (zh) 2017-06-20

Family

ID=59164357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611247877.6A Pending CN106874109A (zh) 2016-12-29 2016-12-29 一种分布式作业分发处理方法及系统

Country Status (1)

Country Link
CN (1) CN106874109A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783731A (zh) * 2017-08-07 2018-03-09 荣科科技股份有限公司 一种大数据实时处理方法及处理系统
CN107832165A (zh) * 2017-11-23 2018-03-23 国云科技股份有限公司 一种提升分布式系统处理请求稳定性的方法
CN108108390A (zh) * 2017-11-15 2018-06-01 北京达佳互联信息技术有限公司 数据分发方法和装置
CN109165088A (zh) * 2018-09-06 2019-01-08 华泰证券股份有限公司 一种基于elastic-job框架可单机弹性扩容的任务分片方法
CN109785042A (zh) * 2018-12-13 2019-05-21 深圳平安财富宝投资咨询有限公司 分布式部署的异常处理方法、服务器、存储介质及装置
WO2021159831A1 (zh) * 2020-02-14 2021-08-19 深圳市商汤科技有限公司 编程平台的用户代码运行方法及平台、节点、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316156A (zh) * 2011-07-05 2012-01-11 万达信息股份有限公司 一种可动态扩展的任务分发处理方法
CN102385628A (zh) * 2011-11-14 2012-03-21 北京锐安科技有限公司 一种基于jdbc的数据分布式处理方法
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316156A (zh) * 2011-07-05 2012-01-11 万达信息股份有限公司 一种可动态扩展的任务分发处理方法
CN102385628A (zh) * 2011-11-14 2012-03-21 北京锐安科技有限公司 一种基于jdbc的数据分布式处理方法
CN105162878A (zh) * 2015-09-24 2015-12-16 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107783731A (zh) * 2017-08-07 2018-03-09 荣科科技股份有限公司 一种大数据实时处理方法及处理系统
CN108108390A (zh) * 2017-11-15 2018-06-01 北京达佳互联信息技术有限公司 数据分发方法和装置
CN108108390B (zh) * 2017-11-15 2019-02-19 北京达佳互联信息技术有限公司 数据分发方法和装置
CN107832165A (zh) * 2017-11-23 2018-03-23 国云科技股份有限公司 一种提升分布式系统处理请求稳定性的方法
CN109165088A (zh) * 2018-09-06 2019-01-08 华泰证券股份有限公司 一种基于elastic-job框架可单机弹性扩容的任务分片方法
CN109165088B (zh) * 2018-09-06 2022-04-19 华泰证券股份有限公司 一种基于elastic-job框架可单机弹性扩容的任务分片方法
CN109785042A (zh) * 2018-12-13 2019-05-21 深圳平安财富宝投资咨询有限公司 分布式部署的异常处理方法、服务器、存储介质及装置
WO2021159831A1 (zh) * 2020-02-14 2021-08-19 深圳市商汤科技有限公司 编程平台的用户代码运行方法及平台、节点、设备、介质

Similar Documents

Publication Publication Date Title
CN106874109A (zh) 一种分布式作业分发处理方法及系统
US10915382B2 (en) Event-driven serverless function orchestration
Ali et al. An automated task scheduling model using non-dominated sorting genetic algorithm II for fog-cloud systems
CN108989238A (zh) 一种分配业务带宽的方法以及相关设备
CN106844018A (zh) 一种任务处理方法、装置及系统
CN110162388A (zh) 一种任务调度方法、系统及终端设备
CN109726004B (zh) 一种数据处理方法及装置
CN107621973A (zh) 一种跨集群的任务调度方法及装置
CN106330987A (zh) 动态负荷均衡方法
CN104199912B (zh) 一种任务处理的方法及装置
CN110458468A (zh) 一种任务处理方法、装置、电子设备及存储介质
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
CN107153573A (zh) 分布式任务处理方法和装置
CN109254854A (zh) 异步调用方法、计算机装置及存储介质
CN106815254A (zh) 一种数据处理方法和装置
CN107864211A (zh) 集群资源调度方法及系统
CN107807815A (zh) 分布式处理任务的方法和装置
CN106844055A (zh) 一种任务的执行方法和装置
Xu et al. A new approach to the cloud-based heterogeneous MapReduce placement problem
CN106790482A (zh) 资源调度方法及资源调度系统
CN110597634A (zh) 一种数据处理方法、装置及计算机可读存储介质
CN105740085A (zh) 容错处理方法及装置
CN108228330A (zh) 一种串行化的多进程任务调度方法和装置
CN102831102A (zh) 一种在计算机集群上进行矩阵乘积运算的方法和系统
CN107547608A (zh) 分布式任务处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 214131 floor 10 and 11, building B, swan tower, Wuxi Software Park, No. 90, Jinghui East Road, Xinwu District, Wuxi City, Jiangsu Province

Applicant after: Lanxin Technology Group Co., Ltd

Address before: 214028 Jiangsu city of Wuxi province Wuxi new Qujing Wu Hui Road No. 90 Wuxi Software Park, Cygnus B building 10, 11 floor

Applicant before: LONGSHINE TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620